در ۲۳ سپتامبر، مدلهای هوش مصنوعی کوئن (Qwen) متعلق به شرکت علیبابا، پشته صوتی خود را بهطور کامل بهروزرسانی کردند. سری جدید Qwen-Audio-3.1 پنج مدل را به طور همزمان معرفی کرد که قابلیتهای صوتی در حوزههای «درک، تولید، تعامل و خلق» را از تشخیص و سنتز گفتار گرفته تا تعامل بلادرنگ و درک صوتی پوشش میدهند. این تغییرات همراه با کاهش چشمگیر قیمتها در تمامی بخشها بود: هزینه تبدیل متن به گفتار (TTS) حدود ۷۰ درصد، تعامل بلادرنگ حدود ۸۵ درصد و تشخیص گفتار (ASR) تا ۹۵ درصد کاهش یافت. این اقدام نشان میدهد که قابلیتهای صوتی دیگر پنهان نیستند و با هزینهای بسیار پایین در دسترس توسعهدهندگان قرار گرفتهاند.
در زمینه تشخیص گفتار، مدل Qwen-Audio-3.1-ASR نسل جدیدی از مدلهای بزرگ برای بازشناسی گفتار است. بارزترین ویژگی آن توانایی «درک متن و زمینه» است. قابلیت پیادهسازی و پیرایش بومی که به تازگی اضافه شده، میتواند به طور خودکار کلمات پُرکننده را حذف کند، عبارات تکراری را پاک کرده و معناشناسی را بازسازی کند تا متن خروجی به جای یک متن خام، روانتر و منطقیتر باشد. رونویسی مبتنی بر نقش، مشخص میکند چه کسی و در چه زمانی صحبت کرده و سوابقی ساختاریافته و قابل پیگیری برای جلسات، مصاحبهها و تحلیل گفتگوها ارائه میدهد. این راهکار سرتاسری به طور همزمان برچسبهای گوینده، برچسبهای زمانی و متن را خروجی میدهد.
این سیستم صوتی ۳۰ زبان و ۱۶ گویش چینی را پشتیبانی میکند و تاخیر پاسخدهی اولین کلمه در آن به حدود ۱۶۰ میلیثانیه میرسد که امکان رونویسی یکپارچه بلادرنگ را فراهم میکند. مدل پیشرفتهتر Qwen-Audio-3.1-ASR-Next که بر اساس معماری نسل بعد ساخته شده، دامنه تشخیص را از «متن در گفتار» به «اطلاعات صوتی کامل» گسترش میدهد؛ این مدل میتواند احساسات، صداهای محیطی و مکانیکی را درک کند و پاسخگویی به سوالات صوتی را انجام دهد.
در بخش سنتز گفتار، مدل Qwen-Audio-3.1-TTS بر بیان واقعگرایانه تأکید دارد. این مدل از سنتز چندزبانه و گویشی پشتیبانی میکند و به کاربران اجازه میدهد از طریق دستورالعملها، احساسات، سرعت گفتار و بیان را کنترل کنند. سورپرایز بزرگتر، نسخه Qwen-Audio-3.1-TTS-Next است که تولید صوت را از «سنتز تکصدای انسانی» به یک «سیستم تولید صوت عمومی» ارتقا میدهد. اکنون تنها یک مدل میتواند بر اساس متن، زمانبندی و صدای مرجع، صداهای انسانی، افکتهای صوتی و صداهای محیطی تولید کند.
برای تعامل بلادرنگ، مدل Qwen-Audio-3.1-Realtime به صورت دوبلکس کامل عمل میکند و امکان صحبت کردن و گوش دادن همزمان را فراهم میآورد تا کاربران بتوانند در هر لحظه صحبت را قطع کنند. این مدل نه تنها متن، بلکه احساسات و مقاصد پشت صداها را نیز درک میکند و میتواند زبانها و ابزارهای ایجنت (Agent) را در طول مکالمات بلادرنگ به کار بگیرد.
