در تاریخ ۲۷ سپتامبر، انویدیا مدل هوش مصنوعی رایگان Nemotron3Diarization را با حدود ۱۰۰ میلیون پارامتر برای بخش‌بندی و خوشه‌بندی گفتار منتشر کرد. این مدل با وزن‌های باز، قادر است گویندگان را در هر لحظه شناسایی کرده و تا ۸ صدای همزمان را در زمان واقعی یا از روی ضبط‌ها مدیریت کند. Nemotron3Diarization با نرخ خطای ۱۴.۷۲٪ در VoiceArena v1 پیشتاز شد.
در تاریخ ۲۷ سپتامبر، انویدیا به طور رسمی مدل هوش مصنوعی رایگان Nemotron3Diarization را با تقریباً ۱۰۰ میلیون پارامتر منتشر کرد. این مدل بر روی وظیفه خوشه‌بندی بخش‌بندی گفتار (Diarization) تمرکز دارد و داده‌های وزن خود را باز کرده است که امکان شناسایی دقیق گویندگان را در هر لحظه از مکالمه فراهم می‌کند. Nemotron3Diarization از پردازش صوتی در زمان واقعی و ضبط‌شده برای حداکثر هشت نفر که به طور همزمان صحبت می‌کنند، پشتیبانی می‌کند.
پیشرفت‌های فنی و عملکرد
از نظر پیشرفت‌های فنی و عملکرد، Nemotron3Diarization با نرخ خطای (DER) ۱۴.۷۲٪ در بنچمارک بخش‌بندی گفتار VoiceArena (نسخه v1) پیشتاز شد و به طور قابل توجهی از سیستم رتبه دوم (۱۹.۳٪) بهتر عمل کرد. در مقایسه با مدل قبلی خود، Streaming Sortformer، مدل جدید با استفاده از یک بافر صوتی ۱.۰۴ ثانیه‌ای، میانگین کاهش نرخ خطا را ۴۱٪ در هشت سناریوی آزمایشی به دست آورد. برای ایجاد تعادل بین تأخیر سیستم و دقت، این مدل از چهار سطح تنظیم بافر صوتی پویا در محدوده ۰.۳۲ ثانیه تا ۳۰.۴ ثانیه پشتیبانی می‌کند.
کاربردهای عملیاتی
از نظر کاربردهای عملیاتی، مدل جدید می‌تواند به طور یکپارچه با سیستم‌های تشخیص گفتار مانند Parakeet همکاری کند تا متنی با برچسب‌های ناشناس گوینده (مانند «speaker_2») به طور خودکار تولید کند. اگرچه ممکن است با افزایش تعداد شرکت‌کنندگان، نویز پس‌زمینه بیش از حد یا بازتاب شدید، نرخ خطا افزایش یابد، اما معماری قدرتمند زیربنایی آن می‌تواند به طور مؤثر چالش‌های سنتی مانند گفتار همپوشان را برطرف کند.
اهمیت انتشار
انتشار این مدل سبک‌وزن و رایگان با دقت بالا برای بخش‌بندی گفتار توسط انویدیا، موانع فنی تحلیل گفتار پیچیده را به طور قابل توجهی کاهش می‌دهد. این اقدام نه تنها پشتیبانی زیربنایی بسیار مقرون‌به‌صرفه برای کاربردهایی مانند ثبت جلسات در زمان واقعی، خدمات مشتری هوشمند و تعامل صوتی چند گوینده را فراهم می‌کند، بلکه نشان می‌دهد که استقرار فناوری تشخیص چند گوینده در دستگاه‌های لبه‌ای و سناریوهای تجاری در زمان واقعی، بیشتر تسریع خواهد شد.
