هنگامی که هوش مصنوعی صوتی در یک مکالمه واقعی شرکت می‌کند که ساعت‌ها طول می‌کشد و ده‌ها دور را در بر می‌گیرد، آیا می‌تواند به خاطر بسپارد «چه کسی این جمله را گفت، با چه لحنی، و چه صداهایی در پس‌زمینه وجود دارد»؟ یک تیم مشترک از دانشگاه ملبورن و دانشگاه نیو ساوت ولز معتقد است که روش‌های ارزیابی فعلی نمی‌توانند به این سوال پاسخ دهند. بنابراین، آنها معیاری را به طور خاص برای هدف قرار دادن این ضعف معرفی کردند: VoxMem.
آنها ابتدا دو نقص عمده را در روش‌های ارزیابی قدیمی مطرح کردند: اول، این روش‌ها تنها بر متن رونویسی شده تمرکز دارند و اطلاعات هویتی، نشانه‌های احساسی و صداهای محیطی پنهان در صدا را نادیده می‌گیرند؛ دوم، نمی‌توانند متغیر «طول تاریخچه» را ایزوله کنند، که تعیین اینکه آیا عملکرد ضعیف یک مدل به دلیل حافظه ضعیف است یا تحت تأثیر طول زیاد قرار گرفته، غیرممکن می‌سازد. رویکرد VoxMem ایجاد یک روش طبقه‌بندی دو بعدی به نام «شواهد صوتی × عملیات حافظه» است که ابعاد ارزیابی را به صورت متعامد تفکیک می‌کند و ۱۵ ترکیب را پوشش می‌دهد. تمام وظایف در طول‌های مختلف تاریخچه از 8K تا 64K بدون تغییر باقی می‌مانند – به طور مؤثر تنها «طول مکالمه» تنظیم می‌شود در حالی که همه چیز ثابت می‌ماند، که اجازه می‌دهد تغییرات عملکرد حافظه به طور واضح تنها به طول نسبت داده شود.
این معیار قابل توجه است: شامل ۳۱۹۶ نمونه ارزیابی، ۳۴۷۴۳ مکالمه صوتی، در مجموع حدود ۱۷۷ ساعت صدا است که برای شبیه‌سازی یک مکالمه طولانی و چند مرحله‌ای کافی است. نتایج آزمایش واقعی بر روی ۱۵ مدل بزرگ صوتی اصلی بسیار روشنگر است. در طول زمینه حدود 32K، هیچ یک از مدل‌ها نتوانستند از نرخ دقت کلی ۴۰٪ فراتر روند. جالب‌تر اینکه، یک سوگیری واضح وجود دارد: مدل‌ها در به خاطر سپردن «آنچه گفته شد» به طور قابل توجهی بهتر از به خاطر سپردن هویت گوینده، نشانه‌های فرازبانی (لحن، احساسات) و صداهای محیطی – سه نوع اطلاعات صوتی بومی – عمل می‌کنند. به ویژه، دقت ردیابی نوسانات لحن و تغییرات صدای پس‌زمینه بسیار پایین است و اساساً مدل‌ها را سردرگم می‌کند. علاوه بر این، با افزایش طول تاریخچه، دقت به خاطر سپردن انواع اطلاعات کاهش می‌یابد.