Emote Portrait Alive (EMO)

معرفی و بررسی هوش مصنوعی Emote Portrait Alive (EMO)

هوش مصنوعی Emote Portrait Alive که به اختصار EMO نامیده می‌شود، یکی از قدرتمندترین و جذاب‌ترین ابزارهای حوزه Audio-to-Video است. این پلتفرم توسط محققان بخش هوش مصنوعی غول فناوری جهان یعنی شرکت علی‌بابا (Alibaba) توسعه یافته است. هدف اصلی این پروژه، متحرک‌سازی تصاویر ثابت به طبیعی‌ترین شکل ممکن و همگام با فرکانس‌های صوتی ورودی است.

برخلاف متدهای قدیمی که برای متحرک‌سازی چهره ابتدا مدل‌های سه‌بعدی فرضی می‌ساختند یا روی نقاط کلیدی صورت (Facial Landmarks) تمرکز می‌کردند، هوش مصنوعی EMO از یک مدل انتشار مستقیم (Audio-driven Diffusion Model) استفاده می‌کند. این تکنولوژی باعث می‌شود که هوش مصنوعی بتواند تفاوت‌های ظریف در لحن صدا، ریتم و احساسات موجود در فایل صوتی را به صورت خودکار متوجه شود و متناسب با آن، حالت چشم‌ها، ابروها و حرکت سر را تنظیم کند.

ویژگی‌های اصلی ابزار هوش مصنوعی EMO

این ابزار فراتر از یک همگام‌ساز ساده لب (Lip-sync) عمل می‌کند و قابلیت‌های آن شامل موارد زیر است:

پشتیبانی از انواع سبک‌های گرافیکی: این سیستم نه تنها روی عکس‌های واقعی انسان، بلکه روی نقاشی‌های کلاسیک، تصاویر سه‌بعدی و حتی کاراکترهای انیمه‌ای و کارتونی نیز به خوبی پاسخ می‌دهد.

توانایی متحرک‌سازی آواز و رپ: EMO قادر است چالش‌برانگیزترین ریتم‌های صوتی مانند آهنگ‌های سریع، سبک رپ و تغییر گام‌های ناگهانی در آواز خواندن را پردازش کرده و حرکات لب را کاملاً منطبق بر آن شبیه‌سازی کند.

تولید ویدیو بدون محدودیت زمانی: ویدیوهای خروجی بر اساس طول فایل صوتی ورودی شما تولید می‌شوند و محدودیتی در زمان خروجی نهایی وجود ندارد.

برای اطلاعات بیشتر و دیدن نمونه ویدیوهای ساخته شده، می‌توانید به وب‌سایت رسمی پروژه در صفحه گیت‌هاب پروژه EMO مراجعه کنید.

تحلیل و دیدگاه اختصاصی پلتفرم چشم

از نگاه کارشناسی پلتفرم چشم، ابزار Emote Portrait Alive گام بزرگی رو به جلو در کاهش اثر روان‌شناختی «دره وهمی» (Uncanny Valley) به شمار می‌رود. در ابزارهای مشابه قبلی، متحرک‌سازی چهره معمولاً حالتی رباتیک و مصنوعی داشت؛ اما EMO به دلیل حذف واسطه‌های سه بعدی و استفاده مستقیم از دیتابیس ۲۵۰ ساعتی ویدیوهای انسانی، توانسته است تکان‌های طبیعی سر، پلک زدن‌های به موقع و میمیک‌های حسی فوق‌العاده‌ای خلق کند. با این حال، یکی از چالش‌های فعلی این ابزار، عدم دسترسی عمومی آسان و کدباز (Open-source) نبودن کامل آن برای کاربران عادی در زمان رونمایی اولیه بوده است که انتظار می‌رود با توسعه نسخه‌های تجاری، این محدودیت‌ها برطرف شده و به ابزاری بی‌رقیب برای تولیدکنندگان محتوا، انیماتورها و توسعه‌دهندگان بازی‌های ویدیویی تبدیل شود.