شرکت دیپسیک اخیراً مقاله سیستمی جدیدی را منتشر کرده که در آن برای نخستین بار جزئیات فنی کلیدی زیرساخت سندباکس اختصاصی خود را برای آموزش ایجنتهای مقیاس بزرگ فاش کرده است. این مقاله با عنوان «رایانش الاستیک دیپسیک (DSec): یک زیرساخت سندباکس کارآمد برای آموزش ایجنتهای در مقیاس بزرگ» در ۳۱ صفحه تنظیم شده و در تاریخ ۱۹ سپتامبر ارائه شده است. نکته قابل توجه این است که تیم نویسندگان این مقاله شامل بیش از ۱۳۰ نفر میشود و لیانگ ونفنگ، بنیانگذار دیپسیک، به عنوان آخرین نویسنده در آن ذکر شده است.
پلتفرم سندباکس توسعهیافته DSec؛ سرویسدهی به ۳ میلیون نمونه در روز
بر اساس این مقاله، DSec (رایانش الاستیک دیپسیک) پلتفرم سندباکس محاسباتی الاستیک در سطح تولید است که توسط خود دیپسیک توسعه یافته و به عنوان زیرساخت داخلی این شرکت استفاده میشود. هدف اصلی آن فراهم کردن یک محیط سندباکس امن و پایدار برای وظایف آموزش و ارزیابی در مقیاس بزرگ ایجنتهای مدل زبانی است تا استقرار کارآمد و پایدار وظایف آموزشی عظیم تضمین شود.
دادههای محیط تولید که در این مقاله فاش شده است نشان میدهد که DSec قابلیتهای قدرتمندی برای پردازش همزمان در مقیاس بزرگ دارد: یک واحد تولیدی استاندارد DSec شامل ۱۶۰ گره پردازنده (CPU) با مجموع ۳۰,۰۰۰ هسته پردازنده و حدود ۲۵۰ ترابایت حافظه است که توانایی مدیریت فایلهای ایمیج و منابع لایه محیطی در مقیاس پاتابایت را دارد. در سناریوهای تولید روزانه، این واحد میتواند روزانه به حدود ۳ میلیون نمونه سندباکس خدمات دهد و به طور پایدار از اجرای همزمان بیش از ۳۸۰,۰۰۰ سندباکس پشتیبانی کند، به طوری که اوج نرخ ایجاد سندباکس از ۵,۰۰۰ مورد در ثانیه فراتر میرود.
کاهش هزینههای منابع و بهبود بهرهوری حافظه
از طریق تجربه استقرار واقعی و ارزیابی مدل، چندین مکانیسم کلیدی در DSec موفق شدهاند هزینههای منابع مربوط به راهاندازی محیطهای آموزشی و توزیع ایمیج را کاهش دهند و بهرهوری کلی استفاده از حافظه را به طور قابل توجهی بهبود بخشند. انتشار این مقاله در مورد این زیرساخت، به دنیای خارج اجازه میدهد تا نگاهی اجمالی به قابلیتهای مهندسی زیرین پشتیبان آموزش عظیم ایجنتهای دیپسیک داشته باشد.
