وقتی مدل‌های پرچمدار سه غول بزرگ هوش مصنوعی یعنی OpenAI، Anthropic و Google در یک نبرد رویاروی به میدان می‌آیند، چه کسی بهتر می‌تواند ربات را کنترل کند؟
در ۲۰ اکتبر، میدان نبرد جسم‌یافته RoboColiseum که به طور مشترک توسط نزدیک به ۲۰ دانشگاه، شرکت و مؤسسه پژوهشی جهانی از جمله Mifeng Technology، Hugging Face، NVIDIA و دانشگاه Tsinghua راه‌اندازی شده است، نتایج ارزیابی این دور را منتشر کرد: Claude Opus 5.5 در میان چهار مدل پرچمدار در مجموع رتبه اول را کسب کرد و GPT-6 Astra در جایگاه بعدی قرار گرفت.
از نظر تفکیکی، در میان چهار مدل پرچمدار، GPT-6 Astra در پیروی از دستورات و سازگاری کلی با اختلال پیشتاز است و امتیاز پیروی از دستورات آن به 99.35 رسیده است؛ Opus در درک فضایی و عملیات عمومی عملکرد بهتری دارد و با کمترین مصرف توکن ارزیابی در تمام دورها، رتبه اول مجموع گروه پرچمدار را کسب کرد. در آزمون‌های با اختلال در کیفیت تصویر، GPT-6.1 Sol به طور آشکار از سه مدل دیگر عقب ماند که تفاوت پایداری مدل‌های مختلف در مواجهه با تغییرات اطلاعات بصری را نشان می‌دهد.
اما دو رتبه اول این دور رده‌بندی کلی همچنان در اختیار مدل‌های سیاست جسم‌یافته است، به‌ویژه اینکه در بُعد عملیات عمومی مزیت خود را حفظ کرده‌اند.
این رقابت رویاروی، مرجعی مستقیم برای صنعت فراهم می‌کند تا مزیت‌ها و نقاط ضعف توانایی مدل‌های بزرگ عمومی و مدل‌های سیاست جسم‌یافته را به روشنی ببیند.
RoboColiseum حول چهار محور پیروی از دستورات، درک فضایی، سازگاری با اختلال و عملیات عمومی، چهار جدول فرعی توانایی و 78 وظیفه ارزیابی شبیه‌سازی با وفاداری بالا ارائه می‌دهد که نه تنها عملکرد تفکیکی مدل‌ها را نشان می‌دهد، بلکه مراحل تکمیل وظیفه و محل شکست را نیز ثبت می‌کند تا به توسعه‌دهندگان در یافتن سریع نقاط ضعف توانایی مدل کمک کند.
به عنوان یکی از بنیان‌گذاران مشترک، Mifeng دارایی‌های اشیای با وفاداری بالا و صحنه‌های شبیه‌سازی را برای RoboColiseum فراهم می‌کند، از ساخت محیط ارزیابی برای وظایف پیچیده عملیات ربات پشتیبانی می‌کند و منابع پایه برای آزمون توانایی مدل در تعامل با اشیای مختلف، چیدمان فضایی و شرایط محیطی فراهم می‌آورد.
اینکه آیا نتایج مدل در شبیه‌سازی می‌تواند عملکرد واقعی عملیات را منعکس کند نیز کلید ارزیابی است. بر اساس نتایج آزمون واقعی منتشرشده توسط پلتفرم، همبستگی ارزیابی شبیه‌سازی RoboColiseum با استقرار روی ماشین واقعی به 89.5% می‌رسد و تفاوت ارزیابی همان مدل در شبیه‌سازی و دنیای واقعی کمتر از 10% است که می‌تواند مرجعی برای غربالگری مدل و مکان‌یابی مشکلات پیش از ورود توسعه‌دهندگان به آزمون ماشین واقعی فراهم کند.
Mifeng Technology یک سیستم تأمین داده «جامع، خوب و سریع» ارائه می‌دهد که سه الگوی داده اصلی یعنی ماشین واقعی، شبیه‌سازی و بدون بدن را پوشش می‌دهد. در بخش شبیه‌سازی، Mifeng دو نوع منبع یعنی دارایی‌های اشیا و دارایی‌های محیطی ارائه می‌دهد که انواع اقلام روزمره و صحنه‌های داخلی را پوشش می‌دهد و قابلیت‌هایی مانند بازسازی صحنه، دستیابی به داده مسیر متخصص و بصری‌سازی نتایج ارزیابی را فراهم می‌کند تا به تیم‌های مدل در انجام آموزش و ارزیابی متنوع کمک کند.
واژه Coliseum در اصل به آمفی‌تئاتر دایره‌ای روم باستان اشاره دارد و RoboColiseum با الهام از این تصویر، یک سیستم ارزیابی نظام‌مند چندبُعدی می‌سازد تا با ارزیابی شبیه‌سازی که همبستگی بالایی با عملکرد ماشین واقعی دارد، یک «میدان نبرد» و «میدان تمرین» عمومی، بی‌طرف و قابل بازتولید برای مدل‌های هوش جسم‌یافته ایجاد کند. هر دانشگاه، مؤسسه پژوهشی یا توسعه‌دهنده شرکتی می‌تواند مدل خود را ارسال کند و در یک «آزمون» استاندارد شرکت کند. از زمان راه‌اندازی در اوت، بیش از 100 تیم از داخل و خارج کشور آموزش و ارزیابی مدل را در این پلتفرم انجام داده‌اند.
RoboColiseum اکنون برای توسعه‌دهندگان سراسر جهان باز است و از تیم‌های مدل برای مشارکت در ارزیابی استقبال می‌کند.
