مدلهای زبانی بزرگ اینترنت را داشتند؛ رباتها هیچوقت چیزی شبیه آن نداشتند. هر ساعت تجربه ربات معمولاً از اینجا میآمد که یک نفر ربات واقعی را از راه دور هدایت کند؛ کاری کند، پرهزینه و گرهخورده به یک بدنه رباتیک در یک آزمایشگاه. برای همین مهمترین خبر رباتیک این پاییز یک انساننمای تازه نیست، بلکه تغییر منبع داده آموزشی است. در کنفرانس یادگیری ربات (CoRL 2026) در آستین، انویدیا مدل GR00T 2 را معرفی کرد؛ یک مدل پایه رباتیک که روی ۴۰۲٬۷۳۰ ساعت ویدیوی اولشخص از انسانها در حال کار پیشآموزش دیده است. پاناسونیک و شرکای دانشگاهیاش مدل T-Rex را ارائه کردند که آن هم از ویدیوی انسان شروع میکند. و یک مجموعهداده باز تازه به نام HubEgo-100K بیش از ۱۰ هزار ساعت کار تخصصی را از زاویه دید خود کارگر منتشر کرد. ویدیوی اولشخص برای یادگیری ربات از یک ایده پژوهشی به بزرگترین جزء داده در برخی از توانمندترین مدلهای رباتیک تبدیل شده است.
ویدیوی اولشخص برای یادگیری ربات یعنی چه
ویدیوی اولشخص (egocentric) تصویری است که از زاویه دید خود کسی که کار را انجام میدهد ضبط میشود؛ معمولاً با دوربین یا گوشی نصبشده روی سر و گاهی همراه با دوربین مچ یا حسگر حرکت. جذابیتش برای رباتیک این است که همان چیزی را نشان میدهد که ربات باید یاد بگیرد: دستهایی که به اشیا نزدیک میشوند، ابزاری که به کار میرود و ترتیب مراحل یک کار واقعی، آن هم تقریباً از همان جایی که دوربینهای خود ربات قرار میگیرند.
مشکل اینجاست که ویدیوی انسان هیچ «عمل رباتیکی» در خود ندارد. دست انسان گریپر نیست و ویدیو زاویه مفصل یا فرمان موتور را ثبت نمیکند. به همین دلیل پژوهشگران از ویدیوی انسان به چند شکل استفاده میکنند: برای یادگیری بازنماییهای بصری از دستکاری اشیا، برای بازسازی سهبعدی حرکت دست و انتقال آن به دست رباتیک، و برای آموزش همزمان سیاست ربات روی داده انسان و ربات. مقاله HubEgo-100K جمعبندی خوبی از شواهد موجود میدهد: ویدیوی اولشخص انسان بازنماییهای بصری برای دستکاری را بهتر میکند و اگر همراه با مقدار کمی داده ربات آموزش داده شود، تعمیم سیاست ربات به صحنهها، اشیا و کارهای تازه را بهبود میدهد.
یادگیری ربات از ویدیوی انسان: شواهد تازه چه میگویند
GR00T 2: ویدیوی انسان بهعنوان بخش اصلی داده مدل پایه رباتیک
انویدیا GR00T 2 را «مدل جهان-عمل» (world-action model) مینامد؛ مدلی که ویدیوی آینده و عمل ربات را با هم پیشبینی میکند تا یاد بگیرد تعاملهای فیزیکی چطور پیش میروند و چه عملی آنها را میسازد (ایده کلیتر مدلهایی که جهان را پیشبینی میکنند را در مدلهای جهان در ۲۰۲۶ توضیح دادهام). ترکیب داده پیشآموزش این مدل روشنترین تصویری است که تا امروز از «خوراک» یک مدل رباتیک پیشرو دیدهایم:
- ۴۰۲٬۷۳۰ ساعت ویدیوی اولشخص از انسانها در حال کار، از مجموعهداده Human-1M انویدیا؛ ۱۰۰ هزار ساعت از آن با نام Human-1M-100K بهصورت باز روی Hugging Face در دسترس است.
- ۱۰٬۱۸۴ ساعت نمایش با گریپر دستی UMI در ۲٬۸۹۷ کار مختلف.
- ۲۳٬۵۰۰ ساعت داده هدایت از راه دور ربات، روی بازوهای دارای گریپر موازی، دستهای رباتیک چابک و انساننمای Unitree G1.
یعنی حجم ویدیوی انسان بیش از ده برابر کل داده ربات است. انویدیا اثر آن را هم اندازه گرفت: چهار مدل را با صفر، ۱٪، ۱۰٪ و ۱۰۰٪ ویدیوی انسان پیشآموزش داد و روی ۷۲ کار ارزیابی کرد. پیشرفت کار روی ربات واقعی در هر مرحله بالا رفت و از ۵۰٪ به ۷۰٪ رسید.
نتایج انتقال مهارت از همه جالبترند. در کارهای آزمایشگاه شیمی که فقط انسانها با دستکش و دوربین سر و مچ نشان داده بودند و هیچ هدایت از راه دوری برای خود آن کار انجام نشده بود، رباتی با دو دست پنجانگشتی در ۶۵٪ آزمایشها کاغذ صافی را در قیف آزمایشگاهی گذاشت و خیسش کرد. از ۵۰ کاری که ربات هدف هرگز تمرین نکرده بود و فقط در ویدیوی انسان یا داده رباتهای دیگر دیده شده بودند، ۴۰ کار بدون هیچ نمایشی دستکم یک بار موفق شدند و با پنج نمایش برای هر کار، یعنی کمتر از سه دقیقه داده ربات، موفقیت به ۹۵٪ رسید. انویدیا ابزارهای کمکی هم منتشر کرد: گردشکار Video to Data که ویدیوی انسان را به نمایشهای شبیهسازیشده ربات تبدیل میکند، و مدل باز EgoHand برای بازسازی سهبعدی حرکت دست که به گفته انویدیا در دو هفته پس از انتشار بیش از ۴۰ هزار بار از Hugging Face دانلود شده است. در سمت صنعت هم انویدیا میگوید فاکسکان GR00T 2 را برای خودکارسازی کارخانه تولید سرور به کار میبرد و زیمنس آن را در کاربردهای صنعتی ارزیابی میکند.
T-Rex: اول ویدیوی انسان، بعد حس لامسه
پاناسونیک هولدینگز و Panasonic R&D Company of America همراه با دانشگاه برکلی، انویدیا، استنفورد، دانشگاه ساپینزای رم و ItalAI در ۱۴ آبان ۱۴۰۵ (۵ نوامبر ۲۰۲۶) از T-Rex رونمایی کردند؛ یک مدل بینایی-زبان-عمل با واکنش لمسی برای کارهای دودستی ظریف که همان الگوی «از عام به خاص» را دنبال میکند. T-Rex ابتدا دانش بصری و حرکتی را از ۲۲٬۸۸۹ ساعت ویدیوی اولشخص انسان یاد میگیرد، سپس رفتارهای پرتماس ربات را از حدود ۱۰۰ ساعت (بیش از ۷٬۷۰۰ اپیزود) داده ربات همراه با سیگنالهای لمسی سرانگشت میآموزد و در پایان با حدود ۱۰۰ نمایش برای هر کار تنظیم دقیق میشود. در ۱۲ کار واقعی مثل ورق زدن کتاب، جابهجا کردن تخممرغ و پیچاندن لامپ، میانگین موفقیتش به ۶۵٪ رسید، در برابر ۳۵٪ برای بهترین روش قبلی؛ و بدون ورودی لمسی به ۴۲٪ افت کرد. درس این نتیجه آن است که ویدیوی انسان گستره مهارت را فراهم میکند اما جای حسی را که در تصویر دیده نمیشود نمیگیرد؛ موضوعی که در حسگر لمسی ربات در ۲۰۲۶ به آن پرداختهام.
HubEgo-100K: کار تخصصی، ضبطشده در محیط واقعی
بیشتر مجموعهدادههای اولشخص قبلی زندگی روزمره، آشپزخانه یا کارهای از پیش تعیینشده روی میز را نشان میدهند. HubEgo-100K از Hub Labs که در آبان ۱۴۰۵ در arXiv معرفی شد، سراغ کار تخصصی رفته است. نسخه اول آن (v1.0) شامل ۱۰٬۱۲۴ ساعت ویدیوی 1080p همراه با داده اینرسی ۱۰۰ هرتز از یک گوشی نصبشده روی سر است. این ویدیوها را ۱۲٬۲۲۷ نفر در ۱۵٬۵۴۸ محیط ضبط کردهاند، ۸۳٪ ساعتها در محیط کار است، و مجموعه در قالب ۷۲٬۷۵۴ اپیزود با برچسبهای عمل و زبان تولیدشده توسط ماشین، در فرمتهای LeRobot و MCAP و با مجوز CC BY 4.0 منتشر شده است. نویسندگان قصد دارند نسخههای بعدی را تا ۱۰۰ هزار ساعت گسترش دهند. استدلال طراحیشان قابل توجه است: مطالعات منتشرشده درباره مقیاس داده نشان میدهند تعمیم با تنوع محیطها و اشیای آموزشی بیشتر میشود، نه با تعداد بیشتر نمایش در هر محیط؛ پس این مجموعه پیش از هر چیز برای تنوع ساخته شده است.
EgoVerse و World In Your Hands: چه چیزی داده انسان را مفید میکند
دو مجموعهداده باز پیشین، هشدارهای لازم را اضافه میکنند. EgoVerse، کنسرسیومی به رهبری استنفورد، جورجیا تک، ETH زوریخ و دانشگاه کالیفرنیا سندیگو با شرکای صنعتی از جمله Meta Reality Labs Research و Scale AI، ۱٬۳۶۲ ساعت نمایش انسانی در ۱٬۹۶۵ کار و از ۲٬۰۸۷ نفر منتشر کرد و آزمایشهایش را در چند آزمایشگاه و روی سه بدنه رباتیک مختلف تکرار کرد. یافته اصلی آن این است که عملکرد سیاست ربات با داده انسانی بیشتر معمولاً بهتر میشود، اما مقیاسپذیری مؤثر به همراستایی داده انسان با هدف یادگیری ربات بستگی دارد. در یک نمونه، رباتی که نمایشهایش راهبرد متفاوتی با انسانها داشت (باز نگه داشتن کیسه با یک گریپر به جای باز کردنش با دو دست) در آموزش مشترک افت عملکرد نشان داد. تنوع صحنه هم قابلاتکاترین عامل تعمیم بود.
World In Your Hands (WIYH) از TARS Robotics و شرکای دانشگاهیاش بیش از ۱٬۰۰۰ ساعت دستکاری در محیط واقعی با دقت حرکت سهبعدی در حد میلیمتر ارائه میکند. نتایج آن نشان میدهد برچسبهای راستیآزماییشده سیگنال پیشآموزش بسیار قویتری نسبت به داده اولشخص راستیآزمایینشده میدهند، حتی وقتی داده راستیآزمایینشده نمونههای بیشتری دارد. پس فقط حجم داده تعیینکننده نیست.
داده آموزش ربات از ویدیوی انسان کجا کم میآورد
- فاصله بدنه انسان و ربات واقعی است. دست انسان، راهبرد انسان و حرکت دوربین روی سر انسان یکبهیک بر ربات منطبق نمیشود. نمونه ناهمخوانی راهبرد در EgoVerse نشان میدهد داده انسانی نامناسب میتواند حتی آسیب بزند.
- ویدیو نیرو و تماس را نمیبیند. T-Rex برای کارهای ظریف، علاوه بر ۲۲٬۸۸۹ ساعت ویدیوی انسان، به داده لمسی ربات نیاز داشت.
- کیفیت برچسب از تعداد ساعت مهمتر است. WIYH نشان داد برچسبهای راستیآزماییشده از مجموعههای بزرگتر راستیآزمایینشده بهترند؛ برچسبهای HubEgo-100K هم ماشینیاند که مقیاسپذیر است اما باید برای کار شما سنجیده شود.
- حریم خصوصی و رضایت بخشی از خود داده است. HubEgo-100K گزارش میدهد مشارکتکنندگان با استفاده از ضبطهایشان برای آموزش سامانههای هوش مصنوعی و رباتیک موافقت کردهاند و پیش از انتشار، بخشهایی که کودک، چهره افراد دیگر یا متن خصوصی مثل اسناد و پلاک خودرو در آنها دیده میشد حذف شده است. مجوز WIYH هم صراحتاً شناسایی مجدد افراد، تشخیص چهره و کاربردهای نظارتی را ممنوع میکند.
- عدد آزمایشگاه عدد محیط تولید نیست. بیشتر نتایج این مقاله از ارزیابیهای خود سازندگان مدل و روی مجموعه کارهای خودشان آمده است.
درسهایی برای مدیران فناوری درباره داده آموزش ربات
برای مدیرانی که برنامههای رباتیک یا هوش مصنوعی فیزیکی را پیش میبرند، تغییر عملی این است که راهبرد داده حالا به اندازه خود ربات اهمیت دارد. سه پیامد برجسته است:
- ویدیوی انسان میتواند هزینه مهارتهای کمتکرار را پایین بیاورد. اگر مهارتی که فقط در ویدیوی انسان دیده شده قابل انتقال باشد، بخش گران استقرار به چند نمایش آخر روی ربات خودتان محدود میشود، نه هزاران ساعت هدایت از راه دور. نتایج GR00T 2 با چند نمایش در همین جهت است.
- تخصص کارکنان شما یک دارایی داده است و همزمان یک مسئله حاکمیتی. ضبط اولشخص در محیط کار دقیقاً ماده خام HubEgo-100K است. هر برنامه داخلی از روز اول به رضایت آگاهانه، فیلتر حریم خصوصی و مجوز روشن نیاز دارد.
- باز بودن، معادله «بسازیم یا بخریم» را تغییر میدهد. با وزنهای باز، مجموعهدادههای باز با مجوزهای آزاد و ابزارهای باز بازسازی حرکت دست، تیمها میتوانند به جای ساختن از صفر، مدل موجود را تنظیم دقیق کنند؛ همان استدلالی که درباره مدلهای بینایی-زبان-عمل مطرح کرده بودم.
راهنمای عملی داده اولشخص برای ربات
- از یک مدل پایه باز و داده باز شروع کنید. پیش از برنامهریزی هر جمعآوری داده، یک مدل پیشآموزشدیده را روی کارهای خودتان بسنجید.
- یک پایلوت کوچک از کار خودتان از زاویه دید کارگر ضبط کنید. دوربین سر و مچ، پروتکل یکسان و همان راهبردی که میخواهید ربات به کار ببرد.
- پیش از بزرگ کردن مقیاس، همراستایی را بسنجید. روش انجام کار توسط انسان و ربات را مقایسه کنید؛ اگر راهبردها فرق دارند، اول پروتکل نمایش را اصلاح کنید.
- برای برچسب راستیآزماییشده بودجه بگذارید. برچسبهای ماشینی را نمونهبرداری و بررسی کنید و کیفیت برچسب را یک شاخص بدانید.
- مقداری داده ربات را در چرخه نگه دارید. برای هر کار چند نمایش ربات و برای کارهای پرتماس، سیگنال لمسی یا نیرو در نظر بگیرید.
- قواعد حریم خصوصی را اول بنویسید. رضایت، فیلتر چهره و اسناد، مدت نگهداری و شرایط مجوز باید پیش از ضبط اولین ساعت روشن باشد.
- منحنی مقیاس را خودتان اندازه بگیرید. مثل انویدیا، با سهمهای فزاینده داده انسانی آموزش دهید و داده را فقط وقتی نگه دارید که پیشرفت کار خودتان واقعاً بالا برود.
سخن پایانی
سالها پاسخ صادقانه به این پرسش که «رباتها کی تعمیمپذیر میشوند؟» این بود: «وقتی داده کافی داشته باشیم، و نمیدانیم از کجا بیاوریم.» این پاییز بخشی از پاسخ را نشان داد: بخش بزرگی از آن داده میتواند از آدمهایی بیاید که فقط کار روزمرهشان را انجام میدهند و دوربینی از زاویه دید خودشان ضبط میکند. این کار نیاز به داده ربات، حس لامسه و ارزیابی دقیق را از بین نمیبرد و پرسشهای جدی درباره رضایت و حریم خصوصی هم پیش میکشد. اما اقتصاد آموزش یک مهارت تازه به ربات را تغییر میدهد و این همان بخشی است که مدیران فناوری باید از همین حالا برایش برنامهریزی کنند.
منابع
- GR00T 2: Scaling Robot Foundation Models for Generalization, Dexterity, and Adaptation، آزمایشگاه GEAR انویدیا، صفحه پروژه، آبان ۱۴۰۵ (نوامبر ۲۰۲۶)
- Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation، Sasa Docca، وبلاگ انویدیا، ۱۸ آبان ۱۴۰۵
- Panasonic HD Co-Develops a Robot Manipulation AI That Performs Dexterous Bimanual Tasks by Reacting Instantly to Fingertip Touch، بیانیه مطبوعاتی پاناسونیک هولدینگز، ۱۴ آبان ۱۴۰۵ (مقاله: T-Rex: Tactile-Reactive Dexterous Manipulation)
- HubEgo-100K: In-the-Wild Egocentric Video of Skilled Work for Robot Learning، Javad Amirian، Armin Kiani، Loïc Schaeffer، Tim Sprecher، Mohamed Taha و Karthik Yadati، Hub Labs، arXiv:2611.21938، آبان ۱۴۰۵
- EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World، Ryan Punamiya، Simar Kareer، Zeyi Liu و همکاران، دانشگاه استنفورد، جورجیا تک، ETH زوریخ، دانشگاه کالیفرنیا سندیگو و شرکا، arXiv:2604.07607، ۲۰۲۶
- World In Your Hands: A Large-scale Ego-centric Dataset for Learning Robotic Manipulation In the Wild، Yupeng Zheng و همکاران، TARS Robotics و شرکا، arXiv:2512.24310
