همه مقاله‌ها
رباتیکهوش مصنوعی فیزیکییادگیری رباتداده آموزشی

ویدیوی اول‌شخص برای یادگیری ربات در ۲۰۲۶: چگونه ویدیوی کار انسان به داده آموزشی مدل‌های پایه رباتیک تبدیل می‌شود

کمیاب‌ترین ورودی رباتیک نه توان محاسباتی است و نه سخت‌افزار، بلکه داده درباره این است که دست انسان واقعاً چطور کار می‌کند. در آبان ۱۴۰۵ (نوامبر ۲۰۲۶) مدل GR00T 2 انویدیا، مدل T-Rex پاناسونیک و مجموعه‌داده تازه HubEgo-100K نشان دادند ویدیوی اول‌شخص انسان امروز تا کجا می‌تواند یک ربات را جلو ببرد؛ آن هم بر پایه مجموعه‌داده‌های باز پیشین مثل EgoVerse و World In Your Hands. ویدیوی اول‌شخص برای یادگیری ربات چیست، شواهد تازه چه می‌گویند، کجا کم می‌آورد و یک راهنمای عملی برای مدیران فناوری که داده آموزش ربات را برنامه‌ریزی می‌کنند.

نویسنده: یاسینه پورابراهیم · · ۱۲ دقیقه مطالعه

مدل‌های زبانی بزرگ اینترنت را داشتند؛ ربات‌ها هیچ‌وقت چیزی شبیه آن نداشتند. هر ساعت تجربه ربات معمولاً از اینجا می‌آمد که یک نفر ربات واقعی را از راه دور هدایت کند؛ کاری کند، پرهزینه و گره‌خورده به یک بدنه رباتیک در یک آزمایشگاه. برای همین مهم‌ترین خبر رباتیک این پاییز یک انسان‌نمای تازه نیست، بلکه تغییر منبع داده آموزشی است. در کنفرانس یادگیری ربات (CoRL 2026) در آستین، انویدیا مدل GR00T 2 را معرفی کرد؛ یک مدل پایه رباتیک که روی ۴۰۲٬۷۳۰ ساعت ویدیوی اول‌شخص از انسان‌ها در حال کار پیش‌آموزش دیده است. پاناسونیک و شرکای دانشگاهی‌اش مدل T-Rex را ارائه کردند که آن هم از ویدیوی انسان شروع می‌کند. و یک مجموعه‌داده باز تازه به نام HubEgo-100K بیش از ۱۰ هزار ساعت کار تخصصی را از زاویه دید خود کارگر منتشر کرد. ویدیوی اول‌شخص برای یادگیری ربات از یک ایده پژوهشی به بزرگ‌ترین جزء داده در برخی از توانمندترین مدل‌های رباتیک تبدیل شده است.

ویدیوی اول‌شخص برای یادگیری ربات یعنی چه

ویدیوی اول‌شخص (egocentric) تصویری است که از زاویه دید خود کسی که کار را انجام می‌دهد ضبط می‌شود؛ معمولاً با دوربین یا گوشی نصب‌شده روی سر و گاهی همراه با دوربین مچ یا حسگر حرکت. جذابیتش برای رباتیک این است که همان چیزی را نشان می‌دهد که ربات باید یاد بگیرد: دست‌هایی که به اشیا نزدیک می‌شوند، ابزاری که به کار می‌رود و ترتیب مراحل یک کار واقعی، آن هم تقریباً از همان جایی که دوربین‌های خود ربات قرار می‌گیرند.

مشکل اینجاست که ویدیوی انسان هیچ «عمل رباتیکی» در خود ندارد. دست انسان گریپر نیست و ویدیو زاویه مفصل یا فرمان موتور را ثبت نمی‌کند. به همین دلیل پژوهشگران از ویدیوی انسان به چند شکل استفاده می‌کنند: برای یادگیری بازنمایی‌های بصری از دست‌کاری اشیا، برای بازسازی سه‌بعدی حرکت دست و انتقال آن به دست رباتیک، و برای آموزش هم‌زمان سیاست ربات روی داده انسان و ربات. مقاله HubEgo-100K جمع‌بندی خوبی از شواهد موجود می‌دهد: ویدیوی اول‌شخص انسان بازنمایی‌های بصری برای دست‌کاری را بهتر می‌کند و اگر همراه با مقدار کمی داده ربات آموزش داده شود، تعمیم سیاست ربات به صحنه‌ها، اشیا و کارهای تازه را بهبود می‌دهد.

یادگیری ربات از ویدیوی انسان: شواهد تازه چه می‌گویند

GR00T 2: ویدیوی انسان به‌عنوان بخش اصلی داده مدل پایه رباتیک

انویدیا GR00T 2 را «مدل جهان-عمل» (world-action model) می‌نامد؛ مدلی که ویدیوی آینده و عمل ربات را با هم پیش‌بینی می‌کند تا یاد بگیرد تعامل‌های فیزیکی چطور پیش می‌روند و چه عملی آن‌ها را می‌سازد (ایده کلی‌تر مدل‌هایی که جهان را پیش‌بینی می‌کنند را در مدل‌های جهان در ۲۰۲۶ توضیح داده‌ام). ترکیب داده پیش‌آموزش این مدل روشن‌ترین تصویری است که تا امروز از «خوراک» یک مدل رباتیک پیشرو دیده‌ایم:

  • ۴۰۲٬۷۳۰ ساعت ویدیوی اول‌شخص از انسان‌ها در حال کار، از مجموعه‌داده Human-1M انویدیا؛ ۱۰۰ هزار ساعت از آن با نام Human-1M-100K به‌صورت باز روی Hugging Face در دسترس است.
  • ۱۰٬۱۸۴ ساعت نمایش با گریپر دستی UMI در ۲٬۸۹۷ کار مختلف.
  • ۲۳٬۵۰۰ ساعت داده هدایت از راه دور ربات، روی بازوهای دارای گریپر موازی، دست‌های رباتیک چابک و انسان‌نمای Unitree G1.

یعنی حجم ویدیوی انسان بیش از ده برابر کل داده ربات است. انویدیا اثر آن را هم اندازه گرفت: چهار مدل را با صفر، ۱٪، ۱۰٪ و ۱۰۰٪ ویدیوی انسان پیش‌آموزش داد و روی ۷۲ کار ارزیابی کرد. پیشرفت کار روی ربات واقعی در هر مرحله بالا رفت و از ۵۰٪ به ۷۰٪ رسید.

نتایج انتقال مهارت از همه جالب‌ترند. در کارهای آزمایشگاه شیمی که فقط انسان‌ها با دستکش و دوربین سر و مچ نشان داده بودند و هیچ هدایت از راه دوری برای خود آن کار انجام نشده بود، رباتی با دو دست پنج‌انگشتی در ۶۵٪ آزمایش‌ها کاغذ صافی را در قیف آزمایشگاهی گذاشت و خیسش کرد. از ۵۰ کاری که ربات هدف هرگز تمرین نکرده بود و فقط در ویدیوی انسان یا داده ربات‌های دیگر دیده شده بودند، ۴۰ کار بدون هیچ نمایشی دست‌کم یک بار موفق شدند و با پنج نمایش برای هر کار، یعنی کمتر از سه دقیقه داده ربات، موفقیت به ۹۵٪ رسید. انویدیا ابزارهای کمکی هم منتشر کرد: گردش‌کار Video to Data که ویدیوی انسان را به نمایش‌های شبیه‌سازی‌شده ربات تبدیل می‌کند، و مدل باز EgoHand برای بازسازی سه‌بعدی حرکت دست که به گفته انویدیا در دو هفته پس از انتشار بیش از ۴۰ هزار بار از Hugging Face دانلود شده است. در سمت صنعت هم انویدیا می‌گوید فاکسکان GR00T 2 را برای خودکارسازی کارخانه تولید سرور به کار می‌برد و زیمنس آن را در کاربردهای صنعتی ارزیابی می‌کند.

T-Rex: اول ویدیوی انسان، بعد حس لامسه

پاناسونیک هولدینگز و Panasonic R&D Company of America همراه با دانشگاه برکلی، انویدیا، استنفورد، دانشگاه ساپینزای رم و ItalAI در ۱۴ آبان ۱۴۰۵ (۵ نوامبر ۲۰۲۶) از T-Rex رونمایی کردند؛ یک مدل بینایی-زبان-عمل با واکنش لمسی برای کارهای دودستی ظریف که همان الگوی «از عام به خاص» را دنبال می‌کند. T-Rex ابتدا دانش بصری و حرکتی را از ۲۲٬۸۸۹ ساعت ویدیوی اول‌شخص انسان یاد می‌گیرد، سپس رفتارهای پرتماس ربات را از حدود ۱۰۰ ساعت (بیش از ۷٬۷۰۰ اپیزود) داده ربات همراه با سیگنال‌های لمسی سرانگشت می‌آموزد و در پایان با حدود ۱۰۰ نمایش برای هر کار تنظیم دقیق می‌شود. در ۱۲ کار واقعی مثل ورق زدن کتاب، جابه‌جا کردن تخم‌مرغ و پیچاندن لامپ، میانگین موفقیتش به ۶۵٪ رسید، در برابر ۳۵٪ برای بهترین روش قبلی؛ و بدون ورودی لمسی به ۴۲٪ افت کرد. درس این نتیجه آن است که ویدیوی انسان گستره مهارت را فراهم می‌کند اما جای حسی را که در تصویر دیده نمی‌شود نمی‌گیرد؛ موضوعی که در حسگر لمسی ربات در ۲۰۲۶ به آن پرداخته‌ام.

HubEgo-100K: کار تخصصی، ضبط‌شده در محیط واقعی

بیشتر مجموعه‌داده‌های اول‌شخص قبلی زندگی روزمره، آشپزخانه یا کارهای از پیش تعیین‌شده روی میز را نشان می‌دهند. HubEgo-100K از Hub Labs که در آبان ۱۴۰۵ در arXiv معرفی شد، سراغ کار تخصصی رفته است. نسخه اول آن (v1.0) شامل ۱۰٬۱۲۴ ساعت ویدیوی 1080p همراه با داده اینرسی ۱۰۰ هرتز از یک گوشی نصب‌شده روی سر است. این ویدیوها را ۱۲٬۲۲۷ نفر در ۱۵٬۵۴۸ محیط ضبط کرده‌اند، ۸۳٪ ساعت‌ها در محیط کار است، و مجموعه در قالب ۷۲٬۷۵۴ اپیزود با برچسب‌های عمل و زبان تولیدشده توسط ماشین، در فرمت‌های LeRobot و MCAP و با مجوز CC BY 4.0 منتشر شده است. نویسندگان قصد دارند نسخه‌های بعدی را تا ۱۰۰ هزار ساعت گسترش دهند. استدلال طراحی‌شان قابل توجه است: مطالعات منتشرشده درباره مقیاس داده نشان می‌دهند تعمیم با تنوع محیط‌ها و اشیای آموزشی بیشتر می‌شود، نه با تعداد بیشتر نمایش در هر محیط؛ پس این مجموعه پیش از هر چیز برای تنوع ساخته شده است.

EgoVerse و World In Your Hands: چه چیزی داده انسان را مفید می‌کند

دو مجموعه‌داده باز پیشین، هشدارهای لازم را اضافه می‌کنند. EgoVerse، کنسرسیومی به رهبری استنفورد، جورجیا تک، ETH زوریخ و دانشگاه کالیفرنیا سن‌دیگو با شرکای صنعتی از جمله Meta Reality Labs Research و Scale AI، ۱٬۳۶۲ ساعت نمایش انسانی در ۱٬۹۶۵ کار و از ۲٬۰۸۷ نفر منتشر کرد و آزمایش‌هایش را در چند آزمایشگاه و روی سه بدنه رباتیک مختلف تکرار کرد. یافته اصلی آن این است که عملکرد سیاست ربات با داده انسانی بیشتر معمولاً بهتر می‌شود، اما مقیاس‌پذیری مؤثر به هم‌راستایی داده انسان با هدف یادگیری ربات بستگی دارد. در یک نمونه، رباتی که نمایش‌هایش راهبرد متفاوتی با انسان‌ها داشت (باز نگه داشتن کیسه با یک گریپر به جای باز کردنش با دو دست) در آموزش مشترک افت عملکرد نشان داد. تنوع صحنه هم قابل‌اتکاترین عامل تعمیم بود.

World In Your Hands (WIYH) از TARS Robotics و شرکای دانشگاهی‌اش بیش از ۱٬۰۰۰ ساعت دست‌کاری در محیط واقعی با دقت حرکت سه‌بعدی در حد میلی‌متر ارائه می‌کند. نتایج آن نشان می‌دهد برچسب‌های راستی‌آزمایی‌شده سیگنال پیش‌آموزش بسیار قوی‌تری نسبت به داده اول‌شخص راستی‌آزمایی‌نشده می‌دهند، حتی وقتی داده راستی‌آزمایی‌نشده نمونه‌های بیشتری دارد. پس فقط حجم داده تعیین‌کننده نیست.

داده آموزش ربات از ویدیوی انسان کجا کم می‌آورد

  • فاصله بدنه انسان و ربات واقعی است. دست انسان، راهبرد انسان و حرکت دوربین روی سر انسان یک‌به‌یک بر ربات منطبق نمی‌شود. نمونه ناهمخوانی راهبرد در EgoVerse نشان می‌دهد داده انسانی نامناسب می‌تواند حتی آسیب بزند.
  • ویدیو نیرو و تماس را نمی‌بیند. T-Rex برای کارهای ظریف، علاوه بر ۲۲٬۸۸۹ ساعت ویدیوی انسان، به داده لمسی ربات نیاز داشت.
  • کیفیت برچسب از تعداد ساعت مهم‌تر است. WIYH نشان داد برچسب‌های راستی‌آزمایی‌شده از مجموعه‌های بزرگ‌تر راستی‌آزمایی‌نشده بهترند؛ برچسب‌های HubEgo-100K هم ماشینی‌اند که مقیاس‌پذیر است اما باید برای کار شما سنجیده شود.
  • حریم خصوصی و رضایت بخشی از خود داده است. HubEgo-100K گزارش می‌دهد مشارکت‌کنندگان با استفاده از ضبط‌هایشان برای آموزش سامانه‌های هوش مصنوعی و رباتیک موافقت کرده‌اند و پیش از انتشار، بخش‌هایی که کودک، چهره افراد دیگر یا متن خصوصی مثل اسناد و پلاک خودرو در آن‌ها دیده می‌شد حذف شده است. مجوز WIYH هم صراحتاً شناسایی مجدد افراد، تشخیص چهره و کاربردهای نظارتی را ممنوع می‌کند.
  • عدد آزمایشگاه عدد محیط تولید نیست. بیشتر نتایج این مقاله از ارزیابی‌های خود سازندگان مدل و روی مجموعه کارهای خودشان آمده است.

درس‌هایی برای مدیران فناوری درباره داده آموزش ربات

برای مدیرانی که برنامه‌های رباتیک یا هوش مصنوعی فیزیکی را پیش می‌برند، تغییر عملی این است که راهبرد داده حالا به اندازه خود ربات اهمیت دارد. سه پیامد برجسته است:

  1. ویدیوی انسان می‌تواند هزینه مهارت‌های کم‌تکرار را پایین بیاورد. اگر مهارتی که فقط در ویدیوی انسان دیده شده قابل انتقال باشد، بخش گران استقرار به چند نمایش آخر روی ربات خودتان محدود می‌شود، نه هزاران ساعت هدایت از راه دور. نتایج GR00T 2 با چند نمایش در همین جهت است.
  2. تخصص کارکنان شما یک دارایی داده است و هم‌زمان یک مسئله حاکمیتی. ضبط اول‌شخص در محیط کار دقیقاً ماده خام HubEgo-100K است. هر برنامه داخلی از روز اول به رضایت آگاهانه، فیلتر حریم خصوصی و مجوز روشن نیاز دارد.
  3. باز بودن، معادله «بسازیم یا بخریم» را تغییر می‌دهد. با وزن‌های باز، مجموعه‌داده‌های باز با مجوزهای آزاد و ابزارهای باز بازسازی حرکت دست، تیم‌ها می‌توانند به جای ساختن از صفر، مدل موجود را تنظیم دقیق کنند؛ همان استدلالی که درباره مدل‌های بینایی-زبان-عمل مطرح کرده بودم.

راهنمای عملی داده اول‌شخص برای ربات

  1. از یک مدل پایه باز و داده باز شروع کنید. پیش از برنامه‌ریزی هر جمع‌آوری داده، یک مدل پیش‌آموزش‌دیده را روی کارهای خودتان بسنجید.
  2. یک پایلوت کوچک از کار خودتان از زاویه دید کارگر ضبط کنید. دوربین سر و مچ، پروتکل یکسان و همان راهبردی که می‌خواهید ربات به کار ببرد.
  3. پیش از بزرگ کردن مقیاس، هم‌راستایی را بسنجید. روش انجام کار توسط انسان و ربات را مقایسه کنید؛ اگر راهبردها فرق دارند، اول پروتکل نمایش را اصلاح کنید.
  4. برای برچسب راستی‌آزمایی‌شده بودجه بگذارید. برچسب‌های ماشینی را نمونه‌برداری و بررسی کنید و کیفیت برچسب را یک شاخص بدانید.
  5. مقداری داده ربات را در چرخه نگه دارید. برای هر کار چند نمایش ربات و برای کارهای پرتماس، سیگنال لمسی یا نیرو در نظر بگیرید.
  6. قواعد حریم خصوصی را اول بنویسید. رضایت، فیلتر چهره و اسناد، مدت نگهداری و شرایط مجوز باید پیش از ضبط اولین ساعت روشن باشد.
  7. منحنی مقیاس را خودتان اندازه بگیرید. مثل انویدیا، با سهم‌های فزاینده داده انسانی آموزش دهید و داده را فقط وقتی نگه دارید که پیشرفت کار خودتان واقعاً بالا برود.

سخن پایانی

سال‌ها پاسخ صادقانه به این پرسش که «ربات‌ها کی تعمیم‌پذیر می‌شوند؟» این بود: «وقتی داده کافی داشته باشیم، و نمی‌دانیم از کجا بیاوریم.» این پاییز بخشی از پاسخ را نشان داد: بخش بزرگی از آن داده می‌تواند از آدم‌هایی بیاید که فقط کار روزمره‌شان را انجام می‌دهند و دوربینی از زاویه دید خودشان ضبط می‌کند. این کار نیاز به داده ربات، حس لامسه و ارزیابی دقیق را از بین نمی‌برد و پرسش‌های جدی درباره رضایت و حریم خصوصی هم پیش می‌کشد. اما اقتصاد آموزش یک مهارت تازه به ربات را تغییر می‌دهد و این همان بخشی است که مدیران فناوری باید از همین حالا برایش برنامه‌ریزی کنند.

منابع

مقاله‌های مرتبط

رباتیکهوش مصنوعی فیزیکیحسگر لمسیدست‌کاری چابک

حسگر لمسی ربات در ۲۰۲۶: چرا حس لامسه به لایه گم‌شده دست‌های رباتیک چابک تبدیل شده است

ربات‌ها دیدن و برنامه‌ریزی را یاد گرفته‌اند، اما بیشترشان هنوز نمی‌توانند حس کنند انگشتانشان چه می‌کنند. در مهر و آبان ۱۴۰۵ (اکتبر و نوامبر ۲۰۲۶) مجموعه‌ای از نتایج از استنفورد، NYU و کلمبیا، مؤسسه پژوهشی تویوتا، دانشگاه یورک، Sharpa و گوگل دیپ‌مایند نشان داد حس لامسه تا چه حد تصویر را تغییر می‌دهد؛ از پوست لمسی تمام‌دست با هزینه مواد کمتر از ۱۰ دلار تا حسگرهای سرانگشتی که از دوربین مچ بهتر عمل کردند. حسگر لمسی ربات دقیقاً چه چیزی را می‌سنجد، شواهد تازه چه می‌گویند، محدودیت‌ها کجاست و یک راهنمای عملی برای مدیران فناوری.

· ۱۲ دقیقه مطالعه

مدل جهانهوش مصنوعی فیزیکیرباتیکشبیه‌سازی

مدل جهان در ۲۰۲۶: Genie 4، Cosmos 3 و آنچه جهان‌های شبیه‌سازی‌شده برای ربات‌ها و هوش مصنوعی سازمانی معنا دارند

از ۵ تا ۱۸ آبان ۱۴۰۵ (۲۷ اکتبر تا ۹ نوامبر ۲۰۲۶) مدل‌های جهان از نمایش‌های پژوهشی به ابزارهایی رسیدند که توسعه‌دهندگان می‌توانند دانلود، استریم و آزمایش کنند. گوگل دیپ‌مایند پیش‌نمایش Genie 4 را عرضه کرد، انویدیا چک‌پوینت‌های باز شبیه‌سازی Cosmos 3 را منتشر کرد، World Labs مدل Atlas را به‌صورت بلادرنگ استریم کرد، LiberAI یک مدل جهان-عمل را با ۲٫۲ میلیون ساعت تجربه انسانی آموزش داد، اپل ربات انسان‌نمایی را تقریباً به‌طور کامل در شبیه‌سازی آموزش داد و MIT شش نوع فیزیک را در یک مدل یکپارچه کرد. مدل جهان امروز چه می‌تواند و چه نمی‌تواند، شکاف شبیه‌سازی تا واقعیت کجا هنوز جدی است و یک راهنمای عملی برای مدیران فناوری.

· ۱۴ دقیقه مطالعه

هوش مصنوعی فیزیکیرباتیکمدل بینایی-زبان-عملربات انسان‌نما

هوش مصنوعی فیزیکی در ۲۰۲۶: مدل‌های بینایی-زبان-عمل و ورود ربات‌ها به کار واقعی

در نیمه مهر ۱۴۰۵، گوگل، NEURA Robotics و Galaxea هر کدام بخشی از یک تصویر واحد را نشان دادند: مدل‌های پایه رباتیک که می‌بینند، استدلال می‌کنند و عمل می‌کنند. چه چیزی واقعاً تغییر کرده، چه چیزی هنوز ادعای خود شرکت‌هاست و مدیران فناوری چطور هوش مصنوعی فیزیکی را ارزیابی کنند.

· ۱۱ دقیقه مطالعه