بسیاری از شرکت‌های هوش مصنوعی احتمالاً شاهد بازگشت مبالغی که سرمایه‌گذاری کرده‌اند نخواهند بود و درنتیجه احتمالاً به‌زودی یک اصلاح اساسی رخ خواهد داد.
غزال زیاری: گری مارکوس، استاد بازنشسته دانشگاه نیویورک صدایی پیشرو در هوش مصنوعی است که بیشتر به خاطر چالش‌هایش با هوش مصنوعی معاصر شناخته می‌شود. او یک دانشمند و نویسنده‌ای پرطرفدار است که درعین‌حال بنیان‌گذار و مدیرعامل Geometric.AI (یک شرکت یادگیری ماشینی که توسط Uber خریداری‌شده) نیز هست.
مارکوس در بررسی شرایط کنونی دنیای هوش مصنوعی گفت: «حدود نیم تریلیون دلار روی فرضیه‌ای سرمایه‌گذاری شده که از مدت‌ها پیش استدلال می‌کردم که احتمال موفقیتش کم است. این ایده (که گاهی به شکل غیررسمی از آن به‌عنوان فرضیه مقیاس بندی یاد می‌شود) بدین ترتیب است که ما می‌توانیم به‌راحتی و با افزودن بیشتر داده‌ها و پردازنده‌های گرافیکی به “هوش عمومی مصنوعی” برسیم. شعار پشت این جنبش این بود: “مقیاس تمام چیزی است که نیاز دارید”. در ماه می سال ۲۰۲۲، ناندو دی فریتاس، محقق DeepMind، آن‌قدر نسبت به این پروژه اطمینان داشت که دراین‌باره نوشته بود: «حالا همه‌چیز در مورد مقیاس است! بازی تمام شد! بحث بزرگ‌تر کردن، ایمن‌تر کردن و کارآمد کردن این مدل‌هاست.»»
نکته جالب اینجاست که تقریباً تمام صنعت مولد هوش مصنوعی بر اساس این فرضیه ساخته‌شده و پروژه‌هایی ازجمله سرمایه‌گذاری مشترک OpenAI/Oracle/Softbank Stargate که حدوداً نیم تریلیون دلار دیگر هزینه دربرداشته نیز عمدتاً بر این فرض استوار است.
دریکی از تفسیرهای منتشرشده به این نکته اشاره‌شده که ایده پشت فرضیه مقیاس بندی این بود که “موهبت مقیاس نشان می‌دهد که صرفاً تزریق قدرت محاسباتی بیشتر در آموزش مدل‌های هوش مصنوعی، منجر به تولید ابرهوش ماشینی می‌شود که قادر است تا هر انسانی و کل تمدن بشری را در تمام کارهای شناختی شکست دهد.”
پارسال هم ایلان ماسک در پیش‌بینی‌اش درباره هوش مصنوعی گفته بود: «احتمالاً در اواخر سال آینده (منظورش اواخر سال ۲۰۲۵ میلادی بود)، هوش مصنوعی از هر انسانی باهوش‌تر خواهد بود.»
بیشتر هیجان‌ها برای این مقیاس‌بندی، از مقاله سال ۲۰۲۰ OpenAI به نام “قوانین مقیاس‌گذاری برای مدل‌های زبان عصبی” سرچشمه گرفت. در آن مقاله ادعاشده بود که معادلات ساده‌ای بر عملکرد حاکم است و قانون قدرت با اندازه مدل، اندازه مجموعه داده‌ها و مقدار محاسباتی که برای آموزش استفاده می‌شود، در مقایسه با برخی از روندها بیش از هفت برابر بزرگ‌تر است و حتی برای مدتی هم به نظر می‌رسید که درست باشد.
اما من می‌دانستم که این نمی‌تواند برای همیشه ادامه بیابد و وقتی این را گفتم، خیلی‌ها به‌شدت از من عصبانی شدند. من اولین بار نگرانی‌ام را در مقاله‌ای به نام “یادگیری عمیق، مثل برخورد با دیوار است” که در مارس ۲۰۲۲ منتشر شد، مطرح کردم.
در بحث مقیاس بندی چندین حفره جدی مشاهده می‌شود؛ در ابتدا، اقداماتی که مقیاس‌پذیر شده‌اند و چیزی که ما به‌شدت به آن نیاز داریم، در آن نشان نداده نشده است: درک واقعی.
بسیاری از دست‌اندرکاران، مدت‌هاست می‌دانند که یکی از بزرگ‌ترین مشکلات در تحقیقات هوش مصنوعی، تست‌هایی است که برای ارزیابی سیستم‌های هوش مصنوعی مورداستفاده قرار می‌گیرند. چت ربات‌هایی که پارانوئید یا غیرهمکار عمل می‌کنند، به‌راحتی می‌توانند آزمایش معروف تورینگ که با هدف اندازه‌گیری هوش واقعی انجام می‌شود را به بازی بگیرند. مقیاس بندی معیارهایی که کاپلان و همکارانش در OpenAI آن را زیر نظر داشتند درباره پیش‌بینی کلمات در یک جمله، به معنای درک عمیقی نیست که هوش مصنوعی واقعی به آن نیاز دارد.
علاوه بر این، قوانین مقیاس‌پذیری، مثل دیگر قوانین جهانی ازجمله گرانش نیستند؛ بلکه این قوانین درواقع مشاهداتی هستند که ممکن است برای همیشه پابرجا نباشند، چیزی شبیه به قانون مور! (روندی در تولید تراشه‌های رایانه‌ای که دهه‌ها ادامه داشت و یک دهه پیش شروع به کند شدن کرد).
اما تقریباً تمام نخبگان یادگیری عمیق، با شور و صدای زیادی مخالف این ایده بودند و سام آلتمن، گرگ براکمن، ایلان ماسک، یان لیکان و بسیاری دیگر حتی علناً مرا مسخره کردند.
یان لیکان، رئیس هوش مصنوعی متا در واکنش به این بحث نوشت: «هوش مصنوعی، نه‌تنها “به دیوار نمی‌خورد”، بلکه حتی خودروهای مجهز به کمک رانندگی با هوش مصنوعی هم به دیوار یا چیز دیگری برخورد نمی‌کنند.» سام آلتمن، مدیرعامل OpenAI نوشت: «کاش من اعتمادبه‌نفس یک فرد معمولی ولی شکاک نسبت به یادگیری عمیق را داشتم.» حتی در ژوئن ۲۰۲۴ ماسک یک الگوی رفتاری را منتشر کرد که در آن این ایده که مقیاس یادگیری عمیق به دیوار برخورد می‌کند را به تمسخر گرفت.
تا چند ماه پیش، ایده مقیاس‌پذیری همچنان با صدای بلند و قوی مطرح می‌شد؛ کوین اسکات، مدیر ارشد فناوری مایکروسافت در سخنرانی‌اش دراین‌باره گفته بود: «هنوز نهنگ نیامده و در ماه‌های اخیر اوضاع بی‌سروصدا تغییر کرده. تفکر گروهی همیشه درست نیست.»
اولین سرنخ‌هایی که نشان داد که مقیاس‌گذاری خالص داده‌ها و محاسبات ممکن است به دیوار برخورد کنند، از نشت‌های صنعتی از افرادی مانند مارک آندرسن سرمایه‌گذار مشهور شروع شد. او در نوامبر ۲۰۲۴ به این نکته اشاره کرد که مدل‌های فعلی هر یک به‌نوعی، به سقف یکسانی در توانایی‌ها می‌رسند.
در ماه دسامبر هم ساتیا نادلا، مدیرعامل مایکروسافت، بسیاری از موضوعاتی که من در سال ۲۰۲۲ به آن اشاره‌کرده بودم را تکرار کرد و گفت: «در هفته‌های اخیر بحث‌های زیادی دراین‌باره که آیا با قوانین مقیاس‌پذیری به دیوار برخورد کرده‌ایم یا خیر مطرح‌شده. آیا این وضع ادامه خواهد داشت؟ درنهایت باید این را به یاد بسپاریم که این‌ها قوانین فیزیکی نیستند و فقط مشاهداتی تجربی هستند که مثل قانون مور، برای مدتی طولانی صادقنند و بنابراین خوب است که دراین‌باره کمی شک و تردید داشته باشیم.»