در این پژوهش، محققان ۴۰ سؤال از مباحث «حقوق قراردادها» را که معمولاً دانشجویان در کلاس یا ساعات اداری می‌پرسند، طراحی کردند و به هوش مصنوعی و اساتید دانشگاه استنفورد دادند. سپس ۱۶ استاد حقوق از دانشگاه‌های برجسته آمریکا مثل ییل، نیویورک و شیکاگو بدون اینکه بدانند کدام پاسخ متعلق به همکارانشان و کدام متعلق به هوش مصنوعی است، به ارزیابی آن‌ها پرداختند که درنهایت، سیستم‌های هوش مصنوعی توانستند عملکردی کاملاً هم‌تراز و در مواردی بهتر از بهترین اساتید حاضر در مطالعه ثبت کنند. در این پژوهش هوش مصنوعی موفق شد در ۷۵ درصد از رقابت‌ها، نمره بالاتری نسبت به اساتید حقوق کسب کند و به عنوان گزینه برتر انتخاب شود.

عملکرد عالی هوش مصنوعی در حقوق

دلیل اصلی اهمیت این موضوع، ماهیت تحلیلی رشته حقوق است که برخلاف سایر علوم، اغلب پاسخ قطعی ندارد و نیازمند قضاوت، استدلال ظریف و توانایی رفع ابهام است. پیش‌ازاین، ارزیابی‌های هوش مصنوعی بیشتر روی موضوعاتی با پاسخ‌های مشخص و دوتایی (درست یا غلط) متمرکز بود. «سارات سانگا» (Sarath Sanga)، یکی از نویسندگان این مقاله و استاد دانشکده حقوق دانشگاه ییل، دراین‌باره می‌گوید:

«در حقوق، دو استدلال کاملاً متضاد می‌توانند همزمان خوب باشند. هدف ما این بود که بدانیم آیا هوش مصنوعی می‌تواند استاندارد حرفه‌ای و پنهانی را که وکلا برای ارزیابی استدلال‌های یکدیگر استفاده می‌کنند، برآورده سازد یا خیر؛ پاسخ مثبت بود.»

بسیاری از سؤالات این آزمون نیازمند ترکیب مطالب پیچیده و اعمال آن‌ها در موقعیت‌های جدید بود که نشان می‌دهد مدل‌های زبانی از توانایی حفظ طوطی‌وار اطلاعات عبور کرده و به درک تحلیلی رسیده‌اند. همچنین داده‌های این پژوهش به شکل غافلگیرکننده‌ای نشان داد که پاسخ‌های هوش مصنوعی بسیار کمتر از پاسخ‌های انسانی برای دانشجویان مضر و گمراه‌کننده هستند. اساتید حاضر در این مطالعه، تنها ۳.۵ درصد از پاسخ‌های هوش مصنوعی را به عنوان محتوای «از نظر آموزشی مضر» علامت‌گذاری کردند، درحالی‌که این رقم برای پاسخ‌های نوشته‌شده توسط همکاران دانشگاهی آنها به ۱۲ درصد رسید. محققان برای اطمینان از اعتبار و دقت این نتایج، اقدامات احتیاطی گسترده‌ای انجام دادند؛ برای مثال پاسخ‌های هوش مصنوعی برای هم‌ترازی با طول و ساختار پاسخ‌های انسانی کالیبره شده بودند. در این تحقیق سیستم‌های مختلفی از جمله دستیارهای آموزشی تجاری و مدل NotebookLM شرکت گوگل مورد بررسی قرار گرفتند و حتی در مواردی که محدودیت‌های زمینه بر پاسخ هوش مصنوعی تأثیر می‌گذاشت، باز هم اساتید آنها را به پاسخ‌های انسانی ترجیح می‌دادند. با وجود این موفقیت بزرگ، محققان هشدار می‌دهند که این ابزارها نباید چشم‌بسته جایگزین کلاس‌های درس شوند. «جولیان نیارکو»، استاد دانشکده حقوق استنفورد، ضمن مخالفت با شک‌گرایی مطلق و همچنین پذیرش بی‌قیدوشرط این فناوری، نتیجه‌گیری می‌کند:

«آموزش حقوق بدین معناست که وکلای آینده را برای تفکر انتقادی، بحث متقاعدکننده و بررسی پیچیدگی‌های اخلاقی پرورش بدهیم. اکنون باید تمرکز گفتگوها از این سؤال که آیا هوش مصنوعی پاسخ‌های باکیفیتی می‌دهد به این سمت تغییر کند که چگونه می‌توانیم این ابزارها را مسئولانه و به نفع یادگیری دانشجویان به‌کار بگیریم.»

یافته‌های این پژوهش در ژورنال SSRN منتشر شده است.