ChatGPT رادیولوژیست شد
به گزارش ما دیجیتال، پژوهشگران مدل هوش مصنوعی ChatGPT را در یک آزمون رادیولوژی سنجیدند و مشاهده نمودند که خوب عمل کرد، اما با برخی اظهارات غیرمنطقی و نادرست به نظر می آید هنوز آماده جایگزینی با رادیولوژیست ها نیست.
به گزارش ما دیجیتال به نقل از ایسنا و به نقل از اس ای، پژوهشگران بیمارستان عمومی تورنتو در کانادا کاری را انجام دادند که اغلب مردم این روزها انجام می دهند: استفاده از ربات هوش مصنوعی ChatGPT برای پاسخ به سؤالات یک آزمون استاندارد و دیدن نحوه عملکرد آن.
این چت بات(ربات گفتگوگر) در یک آزمون ۱۵۰ سوالی که توسط گروههای رادیولوژی در کانادا و ایالات متحده طراحی شده بود، ۸۱ درصد امتیاز به دست آورد که بسیار بالاتر از حداقل درصد قبولی(۷۰ درصد) بود.
از زمان راه اندازی ChatGPT، کاربران از توانایی آن در درک اطلاعات و استفاده از آن برای پاسخ به سؤالات شگفت زده شده اند. این ربات برای پاسخگویی به سوالات آزمون مجوز پزشکی ایالات متحده(USMLE) و همینطور آزمون MBA در مدرسه بازرگانی وارتون هم مورد آزمایش قرار گرفته و عملکرد متوسطی داشته است.
با افزایش استفاده از ChatGPT در قسمت های مختلف، پژوهشگران دانشگاه پزشکی تصویربرداری تورنتو هم به این فکر افتادند که زمان آن رسیده است که توانایی های این چت بات را در رادیولوژی هم آزمایش نمایند.
پاسخ ChatGPT به سوالات رادیولوژی
پژوهشگران یک آزمون ۱۵۰ سوالی برای ChatGPT طراحی کردند، دقیقا مانند آن چه که گروههای رادیولوژی در کانادا و ایالات متحده برای دانشجویان این رشته انجام می دهند. از آنجاییکه این ربات هوش مصنوعی نمی تواند تصاویر را بعنوان ورودی پردازش کند، پژوهشگران فقط متن در سوالات قرار دادند که شامل سوالات پایه و مفهومی و سوالات تخصصی بود.
سؤالات پایه، دانش و درک اولیه ChatGPT را در مورد مبحث مورد آزمایش می سنجید، در حالیکه سؤالات تخصصی، تحلیل و بررسی و ترکیب اطلاعاتی را که برای تفسیر تصاویر رادیولوژی لازم است، می آزمود.
از آنجاییکه دو نسخه از GPT هم اکنون موجود است، پژوهشگران هر دوی آنها را روی یک مجموعه سوال آزمایش کردند تا ببینند آیا یکی از دیگری بهتر است یا خیر.
ChatGPT ساخته شده با نسخه قدیمی تر یعنی GPT ۳.۵، توانست امتیاز کلی ۶۹ درصد را در مجموعه سؤالات کسب کند، در حالیکه در سؤالات پایه نمره خوبی کسب کرد(۸۴ درصد معادل ۵۱ پاسخ صحیح به ۶۱ سوال) اما در پاسخ به سؤالات تخصصی فقط ۶۰ درصد امتیاز گرفت(معادل ۵۳ پاسخ صحیح به ۸۹ سوال).
بعد از انتشار GPT-۴ در مارس ۲۰۲۳، پژوهشگران این نسخه بهبود یافته ChatGPT را باردیگر آزمایش و مشاهده نمودند که با پاسخ صحیح به ۱۲۱ سوال از ۱۵۰ سوال، امتیاز ۸۱ درصد را به دست آورد.
با این وجود، چیزی که پژوهشگران را شگفت زده کرد، عملکرد GPT-۴ در سؤالات پایه است، جایی که به ۱۲ سؤال پاسخ اشتباه داد، در حالیکه GPT۳.۵ به آنها به درستی پاسخ داده بود.
راجش بایانا، رادیولوژیست و سرپرست فناوری در بیمارستان عمومی تورنتو می گوید: در ابتدا از پاسخ های دقیق و مطمئن ChatGPT به برخی سؤالات چالش برانگیز حول رادیولوژی متعجب شدیم، اما سپس به همان اندازه از اظهارات بسیار غیرمنطقی و نادرست آن به برخی دیگر از سوالات متعجب شدیم.
در حالیکه تمایل به عرضه اطلاعات نادرست در GPT-۴ کاسته شده است، اما هنوز به صورت کامل از بین نرفه است. پژوهشگران می گویند، این مورد می تواند در پزشکی خطرناک باشد، بخصوص هنگامی که توسط افراد تازه کار استفاده می شود که امکان دارد نتوانند پاسخ های نادرست را تشخیص دهند.
این پژوهش اخیرا در مجله Radiology انتشار یافته است.
منبع: ما دیجیتال
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب