ChatGPT رادیولوژیست شد
فیکس سرور: پژوهشگران مدل هوش مصنوعی ChatGPT را در یک آزمون رادیولوژی سنجیدند و مشاهده نمودند که خوب عمل کرد، اما با برخی اظهارات غیرمنطقی و نادرست بنظر می رسد هنوز آماده جایگزینی با رادیولوژیست ها نیست.
به گزارش فیکس سرور به نقل از ایسنا و به نقل از اس ای، پژوهشگران بیمارستان عمومی تورنتو در کانادا کاری را انجام دادند که بیشتر مردم این روزها انجام می دهند: استفاده از ربات هوش مصنوعی ChatGPT برای پاسخ به سؤالات یک آزمون استاندارد و دیدن نحوه عملکرد آن.
این چت بات(ربات گفتگوگر) در یک آزمون ۱۵۰ سوالی که توسط گروههای رادیولوژی در کانادا و ایالات متحده طراحی شده بود، ۸۱ درصد امتیاز کسب نمود که بسیار بالاتر از حداقل درصد قبولی(۷۰ درصد) بود.
از زمان راه اندازی ChatGPT، کاربران از توانایی آن در درک اطلاعات و استفاده از آن برای پاسخ به سؤالات شگفت زده شده اند. این ربات برای پاسخگویی به سوالات آزمون مجوز پزشکی ایالات متحده(USMLE) و همین طور آزمون MBA در مدرسه تجاری وارتون نیز مورد آزمایش قرار گرفته و عملکرد متوسطی داشته است.
با افزایش استفاده از ChatGPT در بخش های مختلف، پژوهشگران دانشگاه پزشکی تصویربرداری تورنتو نیز به این فکر افتادند که زمان آن رسیده است که توانایی های این چت بات را در رادیولوژی نیز آزمایش نمایند.
پاسخ ChatGPT به سوالات رادیولوژی
پژوهشگران یک آزمون ۱۵۰ سوالی برای ChatGPT طراحی کردند، دقیقاً مانند آن چه که گروههای رادیولوژی در کانادا و ایالات متحده برای دانشجویان این رشته انجام می دهند. از آنجا که این ربات هوش مصنوعی نمی تواند تصاویر را به عنوان ورودی پردازش کند، پژوهشگران فقط متن در سوالات قرار دادند که شامل سوالات پایه و مفهومی و سوالات تخصصی بود.
سؤالات پایه، دانش و درک اولیه ChatGPT را در مورد موضوع مورد آزمایش می سنجید، در صورتیکه سؤالات تخصصی، تحلیل و بررسی و ترکیب اطلاعاتی را که برای تفسیر تصاویر رادیولوژی لازم است، می آزمود.
از آنجا که دو نسخه از GPT هم اکنون موجود است، پژوهشگران هر دوی آنها را روی یک مجموعه سوال آزمایش کردند تا ببینند آیا یکی از دیگری بهتر است یا خیر.
ChatGPT تولید شده با نسخه قدیمی تر یعنی GPT ۳.۵، توانست امتیاز کلی ۶۹ درصد را در مجموعه سؤالات کسب کند، در صورتیکه در سؤالات پایه نمره خوبی کسب کرد(۸۴ درصد معادل ۵۱ پاسخ صحیح به ۶۱ سوال) اما در پاسخ به سؤالات تخصصی فقط ۶۰ درصد امتیاز گرفت(معادل ۵۳ پاسخ صحیح به ۸۹ سوال).
بعد از انتشار GPT-۴ در مارس ۲۰۲۳، پژوهشگران این نسخه بهبود یافته ChatGPT را باردیگر آزمایش و مشاهده نمودند که با پاسخ صحیح به ۱۲۱ سوال از ۱۵۰ سوال، امتیاز ۸۱ درصد را به دست آورد.
با این وجود، چیزی که پژوهشگران را شگفت زده کرد، عملکرد GPT-۴ در سؤالات پایه است، جایی که به ۱۲ سؤال پاسخ اشتباه داد، در صورتیکه GPT۳.۵ به آنها به درستی پاسخ داده بود.
راجش بایانا، رادیولوژیست و سرپرست فناوری در بیمارستان عمومی تورنتو می گوید: در ابتدا از پاسخ های دقیق و مطمئن ChatGPT به برخی سؤالات چالش برانگیز حول رادیولوژی متعجب شدیم، اما سپس به همان اندازه از اظهارات بسیار غیرمنطقی و نادرست آن به برخی دیگر از سوالات متعجب شدیم.
در صورتیکه تمایل به ارائه اطلاعات نادرست در GPT-۴ کم شده است، اما هنوز بطور کامل از بین نرفه است. پژوهشگران می گویند، این مساله می تواند در پزشکی خطرناک باشد، خصوصاً هنگامی که توسط افراد تازه کار استفاده می شود که ممکنست نتوانند پاسخ های نادرست را تشخیص دهند.
این پژوهش بتازگی در مجله Radiology انتشار یافته است.
منبع: فیكس سرور
این مطلب را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب