Porady medyczne chatbotów AI. Połowa odpowiedzi błędna
Około połowa odpowiedzi na pytania medyczne udzielana przez popularne chatboty AI była błędna – wynika z badań opublikowanych przez „BMJ Open”. Kiedy naukowcy prosili o odniesienia do badań, sztuczna inteligencja podawała zarówno błędnych autorów i wadliwe linki, jak i całkowicie sfabrykowane artykuły.
W ramach badań ChatGPT, Gemini, Grok, Meta AI i DeepSeek otrzymały po 50 pytań dotyczących zdrowia i medycyny, obejmujących m.in. zagadnienia dotyczące nowotworów czy szczepionek. Odpowiedzi były następnie weryfikowane przez dwóch niezależnych ekspertów. Ocenili oni, że prawie 20 proc. odpowiedzi była wysoce problematyczna, połowa była problematyczna, a 30 proc. została sklasyfikowana jako „raczej problematyczna”.
Oceny ekspertów dotyczące odpowiedzi wszystkich analizowanych chatbotów były podobne. Najgorzej wypadł Grok (58 proc. odpowiedzi oznaczonych jako problematyczne). Drugi od końca był ChatGPT, z wynikiem 52 proc.
Autorzy badania podkreślają, że najgorzej wypadły odpowiedzi na pytania otwarte – a właśnie takie są zadawane najczęściej przez „zwykłych” użytkowników. Alarmująco prezentują się też wyniki dotyczące bibliografii. Okazuje się, że żaden chatbot nie zdołał stworzyć ani jednej w pełni poprawnej listy bibliograficznej w 25 próbach. Pozornie wiarygodne listy cytowań zawierały nie tylko niedziałające linki czy błędnych autorów, ale również całkowicie sfabrykowane artykuły.
Przeczytaj także: „Tworzenie leczących wirusów przez AI to szansa, ale...”
