Generativnoj vještačkoj inteligenciji (AI) još uvijek nedostaju procesi rasuđivanja potrebni za sigurnu kliničku upotrebu, otkrila je nova studija.
Ukratko:
AI griješi u ključnim medicinskim procjenama
Ljudski nadzor i dalje neophodan
Najbolji modeli i dalje imaju ograničenja
Stručnjaci upozoravaju na rizike
AI nije zamjena za doktore
Tačnost raste uz više podataka, ali problemi ostaju.
AI chatbotovi su poboljšali svoju dijagnostičku tačnost kada su im predstavljene sveobuhvatne kliničke informacije, ali i dalje nisu uspjeli da postave odgovarajuću diferencijalnu dijagnozu u više od 80 posto slučajeva, prema istraživačima iz Mass General Brigham, neprofitne bolnice i istraživačke mreže sa sjedištem u Bostonu i jednog od najvećih zdravstvenih sistema u Sjedinjenim Državama.
Rezultati studije, objavljeni u medicinskom časopisu JAMA Network Open, otkrili su da modeli velikih jezika (LLM) ne ispunjavaju uslove potrebne za kliničku upotrebu, piše Euronews Health.
- Uprkos kontinuiranim poboljšanjima, standardni modeli velikih jezika nisu spremni za nenadziranu primjenu na kliničkom nivou - rekao je Marc Succi, koautor studije.
Diferencijalna dijagnoza ostaje "umjetnost medicine"
Dodao je da vještačka inteligencija još uvijek ne može replicirati diferencijalnu dijagnozu, koja je ključna za kliničko rasuđivanje i koju on smatra "umjetnošću medicine".
Diferencijalna dijagnoza je prvi korak za zdravstvene radnike u identifikaciji stanja, odvajajući ga od drugih sa sličnim simptomima.
Istraživački tim je analizirao funkcionisanje 21 LLM-a, uključujući najnovije dostupne verzije Claudea, DeepSeeka, Geminija, GPT-a i Groka.
Testiranje kroz realne medicinske slučajeve
Procijenili su LLM-ove na 29 standardizovanih kliničkih vinjeta koristeći novo razvijeni alat pod nazivom PrIME-LLM.
Alat procjenjuje sposobnost modela u različitim fazama kliničkog rasuđivanja: provođenje početne dijagnoze, naručivanje odgovarajućih testova, dolazak do konačne dijagnoze i planiranje liječenja.
Kako bi simulirali razvoj kliničkih slučajeva, istraživači su postepeno unosili informacije u modele, počevši od osnova kao što su dob pacijenta, spol i simptomi, prije nego što su dodali nalaze fizičkog pregleda i laboratorijske rezultate.
AI preskače ključni korak, ali dobija pomoć
Diferencijalna dijagnoza je ključna u stvarnom kliničkom okruženju za prelazak na sljedeći korak. Međutim, u studiji su modelima date dodatne informacije kako bi mogli preći na sljedeću fazu čak i ako ne uspiju u koraku diferencijalne dijagnoze.
Istraživači su otkrili da su jezički modeli postigli visoku tačnost u konačnim dijagnozama, ali su se loše pokazali u generisanju diferencijalnih dijagnoza i snalaženju u neizvjesnosti.
AI kao doktor: Test u realnim uslovima
Autor studije Arya Rao istakla je da se postupnim ocjenjivanjem LLM-ova, istraživanje ne tretira samo kao kandidate za polaganje ispita, već ih stavlja u poziciju doktora.
- Ovi modeli su odlični u postavljanju konačne dijagnoze nakon što su podaci kompletni, ali se muče na otvorenom početku slučaja, kada nema mnogo informacija - dodala je.
Više od 80 posto neuspjeha u ključnom koraku
Istraživači su otkrili da svi modeli nisu uspjeli dati odgovarajuću diferencijalnu dijagnozu u više od 80 posto slučajeva.
Pri konačnoj dijagnozi, stope uspjeha kretale su se od oko 60 posto do preko 90 posto, ovisno o modelu.
Većina LLM-ova pokazala je poboljšanu tačnost kada su, pored teksta, dostavljeni i laboratorijski rezultati i slike.
Najuspješniji AI modeli u studiji
Rezultati su identifikovali klaster s najboljim performansama koji je uključivao Grok 4, GPT-5, GPT-4.5, Claude 4.5 Opus, Gemini 3.0 Flash i Gemini 3.0 Pro.
Međutim, autori su primijetili da uprkos poboljšanjima zasnovanim na verzijama i prednostima modela optimizovanih za rasuđivanje, standardni LLM-ovi još uvijek nisu postigli nivo inteligencije potreban za sigurnu primjenu i ostaju ograničeni u demonstraciji naprednog kliničkog rasuđivanja.
Ključna poruka: Potreban je ljudski nadzor
- Naši rezultati potvrđuju da veliki jezički modeli u zdravstvu i dalje zahtijevaju 'čovjeka u toku' i vrlo strog nadzor' - istakla je Succi.
Susana Manso García, članica radne grupe za vještačku inteligenciju i digitalno zdravlje Španskog društva za porodičnu i društvenu medicinu, koja nije bila uključena u studiju, rekla je da nalazi nose jasnu poruku javnosti.
AI obećava, ali ne zamjenjuje doktore
- Sama studija insistira na tome da se oni [jezički modeli] ne bi trebali koristiti za donošenje kliničkih odluka bez nadzora. Stoga, iako vještačka inteligencija predstavlja obećavajući alat, ljudska klinička prosudba ostaje nezamjenjiva - rekla je.
