Najnowsze badanie poświęcone zachowaniu modeli sztucznej inteligencji wykazało, że dezinformacja medyczna prezentowana w formie pozornie wiarygodnych, eksperckich źródeł jest szczególnie skuteczna w wprowadzaniu modeli AI w błąd. Autorzy analizowali reakcje dużych modeli językowych na treści różniące się nie tyle faktami, co sposobem ich „opakowania”. Wyniki pokazują, że AI częściej akceptuje fałszywe informacje, jeśli są one podane w stylu przypominającym publikacje naukowe lub oficjalne komunikaty instytucji. To odkrycie podważa założenie, że modele są odporne na manipulację formą przekazu. W kontekście ochrony zdrowia ma to szczególne znaczenie. Błąd systemowy może bowiem bezpośrednio wpływać na decyzje kliniczne.

Badacze zwracają uwagę, że modele językowe nie oceniają wiarygodności źródeł w sposób analogiczny do człowieka, lecz opierają się na statystycznych wzorcach językowych. Jeśli treść spełnia kryteria „autorytatywnego tonu”, AI ma tendencję do traktowania jej jako bardziej prawdopodobnej. W praktyce oznacza to, że fałszywe wytyczne, spreparowane rekomendacje lub pseudonaukowe opracowania mogą być bezkrytycznie powielane. Problem ten dotyczy zwłaszcza systemów, które nie mają dostępu do zweryfikowanych baz danych lub aktualnych źródeł. Autorzy badania podkreślają, że forma informacji staje się dla AI silniejszym sygnałem niż jej zgodność z faktami. To fundamentalne wyzwanie dla projektowania bezpiecznych narzędzi medycznych.

W kontekście zastosowań klinicznych wnioski badania są jednoznaczne: samodzielne wykorzystanie dużych modeli językowych bez mechanizmów walidacji stanowi realne ryzyko eskalacji błędu. Jeśli model zostanie „nakarmiony” treścią o wysokim stopniu pozornej wiarygodności, może generować błędne rekomendacje z dużą pewnością siebie. To szczególnie niebezpieczne w obszarach takich jak triage, interpretacja objawów czy wsparcie decyzji terapeutycznych. Autorzy zwracają uwagę, że problem nie dotyczy pojedynczych odpowiedzi, lecz efektu skali. Błędne informacje mogą być powielane i utrwalane w kolejnych interakcjach. W efekcie AI może stać się wzmacniaczem dezinformacji.

Badanie podkreśla konieczność stosowania „twardych” zabezpieczeń w systemach opartych na AI wykorzystywanych w medycynie. Chodzi m.in. o obowiązkowe odwołania do zweryfikowanych źródeł, mechanizmy kontroli wersji wytycznych oraz audyt treści generowanych przez model. Autorzy wskazują, że bez takich zabezpieczeń nawet najlepiej wytrenowane modele pozostają podatne na manipulację. Szczególnie ryzykowne jest wykorzystywanie AI w środowiskach, gdzie użytkownik nie ma kompetencji do krytycznej oceny odpowiedzi. W ochronie zdrowia takim użytkownikiem może być zarówno pacjent, jak i przeciążony klinicysta. To zmienia sposób myślenia o odpowiedzialności za wdrożenia technologiczne.

Wyniki badania mają również znaczenie regulacyjne i organizacyjne. Pokazują, że wdrażanie AI w medycynie nie może opierać się wyłącznie na deklaracjach producentów dotyczących skuteczności modeli. Konieczne stają się niezależne testy odporności na dezinformację oraz ocena zachowania systemów w warunkach granicznych. Autorzy sugerują, że tego typu kryteria powinny stać się elementem procesów certyfikacyjnych i oceny technologii medycznych. Bez nich ryzyko błędów systemowych pozostaje niedoszacowane. To istotna informacja dla regulatorów, płatników i menedżerów ochrony zdrowia. AI wymaga nie tylko innowacji, ale i nadzoru.

Z perspektywy rozwoju medtech badanie jest sygnałem ostrzegawczym, ale również wskazówką kierunku dalszych prac nad bezpieczną sztuczną inteligencją w medycynie. Kluczowe staje się projektowanie systemów hybrydowych, łączących modele językowe z bazami wiedzy opartymi na dowodach naukowych. Rola człowieka jako nadzorcy decyzji AI pozostaje nie do zastąpienia. Badanie przypomina, że technologia nie jest neutralna i zawsze odzwierciedla swoje dane wejściowe. W ochronie zdrowia konsekwencje błędów są szczególnie dotkliwe. Dlatego zaufanie do AI musi być budowane na transparentności i kontroli.

Źródło: Reuters

Opracowanie redakcyjne: Debaty Zdrowie