Mała aktualizacja, duże ryzyko

Gdy producent aktualizuje oprogramowanie tomografu, szpital dokładnie wie, czego się spodziewać. W przypadku systemów AI sytuacja jest znacznie bardziej skomplikowana.

– Zmiana progu alarmowego czy integracja z nowym źródłem informacji może całkowicie przedefiniować sposób, w jaki algorytm wspiera decyzje lekarskie. Użytkownik może zobaczyć identyczny interfejs, choć właściwości diagnostyczne uległy diametralnej zmianie – podkreśla w rozmowie z „Menedżerem Zdrowia” Michał Modro.

Światowi regulatorzy dostrzegają ten problem. Urzędy takie jak amerykańska Agencja Żywności i Leków (FDA – Food and Drug Administration), kanadyjska Federalna Agencja do spraw Ochrony Zdrowia (Health Canada) oraz brytyjska Agencja Regulacyjna do spraw Leków i Produktów Ochrony Zdrowia (MHRA – Medicines and Healthcare products Regulatory Agency) we wspólnym dokumencie „Predetermined Change Control Plans: Guiding Principles” promują koncepcję „Planu Precyzującego Sposób Wdrażania Modyfikacji Wyrobu” (PCCP – Predetermined Change Control Plan).

– Zaletą tej koncepcji jest to, że producent planuje bezpieczeństwo przyszłych zmian, zamiast traktować każdą aktualizację jako niespodziewane zdarzenie – wyjaśnia radca prawny.

Brytyjski rząd poszedł o krok dalej.

Na początku października 2026 r., w dokumencie „Government Response”, przyjął rekomendację nr 6 z raportu brytyjskiej National Commission zatytułowanego „Recommendations for a future regulatory framework”, zmierzając do zdefiniowania dopuszczalnych granic takich modyfikacji dla systemów adaptacyjnych.

Prawo nie działa z automatu

W Polsce nadzór nad tego typu rozwiązaniami opiera się na przepisach unijnych – rozporządzeniu 2017/745, rozporządzeniu 2024/1689, znanym szerzej jako AI Act, oraz normach RODO.

– Błędem jest jednak zakładanie, że każde medyczne zastosowanie algorytmu podlega identycznym rygorom. Kwalifikacja prawna zależy ściśle od deklarowanego przeznaczenia narzędzia. Aktualizacja nie zawsze oznacza zmianę istotną regulacyjnie, ale każdorazowo konieczna jest ocena jej wpływu na bezpieczeństwo pacjentów – tłumaczy Michał Modro.

Dlatego relacje z dostawcą wymagają precyzyjnych umów. Szpital musi wiedzieć, co faktycznie uruchamia w swoim środowisku klinicznym, a w kontrakcie należy uregulować tryb testów akceptacyjnych, dostęp do danych o incydentach oraz zasady wycofywania wadliwych wersji oprogramowania.

Algorytm, który traci ostrość

Poważnym wyzwaniem jest zjawisko tak zwanego dryfu danych i skuteczności.

– Model predykcyjny może tracić trafność bez jakiejkolwiek ingerencji programistów. Wystarczy zmiana populacji pacjentów, wymiana aparatury diagnostycznej czy nowy sposób kodowania dokumentacji, aby skuteczność systemu niepostrzeżenie spadła – ostrzega rozmówca „Menedżera Zdrowia”.

Nie istnieje jeden uniwersalny próg błędu. Ryzyko kliniczne należy oceniać indywidualnie. Jak zaznacza ekspert, fałszywie ujemny wynik w pilnej diagnostyce niesie nieporównywalnie większe konsekwencje niż pomyłka w narzędziu ułatwiającym szpitalną administrację. Wymaga to od placówek ustalenia twardych wskaźników nadzoru i zdefiniowania momentów interwencji.

Kto ma prawo wcisnąć „stop”?

Ważne pytanie dla zarządów szpitali ma charakter organizacyjny – kto decyduje o wstrzymaniu systemu, gdy pojawiają się sygnały o błędach?

– Decyzji tej nie można uzależniać wyłącznie od harmonogramu prac serwisowych dostawcy. Placówki medyczne muszą ustanowić klinicznego właściciela ryzyka oraz jasną ścieżkę eskalacji problemów do szczebla kierowniczego – radzi Michał Modro.

Wprowadzenie aktualizacji oprogramowania to bezpośrednia ingerencja w proces diagnostyczno-leczniczy. Dopiero w ścisłej współpracy z osobami odpowiedzialnymi za cyberbezpieczeństwo staje się ona kontrolowaną zmianą, a nie technicznym zdarzeniem poza nadzorem zarządu.

Dowód w sądzie po latach

Spory prawne dotyczące błędów medycznych często wybuchają wiele miesięcy po zakończeniu leczenia. W przypadku posiłkowania się algorytmami odtworzenie samego wyniku badania to za mało.

– Szpital musi być w stanie udowodnić, z jakiej dokładnie wersji modelu korzystał lekarz, na jakich danych wejściowych opierał decyzję i czy system generował ostrzeżenia. Bez precyzyjnego śladu audytowego nawet poprawnie przeprowadzona procedura medyczna okaże się niemożliwa do obronienia w sądzie – podsumowuje prawnik.

Dlatego polityka wersjonowania narzędzi AI musi być tworzona w placówkach medycznych równie starannie, co procedury prowadzenia tradycyjnej dokumentacji.

Sztuczna inteligencja kontra naturalnaCo dziesiąty badacz jest zdania, że wykorzystywanie sztucznej inteligencji do pisania prac naukowych jest niewłaściwe. Ponad połowa uczonych dopuszcza taką praktykę tylko pod warunkiem, że zostanie transparentnie ujawniona w opublikowanym artykule. Wszystko dlatego, że AI potrafi popełniać merytoryczne błędy, które łatwo mogą umknąć osobom bez odpowiedniej wiedzy i przygotowania. Zdarza się, że sztuczna inteligencja preparuje źródła, które nie istnieją. 

Przeczytaj także: „Więcej tekstów, mniej treści”.