Więcej tekstów, mniej treści

W ostatnich trzech latatch generatywna sztuczna inteligencja przearanżowała wiele obszarów życia społecznego, przekształcając przede wszystkim sposób tworzenia pisemnych wypowiedzi. Duże modele językowe, z ChatGPT na czele, zostały wyćwiczone na gigantycznych zbiorach danych, dzięki czemu sprawnie formułują rozbudowane i poprawne gramatycznie wywody.

Bezpośrednią konsekwencją popularyzacji tych narzędzi stała się jednak hiperprodukcja tzw. papki AI (AI slop) – bezwartościowych tekstów generowanych przy minimalnym lub zerowym zaangażowaniu człowieka.

Zwykle mówi się o wpływie AI na edukację, rynek pracy czy kulturę. Znacznie rzadziej analizuje się jej konsekwencje dla samego sektora naukowego.

Z ustaleń Vitomira Kovanovica z University of South Australia – przedstawionych w artykule „What the hyperproduction of AI slop is doing to science” z „The Conversation” – wynika, że zjawisko to przybiera niebezpieczny obrót.

Skok produktywności i wsparcie dla badaczy

Autorzy opracowania przeanalizowali streszczenia ponad miliona preprintów – czyli wstępnych wersji artykułów przed recenzją (peer review) – opublikowanych w latach 2018–2024. Zespół badawczy postanowił zweryfikować, czy wykorzystanie algorytmów przekłada się na realną wydajność naukowców, poprawę jakości manuskryptów oraz poszerzenie bibliografii.

Miarą indywidualnej produktywności była liczba wydawanych preprintów, natomiast za kryterium jakości przyjęto późniejsze zakwalifikowanie tekstu do druku w recenzowanym czasopiśmie.

Obserwacje wykazują jednoznacznie: gdy autor zaczyna wspierać się sztuczną inteligencją, liczba publikowanych przez niego wstępnych prac gwałtownie rośnie. W zależności od platformy hostingowej średnia miesięczna liczba preprintów po wdrożeniu modeli wzrosła od 36,2 proc. do 59,8 proc.

Najwyższą dynamikę odnotowano u autorów, dla których angielski nie jest językiem ojczystym – zwłaszcza wśród badaczy z ośrodków azjatyckich, gdzie przyrost wyniósł od 43 proc. do 89,3 proc. Dla porównania: w przypadku naukowców z instytucji anglojęzycznych o nazwiskach klasyfikowanych jako wywodzące się z kręgu zachodniego wzrost był niższy i mieścił się w przedziale od 23,7 proc. do 46,2 proc.

Wyniki te dowodzą, że naukowcy niebędący rodzimymi użytkownikami języka angielskiego sięgają po AI przede wszystkim po to, by wyrównać szanse językowe i poprawić stylistyczną warstwę manuskryptów.

Skomplikowany styl maską dla słabych treści

Z analizy wynika kolejny niepokojący wniosek – prace redagowane przy użyciu AI cechowały się przeciętnie bardziej skomplikowaną strukturą gramatyczną i leksykalną. W grupie tradycyjnych artykułów (tworzonych bez udziału modeli) bardziej wyszukany styl podnosił szanse na pozytywne przejście recenzji. W ocenie redakcji precyzyjny, rozbudowany wywód tradycyjnie uchodził za wyznacznik wyższej wartości merytorycznej.

W przypadku tekstów generowanych z udziałem AI zależność ta uległa odwróceniu: im bardziej zawiły był styl, tym rzadziej artykuł trafiał do publikacji. Oznacza to, że skomplikowana forma staje się narzędziem do maskowania ubóstwa badawczego i słabości metodologicznych.

Bezpośrednie zagrożenie dla medycyny

Choć tekst opisuje ogólne bazy preprintów, problem ten ma najgroźniejsze skutki w naukach medycznych i farmacji. W odróżnieniu od nauk ścisłych w medycynie nierzetelny manuskrypt podrasowany językowo przez AI nie jest jedynie akademickim szumem. Może prowadzić do cytowania błędnych wyników badań klinicznych, promowania nieskutecznych terapii czy podejmowania nietrafionych decyzji menedżerskich w szpitalach i systemie ochrony zdrowia.

Ogień zwalczać ogniem

Sztuczna inteligencja na stałe wpisała się w proces tworzenia prac naukowych. Z racji integracji algorytmów z edytorami tekstu, klientami poczty czy arkuszami kalkulacyjnymi jej stosowanie stanie się wkrótce standardem rynkowym niezależnym od woli samych autorów.

Z punktu widzenia metodologii ważny pozostaje fakt, że AI bezpowrotnie odebrała erudycji i skomplikowanemu językowi rolę miernika jakości naukowej. Pobieżna ocena artykułu oparta na ocenie warstwy formalnej traci sens, a opracowanie nowych filtrów weryfikacyjnych staje się palącym wyzwaniem.

Skoro wyrafinowany styl służy do ukrywania braków w badaniach, ciężar oceny musi przenieść się na weryfikację metodologiczną, rzetelność danych oraz faktyczny wkład naukowy na etapie recenzji.

Jedną z proponowanych dróg jest zasada zwalczania ognia ogniem – czyli wdrożenie automatycznych systemów recenzenckich wspomaganych przez sztuczną inteligencję, takich jak rozwiązania rozwijane przez zespół prof. Andrew Nga ze Stanford University.  Przy rosnącej liczbie zgłoszeń i przeciążeniu redakcji naukowej cyfrowy peer-review może okazać się jedyną barierą chroniącą naukę – w tym ważne dla rynku medycznego wydawnictwa kliniczne i zdrowotne – przed całkowitym zalewem wartościową inaczej „papką”.

Przypis:

www.theconversation.com/270905.

Tekst opublikowano na stronie internetowej Academii – portalu Polskiej Akademii Nauk.

Sztuczna inteligencja kontra naturalnaCo dziesiąty badacz jest zdania, że wykorzystywanie sztucznej inteligencji do pisania prac naukowych jest niewłaściwe. Ponad połowa uczonych dopuszcza taką praktykę tylko pod warunkiem, że zostanie transparentnie ujawniona w opublikowanym artykule. Wszystko dlatego, że AI potrafi popełniać merytoryczne błędy, które łatwo mogą umknąć osobom bez odpowiedniej wiedzy i przygotowania. Zdarza się, że sztuczna inteligencja preparuje źródła, które nie istnieją. 

Przeczytaj także: „Od kliknięcia do przemocy”.