Generativ AI Väcker Oro in Vetenskapen När Falska Data Hotar Trovärdigheten

AI-genererade bilder väcker stora farhågor bland forskare och utgivare, eftersom nya generativa AI-verktyg gör det skrämmande enkelt att skapa falska vetenskapliga data och bilder, som det noterades i en pressmeddelande från Nature.

Denna utveckling hotar trovärdigheten för akademisk litteratur, med experter som fruktar en ökning av AI-drivna, fabrikerade studier som kan vara svåra att identifiera.

Jana Christopher, en bildintegritetsanalytiker på FEBS Press i Tyskland, betonar att den snabba utvecklingen av generativ AI väcker ökande oro över dess potentiella missbruk inom vetenskapen.

”Personer som arbetar inom mitt område – bildintegritet och publiceringsetik – blir allt mer oroliga över de möjligheter som den erbjuder,” sa Jane enligt Nature.

Hon påpekar att, även om vissa tidskrifter kan acceptera AI-genererad text enligt vissa riktlinjer, ses bilder och data som genererats av AI som att korsa en linje som kan påverka forskningsintegriteten starkt, som noterat av Nature.

Att upptäcka dessa AI-skapade bilder har blivit en primär utmaning, säger Nature. Till skillnad från tidigare digitala manipulationer, saknar AI-genererade bilder ofta de vanliga tecknen på förfalskning, vilket gör det svårt att bevisa något bedrägeri.

Bildforensikspecialisten Elisabeth Bik och andra forskare föreslår att AI-producerade figurer, särskilt inom molekylär och cellbiologi, redan kan vara närvarande i publicerad litteratur, som rapporterats av Nature.

Verktyg som ChatGPT används nu regelbundet för att utforma papper, identifierbara genom typiska chatbot-fraser som lämnats oredigerade, men AI-genererade bilder är mycket svårare att upptäcka. Som svar på dessa utmaningar utvecklar teknikföretag och forskningsinstitutioner detektionsverktyg, noterade Nature.
AI-drivna verktyg som Imagetwin och Proofig leder utvecklingen genom att träna sina algoritmer för att identifiera innehåll genererat av AI. Proofigs medgrundare Dror Kolodkin-Gal rapporterar att deras verktyg framgångsrikt upptäcker AI-bilder 98% av tiden, men han påpekar att mänsklig verifikation fortfarande är avgörande för att validera resultaten, rapporterar Nature.

I publiceringsvärlden använder tidskrifter som Science Proofig för att genomföra initiala skanningar av inlämningar, och publiceringsjätten Springer Nature utvecklar egna verktyg, Geppetto och SnapShot, för att identifiera oegentligheter i text och bilder, som rapporterats av Nature.
Andra organisationer, såsom International Association of Scientific, Technical and Medical Publishers, lanserar också initiativ för att bekämpa pappersbruk och säkerställa forskningsintegritet, rapporterat av Nature.

Experter varnar dock för att förlag måste agera snabbt. Vetenskapliga bildutredaren Kevin Patrick oroar sig för att, om åtgärder dröjer, kan AI-genererat innehåll bli ännu ett olöst problem i vetenskaplig litteratur, rapporterat av Nature.

Trots dessa oroande aspekter, finns det många som fortfarande hoppas på att framtidens teknik kommer att utvecklas för att upptäcka dagens AI-genererade bedrägerier, och erbjuda en långsiktig lösning för att skydda den akademiska forskningens integritet.