AI Herkent Microben Perfect in Lab, Faalt Daarbuiten
Een nieuw onderzoek toont een groot probleem met kunstmatige intelligentie: een AI-systeem werkte foutloos in een lab, maar presteerde slechts 54% in een ander lab.
Onderzoekers hebben een ernstige zwakte ontdekt in kunstmatige intelligentie (AI) die gebruikt wordt om schadelijke microben (bacteriën en schimmels) te identificeren. Het onderzoek richtte zich op een AI-systeem dat getraind was om microben te herkennen met behulp van massaspectrometrie — je kunt dit zien als het nemen van een chemische vingerafdruk van een microbe om te bepalen wat het is.
Hier is wat gebeurde: het AI-systeem haalde een perfecte nauwkeurigheid van 100% bij het identificeren van microben met gegevens uit zijn eigen laboratorium. Klinkt geweldig, toch? Maar toen onderzoekers hetzelfde systeem testten met monsters uit een ander lab die met dezelfde techniek waren verzameld en geanalyseerd, daalde de prestatie naar slechts 54% — nauwelijks beter dan gokken.
Dit onthult een kritiek probleem uit de echte wereld, "overfitting" genoemd. De AI leerde geen microben in het algemeen herkennen; in plaats daarvan leerde het specifieke eigenaardigheden van hoe het trainingslaboratorium monsters voorbereide en analyseerde. Wanneer het werd geconfronteerd met iets andere apparatuur, procedures of omstandigheden in een ander lab, werd het systeem bijna onbruikbaar. Het is alsof je iemand traint om gezichten te herkennen met alleen foto's uit één lichtinstelling — ze zouden totaal kunnen falen in ander licht.
Voor ziekenhuizen en diagnostische laboratoria is dit enorm belangrijk. Als een AI-systeem niet betrouwbaar infecties kan identificeren in verschillende faciliteiten, kunnen artsen niet op zijn aanbevelingen vertrouwen. Het onderzoek toont een groter probleem met AI aan: systemen presteren vaak goed in gecontroleerde omstandigheden, maar worstelen in de rommelige, gevarieerde echte wereld waar ze daadwerkelijk nodig zijn.
Originele bron: Medical Daily