Onderzoeker Hugo Kuijf schreef een wedstrijd uit: wie heeft het beste computerprogramma om hersenscans te beoordelen op dementie en Alzheimer? De winnaar deed het beter dan de radioloog ooit zal kunnen met het blote oog.
Als je veel scanbeelden samenbrengt in een zelflerend computerprogramma, kan de software bij nieuwe patiënten zelf een diagnose stellen. Algoritmes – oftewel rekenprogramma’s – analyseren de beelden razendsnel. “Machine learning is hot”, zegt onderzoeker
, die in Utrecht dit soort programma’s maakt voor de diagnose dementie en Alzheimer. “En iedereen beweert dat hún systeem beter is dan dat van alle andere. Er komen elke dag nieuwe zelflerende systemen bij, die volgens de makers nóg beter zijn.”
Eenkennig en overgevoelig
Veel van die beeldherkenningssystemen zijn alleen betrouwbaar als ze de scanbeelden krijgen van één bepaald type of merk scanner. Hun systemen zijn misschien wel interessant voor eigen gebruik, maar dus niet voor anderen. Ook zijn ze vaak overgevoelig voor nuances in afwijkingen of voor factoren als leeftijd en geslacht. Dat maakt het lastig om een zelflerend systeem te introduceren in de klinische praktijk en toepasbaar te maken voor breed gebruik.
Wedstrijd
Hugo wilde weten welke systemen het meest betrouwbaar zijn, ongeacht het type scanner dat is gebruikt om de scanbeelden te maken en ongeacht afleidende details en nuances op de beelden. Hij schreef een internationale wedstrijd uit onder zijn collega’s. Hij stuurde ze een aantal scans op van mensen met dementie en alzheimer, gemaakt op vijf verschillende type scanners. Hij vroeg hen die te beoordelen met hun eigen beeldherkenningssysteem.
Tof
Hugo: “Aanvankelijk hadden vijfhonderd universiteiten belangstelling voor de wedstrijd. Ze vroegen de scanbeelden bij ons op. Maar slechts dertig onderzoekers stuurden hun resultaten terug. Het was een openbaar onderzoek. Veel universiteiten wilden waarschijnlijk voorkómen dat iedereen een eventuele slechte score kan zien. Tof dat wereldwijd dertig universiteiten het hebben aangedurfd.”
Grote verschillen
Hugo vergeleek de resultaten met scanbeelden die hij had achtergehouden. Zo kon hij beoordelen of de dertig ‘machines’ met hun algoritmes goede diagnoses hadden gesteld. “Sommige zelflerende systemen deden het opmerkelijk goed”, zegt hij. “Maar er waren ook systemen die er weinig van bakten.” De uiteindelijke winnaar was een team van de vooraanstaande Sun Yat-sen universiteit uit China.
Beter dan de radioloog
Onder de groep winnaars zijn zelfs zelflerende systemen die scanbeelden beter beoordelen dan de radioloog zelf. Hugo: “Een radioloog beoordeelt beelden met het blote oog. Maar de computer geeft cijfers over maat en getal.” Uiteraard blijft de radioloog altijd
in the lead
. Hugo Kuijf: “Machine learning is nu nog een hulpmiddel. Het zal de radioloog voorlopig zeker niet vervangen.”
Trucjes
Hugo onderzocht ook waarom sommige systemen uitblinken. “De betere programma’s hebben allemaal bepaalde trucjes toegepast”, zegt hij. “Ze hebben bijvoorbeeld meer systemen samengevoegd tot één systeem. Het resultaat is bij hen dus altijd het gemiddelde van drie, vier of vijf systemen. Bovendien hebben ze in deze systemen méér gewicht toegekend aan scans die moeilijk te beoordelen zijn. Ook voor medische vakgebieden buiten de neurologie is het interessant om te weten dat deze trucjes hét verschil maken.”
Platform
Voor de neurologen en radiologen in het UMC Utrecht wordt nu een platform ingericht voor een aantal systemen, waaronder dat van de winnaar uit de wedstrijd. De systemen beoordelen nog deze zomer allemaal automatisch alle nieuwe hersenscans van mensen met dementie en Alzheimer die in Utrecht worden gediagnosticeerd. De radioloog kiest zelf met welk systeem hij zijn bevinding gaat checken.
Breed beschikbaar
Het is voor het eerst dat een beeldherkenningssysteem klinisch toegepast wordt (tot nu toe was het altijd in het kader van wetenschappelijk onderzoek). Hugo: “Radiologen kunnen op het platform ook oneffenheden in de programma’s melden. Zo kunnen we de systemen voortdurend perfectioneren. Als het platform goed werkt, bieden we het ook aan andere ziekenhuizen aan. Dan stellen we het breed beschikbaar.”
Lees ook het artikel
'Radioloog wordt datawetenschapper' van NRC
over dit onderwerp.
