Veroorzaakt machinaal leren een crisis in de wetenschap?
De technieken voor machinaal leren, die door duizenden wetenschappers worden gebruikt om (grote hoeveelheden) data te analyseren, produceren resultaten die misleidend zijn en vaak zelfs volkomen verkeerd.
De technieken voor machinaal leren, die door duizenden wetenschappers worden gebruikt om (grote hoeveelheden) data te analyseren, produceren resultaten die misleidend zijn en vaak zelfs volkomen verkeerd.
Dr. Genevera Allen van de Rice University in Houston (USA) stelt dat het toenemende gebruik van dergelijke systemen bijdraagt aan een ‘crisis in de wetenschap’. Ze waarschuwt onderzoekers dat als zij hun technieken niet verbeteren, ze niet alleen tijd maar ook geld verspillen. Dr. Allen presenteerde haar onderzoek bij de AAAS (American Association for the Advancement of Science) in Washington.
Het probleem is echter dat de antwoorden die uit dergelijk onderzoek voortkomen, een grote kans hebben onnauwkeurig of zelfs verkeerd te zijn omdat de software patronen indentificeert die uitsluitend in de betreffende dataset bestaan en niet in de werkelijke wereld.
Vaak komt de onjuistheid van zo’n studie pas aan het licht zodra er op een andere grote dataset dezelfde techniek wordt losgelaten en blijkt dat de resultaten elkaar niet dekken.
In de wetenschap groeit het besef dat er sprake is van een reproduceerbaarheidcrisis. Volgens dr. Allen wordt die voor een groot deel veroorzaakt door de toepassing van technieken voor machinaal leren bij wetenschappelijk onderzoek.
Deze ‘crisis’ refereert aan het alarmerende aantal wetenschappelijke resultaten die niet gereproduceerd kunnen worden wanneer andere onderzoekers hetzelfde experiment uitvoeren. Er wordt gesuggereerd dat zo’n 85% van al het biomedisch onderzoek dat wereldwijd wordt uitgevoerd, verspilde moeite is.
Een van de oorzaken van de crisis is dat algoritmes voor machinaal leren specifiek zijn ontwikkeld om ‘interessante’ patronen te vinden – met als voor de hand liggend gevolg dat bijna onvermijdelijk een of ander patroon wordt gevonden, vooral wanneer het zeer grote datasets betreft. De vraag is alleen of het gevonden patroon ook werkelijk iets significants betekent – in veel gevallen is dat waarschijnlijk niet het geval.
Bron: BBC News
Dr. Genevera Allen van de Rice University in Houston (USA) stelt dat het toenemende gebruik van dergelijke systemen bijdraagt aan een ‘crisis in de wetenschap’. Ze waarschuwt onderzoekers dat als zij hun technieken niet verbeteren, ze niet alleen tijd maar ook geld verspillen. Dr. Allen presenteerde haar onderzoek bij de AAAS (American Association for the Advancement of Science) in Washington.
Reproduceerbaarheidscrisis
Steeds meer wetenschappelijk onderzoek behelst het gebruik van software voor machinaal leren om data te analyseren die al verzameld is. Dat gebeurt bij een groot aantal onderzoeksgebieden, variërend van biomedisch onderzoek tot astronomie. De daarbij gebruikte datasets zijn zeer groot en ook zeer kostbaar.Het probleem is echter dat de antwoorden die uit dergelijk onderzoek voortkomen, een grote kans hebben onnauwkeurig of zelfs verkeerd te zijn omdat de software patronen indentificeert die uitsluitend in de betreffende dataset bestaan en niet in de werkelijke wereld.
Vaak komt de onjuistheid van zo’n studie pas aan het licht zodra er op een andere grote dataset dezelfde techniek wordt losgelaten en blijkt dat de resultaten elkaar niet dekken.
In de wetenschap groeit het besef dat er sprake is van een reproduceerbaarheidcrisis. Volgens dr. Allen wordt die voor een groot deel veroorzaakt door de toepassing van technieken voor machinaal leren bij wetenschappelijk onderzoek.
Deze ‘crisis’ refereert aan het alarmerende aantal wetenschappelijke resultaten die niet gereproduceerd kunnen worden wanneer andere onderzoekers hetzelfde experiment uitvoeren. Er wordt gesuggereerd dat zo’n 85% van al het biomedisch onderzoek dat wereldwijd wordt uitgevoerd, verspilde moeite is.
Opzet
De reproduceerbaarheidscrisis is de afgelopen 20 jaar steeds groter geworden, en is het gevolg van het feit dat de opzet van experimenten niet goed genoeg doordacht is om te voorkomen dat de onderzoekers zichzelf voor de gek houden en alleen zien wat ze willen zien. Grof gezegd dient bij wetenschappelijk onderzoek eerst een (liefst falsifieerbare) hypothese te worden opgesteld, en wordt pas dan gekeken of experimentele gegevens de hypothese kunnen bevestigen.Een van de oorzaken van de crisis is dat algoritmes voor machinaal leren specifiek zijn ontwikkeld om ‘interessante’ patronen te vinden – met als voor de hand liggend gevolg dat bijna onvermijdelijk een of ander patroon wordt gevonden, vooral wanneer het zeer grote datasets betreft. De vraag is alleen of het gevonden patroon ook werkelijk iets significants betekent – in veel gevallen is dat waarschijnlijk niet het geval.
Bron: BBC News
