AI-gedreven tekstgeneratietools, zoals ChatGPT, worden gebruikt om het onderzoeksproces te stroomlijnen. Een recente studie gebruikte ChatGPT om snel een wetenschappelijk onderzoeksartikel te schrijven omdat de tool mensachtige tekst kan genereren en begrijpen. Het artikel dat voortkwam uit het onderzoek was duidelijk geschreven en volgde de typische structuur van een wetenschappelijk artikel. Onderzoekers geven echter aan dat er meer onderzoek en discussie nodig is over de positieve en negatieve aspecten van het gebruik van dergelijke tools in onderzoek.
Methodologie
De onderzoekers Roy Kishony en Tal Ifargan hebben een studie uitgevoerd waarbij ze de ChatGPT hebben gebruikt samen met een openbare dataset van het Behavioral Risk Factor Surveillance System van de Amerikaanse Centers for Disease Control and Prevention. Deze dataset bevat gegevens van meer dan 250.000 mensen die telefonisch zijn ondervraagd over hun gezondheid, waaronder hun diabetesstatus, consumptie van groente en fruit en lichamelijke activiteit.
Deers vroegen ChatGPT om code te genereren om patronen in de data te ontdekken en deze verder te analyseren. Hoewel de oorspronkelijke door de chatbot gegenereerde code fouten bevatte en niet werkte, hebben de onderzoekers deze iteratief verfijnd door feedback te geven en correcties te vragen. Uiteindelijk produceerde ChatGPT bruikbare code voor het onderzoeken van de dataset.
Kishony en Ifargan vroegen om hulp bij het formuleren van een onderzoeksvraag nadat ze een meer georganiseerde dataset hadden gekregen. ChatGPT stelde voor om de relatie tussen lichamelijke activiteit, dieet en diabetesrisico te onderzoeken. De AI-tool leverde extra code voor het onderzoek en de resultaten toonden aan dat een verhoogde consumptie van fruit en groenten, samen met lichaamsbeweging, geassocieerd is met een verminderd risico op diabetes. Verder kreeg ChatGPT de opdracht om de belangrijkste resultaten samen te vatten in een tabel en delen van het document te schrijven, zoals de samenvatting, inleiding, methodes en discussie.
Evaluatie van het gegenereerde artikel
Hoewel het artikel dat gegenereerd was door ChatGPT helder geschreven was en een gedegen data-analyse bevatte, waren er enkele tekortkomingen te bespeuren. Een belangrijk punt van zorg was bijvoorbeeld dat de AI-tool soms ontbrekende informatie invulde met verzonnen gegevens – een verschijnsel dat bekend staat als hallucinatie. Het artikel bevatte valse citaten en onnauwkeurige beweringen. Volgens Tom Hope, een computerwetenschapper bij de Hebreeuwse Universiteit van Jeruzalem, was de bewering dat het artikel een leemte in de literatuur aanpakte onnauwkeurig, aangezien dit een veel voorkomende uitdrukking is in papers. De bevindingen waren niet verrassend voor medische experts en misten originaliteit.
Voordelen en Bezorgdheden
Kishony toont bezorgdheid over het feit dat AI-tools mogelijk misbruikt kunnen worden, bijvoorbeeld voor oneerlijke praktijken zoals P-hacking. Bij P-hacking rapporteren onderzoekers selectief significante resultaten en negeren zij andere resultaten.Er bestaat bezorgdheid over de mogelijkheid om met behulp van AI-tools gemakkelijk papers te genereren, omdat dit zou kunnen leiden tot een overaanbod van publicaties van lage kwaliteit in wetenschappelijke tijdschriften. Kishony stelt voor om menselijk toezicht als belangrijke factor te gebruiken om ervoor te zorgen dat de methoden en resultaten transparant, begrijpelijk en reproduceerbaar zijn.
Kwaliteit en Reproduceerbaarheid waarborgen
Vitomir Kovanović, een AI-technologieontwikkelaar aan de Universiteit van Zuid-Australië, benadrukt dat het belangrijk is om AI-tools in onderzoeksartikelen zichtbaarder te maken. Met meer zichtbaarheid kunnen onderzoeksresultaten beter worden beoordeeld op juistheid en kunnen mogelijke vertekeningen worden opgespoord. Als er geen adequate maatregelen worden genomen, kan het gemak van het genereren van nepartikelen met behulp van AI-tools de integriteit van de onderzoeksgemeenschap aantasten.
De Toekomst van AI-genereren Artikelen
AI-tools kunnen het onderzoeksproces versnellen, maar er zijn beperkingen aan hun huidige gebruik. Computationeel bioloog Shantanu Singh van het Broad Institute van MIT en Harvard geeft aan dat deze tools het meest effectief zijn bij het genereren van samenvattingen, code en hypotheses. Het volledig genereren van artikelen met AI is echter nog niet haalbaar vanwege de uitdagingen bij het detecteren van hallucinaties en vertekeningen.
Conclusie
Het onderzoek dat ChatGPT gebruikt om een wetenschappelijk artikel te maken, bespreekt zowel de voordelen als zorgen over tekstgeneratietools die door AI worden aangestuurd. Ondanks dat de tool in staat was om samenhangende manuscripten met goede data-analyse te produceren, blijven er zorgen bestaan over hallucinaties, gebrek aan originaliteit, mogelijk oneerlijke praktijken en te veel lage kwaliteit publicaties. Door voortdurende discussies over ethische overwegingen kunnen AI-genereren artikelen waardevolle middelen worden voor wetenschappelijk onderzoek. Dit kan innovatie bevorderen en zorgen voor het genereren van inzichten op een verantwoorde manier.