Amsterdam, 13 september 2024 – OpenAI, het bedrijf achter baanbrekende AI-modellen zoals ChatGPT, heeft vandaag de o1 System Card gepubliceerd. Dit rapport biedt een diepgaande blik in de veiligheidsmaatregelen die zijn getroffen voorafgaand aan de release van de nieuwe o1-modellen, o1-preview en o1-mini.
Red Teaming en Risico-evaluaties
OpenAI heeft niet alleen intern, maar ook extern kritisch naar de nieuwe modellen gekeken. Zo werden er ‘red teams’ ingezet, experts die proberen de modellen te misleiden of te manipuleren. Daarnaast zijn er uitgebreide risico-evaluaties uitgevoerd, waarbij ook gekeken is naar nieuwe, nog onbekende risico’s die kunnen ontstaan door de geavanceerde mogelijkheden van o1.
Geavanceerd redeneren met Chain-of-Thought
Wat o1 bijzonder maakt, is het gebruik van ‘chain-of-thought reasoning’. Dit betekent dat het model niet simpelweg antwoord geeft op basis van patronen in data, maar echt stap voor stap redeneert. Dit leidt tot betere prestaties, maar ook tot nieuwe uitdagingen op het gebied van veiligheid.
Veiligheidsmaatregelen
OpenAI heeft diverse maatregelen genomen om de risico’s te beperken. Zo zijn er ‘blocklists’ en veiligheidsclassificaties ingebouwd om te voorkomen dat het model schadelijke of ongewenste inhoud genereert.
Voorbereid op de Toekomst
Het rapport benadrukt dat o1, ondanks zijn geavanceerde mogelijkheden, veilig is om te gebruiken. Het scoort ‘medium’ op de algemene risicoschaal en ‘laag’ op specifieke gebieden zoals cybersecurity en model autonomie. Dit betekent dat o1, hoewel krachtig, geen risico’s met zich meebrengt die we niet al kennen van bestaande technologieën.
Openheid en Verantwoordelijkheid
Met de publicatie van de o1 System Card toont OpenAI zich transparant over de veiligheidsaanpak. Het bedrijf benadrukt dat het zich bewust is van de potentiële risico’s van geavanceerde AI en er alles aan doet om deze te minimaliseren. Dit is een belangrijke stap in de richting van verantwoorde ontwikkeling en gebruik van AI.
Over OpenAI
OpenAI is een onderzoeks- en implementatiebedrijf voor kunstmatige intelligentie. Hun missie is om ervoor te zorgen dat kunstmatige algemene intelligentie (AGI) – zeer autonome systemen die mensen overtreffen in de economisch meest waardevolle taken – de hele mensheid ten goede komt.