Operator

Operator is een geavanceerde AI-agent, ontwikkeld door OpenAI, die is ontworpen om taken op het web autonoom uit te voeren. Het functioneert als een actieve deelnemer die, na een opdracht van een gebruiker, zelfstandig door websites kan navigeren en acties kan ondernemen.

Voor Nederlandstalige gebruikers die op zoek zijn naar praktische uitleg, lokale inzichten en toepassingen van Operator, biedt GPTNederlands.nl een toegankelijke en actuele bron van informatie.

Kerntechnologie: Het Computer-Using Agent (CUA) Model

De technologie achter Operator is een model genaamd Computer-Using Agent (CUA), dat is afgeleid van OpenAI’s geavanceerde multimodale modellen zoals GPT-4o en de recentere o3-serie. De kerninnovatie van CUA is de combinatie van de krachtige visuele capaciteiten van deze modellen met geavanceerd redeneervermogen. In plaats van te vertrouwen op specifieke API’s, “ziet” Operator een webpagina via schermafbeeldingen en begrijpt het de lay-out, tekst en interactieve elementen (zoals knoppen, formulieren en menu’s) op een visuele manier. Vervolgens interageert het met de grafische gebruikersinterface (GUI) via een virtuele muis en toetsenbord, en voert het acties uit zoals klikken, typen en scrollen. 

Operationeel Proces

Het proces verloopt doorgaans in vier stappen :

1. Taakontvangst: De gebruiker geeft een opdracht in natuurlijke taal (bijvoorbeeld: “Boek een treinkaartje naar Amsterdam”).
2. Analyse van Schermafbeelding en Tekst: Operator maakt een schermafbeelding, waarna het CUA-model de pixels en tekst analyseert om de status van de pagina en de beschikbare acties te begrijpen.
3. Autonome Actie-uitvoering: Het voert een reeks van klikken, scrolls en type-acties uit om de taak te voltooien. Het maakt gebruik van reinforcement learning (bekrachtigingsleren) om zichzelf te corrigeren en de prestaties te verbeteren op basis van de resultaten.
4. Taakvoltooiing en Rapportage: Het bevestigt de voltooiing van de taak of rapporteert de resultaten terug aan de gebruiker.

Belangrijkste Kenmerken en Mogelijkheden

• Automatisering zonder API: De grootste kracht van Operator is het vermogen om taken te automatiseren op systemen die geen speciale API’s hebben, wat de reikwijdte van automatisering aanzienlijk vergroot.
• Multitasking: Gebruikers kunnen meerdere Operator-taken tegelijkertijd laten uitvoeren in verschillende “gesprekken”, vergelijkbaar met het gebruik van meerdere tabbladen in een browser.
• Personalisatie: Gebruikers kunnen aangepaste instructies geven om het gedrag van Operator op specifieke websites aan te passen, zoals het instellen van voorkeuren voor luchtvaartmaatschappijen.

Veiligheid, Ethiek en Controlemechanismen

OpenAI heeft belangrijke veiligheidsmaatregelen ingebouwd om misbruik te voorkomen en de gebruiker de controle te geven :

• Gebruiker in Controle: De gebruiker blijft altijd de controle houden. Operator vraagt de gebruiker proactief om gevoelige handelingen over te nemen in de “Takeover mode”.
• Behandeling van Gevoelige Informatie: Het is expliciet ontworpen om wachtwoorden of betalingsgegevens niet te verwerken. Het vraagt de gebruiker om deze informatie zelf in te voeren, een proces waarbij Operator de gegevens niet vastlegt of opslaat.
• Taakbeperkingen: Het is getraind om taken met een hoog risico of potentieel schadelijke taken te weigeren, zoals financiële transacties of het nemen van beslissingen over sollicitaties.
• Bevestigingen: Het vraagt om goedkeuring van de gebruiker voordat belangrijke acties, zoals het plaatsen van een bestelling, definitief worden afgerond. 

Prestaties en Beperkingen

• Benchmarks: Operator (aangedreven door CUA) heeft nieuwe state-of-the-art scores behaald op industriestandaard benchmarks zoals WebArena (58,1% slagingspercentage) en WebVoyager (87% slagingspercentage). Op de OSWorld-benchmark scoort het 38,1%, wat nog steeds aanzienlijk lager is dan menselijke prestaties (72,4%). 
• Beperkingen: De op de GUI gebaseerde aanpak is inherent langzamer dan directe API-integratie. Het is ook gevoelig voor wijzigingen in de lay-out van websites, wat de werking kan verstoren. De beschikbaarheid is momenteel beperkt tot een research preview voor ChatGPT Pro-gebruikers in de Verenigde Staten.