OpenAI heeft een baanbrekende functie geïntroduceerd in hun API: Gestructureerde Outputs. Deze functie zorgt ervoor dat AI-modellen nu betrouwbaar JSON-schema’s volgen, die door ontwikkelaars worden geleverd. Dit is een enorme stap voorwaarts in het bouwen van robuuste applicaties met behulp van kunstmatige intelligentie.
De uitdaging van ongestructureerde gegevens
Het genereren van gestructureerde gegevens uit ongestructureerde invoer is een cruciaal toepassingsgebied voor AI in hedendaagse applicaties. Ontwikkelaars maken gebruik van de OpenAI API om krachtige assistenten te bouwen die vragen kunnen beantwoorden, gegevens kunnen ophalen (via functieaanroepen), gestructureerde gegevens kunnen extraheren voor gegevensinvoer en multi-step workflows kunnen creëren waarin AI-modellen acties kunnen ondernemen.
Vóór de introductie van Gestructureerde Outputs moesten ontwikkelaars vaak creatieve oplossingen bedenken, zoals het gebruik van open-source tools, specifieke prompts en herhaaldelijk verzoeken indienen, om ervoor te zorgen dat modeloutputs overeenkwamen met de vereiste formaten. Gestructureerde Outputs biedt nu een directe oplossing voor dit probleem.
Perfecte score voor gpt-4o-2024-08-06
In vergelijking met eerdere modellen scoort het nieuwe model gpt-4o-2024-08-06 een perfecte 100% op complexe JSON-schema-nalevingstests. Dit is een aanzienlijke verbetering ten opzichte van gpt-4-0613, dat minder dan 40% scoorde.
Hoe werkt Gestructureerde Outputs?
Gestructureerde Outputs is beschikbaar in twee vormen:
- Functieaanroepen: Door “strict: true” in te stellen binnen de functiedefinitie, kunnen ontwikkelaars ervoor zorgen dat modeloutputs overeenkomen met de opgegeven tooldefinitie. Deze functie werkt met alle modellen die tools ondersteunen.
- Response Format Parameter: Een nieuwe optie, json_schema, stelt ontwikkelaars in staat om een JSON-schema op te geven als reactieformaat. Dit is vooral handig wanneer het model niet een tool aanroept, maar direct op een gestructureerde manier op de gebruiker reageert.
Veiligheid en betrouwbaarheid
Veiligheid staat voorop bij OpenAI. Gestructureerde Outputs voldoet aan de bestaande veiligheidsbeleidsregels en biedt modellen nog steeds de mogelijkheid om onveilige verzoeken te weigeren. Een nieuwe “refusal”-tekenreekswaarde in API-antwoorden helpt ontwikkelaars om programmatisch te detecteren of het model een weigering heeft gegenereerd in plaats van een output die overeenkomt met het schema.
Native SDK-ondersteuning
De Python- en Node-SDK’s van OpenAI zijn bijgewerkt met native ondersteuning voor Gestructureerde Outputs. Het leveren van een schema voor tools of als reactieformaat is nu eenvoudig door een Pydantic- of Zod-object op te geven. De SDK’s zorgen voor de conversie naar een ondersteund JSON-schema, het automatisch deserialiseren van het JSON-antwoord in de getypte gegevensstructuur en het parseren van weigeringen indien nodig.
Meer mogelijkheden
Ontwikkelaars gebruiken de modellen van OpenAI voor diverse toepassingen, waaronder het dynamisch genereren van gebruikersinterfaces op basis van gebruikersintentie, het scheiden van antwoorden van onderliggende redeneringen en het extraheren van gestructureerde gegevens uit ongestructureerde gegevens.
Technische details
OpenAI heeft een tweeledige aanpak gehanteerd om de betrouwbaarheid van modeloutputs te verbeteren: modeltraining en constrained decoding, een deterministische techniek waarbij JSON-schema’s worden omgezet in contextvrije grammatica’s (CFG’s). Deze aanpak biedt meer flexibiliteit dan alternatieve methoden die eindige-toestandsautomaten (FSM’s) of reguliere expressies gebruiken.
Beperkingen
Het is belangrijk om rekening te houden met enkele beperkingen van Gestructureerde Outputs. Zo ondersteunt het slechts een subset van JSON Schema, kan de eerste API-respons met een nieuw schema vertraging oplopen en kan het model fouten maken binnen de waarden van het JSON-object.
Beschikbaarheid en prijzen
Gestructureerde Outputs is nu algemeen beschikbaar in de API. De beschikbaarheid varieert afhankelijk van of het wordt gebruikt met functieaanroepen of reactieformaten en welke modellen worden gebruikt. Ontwikkelaars kunnen overschakelen naar het nieuwe model gpt-4o-2024-08-06 en profiteren van aanzienlijke kostenbesparingen in vergelijking met gpt-4o-2024-05-13.
Wilt u meer weten over Gestructureerde Outputs?
Zie het OpenAI-artikel voor gedetailleerde informatie en codevoorbeelden.