Functies · Evals
Maak “beter” een getal.
Schrijf één keer op hoe een goed antwoord eruitziet. Dan kun je elke wijziging aan een prompt daaraan toetsen.
Gevallen erin, een score eruit.
Een eval bevat gevallen, elk een invoer en wat je verwacht. Een methode beoordeelt de antwoorden van 0 tot 1 en een drempel, 0,8 tenzij je een andere instelt, zegt of de versie slaagt. Draai versie 3 en versie 4 op dezelfde gevallen en vergelijk.
- Methoden: exact, bevat, structureel, judge of hybride
- Een drempel die je per eval instelt
- Eerdere runs blijven bewaard, zodat je de trend ziet
{ "tool": "evals", "action": "create",
"args": { "entity_type": "prompt", "entity_id": "<id>",
"title": "Reply stays within the rules",
"method": "contains", "threshold": 0.8,
"cases": [ { "id": "not-found", "input": "Where is order Z-9?",
"expected": "could not find" } ] } }Beoordeling
Vijf methoden.
Exact
Het antwoord moet precies gelijk zijn aan wat je verwacht.
Bevat
Het antwoord moet bevatten wat je verwacht.
Structureel
Het antwoord moet de vorm hebben die je verwacht, zoals geldige JSON met bepaalde sleutels.
Judge
Een model leest het antwoord en beoordeelt het tegen je verwachting.
Hybride
Een mix van het bovenstaande voor gevallen die zowel een regel als een oordeel nodig hebben.
Eerlijk gezegd
Wie draait het model?
- Pre-bètaJe eigen AI voert uit en beoordeelt
Je eigen AI voert uit en beoordeelt: ze kan de opgeslagen gevallen via MCP lezen, de prompt uitvoeren, de antwoorden beoordelen en je het resultaat in het gesprek geven.
Vragen
Over evals.
Is “beter” hier een mening?
Nee. Een eval beoordeelt elk geval van 0 tot 1 en vergelijkt het resultaat met een drempel die je zelf instelt, standaard 0,8. Laat twee versies op dezelfde gevallen draaien en het verschil is een getal.
Wie voert de eval uit?
Je eigen AI. Ze leest de opgeslagen gevallen via MCP, voert de prompt uit, beoordeelt de antwoorden en geeft je het resultaat in het gesprek. Het uitvoeren doet de AI die je meebrengt.