Funktionen · Evals
Mach „besser“ zu einer Zahl.
Schreib einmal auf, wie eine gute Antwort aussieht. Dann lässt sich jede Änderung an einem Prompt daran prüfen.
Fälle rein, eine Bewertung raus.
Ein Eval enthält Fälle, jeder eine Eingabe und was du erwartest. Eine Methode bewertet die Antworten von 0 bis 1, und ein Schwellenwert, 0,8, wenn du keinen anderen setzt, sagt, ob die Version besteht. Lass Version 3 und Version 4 auf denselben Fällen laufen und vergleiche.
- Methoden: exact, enthält, strukturell, Judge oder hybrid
- Ein Schwellenwert pro Eval, den du festlegst
- Frühere Läufe bleiben erhalten, damit du den Trend siehst
{ "tool": "evals", "action": "create",
"args": { "entity_type": "prompt", "entity_id": "<id>",
"title": "Reply stays within the rules",
"method": "contains", "threshold": 0.8,
"cases": [ { "id": "not-found", "input": "Where is order Z-9?",
"expected": "could not find" } ] } }Bewertung
Fünf Methoden.
Exakt
Die Antwort muss genau dem entsprechen, was du erwartest.
Enthält
Die Antwort muss enthalten, was du erwartest.
Strukturell
Die Antwort muss die erwartete Form haben, etwa gültiges JSON mit bestimmten Schlüsseln.
Judge
Ein Modell liest die Antwort und bewertet sie anhand deiner Erwartung.
Hybrid
Eine Mischung der obigen für Fälle, die eine Regel und ein Urteil brauchen.
Ehrlich gesagt
Wer betreibt das Modell?
- Vor der BetaDeine eigene KI führt aus und bewertet
Deine eigene KI führt aus und bewertet: Sie kann die gespeicherten Fälle über MCP lesen, den Prompt ausführen, die Antworten bewerten und dir das Ergebnis im Gespräch nennen.
Fragen
Über Evals.
Ist „besser“ hier eine Meinung?
Nein. Ein Eval bewertet jeden Fall von 0 bis 1 und vergleicht das Ergebnis mit einem Schwellenwert, den du festlegst, standardmäßig 0,8. Lass zwei Versionen auf denselben Fällen laufen, und der Unterschied ist eine Zahl.
Wer führt das Eval aus?
Deine eigene KI. Sie liest die gespeicherten Fälle über MCP, führt den Prompt aus, bewertet die Antworten und nennt dir das Ergebnis im Gespräch. Ausgeführt wird von der KI, die du mitbringst.