Kostenlos und Open Source (MIT)
Livelooptape
Agenten scheitern auf eine Art, die kein grüner Build bemerkt. looptape nimmt eine echte Sitzung einmal auf, spielt sie statt des Modells in deinen eigenen Harness ein, ohne Modell und ohne Netz, und prüft, ob dein Code eine Lüge durchgelassen hat.
Auf einen Blick
- Prüfungen für die Arten, wie Agenten-Schleifen lügen
- 37
- Abhängigkeiten zur Laufzeit
- 0
- APIs, die es aufnimmt: Anthropic und OpenAI
- 2
- kostenlos, auf npm veröffentlicht
- MIT
Einblicke
Echte Ausgabe von looptape 0.1.0 aus npm, über die mitgelieferten Beispiel-Tapes, in einem Terminalfenster gesetzt.
Überblick
Agenten scheitern auf eine Art, die kein grüner Build bemerkt. Eine Antwort verspricht Arbeit, die nie jemand erledigt. Ein erfundenes „darauf habe ich keinen Zugriff“, ohne dass ein Werkzeug probiert wurde. „Ich habe es mir gemerkt“, obwohl nichts gespeichert wurde. Eine Zahl aus dem Gedächtnis statt aus der Liste, die gerade abgerufen wurde. Eine gekürzte Liste, ohne dass es jemand erfährt.
Das sind keine Fehler des Modells, sondern Fehler in der Schleife drumherum. Gegen ein Live-Modell lässt sich das nicht testen, weil es nie zweimal dasselbe sagt. Gegen das, was das Modell schon gesagt hat, aber schon, und genau das steht auf einem Tape.
Ablauf
Schritt 1: Aufnehmen
Richte dein SDK auf den Aufnahme-Proxy für die API von Anthropic oder OpenAI und lass deinen Agenten ganz normal laufen. Jede Antwort, jeder Werkzeugaufruf und jedes Ergebnis landet auf einem Tape, genau so, wie das Modell es gesehen hat.
Schritt 2: Prüfen
37 Prüfungen lesen, was wirklich passiert ist: ein Versprechen ohne Taten, ein Angebot statt einer Handlung, eine erfundene Unfähigkeit, eine Behauptung ohne Beleg, ein Ergebnis, das stillschweigend gekürzt wurde.
Schritt 3: Abspielen
Ein deterministischer Player spielt das Tape statt des Modells in deinen echten Harness ein, ohne Modell und ohne Netz. Fragt der Harness nach etwas, das nicht auf dem Tape ist, schlägt der Test fehl, statt zu improvisieren.
Schritt 4: Die Korrektur beweisen
Erst das Tape, dann die Korrektur, dann beweist das Tape die Korrektur. Die Regeln hinter den Prüfungen sind exportiert. So kann eine Schleife eine schlechte Antwort schon während des Laufs abweisen, mit derselben Definition, die später die Prüfung auf dem Tape nutzt.
Aus Prinzip
Jede Prüfung aus einem echten Vorfall. Woher sie kommt, steht an der Prüfung selbst. Eine Prüfung, deren Herkunft niemand mehr kennt, wird beim ersten Ärger gelöscht.
Jedes Tape sagt, woher es kommt. Jedes Tape ist markiert: aufgenommen (eine exakte Kopie), rekonstruiert (aus einem echten Vorfall nachgebaut) oder synthetisch (so nie passiert).
Kein Schlüssel, kein Netz. Keine Abhängigkeiten, und nichts darin braucht einen API-Schlüssel: Ein Replay läuft ohne Modell und ohne Netz.
Ehrlich gesagt
Alle Funktionen sind fertig. Kostenlos, mit MIT-Lizenz und auf npm veröffentlicht: npm install -D looptape.
Probier es an deinem Agenten
Führ npm install -D looptape aus. Danach legt npx looptape init ein Start-Tape an, und du siehst, wie ein Befund aussieht.
Live unter github.com/chriszemmel/looptape. Fragen gern an chris@zyric.de.