Dreimal gemessen · beendet
PromptPrinter /pp
/pp macht aus dem, was als Nächstes passieren soll, einen fertigen Auftrag für den Coding-Agenten. Dreimal gemessen gegen eine Schwelle, die vorher feststand, nie erreicht, darum beendet.
Was /pp macht
Eine Absicht rein, ein Auftrag mit Kontext raus
Der Skill liest, was der Agent schon vor sich hat, und lässt dessen eigenes Modell den Auftrag schreiben.
-
/ppund deine Absicht - Gespräch
- Git-Stand
- Projektstruktur
- Regeldateien
- Die Dateien, die zählen
Sein eigenes Modell schreibt einen Auftrag
context.mjs sammelt den Kontext und schwärzt bekannte Geheimnis-Muster.
Ein fertiger Auftrag
Ausgeführt wird erst nach einem Ja
- Ändert nie eine Datei
- Kein Server, kein Konto, keine Telemetrie
- Skript ohne Abhängigkeiten und ohne Netzwerk
Die Messung
Die Schwelle bei den Fakten: nie erreicht
Zwölf Aufgaben mit bekannten Fakten, gegen den Plan-Modus, den die Agenten schon haben. Die gestrichelte Linie ist die Schwelle, die vor der ersten Messung feststand.
Fakten im Auftrag
Schwelle 90 von 99
0 von 3
gemessenen Fassungen über der Schwelle
In keiner Fassung erreicht
- Plan-Modus83
- 0.1.084verfehlt
- 0.2.088verfehlt
- 0.3.0 mit Skript82verfehlt
- 0.4.0nicht gemessen
Bewertung des Auftrags
Schwelle 162 von 176
- Plan-Modus153
- 0.1.0159verfehlt
- 0.2.0167erreicht
- 0.3.0170erreicht
- 0.4.0nicht gemessen
0.2.0 und 0.3.0 über der Schwelle
Kosten des Auftrags
Anteil an der Arbeit danach, Grenze rund 15 %
- 0.1.017 bis 74 %
- 0.2.018 bis 51 %
- 0.3.021 bis 73 %
- 0.4.0nicht gemessen
In keiner Fassung unter der Grenze
Im ersten Versuch richtig
von 11, nicht schlechter als der Plan-Modus
0.2.0 und 0.3.0 erreicht
- Plan-Modus8
- 0.1.07verfehlt
- 0.2.010erreicht
- 0.3.09erreicht
- 0.4.0nicht gemessen
Bewertet hat Claude, nicht blind. Unterschiede von wenigen Fakten liegen in der Streuung. Gezählt auf den elf Aufgaben, bei denen auch der Plan-Modus ein Ergebnis hat, gemessen vom 26. bis 28. Oktober 2026.
Alle Messwerte als Tabelle
| Messwert (11 Aufgaben) | Plan-Modus | 0.1.0 | 0.2.0 | 0.3.0 mit Skript | 0.4.0 |
|---|---|---|---|---|---|
| Fakten im Auftrag, Schwelle 90 von 99 | 83 | 84 | 88 | 82 | nicht gemessen |
| Bewertung des Auftrags, Schwelle 162 von 176 | 153 | 159 | 167 | 170 | |
| Im ersten Versuch richtig, von 11, nicht schlechter als 8 | 8 | 7 | 10 | 9 | |
| Kosten des Auftrags gegen die Arbeit danach, Grenze rund 15 % | 17 bis 74 % | 18 bis 51 % | 21 bis 73 % |
Ergebnis
Was er trotzdem erreicht hat
Jedes Feld ist ein Lauf: zwölf Aufgaben, drei Fassungen. Aufgabe 11 legte Geheimnisse bereit, um ihn genau dazu zu verleiten.
Vorgehen
Erst die Schwelle, dann der Skill
Wann Schluss ist, stand jedes Mal vor der Messung fest.
-
Schwelle fest
90 von 99 Fakten im Auftrag, vor der ersten Messung.
-
0.1.0
84 Fakten. Verfehlt, also einmal überarbeitet.
-
0.2.0
88 Fakten. Zweimal verfehlt, also beendet.
-
Doch das Skript
Gebaut, mit der Regel vorher: Verfehlt auch die dritte Messung die Schwelle, ist Schluss.
-
0.3.0 mit Skript
82 Fakten. Das Skript hat die Zahl nicht gehoben.
-
Beendet
Nach der Regel, die vor der Messung feststand.
-
0.4.0
Fehler behoben, nicht mehr gemessen.
Was eine Durchsicht danach fand
- Geheimnisse, die durch das Schwärzen rutschten
- Ein Testbefehl, der fest auf npm stand
- Der Schritt
check, den die Rechte verweigerten - Eine zu weite Freigabe
- Eine Bugfix-Vorlage, die einen unnötigen Test verlangte
Den verweigerten Schritt check hatte schon die Messung gezeigt, in allen zwölf Läufen von 0.3.0. In einem Probelauf lief er danach ohne Verweigerung. Gemessen ist 0.4.0 nicht.
Warum ich ihn zeige
Eine Schwelle vorher festlegen, ehrlich messen und aufhören, wenn es nicht reicht, gehört für mich zur Arbeit.
Darum zeige ich den Skill mit seinen Zahlen. Er bleibt öffentlich, mit der ganzen Messung im Repo, und sein Skript für den Kontext lebt in der Terminal-App weiter, in /pp --kontext.