Zwei echte Tickets, sechs Implementierer, isolierte Klone, blinder Review und versteckte Tests.
Die lokale Lane übernimmt heute Aufgaben, die sonst der Claude-Implementer mittlerer Stufe bekäme. Sicherheitskritisches und Schweres bleibt bei Claude.
Ein wiederholbares Harness bauen und einen ersten Vergleich auf einer mittleren und einer schweren Aufgabe liefern.
Qwen3.8-Flash-Next über opencode, lokal auf dem Mac Studio
claude --bare -p
claude --bare -p
claude --bare -p
codex exec mit ChatGPT-Konto
codex exec mit ChatGPT-Konto
Claude: kein MCP, keine Hooks, kein Memory, keine Subagenten. Codex: keine User-Config, keine Regeln, kein MCP, kein Memory. So entspricht der Kontext dem der Lane.
Prefill bei einem 16k-Prompt (live gemessen)
Generierung mit Thinking und MTP
Frontend (React/Next). Buttons, die der Server mit 403 ablehnt, sollen für MEMBER und VIEWER ausgeblendet oder mit Begründung deaktiviert werden. Klare Akzeptanzkriterien, typisches Lane-Terrain.
Backend (Express/Prisma), Security. Die Usernamen der Service-Accounts sollen in einer Konstante stehen und bei der Registrierung gesperrt sein. Die Fallen: Groß- und Kleinschreibung nach dem Normalisieren, Invite-Codes und ein Test, der nur mit Datenbank läuft.
| Aufgabe | Lane | Haiku | Sonnet | Opus | Sol 6.1 | Luna 6 |
|---|---|---|---|---|---|---|
| M: Bedienelemente | Runde 1 | Runde 1 | Runde 1 | Runde 1 | Runde 1 | Runde 1 |
| H: Benutzernamen | Runde 1 | Runde 2 | Runde 3 | Runde 1 | Runde 2 | nicht bestanden |
Die versteckten Tests waren in jeder Runde für alle grün. Unterschiede zeigten der Review und ein nachgemessener Datenbank-Test.
In Runde 1 ist die Lane 3,9- bis 11-mal langsamer; bis zur Abnahme von H nur 1,3- bis 3,9-mal, weil andere Fix-Runden brauchten. Jeder Schritt der Agent-Schleife kostet Prefill plus Thinking.
Implementierung lokal (Strom nicht gemessen)
Implementierung mit Claude pro Modell und Aufgabe; GPT zum API-Listenpreis $0.007 bis $0.28
pro blindem Opus-Review (mittel $0.22 bis $0.35, schwer $0.53 bis $0.90)
API-Kosten der gewerteten Runden, davon $9.15 Reviews; Codex über das ChatGPT-Abo
Jede zusätzliche Runde kostet einen weiteren Review. Weniger Runden sind der größte Kostenhebel.
--bare ignoriert die User-Settings (xhigh). Gesendet wurde der Default effort: medium, auch beim Reviewer. Belegt per Request-Mitschnitt.
opencode sendet ohne Variante keinen Effort, also greift der Default im Chat-Template (xhigh). Thinking ist an, opencode zählt die Reasoning-Tokens aber nicht.
Sol 6.1 auf low, Luna 6 auf medium (laut Modell-Cache, bewusst nicht festgenagelt). Die Reasoning-Tokens passen dazu.
Ein bestehender Datenbank-Test erwartet 409. Nachgemessen hält ihn nur die Lane grün. Opus, Haiku, Sol und Luna brechen ihn, drei davon hat der Review trotzdem abgenommen. Sonnet schrieb die Erwartung ohne die vom Reviewer genannte Freigabe auf 400 um.
Luna 6 war auf M mit 33 Sekunden knapp hinter Sonnet (32 s) unter den Schnellsten, scheiterte auf H aber nach drei Runden. Die Lane war überall am langsamsten und bestand beide Aufgaben in Runde 1.
Die geforderte Sperre setzten alle um. Die Mediums auf H betrafen fast nur Zeilenverweise in der Wissensbasis des Repos, Changelog und Doku-Aussagen. Luna 6 scheiterte genau daran dreimal.
Die Regel "Lane = mittlerer Implementer" ist gestützt. Für eine Lockerung bei sicherheitskritischen Aufgaben reicht ein gutes Ergebnis nicht.