Nachmittags hatte ich drei KI-Modelle im Schreib-Blindtest, abends folgte der Programmier-Wettbewerb. Vier Modelle von drei Anbietern bekamen dieselben Aufgaben. Die Lösungen liefen auf meinem Rechner gegen versteckte Testfälle. Nicht raten, messen.
Runde 1: eine Funktion für URL-Kürzel mit deutschen Umlauten, eine zum Verschmelzen von Zeitspannen. Alle vier fehlerfrei, auch bei den Randfällen. Erste Lehre: Ein Test, den alle bestehen, misst nichts. Also Runde 2, absichtlich gemein. Ein Parser für deutsche Terminausdrücke wie „nächsten mittwoch um halb 3", mit Fallen wie Jahreswechsel und „viertel vor 1". Jetzt trennte sich das Feld. Claudes Opus war am schnellsten und fehlerfrei, GPT und Kimi solide. Nur das Code-Spezialmodell von Kimi patzte bei einer Falle.
Zwei Nebenfunde. Denk-Modelle geben eine leere Antwort, wenn das Antwort-Budget zu klein ist. Sie verbrauchen alles fürs interne Nachdenken und schweigen dann. Und: Einer meiner Testfälle lag außerhalb der eigenen Aufgabenregeln. Ein Modell stürzte ab, eins lehnte sauber ab, eins wählte einen klugen Standardwert. Diese Reaktion auf Unklares sagte mehr aus als alle regulären Tests.
Durchgeführt hat das Ganze Claude. Am Modell-Router des Dashboards ändert sich trotzdem nichts. Die Code-Schublade bleibt bei GPT.
Signierter Datenpunkt: 2026-07-31-programmier-wettbewerb.json · Markdown · auf Nostr