Fazit
Zusammenfassende Bewertung der Modell-Tests: Coding, Planung, Kosten und Erkenntnisse
Coding
- Big Pickle ist weiterhin meine erste Wahl, da Free
- GLM 5.2 weiterhin mein Fallback, wenn die Aufgabe schwer ist
- Opus 5 ist auch sehr gut, aber zu teuer
- Hy3, GPT 5.6 Luna, Ring 2.6 auf Niveau von Qwen 3.5 27B
Planung
- Für Planung Deepseek 4 Pro → günstig und gut für die Aufgabe
Unklar
- Wie gut ist Big Pickle in Frontend-Tasks? Das waren alles Backend-Tasks.
Kleinere Modelle werfen erst einmal schlechten Quellcode nach der ersten Thinking- und Generate-Code-Phase hin bei dieser schweren Aufgabe, Unit-Tests zu erstellen. Sie gehen dann mit PHPStan und/oder PHPUnit in einem iterativen Prozess durch und fixen jeden Fehler Schritt für Schritt. Manche Modelle kommen aber nicht weiter und hängen an Problemen, die sie nicht lösen können.
Größere Modelle (Opus / GLM 5.2) analysieren die Aufgabe wohl besser und brauchen wenige Iterationen über PHPStan/PHPUnit.
Die endgültige Qualität der Ergebnisse ist nicht einfach zu bewerten. Ein durchgelaufenes PHPUnit (ja/nein) ist nur ein grober Wert.
GLM 5.2 war deutlich günstiger und schneller als Opus.
Hy3, GPT 5.6 Luna und Ring 2.6 haben sehr viele Iterationen benötigt und sind vergleichbar mit dem lokalen Modell Qwen 3.5 27B.
Mit den 16 GB-RAM-Modellen ließ sich die Aufgabe nicht in der Zeit lösen (Qwen 3.5 9B). Auch die Qualität der Ergebnisse sah nicht gut aus. Selbst bei mehr Zeit ist fraglich, ob die Aufgabe ausreichend gelöst werden kann.
Mit den 32 GB-RAM-Modellen ließ sich die Aufgabe zumindest mit Qwen 3.5 27B ausreichend lösen. Die Qualität im Vergleich zu Opus / GLM 5.2 ist unklar. Da keine Hardware vorhanden war, wurde via OpenRouter getestet. Qwen 3.6 27B hatte deutlich mehr Schwierigkeiten als Qwen 3.5 27B — Ursache unklar.
Gemma4-31B-IT hatte keine Chance in dem Test, da die Tool Calls nicht im erwarteten Format von opencode waren.
Zum Beispiel funktionieren solche Aufrufe nicht:
:read{filePath:<|"|>/var/www/vhosts/nb_headless_content_blocks/Classes/DataProcessing/ToArray/FileReferenceToArray.php<|"|>}<tool_call|>Diese hier funktionieren:
{
"filePath": "/var/www/vhosts/nb_headless_content_blocks/AGENTS.md"
}