Ich teste auch weiterhin Modelle, die aus Distillationen hervorgegangen sind – darunter eben auch Ornith. Trotzdem komme ich für meinen eigenen Anwendungsfall zunehmend zu dem Schluss, dass mir die normalen Open-Source-Modelle mehr bringen. Auf meinen Systemen kann ich grundsätzlich eher kleinere Modelle zwischen 9B und maximal etwa 27B Parametern (mit Abstrichen) sinnvoll betreiben. Mein tägliches Arbeitsmodell ist aktuell beispielsweise Qwen 3.5 9B, und gerade im Vergleich mit Distill-Modellen ähnlicher Parametergröße fällt mir teilweise ein deutlicher Qualitätsunterschied auf. Qwen 3.5 9B liefert für seine Größe aus meiner Sicht erstaunlich gute Ergebnisse. Natürlich gibt es auch dort gelegentlich Agent Loops oder Agent Drifts, aber das hält sich bei mir verhältnismäßig stark in Grenzen. Gleichzeitig stimmt die Geschwindigkeit: Mit meiner RTX 5070 Ti komme ich ungefähr auf 80–100 Tokens/s, mit der RTX 5060 Ti auf etwa 65–80 Tokens/s. Damit macht das Arbeiten einfach Spaß, weil die Ausgabe praktisch ohne störende Wartezeiten kommt. Wenn ich dem gegenüber Ornith-Distill-Modelle in einer ähnlichen Größenklasse teste, sehe ich momentan keinen wirklichen Vorteil. Teilweise ist die Ausgabequalität sogar drastisch schlechter. Ich werde solche Modelle trotzdem weiter testen – aktuell habe ich aber den Eindruck, dass die direkt als Open Source veröffentlichten Hauptmodelle für meinen Einsatzzweck die bessere Wahl sind. Ein weiterer Punkt ist für mich die Kontextgröße. Unter 64k Kontext würde ich persönlich inzwischen nicht mehr gehen. Ich weiß allerdings nicht, wie das speziell beim Programmieren aussieht und ob andere dort mit deutlich weniger Kontext problemlos auskommen. Wir haben auch schon kleinere Projekte umgesetzt, lassen die Modelle dabei aber grundsätzlich ebenfalls mit 64k laufen. Würde mich daher interessieren: Mit welchen Kontextgrößen arbeitet ihr beim Coding tatsächlich im Alltag? Reichen euch 16k oder 32k, oder seid ihr ebenfalls eher bei 64k und darüber?

@Martin Hildenbrand was hast du den an Hardware das du so heftige T/s aus deiner Playstation ziehst?

Ich meine, unter einem deiner letzten Videos hatte ein User in den Kommentaren noch ein paar interessante Tipps zur Optimierung genannt. Ich selbst kannte bisher hauptsächlich die Optimierung über K-Cache und V-Cache bzw. deren Quantisierung. Dabei habe ich allerdings festgestellt, dass Q8 vs. Q4 durchaus einen spürbaren Unterschied bei der Qualität machen kann. Mit Q4 gewinnt man zwar Speicher, teilweise leidet darunter aber die Ausgabequalität merklich. Was wir ebenfalls getestet hatten, war die Kombination aus Draft Model und Target Model (Speculative Decoding). Dafür müssen natürlich passende kleinere Modelle vorhanden sein. In unseren Versuchen war der Vorteil allerdings eher überschaubar. Man muss zusätzlich das Draft Model laden und beim Target Model entsprechend mit den verfügbaren Ressourcen haushalten. Am Ende hatten wir zwar teilweise etwas mehr Tokens/s, aber der Geschwindigkeitsgewinn war für uns nicht groß genug, um den zusätzlichen Aufwand zu rechtfertigen. Zudem hatten wir auch hier teilweise den Eindruck eines Qualitätsverlusts. Ich muss mal schauen, ob ich den besagten Kommentar noch finde. Da waren, glaube ich, noch zwei oder drei Ansätze dabei, die ich selbst noch nicht kannte und gerne testen wollte.

Hallo zusammen – Zero Neverload hier 👋 Ich möchte mich auch kurz vorstellen und etwas Background mitgeben, damit ihr wisst, aus welcher Ecke ich komme. Mein Tag ist Zero Neverload. Ich komme ursprünglich aus der klassischen IT, bin MCSE 2000 und mittlerweile seit rund 30 Jahren im IT- und Projektgeschäft unterwegs. Entsprechend habe ich schon einige technische Generationen kommen und gehen sehen. 😉 In den letzten Jahren – und besonders intensiv seit 2025/2026 – hat sich mein Schwerpunkt zunehmend in Richtung KI, lokale LLMs, Automatisierung sowie AI- und Agentic-Coding verschoben. Ich bin absolut kein Softwareentwickler. Mein Background liegt stärker bei IT-Infrastruktur, Systemen, Netzwerken, Projektierung und der technischen Umsetzung von Lösungen. Gerade durch AI-Coding ist daraus inzwischen aber auch eine ganze Reihe eigener Softwareprojekte entstanden. Was wir bisher umgesetzt und ausprobiert haben Einige Beispiele: - Eigene Web-Apps – von der Idee und Architektur über Backend und Frontend bis hin zur produktiv nutzbaren Anwendung. - Ein eigenes LLM-Benchmark-System, mit dem wir lokale Sprachmodelle unter vergleichbaren Bedingungen testen und hinsichtlich Geschwindigkeit, Qualität und Verhalten gegeneinander antreten lassen können. - Diverse ESP32-Projekte, bei denen Hardware, Firmware, Sensorik, APIs und eigene Weboberflächen miteinander kombiniert wurden. - Node-Deck – ein größeres Projekt, das aktuell noch weiterentwickelt wird, aber bereits stabil läuft. Es handelt sich um ein eigenes webbasiertes Remote-Management-Dashboard, über das unterschiedliche Windows- und Linux-Systeme zentral verwaltet, gesteuert, aktualisiert und überwacht werden können. Vom Grundgedanken her orientiert es sich an Plattformen wie Tactical RMM bzw. vergleichbaren Management-Lösungen. Node-Deck ist allerdings ein internes Projekt und nicht öffentlich verfügbar. - Unser eigenes Power Dashboard auf Basis von Shelly, MQTT und weiteren Schnittstellen. Dort führen wir Leistungs-, Verbrauchs- und PV-Daten zusammen und visualisieren unter anderem Smart-Meter-, Solarbank- und Energieinformationen in einer eigenen Oberfläche.

Danke dir! Ich hoffe tatsächlich, dass wir bei lokalen Modellen in Zukunft noch in einen Bereich kommen, in dem man auch mit Consumer-Hardware wie einer RTX 5060 Ti oder 5070 Ti mit jeweils 16 GB VRAM wirklich leistungsfähige Coding- und Agentic-Systeme betreiben kann. Wir haben inzwischen einiges lokal getestet und merken dabei recht deutlich, wo aktuell die Grenzen liegen. Für agentische Systeme halte ich beispielsweise mindestens 64k Kontext für sinnvoll. Mit 16 GB VRAM wird es dann bei leistungsfähigeren Modellen schnell eng. Ich könnte mir aber gut vorstellen, dass die Entwicklung zunehmend in Richtung spezialisierter Modelle geht: weniger allgemeines Weltwissen, dafür sehr gute Fähigkeiten bei Coding, Tool-Calling und Agentic Workflows. Wenn wir irgendwann Modelle im Bereich von etwa 8–14B Parametern bekommen, die dort richtig stark sind und gleichzeitig genügend VRAM für einen großen Kontext übrig lassen, wäre das für lokales Hosting extrem interessant. Gerade bei Gemma und ähnlichen Modellfamilien bin ich gespannt, was noch kommt. Aktuell arbeiten wir deshalb trotzdem sehr viel mit GPT Work. Gerade bei Agenten ist für mich Transparenz wichtig: Wenn ein Agent den Browser oder den PC bedient, möchte ich nachvollziehen können, was er gerade macht und warum. Das funktioniert bei den integrierten kommerziellen Lösungen derzeit aus meiner Erfahrung deutlich zuverlässiger als bei vielen Open-Source-Ansätzen wie OpenClaw oder Hermes. Bei Anthropic gibt es ebenfalls interessante Ansätze, das ist für meinen Anwendungsfall preislich allerdings weniger attraktiv. Mein Fokus bleibt trotzdem ganz klar auf lokalen Modellen. Ich finde gerade die Frage spannend, wie weit wir in den nächsten Jahren mit relativ normaler Hardware kommen werden, wenn Modelle effizienter und stärker spezialisiert werden. Ich freue mich jedenfalls, hier Teil der Community zu sein, Erfahrungen auszutauschen und sicherlich auch einiges Neues mitzunehmen. Danke für die Aufnahme! 🙂

Ponytail finde ich extrem spannend. Gerade KI neigt beim Programmieren dazu, aus kleinen Aufgaben unnötig komplexe Lösungen zu bauen. Wenn Ponytail die KI konsequent auf einfache, saubere Lösungen zwingt und dabei noch massiv Tokens spart, ist das genau die richtige Richtung.