User
Write something
Q&A is happening in 3 days
Pinned
Mastering Local AI: High-End Automatisierung mit 100% Datenschutz
Willkommen im Maschinenraum der lokalen KI-Automatisierung! 🚀🔒 Du willst die Power modernster KI nutzen, aber deine sensiblen Daten nicht an OpenAI & Co. senden? Du suchst nach Wegen, komplexe Business-Prozesse (wie Buchhaltung oder Videoanalyse) vollautomatisch und DSGVO-konform auf deiner eigenen Hardware abzubilden? Dann bist du hier richtig. "Mastering Local AI" ist die Community für Unternehmer, Entwickler und Automatisierungs-Enthusiasten, die die Kontrolle behalten wollen. Was dich hier erwartet: - Deep Dives: Wir gehen tief in die Technik. Keine Oberflächen-Theorie, sondern echte Umsetzung. - Der Tech-Stack: Alles rund um n8n (Self-Hosted), Docker, lokale LLMs (Llama 3, Mistral), Whisper, Paperless-ngx und mehr. - Real-World Use Cases: Wir bauen Systeme, die echte Probleme lösen – von der automatischen Vorkontierung bis zur Medien-Analyse. - Hardware & Setup: Wie rüstet man den eigenen Server/Mac auf, damit die KI rennt? Hier bauen wir die Automatisierung der Zukunft – unabhängig, leistungsstark und lokal. Lass uns die Black Box öffnen.
0
0
Pinned
Willkommen bei "Mastering Local AI" – Dein Startpunkt! 🚀
Hallo und herzlich willkommen! 👋 Schön, dass du dabei bist. Ich bin Michael Gross und ich habe diese Community gegründet, weil ich glaube, dass die Zukunft der Automatisierung lokal ist. Wir alle lieben die Möglichkeiten von KI. Aber wir wissen auch: Echte Business-Daten gehören nicht immer in die Cloud. Die Lösung liegt darin, die Intelligenz (LLMs, Transkription, OCR) zu uns zu holen – auf unsere eigenen Server und Rechner. Genau das werden wir hier gemeinsam meistern. Ich werde hier meine Workflows (z.B. meine vollautomatische Buchhaltung mit n8n & Llama 3) teilen, aber ich möchte auch von EUCH lernen. Damit wir uns alle besser kennenlernen, stell dich bitte kurz in den Kommentaren vor: 1. Wer bist du? (Name & was du beruflich machst) 2. Dein Status Quo: Arbeitest du schon mit n8n oder lokalen KIs, oder fängst du gerade erst an? 3. Dein Ziel: Welchen nervigen Prozess würdest du am liebsten sofort lokal automatisieren? Ich mache den Anfang in den Kommentaren. 👇 Auf einen genialen Austausch! Michael
Qwen 3.8 27B mein erstes Fazit
Qwen3.8-27B ist seit Freitag draußen. 27B, Apache 2.0, schlägt laut eigenen Zahlen Claude Opus 4.6 Max auf mehreren Benchmarks. Die Timeline ist entsprechend voll. Ich habe es lokal gegen seinen direkten Vorgänger gemessen. Nicht gegen eine Rangliste — gegen Qwen3.6-27B, gleiche Architektur, gleiche Quantisierung, gleiche 15 GB. Ergebnis: Bei einzelnen Prompts kein Unterschied. Bei Werkzeugarbeit fünfeinhalb Punkte. Der Sprung ist real — er liegt nur woanders, als die meisten ihn suchen. ━━━━━━━━━━━━━━━━━━━━ ① Der Sprung steht schon in Qwens eigener Tabelle — man muss sie nur sortieren Wissen, single-shot (GPQA Diamond) +1,4 Code, single-shot (LiveCodeBench v6) +6,4 Agentisch (SWE-bench Pro) +8,2 Agentisch (Terminal Bench) +9,6 Computer Use (AndroidWorld) +11,6 Computer Use (WebArena) +16,0 Computer Use (OSWorld) +20,4 Das ist kein Rauschen, das ist ein Gradient. Je mehr Werkzeuge, Schritte und Umgebung eine Aufgabe hat, desto größer der Vorsprung. Je näher an "ein Prompt, eine Antwort", desto kleiner. Qwen3.8 ist ein Agenten-Upgrade. Das ist eine gute Nachricht — nur eben eine andere als "besseres Modell". ② Ich habe an beiden Enden des Gradienten gemessen — und er stimmt Unten: reines Single-Shot. Sechs Aufgaben, ein Prompt, keine Tools, deutsch. Python-Code und Geschäftstexte aus dem KMU-Alltag. Qwen3.8: 76,5 von 105 Qwen3.6: 77,0 Differenz: −0,5 Oben: agentisch. 72 Routing-Entscheidungen mit fünf Werkzeugen, das Modell muss ermitteln bevor es entscheidet — mehrere Schritte, echte Fallen, Ground Truth aus meinem eigenen System. Qwen3.8: 98,6 % Qwen3.6: 93,1 % Differenz: +5,5 Dasselbe Modellpaar, dieselbe Maschine, derselbe Tag. Bei Single-Shot nicht unterscheidbar, bei Werkzeugarbeit fünfeinhalb Punkte auseinander. Der Unterschied ist sogar im Verhalten sichtbar: 3.8 macht 3,49 Werkzeugaufrufe pro Entscheidung, 3.6 nur 2,24. Das neue Modell prüft mehr, bevor es sich festlegt. Genau das ist die Fähigkeit, die Qwens agentische Benchmarks messen.
0
0
Qwen3.6 35B A3B - Faszinierend ist untertrieben, vor allem was Coding angeht
🧪 Qwen3.6-35B-A3B-4bit auf meinem M2 Max (96 GB), drei Runs auf meinem 105-Punkte-Benchmark. Das neue Modell spielt in der Top-Liga, aber mit einer klaren Schwachstelle. ───────────────────────────── 📊 DIE ZAHLEN ───────────────────────────── Drei unabhängige Runs, 6 Aufgaben, Temperatur 0,1. 🟣 Run 1: 98/105 (93,3%) 🟢 Run 2: 99/105 (94,3%) 🔵 Run 3: 101/105 (96,2%) Mittelwert: 99,3/105, also 94,6 %. Damit liegt das Modell gleichauf mit gpt-oss-120b und gemma4:31b Dense, bei nur 3B aktiven Parametern und rund 20 GB RAM. Konstant 83 bis 87 tok/s. ───────────────────────────── ⚡ DIE CODE-QUALITÄT IST BEMERKENSWERT ───────────────────────────── Drei Python-Aufgaben: Sortierfunktion, CSV-Bugfix, HTTP-Client mit Retry-Logik. Über alle drei Runs: 🟣 A1 Sortieren: 15, 15, 15 🟢 A2 CSV-Debugging: 15, 14, 15 🔵 A3 HTTP-Client: 15, 15, 15 Das Interessante ist nicht die Punktzahl, sondern die Stilvarianz. Gleicher Prompt, drei völlig unterschiedliche produktionsreife Lösungen. Beim HTTP-Client: Run 1 zentralisiert mit einem _execute_request-Helper. Run 2 liefert Context Manager plus Retry-After-Header-Parsing. Run 3 trennt sauber in _should_retry und _wait_before_retry. Alle drei brauchbar. Das ist Stilvarianz auf hohem Niveau, nicht Qualitätsvarianz. ───────────────────────────── ⚠️ DIE SCHWACHSTELLE ───────────────────────────── Juristische Texte. In jedem der drei Runs hat das Modell bei revDSG-Argumentation Artikelnummern halluziniert. Run 1: FDPB statt EDÖB, Art. 31 falsch zugeordnet Run 2: "Unterlageverarbeitungsverträge" statt Auftragsverarbeitungsverträge Run 3: Art. 5 und Art. 6 revDSG falsch zitiert Die Konzepte sitzen, FISA 702, EO 12333, Angemessenheit. Aber die Paragraphen-Zuordnung wackelt. Für juristisch sensible Outputs ohne RAG-Layer nicht einsetzbar. ───────────────────────────── 🎯 FAZIT FÜR DEN KMU-EINSATZ ───────────────────────────── Grün: Python-Automatisierung, Kundenkommunikation, Erklärtexte für nicht-technische Stakeholder. Gelb: Business-Texte brauchen Gegenlesen, Sprache schwankt (Genus-Fehler, gelegentlich schiefe Formulierungen).
Qwen3.6 35B A3B - Faszinierend ist untertrieben, vor allem was Coding angeht
Endlich lokal
Heute war der Tag, an dem es endlich klick gemacht hat. Nicht weil ich eine neue Technologie entdeckt habe. Sondern weil ich zum ersten Mal gespürt habe, wie sich ein vollständig lokales AI-Coding-Setup anfühlt, wenn es wirklich funktioniert. Morgens: .NET-Migration mit lokalem Sprachmodell. Backend, C#, BouncyCastle, iText7, Security CVEs. Das Modell hat gebaut, geprüft, korrigiert. Kein Cloud-API, keine Daten die das Haus verlassen. Mittags: Cline in VSCodium eingerichtet. Temperatur korrigiert, CLAUDE.md hinterlegt, Vue-Frontend analysiert. Das Modell hat den Repo-Kontext gelesen und Fragen gestellt bevor es gehandelt hat. Abends: n8n MCP Server gebaut und in Cline eingebunden. Cline kann jetzt gleichzeitig meinen Code lesen und meine n8n Workflows lesen. Lokales Modell, lokale Automatisierung, lokale Daten. Der Moment wo es klick macht ist nicht spektakulär. Es ist der Moment wo du merkst, dass du dem Tool vertraust. Weil du weißt wo die Daten sind. Weil du den Server-Log siehst. Weil du die Temperatur selbst eingestellt hast. Das ist kein Produkt das ich empfehle. Das ist ein Setup das ich selbst täglich nutze, für echte Kundenprojekte, mit echten Daten, unter DSGVO. Wer das auch aufbauen möchte: es braucht einen guten Nachmittag, einen M2 Mac mit genug RAM, und die Bereitschaft ein paar Build-Fehler zu debuggen. Es lohnt sich. Welchen Teil davon würdet ihr euch genauer anschauen?
1
0
1-14 of 14
powered by
Mastering local AI
skool.com/mastering-local-ai-6471
Baue High-End Workflows mit n8n & lokalen LLMs auf eigener Hardware. Maximale KI-Power bei voller Datensouveränität. Join us!
Build your own community
Bring people together around your passion and get paid.
Powered by