The Implementers GmbH
Tradition trifft KI-Praxis

Lokale LLMs & RAG

DSGVO on-premise

Wir entwickeln Sprach- und KI-Agenten, die Ihre sensiblen Daten sicher nutzen. Komplett On-Prem oder in Ihrer Private Cloud – ohne Abstriche bei Performance oder Nutzererlebnis.

DSGVO-konforme Architektur
Technologien
OllamaGPT-OSS 20BRAG

Vorteile

DSGVO-konform
On-Prem oder Private Cloud
Kosteneffizient skalierbar
Maximale Datensicherheit

Anwendungsbereiche

Medizinische Dokumentation
Fragebogen-Auswertung
Wissensmanagement

Sichere Sprachagenten für Ihre Daten

Wir integrieren LLMs in bestehende Prozesse, definieren Guardrails und setzen Governance um, damit Ihre Teams sofort starten können.

Beratung buchen

Master-Tabelle – Lokale Modelle

Vergleich lokaler LLMs nach Einsatz, Offenheit, Fähigkeiten und VRAM. Bewertungen in 5-Sterne-Skala; nicht zutreffende Felder: N/A. Hier nur ein kleiner Auszug aus verschiedenen Modellen, die lokal genutzt werden können und zum Teil den großen „online“ Modellen in ihrem Fachbereich überlegen sind.

Legende:
★☆☆☆☆ = schlecht / nicht geeignet
★★★★★ = sehr gut
N/A = nicht zutreffend
ModellZiel-EinsatzOpen WeightsOpen SourceTrainingsdaten offenFine-Tuned / BaseTextBildOCRDeutschZusammenfassenMedizin / ICDAgentic Tool UseProContraVRAM minVRAM optimal
mistral-nemo 12BGeneral Reasoning★★★★★★★★★★★★☆☆☆Mistral Base★★★★★N/AN/A★★★★☆★★★★☆★★★☆☆★★★★☆stabil, logischkein Vision12 GB16 GB
mistral-small 3.1Agenten / Planung★★★★★★★★★★★★☆☆☆Mistral Small★★★★★N/AN/A★★★★☆★★★★★★★★☆☆★★★★★bestes Agenten-LLMgroß16 GB24 GB
llama 3.1 8BAllround★★★★★★★★★★★★☆☆☆Meta LLaMA★★★★☆N/AN/A★★★★☆★★★★☆★★★☆☆★★★★☆robustengl. Bias8 GB12 GB
llama 3.1 8B customOptimiert lokal★★★★★★★★★★★★☆☆☆LLaMA + FT★★★★☆N/AN/A★★★★☆★★★★☆★★★☆☆★★★★☆gute PrompttreueFT-abhängig8 GB12 GB
GPT-OSS 20BAgenten / Planung★★★★★★★★★☆★★☆☆☆GPT-Style★★★★★N/AN/A★★★★☆★★★★★★★★☆☆★★★★★Top-Agenten-LLMgroß14 GB20 GB
mistral 7B instructLeichtes Chat★★★★★★★★★★★★☆☆☆Mistral 7B★★★★☆N/AN/A★★★☆☆★★★☆☆★★☆☆☆★★★☆☆sehr schnellweniger Tiefe8 GB12 GB
llama 3.2 vision 11BVision Allround★★★★★★★★★★★★☆☆☆LLaMA Vision★★★★☆★★★★☆★★★☆☆★★★☆☆★★★☆☆★★☆☆☆★★★☆☆solide Visiongroß12 GB16 GB
llava 13BVision QA★★★★★★★★★★★★☆☆☆LLaVA★★★☆☆★★★★☆★★★☆☆★★★☆☆★★★☆☆★☆☆☆☆★★☆☆☆bewährtalt16 GB20 GB
qwen 3 14BGeneralist★★★★★★★★★★★★☆☆☆Qwen 3★★★★☆N/AN/A★★★☆☆★★★★☆★★★☆☆★★★★☆starkes ReasoningDeutsch mittel16 GB20 GB
qwen 2.5 coder 14BCoding / Tools★★★★★★★★★★★★☆☆☆Qwen Coder★★★★☆N/AN/A★★★☆☆★★★☆☆★★☆☆☆★★★★★bestes Codingwenig kreativ16 GB20 GB
qwen 2.5 VLVision + OCR★★★★★★★★★★★★☆☆☆Qwen VL★★★☆☆★★★★☆★★★★☆★★★☆☆★★★☆☆★☆☆☆☆★★★☆☆sehr gutes OCRDeutsch mittel12 GB16 GB
deepseek-r1 7BReasoning★★★★★★★★★★★★☆☆☆DeepSeek R1★★★★☆N/AN/A★★★☆☆★★★★☆★★★☆☆★★★★☆gutes Denkenlangsam8 GB12 GB
gemma 3 12BPräzise Antworten★★★★★★★★★★★★☆☆☆Gemma 3★★★★☆N/AN/A★★★☆☆★★★★☆★★☆☆☆★★★★☆sauberwenig kreativ12 GB16 GB
gemma 2 9BLeicht★★★★★★★★★★★★☆☆☆Gemma 2★★★☆☆N/AN/A★★★☆☆★★★★☆★★☆☆☆★★★☆☆stabilbegrenzt8 GB12 GB
granite 3.2Business / RAG★★★★★★★★★★★★☆☆☆IBM Granite★★★★☆N/AN/A★★★☆☆★★★★☆★★☆☆☆★★★★☆kontrollierbarwenig kreativ8 GB12 GB
granite 3.2 visionBusiness Vision★★★★★★★★★★★★☆☆☆Granite Vision★★★☆☆★★★☆☆★★★☆☆★★★☆☆★★★☆☆★☆☆☆☆★★★☆☆stabilschwache Vision8 GB12 GB
MedGemma 27BMedizin Spezialist★★★★★★★★★★★★☆☆☆Med-FT★★★★★N/AN/A★★★☆☆★★★★★★★★★★★★★☆☆medizinisch starksehr groß16 GB (Q4)24–32 GB
LLaMA3-Med42-8BKlinische Assistenz★★★★★★★★★★★★☆☆☆LLaMA + Med FT★★★★☆N/AN/A★★★☆☆★★★★☆★★★★☆★★★☆☆praxisnahengl. Bias12 GB16 GB
qwen 3 8BLeicht★★★★★★★★★★★★☆☆☆Qwen 3★★★☆☆N/AN/A★★☆☆☆★★★☆☆★★☆☆☆★★★☆☆effizientlimitiert8 GB12 GB
qwen 3 VL 4BVision light★★★★★★★★★★★★☆☆☆Qwen VL★★☆☆☆★★★☆☆★★★☆☆★★☆☆☆★★☆☆☆★☆☆☆☆★★☆☆☆klein & schnellwenig Tiefe6 GB8 GB
deepseek-coder 6.7BCoding★★★★★★★★★★★★☆☆☆DeepSeek Coder★★★☆☆N/AN/A★★☆☆☆★★☆☆☆★☆☆☆☆★★★☆☆effizientDeutsch schwach8 GB12 GB
deepseek-OCROCR Spezialist★★★★★★★★★☆★★☆☆☆Vision + OCR FT★★★☆☆★★★★☆★★★★★★★☆☆☆★★★☆☆★☆☆☆☆★★★☆☆bestes OCR lokalkaum Reasoning8 GB12 GB
gemma 2 2BEdge★★★★★★★★★★★★☆☆☆Gemma 2★★☆☆☆N/AN/A★★☆☆☆★★☆☆☆★☆☆☆☆★★☆☆☆extrem kleinsehr limitiert4 GB6 GB
nemotron miniEdge Agent★★★★★★★★★★★★☆☆☆NVIDIA★★★☆☆N/AN/A★★☆☆☆★★☆☆☆★☆☆☆☆★★★☆☆sehr schnellflach6 GB8 GB
phi-3 3.8BFast Edge★★★★★★★★★★★★☆☆☆Microsoft Phi★★★☆☆N/AN/A★★☆☆☆★★☆☆☆★☆☆☆☆★★☆☆☆extrem schnellkaum Tiefe4 GB6 GB

Hinweis: Die Bewertungen sind praxisnahe Einschätzungen und dienen der schnellen Orientierung, nicht als Faktenbehauptung.