wissen · ki technisch einbetten

Technische Einbettung moderner KI-Anwendungen

Welche IT-Ressourcen braucht produktive KI wirklich? Von der Begriffsklärung über Regelwerke und Modellauswahl bis zur GPU-Dimensionierung und Integration per MCP, API und A2A — der technische Leitfaden für den Mittelstand.

Ein Vortrag von David Kempe, CEO & Head of IT & Finance, Sellium GmbH

Beratung anfordern Zum Leitfaden

begriffe

Machine Learning oder generative KI? Anforderungen definieren

Künstliche Intelligenz: Der Oberbegriff für Systeme, die menschliche Intelligenz nachahmen — von der einfachen Regelverarbeitung bis zur komplexen Mustererkennung.
Machine Learning: Computer lernen selbstständig, aus Daten Muster zu erkennen und Vorhersagen zu treffen — ohne explizit dafür programmiert zu werden.
Deep Learning: Eine spezielle Form des Machine Learnings mit künstlichen neuronalen Netzen, die in mehreren Schichten komplexe Zusammenhänge erkennen.
Generative KI: Die aktuellste Form der KI, die basierend auf gelernten Mustern neue Inhalte wie Texte, Bilder oder Code selbstständig erstellt.

technische basis

IT-Ressourcen als Schlüssel zum Erfolg

Infrastruktur

On premise, Cloud oder hybrid
Cloudanbieter am besten in der Region
KI extern, Agent intern?

Datenmanagement

Datenqualität und -verfügbarkeit
Strukturierte Datenpipelines
DSGVO-konforme Speicherung und Verarbeitung

Sicherheit

Datensouveränität gewährleisten
Zugriffskontrollen und Authentifizierung
Cybersecurity: Prompt Injection, Data Poisoning, Schatten-KI
Compliance: EU AI Act, ISO 42001

Integration

API-Schnittstellen zu bestehenden Systemen
Kompatibilität mit der vorhandenen Software-Landschaft

Personal

Interne IT-Kompetenzen aufbauen oder extern einkaufen
Klare Verantwortlichkeiten definieren

regelwerke & governance

Leitplanken für den KI-Einsatz

Infrastrukturanforderungen kommen nicht nur aus der Technologie selbst, sondern auch aus der Normung. ISO/IEC TR 24028 gibt Hilfestellung für Implementierung und Betrieb von KI-Systemen: Wartung, Anpassung, Bias-Reduktion und unerwartetes Verhalten.

EU AI Act

Risikobasierte Anforderungen für KI-Systeme

DSGVO

Zentrale Rolle bei personenbezogenen Daten

ISO/IEC 42001

Managementsystem für KI — vergleichbar mit ISO 27001

ISO/IEC 22989

Begriffe & Konzepte von KI — stellt gemeinsame Sprache sicher

ISO/IEC 23053

Rahmenwerk für KI-System-Lebenszyklen

ISO/IEC TR 24028

Vertrauen & Robustheit in KI-Systemen

ISO/IEC 38507

IT-Governance mit KI

DIN SPEC 92001

Deutsche Normenreihe zu KI — Grundlagen, Robustheit, Vertrauen

Cloud Act

US-Zugriffsrechte — relevant bei der Anbieterwahl

Branchenregeln

Automotive, Medizin, Informationssicherheit, Qualitätsmanagement

prozessspezifische lösungen

Was nach ChatGPT kommt

Drei Ausbaustufen mit steigender Komplexität — vom einzelnen Modell bis zum autonomen Agenten.

KI-Modell

Eine Aufgabe, Input → Output

Meistens ein vortrainiertes Modell
Wissensanreicherung über Wissensdatenbank und/oder Websuche
Kann keine bis semi-komplexe Arbeitsabläufe automatisiert durchführen

KI-Workflows

Mehrere Schritte + Tools

Statischer, vordefinierter Prozess, der KI zur Automatisierung nutzt
Meistens durch Trigger ausgelöst
Die einzelnen Schritte und Module definiert ein Mensch

KI-Agenten

Autonom, trifft Entscheidungen

Autonome Einheiten mit Entscheidungs- und Handlungsfähigkeit
Nutzt meistens das ReAct-Framework: Reason + Act
Führt komplexe Aufgaben selbstständig aus und bestimmt den Workflow selbst
Durch komplexe, iterative Aufrufe in der Praxis sehr teuer

Komplexität →

Bei KI-Agenten stellen sich vorab vier Fragen: Mandantentrennung? Middleware? Framework für die Orchestrierung? Welches KI-Modell? Die Auswahl des richtigen Modells und der richtigen Tools ist für maximale Leistung unerlässlich — Benchmarking hilft, z. B. SWE-bench Verified. Jedes LLM hat eigene Vorteile und Stärken.

skalieren mit strategie

Die Kunst, das richtige Maß zu finden

LLM Large Language Model

Milliarden von Parametern (z. B. Claude 3: ca. 175 Milliarden)
Extrem leistungsfähig, löst komplexe Aufgaben
Längere Kontextfenster (100k+ Tokens) für komplexe Strukturen
Hoher Ressourcenbedarf

SLM Small Language Model

Weniger Parameter (meist 1–10 Milliarden)
Schneller, günstiger, ressourcenschonender
Weniger abstraktes Denken, höhere Halluzinationsrate bei komplexen Aufgaben
Gute Performance bei klar abgegrenzten Tätigkeiten

Der Token

Tokens sind die kleinsten Einheiten, mit denen KI-Modelle Text verarbeiten — häufig vorkommende Textbausteine statt ganzer Wörter. Häufige Wörter („und", „der", „die") sind ein Token; Zahlen und Sonderzeichen eigene Tokens. Tokens bestimmen die Kosten (Abrechnung nach Input und Output) und beeinflussen das Kontextfenster. Faustregel: 1 Token ≈ 0,75 Wörter im Deutschen.

JSON & TOON

Strukturierte Formate verwenden und auf Token-Ersparnis achten, um Kosten zu minimieren — im Beispiel des Vortrags sparte das TOON-Format gegenüber JSON 57 % der Tokens.

inferenz

Modell- und GPU-Erfordernisse

Cloud-GPU oder on premise? Wie viel VRAM wird benötigt, welche Karte bietet die beste Preis-Leistung, lohnt ein Multi-GPU-Setup — und wie hoch sind Stromverbrauch und Kühlbedarf? Dazu die Zukunftsfrage: Welche GPU-Generation trägt die nächsten drei Jahre?

GPU-Vergleich für KI-Inferenz (Quelle: Hersteller Nvidia)
Spezifikation	L4	L40S	RTX PRO 6000	A100 (80 GB)	H100 (80 GB)
CUDA-Cores	7.424	18.176	24.064	6.912	16.896
VRAM	24 GB GDDR6	48 GB GDDR6	96 GB GDDR7	80 GB HBM2e	80 GB HBM3
Bandbreite	300 GB/s	864 GB/s	1.792 GB/s	2.039 GB/s	3.350 GB/s
TDP	72 W	350 W	600 W	400 W	700 W (SXM)
Kaufpreis (ca.)	~2.300 €	~6.500–9.000 €	~7.800–10.000 €	~14.000–18.000 €	~23.000–37.000 €

nahtlose integration

MCP, API und A2A

Model Context Protocol (MCP)

Standard für strukturierte Tool-Integration in KI-Systeme → KI greift auf Datenbanken, APIs und Tools für lokale Prozesse zu.

API

Klassische Schnittstelle für Software-zu-Software-Kommunikation → REST/GraphQL-Endpunkte für strukturierte Daten (JSON, TOON).

Agent-to-Agent (A2A)

Standard für Kommunikation zwischen autonomen KI-Agenten → Multi-Agent-Systeme mit verteilter Intelligenz.

feedback einbauen

Anhand des Nutzerfeedbacks lernen

Nutzer-Interaktion
KI liefert Antworten und Lösungen
Feedback sammeln
Bewertungen, Korrekturen, Präferenzen
Anpassung
KI richtet Antworten am Feedback aus

Werkzeuge dafür: Memory Function, Fine-Tuning mit neu gewonnenen Daten, A/B-Testing, Human in the Loop (HITL) und Feedbackschleifen im Chatverlauf, die in eine Datenbank fließen.

skalieren

Vom Prototyp zum produktionsreifen System

Prototyp
Ggf. Proof of Concept (PoC), Erzeugung einer einfachen Version (MVP), erste Tests, schnelle Iteration durch Kundenfeedback.
Pilotierung
Begrenzte Nutzerbasis, Performance-Optimierung, Feedback-Integration, ROI messen.
Produktion
Vollständiger Rollout, Monitoring & Wartung, kontinuierliche Verbesserung (CI/CD).

erkenntnisse

Was haben wir gelernt?

Die richtige Modellgröße entscheidet

… SLMs für spezifische Aufgaben sind oft effizienter und günstiger als überdimensionierte LLMs.

95 % der KI-Pilotprojekte scheitern

… Erfolg braucht mehr als nur Technologie: klare Strategie, richtige IT-Ressourcen und Governance.

Hardware richtig dimensionieren

… Cloud vs. on premise und die GPU-Auswahl bestimmen Skalierbarkeit und Kosteneffizienz.

KI-Agenten sind die Zukunft

… autonome Systeme, die selbstständig Entscheidungen treffen, ermöglichen echte Prozessautomation im Mittelstand.

So setzen wir das um: KI-Integration · Sicherheit · Wissensmanagement mit KI · Die Sellium-Methode

kontakt

Let's talk

Gern sind wir rund um das Thema KI für dich da. Wir melden uns umgehend bei dir.

Telefon+49 371 524 99 140

Emailcontact@sellium.ai

AdresseCarolastraße 4-6, 09111 Chemnitz

Soziales NetzLinkedIn