Nach der Einführung beginnt die Betreuung
Managed AI bedeutet, produktive KI-Systeme nach der Einführung regelmäßig zu prüfen und weiterzuentwickeln. Dazu gehören Verfügbarkeit, Wissenspflege, Qualität, Modellwahl, Kosten, Berechtigungen, Integrationen und neue Anforderungen.
Warum KI mehr Pflege braucht als klassische Software
Klassische Software liefert bei gleichen Eingaben meist vorhersehbare Ergebnisse. Generative KI kann variieren. Gleichzeitig werden Quellen aktualisiert, Mitarbeitende stellen neue Fragen, Anbieter ändern Modelle und Prozesse entwickeln sich weiter. Eine gute Pilotlösung kann deshalb Monate später schlechter passen, obwohl technisch kein Fehler sichtbar ist.
Die sechs Aufgabenbereiche von Managed AI
1. Nutzung und Qualität prüfen
Ausgewählte Testfragen, Fehlermeldungen und Nutzerfeedback zeigen, ob Antworten hilfreich bleiben. Nicht jede Unterhaltung muss dauerhaft gespeichert werden. Messung und Datenschutz müssen zusammen geplant werden.
2. Wissen und Quellen pflegen
Neue Versionen werden aufgenommen, veraltete Dokumente deaktiviert und Verantwortliche für Quellengruppen benannt. Bei Wissenssystemen ist diese redaktionelle Arbeit zentral.
3. Prompts, KI-Agenten und Abläufe verbessern
Wiederkehrende Fehler können durch bessere Anweisungen, zusätzliche Prüfungen oder geänderte Übergaben reduziert werden. Änderungen werden getestet und dokumentiert, statt direkt im Produktivsystem zu experimentieren.
4. Modelle und Anbieter vergleichen
Neue Modelle können Qualität, Geschwindigkeit oder Kosten verändern. Ein Wechsel braucht Vergleichstests mit eigenen Aufgaben. Versionsänderungen eines Anbieters dürfen nicht unbemerkt die Abnahmegrundlage verschieben.
5. Kosten im Blick behalten
Nutzung pro Team, Modellkosten, Telefonminuten, Speicher und Infrastruktur werden beobachtet. Ziel ist nicht immer die billigste Anfrage, sondern ein wirtschaftlich sinnvoller Gesamtprozess.
6. Sicherheit und Berechtigungen aktuell halten
Konten, Rollen, Schnittstellen und Schlüssel werden überprüft. Bei Ein- und Austritten sowie organisatorischen Änderungen müssen Zugriffe angepasst werden.
Wie die Betreuung in der Praxis aussehen kann
Kritische technische Ereignisse müssen kontinuierlich überwacht werden. Fachliche Qualität kann je nach Nutzung wöchentlich, monatlich oder quartalsweise geprüft werden. Eine regelmäßige Prüfung betrachtet Kennzahlen, Fehler, Quellenänderungen, Kosten und Verbesserungswünsche. Für Maßnahmen werden Verantwortliche und Termine festgelegt.
Nicht jedes System braucht denselben Takt. Ein interner Assistent mit 20 Nutzern wird anders betrieben als ein Voice Agent mit externen Gesprächen.
Was monatlich oder regelmäßig geprüft werden kann
- fehlgeschlagene oder abgebrochene Anfragen,
- ein repräsentativer Testsatz mit erwarteten Ergebnissen,
- geänderte, neue oder zurückgezogene Quelldokumente,
- Modell- und Anbieteränderungen,
- Fehler in Schnittstellen und Datenübergaben,
- Kostenentwicklung nach Team und Funktion,
- Änderungen an Rollen und Zugriffen,
- priorisierte Verbesserungswünsche der Nutzer.
Welche Punkte monatlich, häufiger oder nur bei Änderungen geprüft werden, hängt vom Einsatz ab. Ein österreichischer Produktionsbetrieb kann bei einem internen Wissensassistenten monatlich Quellen und Testfragen prüfen, während technische Ausfälle der Schnittstellen kontinuierlich überwacht werden.
Managed AI ist nicht für jedes Projekt gleich
Der Umfang richtet sich nach Kritikalität, Nutzung, Zahl der angebundenen Systeme und Änderungsgeschwindigkeit. Ein kleiner interner Assistent braucht ein anderes Betriebskonzept als ein Voice Agent mit externen Gesprächen oder ein Workflow mit Schreibzugriff. Managed AI sollte daher Leistungen, Zuständigkeiten, Prüfintervalle und Reaktionswege benennen – keine pauschale Betreuung versprechen.
Beispiel: Wissensassistent nach dem Start
Nach der Einführung zeigen Suchanfragen, dass viele Nutzer nach einer neuen Produktserie fragen, die noch nicht in den Quellen liegt. Gleichzeitig liefert ein aktualisiertes Modell bei Tabellen bessere Ergebnisse. Bei der Prüfung werden Dokumente ergänzt, Testfragen erweitert und das neue Modell zunächst in einer Testumgebung verglichen. Erst nach fachlicher Prüfung erfolgt der Wechsel.
Was Managed AI nicht ist
Managed AI ist keine pauschale SLA-Zusage, keine Rechtsberatung und kein Freibrief für ungeprüfte Änderungen. Es ersetzt auch nicht die Verantwortung des Fachbereichs für Inhalte und Entscheidungen. Es ist eine gemeinsame Arbeitsweise mit klaren Rollen.
Bei einem einmaligen, nicht kritischen Versuch ohne produktive Nutzer kann eine dauerhafte Betreuung unnötig sein. Sobald das Ergebnis jedoch Teil eines Arbeitsablaufs wird, muss zumindest geklärt sein, wer Quellen, Fehler und Änderungen übernimmt.
Fragen für ein Betriebskonzept
- Wer ist fachlich und technisch zuständig?
- Welche Qualitätskriterien werden regelmäßig geprüft?
- Welche Daten dürfen für Monitoring gespeichert werden?
- Wie werden Modell- und Promptänderungen getestet?
- Welche Kosten- und Nutzungsschwellen gelten?
- Wie funktionieren Störung, Rückfall und Anbieterwechsel?
Die Betreuung ist unter Managed AI beschrieben.
Quellen und weiterführende Informationen
Sie möchten festlegen, welche laufenden Prüfungen Ihre produktive KI tatsächlich braucht?
Betriebskonzept klären