Generative KI ist eine rasant aufstrebende Technologie, die Unternehmen die Möglichkeit bietet, ihre Effizienz zu steigern und neuartige Anwendungen zu entwickeln. Aber wie können Unternehmen diese Technologie sinnvoll nutzen? Und wo liegen die Herausforderungen und Grenzen? Dieser Artikel hilft anhand von Praxiserfahrungen und Beispielen bei der Einordnung.
Es ist die Frage, die aktuell jedes Unternehmen umtreibt: Wie kann ich generative künstliche Intelligenz sinnvoll nutzen? Was bringen mir diese Sprachmodelle? Es ist ja nicht so, dass die Geschäftswelt keine Erfahrungen mit KI hätte. Doch bislang beschränkte sich der Einsatz auf «klassische» künstliche Intelligenz mit selbst trainierten Modellen auf Basis eigener Daten.
Die ursprünglich von Google entwickelte Transformer-Architektur hinter den grossen Sprachmodellen (Large Language Models, LLMs) bringt KI nun auf die nächste Ebene, ins Zeitalter der generativen KI (auch als generative AI oder GenAI bezeichnet). Diese Modelle fokussieren sich auf das Verstehen und Erzeugen von Text, Sprache, Bildern und vermehrt multimedialer Inhalte. Der grosse Unterschied von LLMs wie GPT von Open AI, Google Gemini oder Claude von Anthropic gegenüber klassischer KI: Sie sind bereits trainiert und lassen sich einfach «ab der Stange» als Service nutzen.
Einfach? So einfach ist es leider nicht. Es braucht entsprechende Vorbereitung und vor allem eine Vorstellung, wozu generative KI eingesetzt werden soll. Grob lassen sich drei Einsatzgebiete unterscheiden, die durchaus mit steigenden Schwierigkeitsgraden oder zunehmender Komplexität gleichgesetzt werden können:
- KI-Services in Arbeitsplätze integrieren: Hier geht es um die Integration und Nutzung fertiger Services wie ChatGPT, Copilot für Microsoft 365 oder den Bildgenerator Midjourney.
- Bestehende LLMs in eigene Applikationen integrieren: Hierbei erweitert ein Unternehmen ein bestehendes Modell aus der Cloud um eigene Daten, um darauf eigene Anwendungen wie beispielsweise einen «intelligenten» Chatbot im Kundendienst aufzubauen.
- Modelle mit eigenen Daten trainieren und betreiben: Hierbei nutzt ein Unternehmen die Grundfähigkeit von LLMs, die Verarbeitung von Text und Sprache, um darauf komplett eigene Applikationen zu entwickeln und allenfalls selbst zu betreiben. Dazu werden die Modelle zusätzlich mit eigenen, themenspezifischen Daten trainiert.
Dieser Artikel beschäftigt sich mit den Möglichkeiten, Herausforderungen und Grenzen generativer KI und zeigt Anwendungsbeispiele.
Stufe 1: KI-Services im Unternehmen nutzen
Den Mitarbeitenden Zugriff auf generative KI ermöglichen, damit diese effizienter arbeiten können. Das ist der Hauptgrund, KI-Services innerhalb des Unternehmens einzusetzen. Dieses Feld von «AI as a Service» wird von Big Tech dominiert: Open AI mit GPT, Microsoft mit Copilot für M365 und Google mit Gemini.
«Die Einstiegshürde ist relativ tief. Es braucht eine gewisse Investition für die Lizenzen, und die Compliance-Anforderungen müssen erfüllt sein. Aber ich kann die Services ohne vertieftes IT-Fachwissen nutzen», ordnet Tim Giger ein, Consulting Leader Data ＆ AI bei Swisscom. Dann integrieren sich die Angebote in die bestehende Landschaft der Büro-Anwendungen und erweitern diese.
Use Case: Copilot im Geschäftsalltag
Wie das in der Praxis funktioniert, zeigt eine Umfrage in der Pilot-Gruppe für Copilot für M365 bei Swisscom. Die Teilnehmenden nutzen Copilot vor allem als Arbeitshilfe in Office-Anwendungen. Häufig wurden die folgenden Szenarien genannt:
- E-Mails und interne Dokumentationen schreiben und übersetzen
- Texte und E-Mails zusammenfassen
- Nutzung von Office-Anwendungen vereinfachen, indem Copilot Excel-Formeln erstellt oder aus einer Auflistung eine PowerPoint-Präsentation
- Schnelle Aufbereitung und Zusammenfassung von technischen, operativen und strategischen Themen
Dabei schätzten die Teilnehmenden, dass sie mit Copilot effizienter, schneller und auch produktiver wurden. Dies galt insbesondere beim Erstellen von Texten und Skripten. Doch der Pilotbetrieb zeigte auch Grenzen auf. So lieferte Copilot bei der Nutzung von Unternehmensdaten teils unbefriedigende Ergebnisse. Das lag in einigen Fällen an der Datenqualität, in anderen an den Prompts. Gewisse Kenntnisse übers Prompten («Prompt Engineering») oder eine Schulung der Mitarbeitenden sind Voraussetzung, um mit Copilot brauchbare Ergebnisse zu erzielen. Eine Hürde stellt derzeit auch Dialekt dar: Bei der Zusammenfassung von Online-Meetings in Teams scheiterte der KI-Assistent am Schweizerdeutsch.
Mit Swisscom die Welt von Copilot für M365 entdecken
Wir bieten Unternehmen umfassende Unterstützung rund um Copilot für Microsoft 365. Wir begleiten Sie bei der Einführung und erarbeiten zusammen mit Ihnen Einsatzszenarien.
Stufe 2: Bestehende LLMs in eigene Applikationen integrieren
Diese Stufe macht den Schritt weg von KI-Assistenten am Arbeitsplatz hin zur Integration von KI-Funktionalitäten in eigene Applikationen. Zum Einsatz kommen bestehende, vortrainierte Modelle, die als Cloud-Service angeboten werden. Typische Verwendung ist, Text und Sprache mit einem LLM zu verarbeiten, das via API (Programmierschnittstelle) angesteuert wird. «Hier beziehen Unternehmen typischerweise Services eines Hyperscalers wie Azure, AWS oder Google Cloud», sagt Tim Giger. «Diese Foundation Models (Basismodelle) lassen sich beispielsweise mit Retrieval Augmented Generation (RAG) zusätzlich um eigene Daten ergänzen.»
Für die Nutzer solchen Applikationen ist die KI-Komponente nicht direkt ersichtlich. Die Bedienung erfolgt über eine Plattform des Unternehmens, wie dessen Website oder das Intranet. Solche KI-gestützten Applikationen können sich sowohl an Mitarbeitende wie auch an Kunden richten.
Der Aufwand ist grösser als bei einem KI-Assistenten, der in den Arbeitsplatz integriert wird. «Ich brauche ein gewisses Know-how, um diese Modelle an meine Applikation anzubinden», sagt Tim Giger. «Aber ich benötige dazu kein vertieftes Wissen über Training und Betrieb der Modelle selbst.»
Use Case 1: Chatbot mit generativer KI
Die naheliegendste Anwendung für generative KI auf dieser Stufe besteht in einem «intelligenten» Chatbot, beispielsweise im Kundendienst oder Verkauf. «Wir sprechen hier vom klassischen Chatbot oder auch Voice-Bot, der aber nicht einfach weiterleitet, sondern die Anfrage versteht und selbst bearbeiten kann», sagt dazu Kai Duttle, Consultant bei Swisscom Interaction & Process Management. Solche Anwendungen werden auch als conversational AI bezeichnet.
Bestehende Chatbots können mit generativer KI leistungsfähiger werden und Mitarbeitende von Routinearbeiten entlasten. Dabei ist es zentral, den Nutzen im Auge zu behalten, sagt Kai Duttle: «Wir müssen die Technologie so einsetzen, dass sie den Kundennutzen verbessert, und nicht um der Technologie willens.»
Use Case 2: Verarbeitung aufgezeichneter Gespräche
In einem Contact Center aufgezeichnete Anrufe (mit Einwilligung) lassen sich mit generativer KI transkribieren und zusammenfassen. Die Ergebnisse lassen sich auf vielfältige Weise nutzen:
- Als Information im Supportverlauf für andere Mitarbeitende, wenn eine Person erneut anruft
- Sentimentanalyse der Anrufe für ein Stimmungsbild
- Insights gewinnen über häufig nachgefragte Themen an der Hotline
Diese Informationen können für den Betrieb und die Weiterentwicklung eines Contact Centers genutzt werden, etwa bei der Schulung der Mitarbeitenden oder für die Automatisierung von Prozessen bei häufig nachgefragten Support-Themen.
Use Case 3: Wissensdatenbank und Unternehmenssuche
Es ist wohl in jedem grösseren Unternehmen so, dass Mitarbeitende viel Zeit damit verbringen, interne Informationen zu suchen. Eine KI-gestützte Wissensdatenbank, die mit allen relevanten Informationen gefüttert wurde, kann diesen Aufwand deutlich verringern. Und allenfalls auch eine interne Suchfunktion ersetzen. Technisch entspricht diese Wissensdatenbank dem Chatbot aus dem ersten Use Case. Auch das Vorgehen zur Umsetzung ist vergleichbar.
ReThink Conversational AI Workshop
Entdecken Sie die Zukunft des Kundenservice. Erfahren Sie, wie künstliche Intelligenz Ihren Kundenservice effizienter gestalten und das Kundenerlebnis verbessern kann. Im Workshop erarbeiten Sie gemeinsam mit Swisscom Experten eine Strategie für die Implementierung von conversational AI als Basis für die Weiterentwicklung.
Stufe 3: Modelle mit eigenen Daten trainieren und selbst betreiben
Der grösste Unterschied der dritten gegenüber der zweiten Stufe besteht darin, dass hier ein Sprachmodell mit eigenen, firmen- oder branchenspezifischen Daten für eine bestimmte Aufgabe trainiert wird. Auch der Betrieb erfolgt oft in Eigenregie. Ziel ist es, eine Applikation für einen spezifischen Zweck zu entwickeln. Damit unterscheidet sich eine solche Anwendung von denjenigen der Stufe 2, die auf ein «Generalisten»-Sprachmodell setzen.
Das Vorgehen und der Aufwand entsprechen demjenigen für Machine-Learning- oder Deep-Learning-Modelle. «Hierzu brauche ich spezifisches Fachwissen, beispielsweise in Python-Programmierung. Und ich muss verstehen, wie die Modelle funktionieren und wie ich Ein- und Ausgaben sicher gestalten kann», sagt dazu Tim Giger.
Auf dieser Stufe kümmert sich ein Unternehmen selbst um den kompletten Lifecycle, vom Training bis zum Betrieb der Modelle und Applikationen. Hierbei kommen meistens spezialisierte Cloud-Services der Hyperscaler zum Zug, wie Amazon Sagemaker oder Azure Machine Learning, kombiniert mit Open-Source-Modellen wie Llama von Meta oder Mixtral von Mistral AI. «Dieser Ansatz verursacht hohen Entwicklungsaufwand und ist sehr spezialisiert in der Anwendung», sagt Tim Giger. «Hier sehen wir aktuell in der Schweiz nur wenige Use Cases.»
ReThink AI-Workshop
Let’s ReThink – Transformation heisst Vertrauen. Auch in AI-Technologien und AI-Methoden. Im ReThink AI-Workshop mit unseren Expert*innen erarbeiten Sie individuelle AI-Use-Cases und entdecken, welches Potenzial in künstlicher Intelligenz für Ihr Unternehmen steckt.
Herausforderungen beim Einsatz generativer KI
Auch wenn vortrainierte LLMs den Einsatz im Vergleich zu klassischer KI vereinfachen, ist die Nutzung kein Selbstläufer. Insbesondere auf der Datenebene lauern einige Herausforderungen. Das sind die wichtigsten Hürden respektive Stolpersteine, die Unternehmen beim Einsatz generativer KI beachten müssen:
- Mangelnde Datenqualität: Ein Chatbot für Kunden, eine Wissensdatenbank für die Mitarbeitenden oder der Copilot-Button in den Microsoft-Anwendungen: Sie alle (und die Benutzer*innen) profitieren von der Verwendung von Unternehmensdaten. Diese müssen zwar nicht strukturiert sein, aber sie sollten korrekt sein. Veraltete oder nicht mehr gültige Daten verfälschen die Ergebnisse der KI-Modelle. «Es ist sinnvoll, vorher Daten und Ordnerstrukturen aufzuräumen», empfiehlt Tim Giger. Damit lässt sich auch verhindern, dass die KI versehentlich Zugriff auf vertrauliche Informationen bekommt.
- Ergebnisse werden ungeprüft übernommen: Halluzinationen eines Chatbots sollten möglichst nicht bis zu den Benutzer*innen gelangen. Bei KI-gestützten Anwendungen sollte die Ausgabe (und sinnvollerweise auch die Eingabe) vorgängig geprüft und gefiltert werden, um unerwünschte Ergebnisse möglichst zu vermeiden. Aber auch Mitarbeitende sollten den Output von Copilot oder ChatGPT kritisch hinterfragen oder prüfen. Dazu empfehlen sich Sensibilisierungsmassnahmen. Ansonsten werden Mitarbeitende eher dazu eignen, das Ergebnis einer KI ungeprüft zu übernehmen.
- AI Governance: Wie hoch die Fehlerquote sein darf oder wie viel an Halluzination noch zuträglich ist, ist auch eine Frage der Governance. Sie regelt die Fehlertoleranz, um Haftungsfragen und mögliche rechtliche Konsequenzen aufgrund von Falschaussagen zu klären. Oder, wie es Tim Giger zusammenfasst: «Wenn die Fehlerquote minim sein muss, ist es vielleicht nicht der passende Anwendungsfall für generative KI.»
- Fehlende Benchmarks und Nachvollziehbarkeit: Es ist nicht möglich, bei generativer KI eine statistische Genauigkeit der Ergebnisse festzulegen respektive zu erzielen wie beispielsweise «80% richtig». Und die Nachvollziehbarkeit einer Ausgabe ist schwierig, weil sie bei gleichem Input variiert. Entsprechend gibt es keine standardisierten Benchmarks für den kommerziellen Einsatz, um die Qualität der Ergebnisse zu messen und ein passendes LLM auszuwählen. Diese Unsicherheit gilt es bei KI-Applikationen einzukalkulieren.
Wo steht der Einsatz von generativer KI heute?
Trotz der rasanten technischen Entwicklung bei den grossen Sprachmodellen lässt sich recht klar sagen, wo die Unternehmen heute stehen. «Der grösste Nutzen ist heute ein Effizienz-Case. Unternehmen nutzen generative KI, um effizienter zu arbeiten», schätzt Tim Giger die Situation ein. Viele Unternehmen befinden sich auf Stufe 1, indem sie KI-Services nutzen oder deren Einführung planen.
Neben den digitalen Arbeitsplätzen profitiert gemäss Kai Duttle im Moment vor allem der Kundendienst von generativer KI: «Hier geht es um Chatbots und Sprache. Das ist der Bereich, in dem generative KI am ausgereiftesten ist und den grössten Nutzen bringt.»
MSM Research: KI in Unternehmen
Künstliche Intelligenz als Game Changer: Erfahren Sie in der aktuellen Studie von MSM Research, wie Schweizer Unternehmen KI nutzen und was Sie beim Einsatz berücksichtigen sollten.
