«Liebe KI, bitte schreib mir meine Bewerbung.»
Swisscom Campus Newsletter
Erhalten Sie neue Inhalte vom Swisscom Campus direkt in Ihre Mailbox, dank dem Swisscom Campus Newsletter.
Generative Text-KIs und Sprachmodelle
Generative Künstliche Intelligenz ist auf dem Vormarsch und findet sich mittlerweile nicht nur im bekannten Chat-Format, sondern auch in zahlreichen Ausprägungen als KI-Assistent, zum Beispiel in Produktivitäts-Apps wieder. Wir fragen: Welche generativen Text-KIs gibt es und wie funktionieren sie? Auf dieser Seite liefern wir Wissenswertes rund um die generative Text-KI, Prompt-Hilfen und klassische bis kreative Anwendungsbeispiele.
Direkt zum Thema
Seite teilen
Thema
Wie funktioniert eine generative KI?
Wir Menschen denken nicht in jedem Moment alles neu, sondern wir lernen und bauen neues Wissen auf früher Gelerntem auf. Unsere Gedanken und Erinnerungen bleiben im Gedächtnis bestehen und bilden so die Grundlage für neue Verknüpfungen.
Auch eine generative KI arbeitet mit solchen Verknüpfungen und muss daher auf ein neuronales Netz zurückgreifen können, in dem Informationen verfügbar bleiben. Doch wie entsteht ein solches künstliches Gedächtnis und wie kann die KI daraus Antworten generieren?
1995: LSTM-Methode
Die LSTM-Methode (Long Short-Term Memory) ist eine seit 1995 existierende Software, die dazu dient, bestimmte Muster in Daten zu erkennen. Dadurch ist die Software in der Lage, sich an frühere Informationen zu erinnern und diese bei Bedarf wiederzuverwenden.
Damit diese Technik funktioniert, verwendet das LSTM ein spezielles neuronales Netzwerk, das sogenannte Recurrent Neural Network (RNN), das mit sich wiederholenden Prozessen arbeitet. Das bedeutet, dass die Software in der Lage ist, Informationen Schritt für Schritt zu verarbeiten.
Allerdings hat das LSTM auch seine Grenzen. Da es Informationen nacheinander verarbeitet, kann es nicht gut mit grossen Datenmengen umgehen und neigt dazu, weiter entfernte Informationen zu übersehen.
2017: Transformer
2017 stellte Google das wissenschaftliche Paper «Attention is All You Need»(öffnet ein neues Fenster) vor. Darin legen die Autoren nahe, dass neue Aufmerksamkeitsmechanismen die Qualität und Effizienz der bisherigen Modelle für neuronale Netzwerke deutlich steigern können:
Das Forschungsteam schlägt eine «einfache Netzwerkarchitektur vor, den Transformer, der ausschliesslich auf Aufmerksamkeitsmechanismen basiert […]»(öffnet ein neues Fenster). Dieser Transformer nutzt neuartige Mechanismen, um den Kontext besser zu verstehen und effizienter zu verarbeiten. Experimentiert wurde mit maschinellen Sprachübersetzungsaufgaben.
Der Transformer hat die Entwicklung der generativen Text-KI massgeblich vorangetrieben. Da er besser mit langen Abhängigkeiten in Texten umgehen und effizienter trainiert werden kann, eignet er sich hervorragend für Aufgaben wie die Textgenerierung, Chatbots und andere Anwendungen, die natürliche Sprache erzeugen oder verstehen müssen. Kein Wunder also, dass alle bekannten Text-KIs heutzutage auf der Transformer-Architektur aufgebaut sind.
Thema
Warum funktionieren
Transformer-Modelle so gut?
Um diese Frage zu beantworten, schauen wir uns am besten den Namen des bekanntesten Transformer-Modells von OpenAI, ChatGPT, genauer an.
Denn in diesem verbirgt sich das Erfolgsrezept des weit verbreiteten Sprachmodells:
G für generativ
Die KI lernt nicht nur, die Wahrscheinlichkeit für das nächste richtige Wort zu berechnen, sondern generiert aus diesen berechneten Wahrscheinlichkeiten auch Wörter und zusammenhängende Sätze.
P für pre-trained
Die KI lernt nicht nur, die Wahrscheinlichkeit für das nächste richtige Wort zu berechnen, sondern generiert aus diesen berechneten Wahrscheinlichkeiten auch Wörter und zusammenhängende Sätze.
T für Transformer
Transformer bezeichnet die Technik, mit der das neuronale Netzwerk den Kontext und die Zusammenhänge in den Texten verstehen und nutzen kann.
In der Summe bedeutet dies, dass generative Text-KIs immer eine Kombination aus Modell und der gesammelten Daten aus dem Training sind, durch deren Kombination die KI befähigt wird, rein durch die Vorhersage des nächsten Wortes bzw. Tokens inhaltlich korrekt auf Fragen zu antworten.
Thema
Welches sind die besten
KI-Textgeneratoren?
Die Anbieter von generativer Text-KI vermehren sich seit einigen Monaten nahezu explosionsartig. Zu den bekanntesten gehören ChatGPT, Google Gemini, Meta Llama oder Claude.
ChatGPT von OpenAI
OpenAI ist mit ChatGPT führend in der Qualität von KI-Textgeneratoren. Das Unternehmen entwickelt sein Textgenerierungsmodell rasant weiter und sorgt so für eine rasche Verbreitung des Einsatzgebietes des KI-Modells.
| Version | Einsatz seit | Modalitäten | Hauptfunktionen |
|---|---|---|---|
| GPT-4o | Mai 2024 |
|
|
| GPT-4 | März 2023 |
|
|
| GPT-3.5 | November 2022 |
|
|
Das Modell ist zunehmend auch als Erweiterung für andere Software verfügbar, zum Beispiel als GPT-Assistent für bestimmte Themen.
| ChatGPT | Kostenlos | GPT-4o und GPT-3.5 |
| ChatGPT Plus | $20 / Monat | GPT-4o, GPT-4 und GPT-3.5 |
Gemini von Google
Google Gemini ist ein generatives KI-Modell von Google AI. Im Google Kosmos verortet, kann Google Gemini mit dem entsprechenden AI Premium-Abo direkt in den Google-Produktivität Apps integriert und angewendet werden.
| Version | Trainingsdaten bis | Modalitäten | Hauptfunktionen |
|---|---|---|---|
| Gemini 1.5 Pro | Mai 2024 |
|
|
| Gemini (1.0) Pro | Februar 2023 |
|
|
| Gemini (1.0) Ultra | Dezember 2023 |
|
|
| Gemini Pro | Kostenlos | Gemini 1.0 Pro |
| Gemini Advanced (AI Premium) | CHF 17/Monat | Gemini 1.5 Pro |
Zur Google Gemini: https://gemini.google.com/app(öffnet ein neues Fenster)
Meta Llama von Meta
Llama von Meta ist ein Open-Source-Textgenerierungsmodell, das insbesondere für Entwickler*innen, Forschende und Unternehmen entwickelt wurde. Die Open-Source-Basis sorgt dafür, dass Meta Llama bei entsprechender Integration auch direkt auf dem eigenen Computer laufen kann.
Mit Meta AI wird ein intelligenter Assistent für Privatpersonen verfügbar, der auf der neusten Version Llama 3 basiert und komplexe und nuancierte Aufgaben lösen, argumentieren oder Ideen visualisieren kann.
| Version | Einsatz seit | Modalitäten | Hauptfunktionen |
|---|---|---|---|
| Meta AI | vorerst nur in den USA verfügbar |
|
|
| Meta Llama 3 | April 2024 |
|
|
| Meta Llama 2 | Juli 2023 |
|
|
Über Llama 3: https://llama.meta.com/llama3(öffnet ein neues Fenster)
Zu Meta AI: https://www.meta.ai/(öffnet ein neues Fenster)
Claude von Anthropic
Claude ist eine generative künstliche Intelligenz, die von Anthropic mit Constitutional AI trainiert wurde. Claude kann Informationen verarbeiten, Ideen sammeln oder als Antwort Text und Code generieren.
| Version | Einsatz seit | Modalitäten | Hauptfunktionen |
|---|---|---|---|
| Claude 3 Opus | März 2024 |
|
|
| Claude 3 Sonnet | März 2024 |
|
|
| Claude 3 Haiku | März 2024 |
|
|
| Claude Free | Kostenlos | Claude 3 Sonnet |
| Claude Pro | $20/Monat | Claude 3 Opus |
Zu Claude: https://claude.ai/(öffnet ein neues Fenster)
Thema
Wie kann ich besser prompten?
Obwohl Sprachmodelle darauf ausgelegt und sehr gut darin sind, die natürliche Sprache zu verstehen und entsprechend zu reagieren, hilft eine klare Struktur und Sprache beim Prompten, um treffende Antworten von der KI zu erhalten.
Jede generative KI arbeitet etwas anders, aber dieses Prompt-Schema hilft als Prinzip bei allen:
Rolle
Wer erklärt / schreibt / formuliert? Definieren Sie eine Persona für die KI, zum Beispiel: eine Lehrerin, ein Astrophysik-Dozent, eine Mutter usw.
Erklärungsstil
An wen richtet sich der Text? Nennen Sie die gewünschte Flughöhe der Antwort, zum Beispiel: Erkläre wie einem kleinen Kind, einer Fachperson usw.
Information
Was genau möchten Sie wissen? Definieren Sie klar, welche Informationen Sie erhalten möchten, zum Beispiel: wie ein schwarzes Loch entsteht.
Zielformat
In welcher (Text-)Form soll die Antwort generiert werden? Geben Sie das gewünschte Zielformat und allfällige Gestaltungs- und Strukturierungswünsche an, zum Beispiel: in der Form eines Artikels mit Zwischentiteln.
Schritt-für-Schritt
Bei komplexen Aufgaben mit mehreren Teilfragen hilft es, diese der KI einzeln in Auftrag zu geben. Ansonsten besteht die Gefahr, dass bestimmte Details von der KI nicht berücksichtigt. Am besten starten Sie den Chat also mit einer einfachen Basis und bauen mit fortlaufenden Aufforderungen und Fragen darauf auf.
Beispiele
Verwenden Sie Beispiele, um der KI verständlich zu machen, was Sie in welcher Form wünschen. Haben Sie vielleicht einen Text, dessen Struktur oder Tonfall Ihren Vorstellungen entspricht? Nutzen Sie diesen als Referenz, um den Prompt weniger aufwändig schreiben zu müssen. Auf diese Weise erreichen Sie viel leichter und effektiver hochqualitative Ergebnisse.
Ein Beispiel-Prompt:
«Du bist ein Astrophysik-Dozent. Erkläre mir wie einem kleinen Kind, wie ein schwarzes Loch entsteht. Schreibe die Antwort in der Form eines Artikels mit Zwischentiteln. Nutze den nachfolgenden Text als Beispiel für den Schreibstil.»
Sprachmodelle und der Datenschutz
Bei der Verwendung von generativer Künstlicher Intelligenz ist es wichtig, sich bewusst zu machen, dass keine unnötigen persönlichen Daten zur Verfügung gestellt werden sollten. Beachten Sie dazu folgendes:
- Datenspeicherung auf den Servern des Modells: Die Daten, die der KI in Form eines Prompts zur Verfügung gestellt werden, werden auf den Servern des Modells verarbeitet und gespeichert. Das bedeutet, dass diese Daten auch für das weitere Training der KI-Modelle genutzt werden können.
- Persönliche Informationen vermeiden: Um zu verhindern, dass Ihre persönlichen Informationen ins KI-Training einfliessen und auf diese Weise verbreitet werden, empfiehlt es sich, Anfragen komplett ohne persönliche Informationen zu stellen oder diese vor dem Absenden zu zensieren.
- Opt-Out für das Training aktivieren: Damit Ihre Daten vom Unternehmen für das Training der KI nicht verwendet werden dürfen, können Sie in den jeweiligen Datenschutzeinstellungen ein entsprechendes Opt-Out aktivieren: ChatGPT(öffnet ein neues Fenster), Google Gemini(öffnet ein neues Fenster), Meta Llama(öffnet ein neues Fenster) und Claude(öffnet ein neues Fenster).
Thema
Prompt-Schemata: CO-STAR und TIDD-EC
Wie zentral ein zielführendes Prompten beim Einsatz von generativer Künstlicher Intelligenz ist, belegen die zahlreichen Anleitungen und Tipps im Netz, die noch relevantere Antworten der generativen KI versprechen.
CO-STAR und TIDD-EC sind zwei solcher Prompt-Schemata, die Ihnen bei der Erstellung eines effektiven Prompts helfen können. Die Namen dieser Schemata setzen sich aus den englischen Anfangsbuchstaben der Bestandteile zusammen:
CO-STAR
Das CO-STAR Schema (oder auch: Framework) besteht aus sechs Elementen und hilft Ihnen, klare und effektive Prompts zu erstellen.
Context (Kontext): Erklären Sie den Rahmen und die Umstände für die Aufgabe.
Objective (Ziel): Definieren Sie das Ziel, das erreicht werden soll.
Scope (Umfang): Beschränken Sie den Bereich oder Umfang der Aufgabe.
Task (Aufgabe): Beschreiben Sie die spezifische Aufgabe, welche die KI für Sie erledigen soll.
Action (Aktion): Geben Sie an, welche Aktionen durchgeführt werden sollen.
Result (Ergebnis): Beschreiben Sie das gewünschte Ergebnis.
Ein Beispiel-Prompt:
«Ich habe wenig Zeit und keine Kocherfahrung. Kannst du mir ein einfaches und schnelles Pasta-Rezept geben? Die Zutaten sollten in jedem Supermarkt erhältlich sein. Erkläre mir die Zubereitung Schritt für Schritt.»
TIDD-EC
Das TIDD-EC Schema (oder auch: Framework) besteht ebenfalls aus sechs Elementen und unterstützt Sie damit beim strukturierten Prompten.
Task Type (Art der Aufgabe): Geben Sie dem Sprachmodell eine klare Vorstellung davon, welche Art von Aufgabe es ausführen soll.
Instructions (Anweisungen): Beschreiben Sie spezifische Schritte oder Richtlinien, an die das Sprachmodell bei der Ausführung der Aufgabe befolgen soll.
Do (Ausführen): Welche Aktionen helfen dem Sprachmodell, die Aufgabe auszuführen?
Don’t (Vermeiden): Welche Elemente soll das Sprachmodell bei der Beantwortung des Prompts vermeiden?
Examples (Beispiele): Liefern Sie konkrete Beispiele für die gewünschte Art von Ergebnissen oder Antworten.
Content (Inhalte): Stellen Sie als Nutzer*in bestimmte Daten (Achtung: nur allgemeine, keine persönlichen Daten!) zur Verfügung, mit denen das Sprachmodell arbeiten, die Daten in der Antwort verwenden oder darauf Bezug nehmen kann.
Ein Beispiel-Prompt:
«Erkläre mir in einfachen Worten die gesundheitlichen Vorteile von grünem Tee. Beziehe dich dabei auf wissenschaftliche Erkenntnisse und aktuelle Forschungsergebnisse. Die Antwort sollte leicht verständlich sein und keine komplizierten Fachbegriffe enthalten. Ein Beispiel wäre: 'Grüner Tee kann helfen, das Immunsystem zu stärken.'»
Thema
Anwendungsbeispiele für generative Text-KI
Das Anwendungsfeld der generativen Text-KI ist immens. Seit die generative Künstliche Intelligenz (auch in Form von KI-Assistenten) der breiten Öffentlichkeit zur Verfügung steht, ist dieses Anwendungsfeld zusätzlich gewachsen.
Zwei solcher Anwendungsbeispiele – von klassisch bis kreativ – finden Sie hier:
Schreibassistent: Bewerbung schreiben
Nutzen Sie den Kontext Ihres Lebenslaufs und der ausgewählten Stellenanzeige, um einen ersten Entwurf Ihrer Bewerbung generieren zu lassen, den Sie anschliessend auch manuell weiter bearbeiten können.
Beispiel-Prompt
«Bitte schreibe mir auf der Basis meines Lebenslaufs einen Bewerbungsentwurf auf die angehängte Stellenausschreibung.»
Ausschreibung:
- Stellenanzeige: Architekt*in 80–100%
- Unternehmen: Architekturbüro Muster
- Standort: Bern
- Aufgaben: Entwurf und Planung von Gebäuden, Innenräumen und Landschaften, Erstellung von Bauplänen und technischen Zeichnungen, Zusammenarbeit mit Bauingenieur*innen, Kund*innen und anderen Fachleuten, Überwachung der Bauprojekte von der Konzeption bis zur Fertigstellung.
- Anforderungen: Abgeschlossenes Architekturstudium FH oder ETH, Erfahrung in der Entwurfs- und Planungsphase, Kenntnisse in CAD Software (z. B. AutoCAD, ArchiCAD), Teamfähigkeit und Kommunikationsstärke.
- Wir bieten: spannende Projekte in einem kreativen Umfeld, Weiterbildungsmöglichkeiten, attraktive Arbeitsbedingungen und flexible Arbeitszeiten.
Lebenslauf:
- Berufserfahrung: Über 5 Jahre Erfahrung in der Planung von Wohn- und Gewerbeimmobilien.
- Spezialisierung: Nachhaltiges Design und innovative Lösungen.
- Softwarekenntnisse: AutoCAD, SketchUp und Adobe Creative Suite.
- Frühere Position: Mitarbeit an städtebaulichen Projekten in der Architekturwerkstatt Basel.
- Bildung: Master of Architecture»
Achtung: Versuchen Sie aus Datenschutzgründen, der KI keine persönlichen Daten zur Verfügung zu stellen, auch wenn diese sich auf Ihren persönlichen Lebenslauf beziehen.
Kreativ-Engine: Textbasierte Games spielen
Gerade beim Schreiben von Fiktion sind generative Text-KIs sehr gut. Hier eine Idee, wie Sie diese Kreativität für ein Text-Adventure Spiel wie in den 80er Jahren verwenden können, um in der Programmierung ein Spiel ohne Grenzen zu spielen.
Beispiel-Prompt
«Du bist eine KI-Spielmaschine. Simuliere ein Spiel namens „AI-dventures“, ein textbasiertes Spiel, bei dem der Spieler an einem Schauplatz seiner Wahl ein Ziel mit Hilfe seiner Kreativität erreichen muss. Nutze spannende Formatierungen während des Spielverlaufs und eine lebendige Sprache, um das Spiel unterhaltsam zu machen. Starte das Spiel... Jetzt!»
Mathematik – Die Schwäche von Sprachmodellen
Auch die generative Künstliche Intelligenz hat ihre Schwächen. Die Stärke der Sprachmodelle liegt – wie der Name es schon sagt – bei der Sprachverarbeitung. Da die Mechanismen der Zahlenwelt aber nicht analog zur Sprache funktionieren, tun sich die meisten Sprachmodelle schwer, konsistent richtige Antworten auf mathematische Aufgaben zu generieren.
ChatGPT-4 beispielsweise kommt dem Resultat zwar oft sehr nahe, trifft es aber nie genau. Mit ChatGPT-4o hat OpenAI nun eine Lösung für dieses Problem gefunden: Das Sprachmodell formuliert die Mathematikaufgabe in Code um, lässt diesen in einer Programmierungsumgebung ablaufen und gibt das so generierte Ergebnis als Antwort auf die Frage aus.
Thema
Was sind die Chancen und
Risiken von generativer Text-KI?
Generative Künstliche Intelligenz bietet ein grosses Potenzial für die Menschheit, beispielsweise in der Automatisierung, ist aber auch mit gewissen Risiken verbunden.
Chancen
Kreativität
Neue Ideen können mit generativer KI rasch entworfen werden. Dies bietet ein grosses Potenzial für private Projekte.
Automatisierung
Sprachmodelle bieten uns im Alltag ein grosses Potenzial, um alltägliche Aufgaben einfacher zu erledigen bzw. ausführen zu lassen. Aufgaben, deren Ausführung für uns keinen Mehrwert hat, können wir (wo vorhanden) einer KI überlassen.
Risiken
Vorurteile
Da das Wissen einer KI immer durch die Datenbasis begrenzt ist, mit der sie trainiert wurde, ist es nahezu unmöglich, eine KI zu schaffen, die völlig frei von Wertvorstellungen oder Vorurteilen ist.
Fake News
Wenn eine KI keine wahrscheinliche Antwort auf eine bestimmte Frage weiss, kann es vorkommen, dass sie einfach eine Antwort erfindet. Werden solche halluzinierte Ergebnisse dann geteilt, wird die Fehlinformation unbewusst verstärkt und die Vermischung von Wahrheit und erfundenen Ergebnissen erschwert eine objektive Faktenlage.
Gefährdung des Lernprozesses
Bei der Erstellung neuer Inhalte wird gerne auf die Hilfe von Sprachmodellen zurückgegriffen. Dies ist grundsätzlich nicht verkehrt, jedoch führen «One-Click-Lösungen» und eine grosse Menge an Ideen nicht zwingend zu einem qualitativ hochwertigen Output, sondern vielmehr zu Standardideen. Die Fähigkeit, mit Ideen zu interagieren und diese (weiter) zu entwickeln, bleibt daher auch oder gerade bei der Arbeit mit generativer KI besonders wichtig.
Thema
Ausblick: Potenzial für «KI-Agenten»
In welche Richtung wird sich die generative Künstliche Intelligenz in Zukunft entwickeln? Ein Grossteil der Tech-Welt sieht in den sogenannten «Large Action Models» oder auch «KI-Agenten» die Zukunft der Sprachmodelle. Doch was bedeutet das?
Large Action Models (LAM) sollen künftig die Schnittstelle zwischen Künstlicher Intelligenz und Mensch darstellen. Über Text-, Sprach- oder andere Eingabe wird der KI das Ziel vorgegeben. Um an dieses Ziel zu gelangen, unterteilt das LAM den nötigen Prozess in Teilaufgaben und lässt diese von autonomen Agenten – den KI-Assistenten – ausführen. Diese spielen dann die Ergebnisse zurück ans zentrale LAM.
Ein Beispiel, wie dies aussehen könnte:
Nutzer*in promptet:
«Plane mir heute ein Abendessen mit meinem besten Freund Daniel.»
LAM teilt die Aufgabe in Teilaufgaben auf:
1. Im Kalender von Nutzer*in (und Daniel) überprüfen, (ab) wann beide verfügbar sind.
2. Wo befinden sich der/die Nutzer*in und Daniel aktuell?
3. Wie ist das Wetter vor Ort?
4. Welche Restaurants sind in der Nähe?
5. Was steht auf der Speisekarte?
6. Ist eine Reservation via Formular auf der Webseite des Restaurants möglich?
All diese Teilaufgaben werden von KI-Assistenten beantwortet. Sobald alle Teilaufgaben beantwortet sind, erhält das LAM entsprechendes Feedback und informiert den Nutzer, bzw. die Nutzerin.
LAM antwortet:
«Gerne! Da es heute regnet, habe ich dir das Restaurant L'interno in Olten herausgesucht, welches italienische Küche mit vegetarischen und veganen Optionen anbietet. Soll ich es euch auf 19:00 Uhr reservieren?»
Wie Sie sehen, werden die Fähigkeiten von Sprachmodellen in Zukunft höchstwahrscheinlich über die reine Textgenerierung hinausgehen. Dementsprechend wird vermutlich auch das Format «Webseiten-Chat» wieder verschwinden und stattdessen ein KI-Assistent geräteübergreifend im Alltag begleiten und unterstützen.
Weitere interessante Themen
Marcel fragen
Marcel ist Trainer bei Swisscom. Er steht Ihnen bei allen Fragen rund um das Thema KI zur Verfügung.
Marcel
Trainer bei Swisscom