Generative Text-KIs und Sprachmodelle

Die LSTM-Methode (Long Short-Term Memory) ist eine seit 1995 existierende Software, die dazu dient, bestimmte Muster in Daten zu erkennen. Dadurch ist die Software in der Lage, sich an frühere Informationen zu erinnern und diese bei Bedarf wiederzuverwenden.  

Damit diese Technik funktioniert, verwendet das LSTM ein spezielles neuronales Netzwerk, das sogenannte Recurrent Neural Network (RNN), das mit sich wiederholenden Prozessen arbeitet. Das bedeutet, dass die Software in der Lage ist, Informationen Schritt für Schritt zu verarbeiten.  

Allerdings hat das LSTM auch seine Grenzen. Da es Informationen nacheinander verarbeitet, kann es nicht gut mit grossen Datenmengen umgehen und neigt dazu, weiter entfernte Informationen zu übersehen.

2017 stellte Google das wissenschaftliche Paper «Attention is All You Need»(öffnet ein neues Fenster) vor. Darin legen die Autoren nahe, dass neue Aufmerksamkeitsmechanismen die Qualität und Effizienz der bisherigen Modelle für neuronale Netzwerke deutlich steigern können:  

Das Forschungsteam schlägt eine «einfache Netzwerkarchitektur vor, den Transformer, der ausschliesslich auf Aufmerksamkeitsmechanismen basiert […]»(öffnet ein neues Fenster). Dieser Transformer nutzt neuartige Mechanismen, um den Kontext besser zu verstehen und effizienter zu verarbeiten. Experimentiert wurde mit maschinellen Sprachübersetzungsaufgaben.  

Der Transformer hat die Entwicklung der generativen Text-KI massgeblich vorangetrieben. Da er besser mit langen Abhängigkeiten in Texten umgehen und effizienter trainiert werden kann, eignet er sich hervorragend für Aufgaben wie die Textgenerierung, Chatbots und andere Anwendungen, die natürliche Sprache erzeugen oder verstehen müssen. Kein Wunder also, dass alle bekannten Text-KIs heutzutage auf der Transformer-Architektur aufgebaut sind. 

Die KI lernt nicht nur, die Wahrscheinlichkeit für das nächste richtige Wort zu berechnen, sondern generiert aus diesen berechneten Wahrscheinlichkeiten auch Wörter und zusammenhängende Sätze.

Die Basis der Wahrscheinlichkeiten ist ein Training der KI an Unmengen von Daten, die menschliches Wissen beinhalten.

Transformer bezeichnet die Technik, mit der das neuronale Netzwerk den Kontext und die Zusammenhänge in den Texten verstehen und nutzen kann. 

OpenAI ist mit ChatGPT führend in der Qualität von KI-Textgeneratoren. Das Unternehmen entwickelt sein Textgenerierungsmodell rasant weiter und sorgt so für eine rasche Verbreitung des Einsatzgebietes des KI-Modells. 

Zu ChatGPT: https://chat.openai.com/(öffnet ein neues Fenster)

Google Gemini ist ein generatives KI-Modell von Google AI. Im Google Kosmos verortet, kann Google Gemini mit dem entsprechenden AI Premium-Abo direkt in den Google-Produktivität Apps integriert und angewendet werden.  

Zur Google Gemini: https://gemini.google.com/app(öffnet ein neues Fenster)

Llama von Meta ist ein Open-Source-Textgenerierungsmodell, das insbesondere für Entwickler*innen, Forschende und Unternehmen entwickelt wurde. Die Open-Source-Basis sorgt dafür, dass Meta Llama bei entsprechender Integration auch direkt auf dem eigenen Computer laufen kann.  

Mit Meta AI wird ein intelligenter Assistent für Privatpersonen verfügbar, der auf der neusten Version Llama 3 basiert und komplexe und nuancierte Aufgaben lösen, argumentieren oder Ideen visualisieren kann.  

Über Llama 3: https://llama.meta.com/llama3(öffnet ein neues Fenster)

Zu Meta AI: https://www.meta.ai/(öffnet ein neues Fenster)

Claude ist eine generative künstliche Intelligenz, die von Anthropic mit Constitutional AI trainiert wurde. Claude kann Informationen verarbeiten, Ideen sammeln oder als Antwort Text und Code generieren. 

Zu Claude: https://claude.ai/(öffnet ein neues Fenster)

Das CO-STAR Schema (oder auch: Framework) besteht aus sechs Elementen und hilft Ihnen, klare und effektive Prompts zu erstellen.

 Context (Kontext): Erklären Sie den Rahmen und die Umstände für die Aufgabe. 

Objective (Ziel): Definieren Sie das Ziel, das erreicht werden soll.  

Scope (Umfang): Beschränken Sie den Bereich oder Umfang der Aufgabe. 

Task (Aufgabe): Beschreiben Sie die spezifische Aufgabe, welche die KI für Sie erledigen soll.  

Action (Aktion): Geben Sie an, welche Aktionen durchgeführt werden sollen. 

Result (Ergebnis): Beschreiben Sie das gewünschte Ergebnis.  

Ein Beispiel-Prompt:

«Ich habe wenig Zeit und keine Kocherfahrung. Kannst du mir ein einfaches und schnelles Pasta-Rezept geben? Die Zutaten sollten in jedem Supermarkt erhältlich sein. Erkläre mir die Zubereitung Schritt für Schritt.» 

Das TIDD-EC Schema (oder auch: Framework) besteht ebenfalls aus sechs Elementen und unterstützt Sie damit beim strukturierten Prompten. 

Task Type (Art der Aufgabe): Geben Sie dem Sprachmodell eine klare Vorstellung davon, welche Art von Aufgabe es ausführen soll.  

Instructions (Anweisungen): Beschreiben Sie spezifische Schritte oder Richtlinien, an die das Sprachmodell bei der Ausführung der Aufgabe befolgen soll.  

Do (Ausführen): Welche Aktionen helfen dem Sprachmodell, die Aufgabe auszuführen? 

Don’t (Vermeiden): Welche Elemente soll das Sprachmodell bei der Beantwortung des Prompts vermeiden? 

Examples (Beispiele): Liefern Sie konkrete Beispiele für die gewünschte Art von Ergebnissen oder Antworten. 

Content (Inhalte): Stellen Sie als Nutzer*in bestimmte Daten (Achtung: nur allgemeine, keine persönlichen Daten!) zur Verfügung, mit denen das Sprachmodell arbeiten, die Daten in der Antwort verwenden oder darauf Bezug nehmen kann.  

Ein Beispiel-Prompt:

«Erkläre mir in einfachen Worten die gesundheitlichen Vorteile von grünem Tee. Beziehe dich dabei auf wissenschaftliche Erkenntnisse und aktuelle Forschungsergebnisse. Die Antwort sollte leicht verständlich sein und keine komplizierten Fachbegriffe enthalten. Ein Beispiel wäre: 'Grüner Tee kann helfen, das Immunsystem zu stärken.'»