IA textuelles génératives et modèles linguistiques

La méthode LSTM (Long Short-Term Memory) est un logiciel qui existe depuis 1995 et qui sert à reconnaître certains modèles dans les données. Le logiciel est ainsi capable de se souvenir d'informations antérieures et de les réutiliser en cas de besoin.  

Pour que cette technique fonctionne, le LSTM utilise un réseau neuronal spécial, appelé Recurrent Neural Network (RNN), qui fonctionne avec des processus répétitifs. Cela signifie qu'il est capable de traiter les informations étape par étape.  

Toutefois, le LSTM a aussi ses limites. Comme il traite les informations les unes après les autres, il ne gère pas bien les grandes quantités de données et a tendance à négliger des informations plus éloignées.  

En 2017, Google a présenté le document scientifique "Attention is All You Need"(ouvre une nouvelle fenêtre). Dans ce document, les auteurs suggèrent que de nouveaux mécanismes d'attention peuvent améliorer considérablement la qualité et l'efficacité des modèles actuels de réseaux neuronaux:  

L'équipe de recherche propose une "architecture de réseau simple, le Transformer, basée exclusivement sur des mécanismes attentionnels [...]"(ouvre une nouvelle fenêtre). Ce transformateur utilise des mécanismes inédits pour mieux comprendre le contexte et le traiter plus efficacement. L'expérimentation a porté sur des tâches de traduction automatique de la langue.  

Le Transformer a largement contribué au développement de l'IA textuelle générative. Comme il gère mieux les longues dépendances dans les textes et qu'il peut être entraîné plus efficacement, il convient parfaitement aux tâches telles que la génération de texte, les chatbots et autres applications qui doivent générer ou comprendre le langage naturel. Il n'est donc pas étonnant que toutes les IA textuelles connues soient aujourd'hui construites sur l'architecture Transformer. 

l'IA n'apprend pas seulement à calculer la probabilité du prochain mot correct, mais génère également des mots et des phrases cohérentes à partir de ces probabilités calculées.

Pour pouvoir calculer ces probabilités, l'IA a été entraînée avec une grande quantité de données de connaissances humaines. 

Transformer désigne la technique par laquelle le réseau neuronal peut comprendre et utiliser le contexte et les relations dans les textes. 

Avec ChatGPT, OpenAI est à la pointe de la qualité des générateurs de texte d'IA. L'entreprise développe rapidement son modèle de génération de texte et assure ainsi une diffusion rapide du champ d'application du modèle d'IA. 

Pour ChatGPT: https://chat.openai.com/(ouvre une nouvelle fenêtre)

Google Gemini est un modèle d'IA génératif de Google AI. Situé dans le cosmos de Google, Google Gemini peut être intégré et appliqué directement dans les applications de productivité Google avec l'abonnement Premium AI correspondant.  

Vers le Google Gemini: https://gemini.google.com/app(ouvre une nouvelle fenêtre)

Llama de Meta est un modèle de génération de texte open source, conçu en particulier pour les développeurs*, les chercheurs et les entreprises. La base open source permet à Meta Llama de fonctionner directement sur son propre ordinateur, moyennant une intégration appropriée.  

Avec Meta AI, un assistant intelligent est disponible pour les particuliers, basé sur la dernière version de Llama 3 et capable de résoudre des tâches complexes et nuancées, de raisonner ou de visualiser des idées.  

A propos de Llama 3: https://llama.meta.com/llama3(ouvre une nouvelle fenêtre)

Vers Meta AI: https://www.meta.ai/(ouvre une nouvelle fenêtre)

Claude est une intelligence artificielle générative qui a été entraînée par Anthropic avec Constitutional AI. Claude peut traiter des informations, collecter des idées ou générer du texte et du code en réponse. 

Pour Claude: https://claude.ai/(ouvre une nouvelle fenêtre)

CO-STAR: Le schéma CO-STAR (ou: framework) se compose de six éléments et vous aide à créer des messages-guides clairs et efficaces. 

Context (Contexte): Expliquez le cadre et les circonstances de la tâche.

Objective (But): Définissez l'objectif à atteindre.  

Scope (Portée): Limitez le domaine ou la portée de la tâche.

Task (Tâche): Décrivez la tâche spécifique que l'IA doit effectuer pour vous. 

 Action (Action): Indiquez les actions à effectuer.

Result (Résultat): Décrivez le résultat souhaité.

Un exemple de prompteur:

"J'ai peu de temps et je n'ai pas d'expérience en cuisine. Peux-tu me donner une recette de pâtes simple et rapide? Les ingrédients devraient être disponibles dans n'importe quel supermarché. Explique-moi la préparation étape par étape".

Le schéma TIDD-EC (ou: framework) se compose également de six éléments et vous aide ainsi à faire des invitations structurées. 

Task Type (type de tâche): Donnez au modèle linguistique une idée claire du type de tâche qu'il doit effectuer.  

Instructions (Instructions): Décrivez des étapes ou des directives spécifiques que le modèle linguistique doit suivre pour exécuter la tâche.  

Do (Exécuter): Quelles sont les actions qui aideront le modèle linguistique à réaliser la tâche ?

Don't (Éviter): Quels sont les éléments que le modèle linguistique doit éviter lorsqu'il répond à l'invite ?

Examples (Exemples): Fournissez des exemples concrets du type de résultats ou de réponses souhaités.

Content (Contenu): En tant qu'utilisateur*, fournissez certaines données (attention: uniquement des données générales, pas de données personnelles !) avec lesquelles le modèle linguistique peut travailler, utiliser les données dans la réponse ou y faire référence.

Un exemple de prompteur:

"Explique-moi en termes simples les avantages du thé vert pour la santé. Référez-vous aux connaissances scientifiques et aux résultats actuels de la recherche. La réponse doit être facile à comprendre et ne doit pas contenir de termes techniques compliqués. Un exemple serait: 'Le thé vert peut aider à renforcer le système immunitaire'".