Programme LLM & Transformers

1

ML, Deep Learning & NLP — Introduction

Poser les bases

Rappels Machine Learning & Deep Learning (intuitif)
Introduction au NLP : tâches et corpus
Tokenisation, vocabulaire, représentations de mots

TP Colab : pipeline de classification binaire (prétraitement + modèle baseline)

2

Architecture des Transformers

Self-attention & Encoder / Decoder

Encoder vs Decoder (BERT vs GPT) — principes
Self-attention et multi-head attention
Positional encodings et Feed-forward layers

TP Colab : visualiser l'attention sur une phrase et analyser les embeddings

3

BERT et ses variantes

Modèles encodeurs pour la compréhension

Fonctionnement de BERT et variantes (RoBERTa, DistilBERT)
Cas d'usage : QA, NER, classification de texte
HuggingFace Transformers : charger et inférer un modèle

TP Colab : fine-usage d'un modèle BERT pour QA / NER

4

GPT & Génération de texte — Partie 1

Architecture autoregressive & prompting

Architecture autoregressive (GPT) et paramètres de génération
Température, top-k, top-p — contrôle de la génération
Design de prompts et bonnes pratiques

TP Colab : tests de prompts pour génération (rédaction, paraphrase, traduction)

5

GPT & Génération de texte — Partie 2

Sampling, Beam Search & comparaison LLM

Tokens, sampling, beam search — contrôle avancé
Comparaison GPT vs LLaMA vs Mistral vs Phi
Choisir le bon modèle selon son cas d'usage

TP Colab : génération guidée et évaluation d'un output

6

Embeddings & Recherche sémantique

Représenter le sens des textes

Principe des embeddings et mesures de similarité (cosine)
Sentence Transformers et modèles d'embedding
Indexation et recherche sémantique sur corpus

TP Colab : construire un index d'embeddings et faire des requêtes sémantiques

7

RAG (Retrieval-Augmented Generation) — Partie 1

Augmenter les LLM avec vos données

Concept RAG : pipeline retrieval → augmentation → génération
Embeddings, base de données vectorielle, prompt assembly
Chunking des documents et qualité des chunks

TP Colab : implémenter un mini-RAG basique (index local + génération)

8

RAG (Retrieval-Augmented Generation) — Partie 2

Optimisation & évaluation du pipeline

Stratégies de chunking et stockage des passages
Optimisation du pipeline retrieval
Évaluation et mesure de la qualité des réponses

TP Colab : améliorer un mini-RAG et mesurer la qualité

9

Cas d'étude avancés & Bonnes pratiques

Architectures, éthique et mise en production

Choix d'architecture selon le besoin (QA, résumé, assistants)
Éthique, biais et confidentialité des données
Coût de calcul et optimisation (quantization, LoRA)

TP Colab : analyser un cas réel et proposer une architecture LLM

10

🎓 Projet final — Présentation & Remise des certificats

La grande finale !

Projet individuel : chatbot RAG, moteur de recherche sémantique ou assistant Q&A
Pipeline attendu : données → embeddings → index → prompts → démo Colab
Présentation live, feedback formateur & évaluation
Remise des attestations de réussite

Large Language Models

Les 10 Sessions en détail

Ce que vous obtiendrez