faster-whisper — Whisper 2-4x Plus Rapide via CTranslate2

faster-whisper est une réimplémentation Python d'OpenAI Whisper construite sur CTranslate2, une bibliothèque d'inférence optimisée pour les modèles Transformer. Créée par Guillaume Klein (auteur d'OpenNMT) chez SYSTRAN sous licence MIT. Elle exécute les mêmes poids Whisper que la référence PyTorch mais 2-4x plus rapidement sur GPU CUDA, tout en utilisant 30-50% moins de VRAM grâce à la quantification INT8/FP16. Même précision qu'OpenAI Whisper de référence, débit largement supérieur en production.

Même modèle, moteur d'inférence différent. OpenAI Whisper de référence utilise PyTorch — flexible mais pas optimisé pour l'inférence en production. faster-whisper utilise CTranslate2, un moteur C++ compilé qui applique quantification INT8/FP16, batching optimisé et mémoire réduite. Résultat : 2-4x plus rapide sur le même GPU, 30-50% moins de VRAM. Précision identique (les poids sont les mêmes, seule la mathématique d'exécution est optimisée). Contrepartie : nécessite toujours Python et un GPU CUDA — pas de portage CPU-only comme whisper.cpp.

Installation Python en une commande : pip install faster-whisper. Prérequis : Python 3.8+, PyTorch avec CUDA (pour usage GPU) ou build CPU (nettement plus lent). Exemple minimum : from faster_whisper import WhisperModel; model = WhisperModel('large-v3', device='cuda', compute_type='float16'); segments, info = model.transcribe('audio.wav'); for seg in segments: print(seg.text). Temps typique d'installation-à-fonctionnel : 3-10 minutes selon votre setup CUDA existant.

Benchmarks vs Whisper PyTorch sur GPU (source : dépôt faster-whisper GitHub et benchmarks communautaires 2024-2025). Sur NVIDIA T4 avec large-v3, transcription 60 min : Whisper référence ~5-7 min, faster-whisper FP16 ~2-3 min (2-3x plus rapide), faster-whisper INT8 ~1,5-2 min (3-4x). VRAM : Whisper référence ~10 Go, faster-whisper FP16 ~6 Go, faster-whisper INT8 ~3 Go. Sur GPU plus puissants (A100, H100), les gains restent 2-3x. Les gains sont significativement plus importants sur les GPU avec Tensor Cores (T4, A100, H100).

Trois modes principaux via compute_type. (1) float16 (FP16) — précision identique à Whisper de référence, 30-50% moins de VRAM que FP32, recommandé par défaut sur GPU récents. (2) int8_float16 — quantification hybride : poids en INT8, activations en FP16. ~50% moins de VRAM que FP16, moins de 1% de perte WER. Excellent compromis. (3) int8 pur — quantification agressive INT8 partout. VRAM minimum, 1-3% de perte WER. Utile sur GPU limités (T4 16 Go) pour large-v3, ou sur CPU. Recommandation : float16 sur GPU récent (RTX 4090, A100), int8_float16 sur GPU plus modeste.

Pas nativement. Comme whisper.cpp et le Whisper de référence, faster-whisper gère uniquement la transcription. Pour l'étiquetage des locuteurs, deux options. (1) WhisperX — enveloppe qui combine faster-whisper (transcription rapide) + pyannote.audio (diarisation) + alignement forcé au mot près. C'est le pattern le plus populaire en production. (2) Faites-le vous-même : exécutez faster-whisper pour le transcript, pyannote 3.1 séparément pour la diarisation, fusionnez par timestamps. VexaScribe utilise cette approche (faster-whisper + pyannote) en service hébergé.

Dépend de votre infrastructure. Utilisez faster-whisper quand vous avez un serveur avec GPU CUDA et voulez le débit maximum en production (traitement batch, service SaaS, pipeline d'entreprise). Utilisez whisper.cpp quand vous voulez tourner sur CPU / Apple Silicon / mobile / edge sans dépendance Python ni CUDA. Chiffres approximatifs : faster-whisper sur A100 traite 60 min en ~1-2 minutes ; whisper.cpp sur Apple M2 Pro traite les mêmes 60 min en ~8-12 minutes. Le choix dépend uniquement du contexte de déploiement — les deux préservent la précision Whisper.

Oui mais c'est significativement plus lent. faster-whisper supporte le mode CPU via device='cpu' et bénéficie de l'optimisation CTranslate2 (INT8 sur AVX2/AVX512), mais reste plusieurs fois plus lent que sur GPU. Ordre de grandeur : sur CPU x86 moderne (Ryzen 9, Xeon), large-v3 INT8 traite 60 min en 25-45 minutes. Pour usage CPU sérieux, whisper.cpp est généralement le meilleur choix car conçu spécifiquement pour ce contexte, avec support Apple Silicon (Metal + CoreML) natif que faster-whisper n'a pas.