Le concurrent de l'IA étonnamment abordable (mais massivement financé)
Deepseek, une startup de l'IA chinoise, a fait des vagues avec son nouveau chatbot, offrant des capacités impressionnantes à un coût prétendument bas. L'introduction du chatbot: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre", reflète son ambition. Son impact est déjà évident, contribuant à une baisse significative du cours des actions de Nvidia.
Image: esigame.com
Le succès de Deepseek V3 provient de ses méthodes d'architecture et de formation innovantes, en incorporant:
- Prédiction multi-token (MTP): prédit plusieurs mots simultanément, augmentant la précision et l'efficacité.
- Mélange d'experts (MOE): utilise 256 réseaux de neurones, activant huit pour chaque jeton, accélérant la formation et améliorant les performances.
- Attention latente multi-tête (MLA): se concentre à plusieurs reprises sur les parties clés de la phrase, minimisant la perte d'informations et améliorant la compréhension nuancée.
Deepseek a initialement réclamé un coût de formation de seulement 6 millions de dollars en utilisant 2048 GPU. Cependant, la semianalyse a révélé une infrastructure beaucoup plus grande: environ 50 000 GPU Nvidia Hopper (y compris les unités H800, H100 et H20) se sont répandus sur plusieurs centres de données, totalisant environ 1,6 milliard de dollars d'investissement serveur et 944 millions de dollars en dépenses opérationnelles.
Image: esigame.com
Filiale du hedge fund de haut vol, Deepseek possède ses centres de données, contrairement aux concurrents de Cloud, favorisant l'innovation et l'optimisation plus rapides. Sa nature autofinancée contribue à l'agilité et à la prise de décision rapide. La société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.
Image: esigame.com
Le chiffre de 6 millions de dollars, ne représentant que les coûts de GPU avant la formation, sous-estime considérablement l'investissement global, dépassant 500 millions de dollars depuis sa création. La structure Lean de Deepseek, cependant, permet une innovation efficace par rapport aux concurrents plus grands et plus bureaucratiques.
Image: esigame.com
Le succès de Deepseek met en évidence le potentiel de sociétés d'IA indépendantes bien financées. Bien que la réclamation du "budget révolutionnaire" soit sans doute gonflée, sa rentabilité par rapport aux concurrents (par exemple, 5 millions de dollars pour R1 contre 100 millions de dollars pour ChatGpt4O) est indéniable. Sa réussite est attribuée à des investissements substantiels, à des progrès technologiques et à une équipe hautement qualifiée.
