ComfyUI : guide complet de l’interface open source pour la génération d’images IA

En bref

ComfyUI est un logiciel open source gratuit pour créer des workflows de génération d’images et de vidéos via une interface graphique basée sur des nœuds (nodes) Il tourne localement sur votre machine, sans abonnement, avec une compatibilité GPU NVIDIA, AMD et Intel Le système nodal permet de chaîner des opérations complexes sans écrire une seule ligne de code ComfyUI-Manager simplifie l’installation des extensions et des custom nodes en quelques clics Avec plus de 109 000 stars sur GitHub, c’est aujourd’hui l’une des références mondiales pour les workflows Stable Diffusion

Qu’est-ce que ComfyUI exactement

ComfyUI est une interface graphique IA open source conçue pour orchestrer des pipelines de génération d’images, de vidéos et d’audio via un système de nodes visuels. Contrairement à des outils comme Midjourney ou DALL-E qui fonctionnent en mode « boîte noire », ComfyUI donne un contrôle total sur chaque étape du processus. On ne tape pas juste un prompt et on espère un bon résultat : on construit un pipeline, nœud par nœud.

Ce n’est pas une application web grand public. Comfy tourne directement sur votre machine, ce qui change tout : pas de limite d’utilisation, pas de données envoyées sur un serveur tiers, et surtout pas de facture mensuelle. Le logiciel est gratuit, open source, et disponible sur GitHub où il cumule plus de 109 000 stars et 12 600 forks. Ces chiffres donnent une idée de l’adoption dans le monde des créateurs techniques.

ComfyUI vs ChatGPT et Midjourney : la vraie différence

ChatGPT génère du texte. Midjourney génère des images via Discord avec une interface volontairement simplifiée. ComfyUI fait autre chose : il orchestre des modèles d’IA locaux (Stable Diffusion, Flux, SDXL, etc.) à travers un graph de nodes personnalisable. C’est un outil de pipeline, pas un assistant conversationnel.

En gros, si Midjourney est une voiture automatique, ComfyUI est une boîte de vitesses manuelle avec accès au capot. C’est plus puissant, mais ça demande de comprendre ce qu’on fait.

Un écosystème open source mature

Le projet est maintenu par comfy org (https://www.comfy.org) et bénéficie d’une communauté active sur Discord et Reddit. Des milliers de workflows sont partagés librement sur des plateformes comme Civitai ou directement via des fichiers JSON. C’est l’un des rares outils IA de ce niveau à rester totalement gratuit et sans limitation artificielle.

Comment marche le système de nœuds dans ComfyUI

Le concept central de ComfyUI est le node graph. Chaque nodes est une brique logique : charger un modèle, encoder un prompt, appliquer un VAE, sauvegarder une image. On les connecte entre eux par des fils visuels, et l’exécution suit le chemin tracé sur le canvas. Pas de code, pas de terminal : c’est visuel.

Un workflow simple : de zéro à une image générée

Voici comment un workflow basique s’organise dans ComfyUI :

Un node « Load Checkpoint » charge votre modèle Stable Diffusion (par exemple SDXL ou un checkpoint custom) Un node « CLIP Text Encode » reçoit votre prompt (et le prompt négatif) Un node « KSampler » orchestre la génération : il prend le modèle, les prompts encodés, et un latent vide Un node « VAE Decode » convertit le latent en image visible Un node « Save Image » écrit le fichier PNG sur le disque

Cinq nodes, zéro ligne de code. C’est ça la promesse de ComfyUI. Et à partir de ce workflow de base, on peut greffer des dizaines de nodes supplémentaires : ControlNet pour guider la composition, des LoRAs pour un style particulier, un upscaler pour augmenter la résolution finale.

La logique des connexions entre nodes

Chaque node a des inputs et des outputs de types précis. Un output « MODEL » ne peut se connecter qu’à un input « MODEL ». Cette typage visuel évite les erreurs et force une certaine logique dans la construction du pipeline. Résultat : même sans connaître le code Python sous-jacent, on comprend rapidement comment les données circulent dans votre workflow.

C’est aussi ce qui rend ComfyUI particulièrement efficace pour expérimenter. Changer un modèle, tester un VAE différent, modifier les paramètres du KSampler : tout se fait directement sur le canvas, sans relancer quoi que ce soit depuis le début. Le temps gagné sur les itérations est réel.

Configuration requise et installation

ComfyUI n’est pas exigeant en CPU, mais il a besoin d’une carte graphique avec suffisamment de VRAM. C’est le nerf de la guerre.

Prérequis GPU et RAM vidéo

Pour faire tourner des modèles de base (Stable Diffusion 1.5, SDXL), une carte avec 6 à 8 Go de VRAM est le minimum viable. En dessous, c’est possible avec des optimisations (mode fp16, tiling), mais la génération devient lente. Pour des workflows plus lourds, génération vidéo, modèles Flux, upscaling haute résolution, 12 Go ou plus sont recommandés.

Côté GPU :

NVIDIA (GeForce RTX 3060, 4070, etc.) : support natif via CUDA, le plus simple à configurer AMD Radeon : fonctionne via ROCm sous Linux, un peu plus de friction sous Windows Intel Arc : support via IPEX, moins documenté mais accessible CPU seul : possible, mais très lent. On parle de plusieurs minutes par image.

Systèmes d’exploitation supportés

ComfyUI tourne sous Windows, Linux et macOS. Sous Windows, l’installation passe par Python (version 3.10 ou 3.11 recommandée) et les dépendances PyTorch avec CUDA. Sous Linux, c’est généralement plus fluide pour les utilisateurs AMD. Sur macOS, les puces Apple Silicon (M1/M2/M3) sont bien supportées via Metal, avec des performances honorables.

ComfyUI-Manager : l’extension quasi obligatoire

Dès la première installation, ajoutez ComfyUI-Manager. C’est une extension qui ajoute un menu de gestion dans l’interface : installation de custom nodes en un clic, mise à jour automatique, gestion des dépendances manquantes. Sans lui, ajouter des nodes tiers nécessite de cloner des repos GitHub à la main. Avec lui, votre workflow de gestion des extensions devient dix fois plus rapide.

Génération d’images, vidéos et assets 3D

C’est là que ComfyUI prend toute sa dimension. Les capacités de génération vont bien au-delà d’une simple image PNG.

Images statiques et modèles disponibles

Pour la génération images classique, ComfyUI supporte all les grands checkpoints : Stable Diffusion 1.5, SDXL, Stable Diffusion 3, Flux (développé par Black Forest Labs), et des dizaines de modèles fine-tunés disponibles sur Civitai ou Hugging Face. Chaque modèle a ses forces : SDXL pour la qualité générale, des modèles spécialisés pour l’illustration, le photoréalisme, l’anime, etc. Les LoRAs permettent d’adapter le style d’un modèle de base sans repartir de zéro. Le principe du fine-tuning s’applique d’ailleurs aussi bien aux modèles de génération d’images qu’aux grands modèles de langage.

L’inpainting, le outpainting, la génération par masque, le ControlNet (pour guider la composition via une image de référence) : tout ça est disponible via des nodes dédiés.

Génération vidéo et audio

ComfyUI génère aussi de la vidéo. Les fichiers de sortie sont au format MP4 (ou des séquences d’images). Des modèles comme LTX Video ou LTX permettent de créer des clips animés à partir d’un prompt texte ou d’une image de référence. C’est encore expérimental pour certains workflows, mais des créateurs l’utilisent déjà pour des storyboards automatisés ou des animations courtes pour les réseaux sociaux. D’autres outils comme Vizard AI se concentrent plutôt sur l’édition vidéo assistée par IA, là où ComfyUI excelle sur la génération.

Côté audio, des nodes existent pour la génération sonore et musicale, même si c’est un domaine moins mature que l’image.

Assets 3D et cas d’usage créatifs

Des workflows spécialisés permettent de générer des assets 3D directement depuis ComfyUI : textures, normal maps, modèles de base pour des jeux vidéo. Les équipes de concept art utilisent ComfyUI pour produire rapidement des variantes visuelles, tester des directions artistiques, ou générer des références pour les modélistes 3D. C’est du travail technique, pas du clic-and-forget.

ComfyUI vs alternatives : ce qui change

Ce que ComfyUI fait mieux

Le contrôle granulaire sur chaque étape du pipeline est ce qui distingue ComfyUI. Quand vous testez un nouveau VAE, vous l’échangez sur un seul node sans toucher au reste du workflow. AUTOMATIC1111, même s’il est plus accessible, ne permet pas ce niveau de modularité. Et les services cloud comme Replicate donnent accès aux modèles via API, mais sans la liberté de construire vos propres pipelines complexes.

L’absence d’abonnement est aussi un argument fort. Avec ComfyUI, vous pouvez faire tourner votre workflow pendant des heures sans voir de compteur décrémenter. Les services cloud, eux, reposent sur des infrastructures de data centers dont le coût se répercute directement sur l’utilisateur final.

Ce que ComfyUI fait moins bien

Il faut être honnête : la courbe d’apprentissage est réelle. Un débutant complet peut se sentir perdu face au canvas vide et aux dizaines de nodes disponibles. AUTOMATIC1111 ou Invoke AI sont plus immédiats pour débuter. Et si vous n’avez pas de GPU dédié, le cloud reste plus pratique.

ComfyUI n’est pas fait pour tout le monde. C’est un outil pour les créateurs qui veulent comprendre ce qui se passe sous le capot, adapter leurs pipelines, et pousser les modèles dans leurs derniers retranchements. Pour une utilisation occasionnelle et grand public, d’autres solutions sont plus adaptées.

Premiers pas avec ComfyUI

L’installation suit un chemin logique, et la documentation officielle sur https://www.comfy.org est bien faite.

Télécharger et lancer ComfyUI

La méthode la plus directe sous Windows est le package standalone « desktop » disponible sur le GitHub officiel (https://github.com/comfyanonymous/ComfyUI). Il inclut Python, les dépendances et un script de lancement. Sous Linux et macOS, on clone le repo, on installe les dépendances via pip, et on lance python main.py. L’interface s’ouvre ensuite dans votre navigateur web par défaut.

Construire votre premier workflow de test

Pour un premier test, le workflow par défaut chargé au démarrage de ComfyUI est parfait : il contient les nodes essentiels (Load Checkpoint, CLIP Text Encode, KSampler, VAE Decode, Save Image). Ajoutez un modèle Stable Diffusion dans le dossier models/checkpoints, sélectionnez-le dans le node Load Checkpoint, écrivez un prompt simple dans les nodes CLIP, et cliquez sur « Queue Prompt ». L’image se génère et s’enregistre en PNG.

Utilisez Ctrl + clic pour sélectionner plusieurs nodes, et les templates de la communauté (disponibles sur le site Comfy org) pour apprendre de nouveaux concepts sans repartir de zéro.

Aller plus loin avec la communauté

Pour progresser, les ressources ne manquent pas. Le Discord officiel de Comfy org regroupe des milliers d’utilisateurs actifs. Des guides vidéo existent sur YouTube. Des posts détaillés sont publiés régulièrement sur Reddit (r/comfyui). Et des sites comme OpenArt ou Civitai proposent des workflows JSON téléchargeables directement, qu’on importe dans ComfyUI via un glisser-déposer sur le canvas.

Points clés à retenir

ComfyUI est un logiciel de génération IA local, open source et gratuit, pensé pour les créateurs qui veulent un contrôle total sur leurs pipelines. Son architecture nodal permet de construire des workflows de génération images, vidéo et audio sans écrire de code. Les modèles supportés vont de Stable Diffusion classique à Flux en passant par SDXL et des architectures plus récentes.

Le principal frein reste l’apprentissage initial. Mais une fois les concepts de nodes et de connexions assimilés, la productivité est réelle : on construit ses propres pipelines, on partage ses workflows en JSON, on installe des custom nodes via ComfyUI-Manager, et on adapte chaque paramètre à ses besoins sans dépendre d’un service tiers.

Pour aller plus loin : documentation officielle sur https://www.comfy.org, communauté Discord très active, et des milliers de workflows partagés gratuitement sur Civitai.

Questions fréquentes sur ComfyUI

ComfyUI est-il vraiment gratuit ?

Oui, ComfyUI est gratuit et open source, publié sous licence GPL sur GitHub. Il n’y a pas d’abonnement, pas de version premium cachée. Vous installez le logiciel sur votre machine et vous l’utilisez sans restriction. Les modèles IA associés (Stable Diffusion, Flux, etc.) sont eux aussi disponibles gratuitement sur Hugging Face ou Civitai pour la plupart.

Quelle carte graphique faut-il pour faire tourner ComfyUI ?

Une carte NVIDIA avec 8 Go de VRAM est le point de départ confortable pour la génération images standard. Les GPU AMD fonctionnent sous Linux via ROCm. Sous Windows, la compatibilité AMD est plus variable. Pour la génération vidéo ou les modèles lourds type Flux, 12 Go de VRAM ou plus sont recommandés. Sur les Mac Apple Silicon, ComfyUI tourne correctement via le support Metal.

Quelle est la différence entre ComfyUI et AUTOMATIC1111 ?

AUTOMATIC1111 (aussi appelé Stable Diffusion Web UI) propose une interface formulaire plus classique, plus accessible aux débutants. ComfyUI utilise un système de nodes visuels qui offre un contrôle beaucoup plus précis sur chaque étape du pipeline. AUTOMATIC1111 est plus simple à prendre en main ; ComfyUI est plus puissant et flexible pour les workflows avancés. Les deux sont open source et gratuits.

Peut-on générer des vidéos avec ComfyUI ?

Oui. ComfyUI supporte la génération vidéo via des nodes spécialisés et des modèles comme LTX Video ou WAN. Les vidéos sont exportées en MP4 ou en séquences d’images. C’est un domaine en évolution rapide : les workflows de génération vidéo deviennent de plus en plus stables et accessibles, même si cette fonctionnalité demande généralement plus de VRAM que la génération images seule.

Comment installer des nodes supplémentaires dans ComfyUI ?

La méthode la plus simple passe par ComfyUI-Manager. Une fois l’extension installée, un bouton « Manager » apparaît dans l’interface. Depuis là, vous pouvez chercher et installer des custom nodes directement, sans manipuler de fichiers à la main. Pour les nodes non référencés, il suffit de cloner le repo GitHub correspondant dans le dossier custom_nodes de votre installation ComfyUI.