La bataille mondiale autour de la g\u00e9n\u00e9ration d'images par IA bat son plein. La semaine derni\u00e8re encore, OpenAI a officiellement d\u00e9voil\u00e9 GPT Image 2, laissant tout Internet bouche b\u00e9e. Qu'il s'agisse d'images pour le commerce en ligne en direct, de photos nostalgiques inspir\u00e9es des ann\u00e9es 90 ou de sch\u00e9mas conceptuels complexes, les d\u00e9monstrations \u00e9poustouflantes se succ\u00e8dent et inondent les fils d'actualit\u00e9 partout dans le monde.<\/p>\n\n\n\n
Inutile de se poser la question : la g\u00e9n\u00e9ration d'images par IA a clairement franchi une nouvelle \u00e9tape.<\/p>\n\n\n\n
En l'espace de quelques jours seulement, SenseTime, un g\u00e9ant chinois de la technologie, a r\u00e9agi rapidement en sortant un tout nouvel atout : SenseNova U1<\/strong>. Ce mod\u00e8le multimodal de compr\u00e9hension et de g\u00e9n\u00e9ration place la \u201c compr\u00e9hension des images \u201d et la \u201c g\u00e9n\u00e9ration d'images \u201d au sein d'un m\u00eame cerveau.<\/p>\n\n\n\n Sa principale avanc\u00e9e r\u00e9side dans une \u201c architecture de mod\u00e8le unifi\u00e9e \u201d d\u00e9velopp\u00e9e en interne, baptis\u00e9e NEO-Unify, qui int\u00e8gre la compr\u00e9hension, le raisonnement et la g\u00e9n\u00e9ration au sein d'un m\u00eame syst\u00e8me.<\/p>\n\n\n\n Mais surtout, ils ne l'ont pas gard\u00e9 ferm\u00e9. SenseNova U1<\/strong> est d\u00e9sormais enti\u00e8rement open source sur GitHub, et de nombreux utilisateurs ont d\u00e9j\u00e0 commenc\u00e9 \u00e0 l'exp\u00e9rimenter. M\u00eame les experts en IA de Hugging Face et du MLS Super Intelligence Lab suivent son \u00e9volution de pr\u00e8s et lui donnent leur aval.<\/p>\n\n\n\n Cette version inclut la s\u00e9rie \u00ab lightweight \u00bb SenseNova U1 Lite<\/strong>, disponible en deux versions :<\/p>\n\n\n\n Les param\u00e8tres peuvent para\u00eetre \u201c modestes \u201d, mais les performances d\u00e9passent largement les attentes. D\u2019apr\u00e8s plusieurs tests de performance, SenseNova U1<\/strong> fait preuve de performances sup\u00e9rieures dans tous les domaines, atteignant les niveaux de pointe (SOTA) parmi les mod\u00e8les open source de taille similaire.<\/p>\n\n\n\n Plus surprenant encore, sur plusieurs indicateurs, il se rapproche \u2014 voire d\u00e9passe \u2014 certains grands mod\u00e8les commerciaux propri\u00e9taires.<\/p>\n\n\n\n Avant d'entrer dans les d\u00e9tails techniques, regardons quelques d\u00e9monstrations concr\u00e8tes pour nous faire une id\u00e9e des limites de SenseNova U1<\/strong> capacit\u00e9s.<\/p>\n\n\n\n Son principal atout r\u00e9side dans la g\u00e9n\u00e9ration continue d'images et de textes, rendue possible gr\u00e2ce \u00e0 la technologie originale de SenseTime dite \u00ab cha\u00eene de pens\u00e9e entrelac\u00e9e image-texte \u00bb.<\/p>\n\n\n\n Prenons l'exemple de la cr\u00e9ation d'un croquis \u00e9tape par \u00e9tape d'une cath\u00e9drale gothique. Au cours de son processus de raisonnement, SenseNova U1<\/strong> analyse en d\u00e9tail l'esth\u00e9tique architecturale complexe, presque \u00e0 la mani\u00e8re d'un \u201c architecte \u201d dot\u00e9 d'une grande capacit\u00e9 de r\u00e9flexion spatiale.<\/p>\n\n\n\n Par le pass\u00e9, garantir la coh\u00e9rence entre plusieurs images g\u00e9n\u00e9r\u00e9es constituait l'un des principaux d\u00e9fis. Or, dans cette d\u00e9monstration, depuis les contours sommaires jusqu'au r\u00e9sultat final richement orn\u00e9, la structure principale, le nombre d'arcs-boutants et m\u00eame les motifs des rosaces restent align\u00e9s de mani\u00e8re quasi parfaite.<\/p>\n\n\n\n Ce niveau de coh\u00e9rence donne l'impression d'assister \u00e0 une v\u00e9ritable d\u00e9monstration de conception, propice \u00e0 l'apprentissage.<\/p>\n\n\n\n Encore un sujet simple : concevez une biblioth\u00e8que situ\u00e9e sur une falaise en bord de mer et pr\u00e9sentez-la sous diff\u00e9rents angles.<\/p>\n\n\n\n Cinq points de vue, cinq extraits de texte, cinq images \u2014 s\u2019alternant rigoureusement et s\u2019encha\u00eenant de mani\u00e8re logique. De l\u2019ext\u00e9rieur \u00e0 l\u2019int\u00e9rieur, de la structure \u00e0 l\u2019atmosph\u00e8re, du jour au cr\u00e9puscule, chaque \u201c pens\u00e9e \u201d est directement mise en images.<\/p>\n\n\n\n Le texte explique l'intention de conception ; les images permettent de la valider visuellement. Les deux se compl\u00e8tent mutuellement.<\/p>\n\n\n\n Ce qui est encore plus frappant, c'est la coh\u00e9rence stylistique qui se d\u00e9gage des cinq images : l'architecture, les mat\u00e9riaux et les palettes de couleurs s'inscrivent tous dans le m\u00eame concept de design.<\/p>\n\n\n\n Voil\u00e0 \u00e0 quoi devrait ressembler le fait de \u201c r\u00e9fl\u00e9chir tout en dessinant \u201d.<\/p>\n\n\n\n En quelques \u00e9tapes simples, SenseNova U1<\/strong> peut donner lieu \u00e0 une histoire de bande dessin\u00e9e.<\/p>\n\n\n\n Le rythme, articul\u00e9 en quatre cases, est pr\u00e9cis : d\u2019une lumi\u00e8re isol\u00e9e au milieu de ruines cybern\u00e9tiques \u00e0 des robots se rassemblant autour d\u2019un vieil homme en train de lire, puis \u00e0 un gros plan sur des larmes coulant sur des pages, pour finir par un plan d\u2019ensemble sur une longue ligne d\u2019horizon. La progression \u00e9motionnelle se construit couche apr\u00e8s couche.<\/p>\n\n\n\n Les personnages et les sc\u00e8nes gardent une coh\u00e9rence tout au long de l'\u0153uvre, gr\u00e2ce \u00e0 SenseNova U1<\/strong>\u2019l\u2019int\u00e9gration native de la compr\u00e9hension et de la g\u00e9n\u00e9ration d\u2019images et de textes.<\/p>\n\n\n\n D'une case \u00e0 l'autre, il ajoute m\u00eame de lui-m\u00eame des d\u00e9tails narratifs \u2014 comme en nommant la \u201c Tour silencieuse \u201d, en d\u00e9crivant des doigts qui effleurent des traces us\u00e9es par le temps, ou encore en opposant les larmes aux pages jaunies. Le texte lui-m\u00eame se lit comme une mini-histoire de science-fiction, tandis que les images illustrent les moments d'intensit\u00e9 \u00e9motionnelle.<\/p>\n\n\n\n Demandez-lui de dessiner un loup dans diff\u00e9rents styles, et vous obtiendrez des illustrations de style ukiyo-e, art d\u00e9co et expressionniste, toutes pr\u00e9sent\u00e9es les unes apr\u00e8s les autres.<\/p>\n\n\n\n Il peut m\u00eame g\u00e9n\u00e9rer des r\u00e9sultats de type infographie \u00e0 haute dimension, similaires \u00e0 des diapositives, tout en conservant une coh\u00e9rence structurelle et visuelle gr\u00e2ce \u00e0 un contexte commun.<\/p>\n\n\n\n SenseNova U1<\/strong> peut \u00e9galement expliquer des probl\u00e8mes du quotidien \u00e0 l'aide d'associations image-texte, ce qui les rend intuitifs et captivants.<\/p>\n\n\n\n Consigne : r\u00e9digez un guide sur le caf\u00e9 pr\u00e9par\u00e9 \u00e0 la main.<\/p>\n\n\n\n SenseNova U1<\/strong> Il commence par r\u00e9fl\u00e9chir, puis recherche les informations pertinentes et d\u00e9veloppe la consigne pour en faire une infographie d\u00e9taill\u00e9e. Le r\u00e9sultat final comprend huit \u00e9tapes bien articul\u00e9es entre elles, qui couvrent avec pr\u00e9cision l'ensemble du processus, de la mouture des grains \u00e0 l'extraction.<\/p>\n\n\n\n Autre exemple : \u201c le parcours du cycle de l'eau \u201d.\u201d<\/p>\n\n\n\n SenseNova U1<\/strong> Il recherche et compile des connaissances, pour produire un sch\u00e9ma ultra-clair de 2K qui reconstitue tous les \u00e9l\u00e9ments g\u00e9ographiques cl\u00e9s : rayonnement solaire, \u00e9vaporation, condensation, transport, pr\u00e9cipitations et ruissellement.<\/p>\n\n\n\n Chaque \u00e9tape s'appuie pr\u00e9cis\u00e9ment sur la pr\u00e9c\u00e9dente.<\/p>\n\n\n\n Une consigne de six mots peut g\u00e9n\u00e9rer une infographie compl\u00e8te sur la past\u00e8que, abordant ses valeurs nutritionnelles, ses bienfaits pour la sant\u00e9 et des conseils de consommation \u2014 pr\u00eate \u00e0 \u00eatre publi\u00e9e sous forme d'article complet.<\/p>\n\n\n\n Il peut \u00e9galement cr\u00e9er des guides de trajets domicile-travail tr\u00e8s complexes, des bandes dessin\u00e9es sur la reconversion professionnelle dans un style pop art, et m\u00eame des infographies sur les petits-d\u00e9jeuners du monde entier \u00e0 la mani\u00e8re des LEGO, en reconstituant des plats embl\u00e9matiques de pays tels que le Japon, le Mexique, le Royaume-Uni, la Turquie, le Br\u00e9sil et l'Inde.<\/p>\n\n\n\n SenseNova U1<\/strong>\u2019Les performances impressionnantes de ce mod\u00e8le soul\u00e8vent une question fondamentale : comment un mod\u00e8le relativement petit peut-il atteindre un tel niveau ?<\/p>\n\n\n\n La r\u00e9ponse r\u00e9side dans son architecture.<\/p>\n\n\n\n Les mod\u00e8les multimodaux traditionnels suivent une approche \u201c modulaire \u201d :<\/p>\n\n\n\n Ces composants sont entra\u00een\u00e9s s\u00e9par\u00e9ment, puis combin\u00e9s. Cela fonctionne, mais la perception et la cr\u00e9ation restent dissoci\u00e9es.<\/p>\n\n\n\n NEO-Unify prend une mesure audacieuse : il supprime \u00e0 la fois le VE et le VAE.<\/p>\n\n\n\n Ce concept repose sur un postulat fondamental : le langage et l'information visuelle sont intrins\u00e8quement li\u00e9s et doivent \u00eatre mod\u00e9lis\u00e9s comme une entit\u00e9 unique.<\/p>\n\n\n\n Au lieu d'une conversion entre les syst\u00e8mes, SenseNova U1<\/strong> agit comme un penseur bilingue, en traitant simultan\u00e9ment les informations visuelles et linguistiques d\u00e8s le d\u00e9part.<\/p>\n\n\n\n Des exp\u00e9riences montrent que, m\u00eame lorsque la branche de compr\u00e9hension est fig\u00e9e, la branche de g\u00e9n\u00e9ration est toujours capable de restituer des d\u00e9tails visuels tr\u00e8s fins. Cela sugg\u00e8re que la repr\u00e9sentation unifi\u00e9e conserve \u00e0 la fois la richesse s\u00e9mantique et la fid\u00e9lit\u00e9 au niveau des pixels.<\/p>\n\n\n\nMod\u00e8les SenseNova U1 Lite : petite taille, grand impact<\/h2>\n\n\n\n
Variantes du mod\u00e8le SenseNova U1<\/h3>\n\n\n\n
\n
SenseNova U1 : g\u00e9n\u00e9ration continue d'images et de textes<\/h2>\n\n\n\n
Esquisse architecturale avec SenseNova U1<\/h3>\n\n\n\n
G\u00e9n\u00e9ration de conceptions multi-angles avec SenseNova U1<\/h3>\n\n\n\n
SenseNova U1 : narration et cr\u00e9ation artistique<\/h2>\n\n\n\n
R\u00e9cits sous forme de BD avec SenseNova U1<\/h3>\n\n\n\n
G\u00e9n\u00e9ration d'images dans diff\u00e9rents styles avec SenseNova U1<\/h3>\n\n\n\n
SenseNova U1 pour l'infographie et la visualisation des connaissances<\/h2>\n\n\n\n
Infographie sur le caf\u00e9 r\u00e9alis\u00e9e par SenseNova U1<\/h3>\n\n\n\n
Visualisation du cycle de l'eau avec SenseNova U1<\/h3>\n\n\n\n
Infographies \u00e0 haute densit\u00e9 g\u00e9n\u00e9r\u00e9es par SenseNova U1<\/h3>\n\n\n\n
Architecture SenseNova U1 : pr\u00e9sentation de NEO-Unify<\/h2>\n\n\n\n
De l'IA modulaire au mod\u00e8le unifi\u00e9 SenseNova U1<\/h3>\n\n\n\n
\n
NEO-Unify : le c\u0153ur de SenseNova U1<\/h3>\n\n\n\n
Parcours technique de SenseNova U1<\/h3>\n\n\n\n
\n
SenseNova U1 contre GPT-Image-2<\/h2>\n\n\n\n