Meta lance une nouvelle IA génératrice de texte en 3D. L'outil d'IA est capable de construire des modèles 3D qui peuvent être utilisés dans la modélisation du monde réel et le rendu d'applications. Meta AI, appartenant à Meta (anciennement Facebook), développe des technologies d'intelligence artificielle et de réalité augmentée et artificielle. Meta AI se considère comme un laboratoire de recherche universitaire, axé sur la production de connaissances pour la communauté de l'IA, et ne doit pas être confondu avec l'équipe Applied Machine Learning (AML) de Meta, qui se concentre sur les applications pratiques de ses produits.
Elle annonce le lancement d'un nouvel outil d'IA capable de générer ou de retexturer des objets 3D en moins d'une minute. Cet outil combine deux modèles existants de Meta, AssetGen qui génère des objets 3D et TextureGen pour la texturation. La combinaison des deux permet de générer des objets 3D de meilleure qualité pour les contenus immersifs.
La retexturation d'objets 3D consiste essentiellement à appliquer des détails et à ré-éclairer les objets pour les rendre hyperréalistes.
Dans les 30 premières secondes, AssetGen génère un objet 3D avec texture et Physical Based Rendering (PBR) à partir d'une invite. Ensuite, TextureGen optimise la texture de l'objet généré dans les 20 secondes suivantes. Les utilisateurs peuvent également fournir des données textuelles supplémentaires pour retexturer des formes 3D déjà créées.
Meta affirme que 3D Gen peut générer des résultats de 3 à 60 fois plus rapides que ceux des artistes professionnels. Alors qu'Adobe Firefly et Midjourney disposent d'outils similaires pour générer des objets 3D, 3D Gen de Meta peut construire des modèles 3D avec des structures de maillage sous-jacentes qui prennent en charge le rendu basé sur la physique - ce qui signifie que ces objets peuvent être utilisés dans la modélisation du monde réel et le rendu d'applications.
Voici l'annonce de Meta :
Nous présentons Meta 3D Gen (3DGen), un nouveau pipeline de pointe et rapide pour la génération de ressources textuelles en 3D. 3DGen permet de créer des objets 3D avec une grande fidélité et des formes et textures 3D de haute qualité en moins d'une minute. Il prend en charge le rendu basé sur la physique (PBR), nécessaire pour le ré-éclairage des ressources 3D dans les applications du monde réel. En outre, 3DGen prend en charge la retexturation générative de formes 3D précédemment générées (ou créées par l'artiste) en utilisant des entrées textuelles supplémentaires fournies par l'utilisateur.
3DGen intègre des composants techniques clés, Meta 3D AssetGen et Meta 3D TextureGen, que nous avons développés respectivement pour la génération de texte à 3D et de texte à texture. En combinant leurs forces, 3DGen représente les objets 3D simultanément de trois façons : dans l'espace de vue, dans l'espace volumétrique et dans l'espace UV (ou de texture). L'intégration de ces deux techniques permet d'obtenir un taux de réussite de 68 % par rapport au modèle à une seule étape.
Nous comparons 3DGen à de nombreux modèles de référence de l'industrie et montrons qu'il les surpasse en termes de fidélité des messages et de qualité visuelle pour les messages textuels complexes, tout en étant significativement plus rapide.
3DGen intègre des composants techniques clés, Meta 3D AssetGen et Meta 3D TextureGen, que nous avons développés respectivement pour la génération de texte à 3D et de texte à texture. En combinant leurs forces, 3DGen représente les objets 3D simultanément de trois façons : dans l'espace de vue, dans l'espace volumétrique et dans l'espace UV (ou de texture). L'intégration de ces deux techniques permet d'obtenir un taux de réussite de 68 % par rapport au modèle à une seule étape.
Nous comparons 3DGen à de nombreux modèles de référence de l'industrie et montrons qu'il les surpasse en termes de fidélité des messages et de qualité visuelle pour les messages textuels complexes, tout en étant significativement plus rapide.
Source : Meta
Et vous ?
Pensez-vous que 3DGen est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
Meta annonce Make-A-Video, qui génère de la vidéo à partir de texte, via une description textuelle ou d'une image existante, Make-A-Video peut rendre une vidéo à la demande Sora : OpenAI lance un modèle d'IA qui serait capable de créer une vidéo avec des scènes réalistes et imaginatives à partir d'instructions textuelles, mais la durée est limitée à 60 secondes Comment Meta entraîne les grands modèles de langage en permettant aux chercheurs d'utiliser PyTorch et d'autres nouveaux développements open-source