Nvidia AI produit des modèles 3D à partir de vidéos 2D, des applications d'impression 3D à venir ?

Le fabricant américain de GPU Nvidia a publié un document de recherche décrivant un nouveau modèle d'intelligence artificielle (IA) capable de convertir des clips vidéo 2D en modèles 3D détaillés.

La recherche a révélé que les modèles d'IA générative actuels ont du mal à capturer les détails fins des objets, tels que les motifs de texture répétitifs, les couleurs homogènes et les fortes variations de couleur. La nouvelle technologie d'intelligence artificielle de Nvidia, appelée Neuralangelo, dépasserait ces problèmes. Neuralangelo propose des modèles haute fidélité et la capacité de traduire avec précision les textures de matériaux complexes à partir de vidéos 2D.

Comment Nvidia AI pourrait-il se développer en tant qu'outil d'impression 3D ?

Nvidia met en évidence les avantages potentiels pour les professionnels de la création en particulier, qui peuvent créer rapidement et facilement des objets virtuels à l'aide d'images capturées à partir d'un smartphone. L'art, la réalité virtuelle, le développement de jeux vidéo, la robotique et la production de jumeaux numériques industriels ont été décrits comme des applications potentielles de Neuralangelo.

La société a déjà démontré les vastes capacités de sa nouvelle technologie d'intelligence artificielle, en recréant la sculpture de David de Michel-Ange et un camion à plateau. Neuralangelo peut également reconstruire des environnements à grande échelle. Nvidia a créé avec succès un modèle 3D du parc sur son campus de Bay Area à l'aide de séquences vidéo à vol d'oiseau capturées par un drone.

"Les capacités de reconstruction 3D offertes par Neuralangelo seront très utiles aux créateurs, les aidant à recréer le monde réel dans le monde numérique", a commenté Ming-Yu Liu, directeur principal de la recherche chez Nvidia et co-auteur du document de recherche. "Cet outil permettra à terme aux développeurs d'importer des objets détaillés - qu'il s'agisse de petites statues ou de bâtiments massifs - dans des environnements virtuels pour des jeux vidéo ou des jumeaux numériques industriels."

Bien que ce nouvel outil d'intelligence artificielle n'ait pas encore été combiné avec des applications d'impression 3D, un porte-parole de Nvidia a déclaré à 3D Printing Industry que cela pourrait être une direction future. Actuellement, les modèles de Neuralangelo ne peuvent pas être imprimés en 3D.

Il est facile d'imaginer le potentiel d'intégration de la fabrication additive avec Neuralangelo.

Que ce soit en exportant le maillage généré par l'IA sous forme de fichier imprimable à l'avenir, ou dans le cadre d'un jumeau numérique. Actuellement, les jumeaux numériques sont exploités pour les étapes de conception et de prototypage du développement de produits, et plus loin dans le cycle de vie du produit.

Conversion de vidéos 2D en modèles 3D avec l'IA

Neuralangelo utilise des primitives graphiques neuronales instantanées (NGP) en combinaison avec des fonctions de distance de signal (SDF) pour obtenir une conversion vidéo de haute qualité. NGP fournit des structures de grille 3D hybrides avec un codage de hachage multi-résolution. Cette représentation hybride augmente considérablement le pouvoir de représentation des champs neuronaux et peut capturer des détails plus fins.

En effet, Neuralangelo prend une vidéo 2D d'un objet ou d'un environnement et sélectionne plusieurs images qui mettent en évidence différents points de vue. Une fois la position de la caméra de chaque image déterminée, l'IA crée un modèle 3D approximatif. Ce rendu brut est ensuite optimisé, affinant les détails et produisant un produit fini avec une qualité de surface et une précision élevées.

Les chercheurs mettent en évidence deux facteurs qui sont essentiels à cette approche. Premièrement, utiliser des gradients numériques pour calculer des dérivées d'ordre élevé. On dit que cela est essentiel pour stabiliser le processus d'optimisation. Deuxièmement, un calendrier d'optimisation progressive est essentiel pour récupérer des structures à différents niveaux de détail. Cela permet une reconstruction complète et précise du modèle 3D.

Le projet Neuralangelo de Nvidia devrait être présenté à la conférence Computer Vision and Pattern Recognition (CVPR) de cette année à Vancouver du 18 au 22 juin. Neuralangelo sera présenté aux côtés de près de 30 autres projets, avec des sujets allant de l'estimation de pose, la reconstruction 3D et la génération vidéo.

IA et fabrication additive

L'intelligence artificielle est l'un des principaux mots à la mode dans l'impression 3D à la minute. L'enquête de cette année auprès des dirigeants de l'industrie de l'impression 3D a mis en évidence la génération automatisée de modèles 3D d'IA dans le cadre de l'avenir de l'impression 3D.

Cet avenir arrive-t-il plus tôt que prévu ? Nvidia a annoncé un outil de génération de modèles AI 3D appelé Magic3D. À partir d'une invite de texte, Magic3D produit des objets 3D en 40 minutes, soit le double de la vitesse de DreamFusion. En outre, Materialise a publié son contrôle de processus d'impression 3D en métal et le kit de développement de logiciels de processus de construction. L'IA dans Materialise Process Control automatise l'analyse des données de couche, ce qui permet d'économiser du temps et de l'argent.

Dans une interview de l'industrie de l'impression 3D avec Paul Powers, fondateur de Thangs, il a parlé du rôle futur de l'IA et de la conception 3D.

Abonnez-vous à la newsletter de l'industrie de l'impression 3D pour vous tenir au courant des dernières nouvelles sur l'impression 3D. Vous pouvez également nous suivre sur Twitter, aimer notre page Facebook et vous abonner à la chaîne Youtube de l'industrie de l'impression 3D pour accéder à un contenu plus exclusif.

Êtes-vous intéressé à travailler dans l'industrie de la fabrication additive? Visitez Emplois d'impression 3D pour voir une sélection de postes disponibles et lancer votre carrière. L'image en vedette montre une statue de Michel-Ange transformée en modèle 3D à l'aide de Neuralangelo. Image via NVIDIA.

Alex est un journaliste technologique de l'industrie de l'impression 3D qui aime rechercher et écrire des articles couvrant une grande variété de sujets. Titulaire d'un baccalauréat en histoire militaire et d'une maîtrise en histoire de la guerre, il s'intéresse vivement aux applications de fabrication additive dans les industries de la défense et de l'aérospatiale.