Analyse approfondie : comment les données synthétiques peuvent améliorer la réalité augmentée/réalité virtuelle et le métaverse

Vous n’avez pas pu assister à Transform 2022 ? Découvrez dès maintenant toutes les sessions du Sommet dans notre bibliothèque à la demande ! Regardez ici.


Les métavers ont captivé notre imaginaire collectif. Le développement exponentiel des appareils connectés à Internet et du contenu virtuel prépare le métaverse à l’acceptation du public, obligeant les entreprises à aller au-delà des méthodes traditionnelles de création de contenu métaverse. Cependant, les technologies de nouvelle génération telles que le métaverse qui emploient Intelligence Artificielle (IA) Et le Apprentissage automatique (ML), s’appuie sur des ensembles de données volumineux pour fonctionner efficacement.

Cette dépendance à l’égard de grands ensembles de données pose de nouveaux défis. Les utilisateurs de technologies sont de plus en plus conscients de la manière dont leurs données personnelles sensibles sont obtenues, stockées et utilisées, ce qui a conduit à des réglementations conçues pour empêcher les organisations d’utiliser des données personnelles sans autorisation expresse.

Sans de grandes quantités de données précises, il est impossible de former ou de développer des modèles AI/ML, ce qui limite considérablement le développement du métaverse. Lorsque cette situation devient plus urgente, Données synthétiques Prendre de l’ampleur en tant que solution.

En effet, Selon GartnerD’ici 2024, 60% des données nécessaires à la création de projets d’IA et d’analyse seront générées industriellement.

algorithmes d’apprentissage automatique Générez des données synthétiques en ingérant des données réelles pour la formation sur les modèles comportementaux et en créant des données factices simulées qui conservent les propriétés statistiques de l’ensemble de données d’origine. Ces données peuvent reproduire les conditions du monde réel et, contrairement aux ensembles de données anonymes standard, ne sont pas sujettes aux mêmes défauts que les données réelles.

Réinventer les mondes numériques à l’aide de données synthétiques

Alors que les développements AR/VR et métavers progressent vers des environnements numériques plus nuancés, ils nécessitent désormais de nouvelles capacités pour que les humains interagissent de manière transparente avec le monde numérique. Cela inclut la possibilité d’interagir avec des objets virtuels, d’améliorer le rendu sur l’appareil avec une estimation précise du regard, de visualiser un avatar utilisateur réaliste et de créer une superposition numérique 3D solide sur l’environnement réel. Les modèles ML apprennent des objets 3D tels que des réseaux, des modèles transformables et des règles de surface à partir de photographies et il est difficile d’obtenir de telles données visuelles pour former ces modèles d’IA.

La formation d’un modèle 3D nécessite une grande quantité de données sur le visage et le corps entier, y compris des annotations 3D précises. Le modèle doit également apprendre à effectuer des tâches telles que l’estimation de la position de la main et de la grille, l’estimation de la position du corps, l’analyse du regard, la reconstruction de l’environnement 3D et la synthèse d’avatar pour le codec.

“Le métaverse sera alimenté par de nouveaux modèles d’apprentissage automatique de vision par ordinateur puissants qui peuvent comprendre l’espace 3D autour d’un utilisateur, capturer avec précision le mouvement, comprendre les gestes et les interactions, et traduire les émotions, la parole et les détails du visage en avatars réalistes”, Yashar BehzadiPDG et fondateur de Synthesis AI, pour VentureBeat.

“Pour construire ces modèles de base, vous aurez besoin de grandes quantités de données avec de riches étiquettes 3D”, a déclaré Behzadi.

Un exemple de présentation de l’appréciation du geste pour les photos numériques. Source : IA de synthèse

Pour ces raisons, le métaverse subit un changement de paradigme – s’éloignant de la modélisation et vers une approche du développement centrée sur les données. Plutôt que d’apporter des améliorations progressives à un algorithme ou à un modèle, les chercheurs peuvent améliorer plus efficacement les performances d’un modèle d’IA dans le métaverse en améliorant la qualité des données de formation.

“Méthodes traditionnelles de construction vision par ordinateur S’appuyer sur des commentateurs humains qui ne peuvent pas fournir les affiches requises. Cependant, les données synthétiques ou les données générées par ordinateur qui simulent la réalité se sont révélées être une nouvelle approche prometteuse.

En utilisant des données synthétiques, les entreprises peuvent créer des données personnalisables qui peuvent rendre les projets plus efficaces car elles peuvent être facilement distribuées entre les équipes créatives sans se soucier de la conformité aux lois sur la confidentialité. Cela offre une plus grande autonomie, permettant aux développeurs d’être plus efficaces et de se concentrer sur les tâches qui génèrent des revenus.

Behzadi dit qu’il pense que le couplage des technologies CVI avec des modèles d’IA synthétiques permettra aux technologies de données synthétiques de fournir des quantités massives de données diverses et étiquetées de manière optimale pour alimenter le métaverse.

Pour améliorer l’expérience utilisateur, les appareils utilisés pour entrer dans le métaverse jouent un rôle tout aussi important. Cependant, le matériel doit être soutenu par un logiciel qui rend la transition entre les mondes réel et virtuel transparente, ce qui serait impossible sans la vision par ordinateur.

Pour fonctionner correctement, les appareils AR/VR doivent comprendre leur emplacement dans le monde réel pour fournir aux utilisateurs une carte 3D détaillée et précise de l’environnement virtuel. Par conséquent, l’estimation du regard (c’est-à-dire savoir où une personne regarde à travers une image de son visage et de ses yeux) est un problème critique pour les appareils AR et VR actuels. En particulier, la réalité virtuelle s’appuie fortement sur un rendu élaboré, une technique dans laquelle l’image au centre du champ de vision est produite avec une haute résolution et d’excellents détails, mais l’image sur les bords se détériore progressivement.

L’architecture de suivi et l’estimation du regard des appareils VR diffusent un affichage élaboré. Autrement dit, l’image au centre du champ de vision est produite en haute résolution mais l’image sur les bords se détériore progressivement pour des performances plus efficaces. Source : IA de synthèse

selon Richard KerrisD., vice-président de la plate-forme de développement Omniverse chez NVIDIA, la génération de données synthétiques peut agir comme un remède à de tels cas, car elle peut fournir des exemples visuellement précis de cas d’utilisation lors de l’interaction avec des objets ou de la création d’environnements pour la formation.

“Les données synthétiques générées par la simulation accélèrent le développement d’applications AR/VR en fournissant l’intégration de workflows de développement et de test continus”, a déclaré Kerris à VentureBeat. “De plus, lorsqu’elles sont générées à partir du jumeau numérique du monde réel, ces données peuvent aider à former des systèmes d’IA sur de nombreux capteurs de champ proche invisibles à l’œil humain, ainsi qu’à améliorer la précision de suivi des capteurs de localisation.”

Pour entrer dans la réalité virtuelle, il faut être un avatar pour une expérience sociale virtuelle immersive. Les futurs environnements intraitables peuvent avoir besoin d’images virtuelles réalistes qui représentent de vraies personnes et peuvent capturer leurs poses. Cependant, la création d’un tel avatar est un problème de vision par ordinateur difficile, qui est maintenant résolu par l’utilisation de données synthétiques.

Keres a expliqué que le plus grand défi avec les avatars virtuels est leur degré de personnalisation. Cette génération d’utilisateurs souhaite une variété d’avatars en haute résolution, ainsi que des accessoires tels que des vêtements, des coiffures et des émotions associées, sans compromettre la confidentialité.

“La génération procédurale de personnages humains numériques très divers peut créer à l’infini Différentes poses humaines Animation de personnages pour des cas d’utilisation spécifiques. “La création d’actions avec des données synthétiques aide à traiter ces nombreux types de glyphes”, a déclaré Kerris.

Reconnaître les choses avec la vision par ordinateur

Pour estimer la position et les propriétés physiques des objets 3D dans des mondes numériques tels que le métaverse, la lumière doit interagir avec l’objet et son environnement pour générer un effet similaire au monde réel. Par conséquent, les modèles de vision par ordinateur basés sur l’IA de la ligne métallique nécessitent une compréhension des surfaces des objets pour les restituer avec précision dans un environnement 3D.

selon Swapnil Srivastavaresponsable mondial des données et de l’analyse chez Evalueserve, à l’aide de données synthétiques, les modèles d’IA peuvent prédire et rendre le suivi plus réaliste en fonction des types de corps, de l’éclairage/de l’éclairage, des arrière-plans, des environnements, etc.

“Les écosystèmes métavers / omnivers ou similaires s’appuieront fortement sur des humains expressifs et comportementaux réalistes, et cela peut désormais être réalisé en utilisant des données synthétiques. Il est humainement impossible d’annoter des images 2D et 3D à une échelle parfaite de pixels. Grâce à des données synthétiques, cette technologie et la barrière physique est franchie. , permettant des commentaires précis, la polyvalence et la personnalisation tout en garantissant le réalisme », a déclaré Srivastava à VentureBeat.

La reconnaissance gestuelle est un autre mécanisme essentiel pour interagir avec les mondes virtuels. Cependant, la construction de modèles pour un suivi précis des mains est complexe, compte tenu de la complexité des mains et de la nécessité d’un suivi de position 3D. Pour compliquer davantage la tâche, il est nécessaire de capturer des données qui représentent avec précision la diversité des utilisateurs, du teint de la peau à la présence de bagues, de montres, de manches de chemise, etc.

Behzadi dit que l’industrie utilise maintenant des données synthétiques pour former des systèmes de suivi manuel afin de surmonter ces défis.

“En tirant parti des modèles manuels 3D, les entreprises peuvent créer d’énormes quantités de données étiquetées en 3D avec précision à travers les données démographiques, les facteurs de confusion, les perspectives de caméra et les environnements”, a déclaré Behzadi.

“Les données peuvent ensuite être produites dans des environnements et des emplacements/types de caméras pour une diversité sans précédent puisque les données générées n’ont aucun problème fondamental de confidentialité. Ce niveau de détail est bien supérieur à ce que les humains peuvent fournir et permet un plus grand niveau de réalisme pour faire fonctionner le métaverse .”, a-t-il ajouté.

Srivastava a déclaré que par rapport au processus actuel, le métaverse collectera plus de données personnelles telles que les traits du visage, les gestes corporels, la santé, les préférences financières et sociales et la biométrie, entre autres choses.

La protection de ces points de données personnelles devrait être la plus haute priorité. Les organisations ont besoin de politiques efficaces de gestion et de sécurité des données, ainsi que d’un processus de gouvernance d’approbation. Garantir l’éthique dans l’IA sera essentiel pour accroître l’efficacité dans le métaverse tout en créant des données responsables pour la formation, le stockage et le déploiement de modèles en production.

De même, Behzadi a déclaré que les technologies de données synthétiques permettront de créer des modèles plus inclusifs de manière éthique et respectueuse de la vie privée. Cependant, parce que le concept est nouveau, une large adoption nécessitera une éducation.

“Le métavers est un terme large et évolutif, mais je pense que nous pouvons nous attendre à des expériences très nouvelles et immersives – que ce soit pour les interactions sociales, la réinvention des expériences de consommation et d’achat, les nouveaux types de médias ou les applications que nous n’avons pas encore imaginées”, a déclaré Behzadi. com est un pas dans la bonne direction pour aider à bâtir une communauté de chercheurs et de partenaires industriels pour le développement technologique.

La création d’ensembles de données prêts pour la simulation est un défi pour les entreprises qui souhaitent utiliser la génération de données synthétiques pour créer et exploiter des mondes virtuels dans le métaverse. Kerris affirme que les actifs 3D prêts à l’emploi ne suffisent pas pour mettre en œuvre des modèles de formation précis.

Ces ensembles de données doivent contenir les informations et les caractéristiques qui les rendent utiles. Par exemple, le poids, la friction et d’autres facteurs doivent être inclus dans les actifs pour qu’ils soient utiles dans la formation “, a déclaré Kerris. “Nous pouvons nous attendre à un ensemble croissant de bibliothèques prêtes pour la simulation de la part des entreprises, ce qui contribuera à accélérer l’utilisation des cas pour la génération de données synthétiques dans des applications métavers, pour des cas d’utilisation industrielle tels que la robotique et les jumeaux numériques.”

JeuxBeat creed Quand la couverture de l’industrie du jeu vidéo est “là où la passion rencontre le travail”. Qu’est ce que ça veut dire? Nous voulons vous dire à quel point l’actualité compte pour vous – non seulement en tant que décideur dans un studio de jeux, mais aussi en tant que fan de jeux. Que vous lisiez nos articles, écoutiez nos podcasts ou regardiez nos vidéos, GamesBeat vous aidera à en savoir plus sur l’industrie et à interagir avec elle. Découvrez nos briefings.

#Analyse #approfondie #comment #les #données #synthétiques #peuvent #améliorer #réalité #augmentéeréalité #virtuelle #métaverse

Leave a Comment

Your email address will not be published. Required fields are marked *