Lorsque la pandémie de coronavirus a forcé les Israéliens à célébrer le Jour de l’Indépendance en quarantaine sans les fêtes et barbecues habituels, le président Reuven Rivlin a décidé d’ajouter la joie des fêtes en visitant des maisons à travers le pays. Rivlin a prononcé un bref discours et posé pour des selfies avec des milliers d’Israéliens dans leur propre salon.
« Je n’ai pas mon appareil photo avec moi, donc tu es responsable, et n’oublie pas de sourire », a souri Rivlin avant de poser pour un selfie avec les citoyens enchantés d’Israël.
Les milliers de photos de Rivlin téléchargées par les Israéliens ce jour-là ont été rendues possibles par la startup israélienne TetaVi, qui a développé une nouvelle technologie pour créer des hologrammes vidéo 3D réalistes qui peuvent être insérés dans n’importe quel film ou photo en utilisant un équipement minimal et à une fraction du coût normal. .
« C’était facile pour toutes les personnes impliquées et cela n’a pris qu’environ 30 ou 40 minutes du temps de Rivlin », explique Gilad Talmon, PDG de TetaVi, qui utilise la vision par ordinateur et la technologie d’apprentissage en profondeur pour produire un contenu de qualité avec moins de caméras. « Vous pouvez vraiment l’utiliser n’importe où, pour créer n’importe quel contenu 3D. »
Conçu sur mesure pour la génération TikTok, TetaVi développe un système de nouvelle génération qui transformera un smartphone ordinaire en un studio de qualité broadcast. Il permettra aux utilisateurs de créer des hologrammes 3D à l’aide d’un seul appareil, créant ainsi un studio vidéo immersif portable virtuel sans avoir besoin de plusieurs caméras ou d’un écran vert. La capture vidéo volumétrique à 360° abordable permettra à chacun de créer une expérience de visionnage immersive avec des hologrammes réalistes pour un réalisme de qualité de jeu vidéo.
La vidéo volumétrique créée par l’IA, la technologie habilitante pour des expériences vidéo immersives, permet aux consommateurs de se voir à l’intérieur d’un jeu vidéo, sur une scène de concert ou n’importe où. La vidéo immersive 3D est un important moteur de revenus pour les jeux vidéo et se développe sur les réseaux sociaux. Le marché du jeu vidéo vaut plus de 150 milliards de dollars chaque année, soit plus du triple de la valeur de l’industrie cinématographique mondiale. La création d’avatars 3D avec la technologie conventionnelle nécessite un studio avec jusqu’à 100 caméras, des écrans verts coûteux, des kilomètres de câbles et plusieurs serveurs puissants.
Alors que de plus en plus de gouvernements, d’entreprises et d’autres organisations adoptent des expériences vidéo immersives, y compris la réalité augmentée et virtuelle, il existe un besoin croissant de vidéo volumétrique 3D de haute qualité, abordable et facile à produire. Le marché mondial de la production et des services vidéo volumétriques croît de plus de 32 % par an et devrait atteindre 5,8 milliards de dollars d’ici 2025, selon MarketsandMarkets. En plus de l’industrie du divertissement, son utilisation se développe également dans des domaines tels que la diffusion sportive, l’éducation et la médecine.
TetaVi clôturera bientôt une extension de son cycle de financement de série A auprès d’investisseurs tels que Adway Ventures, REDDSCapital et OurCrowd, basé à Jérusalem.
Un problème est la capacité limitée des réseaux sans fil existants. Le partage de contenu 3D généré par les utilisateurs, réalisé à l’aide d’une technologie comme celle de TetaVi, pourrait encourager davantage de personnes et d’endroits à adopter la 5G, déclare Mikio Iwamura, directeur du groupe d’innovation des appareils chez NTT MoDoCo, le géant japonais des télécommunications qui s’associe au société israélienne.
« Les appareils XR et les capacités de contenu vidéo volumétrique sont les bons contenus pour vraiment tirer parti du potentiel de la 5G », déclare Iwamura.
Mais l’utilisation plus large de la vidéo volumétrique présente également des défis, notamment la nécessité d’un équipement coûteux et d’une production professionnelle. Habituellement, des dizaines de caméras spéciales sont nécessaires pour capturer la vidéo à partir de nombreux points de vue afin de produire du contenu 3D. De plus, des arrière-plans de studio verts sont également souvent nécessaires lors de l’enregistrement vidéo pour créer un hologramme ou un rendu 3D d’une personne ou d’un objet qui peut ensuite être utilisé dans des applications vidéo, de jeu ou de réalité augmentée et virtuelle.
« C’est quelque chose qui peut prendre des heures à mettre en place, ou les gens doivent se rendre dans un studio, ce qui n’est pas toujours possible », explique Talmon.
TetaVi simplifie et réduit le coût de ce processus en utilisant entre quatre et huit caméras portables, et ne nécessite aucune expérience particulière pour créer des hologrammes ou des avatars de personnes, comme il l’a fait pour Rivlin.
« Nous apportons le même type de qualité, mais le faisons avec un système mobile », explique Talmon. « Nous utilisons l’apprentissage en profondeur pour compenser le plus petit nombre de points de vue. »
L’apprentissage en profondeur signifie former des réseaux à utiliser certains algorithmes ou calculs informatisés pour analyser de grandes quantités de données et apprendre à reconnaître des modèles – similaires au fonctionnement du cerveau humain. Dans ce cas, la technologie passe rapidement au peigne fin des ensembles massifs de données d’image et les utilise pour remplir instantanément des zones qui ne sont pas réellement capturées sur vidéo. Talmon refuse d’entrer dans les détails, citant la confidentialité des affaires, mais affirme que c’est cette technique sous-jacente qui alimente la technologie de l’entreprise.
« Nous sommes en fait avant tout une entreprise d’apprentissage en profondeur », dit-il. « Et parce que l’ensemble de données ne cesse de s’étendre, la technologie s’améliore de jour en jour. Je dirais qu’il offre des images de meilleure qualité que dans les cas où le contenu est créé à l’aide de centaines de caméras.
La société propose également un logiciel d’abonnement pour l’édition de contenu, et tout contenu produit peut être intégré dans des applications de jeu, de diffusion et autres.
Le système de TetaVi est destiné aux studios et aux producteurs de contenu professionnels. Ses clients vont des producteurs de vidéos de mariage aux grands opérateurs comme NTT DoCoMo.
En fin de compte, l’entreprise souhaite mettre la technologie à la disposition de tous les consommateurs.
« Nous voulons que n’importe qui puisse enregistrer du contenu 3D de n’importe où, c’est notre vision à long terme », déclare Talmon. Il voit le contenu 3D généré par les utilisateurs, intégré dans les applications de réalité virtuelle et de réalité augmentée, jouer un rôle important sur les plateformes de médias sociaux dans un avenir proche. Les entreprises de médias sociaux pensent dans le même sens. Facebook, où plus de 6 000 employés se consacrent à la réalité augmentée et à la réalité virtuelle, a récemment annoncé qu’il lancerait des lunettes intelligentes plus tard cette année et qu’il leur ajouterait éventuellement des capacités de réalité augmentée, permettant aux utilisateurs de mélanger la réalité et le monde numérique.
« À terme, notre objectif est de permettre aux gens de capturer des vidéos volumétriques pour le contenu des médias sociaux, et de l’amener à un niveau où vous pouvez le faire sans matériel spécifique, avec juste votre téléphone », explique Talmon. « Notre objectif est de démocratiser la capacité de capture. »
Cependant, la plupart des réseaux mobiles ne sont pas assez rapides pour transmettre rapidement les grandes quantités de données nécessaires aux images tridimensionnelles. Espérons que les réseaux 5G plus rapides changeront cela.
« Pour l’instant, le moyen de distribuer ce contenu fait toujours défaut », déclare Talmon. « La 5G est le dernier bloc qui cimentera tout ensemble. »
« Nous sommes vraiment excités, » dit Talmon. « Nous pensons que nous aiderons les consommateurs à faire passer leurs relations humaines, leur expression personnelle et leur créativité à une autre dimension. »
Pour plus d’informations sur TetaVi, cliquez ICI.
