Annoncé en 2021 par Google, le projet Starline est la nouvelle génération de cabines de chat vidéo 3D de Google. Le projet Starline donne à un appel virtuel l'impression d'une conversation en tête-à-tête.Au fil des ans, Google a créé des produits pour aider les gens à se sentir plus connnectés. L’entreprise américaine de services technologiques fondée en 1998 dans la Silicon Valley, en Californie a simplifié la messagerie électronique avec Gmail, facilité le partage de ce qui compte avec Google Photos et amélioré la productivité avec Google Meet. Mais si ces outils de communication et d'autres encore ont progressé au fil des ans, ils sont loin de permettre de s'asseoir et de se parler face à face.
Pour résoudre ce problème, Google travail depuis quelques années sur le projet Starline, un projet technologique qui combine les progrès du matériel et des logiciels pour permettre aux amis, aux familles et aux collègues de se sentir ensemble, même s'ils sont séparés par des villes (ou des pays).
« Jason Lawrence, un chercheur de Google, était assis en face de moi, tenant un fruit dans sa main. Je pouvais la voir, elle était rouge et brillante, et mon cerveau me disait qu'elle était juste là. Mais Lawrence et le fruit se trouvaient en réalité dans une autre pièce. Ils étaient simplement projetés devant moi grâce au projet Starline de Google. »
Glissez-vous dans une cabine et votre image est censée être projetée en temps réel vers une autre cabine, comme si vous étiez réellement assis avec quelqu'un d'autre autour d'une table. Dans une vidéo réconfortante, Google a montré des familles et des amis se connectant joyeusement les uns aux autres grâce à Starline, et les recréations virtuelles semblaient remarquablement réalistes. « C'était époustouflant », dit une personne dans la vidéo. « J'ai vu beaucoup de choses, mais je n'ai jamais vu ça », dit une autre personne.
« Nous pensons que nous avons fait une percée dans la technologie de communication qui vous fait vous sentir plus proche et plus connecté avec des personnes qui pourraient être n'importe où dans le monde », a déclaré Andrew Nartker, directeur de la gestion des produits pour Starline. Nartker était assis en face de moi à une table dans l'une des salles de conférence de Google pour une réunion normale en face à face. Il a décrit l'expérience de Starline comme « une fenêtre magique » qui vous donne l'impression d'être « connecté et ensemble » avec d'autres personnes.
Pour rendre cette expérience possible, Google a appliqué des recherches en matière de vision par ordinateur, d'apprentissage automatique, de son spatial et de compression en temps réel. Elle a également mis au point un système révolutionnaire d'affichage de champs lumineux qui crée une sensation de volume et de profondeur, sans avoir besoin de lunettes ou de casques supplémentaires.
L'effet produit est celui d'une personne assise juste en face de vous, comme si elle était là. « L'une des choses dont nous sommes le plus fiers est que, dès que vous vous asseyez et que vous commencez à parler, la technologie passe au second plan et vous pouvez vous concentrer sur ce qui est le plus important : la personne en face de vous », déclare Clay Bavor, Vice-président chez Google.
Le projet Starline n'est actuellement disponible que dans quelques-uns des bureaux Google et il repose sur un matériel sur mesure et des équipements hautement spécialisés. « Nous pensons que la technologie de communication de personne à personne peut et doit aller plus loin et, à terme, notre objectif est de rendre cette technologie plus abordable et plus accessible, notamment en intégrant certaines de ces avancées techniques dans notre gamme de produits de communication », révèle Google.
Pour commencer ce voyage, l’équipe en charge a passé des milliers d'heures à tester le projet Starline au sein de Google en connectant des collègues entre la Bay Area, New York et Seattle. Elle a également organisé des démonstrations avec des entreprises partenaires sélectionnées dans des domaines tels que les soins de santé et les médias afin d'obtenir un premier retour d'information sur la technologie et ses applications. « Nous sommes très enthousiastes quant aux progrès réalisés dans le cadre du projet Starline et au potentiel de la technologie pour résoudre l'important problème que constitue le désir d'être avec quelqu'un même lorsque cela est physiquement impossible. Nous avons hâte de vous en dire plus dans le courant de l'année », déclare-t-elle.
Starline fait un travail formidable en créant une représentation en 3D de la personne à laquelle vous parlez. Nartker et Lawrence étaient exactement comme ils étaient lorsque je leur ai serré la main quelques minutes auparavant. Les ombres virtuelles derrière chacun d'eux ont contribué à renforcer cet effet.
Tout cela semble beaucoup plus naturel qu'un appel Zoom. Il n'existe pas de latence perceptible dans les mouvements ou dans la conversation, si bien qu'on a l'impression de parler. Il n'y a pas d'étrange retard audio ou visuel. Il est plus facile de croire qu’on est réellement avec quelqu'un parce qu’il est possible d’établir un véritable contact visuel avec des humains virtuels en taille réelle au lieu de plisser les yeux devant une minuscule fenêtre Zoom.
Si Starline est si convaincant, c'est en partie parce que l’utilisateur ne regarde pas simplement un écran, mais une série de lentilles devant un écran, ou un réseau lenticulaire. Le principe est similaire à celui des cartes holographiques qui peuvent afficher une image différente ou un effet 3D lorsqu’ils sont balancés d'avant en arrière, explique Lawrence. Starline va encore plus loin en suivant les yeux pour savoir où diriger les images qu'il affiche.
Gauche : le prototype du système, montrant les lumières LED sur les côtés de l'écran et les unités de rétroéclairage qui créent un éclairage par rebond sur les surfaces adjacentes.
Droite : Illumination d'un sujet dans le système.
Pour rendre la surface capturée à de nouveaux points de vue, l’approche de rendu basée sur l'image ne reconstruit pas de modèles d'illumination ou de réflectance. Au lieu de cela, elle interpole simplement les textures à partir de les quatre caméras couleur. Un inconvénient est que les surfaces avec une réflectance non-lambertienne (par exemple, spéculaire) sont rendues incorrectement sous un éclairage non-diffus.
Pour atténuer ce problème, Google a créé un environnement d'éclairage doux en utilisant des sources indirectes « rebondissantes ». Sur les côtés et à l'arrière de l'écran et des unités de rétroéclairage, des bandes lumineuses à DEL blanches éclairent les murs environnants, produisant une source diffuse agréable qui minimise les points forts. Cette lumière diffuse est également plus confortable pour l'utilisateur qu'un éclairage direct par des LED brillantes. En même temps, il est important de maintenir un certain éclairement non-uniformité. Selon Google, un éclairage incident complètement uniforme rend les visages et autres formes 3D plats et artificiels, ce qui nuit aux autres indices 3D du système.
Les photographes et les cinéastes font référence au contraste entre les côtés entièrement éclairés et les côtés ombragés d'un sujet. Pour conserver un sentiment de dimensionnalité sur les sujets, Google utilise des intensités plus fortes sur un côté de l'unité d'affichage adjacente à un mur proche, produisant ainsi un rapport d'éclairage approximatif.
L'illusion n'était pas parfaite. En regardant de plus près, on pouvait voir que la personne était recréée ; une tête pouvait ne pas être parfaitement ronde, par exemple, et le sommet des cheveux de Lawrence pouvait devenir très agité. Si la personne à laquelle vous parlez se déplace dans les limites de ce que Starline reconstruit activement, elle devient floue, se décompose en polygones instables et finit par disparaître complètement.
Starline est impressionnant, et il poura définitivement amélioré le chat vidéo. On pourrait imaginer son utilité pour les conversations en tête-à-tête, en particulier dans des endroits comme le cabinet d'un médecin ou un service clientèle. Mais Starline a clairement des limites. Le stand de Starline est immense et chargé d'une technologie vraisemblablement coûteuse.
Pourtant, Google fait avancer Starline en élargissant légèrement le nombre de personnes qui pourront l'essayer. Cette semaine, la société a annoncé qu'elle installerait des cabines Starline pour certaines entreprises partenaires. Des entreprises comme Salesforce, WeWork, T-Mobile et Hackensack Meridian Health testeront la technologie dans le cadre d'un programme d'accès anticipé. Comme indiqué precedemment, les employés de Google ont déjà consacré des milliers d'heures à cette technologie et la société a indiqué qu'elle avait invité « plus de 100 entreprises partenaires » dans des secteurs tels que les médias, la santé et la vente au détail à essayer Starline dans ses bureaux.
Le système comprend deux structures principales : une unité d'affichage abritant un écran, des caméras, des haut-parleurs, des microphones, un ordinateur et une unité de rétroéclairage contenant un rétroéclairage infrarouge servant également de banquette. Les deux unités contiennent des bandes de LED blanches orientées vers les murs et le plafond afin de produire un éclairage rebond.
Le sous-système de capture se compose de trois nacelles de capture stéréo synchronisées de type RGBD synchronisés : deux au-dessus de l'écran, et un dans le « mur du milieu » sous l'écran. Le module inférieur comprend une caméra couleur supplémentaire, zoomée sur le visage du sujet Quatre caméras de suivi monochromes, deux au-dessus de l'écran et une de chaque côté, capturent des images grand angle à haute vitesse pour la localisation 3D en temps réel des yeux, des oreilles et de la bouche.
Les quatre flux de couleurs et les trois flux de profondeur provenant des nacelles de capture RGBD sont compressés sur le GPU et transmis avec les points de visage 3D suivis en utilisant WebRTC. Du côté de la réception, les trois flux de profondeur sont rendus à partir des points de l'œil gauche et de l'œil droit du spectateur à l'aide d'un nouvel algorithme de fusion.
Le sous-système de capture audio utilise quatre microphones cardioïdes et la position de la bouche suivie pour la formation de faisceau afin de réduire les sons étrangers et l'écho. Le sous-système d'affichage utilise la bouche du locuteur et les oreilles de l'auditeur, ainsi qu'un modèle de fonction de transfert lié à la tête pour générer une sortie audio binaurale spatialisée, puis utilise les oreilles de l'auditeur suivi pour la diffusion de cette sortie par haut-parleur.
Les calculs sont effectués sur un PC Lenovo P920 équipé de deux extensions PCIe, des contrôleurs USB 3.0 dédiés aux caméras et quatre GPU NVIDIA (deux Quadro RTX 6000 et deux Titan RTX). Tout le traitement vidéo du système est effectué à 60 Hz, à l'exception du suivi du visage à 120 Hz et la capture du motif stéréo NIR à 180 Hz.
Le stand de Starline est immense et chargé d'une technologie vraisemblablement coûteuse. Il reste encore du chemin à parcourir avant qu'il ne soit largement disponible à l'achat - si jamais il l'est. « Il s'agit d'une technologie en phase de démarrage qui, selon nous, est très intéressante et constitue une percée dans ce domaine », a déclaré Nartker. « Mais ce n'est pas un produit à ce stade ». « Nous sommes très enthousiastes quant aux progrès réalisés dans le cadre du projet Starline et au potentiel de la technologie pour résoudre l'important problème que constitue le désir d'être avec quelqu'un même lorsque cela est physiquement impossible. Nous avons hâte de vous en dire plus dans le courant de l'année », déclare Clay Bavor.
Source : Google
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous intéressant le projet Starline de Google ?Voir aussi :
Google dévoile Logica, un nouveau langage de programmation logique open source, qui compile SQL et peut fonctionner sur Google BigQuery Le métavers met la vie privée des utilisateurs en danger, bien plus que les applications mobiles, les casques et les lunettes intelligentes vont pouvoir récolter une quantité énorme de données 
