La vidéo spatiale Apple iPhone atteint la version bêta et est superbe sur Vision Pro

Je regarde une assiette de sushi flottant devant moi en 3D. La chef finit de superposer les petits pains jaunes et le thon et me parle pendant qu’elle travaille. Il a l’air vivant. Cela a l’air réel. Ce qui est étonnant, c’est que j’ai tourné cette vidéo moi-même, il y a quelques instants, avec mon iPhone 15 Pro. Et maintenant, mon expérience VR est en 3D magnifique sur le casque Vision Pro d’Apple.

Je fais défiler avec mes doigts et regarde d’autres vidéos fantômes proposées par Apple. Familles dans une maison, marchant dans l’herbe. Se blottir ensemble. Le tout en 3D réaliste. J’ai l’impression d’avoir un aperçu de leur vie, à la fois étrange et intime. Mais la vitalité est indéniable.

Je teste la nouvelle fonctionnalité de caméra vidéo spatiale d’Apple sur iPhone, désormais disponible dans la nouvelle version bêta publique d’Apple d’iOS 17.2, la version finale étant déployée dans la version 17.2 plus tard cette année. Il vous permet d’enregistrer des vidéos 3D, mais pour l’utiliser, vous aurez besoin du meilleur téléphone d’Apple, un téléphone à 1 000 $. iPhone 15 Pro. Pour regarder des vidéos 3D, vous aurez besoin de 3 500 $ VisionPro Le casque, qui sera lancé au début de l’année prochaine.

Les vidéos sont superbes et la 3D est d’un réalisme convaincant. Ils sont également faciles à enregistrer et peuvent être sauvegardés sous forme de vidéos qui seront lues en 2D au format vidéo standard. Mais en fin de compte, cette fonctionnalité est conçue pour un produit 2024, au prix de 3 500 $, et on peut affirmer sans se tromper que la plupart des gens n’achèteront pas de sitôt. Pourtant, l’expérience est impressionnante.

regarde ça: Un éditeur CNET interagit avec la vidéo spatiale Vision Pro

05:01

Le Vision Pro m’a encore une fois impressionné

je Première utilisation de Vision Pro Lors de la conférence WWDC d’Apple en juin, on m’a encore une fois rappelé ses extraordinaires capacités d’affichage. Les photos et vidéos sont superbes sur les écouteurs Apple. J’oserais même dire que le Vision Pro surpasse tous les écrans que j’ai actuellement chez moi. Oui, je regarderais des vidéos et des photos – 3D et autres – si j’avais le Vision Pro.

Ma deuxième plongée dans le Vision Pro, équipé de verres correcteurs adaptés à mes besoins, me rappelle à quel point le casque est plus petit que ce dont je me souvenais. Et aussi la simplicité de l’interface.

La configuration du suivi oculaire a été un processus rapide ; J’ai regardé les points autour du cercle et j’ai cliqué dessus. J’ai également essayé un nouvel ensemble de gestes de zoom, dans lesquels je pince et étends mes doigts pour agrandir les images. Ce geste fonctionne avec le suivi oculaire, donc partout où vous regardez, l’image s’agrandit. C’était comme de la télépathie. J’ai jeté un œil à quelques photos de test dans l’application Photos et activé Photos dans Memories. Après avoir récemment utilisé le Quest 3, les caméras pass-through et la résolution d’affichage d’Apple sont sur une autre planète.

Les photos panoramiques étaient une surprise. Ils s’ouvrirent et tournoyèrent autour de moi, comme des fenêtres donnant sur d’autres endroits – presque tridimensionnels, en fait. Les vidéos spatiales sont également superbes. La qualité de lecture presque semblable à celle de la 3D donne l’impression qu’elle est destinée à une mémoire plus immersive que la simple lecture vidéo en direct. Mais j’ai trouvé certaines limites même dans la brève démo de l’expérience.

Malheureusement, il n’y a pas de captures d’écran de ce que j’ai vu ou enregistré ici : les images sont toutes celles fournies par Apple, vous n’aurez donc qu’à suivre et lire mon expérience.

Vidéos spatiales sur iPhone 15 Pro : comment elles fonctionnent

Les vidéos spatiales doivent être enregistrées en tenant le téléphone horizontalement. L’iPhone 15 Pro utilise côte à côte les caméras principale et ultra-large en mode paysage pour créer des vidéos 3D. Il enregistre simultanément deux vidéos 1080p à 30 ips, résolvant les différences d’objectif et de distance à l’aide de la photographie informatique. Le fichier est enregistré au format HEVC, similaire aux autres fichiers vidéo Apple, et a une taille de stockage d’environ 130 Mo par minute. Ce n’est pas trop mal, probablement parce que les fichiers sont limités à une résolution et une fréquence d’images relativement faibles de 1080p et 30 ips.

Les vidéos spatiales peuvent être partagées via Messages ou AirDrop, mais il peut arriver que les fichiers soient compressés dans d’autres applications, entraînant une perte de données 3D. Cependant, les vidéos devraient être utilisables n’importe où en tant que fichier vidéo de tous les jours, ce qui est une excellente nouvelle pour tous ceux qui se demandent (moi y compris) si vous devez choisir un format vidéo 3D « spécial ».

Vous devez activer le mode vidéo spatiale, soit dans les paramètres de l’application Appareil photo d’Apple, soit via une bascule en forme de masque Vision Pro dans l’application Appareil photo elle-même. Cela limite la résolution vidéo et la fréquence d’images, et signifie également que vous devez filmer en mode paysage. Désolé, pas de vidéos 3D verticales.

L’application Appareil photo donne des recommandations pour tourner l’appareil photo sur le côté et rester à une certaine distance du sujet. On m’a dit de rester entre 3 et 8 pieds de ce que je filmais pour obtenir une bonne vidéo spatiale, mais lorsque j’ai filmé un enregistrement test de quelqu’un préparant des sushis à une table, je me suis rapproché et tout avait l’air parfaitement bien. J’ai également enregistré dans une pièce bien éclairée, mais le mode d’enregistrement vidéo spatial semblait empêcher les ajustements de la luminosité et du contraste, ce qui signifie qu’un enregistrement dans des conditions de faible luminosité pouvait finir par paraître plus granuleux que les vidéos classiques.

Comment la vidéo spatiale va-t-elle évoluer ou être montée ?

Il n’existe pas d’API pour le format vidéo HEVC 3D d’Apple, ce qui signifie que les fichiers ne sont pas encore conçus pour être reconnus par des applications tierces. Mais il est possible que les développeurs d’applications découvrent une sorte de solution. Il est également décevant qu’il n’existe aucun autre moyen de regarder des vidéos 3D que Vision Pro.

L’enregistrement 3D stéréo ressemble en théorie à un processus qui pourrait être adapté à d’autres casques VR comme le Meta Quest 3 à 500 $. Il s’agit d’une vidéo stéréo en direct et n’utilise pas de capteur lidar ni de détection de profondeur pour tout type de capture spatiale en mouvement complet. Malheureusement, cela ne fait pas partie des projets d’Apple pour le moment.

Il n’y a aucune limite d’enregistrement sur les vidéos, vous pouvez donc théoriquement créer un long film 3D pour la vidéo spatiale. Mais il ne sera possible de découper des clips que sur iPhone ou Vision Pro. Final Cut Pro, le logiciel de montage vidéo d’Apple, bénéficiera du support pour le montage vidéo spatial, mais pas avant l’année prochaine. Pendant ce temps, si vous essayez d’éditer ces fichiers vidéo dans un éditeur vidéo Mac ou iOS, ils finiront par être convertis uniquement en fichiers 2D.

Il est également décevant que les vidéos ne puissent pas être enregistrées en 4K. Le casque Vision Pro d’Apple offre une qualité et une précision étonnantes, ce qui est encore une fois devenu évident lorsque j’ai regardé des photos d’iPhone dans le casque et zoomé, ou visualisé des panoramas en mode enveloppant qui m’ont donné l’impression d’être dans une reconstitution immersive et vivante d’un lieu. comme une photo inclinée à 360 degrés. Les vidéos spatiales sont vraiment belles, mais j’avais envie de les voir à 60 ips, 4K ou les deux de manière plus flexible. peut-être un jour.

Souvenirs pour un avenir en 3D

Apple semble souvent essayer de devenir non seulement un style de vie, mais une entreprise de mémoire. Les collections de photos automatiques sont en fait appelées « Mémoires ». Et c’est à cela que ressemble la vidéo spatiale 3D sur Vision Pro : avec des frontières floues, comme les souvenirs numériques de certains Minority Reports ou l’avenir de Bladerunner. Cela m’a également rappelé une partie du réalisme 3D immersif que j’ai utilisé lors des discussions sur le terrain en 3D en temps réel de Google. Projet StarlineMais dans ce cas, je regardais simplement des vidéos.

Le choix d’Apple d’encadrer les vidéos spatiales dans un type de cadrage flou les fait ressembler davantage à des vidéos envoyées en 3D dans la pièce, et les bords se dissolvent légèrement. Mais j’aimerais voir un moyen de faire en sorte que les vidéos soient également entourées d’un cadre standard.

Le format vidéo spatial d’Apple apparaît dans sa propre nouvelle catégorie dans l’application Photos et n’apparaîtra pas encore dans Memories. Le nouvel onglet Vidéo spatiale dans Photos pourrait devenir le référentiel de choix pour de nouvelles expériences 3D. À l’heure actuelle, Apple n’autorise pas les photos spatiales 3D sur l’iPhone 15 Pro, uniquement les vidéos, bien que le Vision Pro puisse prendre des photos lui-même. Mais Apple vise clairement à ce que tout le monde commence à enregistrer avec ce format avant l’arrivée des écouteurs et à constituer une bibliothèque de vidéos performantes.

Cela signifie que vous devrez penser à activer la vidéo spatiale et faire attention à son utilisation. Cette fonctionnalité sera activée par défaut pour les propriétaires de Future Vision Pro sur l’iPhone 15 Pro, mais cela ne représente qu’une petite partie des propriétaires d’iPhone. Je vais l’activer, car je veux voir à quoi ressembleront mes vidéos l’année prochaine sur Vision Pro. Mais à moins que vous n’envisagiez d’acheter un Vision Pro vous-même, il n’y a aucune raison d’enregistrer de la vidéo spatiale maintenant, même s’il est possible qu’un jour vous regrettiez de ne pas avoir filmé des séquences de fête de Noël en 3D. En fait, je pense au fait que j’ai tourné une vidéo pour ma nièce la semaine dernière et à ce que ce serait de pouvoir la voir en 3D également. La nouvelle bascule de la caméra vidéo spatiale allume déjà le futur FOMO.