Apple Vision Pro : tout ce que les développeurs d'applications doivent savoir

Le casque Vision Pro d'Apple inaugure une nouvelle catégorie de produits au sein de la firme. Il marque ainsi une étape importante depuis l'Apple Watch. A vrai dire, il n'est pas comme tous les autres appareils Apple. Il fonctionne avec le système d'exploitation visionOS. De ce fait, il est nécessaire que les développeurs créent des applications spécifiquement adaptées à ce dispositif pour la réalité augmentée (AR) et virtuelle (VR).

Lors de la Worldwide Developers Conference (WWDC), Apple a dévoilé le Vision Pro. Il s'agit un casque de réalité mixte révolutionnaire qui fusionne les technologies de réalité virtuelle et de réalité augmentée. C'est le premier produit d'envergure lancé par la société depuis près de 10 ans, et son annonce officielle a eu lieu le 05 juin 2023. Un nouveau système d'exploitation, appelé visionOS, alimente l'appareil.

Tim Cook, le patron de cette entreprise qualifie le dispositif de « nouveau type d'ordinateur ». Cela veut dire que c'est un nouveau terrain vierge pour les développeurs. Alors, que peuvent-ils attendre du casque et de son nouveau système d'exploitation ? Quels sont les kits de développement disponibles pour les créateurs ?

L'écosystème de développeurs d'Apple Vision Pro

L'un des atouts majeurs du Vision Pro réside certainement dans sa capacité à faciliter la connexion des applications déjà développées pour les iPhones et les iPads au système d'exploitation du casque. Cette intégration sera rendue possible grâce à l'utilisation d'outils et de frameworks familiers. Le système du dispositif n'est pas comme celui des plateformes Meta, PlayStation, HTC et Valve. Pour enrichir leurs expériences AR ou VR, ceux-ci se basent principalement sur des applications et des jeux développés dans Unity ou OpenXR.

Meta Quest propose bien des applications essentielles comme Xbox, Netflix et Microsoft Office. Cependant, au-delà de celles-ci, son offre est encore limitée. Depuis la sortie du casque Meta, le Meta Quest Store n'a publié qu'environ 400 jeux et applications. Cela indique un manque important de contenu optimisé pour la VR, même après plusieurs années.

Apple, quant à lui, promet de mettre à disposition un grand nombre d'applications dès le lancement de son casque Vision Pro, grâce à son travail sur d'autres plates-formes. Les applications iPad et iPhone seront automatiquement transformées en une unique fenêtre 2D adaptable sur le Vision Pro. Les développeurs n'auront pas à effectuer des efforts supplémentaires, à moins qu'ils ne souhaitent effectuer des modifications. Les créateurs familiers avec l'écosystème Apple pourront facilement développer de nouvelles applications pour l'appareil en utilisant visionOS.

Des restrictions sur la confidentialité, imposées aux développeurs

Apple propose une approche visant à protéger la confidentialité des utilisateurs en réorganisant les données et les interactions disponibles pour les développeurs. Le système ne permet pas aux applications d'accéder directement aux données des capteurs. Il prend lui-même en charge cette tâche et il fournit aux applications des événements et des indices visuels.

A titre d'illustration, le système détecte la position des yeux et les mouvements des mains d'une personne dans un espace 3D. Ensuite, il transmet ces informations aux applications sous forme d'événements tactiles. De plus, lorsque la vue est au centre de l'attention, le système applique un effet de survol, sans pour autant indiquer à l'application où la personne regarde.

Dans certaines situations, les développeurs pourraient nécessiter davantage que des données « organisées ». Jim Tilander, ingénieur de l'équipe RealityKit, a souligné qu'en cas de besoin réel d'accéder à des informations plus sensibles, le système sollicitera d'abord l'autorisation des utilisateurs concernés.

Étant donné les implications potentiellement intrusives du Vision Pro sur la vie privée des individus, y compris les capacités de balayage oculaire pour la connexion et le suivi, les restrictions imposées par Apple aux développeurs semblent justifiées. En somme, les limitations de confidentialité d'Apple pour Vision Pro sont intégrées au niveau du système d'exploitation. Cela confére à Apple un contrôle étendu.

Comment les développeurs sur le Vision Pro créeront-ils des applications pour visionOS ?

Jim Tlander a déclaré que « tout commence avec Xcode ». Xcode représente l'IDE d'Apple, c'est-à-dire l'environnement de développement intégré. On l'utilise principalement pour développer des applications logicielles pour les appareils tels que les iPhone, iPad, Mac et Apple Watch. Xcode propose une suite complète d'outils de développement, y compris un éditeur de code, un débogueur, des outils de profilage et de test, ainsi qu'une interface de conception d'interface utilisateur.

Xcode prend en charge plusieurs langages de programmation, notamment Objective-C, Swift et C++. Il offre une large gamme de frameworks et de bibliothèques pour faciliter le développement d'applications Apple. A ne citer que l'UIKit, le SwiftUI, le Core Data et la Core Animation.

Pour les développeurs, cet IDE ne vient pas seul. Il est livré avec un simulateur pour le premier casque de réalité mixte d'Apple. On compte également un outil d'analyse des performances. Ce dernier inclut un nouveau modèle, RealityKit Trace.

RealityKit et ARKit, des frameworks pour la création d'expériences AR

Pour créer du contenu, les créateurs ont les frameworks RealityKit et ARKit. RealityKit est un framework qui permet la création d'expériences AR sur les appareils Apple tels que l'iPhone et l'iPad. A part cela, il fournit des outils et des fonctionnalités pour intégrer des objets virtuels et des interactions AR dans des applications.

RealityKit est souvent utilisé en conjonction avec ARKit, un autre framework d'Apple spécifiquement dédié à la réalité augmentée. ARKit prend en charge des fonctionnalités telles que le suivi de position et d'orientation, la détection de visages et de gestes, l'éclairage dynamique, la réflexion et le rebond de lumière, ainsi que la cartographie spatiale.

Un nouvel éditeur Reality Composer Pro pour les développeurs

Apple réintroduit un nouvel outil mis à jour, le Reality Composer Pro. Celui-ci assure la gestion des éléments immersifs d'une application Vision Pro comme les modèles 3D, les matériaux et les jumeaux numériques. Il aide donc à importer et à organiser de nombreuses ressources. Cet outil offre une intégration étroite avec Xcode, ce qui permet aux développeurs de tester leurs éléments dans un environnement simulé. Un Redditeur l'a qualifié de « Powerpoint en réalité augmentée », soulignant ainsi sa simplicité d'utilisation.

SwiftUI pour créer de nouvelles applications immersives

Introduit par Apple en 2019, SwiftUI est un framework de développement d'interface utilisateur (UI) pour les applications iOS, macOS, watchOS et tvOS. Il est conçu pour simplifier la création d'interfaces utilisateur réactives et dynamiques. Il a la capacité de créer des applications immersives, ce qui signifie des applications qui offrent une expérience utilisateur engageante et captivante. De plus, il permet de créer des interfaces utilisateur riches en utilisant des composants interactifs et en exploitant les capacités matérielles des appareils iOS.

Selon Apple, SwiftUI est la méthode la plus efficace pour créer de nouvelles applications immersives pour le Vision Pro et pour adapter les applications existantes de l'iPadOS ou de l'iOS sur cet appareil. Les développeurs peuvent l'utiliser pour concevoir des fonctionnalités telles que la profondeur, les gestes, les effets et les scènes immersives pour les applications Vision Pro.

Apple s'associe à Unity

La firme de Cupertino a aussi pris soin de s'associer à Unity, une plate-forme 3D existante. Il est bon de rappeler que Unity est largement utilisé dans l'industrie du jeu vidéo. Mais c'est aussi un moyen de créer des expériences interactives dans d'autres domaines tels que la réalité virtuelle, la réalité augmentée, la visualisation architecturale, l'animation et la simulation. La plateforme offre une gamme d'outils et de fonctionnalités puissantes pour construire des mondes virtuels immersifs en 3D.

Lors du discours d'ouverture de la WWDC 2023, il a été souligné que les jeux et les applications populaires développés avec cet outil bénéficieront pleinement des fonctionnalités de visionOS. Cela inclut le passthrough, le rendu haute résolution et les gestes natifs. De son côté, Tilander a indiqué qu'un plug-in Unity ne sera pas nécessaire pour les créateurs. Ces derniers pourront tout simplement « utiliser leur contenu existant ».

Des kits de développement pour les développeurs sur Apple Vision Pro

Il sera difficile pour les développeurs de créer et de tester leurs applications pour la plate-forme visionOS s'ils n'ont pas accès au matériel nécessaire. Pour résoudre ce problème et garantir une vaste gamme d'expériences disponibles au lancement du Vision Pro, la marque à la pomme prévoit de distribuer des kits de développement pour les développeurs. Ces outils les assisteront dans la concrétisation de leurs idées sur leur casque. Ils leur offriront la capacité de développer, d'itérer et de réaliser des tests rapides sur le Vision Pro. Apple n'a pas encore donné d'indications sur la disponibilité des kits. Mais les développeurs auront la possibilité de faire une demande pour les obtenir.

En 2020, Apple a annoncé la transition de ses Mac vers des puces basées sur son propre silicium Apple. Il a abandonné progressivement les processeurs Intel. Dans ce cadre, il a proposé aux développeurs un kit de développement. Celui-ci leur permettait d'optimiser leurs applications pour la nouvelle architecture Apple Silicon. Les intéressés pouvaient l'acheter pour 500 $. Le kit comprenait un Mac mini avec une puce Apple Silicon M1. On comptait aussi les outils et les ressources nécessaires pour commencer à travailler sur la transition vers l'architecture Apple Silicon. Cependant, les développeurs ont dû les restituer à la clôture du programme de test.

Il est probable qu'Apple exigera aussi des développeurs qu'ils acquièrent un casque Apple Vision Pro afin de créer des applications. Le coût d'achat inclura l'accès au logiciel de test, aux laboratoires de développement, aux plateformes de discussion, au service d'assistance technique et à diverses autres ressources, si le kit de développement Apple Vision Pro est similaire à celui de silicium Apple.

Un test plus pratique dans quelques laboratoires

Apple met à disposition des développeurs des évaluations de compatibilité pour leurs applications existantes. Cette démarche est nécessaire pour vérifier si une application est compatible avec un certain système d'exploitation, une version spécifique du système d'exploitation ou une combinaison particulière de matériels et de logiciels. Cela est essentiel pour vérifier que l'application fonctionne correctement et offre une expérience utilisateur optimale.

Outre cela, les créateurs auront l'occasion de faire des tests pratiques dans des laboratoires de développement Vision Pro. Cela se fera dans les villes de Cupertino, Londres, Munich, Shanghai, Singapour et Tokyo. Ces emplacements proposeront des démonstrations des applications visionOS, iPadOS et iOS en cours d'exécution sur le Vision Pro. En juillet, davantage d'informations seront disponibles concernant les outils de développement de contenu destinés au casque Vision Pro.

Le casque Apple Vision Pro a un prix de départ est de 3 499 $. Il ne sera pas disponible à l'achat avant le début de 2024.

Partager l'article :