What to Expect in Apple's New AR/VR Headset.

Apple has been incorporating augmented reality into its products for years, but it appears that the company will enter the mixed-reality headgear market in 2023 before Meta, Microsoft, and Magic Leap. Right now, it's becoming more and more obvious that the gadget would resemble Meta's most recent standalone VR hardware, but with more advanced features and optimisations that might push it even further—and cost more. This AR/VR headset's announcement has been slipping for some time, but it now appears like it will be made during Apple's WWDC developer conference, with a potential sale date later in the year. Recent sources state that the hardware will use prescription lens inserts, feature a separate power pack and have a compact visor design. It might not be the final version of the perfect headset Apple plans to create, but it's a step in the right direction. Apple has been actively involved in augmented reality on its iPhones and iPads for years and has already left plenty of hints about what its mixed-reality future may bring. With an emphasis on work, mixed reality, and eye tracking built in, there is a good chance that the headset will operate similarly to Meta's most recent high-end headset, the Quest Pro. 

Is the name Apple Reality Pro? Is the software known as Apple xrOS?  

Gurman speculates that this headset's operating system might be referred to as "xrOS," but the headset itself may not bear that name. Realities One, Realities Pro, and Realities Processor are just a few of the names "Reality" included in recent trademark registrations, according to Bloomberg. RealityKit is the name of Apple's current augmented reality software framework for iOS, and previous rumours speculated that "Reality OS" would be the name of the ecosystem for the new headset. 

To some extent, names don't matter at this time because no one truly anticipated the name of the Apple Watch. But it does show that Apple is progressing with a product and software, without a doubt. 

Apple VR Headset is set for launch date: 2023  

New Apple products are frequently revealed months, if not even years, in advance of their release. This course was taken by the iPad, Apple Watch, HomePod, and iPhone. According to recent estimates, the headset distribution could be delayed until the second half of 2023, although an event announcing the headgear might happen soon.  

That period would make sense, allowing developers to grasp the idea well before the hardware is made available and perhaps even allowing Apple's WWDC developer conference to discuss the software's intricacies. In either case, it would take a lot of practice for developers to get used to creating apps that comply with Apple's design guidelines and run smoothly on its headset. This calls for Apple to announce its hardware well in advance of its actual release. 

A digital crown, mixed reality, and eye tracking  

Many features of the headset are described in Gurman's most recent January report, which also highlights a variety of cameras that will enable mixed reality with pass-through cameras like the Quest Pro. A digital crown will be utilised to switch between AR and VR modes, and interactivity will combine eye and hand tracking.  

According to the report, the headset will also allow for more realistic avatar chat during one-on-one FaceTime sessions, double as a linked display for Macs (as do current VR headsets) and have a separate battery pack connected by a cable to the headset.  

With this initial first-wave headset, Gurman advises an emphasis on gaming, media, and communication, as well as on immersive VR video. Gurman thinks that FaceTime utilising the rumoured headset might also rely on Memoji and SharePlay for communication: Instead of seeing the person you're speaking to, you'd see a 3D representation of their unique Memoji avatar. Depending on how many callers there are, the level of realism may change. 

Apple may have bigger intentions for this headset. In a note to investors that MacRumors was able to view, Kuo stated, "The company's goal is to replace the iPhone with AR in 10 years." According to Kuo, the gadget might only weigh 300 to 400 grammes, or 10.5 to 14 ounces, roughly. Nonetheless, it is larger than a typical pair of glasses, and early renderings of its potential design resemble futuristic ski goggles much more. Gurman's reports also mention the AirPods Max as a possible indication of the design aesthetic. 

Controls: A small wearable gadget or hand tracking?  

Gurman's most current headgear reports indicate that the primary methods of interaction with Apple's headset, which resembles Microsoft's HoloLens 2, are hand and eye tracking. Will there, however, be any additional regulation at all? Hand tracking is frequently inaccurate and difficult to complete comprehensive work in. 

The Information's earlier reports on Apple's headset point to a simpler control scheme as opposed to the sophisticated and bulky game controller-like accessories that are currently employed by many VR headsets. Hand tracking should be used by Apple's headset, just like it is with many other VR and AR headsets. But Apple would probably also require a controller-style peripheral for inputs. One of the biggest challenges Apple may have to overcome is one of control and input. 

Recent patent applications suggest a potential smart ring-style device that would support motion and air motions as well as perhaps integrating with peripherals. It's also conceivable that Apple will use some of the hardware it already has to serve as inputs. Could the device in use there be an Apple Watch?  

It's possible, but the Apple Watch's touchscreen and motion-control features might not be sufficient for the more in-depth interactions required by an Apple headset. Perhaps a pair of iPhones could be used as controllers as well. That is how Qualcomm sees the next generation of phone-enabled glasses. 

Depth-sensing hardware from Apple is already here.  

Apple has already made significant investments in camera arrays that can sense the environment both up close and at a distance. The front-facing TrueDepth camera, which Apple has used on every Face ID iPhone since the X, is like a scaled-down version of the Microsoft Kinect and can scan a few feet away while detecting 3D data with sufficient accuracy to be utilised for a safe face scan. Recent iPads and iPhones from Apple have lidar technology that can scan out several metres farther. Glasses would require that range.  

The current lidar technology from Apple, when paired with cameras, is already capable of scanning environments and 3D things. It appears that the depth-scanning that Apple is offering could eventually have global ambitions when combined with the wider scale lidar scanning that Apple is undertaking in Maps to enable overlays of real-world places with virtual items via a technique called Location Anchors. 

Apple's new Mac Chips already suggest compatibility with VR and AR.  

Technically speaking, Apple's Macs with M1 support and those that have followed are much better equipped to provide the power required to run AR and VR, and they share similarities with how iPhones and iPads handle graphics. A headset could theoretically function on an iPhone, iPad, or Mac by developing a common framework across platforms, becoming a universal Apple device accessory. 

If Apple wants its VR or AR headsets to play any part in creative workflows or be utilised for games or apps, that would be necessary. That is one of the drawbacks of current VR headsets, which are still incompatible with iOS and Android mobile devices and require Windows gaming PCs to function.