Apple glasögon

Det ryktas att Apple har ett hemligt team med hundratals anställda som arbetar med virtuella och förstärkta verklighetsprojekt.

• Ja
• Nej

Apples hemliga förstärkta och virtuella verklighetsprojekt

Innehåll

1. Apples hemliga förstärkta och virtuella verklighetsprojekt
• Mixed Reality Headset
• AR smarta glasögon
• iOS 14 AR-läckor
• AR i Xcode
• Ventilpartnerskap?
• Andra rykten
2. Augmented Reality vs. Virtual Reality
3. Apples VR/AR-team
• Anställer
• Förvärv
4. AR / VR-patent
5. Lanseringsdag
6. Framtida AR/VR-planer
7. Apple Glasses tidslinje

Apple har utforskat virtuell verklighet och förstärkt verklighetsteknik i mer än 10 år baserat på patentansökningar, men med virtuell och förstärkt verklighet som exploderar i popularitet i och med lanseringen av ARKit, blir Apples pyssel allt allvarligare och förväntas leda till en AR/ VR-produkt 2022.

Det ryktas att Apple har en hemlig forskningsenhet med hundratals anställda som arbetar med AR och VR och utforskar hur den framväxande teknologin kan användas i framtida Apple-produkter. VR/AR-anställningen har ökat under de senaste åren, och Apple har förvärvat flera AR/VR-företag eftersom det främjar sitt arbete inom AR/VR-området.

Det ryktas att Apple jobbar på åtminstone två AR-projekt som inkluderar ett augmented reality-headset som släpps runt 2022 följt av ett par snyggare augmented reality-glasögon som kommer vid ett senare tillfälle. Många rykten har enbart fokuserat på glasögonen, vilket leder till viss förvirring om Apples planer, men det verkar som att AR/VR-headsetet kommer att vara den första produkten som lanseras.

Apple-analytikern Ming-Chi Kuo tror på Apples 'mixed reality'-headset kommer komma ut i slutet av 2022 eller början av 2023, med Apple Glasses att följa 2025, även om andra källor har sagt att glasögonen kommer 2023. Headsetet är AR/VR, aka mixed reality, medan Apples glasögon är augmented reality.

Mixed Reality Headset

Informationen och Bloomberg har båda sagt att Apple jobbar på smarta glasögon OCH ett AR/VR-headset (aka mixed reality), där headsetet kommer ut först följt av glasögonen. Det ryktas att headsetet liknar Facebooks Oculus Quest virtual reality-headset, men med en snyggare design som använder tyger och lätta material för att säkerställa att headsetet är bekvämt.

Det sägs vara med två högupplösta 8K-skärmar och ögonupptäckande kameror som låter användare 'läsa små texter' och 'se andra människor som står framför och bakom virtuella objekt.' Headsetet kommer att kunna kartlägga ytor, kanter och dimensioner av rum med 'större noggrannhet än befintliga enheter på marknaden.' Den kommer att ha en mer avancerad skärm och ett chip som är ännu snabbare än M1-processorn i 2020 Mac-datorer.

Informationen i februari sa att den kommer att vara utrustad med mer än ett dussin kameror för att spåra handrörelser förutom kameror för att se omvärlden, och designen blockerar perifert syn för att förhindra ljus från att läcka in i bärarens synfält. Det kan också finnas ett utåtriktat visir inbyggt i displayen så att bäraren kan visa grafik för andra.

The Elec påstår att VR-headsetet kommer att ha en högupplöst mikro-OLED-skärm med upp till 3 000 pixlar per tum. En mikro OLED-skärm ryktades tidigare för de smarta glasögonen, men inte VR-headsetet.

Apple-analytikern Ming-Chi Kuo har sagt att Apples kommande mixed reality-headset kommer att innehålla 15 optiska kameramoduler totalt. Åtta av de 15 kameramodulerna kommer att användas för genomskinliga augmented reality-upplevelser, sex moduler kommer att användas för 'innovativ biometri' och en kameramodul kommer att användas för miljödetektering.

Kuo tror också att Apples headset kommer att utrustas med ett avancerat eyetracking-system som används för att ge en intuitiv visuell upplevelse som interagerar sömlöst med den yttre miljön, tillsammans med mer intuitiv drift som kan styras med ögonrörelser och minskad beräkningsbörda i form av en minskad upplösning där användaren inte tittar.

Designmässigt har headsetet beskrivits som ett 'snyggt, böjt visir fäst i ansiktet med ett nätmaterial och utbytbara pannband.' Ett pannband påstås ha rumslig ljudteknik som AirPods Pro för en surroundljudsliknande upplevelse, medan ett annat ger extra batteritid när du är på språng. Apple arbetar med flera kontrollmetoder, inklusive en 'fingerborgsliknande enhet som kan bäras på en persons finger.' Headsetet skulle också kunna svara på bärarens ögonrörelser och handgester, medan en prototyp av headsetet också hade en fysisk ratt på visirets sida. Apple har också testat Siri-ingång.

Apple vill skapa en App Store för headsetet, med fokus på spel, strömmande videoinnehåll och videokonferenser. Det har beskrivits av Bloomberg som en 'allomfattande 3-D digital miljö' designad för spel, titta på video och kommunicera.

Aktuella headsetprototyper är sagt att väga runt 200 till 300 gram, men Apple siktar på att minska slutvikten till 100 till 200 gram om tekniska problem kan lösas, vilket skulle göra headsetet lättare än befintliga VR-enheter. Headsetet kommer att vara bärbart med oberoende kraft och lagring, men det kommer inte att vara 'mobilt' som en iPhone. Det kommer att ge en 'uppslukande upplevelse' som överträffar för närvarande tillgängliga VR-produkter, och den kan integreras med Apple TV+ och Apple Arcade.

Augmented reality-funktionaliteten för headsetet är 'mer begränsad', och även om en lansering är planerad till 2022, sägs Apple ha träffat flera utvecklingshinder och har 'konservativa' försäljningsuppskattningar för enheten. Apple räknar med att sälja cirka 180 000 enheter, vilket är i nivå med dyrare enheter som Mac Pro. Headsetet förväntas bli mycket dyrare än headset från andra företag, och Informationen säger att Apple har diskuterat att prissätta headsetet till cirka 3 000 dollar.

Den ursprungliga designen inkluderade en fläkt och kraftfulla processorer, vilket resulterade i en enhet som var för tung. Apple ska ha beslutat att föra headsetet närmare ansiktet för att minska storleken. Användare kommer inte att kunna bära glasögon när de använder headsetet, så Apple har skapat ett system där anpassade receptbelagda linser kan sättas in över VR-skärmarna.

Kuo tror att headsetet kommer att använda en hybrid Fresnel-linsdesign , som omfattar tre staplade linser per öga gjorda av lättviktsplast. Syftet är att designen ska möjliggöra ultrakorta brännvidder och förbättrad optisk prestanda, samt ett brett synfält, och hålla headsetets vikt under 150 gram.

När det gäller kraft kommer det kommande AR/VR-headsetet att ha en avancerad huvudprocessor som liknar M1-chippet som Apple debuterade för sina Apple silicon Mac-datorer förra året, tillsammans med en lägre processor för att hantera de sensorrelaterade aspekterna av enheten.

Apple-analytikern Ming-Chi Kuo hävdar att den kommer att kunna arbeta självständigt utan att förlita sig på en Mac eller iPhone, vilket är en avvikelse från ett tidigare rykte som sa att det skulle kräver en tjuder till en iPhone. Det kraftfulla chippet i headsetet kommer att driva ett par 4K Micro OLED-skärmar från Sony och sex till åtta optiska moduler för att tillhandahålla AR-baserad funktionalitet. Apple har avslutat arbete på SoC för AR/VR-headsetet, och kommer att optimera för trådlös dataöverföring, komprimering och dekomprimering av video och energieffektivitet för maximal batteritid, och den har inte en neural motor som några av Apples andra chips.

Apples kommande mixed reality-headset kommer erbjuder WiFi 6E support, vilket är den senaste WiFi-specifikationen. Apple sägs planera att implementera WiFi 6E för att ge en förstklassig, uppslukande upplevelse med solid trådlös anslutning. WiFi 6E har alla fördelar med WiFi 6 men lägger till 6GHz-spektrum utöver 2,4GHz- och 5GHz-banden för ökad bandbredd och mindre störningar mellan enheter.

Mixed-Reality Headset-renderingar

Designern Antonio De Rosa har utvecklade 3D-renderingar baserat på detaljer som delas av Informationen , vilket ger oss en titt på hur Apples mixed-reality-headset kan se ut baserat på aktuella rykten.

Informationen har beskrivit headsetet som ett 'snyggt, böjt visir fäst i ansiktet med ett nätmaterial och utbytbara pannband' som erbjuds i flera färger.

Tidiga headsetprototyper

Tidigare rykten från CNET 2018 föreslog att Apple arbetade på ett kraftfullt AR/VR-headset med en 8K-skärm för varje öga som skulle vara frikopplad från antingen en dator eller en smartphone, och det skulle fungera med både virtuella och augmented reality-applikationer.

Istället för att lita på en anslutning till en smartphone eller en dator, headsetet CNET som beskrivs skulle ansluta till en 'dedikerad box' med hjälp av en höghastighets trådlös teknik för kort räckvidd som kallas 60GHz WiGig. Lådan skulle drivas av en anpassad 5-nanometer Apple-processor som är 'kraftfullare än någonting tillgängligt för närvarande.' Lådan liknar tydligen ett PC-torn, men det 'kommer inte att vara en riktig Mac-dator.' Denna lådliknande design var föremål för tidiga rykten och kan vara en prototyp som sedan dess har övergivits för den slankare versionen som rykten nu beskriver.

Interna meningsskiljaktigheter sägs ha format och förändrat Apples mål för sitt AR-headset över tid. Apple var initialt siktar för ett ultrakraftfullt system som kom med ett nav för att hysa processorn enligt beskrivningen ovan, men Jony Ive, som sedan har lämnat företaget, ville inte sälja en enhet som skulle kräva en separat, stationär enhet för full funktionalitet.

Jag ville istället ha ett headset med mindre kraftfull teknik som kunde bäddas in direkt i enheten, men ledaren för AR/VR-teamet, Mike Rockwell, ville ha den kraftfullare enheten. Det var ett stopp som varade i månader, och Tim Cook ställde sig till slut med Ive. Jag sägs föredra AR-smarta glasögon som också är på gång.

AR smarta glasögon

Apple arbetar på en uppsättning augmented reality-glasögon, som läckaren Jon Prosser har föreslagit Apple kommer att kalla 'Apple Glass'. Det namnet skulle vara ett ovanligt val med tanke på likheten med namnet Google Glass, en produkt som fanns långt innan Apples arbete med AR-glasögon kom fram, så det kanske inte stämmer.

Glasögonen sägs likna vanliga glasögon, med båda linserna har displayer som kan interageras med hjälp av gester. Det kommer att finnas ett alternativ att få glasögonen utan receptbelagda linser till ett eventuellt utgångspris på 9, med receptbelagda linser tillgängliga mot en extra kostnad.

Enligt Bloomberg , glasögonen är i ett tidigt utvecklingsstadium , till och med tidigare än AR/VR-headsetet som Apple arbetar med. Glasögonen har beskrivits som 'flera år bort', även om Apple från början hade planerat att släppa dem så tidigt som 2023. Den nuvarande prototypen liknar exklusiva solglasögon med tjocka bågar som rymmer batteriet och chipsen.

Apple påstås vara planerar att använda 'cutting edge' OLED-mikroskärmar från Sony för sina ryktade augmented reality-glasögon. Sonys OLED-mikroskärmar har en ultrasnabb svarshastighet, ultrahög kontrast, ett brett färgomfång, hög luminans, låg reflektans och integrerade drivrutiner för en tunn och lätt design. Glasögonen sägs ha en 0,5-tumsskärm med en upplösning på 1280x960.

Kuo förväntar sig att AR-glasögonen kommer att marknadsföras som ett iPhone-tillbehör och kommer i första hand att ta en displayroll som laddar ner datoranvändning, nätverk och positionering till iPhone, med glasögonen tillhandahålla en mobil-först 'optisk genomskinlig AR-upplevelse.' Genom att erbjuda AR-glasögonen som ett iPhone-tillbehör kommer Apple att kunna hålla dem smala och lätta. Prosser säger att glasögonen kommer att likna Ray-Ban Wayfarers eller glasögonen som Tim Cook bär.

Bloomberg har sagt att Apple-glasögonen kommer att köra 'rOS' eller verklighetsoperativsystem. rOS sägs vara baserat på iOS, operativsystemet som körs på iPhone. För AR-headsetet utvecklar Apple ett 'system-på-ett-paket'-chip som liknar det som finns i Apple Watch, även om det kommer att förlita sig på iPhone som nämnts ovan.

Under utvecklingen av ett AR-headset har Apple övervägt pekpaneler, röstaktivering och huvudgester som inmatningsmetoder, och en rad applikationer från kartläggning till sms håller på att skapas. Virtuella mötesrum och 360-graders videouppspelning är också koncept som utforskas.

Trodde det var första rykten av en lansering 2020 , Bloomberg tror AR-glasögon kunde komma är år borta från release, med VR-headsetet som kommer ut 2022. En rapport från DigiTimes föreslog att Apples AR-glasögon kommer att lanseras 2021, och Apple-analytikern Ming-Chi Kuo förväntar sig en lansering 2022 som tidigast .

Läckaren Jon Prosser tror att Apple kommer att avslöja sina AR-glasögon i mars eller juni 2021, men detta verkar felaktigt givet uppskattningar från Bloomberg och Kuo.

Prosser säger också att Apple arbetar på en begränsad version av 'Steve Jobs Heritage' av de smarta glasögonen som är designade för att se ut som de runda, ramlösa glasögonen som Steve Jobs brukade bära, men Bloomberg Mark Gurman har kallat det här ryktet 'fullständig fiktion'.

Apple är arbetar med TSMC att utveckla 'ultra-avancerade' mikro-OLED-skärmar som kommer att användas i Apples kommande augmented reality-enheter som de smarta glasögonen. Skärmarna sägs vara mindre än en tum i storlek.

Micro OLED-skärmar byggs direkt på chipwafers snarare än ett glassubstrat, vilket resulterar i skärmar som är tunnare, mindre och mer energieffektiva. Utveckling av mikro OLED-skärmar sägs vara i testproduktionsstadiet och det kommer att ta flera år innan Apple och TSMC är redo för massproduktion, vilket skulle göra dessa skärmar lämpliga för Apple Glasses som ryktas att lanseras någon gång runt 2023.

Från och med början av 2021, Apple sägs vara går in i en 'andra utvecklingsfas' på en prototyp för augmented reality-glasögon. Glasögonen är inställda på att gå igenom en tredje utvecklingsfas om några månader, och sedan när prototypdesignen är klar kommer den bärbara enheten att gå igenom en period av teknisk verifiering på sex till nio månader.

iOS 14 AR-läckor

Kod och bilder finns i iOS 14 bekräfta Apples arbete med ett AR- eller VR-headset, med ett foto upptäckt som visar en generisk kontroller för ett headset som i design liknar HTC Vive Focus-headsetet. Apple har använt HTC Vive-hårdvara för interna testsyften.

Apple testar sin AR-utrustning med en iOS 14-app som heter Gobi tillsammans med QR-koder för att testa augmented reality-upplevelser. En av dessa förstärkta verklighetsupplevelser är ett bowlingspel på övergångsstället som utlöses vid ett specifikt övergångsställe i Sunnyvale, Kalifornien.

AR i Xcode

Koden i Xcode 11 bekräftar Apples arbete på något slags AR-headset. Det finns referenser till kodnamnade testenheter plus ramverk och ett systemskal relaterat till dessa enheter. Referenserna tyder på att Apple utvecklar stöd för en ansiktsmonterad AR-upplevelse som liknar Googles Daydream.

Ventilpartnerskap?

Enligt taiwanesisk sajt DigiTimes , samarbetar Apple med spelutvecklaren Valve för sitt ryktade AR-headset. Valve släppte sitt första VR-headset, Valve Index, i april 2019.

Valve har tidigare arbetat med Apple för att ge inbyggt stöd för VR-headset till macOS High Sierra, och utnyttja eGPU-stödet med en Mac-version av SteamVR-programvaran.

Andra rykten

I november 2017 köpte Apple Vrvana , ett företag som utvecklade ett mixed reality-headset som heter Totem. Vrvanas teknologi kan potentiellt användas i ett framtida Apple-headset. Apple följde sitt köp av Vrvana med ett förvärv av Akonia Holographics, ett företag som tillverkar linser för AR-smarta glasögon.

Rykten har också föreslagit att Apple skulle kunna införliva sin förstärkta verklighetsforskning i sitt pågående bilprojekt som en del av ett mjukvarusystem i bilen som kan inkludera en heads-up-display eller andra funktioner.

Notera: Ser du ett fel i den här sammanfattningen eller vill du ge feedback? .

Augmented Reality vs. Virtual Reality

Augmented reality (AR) och virtuell verklighet (VR) är liknande tekniker, men det finns en stor skillnad mellan dem och deras potentiella tillämpningar varierar kraftigt. Virtuell verklighet hänvisar till en fullständig uppslukande upplevelse i en virtuell värld, medan förstärkt verklighet hänvisar till en modifierad syn på den verkliga världen.

Skillnaden kan kanske bäst sammanfattas genom en jämförelse mellan två produkter, en AR och en VR. Google Glass , Googles numera nedlagda uppsättning smarta glasögon, är ett exempel på förstärkt verklighet. Det ögonburna Google Glass låter användare se världen som den är, men den erbjöd en heads-up-skärm som överlagrade relevant datorförsedd information över den verkliga världsbilden, såsom lokalt väder, kartor och meddelanden.

Detta liknar det som Apple sägs arbeta med med sina ryktade 'smarta glasögon'.

I jämförelse, Facebooks Oculus Rift är ett virtuell verklighetsheadset som erbjuder en uppslukande visuell upplevelse som inte förstärker den verkliga världen med ytterligare sensorisk information – det ersätter helt den verkliga världen med en simulerad värld.

Augmented reality tillhandahåller datorgenererat sammanhang och information om världen omkring oss samtidigt som vi kan interagera med vår omgivning, medan virtuell verklighet är utformad för att isolera oss från vår omgivning så att vi kan interagera med fiktiva världar.

kostnad för iphone 12 pro max

Potentiella tillämpningar för de två är väldigt olika. Virtuell verklighet är speciellt fokuserad på uppslukande innehållskonsumtion eftersom det får bäraren att känna sig som om de faktiskt upplever vad som händer i den simulerade världen genom visuell, taktil och ljudåterkoppling. Virtual reality är till stor del kopplat till spel just nu, men det har också potentialen att återskapa verkliga upplevelser för utbildnings- eller träningsändamål.

Augmented reality bygger inte på uppslukande innehåll och även om det är mindre spännande eftersom det utökar verkligheten istället för att ersätta det, har det ett bredare utbud av potentiella tillämpningar. Faktum är att appar och spel för augmented reality är lätt tillgängliga i iOS 11 tack vare ARKit.

Med ARKit kan en iOS-enhet identifiera en yta som en tabell, och sedan kan virtuella objekt läggas till den. På grund av datorkraften hos iPhone och iPad är ARKits förstärkta verklighetsfunktioner imponerande. ARKit används redan för att skapa ett stort utbud av appar och spel som blandar digitala objekt med den verkliga världen.

spela

Apple kan sikta på en produkt som fungerar med både förstärkt och virtuell verklighet, vilket antyds av de senaste ryktena som tyder på arbete med ett AR/VR-headset. En sådan produkt skulle kunna användas för seriösa virtual reality-applikationer såväl som för augmented reality-upplevelser, och den skulle likna Microsoft HoloLens.

Apples VR/AR-team

Apples arbete med virtuell och förstärkt verklighet går tillbaka flera år, men rykten tog fart med början i mars 2015 när nyheterna kom att Apple hade ett litet team av människor som arbetar med förstärkt verklighet. Under 2015 och in i början av 2016 växte Apples team när företaget anställde anställda med expertis inom AR/VR-teknik och gjorde flera relaterade förvärv.

Apples AR/VR-team inkluderar flera hundra ingenjörer från hela Apple, som alla har expertis inom virtuell och förstärkt verklighet. Teamet arbetar över kontorsparker i både Cupertino och Sunnyvale, och Apple utforskar flera hårdvaru- och mjukvaruprojekt under kodnamnet 'T288.'

Apples team för augmented reality kombinerar 'styrkorna hos sina hårdvaru- och mjukvaruveteraner' och leds av Mike Rockwell, som kom från Dolby. Tidigare anställda på företag som Oculus, HoloLens, Amazon (från VR-teamet), 3D-animationsföretaget Weta Digital och Lucasfilm arbetar med AR hos Apple.

Apples tidigare chef för maskinvaruteknik, Dan Riccio, övergick i januari 2021 till en ny roll där han är övervaka Apples arbete på ett AR/VR-headset. Projektet har stått inför utvecklingsutmaningar och Apples chefer tror att Riccios fokus kan hjälpa.

Anställer

En av Apples mest framstående AR/VR-anställda var professor i datavetenskap Doug Bowman, som tidigare ledde Virginia Techs Center for Human-Computer Interaction. Han är specialiserad på tredimensionell design av användargränssnitt och har skrivit en bok om ämnet som täcker 3D-gränssnitt och fördelarna med uppslukande virtuella miljöer. Han har expertis inom både virtuell och augmented reality.

Apple har också anställt anställda som har arbetat med virtuella eller augmented reality-produkter hos Microsoft och Lytro. Vissa nyanställda sägs vara från Microsofts HoloLens-team, medan andra arbetade på Lytro, ett företag som arbetar med en kamera som kan blanda live action och datorgrafik för en live action VR-upplevelse. Anställda som kommer från HoloLens-teamet skulle ha erfarenhet av att skapa ett avancerat augmented reality-headset.

Lytro Immerge 360-graderskamera

Zeyu Li, som tjänstgjorde som huvudingenjör för datorseende på Magic Leap (en startup som utvecklar en huvudmonterad AR/VR-skärm), arbetar nu på Apple som 'Senior Computer Vision Algorithm Engineer.'

Yury Petrov, en före detta forskare på Facebook-ägda Oculus, är nu 'forskare' på Apple. Enligt sin LinkedIn-profil studerade Petrov virtuell verklighetsupplevelser, prototypad optik och utvecklade datorsimuleringsprogram.

Augmented reality-experten Jeff Norris anslöt sig till Apple i april 2017 som senior manager som arbetar på företagets augmented reality-team. Norris grundade Mission Operations Innovation Office och JPL Ops Lab vid NASA. Han ledde flera projekt fokuserade på interaktion mellan människa och system med tonvikt på virtuell och förstärkt verklighet.

Apple anställde i maj 2018 2018 Sterling Crispin , som utvecklade en målarapp för mobila VR-headset. 'Cyber ​​Paint' låter VR-headsetbärare skapa 2D 260-gradersbilder på Oculus Go, Daydream, GearVR och Vive Focus. Crispins LinkedIn-sida säger att han arbetar som en 'prototypforskare', vilket tyder på att han har gått med i teamet som ryktas om att arbeta med VR/AR-headsetteknologi.

Apple anställde i december 2018 tidigare senior Tesla och Microsoft HoloLens-designern Andrew Kim, och med tanke på hans historia kan han arbeta på Apples ryktade AR-glasögonprojekt eller dess kommande Apple-bil som sägs vara under utveckling.

Jaunt VR-grundaren Arthur van Hoff började på Apple som senior arkitekt i april 2019. Innan han arbetade på Apple var hans företag skapade VR-hårdvara , inklusive en 0 000 3D VR-kamera som heter Jaunt One. Innan van Hoff lämnade företaget misslyckades Jaunt och gick över till AR-upplevelser.

Med Apples team som omfattar hundratals anställda finns det många andra anställda virtuella verklighetsexperter som har gått under radarn. På LinkedIn finns det flera mjukvaruingenjörer med virtuell verklighetserfarenhet som är anställda av Apple, men det är oklart om de arbetar på det hemliga AR/VR-teamet.

Apple flyttade i juli 2019 Kim Vorrath, en av dess programvaruchefer, till det augmented reality-headsetet division för att få lite ordning i laget. Vorrath har övervakat programhanteringen i mjukvaruutvecklingsteamet i 15 år, och har beskrivits som en 'kraftig kraft' som ser till att anställda håller deadlines samtidigt som de avhjälper buggar.

Förvärv

Många medlemmar i Apples AR/VR-team kan ha anslutit sig till företaget genom förvärv. Sedan 2015 har Apple köpt flera företag som skapat AR/VR-relaterade produkter, och några av dess AR/VR-förvärv går till och med flera år tillbaka i tiden.

Apple köpte i augusti 2018 Akonia Holographics , en startup som tillverkar linser för augmented reality-glasögon. Akonia Holographics annonserar 'världens första kommersiellt tillgängliga volymholografiska reflekterande och vågledaroptik för transparenta displayelement i smarta glasögon.'

Skärmarna som den tillverkar sägs använda företagets HoloMirror-teknik för 'ultra-klar, fullfärgsprestanda' för att möjliggöra de 'tunnaste, lättaste huvudburna skärmarna i världen.'

I november 2017 köpte Apple Vrvana , ett företag som utvecklade ett mixed reality-headset som heter Totem. Totem, som aldrig släpptes för allmänheten, designades för att kombinera både förstärkt och virtuell verklighetsteknik i ett enda headset, genom att slå samman fulla VR-möjligheter med genomgångskameror för att möjliggöra skärmbaserade förstärkta verklighetsfunktioner.

Totem använde i huvudsak en uppsättning kameror för att projicera verkliga bilder i sin inbyggda 1440p OLED-skärm, ett något unikt tillvägagångssätt som skilde den från konkurrerande produkter som Microsofts HoloLens, som använder en transparent skärm för att kombinera virtuell och förstärkt verklighet. Apple kanske planerar att använda en del av Totems teknologi i en framtida produkt.

Apple köpte det israeliska 3D-kroppsavkänningsföretaget PrimeSense 2013, vilket väckte spekulationer om att rörelsebaserade funktioner skulle implementeras i Apple TV. PrimeSenses 3D-djupteknik och rörelseavkänningsfunktioner användes i Microsofts första Kinect-plattform.

PrimeSense använde nära-IR-ljus för att projicera ett osynligt ljus in i ett rum eller en scen, som sedan läses av en CMOS-bildsensor för att skapa en virtuell bild av ett objekt eller en person. Detta möjliggör rörelsebaserade kontroller för mjukvarugränssnitt, men det kan också göra saker som att mäta virtuella objekt och tillhandahålla relativa avstånd eller storlekar, användbart för augmented reality-applikationer som interaktivt spel, inomhuskartläggning och mer. PrimeSense-tekniken kan också skapa mycket exakta 360 graders skanningar av människor och objekt, potentiellt användbara för virtuell verklighet.

Apple förvärvade augmented reality-startupen Metaio i maj 2015. Metaio byggde en produkt som heter Metaio Creator, som kunde användas för att skapa scenarier för förstärkt verklighet på bara några minuter. Innan den köptes av Apple användes Metaios programvara av företag som Ferrari, som skapade ett showroom för utökad verklighet.

Metaio-tekniken användes också i Berlin för att göra det möjligt för människor som besökte platsen för Berlinmuren att använda en smartphone eller surfplatta för att se hur området såg ut när Berlinmuren fortfarande stod kvar. Metaios teknologi är en som potentiellt kan användas för att implementera förstärkt verklighetsfunktioner i Apple-appar som Maps.

Apple förvärvade Faceshift i augusti 2015, vilket markerar sitt andra köp av augmented reality 2015. Innan Faceshift köptes upp av Apple arbetade Faceshift med spel- och animationsstudior på teknik som utformats för att snabbt och exakt fånga ansiktsuttryck med hjälp av 3D-sensorer, och förvandla dem till animerade ansikten i realtid. Faceshift arbetade också på en konsumentinriktad produkt som skulle tillåta människor att omvandla sina ansikten till tecknade eller monsteransikten i realtid i Skype.

Faceshifts teknologi har ett brett utbud av möjliga användningsfall, och Apple verkar använda funktionen för att driva Animoji i iPhone X.

Emotient, ett företag som byggde verktyg för analys av ansiktsuttryck, förvärvades av Apple i januari 2016. Emotients teknologi använder artificiell intelligens och maskininlärning för att läsa mänskliga känslor, funktioner som har använts i den verkliga världen av annonsörer för att fastställa känslomässiga reaktioner på annonser.

Det finns dussintals saker som Apple skulle kunna göra med Emotient, allt från bättre ansiktsdetektion i Photos-appen till att analysera kundernas känslor i Apples butiker till att låsa upp iOS-enheter, men det har också potentiella AR/VR-användningar. Liksom Faceshift kan Emotients teknologi användas för att analysera och transformera ansiktsuttryck för att skapa virtuella avatarer, användbara för sociala medier och spel. Känslomässig teknologi användes troligen för Animoji.

Flyby Media köptes i början av 2016 och är ett annat företag som arbetade med förstärkt verklighet. Flyga förbi skapat en app som fungerade med Googles 3D-sensorutrustade 'Project Tango'-smartphone, vilket gör att meddelanden kan bifogas till verkliga objekt och ses av andra med en av Googles enheter.

Till exempel kan en person 'skanna' ett landmärke som San Franciscos Golden Gate Bridge och skriva ett meddelande bifogat till det. En person som besöker bron senare skulle då kunna skanna bron med Flyby-appen för att se meddelandet. Flyby-appen uppmärksammade troligen Apple eftersom den kunde känna igen och förstå olika objekt som skannades, teknik som kunde användas av Apple på ett antal sätt i appar som Foton och Kartor.

I februari 2017 köpte Apple RealFace, ett cybersäkerhets- och maskininlärningsföretag som specialiserat sig på ansiktsigenkänningsteknik, som potentiellt kan användas för framtida funktioner för förstärkt verklighet.

RealFace utvecklade ansiktsigenkänningsteknik som integrerar artificiell intelligens för friktionsfri ansiktsigenkänning. Realface-teknik användes sannolikt i iPhone X , Apples första smartphone med ansiktsigenkänningsfunktioner i form av Face ID.

Apple i maj 2020 förvärvade NextVR , ett Kalifornien-baserat företag som kombinerade virtuell verklighet med sport, musik och underhållning, och erbjuder VR-upplevelser för att titta på liveevenemang på VR-headset från PlayStation, HTC, Oculus, Google, Microsoft och andra tillverkare.

Apple i augusti 2020 köpte VR startup Spaces , ett företag som designade virtuell verklighetsupplevelser som människor kunde uppleva i gallerior och andra platser, som 'Terminator Salvation: Fight for the Future.' Spaces skapade också virtuell verklighetsupplevelser för videokommunikationsappar som Zoom, vilket är något som Apple potentiellt skulle kunna införliva i en framtida AR/VR-produkt.

AR / VR-patent

Apple har ansökt om flera patent som hänför sig direkt till ett virtual reality-headset, som alla går tillbaka flera år. Även om tekniken sannolikt har avancerat något utöver dessa, ger de en intressant titt på de idéer som Apple har utforskat tidigare.

En patentansökan från 2008 täckte ett ganska grundläggande 'personligt visningssystem' utformat för att efterlikna upplevelsen av att vara i en biograf när man tittar på video.

Ett andra patent beskrev ett 'huvudmonterat displaysystem' med en 'lasermotor' som projicerade bilder på en display av klart glas som bärs över ögonen, liknande glasögon. I den här konfigurationen kopplas headsetet till en handhållen videospelare som en iPod för att ge processorkraft.

Ett tredje patent som ursprungligen ansöktes om 2008 liknade designen och täckte ett glasögonliknande videoheadset utformat för att låta användare titta på filmer och annat innehåll. Den beskrev två justerbara optiska moduler i linje med användarens öga, vilket kunde ge synkorrigering och möjliggöra visning av 3D-innehåll. Apple beskrev detta som att erbjuda en personlig medieupplevelse.

TILL fjärde patentet från 2008 täckte en ram för videoheadset som liknar Google Glass, som skulle tillåta en användare att skjuta in sin iPhone eller iPod i headsetet för att tillhandahålla video. Headsetet beskrevs som en förstärkt verklighetsprodukt som skulle låta användare göra saker som att titta på en video eller kolla e-post samtidigt som de håller ett öga på sin omgivning.

Utöver headset-relaterade patent har Apple också ansökt om patent som beskriver andra sätt på hur virtuella och förstärkta verklighetsfunktioner kan implementeras i sina enheter. En patentansökan från 2009 omfattade till exempel kamerautrustade 3D-skärmar som skulle skifta i perspektiv baserat på en användares relativa position.

En sådan skärm skulle detektera huvudrörelser, vilket gör att en användare kan flytta runt huvudet för att titta på en 3D-bild från olika vinklar samtidigt som element från användarens miljö ingår.

2010 och 2012 års patent beskrev användningen av rörelsesensorer för att skapa ett 3D-gränssnitt för iOS-enheter med hjälp av augmented reality-tekniker. Apple beskrev gränssnittet som ett 'virtuellt rum' som navigeras genom att manipulera enhetens orientering genom inbyggda sensorer eller genom gester.

2011 lämnade Apple patent på en förstärkt verklighetsfunktion i Maps-appen relaterad till kartläggning av avståndet till anmärkningsvärda landmärken. Med kameran kunde en användare titta på området runt sig och få realtidsuppskattningar av avståndet mellan två punkter tillsammans med överlagringar av relevant information.

Ett patent inlämnat 2014 och beviljat 2017 täcker ett mobilt förstärkt verklighetssystem som kan upptäcka objekt i miljön och överlagra dem med virtuell information genom användning av kameror, en skärm och ett användargränssnitt. Apple beskriver systemet som idealiskt för en huvudmonterad display, men det visar också att det används i smartphones.

Apple har arbetat med virtual reality-teknik som skulle kunna vara det används inom autonoma fordon . Flera Apple-patent beskriver ett system som inkluderar ett virtuell verklighetssystem i bilen med ett VR-headset som bärs för att tillhandahålla underhållning och för att lindra bilsjuka från uppgifter som att läsa och arbeta medan ett fordon är i rörelse.

TILL Juli 2020 patentansökan täcker möjliga inmatningsmetoder med Apple Glasses, som beskriver ett system där glasögonen använder infraröd värmeavkänning för att upptäcka när någon rör vid ett verkligt objekt, vilket gör att glasögonen sedan kan projicera kontroller på en verklig yta.

Med den här metoden kan Apple Glasses projicera i AR-kontrollgränssnittet på alla faktiska objekt i den verkliga världen för en blandad verklighetsöverlagringseffekt.

Apple i februari 2021 lämnat in ett antal patent relaterat till dess arbete med ett ryktbart mixed reality-headset, med patenten som täcker designelement, linsjustering, eyetracking-teknik och mjukvara.

Apple har utvecklat flera metoder för att göra ett headset mer bekvämt att bära samtidigt som det håller det säkert och blockerar ljus, plus att det finns ett detaljerat linsjusteringssystem som använder vätska för att sömlöst flytta linserna för att anpassa passformen för varje användare.

Apple beskriver också ett ögonspårningssystem som använder infrarött ljus för att detektera position, och det finns också ett patent på hur dokument kan kunna redigeras i ett virtuellt 3D-utrymme med hjälp av headsetet och gestdetektering.

Apple har patenterade system för inspelning av video från ett headset, där inbyggda blickföljande sensorer kan ge en indikation på var en person för närvarande tittar, vilket kan styra en inbyggd kamera att spela in scenen där användarens ögon är placerade, istället för att bara spela in vad som finns framför användaren.

Ännu en patentansökan inlämnad i februari 2021 visade att Apple undersöker en fingermonterad enhet med en rad sensorer och haptisk feedback som ska användas som en kontrollenhet för ett mixed-reality-headset.

Styrenheten har en form som gör att användarna kan känna föremål i sin omgivning naturligt och kan exakt fastställa hur användaren rör på fingret och interagerar med ytor. Systemet sägs vara så exakt att det kan upptäcka hur hårt en användare trycker på en yta och den exakta riktningen för denna kraft, vilket ger haptisk feedback som svar.

Tillsammans med ett AR- eller VR-headset säger Apple att den här fingermonterade enheten kan 'ge en användare känslan av att interagera på ett fysiskt tangentbord när användaren trycker med fingret på en bordsyta' eller 'tillåta en användare att leverera joystick' -typ input' för spel med endast rörelsen av användarens fingertoppar.

Lanseringsdag

Apple-analytikern Ming-Chi Kuo sa i oktober 2021 att det kommande mixed reality-headsetet har blivit försenad tidigast till slutet av 2022, med produktion som ska påbörjas under fjärde kvartalet 2022.

Bloomberg tror också att AR/VR-headsetet som Apple jobbar på kommer ut 2022, medan AR-glasögonen som är under utveckling kommer ut vid ett senare tillfälle. Informationen har föreslagit att ett AR/VR-headset kommer att släppas 2022, följt av smarta glasögon 2023, men detta är en tidigare tidslinje än andra källor har angett för glasögonprodukten.

Apple påstås vara efter med att testa för de smarta glasögon som är på gång, vilket kanske kan leda till förseningar. Apple var tänkt att gå in i den andra fasen av utvecklingen av glasögonen i början av 2021, men testerna i fas två har ännu inte startat så volymproduktionen under första kvartalet 2022 är inte väntad .

Morgan Stanley-analytiker sa nyligen att AR-headsetet 'närmar sig lyft' baserat på antal patent Apple har publicerat. Analytikerna tror att Apples patentportfölj för dess AR/VR-headset liknar patentportföljen som byggdes inför lanseringen av Apple Watch.

Framtida AR/VR-planer

Apple-analytikern Ming-Chi Kuo tror att Apple kan planera för augmented reality 'kontaktlinser' som kunde starta någon gång på 2030-talet.

Enligt Kuo kommer linserna att föra elektronik från eran av 'synlig datoranvändning' till 'osynlig datoranvändning.' Det finns 'ingen synlighet' för kontaktlinserna just nu, och det är inte en garanterad produkt som Apple kommer att utveckla.