苹果Vision Pro与Sora联袂,AI浪潮助推XR硬件走向何方?

文章正文
发布时间:2024-02-27 19:59

图片来源@视觉中国

图片来源@视觉中国

文 | 元宇宙新声,作者 | 孙浩南

大家都知道刚刚过去的2023年中AI被评为年度热词,其中OpenAI功不可没,其推出的Chat-GPT一炮而红,微软的Copilot、谷歌的Bard、文心一言、通义千问等其他AI产品紧随其后,各家企业共同创造出了AI的第一波浪潮。

今年刚开年,苹果Vision Pro的发售为XR领域带来了“空间计算”的概念。苹果的热度还未消退,OpenAI推出的Sora就带来了AI的第二波浪潮,而在这波涛滚滚的AI浪潮中,我们似乎看到了苹果与OpenAI“联动”的未来雏形。

Sora掀起了AI的第二波浪潮

OpenAI在2023年推出了Chat-GPT,自此掀起了第一波AI热潮,众多大厂也携带着自家AI产品纷至沓来。你方唱罢我登场的现象让大模型加持的AI浪潮彻底成势,而现在,OpenAI的Sora又成功掀起了AI的第二波浪潮。

Sora取自日语单词,意为“天空”,引申含义还有“自由”。在Sora官网页面,无数只纸飞机在自由飞翔,行动自主,最后汇集成一片天空的背景色。

Sora的核心技术在于其先进的文本到视频转换算法与对现实物理世界的高理解度。使其能够精准理解输入的文本描述,并自动生成与之匹配的高质量视频。Sora让“一句话(prompt)生成视频”成为可能。这种能力的震撼之处在于, Sora在模拟物理世界时,能够更准确地反映出现实世界的复杂性和多样性。在OpenAI发布的宣传视频中,Sora展现出了出色的图像生成能力和流畅的视频编辑技巧,无论是细节刻画还是整体风格把握,都展现出了极高的水准。

其实此前并非没有类似的文生视频AI工具,曾经以“富二代、美女、高材生、创始人”多种网红标签而爆火的Pika Labs也让AI界震惊了一把。但不论是它还是Runway、Pika、SVD(Stable Video Diffusion)、谷歌和 Meta等众多同类产品,都只是小范围的“惊艳”,直到OpenAI下场才成功掀起AI的第二波热潮。

这场AI的浪潮滚滚而来,途中竟然与苹果Vision Pro来了一次跨界“联动”。

AI浪潮助推Vision Pro生态

苹果Vision pro发售后,一跃成为迄今最先进的虚拟现实和增强现实眼镜,苹果公司将其称为“空间计算设备”。OpenAI的创始人兼CEO山姆·奥特曼评价:苹果Vision pro是自iPhone以后第二惊艳的技术。

Vision pro出现让空间计算这个词得到现实中完美呈现,简单说将我们周围的现实物理世界和虚拟世界无缝整合,实现毫无违和感的沉浸式互动体验。其中的空间视频功能更是让众人深感震撼,在“蝴蝶落在指尖”的演示中Vision Pro能够准确地为每个人确定他们的手指所在的位置,并使蝴蝶准确地落在他们的指尖上。一个评测者形容:“你甚至可以清晰地看到指尖上蝴蝶的触手和绒毛,这让我感觉有点起鸡皮疙瘩”。

每一个空间视频都带给人们一种独特的沉浸感,但可惜的是虚拟世界的搭建上和3D电影 沉浸式影片照片体验,现阶段都是基于VisionPro头显专用流媒体资源(至今为止可以访问仅150 深度的3D娱乐项目),且需要依赖于强大的虚拟世界搭建引擎和海量可支持3D的视频模型资源, 哪怕是内置的3D摄像头可以拍摄照片或视频,但也需要用户自主去捕捉拍摄,才能实现进一步呈现。而这一切的资源限制,随着openAI Sora近期发布,让一切限制有了突破的可能性。

有位github网友AndrewMayne就将 OpenAI 发布的案例视频转化成了适用 Vision Pro 的空间视频。AndrewMayne 创建了两个视频轨道,一个用于左眼,一个用于右眼,并根据视频移动的方向稍微改变了轨道的时间。这会创建模拟立体 3D 效果,并且仅适用于存在横向运动的视频。为了将视频转换为适用于 Vision Pro 的 Apple Spatial 视频格式,其使用了 Mike Swansons 的空间视频转换工具。

Spatial 是一款免费的 macOS 命令行工具,用于处理 MV-HEVC 视频文件(目前由 iPhone 15 Pro 和 Apple Vision Pro 拍摄形成)。它将 MV-HEVC 文件导出为常见立体格式(例如上/下、左右以及单独的左眼和右眼视频),可与标准立体/3D 播放器和视频编辑器一起使用。它还可以制作相同立体格式的 MV-HEVC 视频,以便在 Apple Vision Pro 和 Meta Quest 等 XR 硬件设备上播放。

最终经过转换的Sora视频在苹果 Vision Pro上的实际表现也并不差,双目视差能够很好的营造立体感,让人更加身临其境。但终归是网友突发奇想的操作,加之Sora目前尚不完善,所以相比起Vision Pro 或iPhone 15 Pro 直接拍摄的空间视频给人的“空间体验”还是有着不小的差距。

单从空间视频相关参数、以及实际观影 3D 深度、清晰度效果来看,作为原生工具的 Vision Pro 显然更胜一筹。而 iPhone 15 Pro 的优势则主要体现在其便携性上,随时随地可以拍摄空间视频。实际在 Vision Pro 上观看的沉浸感效果与清晰度也相当不错,远远大于在手机上直接观看的形式,层次感也比较分明。并且通过 AirDrop 还能一键投送到 Vision Pro 上,传输方式暴力简单。

但其需要亲自拍摄的特点也限制了视频的内容,作为普通人的我们显然无法拍摄到一些宏大且炫酷的视频画面,但AI却存在无限的可能性。不论是海边优美的风景还是太空激战的画面,对AI来说都不算什么难题,而我们也能够在空间视频中自由的探索奇幻世界。

观看过美国著名成人科幻情景喜剧动画《瑞克和莫蒂》的朋友们应该还记得,动画中的天才科学家瑞克是一个害羞的如厕者,为了不被打扰和享受如厕,他特意建造了一个风景优美的星球,在这颗只属于他一个人的星球进行如厕活动。而戴上Vision Pro后开启虚拟场景后,普通人在如厕时也能看到极光环伺,山川幻景,在上水潺潺间,洗涤时间的污秽。

尽管目前利用Sora 等 AI 大模型生成的视频、普通视频通过转换后,缺乏一些层次与深度,在实际观看中并不是很特别清晰与沉浸。但这些问题不会永远存在,随着Sora等AI工具的逐步完善,其量产化、定制化、低门槛的特点将会进一步被放大,从而有效填补XR设备中空间视频的空白市场。

苹果与AI的“联动”不止空间视频

目前的苹果Vision Pro算是一款纯粹的MR类空间计算设备,应用生态中并无太多AI的融合,但在AI的浪潮的冲击下,苹果 Vision Pro也将会积极拥抱AI,这并非盲目揣测,而是早已有迹可循。

2月4日,OpenAI通过X平台的官方贴文向世界宣告:用户现可在vision OS畅享ChatGPT应用,体验未来科技的魅力。这款应用在视觉展示上保持了与iPad版相似的清晰界面,尽管未专门为visionOS打造独特风格,但其在沉浸式头显中的表现仍然令人期待。值得一提的是,据外媒VentureBeat报道,visionOS版的ChatGPT接入了OpenAI最新的GPT-4Turbo模型,这一升级不仅提升了对话体验,还以更低的成本、更高的响应速率展现出超凡能力。

在苹果Vision Pro的应用中加入ChatGPT只是对AI初步的拥抱,许多应用可以通过更好的方式与AI进行融合。在Vision Pro中,德国djay音乐软件和苹果音乐一起联手打造了全新的djay版本,用户可以在一组虚拟的3D转盘上,通过移动唱针进行不同节拍的混音制作;还有iPadOS版的DAW录音软件,为专业音乐人士提供实时录制和演奏。

这类应用可以与AI音乐生成工具Suno进行融合,例如,可以先利用Suno输入相关提示词生成AI歌曲,之后通过Vision Pro上的音乐软件进行调整与进一步制作,最后使用Pika、PixVerse或者Sora生成视频,就能创作出一种AI版的音乐MV。

这种AI与XR设备结合的发展方式似乎在最新一期的Power On中得到了证实,彭博社的马克·古尔曼表示苹果正在考虑是否要开发智能眼镜,其中,所述设备可以作为苹果实现长期梦想的垫脚石。

苹果Vision Pro的领先是有目共睹的,身为亚洲最大苹果产品集散地的华强北也在努力追逐苹果的脚步,但在科技不断飞跃式前进的当下,曾经山寨机的辉煌岁月似乎愈发的一去不复返了。

AI或将成为华强北XR设备的新出路

在电子消费产品近乎创新停滞、消费动力严重不足的背景下,Vision Pro的出现为电子消费市场注入了一剂“强心针”,对虚拟现实硬件和软件的升级无疑将起到巨大的引导和刺激作用。而如此热闹的科技圈“盛会”自然少不了华强北的身影。

一家名为深圳亿境虚拟的公司赶在Vision Pro正式发售的时候推出了高仿版Vision Pro,这为其迅速带来了热度。该产品在外形明显复刻Vison Pro,能够提供的功能较为基础,也较少,不过售价仅1000多元,还不到Vision Pro的零头,这是其主打的优势。

在推出“高仿版”Vision Pro前,华强北正逐渐失去其往日的喧嚣,很多路过的行人或进去的消费者对此深有体会,空荡荡的过道,紧闭的卷帘门,安静的市场,走在里面,能看见不少旺铺出租的标签。而如今依靠“高仿版”Vision Pro的热度,华强北似乎也变得热闹了起来,但是苹果较高的技术壁垒让华强北的厂商们很难复刻出较为出色的可替代产品。

但这本就是华强北的最大弱势,与其纠结如何弥补短板,不如发挥自身的优势,也就是低价和渗透作用。

当初的苹果AirPods发布时,过于激进的产品设计让其一经发布就遭遇冷嘲热讽,过高的定价更是让消费者望而却步。但华强北却凭借独到的眼光找到了属于自身的出路,50-200元的高仿版AirPods利用低价不断渗透并改变着消费者的使用习惯,而这也为苹果AirPods的成功起到了一些渗透性的作用,时至今日华强北的AirPods依旧有大批消费者。

作为电子消费市场的风向标,华强北一直是技术潮流的跟随者。

2016年被虚拟现实概念点燃的VR眼镜潮流中,在淘宝搜索“VR眼镜”,大多设备都是价格不到100元的“VR 3D虚拟现实眼镜”,这些设备大概有一半来自华强北。当时深圳VR设备每个月的出货量至少有500万台,而这个数字比几大头部VR设备制造商的销量之和还高。数据显示,到2016年年底,Oculus Rift的预计销量将达到35万台,HTC Vive的销量为42万台,谷歌Daydream设备销量45万台,索尼PlayStation VR的表现最好,累计销量将达到260万台。

从上述数据可以看出,在国内,大部分消费者首次接触虚拟现实技术,正是通过这些来自华强北的低价VR盒子。华强北借助这场风口的薄利多销,不仅赚的盆满钵满还催生出了VR硬件设备的产业链,华强北之所以能迅速推出Vision Pro的山寨产品,与此脱不开关系。

尽管此次的高仿版Vision Pro并未复制2016年VR爆火的盛景,但AI的浪潮或许为华强北带来了新的出路。不论是Chat-GPT这种AI大语言模型还是Sora、Pika这种文生视频的AI产品,如果将其植入到设备中或许比起想方设法跨越苹果的技术壁垒来说反而是一种“捷径”。

学习国内XR厂商的打法,专注细分领域,利用自身的XR设备供应链,再植入AI工具,将产品打造成更适合消费者的入门式XR设备,反倒是一条更容易成功的新出路。既然要高仿,不如全都仿,像《幻兽帕鲁》一样,做个“究极缝合怪”。

写在最后

从生成式人工智能文字对话工具 ChatGPT、图像生成器 DALL-E,到视频生成的王炸Sora,OpenAI 正在重塑互联网内容生产形式。

苹果Vision Pro则带来了针对XR领域的空间计算革命,将人们的现实体验提升到了一个全新的层次。通过结合 3D 空间场景与混合现实的内容展示形式,它不断地挑战和刷新人们对于视觉认知的界限。

从目前来看XR设备似乎更像是一张巨大但尚未拼好的拼图,不论是 ChatGPT和Sora掀起的AI热,还是高通研发的XR芯片,抑或是苹果Vision Pro的推出等等,都在各自的领域拼接着他们的那块拼图,而最终将组合到一起促成XR的蓝图,成就元宇宙的虚拟现实时刻。

首页
评论
分享
Top