恐龙骨架四处奔跑、复活石像开口说话、微缩小人军队对战……电影《博物馆奇妙夜》里异想天开的场景,在现实生活中都有可能变成现实。
只不过,电影里靠的是来自远古埃及的神秘力量,而现实中可以借助AR(增强现实)这种越来越成熟的技术。
(电影《博物馆奇妙夜》画面)
让展品和文物“活”过来
年1月,故宫三大主题性综合文创项目之一的“金榜题名”,迎来了一位虚拟考生。这位考生端坐在互动屏幕里,当观众走到屏幕前,计算机视觉技术自动把观众和虚拟考生连接上。观众的头部运动和脸部表情,会实时反映在虚拟考生上。
不远处,还有个AR互动式展项“孔庙祭孔”。观众走到屏幕前时,一个融合进现实场景的虚拟孔子形象就会出现。观众摆出标准的“拜礼”手势向孔子回礼后,会触发拍照合影。通过这个互动,观众能更直观感受到孔子的形象,比如他其实是个cm以上的长人。
这些简单的互动,都是商汤科技将AI+AR应用于文旅场景的一次尝试。作为中国本土AI领域独角兽企业,商汤科技自年起开始探索计算机视觉技术与AR结合的场景。“一方面,我们为花椒和抖音这类短视频App提供AR特效的技术支持。另一方面,和国内手机品牌合作打造类似于苹果ARKit的AR底层技术平台。”商汤科技移动智能事业群副总裁、城市级智慧文旅负责人王子彬告诉品玩,“此外,商汤还打造了一个跨终端、跨平台的混合现实技术平台SenseMARS。”
而落地文旅场景、将AR作用于传统文化IP,是商汤正在尝试的新方向。00年国庆假期,商汤科技和杭州西湖合作,推出了更大空间尺度的AR导航导览体验。商汤科技打造的“AR游览路线”,始于平湖秋月,途径孤山后山路、放鹤亭、苏小小墓,终于岳王庙,全长1.4公里。
当游客身处这条路线时,打开手机App“掌上西湖”,对着实景扫一扫,就能开启AR导航导览模式。将平湖秋月、放鹤亭、苏小小墓以及岳王庙四个景点之一设为目的地后,游客能在手机里看到,导航箭头与路面贴合在一起,指引很直观。
每到一个景点,手机屏幕就会根据景点渲染成不同景象。比如,在放鹤亭,会出现虚拟的仙鹤与梅花;在岳王庙前,则会浮现策马奔腾的场面。
同样是在00年国庆假期,位于杭州余杭区的世界文化遗产“良渚古城遗址”,也引进了AR导航导览。他们的合作方,是杭州初创公司Rokid(若琪)。
Rokid的产品通常基于新型人机交互方式,比如侧重语音交互的智能音箱,以及多模态交互的AR智能眼镜。在AR眼镜这块,他们已经迭代了三代产品。与此同时,他们也在探索AR眼镜的落地方向。“良渚古城遗址是真正商用落地的项目。”Rokid展陈业务负责人陈希告诉品玩。
(落地良渚古城遗址的AR眼镜RoikdGlass)
良渚古城遗址和Rokid的合作,落地在两个场所:良渚博物院和良渚古城遗址公园。每个场所分别配备了50台AR眼镜RokidGlass,通过租赁的形式提供给观众。在室内的良渚博物院,观众戴上AR眼镜游览参观时,可以看到展品的虚拟多媒体信息,耳边同时响起音频解说。相比传统语音讲解器,AR眼镜提供了更多维度、更直观的信息。
(良渚博物院的AR增强信息)
而在室外的良渚古城遗址公园,Rokid眼镜提供了AR导览和虚拟遗址还原。陈希对品玩表示:“良渚遗址公园有个特点,它不像圆明园这种遗址,有地上遗留的建筑可以看。它是考古发现的,地面上只有很少的内容呈现。AR所能实现的遗址还原功能,特别适用于良渚遗址公园。”
(良渚遗址公园的AR导航和导览)
事实上,故宫、杭州西湖和良渚古城遗址之外,国内国外都有不少博物馆和景区,在尝试利用AR技术增强游览体验。比如00年4月,华为基于自己的AR平台“河图”,在敦煌景区实现了AR导览。
(华为河图落地敦煌的案例)
在国外,纽约市大都会艺术博物馆、史密森国家自然历史博物馆和肯尼迪航天中心等等机构,都引入了AR增强游览体验。
(国外的HoloLens导览案例)
AR走向C端的试验田
将AR这项新技术引入导览场景,固然新奇炫酷,但这样做能产生真正的价值吗?
AR之所以还不能普及到大众消费者,除了硬件设备远未成熟,还有一个很重要的原因,就是没有找到核心价值点。AR似乎只能带来炫酷的视觉效果,而没有匹配上真正的刚需,但在博物馆和景区这样的特定场所,情况变得不一样。
(旨在面向消费者的MagicLeap1发售6个月后仅售出约套,离10万套的目标甚远)
首先,对博物馆和景区运营方来说,AR能带来实在的附加值。年,《国家文物事业发展“十三五”规划》发布,在全国范围内启动智慧博物馆建设工程,“运用物联网、大数据、云计算、移动互联等现代信息技术,研发智慧博物馆技术支撑体系、知识组织和‘五觉’虚拟体验技术”。
“年左右,当我们在探索AI落地方向时,也在尝试AI和AR的结合。在文旅场景,我们发现无论是政府引导层面,还是博物馆景区和终端用户层面,都对AR技术非常感兴趣。”王子彬对品玩表示。
Rokid在00年3月之后开始探索文旅导览导航这一场景。和文旅场所运营方接触后,陈希感受到,在疫情影响到线下门票销售的情况下,文旅从业者会思考如何提高景区的附加值。而利用AR这种技术,可以给消费者带来新的吸引力。另一方面,很多文旅场景都有传统语音讲解器。这个陈旧的设备,其实有很多提升空间。
其次,对AR服务商来说,文旅导航导览场景是AR走向C端的绝佳试验田。这个场景实际上是BBC模式,如王子彬所总结:“业务上面向博物馆,但产品上面向普通消费者”。
逛博物馆和景区,虽然对于个人是低频次消费,但这些场所对于AR服务商来说,客流量较大、且客户快速流动,可以获得很多真实的用户消费数据。陈希对品玩表示:“AR要往C端走,一定要经历市场反馈、迭代产品这个过程,文旅场景有足够的用户群体去做这件事。”
此外,即使从商业的角度来看,文旅导览导航场景也是值得期待的。陈希告诉品玩:“和租借语音讲解器一样,Rokid在博物馆里运营AR眼镜提供服务,也是按次收费,一次几十元。最快不到一年,最慢一年半,就能收回成本。之后持续运营,一直可以有收入。”
最后,对于普通观众来说,AR提供了实实在在的信息增量和体验升级。王子彬对品玩表示,AR给观众带来的核心价值点,可以分为工具和文化两个层面。工具上,不管是室内还是室外场景,观众确实需要更好的导览导航服务。如上所述,传统的语音讲解器和指示牌,有很大提升空间。
文化层面,博物馆和景区通常都沉淀了很多文化IP,但在呈现上做得不是很好。“对于观众来讲,其实(博物馆和景区)很多东西他们真的不知道,只看文字或者碑亭,是没有感性认知的。”王子彬告诉品玩,“通过沉浸式技术呈现出来后,观众更容易对文化IP有深刻印象。”
陈希也对品玩表达了同样的感受:“我们总结出来一句话——‘让人们看到应该看到的东西’。遗址原本的面貌、文物内部结构和底部样貌,都非常适合用AR呈现出来。”
对于落地的项目,Rokid有几个维度去衡量AR的效果,比如运营层面的转化率,以及现场调查用户反馈。转化率是指,现场参观人数中有多少比例租借AR设备。“现在是博物馆参观淡季,还是有%的转化率,相当于个人中有0人租借设备。在我们看来,这个转化率是不错的。”陈希说。据Rokid披露的数据,在国庆假期8天时间内,总计接待游客体验数量超过人,远超传统讲解设备体验人次。
现场调查用户反馈中,包含整体评价和推荐指数两个关键指标。陈希表示:“整体评价分为‘一般’、‘好’和‘很好’三个级别,通常评价都是‘好’,少部分人给出‘很好’评价。而观众推荐指数相当高,90%的人会推荐给其他人。”
要把这事做好也不简单
AR虚实融合的特性,决定了虚拟内容必须足够真实,才能让观众觉得可信,比如虚拟物体的大小和光照条件,都要和所放置的场合相匹配。落到博物馆和景区,更要求内容保证真实性。陈希告诉品玩,由于博物馆和遗址公园场景具有教育意义,因此要求完全符合真实历史,不得有半点出入。
(带有影子的AR物体会更加真实)
因此,在文旅导览导航场景,AR服务商面临着内容和技术上的双重挑战。
“专家一看就说,‘不对,良渚时代是没有白猪的’。”陈希记得很清楚,当时他们要根据遗址出土的猪骨,去还原家猪的形象。他们根据现代人的思维惯性,还原了一个白猪,但良渚时期家猪都是野猪演变过来的,只有黑猪。查找文献、咨询专家、来回修正,在和良渚古城遗址合作的两个多月期间,Rokid团队一直重复着这个流程。
商汤科技也经历了相似的过程。在和故宫文化合作的“孔庙祭孔”项目中,商汤科技要把孔子形象进行还原。“孔子有多高、穿什么衣服、站姿应该是怎么样的、如何正确做作揖的动作……这个项目看起来很简单,但每一个细节都要经过考证。”王子彬告诉品玩。比如孔子的身高,现代人其实没有什么概念,而据史书记载,孔子长九尺有六寸,人皆谓之“长人”而异之。根据不同时代度量衡计算,孔子身高约为.8cm或1.7cm。
相比内容,AR服务商在技术上遇到的挑战更大。在良渚博物院里面,Rokid设计的方案是,当观众站在一个展品面前并注视的时候,就意味着他对展品感兴趣。这时候AR眼镜的视觉识别能力会自动识别展品,然后显示跟展品有关的额外信息。
陈希对品玩表示,就是这么一个简单的视觉识别场景,落到博物馆实际使用中,都有很多细节体验需要改进。比如,当博物馆人流量比较大的时候,有些观众可能没法站在靠近展品的位置,前面有人遮挡住了展品,干扰到AR眼镜的视觉识别效果。
另外,佩戴眼镜的观众,有大人也有小孩,身高不一、视角不同,也会影响视觉识别效果。为了解决这些细节体验问题,Rokid团队增加了不同场景下的数据采集,对识别算法做进一步训练。即使在正式上线后,团队也得不断迭代数据。
商汤科技在做AR游西湖项目时,也遇到了不小的挑战。王子彬告诉品玩:“相比故宫文化的项目,西湖的空间范围更大、环境更复杂。我们第一次去试的时候,定位成功率极大下降。尤其是在孤山后山路上。这条路比较窄,树木很多,阳光在不同时段差异很大。而且,环境会随着季节变化而改变。”
准确定位是呈现AR内容的基础。只有精准快速地确定用户位置,才能根据位置提供相应的虚拟内容。定位最常见的方式是根据GPS导航,但在博物馆和景区这种场景,准确度会大大降低。因此,商汤科技采用了基于视觉的高精度三维数字化地图进行定位,但这项技术当时还没有在像西湖这种空间范围这么大、环境这么复杂的环境验证过。
经过一轮技术攻关,商汤科技最终还是把项目落地了。针对空间范围广的问题,他们将导览区域进行了划分,分区域扫描,然后再做整合。扫描设备的传感器也做了调整,在视觉传感器外加入了其他类型传感器。而针对时间跨度的问题,他们加入了更新机制,并且与定位技术进行整合。王子彬说,AR游西湖这个项目做完后,商汤科技的高精度三维数字化地图的技术,在大空间尺度上得到很大提高。
(扫描西湖构建的高精度三维数字化地图)
AR游西湖呈现给用户的渠道,主要是“掌上西湖”手机App。用户手机性能存在很大差异,一些较早的、性能较差的手机,在AR内容呈现上很吃力。“00年10月份项目上线时,我们实测下来真正能体验AR游西湖的用户大约为60%。”王子彬告诉品玩。
为了扩大普及率,商汤科技基于WebAR提供了小程序观看的形式,同时进行功能分级。性能不足的设备,可以使用基本的功能,如AR导航,但帧率比较低。王子彬说:“现阶段还是要花比较大力气去解决产品可用性问题,通过这种方式,95%左右的用户都可以使用到AR游西湖这个产品。”
不可否认,当前AR技术仍有很多不成熟的地方:硬件设备普及率低、虚拟内容制作成本高、用户缺乏认知......但这种技术确实能在特定场景带来价值。在工业领域,AR早已开辟了一片市场,PTC和微软都有不少成功的用户案例。不过,工业领域的使用者毕竟是专业人员,这更加凸显出文旅导览导航场景的意义——业务面向B端,但产品面向C端。
商汤科技和Rokid都告诉品玩,在成功落地了一些案例之后,有不少博物馆和景区主动联系咨询,后续将有很多项目开展。事实上,不止博物馆和景区,类似的技术和产品可以移植到商场场景,为用户提供室内的AR导览导购服务。比如商汤科技已经和成都IFS达成合作,将会在01年落地项目。