《虚拟动点：2023虚拟现实产业布局白皮书（80页）.pdf》由会员分享，可在线阅读，更多相关《虚拟动点：2023虚拟现实产业布局白皮书（80页）.pdf（80页珍藏版）》请在本站上搜索。 1、虚拟现实产业布局白皮书虚拟现实产业布局白皮书虚拟动点 AI 时代虚拟现实产业领创者虚拟动点 AI 时代虚拟现实产业领创者2023 年 5 月前言前言虚拟现实技术作为引领全球新一轮产业变革的重要力量，正在不断催生新场景和新业态。在 2021 年发布的国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要中，虚拟现实（VR）和增强现实（AR)已被列入重点发展方向，将迎来长足发展。然，不问来处，何知前路？于是，我们尝试探寻历史上工业革命、移动互联网革命这两波重要浪潮的“发起-高潮-平稳”历程，尝试推断出：人类通往虚拟世界的节奏依然遵从技术成熟、商业可行、市场增量空间技术成熟、商业可行、市场增2、量空间三个维度。底层技术框架：底层技术框架：硬件，软件，内容，硬件、网络层、计算力、虚拟平台、协议和标准、支付方式、内容、服务和资产、消费者行为。商业可行性：商业可行性：相较于C端元宇宙目前仍有数据隐私、硬件设备发展不足等问题，B端制造业、商业的落地应用可能会到来得更快。B端与C端不同，主要聚焦在解决现实问题、降低沟通成本、加速项目落地，如军事航空、工业仿真、影视娱乐、医疗、教育等。市场增量空间：市场增量空间：根据 IDC 对市场的预测，前瞻预计到 2026 年我国 AR/VR 行业市场规模将超 130 亿美元。2026 年 VR 游戏、VR 培训和 VR 协作预计将在中国成为 VR 主要应用3、场景，三者合计占比超过50%。按现在的底层技术、商业可行性，虚拟现实的 B 端场景化突破已不远。目录目录前言.21.关于虚拟现实.11.1 虚拟现实的概念.11.2 虚拟现实产业链.21.3 虚拟现实的关键技术.41.3.1 智能显示：Micro LED 是 VR/AR 的终极显示方案.41.3.2 感知交互：自然化、情景化、智能化.51.3.3 渲染计算：软硬耦合、质量效率兼顾.61.3.4 网络传输：5G+千兆网络支撑虚拟现实全场景应用.61.3.5 内容制作：交互性体验和支撑工具快速发展.72.虚拟动点关于虚拟现实产业的布局及能力.82.1 业务定位与产业布局.82.2 虚拟动点的核心能4、力.102.2.1 空间计算.102.2.1.1 光学动作捕捉技术及产品.112.2.1.2 惯性动作捕捉技术及产品.182.2.1.3 光惯融合系统及产品.212.2.1.4 基于 3D 深度摄像机的动作捕捉.212.2.1.5 表演捕捉系统.222.2.2 AI 赋能虚拟现实.272.2.2.1 数字人交互.282.2.2.2AIGC 生成数字人.302.2.2.3AIGC 赋能内容制作.312.2.2.4 基于 RGB 摄像机的动作捕捉技术.322.2.2.5 建立动作数据资产（交易）平台.322.2.2.6 建立动捕技术云平台.332.2.2.7 动捕数据赋能 AI 大模型.342.25、.3 数字孪生：可操作+可计算+可视化.352.2.3.1 工业元宇宙体系的关键底座.362.2.3.2 人工智能赋能数字孪生城市.372.2.4 智能显示技术.382.2.4.1 Micro LED：虚拟现实的终极显示方案.382.2.4.2 量子点技术：点亮世界第一款 AR/VR 用 2 微米全彩 NPQD Micro LED阵列.413.虚拟动点数字技术赋能虚拟现实商业落地.433.1 强国：以作训为主的航空航天、军警安防系统.443.2 兴业：以行业为场景的商业应用.463.2.1 虚拟现实+工业仿真.473.2.2 虚拟现实+影视制作.493.2.3 虚拟现实+游戏娱乐.543.2.6、4 虚拟现实+医疗行业.553.2.5 虚拟现实+智慧教育.593.2.6 虚拟现实+体育训练.613.2.7 虚拟现实+展馆展示.643.2.8 虚拟现实+文化旅游.683.2.9 元宇宙体验馆.703.3 惠民：智能电视+AI 数字人走进家庭.724、共建虚拟现实产业生态.744.1 遍布全球的合作伙伴及营销网络.744.2 共建动作捕捉开发生态平台（开发者社区）.75参考文献.7611.关于虚拟现实1.关于虚拟现实1.1 虚拟现实的概念1.1 虚拟现实的概念虚拟现实由来已久，钱学森院士称其为“灵境技术”，指采用以计算机技术为核心的现代信息技术生成逼真的视、听、触觉一体化的一定范围的虚拟环7、境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得身临其境的感受和体验。随着技术和产业生态的持续发展，虚拟现实的概念不断演进。业界对虚拟现实的研讨不再拘泥于特定终端形态，而是强调关键技术、产业生态与应用落地的融合创新。本书对虚拟（增强）现实（Virtual Reality，VR/Augmented Reality，AR）内涵界定是：借助智能显示、感知交互、渲染处理、网络传输和内容制作等新一代信息通信技术，构建身临其境与虚实融合沉浸体验所涉及的产品和服务。扩展现实（Extended Reality，XR）技术，是指通过计算机技术和可穿戴设备产生的一个真实与虚8、拟组合、可人机交互的环境，是 AR、VR、MR 等多种形式的统称。三者交互融合，实现虚拟世界与现实世界之间无缝转换的“沉浸感”体验。目前，我国虚拟现实关键技术进一步成熟，在画面质量、图像处理、动作捕捉、3D 声场、人体工程等领域有了重大突破，产品供给日益丰富，应用创新生态持续壮大，已形成基本完整的虚拟现实产业2链和产业生态，虚拟现实产业市场规模不断扩大，取得了阶段性成果。1.2 虚拟现实产业链1.2 虚拟现实产业链虚拟现实产业链条很长，主要分为硬件终端、软件系统、场景应用和内容生产。图 1：虚拟现实产业链硬件终端方面，硬件终端方面，主要分为终端外设及关键器件，其中终端外设包括以 PC 式、一体9、式、手机伴侣与云化虚拟现实终端，以及手柄、全向跑步机等感知交互外设。关键器件主要包括芯片、屏幕、传感器、光学镜片等。软件系统方面，软件系统方面，主要涉及面向虚拟现实的操作系统、开发引擎、SDK、API 等开发环境/工具，以及全景相机、3D 扫描仪、光场采集设备等音视频采集系统。场景应用方面，场景应用方面，聚焦文化娱乐、教育培训、工业生产、医疗健康、商贸创意等领域，呈现出“虚拟现实+”大众与行业应用融合创新的特点。文化娱乐以游戏、视频等强弱交互业务为主，在数量规模上占据主导，商贸创意可有效提升客流量与成交率，主要包括地产、电商、时尚等细分场景，工业生产与医疗健康应用早期局限于培训指导，目前开始逐10、渐向产品设计、生产制作或临床诊疗等更为核心的业务领域3拓展。内容渠道方面，内容渠道方面，除互联网厂商主导的内容聚合与分发平台外，包含电信运营商发力的电信级云控网联平台，以及自助 VR 终端机、线下体验店与主题乐园等线下渠道。来源：中国信通院、VRPC 整理图 2：虚拟（增强）现实产业地图（2020）41.3 虚拟现实的关键技术1.3 虚拟现实的关键技术结合虚拟现实跨界复合的技术特性，可划分为“五横一纵”的技术架构。其中，“五横”是指智能显示、感知交互、网络传输、渲染计算与内容制作，“一纵”是指 XR（VR/AR/MR）。1.3.1 智能显示：Micro LED 是 VR/AR 的终极显示方案111、.3.1 智能显示：Micro LED 是 VR/AR 的终极显示方案在近眼显示方面，从当前的技术发展上来看，VR/AR 显示技术包括 OLED（有机发光二极管）/LCoS（硅基液晶）/DLP（数字光处理）/LBS（激光束扫描仪）等，但这些技术均无法兼顾成熟性、性能、成本等指标。Micro LED 是业内公认的最佳解决方案，相较其它技术，Micro LED 在亮度、对比度、工作温度范围、刷新率、分辨率、色域、功耗、延时、体积、寿命等多方面具备优势。在屏幕轻薄度方面，Micro LED 和硅基 OLED 一样都是自发光的方案，同样不需要偏振器，不过由于 Micro LED 顶部只有玻璃基板，并且12、 LED 芯片尺寸非常小，因此在轻薄度方面更胜一筹。在光效方面，Micro LED 相较于传统 LCD 或 OLED 显示器，能够产生更多的“每瓦亮度”。测试数据显示，Micro LED 只需要消耗一半的电能，就能够达到硅基 OLED 的亮度。因此，Micro LED 可以让 AR/VR 设备的续航更长久。在显示性能方面，Micro LED 的分辨率理论上能够达到硅基OLED 的数倍，可以轻松实现 8K 显示；Micro LED 的对象切换时间为纳秒级，比微秒级的硅基 OLED 更加出色，完全没有了拖影的问5题；Micro LED 能够实现更高的对比度和屏幕亮度，增强了阳光下的可读性；此外，M13、icro LED 的寿命更长，远远超过了硅基 OLED。当然，还有一点必须要提到的是，Micro LED 具有目前已知屏幕方案中最好的透明性，这对于 AR 设备而言非常重要。目前，市面上已发布的 Micro LED 智能眼镜产品较少，此类产品大多处于初期开发阶段，Micro LED 在良率、量产性、全彩化等方面还有待进一步的发展。此外，虚拟现实对于大场景应用更早落地，其中以利亚德为代表，在大尺寸 Micro LED 显示端已实现小范围应用。1.3.2 感知交互：自然化、情景化、智能化1.3.2 感知交互：自然化、情景化、智能化当前，手势追踪、眼动追踪、表情追踪、全身动捕、沉浸声场、高精度环境理14、解、三维重建、肌电传感、气味模拟、虚拟移动、触觉反馈等诸多感知交互技术百花齐放，共存互补，并在各细分场景下呈现相应的比较优势。未来，理想的人机交互可让虚拟现实用户聚焦交互活动本身，而忘记交互界面（手段）的存在，界面愈发“透明”，自然化、情景化与智能化成为感知交互技术发展的主航道。虚拟现实沉浸体验的进阶提升有赖于对视觉、听觉等多感官通道一致性与关联性的强化。而利亚德在全身动作捕捉（面部、手指等）而利亚德在全身动作捕捉（面部、手指等）、沉浸声场（声场预测系统、可变声学环境系统、全景多声道系统）沉浸声场（声场预测系统、可变声学环境系统、全景多声道系统）等领域技术积累深厚，产业链完整，正积极推动虚拟现15、实技术商业应用。61.3.3 渲染计算：软硬耦合、质量效率兼顾1.3.3 渲染计算：软硬耦合、质量效率兼顾不同于影视工业中离线渲染技术对视觉保真度的极致追求，实时渲染主要用于无预定脚本的游戏等强交互应用，为保证渲染速度而在一定程度上对渲染画质做出权衡妥协。虚拟现实渲染领域的主要技术挑战在于面向传统游戏的上述权衡范式难以直接套用于虚拟现实应用，表现为相比游戏画面的主流渲染要求（如 FHD 分辨率所须每秒渲染六千万像素并且不高于 150 毫秒的用户交互时延），虚拟现实渲染负载与 MTP 时延须提升十倍量级才可达到初级沉浸的入门体验。此外，在跨越了沉浸体验的初始门槛后，渲染质量与效率间的平衡优化成为16、时下驱动虚拟现实渲染技术新一轮发展的核心动因，即用户需求的持续进阶放大了渲染画质、速度、成本、带宽等多目标规划的求解难度。在智能云控与以人为本的创新架构下，云渲染、人工智能与注视点技术触发虚拟现实渲染计算 2.0 开启。特别是随着人工智能技术的演进，其正成为虚拟现实渲染质量与效能的倍增器与调和剂。1.3.4 网络传输：5G+千兆网络支撑虚拟现实全场景应用1.3.4 网络传输：5G+千兆网络支撑虚拟现实全场景应用2019 年 5 月工信部、国资委共同印发专项行动，确定开展“双G 双提”，推动固定宽带和移动宽带双双迈入千兆（G 比特）时代，明确提出 2019 年我国千兆宽带发展的目标，2020 年17、 9 月，国务院常务会议确定加快新型消费基础设施建设，第五代固定网络（F5G）千兆宽带与 5G 网络共同构成双千兆接入网络联接，助力千兆城市建7设。当前，作为影响虚拟现实体验的关键因素，5G 传输网络正不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务 AI 识别等新的技术路径，旨在实现无卡顿、无花屏、黑边面积小、高清画质切换无感知等用户体验，加速虚拟现实的规模化发展。来源：华为图 3：面向虚拟现实业务的网络传输技术供需匹配情况1.3.5 内容制作：交互性体验和支撑工具快速发展1.3.5 内容制作：交互性体验和支撑工具快速发展从用户与内容应用间的交互程度看，虚拟现实业务可分为18、弱交互和强交互两类。前者通常以被动观看的全景视频点播、直播为主，后者常见于游戏、互动教育等形式，内容须根据用户输入的交互信息进行实时渲染，自由度、实时性与交互感更强。因此，对于 8K 分辨率及以上、高动态范围、宽色域、高帧率全景拍摄、高性能拼接缝合、多相机同步、虚拟现实视频与平面视频混合制作等关键技术的研发，以及六自由度摄制、沉浸式音频、全息视频采集制作、渲染引擎、虚拟化身以及基于位置服务的三维数字空间8体验等强交互内容生产技术都需要持续突破。2.虚拟动点关于虚拟现实产业的布局及能力2.虚拟动点关于虚拟现实产业的布局及能力2.1 业务定位与产业布局2.1 业务定位与产业布局虚拟动点定位于 AI19、 时代虚拟现实产业领创者。业务覆盖数字内容制作，机器视觉（动作捕捉）技术与产品，行业/场景虚拟现实解决方案，动作大数据数字资产与云服务、元宇宙体验空间建设等领域。定位：定位：AI 时代虚拟现实产业的领创者。特点：特点：基于全球领先的一系列基于空间计算的机器视觉动作捕捉技术，结合 AI，大数据，云计算等技术构建虚拟现实产业生态闭环。使命愿景：使命愿景：引领交互，联结虚实；用交互技术构建虚拟现实世界。业务布局：业务布局：虚拟动点将以 AI、机器视觉（动作捕捉）、物联网、大数据、智能显示AI、机器视觉（动作捕捉）、物联网、大数据、智能显示五大技术形成能力技术底座，完成包括虚拟现实核心技术、标准产品、20、内容与能力、解决方案与服务等全方位的业务布局，并将与云厂商合作，建立动作数据资产平台与云能力平台，全面拥抱 AI 与云计算。9图 4：虚拟动点虚拟现实产业技术与布局全景图利亚德早在 2017 年就开始布局虚拟现实产业。通过收购美国Natural Point（以下简称 NP 公司），凭借全球领先的光学动作捕捉技术，利亚德迅速完成 VR 业务战略布局，成为虚拟现实（元宇宙）产业连续6年盈利且利润最高的公司，并多次入选“中国VR 50强企业”，2022 年排名第四。2023 年利亚德整合全集团的优势资源注入虚拟动点，以虚拟动点为核心，在 AI 时代，全面进军虚拟现实产业。未来，虚拟动点将与 NP 公21、司、孚心科技、德火科技、数虎科技等公司合力发展人工智能、动作捕捉、内容制作、数字孪生、虚拟数字人开发等虚拟现实技术，并聚焦虚拟现实新场景和产业应用融合，构建从数据采集、存储到内容加工制作，构建场景化的完整端到端能力，最终通过生态共建，以海量动捕数据赋能 AI 大模型。102.2 虚拟动点的核心能力2.2 虚拟动点的核心能力2.2.1 空间计算空间计算是麻省理工学院 Simon Greenwold 在其 2003 年的论文中引入的一个术语，是一种利用空间数据和算法，对空间信息进行处理和分析的技术。如今，空间计算作为新兴技术领域的重要分支，已经受到越来越多的关注。在空间计算中，位置、形态和体积是三22、个核心概念。位置是指物体的空间坐标，形态是指物体的外观特征，体积则是指物体所占有的空间大小。空间计算的实用化建立在人工智能(AI)、计算机视觉、芯片人工智能(AI)、计算机视觉、芯片与传感器传感器的技术进步之上，它重新定义了人与空间的关系，将虚拟与现实真正融合，为各个领域带来了创新性的解决方案，蕴藏着巨大的产业价值。据国外市场研究机构评估，新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高，空间计算解决方案的需求会产生 18.3%的年复合增长率。在增强现实（AR）和虚拟现实（VR）中，空间计算技术起着关键作用，让用户能以三维方式与虚拟或增强的现实环境交互，AR 和VR 中的23、空间计算所需的技术包括计算机视觉、位置追踪、物体识别和跟踪、手势识别、深度感知、图形渲染、物理模拟、空间音频等。目前，利亚德旗下虚拟动点在空间计算方向已拥有光学动捕、惯光学动捕、惯11性动捕、基于 AI 无标记点追踪性动捕、基于 AI 无标记点追踪等一系列基于空间计算的机器视觉动作捕捉技术，其空间计算的布局更多体现在数据采集、位置追踪、物体跟踪、内容制作、设备校准等领域。2.2.1.1 光学动作捕捉技术及产品2.2.1.1 光学动作捕捉技术及产品动作捕捉技术是感知交互以及新一代科幻影视及游戏制作的关键共性技术，目前主流的动作捕捉技术包括：基于计算机视觉的动作捕捉技术、基于惯性传感器的动作捕捉技24、术，而基于计算机视觉的动作捕捉技术又分为光学动作捕捉技术、基于 RGB 摄像机、基于 3D深度摄像机基于计算机视觉的动作捕捉技术、基于惯性传感器的动作捕捉技术，而基于计算机视觉的动作捕捉技术又分为光学动作捕捉技术、基于 RGB 摄像机、基于 3D深度摄像机等不同形式。在光学动作捕捉系统中，在一个物理空间内架设多个红外感应摄像机，在目标（如演员或者物体）上粘贴标记点，摄像机以每秒数帧的频率识别计算标记点的数据，多台摄像机间互相呈一定角度并互有叠加，每个标记点均可被至少两台摄像机识别，计算出 3D 坐标，最终被捕捉目标在这个物体空间内的动作将会被实时数字化记录下来。标记点被越多摄像机识别，系统计算25、出的位置就越精确。红外光学动作捕捉系统由动作捕捉摄像机、动作数据分析软件、传输设备、固定安装设备等组成。12图 5：光学动作捕捉系统图光学动作捕捉摄像机识别到的标记点分为“被动式标记点”和“主动式标记点”。被动式标记点，被动式标记点，通过红外光学动作捕捉摄像机反射红外线，通过分析某个标记点相对于其他标记点的运动来获得被追踪标记点信息，从而识别到各个标记点。主动式标记点主动式标记点可实现自身发光并被摄像机识别，一些主动式标记点可通过脉冲方式闪烁，从而向摄像机发送 ID 信息。图 6：被动式标记点 vs 主动式标记点二者各有利弊。主动式标记点可与自然光结合应用，更加可靠，可以支持超远距离追踪，但主26、动式标记点需要有电子器件和供电器件支撑，相比被动标记点显得笨重。而被动式标记点对光线较为敏感，不适合在自然光下进行捕捉，且与环境光对比度不足，无法进行超远距离追踪，因其设计多为粘贴式，使用方便。13虚拟动点 OptiTrack 动作捕捉系统虚拟动点 OptiTrack 动作捕捉系统是影视制作、虚拟现实、行业仿真、虚拟数字人、机器人训练等行业领域的关键共性技术。凭借其超低 3D 精度、低延迟输出、易于使用的工作流程以及一系列开发工具，已成为 3D 跟踪系统的领导者。凭借其超低 3D 精度、低延迟输出、易于使用的工作流程以及一系列开发工具，已成为 3D 跟踪系统的领导者。图 7：虚拟动点动作捕捉系27、统配套设备终端目前，该套系统在以下 5 个领域深度应用。（1）虚拟制作（Virtual Production）：（1）虚拟制作（Virtual Production）：得益于系统的高精度、易用性及现场工具的完美集成，OptiTrackOptiTrack 是基于 LED 的虚拟制作流程的首选。NP 公司新发布的 CinePuck 工具，CinePuck 工具，采用光惯融合技术，可放置到实景摄像机、虚拟摄像机、布景和表演者身上，无漂移、衰减性能、EMI（电磁干扰）环境等问题，保证数据的精准性和稳定传输。图 8：OptiTrack 的 Cine Puck，主要用于摄像机追踪【应用案例】14电影曼达洛28、人采用 LED 虚拟拍摄技术和系统，现场除了用LED 屏幕替代传统绿幕，也使用 OptiTrack 动作捕捉系统为摄像机提供高精度、低延迟的数据追踪。现场在弧形屏幕上方共架设 42 台OptiTrack 红外摄像机用来追踪现场摄像机的位置。图 9：屏幕顶端架设 Prime41 红外摄像机图 10：实体摄像机上的主动式模块图 11：动作捕捉系统实时驱动 Unreal Engine 中的虚拟摄像机【技术优势】A、远距离追踪。远距离追踪。Prime41 系列摄像机可识别最远 30 米的标记点，追踪、定位无死角。升级款 Prime X 41，升级款 Prime X 41，图像处理采用 10 位灰度处理29、，图像质量更高，保证更好的质心和 3D 精度；B、超低延迟超低延迟。摄像机延迟仅 5.5m/s，保证现场数据实时同步。C、主动式追踪技术主动式追踪技术。OptiTrackOptiTrack 主动式模块包含可发射 850nm 波长的红外 LED 灯，动作捕捉摄像机可实时追踪主动式模块的位置信息，保证实时数据的稳定性。D、OptiTrack 实时 Unreal Engine 引擎插件OptiTrack 实时 Unreal Engine 引擎插件,可将追踪到虚拟摄像15机的 6DOF 数据信息实时传输给引擎中，保证实体摄像机和虚拟摄像机位置一致，大大提高工作效率。（2）运动科学（Movement S30、ciences）：（2）运动科学（Movement Sciences）：OptiTrack 动作捕捉系统提供世界领先的测量精度，简单易用的工作流程和实时传输的 3D 跟踪数据。该套系统操作简便，针对主流数字测力台、EMG 和模拟设备可即插即用，同时适配多种软件，如 Visual 3D、MotionMonitor、MATLAB 以及其他第三方生物力学软件和分析工具。图 12：运动分析示意图图 13：测力台示意图图 14：Visual3D 软件界面NP 公司还提供了一款运动分析软件 STT InSight。分析软件 STT InSight。这是一套完整的、实时的科学和临床三维人体运动分析解决方案。31、简化的工作流程，可轻松进行标记跟踪、数据收集、实时分析和报告。16图 15：STT Insight 软件界面（3）虚拟现实（VR）：（3）虚拟现实（VR）：用于 CAVE 和 HMD 的低延时 VR 跟踪。通过优化对虚拟现实跟踪最重要的性能指标，构建了世界上最准确且易于使用的 VR 跟踪设备。超低延迟体验，使得任何头戴式显示器(HMD)或自动沉浸式环境都可以做到平滑跟踪。图 16：VR 大空间多人交互效果图OptiTrack 动作捕捉系统提供免费开发工具，如 Unreal Engine、Unity、Motionbuilder 等插件；NatNet SDK 提供了对 OptiTrack 实时流的32、免费、开放和有据可查的访问，可轻松集成到一系列跟踪和可视化技术中。流式传输数据采用单播（Unicast）或多播(Multicast)，一键轴向调整（快速设置 Y 向上或 Z 向上），流式传输到包括 VRPN 和 trackd在内的行业标准中。图 17：免费开发工具17【应用案例】OptiTrack 动作捕捉技术应用广泛，包括影视娱乐、游戏制作、医疗培训、工业仿真、军事训练、工厂模拟规划、电力设施维护等。图 18：南省博物馆国宝迷踪VR 多人游戏内画面图（4）机器人（Robotics）：（4）机器人（Robotics）：用于无人机、地面和工业机器人的 6DoF跟踪。OptiTrack 采用业界最33、先进的刚体解算器，可在多个目标的大范围区域内提供完美的 6DoF（自由度）数据，是全球首选的机器人准确控制与精确定位的跟踪系统。图 19：多刚体在软件中的显示效果【应用案例】Quanser 的室内自主多智能体协同控制系统是一个以 OptiTrack动捕系统为基础，集合无人飞行器和地面移动机器人为一体的多目标教学和研发平台。该平台为广大研究人员提供了一个实现多智能体协调控制的工具，用户很方便地就可以将自己的控制器和算法通过这个平台工具进行实现及验证。18图 20：多目标教学和研发平台展示（5）影视、动画（Film and Animation）：（5）影视、动画（Film and Animatio34、n）：Prime 系列相机和 Motive软件相结合，产生了世界上最大的捕获量、最精确的 3D 数据。OptiTrack 动作捕捉系统则可以帮助用户优化流程、快速实现影视制作、动画生产。图片来源：美国电影摄影师杂志专栏图 21：电影狮子王使用 OptiTrack 技术跟踪虚拟摄像机2.2.1.2 惯性动作捕捉技术及产品2.2.1.2 惯性动作捕捉技术及产品惯性动作捕捉系统主要是将惯性传感器（IMU）绑定在人身体主要骨骼上，如足、小腿、大腿，实时测量出每段骨骼的旋转，利用正向运动学（Forward kinematics，FK）和反向运动学（Inverse kinematics，IK）实时推导计算35、出整个人身体的运动参数。19惯性传感器主要包括加速度计、陀螺仪、磁力计。其中加速度计、陀螺仪、磁力计多采用 MEMS 形式，所以称为 MEMS 惯性传感器。三轴加速度计可以测量载体的三个轴向上的加速度，是一矢量，通过加速度可以计算出载体静止时的倾角。三轴陀螺仪可测量出载体的三个轴向上角速度，通过对角速度积分可以得到角度。三轴磁力计可测量出周围的磁场强度及与地球磁场的夹角。通过融合加速度、角速度、磁力值的数据可以精准的得到载体的旋转。融合后的数据一般用四元数或欧拉角来表示。其中四元数形式如qaibjckd，欧拉角包含俯仰角（Pitch）、横滚角（Roll）、偏航角（Yaw）。得到载体的旋转后再拟36、合各个骨骼的运动，从而计算出穿戴部位的运动姿态。图 22：惯性动作捕捉系统原理图利亚德旗下孚心科技专注于虚拟现实领域的硬件研发，致力于“惯性导航”“惯性动作捕捉系统”的研发，通过研究 MEMS 惯性传感器开发出低延迟、低功耗、高精度的惯性动作捕捉系统。目前已发布惯性动作捕捉系统 FOHEART MAGIC、FOHEART X，数据手套FOHEART H1,惯性导航及姿态测量 MotionMars W1等多款产品，可广泛应用于 VR、3D 人物动画（动漫、游戏、影视）、运动科学、康复医疗、生物力学研究、体育训练、军事模拟等多个领域。20图 23：惯性传感器的惯性动作捕捉系统穿戴图【应用案例】（137、）滑雪运动员动作及位置检测系统（1）滑雪运动员动作及位置检测系统滑雪运动员动作及位置监测模块包括雪杖动作姿态监测模块、雪鞋动作姿态监测模块、肌电体温传输模块、主机模块、上位机展示软件共五部分，可以实时采集滑雪运动员的雪杖雪鞋作用力与动作姿态，肌肉电信号与体温，并能够通过无线的方式实时发送到远程上位机。（2）国家田径队运动训练器械传感器技术（2）国家田径队运动训练器械传感器技术通过惯性动捕可统计运动员每次投掷或接力结果并自动生成数据分析报告。训练器械传感器测量系统时产生的运动数据，可根据甲方的运动员个人或团队，利用数据挖掘的方法，提取出有效有价值的运动数据，并对数据进行多维度分析和统计，用直观丰38、富的图表形式将训练、成果展示出来。（3）驱动虚拟人物与 VR 水枪实时交互（3）驱动虚拟人物与 VR 水枪实时交互通过惯性动作捕捉设备，捕捉人体的实时动作（全身 17 个节点），和消防水枪（VR 水枪 3 个节点）的训练动作，实现真实水枪与虚拟水枪的交互，可模拟水枪动作，可切换开关、大小、直流/开花等，水枪自重贴近真实。通过惯性动捕设备驱动人物与VR场景实时交互。212.2.1.3 光惯融合系统及产品2.2.1.3 光惯融合系统及产品利用整合光学动作捕捉系统和惯性动作捕捉系统的部分优势，摒弃二者的劣势，如光学动捕容易受遮挡的影响，无法正确的追踪识别人/物的动作数据，而惯性不受遮挡的影响，容易出39、现误差累积的问题，利用光学动捕系统估算惯性传感器的偏移误差，通过滤波器对惯性传感器的测量的噪声进行滤波，最终通过 kalma 滤波器完成数据融合得到目标姿态，当部分光学标记点出现被遮挡时，光惯融合系统将未被遮挡的标记点信息和目标的姿态信息进行融合得到完成的 6 自由度位姿信息。光惯融合系统一般使用“冰球”传感器，传感器下方有螺丝孔，可以直接放在摄像机或道具上，虚拟动点正在开发更小巧、轻量，便于安装的光惯传感器模块，用于人体关节及物体的追踪和及数据采集。图 24：OptiTrack 的 CinePuck 主要用于摄像机的追踪2.2.1.4 基于 3D 深度摄像机的动作捕捉2.2.1.4 基于 340、D 深度摄像机的动作捕捉3D 深度摄像机与 2D 摄像机的区别在于，除了能够获取平面图像外还可以获得深度信息。3D 深度技术目前广泛应用在人体步态识别、三维重建、SLAM 等领域。目前主流的 3D 深度摄像机的技术路线有：（1）双目立体视觉；（2）飞行时间（Timeoffly，TOF）；（3）22结构光技术等。双目立体视觉即使用两个 2D 平面摄像头。两个平面摄像头获得两幅图像，通过两幅图像算出深度信息。飞行时间即由雷达芯片发射出红外激光散点，照射到物体后反射回雷达芯片的时间，由于光速已知，发射返回时间已知即可测量出摄像头距物体的距离，sc v。结构光是摄像头发出特定的图案，当被摄物体反射回这41、一图案时，深度摄像头再次接收这一图案，通过比较发射出的图案和接收的图案从而测量出摄像头距离被摄物体的深度信息。利用结构光方案的产品有微软公司推出的 Kinect，其广泛的应用在体感交互、人体骨架识别、步态分析等领域。图 25：微软公司的 Kinect2.2.1.5 表演捕捉系统2.2.1.5 表演捕捉系统表演捕捉技术是目前应用最广的应用方式。在影视动画制作、实时直播过程中，单独的身体动作捕捉太过单一，无法满足制作和直播需求，所以在动作捕捉技术基础上增加面部捕捉技术和手指捕捉技术。（一）面部捕捉系统（一）面部捕捉系统面部捕捉（Facial Capture），也被称为“面部表情捕捉（Facial242、3Expression Capture）”，它是动作捕捉（Motion Capture）技术的一部分，指使用相机等设备记录人类面部表情和动作，将之转换为一系列参数数据用于制作动画的过程。与捕捉由关节点构成较为稳定的人体动作相比，面部表情更为细微复杂，对数据精度要求更高。随着技术发展，大部分 3D 动画、CG 电影、大型游戏越来越倾向于，选择捕捉真人面部来完成角色动画的制作。与人为制作的动画角色表情相比，通过捕捉真人面部动作生成的角色会更具真实感。面部捕捉系统多采用计算机图像技术进行面部表情的数据采集，演员需佩戴带有摄像机的头盔，保证摄像机随时采集到演员面部信息，并对面部信息分析最终计算出表情数43、据驱动角色模型。（1）Facegood 面部捕捉系统（1）Facegood 面部捕捉系统Facegood 推出的 AVATARY 数字人脸全系列软件解决方案，配合Facegood 脸部表情数据采集硬件，通过视频采集、脸部数据跟踪分析、驱动及快速绑定等功能，可以高效完成数字人脸高品质内容创作。图 26：实时面部捕捉效果展示（2）基于 Iphone 的面部捕捉系统（2）基于 Iphone 的面部捕捉系统APP 的 Iphone 手机可提供面部识别和追踪功能，可区分用户面部 50 多钟特定肌肉的位置、拓扑结构和运动变化,通过 Epic Games 提24供的免费 live link Face 应用程44、序，在 Unreal Engine 引擎中控制复杂的3D 角色面部动画，支持手机和引擎中的实时录制。图 27：由 iPhone X 摄像头实时驱动的面部网格体（二）手指捕捉系统（二）手指捕捉系统手指是人体最灵活的关节，手指动作在交流和表演中至关重要，手指捕捉系统价格高昂且效果较差，高性价比手指捕捉系统更易受到广大用户的青睐。（1）Manus 手套（1）Manus 手套Manus 手套采用全新的量子追踪技术，通过使用亚毫米级精确指尖跟踪传感器提供高保真手指跟踪。这些传感器无漂移不受磁性影响，可提供高度准确和可靠的手指捕捉数据。手指追踪的新标准通过使用精确的量子追踪技术捕捉每一个细节动作，让手指动45、作捕捉不再有任何限制。在制作动画时节省宝贵的时间，同时再现逼真的手部动作。25图 28：Manus 手套Manus 手套可与目前主流的动作捕捉系统打通，如其专门为OptiTrack 动作捕捉系统打造的数据手套，可将实时的手指数据快速传输至 Motive 软件中，然后将手指数据与 OptiTrack 身体数据一起作为单一来源进行流式传输和导出。（2）StretchSense（2）StretchSenseStretchSense 是新西兰的 VR 手部捕捉解决方案商，动作捕捉手套采用独特的拉伸传感器和人工智能技术提供非常高品质的手指动作捕捉数据，所需的数据清理工作大大少于光学和惯性动作捕捉系统。新46、推出的 MoCap Pro Fidelity，支持关节测量在内的所有手部运动，而不是采用复杂算法以补偿盲点，这将有助于快速生成高质量的动作捕捉，其包含 26 个传感器，分布在手指的末梢关节和手腕，可追踪任意的手势运动角度、捕捉更多细节，输出的动捕效果更自然、准确。MoCap Pro Fedelity 可提供快速、高质量的手部动捕，将有望为角色动画等场景带来更多可能性。比如，游戏、VFX 工作室可以通过实时动捕来控制动画形象。26图 29：StretchSense 手套图 30：StretchSense 软件界面展示2021 年 OptiTrack 与 StretchSense 达成战略合作，将47、 StretchSense手指动作数据直接流式传输到 OptiTrack 软件 Motive 中，从源头上实现手部和身体数据的融合，实现实时的手指和身体数据，同时使用干净的 StretchSense 手动数据减少后期生产时间，加快项目进度。图 31：StretchSense 手指数据与 motive 身体数据的结合展示（3）FOHEAR H1 数据手套（3）FOHEAR H1 数据手套FOHEART H1 数据手套采用惯性传感器与弯曲传感器相融合的设计方案，常规数据手套具有 6 个惯性传感器和 5 个弯曲传感器,提高了捕捉精度；通信采用了 2.4GHz/5.8GHz 双频通信方案，使用过程中不48、掉线、不丢帧，稳定可靠，低延时性；数据传输帧率达 100fps，精准捕捉手指姿态。FOHEART H1 数据手套校准简单，三个简单手势，即可在 30 秒内完成校准；基于手指姿态算法的迭代更新，新增加了分指功能，大幅提升用户体验感。FOHEART H1 能适配 VR 头27显、HTC VIVE Focus3VR 一体机。软件支持录制、回放、导出数据（可导出 Bvh、Fbx 等格式），SDK可实时导入第三方软件。数据手套客户端软件有丰富的插件，包括Unity、UE、MotionBuilder 等插件，可满足实时直播场景的应用。图 32：FOHEAR H1 数据手套产品图2.2.2 AI 赋能虚拟现49、实AI 作为虚拟现实的隐形核心技术，其升级将推动交互方式变革。在 VR 技术中，实现智能人机交互有三个关键要素多模感知能力多模感知能力、深度理解能力深度理解能力和多维表达能力多维表达能力。精细的多模态、高智慧模型可以帮助VR 设备以消费级的成本实现以语音控制为辅，以肢体动作为主的全新交互方式。通过引入多模态识别系统，在语音识别的基础上，结合人脸识别、唇语识别、眼动追踪，把多种维度的感知结合成为多模态系统，从而提升复杂场景识别效果。一方面 AI 在 VR 肢体定位和手势交互技术上，让高精度手势识别成为可能；另一方面在内容中，AI 可以缩短创作时间，为元宇宙提供底层支持。以虚拟人数字人为例，AI 50、既是其能够感知行为并做出反馈的核心要素，也是其掌握与学习技能的关键所在。此外，3D 模28型创建属于“劳动密集型”行业，也将受益于 AIGC 升级。来源：国信证券研究报告图 33：AI 帮助 AR2.2.2.1 数字人交互交互技术与人工智能技术2.2.2.1 数字人交互交互技术与人工智能技术是虚拟数字人最核心的技术场景，其中交互技术作为虚拟人的“骨与肉”，人工智能作为虚拟人的“灵魂”，好看的皮囊与有趣的灵魂，二者缺一不可。A、语音识别A、语音识别研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及的领域较多，主要包括机器翻译、机器阅读理解和问答系统等，即转化自然语言数据为电脑语51、言数据的技术，可帮助人类实现客户服务、知识管理和智能搜索等操作。B、视觉识别B、视觉识别使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。这一技术应用于自动驾驶、机器人、智能医疗、智能家居、智慧社区、智能安防等领域，通过计算机视觉技术从视觉信号中提取并处理信息。29C、动作捕捉C、动作捕捉通过捕捉记录演员的面部表情、身体动作等运动轨迹，将其数据转化为 CGI 角色运动动画的一种技术驱动型方法。动作捕捉技术现如今已经普遍运用在电影、动画以及游戏的制作中。虚拟动点基于全息柜的 AI 数字人系统，包含数字人渲染、声音识别外放、语音驱动、RGB 摄像机52、识别分析、全息展示等模块，具有声音检测、语音识别、声音合成、NLP 对话等功能，支持实时连接Chat GPT，用户可完成真人实时的语音驱动数字人，还可通过 RGB摄像机采集真人动作，实时为数字人驱动赋能，助力数字人完成多场景、多领域应用。图 34：湖南卫视你好星期六数字人小漾图 35：利亚德旗下数虎图像助力王者荣耀打造首位国风虚拟人“婉儿”同时系统还内置了数字人换装、场景切换、机位切换（包含 VR相机视角）、直播推流等功能，丰富的数据资产库为系统展示提供更多的内容支撑。目前市面上同类型软件平台存在诸多问题，如单 RGB 相机进行半身动作捕捉，同时还伴随着捕捉范围小，捕捉效果不稳定、应用场景单一53、的局限性；基于惯性动捕设备的系统有误差累计、容易受磁场干扰等问题。30而虚拟动点基于光学动捕技术的数字人系统平台，采用红外光学动作捕捉系统，能够实现高精度、低延迟、高鲁棒性的全身动作捕捉，保证数字人的稳定输出，而光学动作捕捉系统的超广范围捕捉也决定了该系统平台可垂直应用到各个领域。系统“傻瓜式”操作可帮助用户快速了解系统的使用，同时通过打造数字与数据资产库，可根据场景适配更好的资产，以满足不用的应用体验。2.2.2.2AIGC 生成数字人2.2.2.2AIGC 生成数字人AIGC（Artificial Intelligence Generated Characters）是一种最新的人工智能技术54、，它可以用于创作高度真实的虚拟数字人，并且可以与人类进行无缝互动。首先，AIGC 技术可以帮助虚拟数字人更快地生成和优化。传统的虚拟数字人需要劳动力去设计角色、制作动作等，成本高，效率低。而 AIGC 通过在大数据解析中学习，可以生成更有生命力的虚拟数字人，并且能够快速调整、优化其形象、性格和行为。使得虚拟数字人变得越来越智能化和真实化，更好地与客户进行交互和沟通，很大程度上降低了虚拟数字人的制作成本和时间成本。其次，AIGC 支持 AI 驱动数字人多模态交互中的识别感知和分析决策能力，使其更神似人。自然语言处理是数字人的大脑，直接影像交互体验，而计算机视觉决定熟悉人面部表情和肢体动作。目前主55、流的方式是围绕 NLP 能力通过文本驱动，本质是通过 ASR-NLP-TTS等 AI 技术进行感知-决策-表达的闭环还驱动数字人交互。计算机视觉31（CV）目前数字人声唇同步技术相对完善，在游戏中已经大量应用。再次，AIGC 技术能够支持虚拟数字人应用到游戏、电影、医疗、汽车、手机等各个领域。AIGC 技术可以快速创作、优化和定制与人类高度相似、更自然、更智能的虚拟数字人物。例如，虚拟数字人可以在医院进行病人的生命支持，为警察和消防员进行危险任务等需要人类不敢或人类无法完成的任务。同时，虚拟数字人也可以被用于零售、广告等领域，为客户提供虚拟购物体验和产品感受。2.2.2.3AIGC 赋能内容制56、作2.2.2.3AIGC 赋能内容制作以 Midjourney 和 Stable Diffusion 为代表的 AI 绘图工具在创造性、高效性及易用性上达到了广泛应用的标准；AIGC 工具的应用将大大提升了对于虚拟现实内容制作的效率和效果。一般 AI 工具参与流程环节如下图 36 所示：使用 AI 工具直接生成基础设计图，再通过反复生成微调及人工修改进行细节优化。整个设计流程将极大提升效率。目前，AIGC 工具主要应用于内容制作团队，包括概念创意生成、角色内容生成、场景深化设计等各环节。图 37：数字人造型设计32图 38：数字场景设计2.2.2.4 基于 RGB 摄像机的动作捕捉技术2.2.57、2.4 基于 RGB 摄像机的动作捕捉技术利用 RGB 摄像机实现 3D 运动轨迹的捕捉是当下虚拟现实领域的前沿技术研究。RGB 摄像机即平面摄像头，没有深度信息。目前基于 RGB 摄像机的动作捕捉主要采用卷积神经网路（CNN）将稀疏的 2D 人体姿态凸显检测的原理。基于 RGB 摄像机的动作捕捉目前可以捕捉人体局部和全身的运动姿态，且捕捉之间需要采集大量的数据样本作为训练数据集。RGB 摄像机在深度信息的预测上存在着偏差，任何一点错误的数据都会导致很大的偏差，稳定性极差。最大的挑战在于摄像头的遮挡以及快速的运动都是 RGB 摄像机很难追踪到的。其优点在于不需要任何的穿戴，且所需要的 RGB 58、摄像机触手可得，成本极低，这对大众化的应用是一个不错的选择。图 39：利用 RGB 摄像机进行姿态捕捉2.2.2.5 建立动作数据资产（交易）平台2.2.2.5 建立动作数据资产（交易）平台随着元宇宙、虚拟现实产业的发展，全球不同领域不同应用场景33中大量基于位置关系的动作捕捉数据开始被采集，并被保存沉淀下来。虚拟动点凭借全球领先的光学动作捕捉和惯性捕捉技术在该领域具备先发优势，集团将这些数据与全球领先的公有云平台进行合作，建立基于动作捕捉的数据资产平台，推动动作捕捉产业健康高速发展。（1）通过数据资源池中集中存放和管理数据，提高数据的准确性和一致性；（2）对于数据资源池中的敏感数据，采取加密59、、权限管理等安全措施，保障核心数据资产安全；（3）动作数据资源池向用户开放提供数据接口和数据查询服务，减少数据的采集与存储的重复，提高数据的利用率；（4）数据资源池可以为相关基于动作数据的应用程序提供标准数据接口，提供相关数据，相关应用程序可以直接调用资源池数据，便于动作数据快速使用适配，从而加快推进产业发展。图 40：虚拟动点与云厂商合作建立动作大数据资产平台2.2.2.6 建立动捕技术云平台2.2.2.6 建立动捕技术云平台云服务时代，过去需要本地部署安装的行业软件均可以实现云端34存储、云端访问、多人协作等功能。通过建立动捕技术云平台，一方面实现动捕技术数据的云端存储与发布，以及远程多人60、协作；另一方面，动捕软件的部署与安装需要具备足够的专业知识，云平台可实现软件数据的集成统一，方便操作，大大降低时间和经济成本。（1）动捕数据云（1）动捕数据云云端发布、存储、分类、浏览、查看、编辑和多人协作动作捕捉数据，实现数据的备份和恢复；设置管理员权限，用于管理用户和数据，以保证数据安全；实现数据的可视化分析和数据挖掘。（2）动捕软件云（2）动捕软件云实现动作捕捉软件的集成，并统一动作捕捉数据格式；同步动作捕捉软件的配置信息，并及时自动更新软件版本；实现与其他云服务的集成，如云渲染等；结合数字人技术，丰富数字人动作数据库。2.2.2.7 动捕数据赋能 AI 大模型2.2.2.7 动捕数据赋61、能 AI 大模型AIGC 时代，基于 NLP 语音模型，只能闻声看字，数字人的接入会有外化体验，有“人”交互、有“人”沟通，但是数字人的动作僵硬，亟需大量的动作数据做支撑。利亚德旗下 OptiTrack 动作捕捉系统是影视制作、虚拟现实、行业仿真、数字人、机器人训练等行业领域的关键共性技术，具有高精35度、低延迟等优势，已为多领域用户提供底层技术驱动和服务，目前公司已研发完成新的骨骼结算器，大幅提升了 OptiTrack 动作捕捉系统的跟踪精度，即时标记点在严重遮挡的情况下依然可以获得稳健、准确、可靠的追踪数据，即抗遮挡功能，大大减少后期编辑时间，持续帮助用户降本增效。依托动作捕捉系统大量采集62、生成动作数据，形成动作库大模型，为下一代 AI+数字人的动作训练提供数据支撑。（1）建立动作采集基地（1）建立动作采集基地以虚拟动点石景山驻地为基地，完成高精度表演捕捉棚（包括动作捕捉、面部捕捉、手指捕捉等）以及数据资产采集制作基地的建设工作，形成海量云数据；（2）建立动作资产管理（交易）平台（2）建立动作资产管理（交易）平台打通云数据与资产管理平台通路，支持资产确权（3D 资产版权确权登记）、资产管理（上传、查询、展示预览）、资产交易与结算。2.2.3 数字孪生：可操作+可计算+可视化利亚德数字孪生平台，是以数据资源为关键要素，以现代信息网络、大屏幕显示为主要载体，结合信息通信技术、人工智能63、技术、数据模型轻量化技术、实时渲染技术、地理信息技术、时空数据融合技术于一体，实现全要素、多功能、多维度的大数据可视化展示及平台运营管理。36图 41：利亚德数字孪生平台2.2.3.1 工业元宇宙体系的关键底座2.2.3.1 工业元宇宙体系的关键底座数字孪生既是传统工业软件、建筑设计软件、城市管理软件、动画和内容生成软件的数字化、平台化和智能化数字化、平台化和智能化升级，也是融合海量异构数据、体现物理本体的实时动态变化并循序渐进赋能上层海量应用的价值交付价值交付体系，更是支撑未来工业元宇宙和消费者元宇宙的形成和发展的必不可少的底层基础设施。来源：数字孪生白皮书（2019）图 42：数字孪生技术64、架构数字孪生的核心不是简单的精准数字化复刻和可视化呈现，还包37括数字化孪生内容的可计算与可操作。可视化的核心可视化的核心是建模，完成物理对象的数字化，是数字孪生的雏形，但其生成的模型、数据是静态、分散、隔离的，对物理世界的能动改造基本依赖于人工。可计算的核心可计算的核心是海量多源异构数据的计算、解析和融合，建立实时映射的动态空间系统，对数据进行分析、理解，实现对物理世界的状态跟踪和问题诊断等功能。可操作的核心可操作的核心是对业务指导和对未来情况的预测，并结合动态行业 knowhow 进行自我学习更新，对物理与数字世界同步进行实时智能改造，最终或赋能企业降本增效，或赋能个人创造出优质内容，从而65、提升效率与体验。2.2.3.2 人工智能赋能数字孪生城市2.2.3.2 人工智能赋能数字孪生城市近年来，数字孪生技术被认为是具有战略性、颠覆性、先导性的技术，其应用场景已深入到城市治理、智慧园区、工业制造、医疗健康等新型智慧城市建设的方方面面，随着“探索建设数字孪生城市”被写入“十四五”规划纲要中，数字孪生技术已成为构建新型智慧城市的重要技术手段。以大数据为中心的智能服务与生态建设，将实现全面深入地数字化、网格化、智能化，解决新型智慧城市建设过程中所涌现的问题。在这样的强烈需求下，利亚德自主研发的城市管理数字孪生平台（数字孪生城市沙盘）利亚德自主研发的城市管理数字孪生平台（数字孪生城市沙盘）基66、于多维地图引擎构建 CIM 网格底座，对管辖区38域内各类城市资源要素进行融合关联，实现数字虚拟空间与现实物理空间数据的同步更新和智能关联，为城市管理提供数据融合观察与分析计算服务。让所有的数据变得有生命，实现全生命周期的大数据治理。进而支撑城市管理过程中的态势研判、事件分析、综合决策、综合评价等场景应用，提升城市精细化治理水平与精准化决策能力。图 43：利亚德打造张家口数字孪生城市平台利亚德数字孪生平台亮点：利亚德数字孪生平台亮点：（1）资源要素多维可视化呈现，资源要素多维可视化呈现，助力全方位快速掌握城市资源与管理情况；（2）以地理场景为核心，实现多源多种类数据浸入化融合；多源多种类数据浸67、入化融合；（3）数据实景化感知与深度分析）数据实景化感知与深度分析，实现资源要素运行模拟评估与试错调试，降低城市运行成本。2.2.4 智能显示技术2.2.4.1 Micro LED：虚拟现实的终极显示方案2.2.4.1 Micro LED：虚拟现实的终极显示方案目前，在 AR/VR（近眼显示）领域，LCD 依然是主流的屏幕方案。根据相关统计数据，Oculus Quest 目前依然是市面上最受欢迎的AR/VR 设备，2021 年全球 VR 头显出货量达 1095 万台，其中仅 Oculus一家的份额就已经占据 80%。而 Oculus Quest 的屏幕方案是 LCD。39不过，随着各品牌逐渐选68、择基于硅基 OLED 打造 AR/VR 设备，预计硅基 OLED 将逐渐替代 LCD，成为全新的 AR/VR 屏幕方案。预计到 2027 年，大约 48%的 AR/VR 设备会选择硅基 OLED。硅基 OLED 结构包括驱动背板和 OLED 器件两个部分，融合了CMOS 工艺和 OLED 技术的优势。因此，硅基 OLED 具有体积小、重量轻、分辨率高、对比度高、功耗低、性能稳定等特点，是一种非常适用于近眼显示的微显示技术。和传统的 LCD 方案相比，硅基OLED 不仅显示性能出色，也更加轻薄，有助于打造更方便携带的AR/VR 设备。所以我们看到，苹果首款 AR/VR 设备选择了硅基 OLED，69、而主要的面板供应商三星和 LG 也都在布局硅基 OLED。不过，我们必须要提到的是，实际上硅基 OLED 目前所提供的各种性能优势，Micro LED 都能够做的更加出色。在屏幕轻薄度方面，在屏幕轻薄度方面，Micro LED 和硅基 OLED 一样都是自发光的方案，同样不需要偏振器，不过由于 Micro LED 顶部只有玻璃基板，并且 LED 芯片尺寸非常小，因此在轻薄度方面更胜一筹。在光效方面，在光效方面，Micro LED 相较于传统 LCD 或 OLED 显示器，能够产生更多的“每瓦亮度”。测试数据显示，Micro LED 只需要消耗一半的电能，就能够达到硅基 OLED 的亮度。因此，70、Micro LED 可以让 AR/VR 设备的续航更长久。在显示性能方面，在显示性能方面，Micro LED 的分辨率理论上能够达到硅基OLED 的数倍，可以轻松实现 8K 显示；Micro LED 的对象切换时间40为纳秒级，比微秒级的硅基 OLED 更加出色，完全没有了拖影的问题；Micro LED 能够实现更高的对比度和屏幕亮度，增强了阳光下的可读性；此外，Micro LED 的寿命更长，远远超过了硅基 OLED。当然，还有一点必须要提到的是，Micro LED 具有目前已知屏幕方案中最好的透明性，这对于 AR 设备而言非常重要。近年来，除了近眼显示应用外（VR/AR 等消费电子产品），71、MicroLED 频繁“解锁”新应用场景，特别是家用和商用大屏场景的市场规模正在快速起步。首先是户外应用。首先是户外应用。Micro LED 具有高光效、高可靠性的特点，可满足大多数户外应用场景的需求。此外，防水性能方面，Micro LED尺寸较小，便于布局防水材料；散热方面，Micro LED 的驱动芯片可以实现高度集成、动态节能，搭配 Micro LED 高光效的特性，可以较轻易地满足户外应用场景的节能需求；防护性能方面，Micro LED 可以增加更多防护措施，如高低温、紫外线以及防护等。其次是 VP/XR 虚拟拍摄其次是 VP/XR 虚拟拍摄。近年来，XR 虚拟拍摄得到极大发展，这一应72、用场景对屏幕的要求很高，包括无色偏、广色域、高光效、高刷新、高灰阶等。常规的 LED 屏幕难以达到这一要求，Micro LED则不同。Micro LED 可以满足 VP/XR 虚拟拍摄场景对屏幕的各种苛刻的要求，并在保证屏幕的显示效果无限接近真实世界的同时，达到节能减排的要求，助力实现碳中和。第三是球幕影院和飞行影院。第三是球幕影院和飞行影院。球幕屏不仅可以在影院中应用，还适用于军事、数字展陈等场景。军事、数字展陈等场景。球幕屏作为一种非常规形态屏，若使41用大尺寸 LED，将面临拼接难的问题，而采用 Micro LED 则可以轻松实现各种屏幕对外观的要求；另一方面，球幕影院对声道的要求较高，73、Micro LED 亦可轻松满足这些要求。市场空间方面，球幕屏的尺寸越来越大，这也就意味着一个球幕屏需要几十、上百 KK 颗 MicroLED，这一趋势对于 Micro LED 产业而言有较大的推动作用。最后是元宇宙体验舱。最后是元宇宙体验舱。元宇宙要实现沉浸式体验则离不开显示终端。在各种显示技术中，Micro LED 不仅可以带来更好的显示效果，还能提供更丰富的产品布局及外观设计空间，是提升元宇宙体验舱体验感的一大帮手。此外，Micro LED 还将在汽车（车载显示）、航空航天（飞行数据显示和导航）、医疗（医学影像诊断和手术导航）等制造业、商业领域发挥重要作用。2.2.4.2量子点技术：点亮74、世界第一款AR/VR用2微米全彩NPQD MicroLED 阵列2.2.4.2量子点技术：点亮世界第一款AR/VR用2微米全彩NPQD MicroLED 阵列2017 年，利亚德投资全球领先的原位量子点技术解决方案提供商赛富乐斯半导体（以下简称“Saphlux”），在量子点、AR 屏幕、工艺制程量子点、AR 屏幕、工艺制程等技术端展开合作开发。Saphlux 是一家专注 Micro LED 光引擎创新的显示技术的企业，拥有纳米孔量子点（NPQD）和半极性氮化镓（Semi-polar GaN）两项核心原创技术。凭借独创的 NPQD（纳米孔量子点）颜色转换技术，Saphlux42成功解决了微显示芯75、片红光效率低和 RGB 集成问题，实现了更高效率和更低系统成本的大规模全色微显示芯片及微型显示器的生产。基于最该项技术，设计并制造出适用于小间距 LED 显示的 NPQD R1芯片，以及适用于 AR/VR 眼镜的 NPQD T1 微型显示器。图 44：NPQD R1 芯片与 NPQD T1 微型显示器NPQD 是指基于纳米孔结构（Nanopores）的量子点（QuantumDot）芯片级集成技术。纳米孔结构具有独特的散射效应，能够百倍增加有效光径，大幅提高光转换效率，并增强量子点稳定性。该技术能够解决量产 Micro-LED 过程中的一些核心材料问题，包括分 Bin 难题、低红光 EQE 问题76、、色彩偏移、高材料成本等，并使得小尺寸、高分辨率的全彩 Micro-LED 显示阵列的实现成为可能。在 AR Micro LED 显示应用中，由于芯片尺寸变小带来的红光效率和三色集成问题是目前阻碍产业发展的主要瓶颈。传统铝铟镓磷(AlInGaP)红光 Micro LED 的光效会随着芯片尺寸的微缩而急剧下降，导致现有的 AR 中用的红光 Micro LED 存在效率低，发热量大，亮度不足等诸多问题。Saphlux 团队针对市场需求，对小于 5 微米的红光 NPQD MicroLED 进行了优化，在提升效率的同时解决了色串扰、色纯度等方面43的问题，推出了新一代的红光 NPQD Micro LE77、D 光引擎。图 45：T 系列 0.39inch Micro LED 显示屏 2023 年 5 月在美国 SID 展出该引擎可在 48 万尼特的亮度下，实现 5.4%的 WPE，并在亮度增至 74 万和 93 万尼特时，仍保持 4.2%和 3.5%的 WPE。其芯片的综合红-蓝能量色转换效率达到 48%，红-蓝光子转换效率达到 67%，并通过了 3000 小时的第三方上屏可靠性测试，真正将高效、高亮度、高可靠性的红光 NPQD Micro LED 推到商用阶段。2021 年及 2022 年，Saphlux 分别发布 2 微米全彩 NPQD MicroLED 及红光 NPQD Micro LED78、 光引擎（这是世界上第一款 AR/VR用 2 微米全彩 NPQD Micro LED 阵列这是世界上第一款 AR/VR用 2 微米全彩 NPQD Micro LED 阵列），实现了超过 67%的光子转换效率，首次将全彩 AR Micro LED 的性能提升到了应用标准。3.虚拟动点数字技术赋能虚拟现实商业落地3.虚拟动点数字技术赋能虚拟现实商业落地随着虚拟现实产业链条的不断完善以及丰富的数据累积，虚拟现实将与各行业充分结合，展现出强大的“飞轮效应”，带动整体产业链迎来爆发性增长和行业变革，催生出更多商业模式并创造更多的商业价值。目前，“数字孪生”概念正逐步兴起，“虚拟现实+行业”的模式日趋明显79、，虚拟现实技术面向 B 端的应用日益广泛，如智慧城市、44工业仿真、航空航天、军事安防、影视娱乐、智慧医疗、智慧教育等领域，成为各行业数字化转型的一大助力。资料来源：前瞻产业研究院图 46：虚拟（增强）现实行业产业链3.1 强国：以作训为主的航空航天、军警安防系统3.1 强国：以作训为主的航空航天、军警安防系统行业痛点：行业痛点：虚拟现实技术在军事航天领域的应用，有一些“共同点”军事和航天作战无法在现实世界中重建。因此，虚拟现实可以帮助实验者在现实生活中对稀有、危险或昂贵的设备进行模拟训练；同时，经过虚拟现实仿真操作，可以帮助工程师设计、改进更实用、更安全、更高性能的武器装备、航空设备。应用方80、案：（1）飞行员训练系统应用方案：（1）飞行员训练系统利亚德自研的飞行员训练系统（LED 球幕视景显示系统），作为视景成像系统的重要组成部分，采用小间距 Micro LED 显示产品，以共阴技术为驱动，将视景成像计算机输出的视频信号经过综合处理后，45驱动 LED 球幕，呈现逼真、稳定和实时的座舱外景象模拟视觉信息，为飞行员构建一个高沉浸感全景虚拟训练空间。图 47：飞行员训练系统（整球）示意图（2）虚拟现实模拟训练虚拟现实模拟训练军事领域的仿真训练是通过模拟实际的车辆、士兵和战斗环境来培养小型单位或单兵的战斗技能。目前，该项技术（系统）已广泛运用于各军/兵种的单兵单装训练、作战指挥训练、战役81、战术训练等各个环节。图 48：各类军事训练（3）国防设备的设计、优化和维护（3）国防设备的设计、优化和维护许多国防设备都有着复杂精密的机电系统，而且并非所有设备都是在工程师构思时所考虑的条件下进行使用。而虚拟现实技术则是设46计和优化军事装备的理想工具。在身临其境的可视化和交互中运行测试，这在开发航天器等大型产品时非常有效。虚拟现实技术可帮助用户以 1：1 的比例可视化设计并实时进行修改。（4）敏感国防项目或军事任务的远程协作（4）敏感国防项目或军事任务的远程协作随着云技术和 5G 通信技术的普及，相隔千里的多个军事研究实验室也可以实现无缝协同。运用虚拟现实系统，多个用户可以实时，大规模地使用82、相同的 3D 模型。在军事任务中，虚拟现实系统为信息收集开辟了新的可能性，操作员将能够在真实渲染的同时移动传感器，增加操作者的隐蔽性。3.2 兴业：以行业为场景的商业应用3.2 兴业：以行业为场景的商业应用面向未来，虚拟现实拥有无限可能、无限能量、无限前景，必将推动不同领域的跨界融合，应用渗透至生产生活的各个方面。也将与各行各业结合发展，引导数字化转型新方向，真正实现“虚拟现实+”的发展模式，赋能产业、深化产业，助力数字经济的快速发展。资料来源：今日头条未来智库图 49：2025 年中国 VR/AR 企业级应用市场规模预测473.2.1 虚拟现实+工业仿真3.2.1 虚拟现实+工业仿真行业痛点83、：行业痛点：汽车、高铁、飞机、船舶等工业制造业在设计评测、生产制造、维修培训等过程中，存在造价昂贵、数据误差大、人员参与程度较低等问题；同时高铁，船舶，飞机等大型设备，在展览展示中，受时间、空间、成本所限，很难将完整产品呈现出来。应用价值：应用价值：随着虚拟现实技术的进一步发展，除了造型设计，贯穿产品全生命流程均有相应的仿真应用，如概念设计阶段、初步设计阶段、仿真验证阶段、试制定型阶段、市场宣传及销售等都可以采用动作捕捉、虚拟现实（VR）、增强现实（AR）、混合现实（MR）综合技术辅助。总布置、人机工效、造型评审、工艺规划等部门都可以提供相应的快速仿真验证解决方案，大幅缩短开发周期，降低开发成84、本。图 50：工业仿真多场景应用应用案例：（1）整车总布置人机工效虚实结合验证解决方案应用案例：（1）整车总布置人机工效虚实结合验证解决方案基于 SoErgo V3.0 专业人机工程仿真分析软件的车用虚拟现实解车用虚拟现实解48决方案决方案。SoErgo 引入“物理台架+虚拟现实”的方法，运用“光学动作捕捉系统+柔性台架+沉浸式显示设备”，通过虚拟数字人虚拟数字人的第一视角提升仿真过程的交互体验，并在 VR 工业软件的驱动下实现研发设计数据的虚拟仿真验证，提升人机工程目标设定的精准度和验证效率。SoErgo V3.0 具有最新中国标准人体数据，可以为仿真分析提供可靠的数据支撑；支持 CAD、B85、IM、GIS 等多种数据格式导入，可以快速搭建仿真环境；具有高精度的物理引擎，可通过动捕设备驱动虚拟数字人进行精确的汽车碰撞试验及检测分析。汽车碰撞试验及检测分析。图 51：汽车碰撞试验现场演示实况图图 52：奥迪车辆设计与评估系统设计师工作（2）移动数字飞机平台（2）移动数字飞机平台为解决传统展览展示的痛点，运用目前主流的动作捕捉、虚拟现实（VR）、增强现实（AR）技术，通过实物仿真舱段与 VR、AR 等技术的虚实结合的形式向客户展示飞机客舱段的布置、性能和功能，包括客舱主要空间布局（实物比例 1:1）、设备布置、客舱设备主要功能、供客户参观、体验，从而提升展示效果，节省展项成本。49图 586、3：半实物移动数字飞机平台演示实况图3.2.2 虚拟现实+影视制作3.2.2 虚拟现实+影视制作行业痛点：行业痛点：传统影视行业在进行拍摄工作时，往往采取实景采景或绿幕合成的方式。实景拍摄实景拍摄效果好，但时空限制多、转场成本高，遇上现实中不存在或不便采景的场景时还需要另外搭景，既占地又耗时耗力；而绿幕合成方案绿幕合成方案虽然拍摄搭建便利，但后期制作时间长，成本高，易出现“溢光”现象，影响成片效果。无实物场景对演员的想象力及导演的全局把控力也有更高的要求，提高了拍摄沟通成本，容易出现返工。虚拟制片(Virtual Production，VP)和扩展现实(Extended Reality，XR)87、的发展，正在推动影视、娱乐、广告、教育等越来越多的行业重新构想讲故事和内容创作的方法，为观众提供前所未有的深度沉浸式体验。应用方案：应用方案：利亚德虚拟动点是全球最早提供影视级动作捕捉技术解决方案的公司之，也是国内唯一可同时提供影视预演（基于光学动捕系统）影视预演（基于光学动捕系统）和虚拟拍摄(基虚拟拍摄(基于 LED 系统）于 LED 系统）综合解决方案的中国企业，可为用户提供“虚拟制片数字化工业化生产全流程”方案，即从剧本创意、美术设计、数字资产，到影视预演，虚拟拍摄以及影视评审(LED 放映厅）50的整体解决方案，有效降低制片成本，提升拍摄质量和效率。图54：虚拟动点具备虚拍核心竞争力（88、蓝色部分）并可提供完整解决方案图 55：虚拟动点可提供各类虚拍影棚整体解决方案（1）影视预演（表演捕捉棚）（1）影视预演（表演捕捉棚）影视预演采用后期前置化的理念优化影视制作流程，在影片正式拍摄前，使用低质量模型布置场景，通过表演捕捉系统采集演员动作驱动虚拟形象展示演员走位，从而快速完成取景、摄像机、演员调度等工作，且可预测拍摄时可能出现的问题，供制片方和剧组各部门主创在正式拍摄时参考，帮助制作方降本增效。影视预演对推动影视工业化发展有重要作用。（2）虚拟拍摄（虚拟拍摄棚）（2）虚拟拍摄（虚拟拍摄棚）虚拟拍摄主要包括两个领域的应用，VP 虚拟制片（实时 LED 虚拟拍摄技术）和 XR 虚拟拍摄89、。VP 虚拟制片虚拟制片（实时 LED 虚拟拍摄技术）和 XR 虚拟拍摄。VP 虚拟制片，是指一系列计算机辅助制作和电影可视化制作的数字化工作流程及方法，综合运用 LED 显示技术、动作捕捉技术和虚幻引擎，实时渲染还原 3D 模型创建的虚拟场景，将现实与虚拟影51像完美融合，提升电影工业数字化进程，增效降本。虚拟动点提供的虚拟拍摄的整套系统由高品质 LED 屏幕、摄影机追踪系统、VFX 渲染服务器，控制系统、灯光系统以及同步系统等组成。其中，LED 屏幕质量直接决定了影片画面品质以及影像空间的真实感，利亚德 Micro LED 显示技术和产品优势在此凸显。图 56：VP 虚拟制片拍摄效果（长影90、第三影棚）XR 虚拟拍摄，XR 虚拟拍摄，是实现虚实结合的方式之一，在拍摄过程中使用MR 和 AR 结合的视觉表现方式，通过软件算法将虚拟图像与现实场景结合起来，在有限的 LED 显示屏范围内，达到无限空间虚拟场景融合的效果。图 57：XR 虚拟拍摄效果（所见即所得）XR 虚拟拍摄系统的基础构成包含LED 屏幕系统、灯光音响、摄像机系统、摄像机追踪系统、控制服务器、内容渲染服务器等，通过搭载混合现实系统软件，可在较小的空间里呈现出无限宽广、不同52风格、不同场景，更富有创意的演播环境，使用众多不同风格的环境空间设定快速制作节目，达成1=N个演播室的应用价值。应用案例：（1）影视预演（动作捕捉棚91、）应用案例：（1）影视预演（动作捕捉棚）疯狂的外星人运用了顶级的“动作捕捉”技术与系统，虚拟动点为影片制作出939颗特效镜头，帮助主演则克服人类的肢体特征，去演绎一个短手短脚、比自己小两倍之上的外星生物。刺杀小说家是一部完全由中国团队打造的特效巨制，运用了目前最前沿的表演捕捉、虚拟拍摄、虚拟预演等制作手法，节省大量时间、人力、制作成本。图 58：疯狂外星人 VS 刺杀小说家虚拟动点为三体提供了专业的动捕技术服务支持虚拟动点为三体提供了专业的动捕技术服务支持。运用“扫描+动捕”“扫描+动捕”的方式 1:1 还原真实人神态、身体姿势及行动细节；通过对 2D 图像快速进行 3D 重建，准确识别标记点92、并运算输出标记点质心数据，反馈系统通过算法计算实时驱动虚拟化身，保证游戏世界中虚拟形象实时交互。53图 59：三体主演动作捕捉现场（2）虚拟拍摄（VP/XR 虚拟拍摄棚）（2）虚拟拍摄（VP/XR 虚拟拍摄棚）4 月 25 日，由利亚德（虚拟动点）与秀加科技联合投资打造的，长沙最先进的影视级虚拟拍摄影棚-马栏山虚拟制作基地正式启动。影棚采用利亚德先进的 LED 小间距屏幕（P1.9）LED 小间距屏幕（P1.9），能满足挑剔的色域色温控制要求，呈现美轮美奂的影像质感；依托利亚德旗下德火科技的 XR 虚拍技术XR 虚拍技术、虚拟动点的动捕技术动捕技术，搭配顶级 4K 摄录系统顶级 4K 摄录系统93、、多讯道高清导播系统，将为客户提供符合“好莱坞电影 VP、XR 虚拟拍摄标准”“好莱坞电影 VP、XR 虚拟拍摄标准”的虚拟拍摄场地，可提供电影/电视/广告虚拟制片（VP）、XR 虚拟舞台、XR 虚拟演播厅等全球领先的虚拟拍摄综合解决方案。图 60：长沙 XR 虚拟拍摄影棚演出拍摄图 61：Planar&Orbital Studios Open House图 62：新华社虚拟演播厅 VS 2022 全国两会跨屏访谈54图 63:GOLIATH-Virtual Production Short Film 图 64：Resolution Production Studio3.2.3 虚拟现实+游戏94、娱乐3.2.3 虚拟现实+游戏娱乐行业痛点：行业痛点：在传统游戏制作流程中，常通过建模的方式来还原人体动作姿态，但由于动作复杂，建模往往无法呈现更多细节，容易造成人物失真。在休闲娱乐领域，传统文娱体验则存在互动性有限、社交性不足、体验形式单一等问题。应用价值：应用价值：动作捕捉技术是通过定位主体在三维空间中的空间坐标来追踪并记录其运动轨迹，Optitrack 通过数字技术采集真人动作数据，绑定到游戏角色的骨骼上，1：1 还原其动作，真实生动。如今，动作捕捉已成为 3A 游戏的标准配置，是国内外游戏制作中最常用的一项技术。此外，虚拟现实支持融合型、分享型和沉浸型数字内容与服务，有助于围绕信息技术95、融合创新应用，打造信息消费升级，培育中高端消费领域新增长点。应用案例：应用案例：（1）游戏制作：游戏制作：使命召唤：现代战争是一款第一人称射击游55戏，在游戏制作过程中，通过 OptiTrack 光学动捕技术追踪身着动捕服的演员，借助 Marker 反射的红外光，对演员的动作进行捕捉并生成动作数据，同时记录演员说话时的肌肉动态和细微表情变化，实时驱动游戏中人物形象的运动，为演员拍摄和摄制组在艺术层面的尽情发挥提供更广阔的空间。图 65：游戏使命召唤制作（2）商业娱乐：虚拟动点与华锐 Gamebay 合作为用户打造了一个兼具娱乐性的运动新方式，给玩家及亲友提供一种玩乐新场景，灵活融合多款沉浸式互96、动游戏，让不同年龄层的用户在标准的虚拟空间中自由切换各种 IP 主题的沉浸式互动体验，通过多样的对抗和互动游戏模式，不同模式对应不同年龄段玩家的需求。图 66：互动游戏体验3.2.4 虚拟现实+医疗行业3.2.4 虚拟现实+医疗行业行业痛点：行业痛点：56（1）临床治疗：（1）临床治疗：受医疗仪器精度所限制，临床手术大多依赖 X光片、微型探针以及医生临床经验，对医生职业水平要求极高，并需要大量医疗人员配合。此外，对于微创手术(MIS)，如膝关节镜，自动化程度低，医源性损伤严重。机器人辅助骨科手术需要更高精确、自动化的标定操作，以提高空间精确性，减少医源性损伤。超高精度医疗仪器结合数字孪生、AR97、 技术则将有效解决这一行业痛点。（2）医疗康复：超高精度医疗仪器结合数字孪生、AR 技术则将有效解决这一行业痛点。（2）医疗康复：一直以来，受人口基数大，医疗资源有限等因素影响，我国的术后康复系统有待完善。目前医疗康复领域多采用定期 X 光片、核磁等检测方式，若实现更精准的恢复判断，则需要数据化采集及分析等技术介入。（3）医疗培训：（3）医疗培训：主要采用模拟医学模型、搭设简单场景，道具/场景费用高，真实度低；培训效率低、现场感差；评测数据无法准确记录并考评，已引入的虚拟现实技术和产品仍存在技术壁垒，如不支持自由行走和多人互动模式；只有视觉效果，无法与场景进行互动；无触觉体验，无法进行实际操作98、。应用价值：应用价值：虚拟现实技术的高沉浸性、高可重复性、高定制化性以及远程可控性等特点，有助于丰富教学和诊疗手段、降低治疗风险、提高设备利用率，进而推动医疗准确性、安全性与高效性的持续进阶。（1）使用超高精度光学跟踪(OptiTrack)系统进行跟踪，可以连续跟踪腿或关节的任何位置，以提供实时的姿势的毫米精度；结合数字57孪生及增强现实（AR）技术将骨骼结构三维立体方式呈现在医生面前，从而达到更精准操作，降低治疗风险等目的。（2）依托于高精度动作捕捉设备，可对术后康复达到准确的阶段性数据表达，给医生与患者以更直观的数据比对图谱。（3）采用超高精度定位系统，结合虚拟现实(VR)技术为医疗培训领99、域还原处理场景，与医用设备虚实结合，多人参与交互，以达到更加沉浸重交互式培训。现阶段虚拟现实+医疗尚无法完全取代真实诊疗过程，但已作为传统医疗手段的有效补充，具备规模推广的条件。应用案例：（1）VR 医学培训应用案例：（1）VR 医学培训应用动作捕捉和虚拟现实技术，全 3D 动画模拟，操作人员第一人称视角，可选择任意空间位置观看操作。真实器械操作多病例病症数据库后台。图 67：腹腔穿刺：虚拟画面 VS 实操画面图 68：心肺复苏训练与考核：现场实时画面 vs 虚拟现实场景58（2）临床治疗（腿部外科手术）（2）临床治疗（腿部外科手术）传统光学系统对外科医生的操作多有限制，无形中增加手术时间及难100、度；以微创手术为例，传统光学系统无法对腿部进行跟踪，因此无法获得腿部姿势信息。而 OptiTrack 的标准刚体(RB)在患者腿部特定位置安装标记(光学跟踪球)，并使用光学跟踪系统进行跟踪。通过数字解决方案与光学跟踪系统，连续跟踪腿或关节的任何位置，以提供实时腿部姿态数据（毫米精度）。图 69：使用关节镜的光学跟踪进行膝关节镜检查图 70：组装好的腿部刚体，腿部装有标记，机器人可安装脚踏板图 71：用于关节镜跟踪的刚体（3）康复治疗方面（下肢运动分析）（3）康复治疗方面（下肢运动分析）为了估计腿上或腿内任意点的姿态，有必要在安装在腿上的刚体的关键位置上设置坐标系。在知道光学标记相对于 Opti101、Track 全局框架(W)和 CT 图像的位置后，就可以计算 RBs 和腿部点之间的局部变换。它支持获取腿上任何位置相对于全局框架(W)的姿态。图 72：康复训练实操 vs 随时间变化曲线图593.2.5 虚拟现实+智慧教育3.2.5 虚拟现实+智慧教育行业痛点：行业痛点：传统教育培训模式，针对教学过程中部分课程内容难记忆、难实践、难理解等问题，虚拟现实有助于提升教学质量与培训效果。应用价值：应用价值：智慧教育的突出特征在于：参与性、实操性、沉浸性、交互性、构想性等。通过建设虚拟现实课堂、实验室与虚拟仿真实训基地，运用动作捕捉、VR、AR、MR 等技术，模拟出三维虚拟环境，增强教学本身的代入感102、，从而强化学生与各类虚拟物品、复杂现象与抽象概念的互动实操，推动教学模式向自主体验升级，打造支持自主探究、协作学习的沉浸式新课堂。应用案例：（1）数字媒体艺术（技术）教学实验棚应用案例：（1）数字媒体艺术（技术）教学实验棚应用动作捕捉技术，实现动作数据采集，可视化呈现，在影视制作、动画制作、游戏制作全流程中的教学。图 73：动捕棚教学实际场地图 74：中国传媒大学 影视制作课程（2）桌面级教学系统（2）桌面级教学系统将传统的人机交互模式升级成全息的、真实尺寸的模型，可实现60多人协同交互和主动式三维显示，用户可以多角度观看模型，直接在自由的空间内与模型进行分析、修改、操控等交互。图 75：桌面103、级教学系统图（3）CAVE 沉浸式教学系统（3）CAVE 沉浸式教学系统基于多通道视景同步技术和 3D 立体显示技术(LED 大屏)的沉浸式可视协同环境。借助虚拟现实交互设备（如数据手套、力反馈装置、定位系统等），获得身临其境的高分辨率三维立体视听影像和 6 自由度交互感受。图 76：CAVE 沉浸式教学系统图（4）多人交互沉浸虚拟现实教学系统（4）多人交互沉浸虚拟现实教学系统利用头盔式显示器或其他设备，提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其他手控输入设备、声音等使参与者产生一种身临其境、全心投入和沉浸其中的感觉。61图 77：多人交互沉浸虚拟现实教学系统（5）K12 实104、验类科普类教育（5）K12 实验类科普类教育将 K12 化学类、物理类实验实操课程用虚拟现实技术呈现，降低实验损耗及安全隐患。图 78：K12 教学现场场景3.2.6 虚拟现实+体育训练3.2.6 虚拟现实+体育训练行业痛点：行业痛点：现代体育的不断量化，对成绩和极限的日益追求，基于人眼观察的方式已无法满足体育运动成绩的提高。从运动技术这一视角来看，运动成绩要获得提高或者突破就必须在运动技术研究方法学上完成两个转变：从传统的基于人眼观察到基62于高精度运动捕捉与分析的人体运动测量方法的转变；从基于包含感情色彩的经验方法到基于程序化的人体运动仿真的人体运动分析方法的转变。应用价值：应用价值：运动105、仿真技术是动作捕捉技术、计算机视觉、三维可视化分析、力学转化测量台等多种技术集合成的一种新型体育技能及成绩提升的综合技术。通过动作捕捉对于运动员运动动作进行数据采集，经过计算机数据分析，三维可视化进行运动数据比对，力学平台对运动员运动过程中发力及受力转换进行采集分析，从而以数据化、可视化的方式给出更直接更准确的评估，以辅助人体技能及运动成绩的提升。应用案例：（1）高尔夫教学应用案例：（1）高尔夫教学传统的高尔夫球教学主要利用镜面等手段根据教练的纠正指导来达到提高挥杆动作标准性的目的。这种方法只能依靠球员自身的感觉与教练的观察来分析技术动作，球员无法看清自身挥杆动作的完整过程，也不能准确比较其挥106、杆动作与标准动作的差异，因此很难纠正动作缺陷，不易提高球员挥杆水平。采用运动捕捉等技术使高尔夫教学直观化、智能化，从而使运动诊断技术达到定量水平。GEARS GOLF 是一款用于高尔夫球运动的人体跟踪系统，核心技术由 Opititrack 光学定位及动作捕捉系统构成，用于球员训练、球杆设计和俱乐部测试分析，它能将每一次挥杆摆动的每一个细节数据，63在全 3D 环境中建立，通过回放和数据比对，提升训练效果。图 79：GEARS GOLF 实操画面 VS 数据比对画面（2）乒乓球训练（2）乒乓球训练“乒乓球裁判员临场执法培训系统”是虚拟动点开发的乒乓球教学系统，是集教学、练习、考核于一体的培训系统107、。通过真人穿戴动捕服完成各种乒乓球动作，借助计算机实时动作数据录入和骨骼绑定，在系统中生成运动员动作画面和乒乓球运动画面，一方面用于日常教学，另一方面帮助裁判判断球体运行轨迹；同时，还可用于模拟裁判员工作流程，让运动员和裁判员熟悉比赛模式，增强比赛临场感，无惧实战。图 80：乒乓球训练应用演示（3）篮球训练（3）篮球训练篮球作为竞技体育中三大球之一，其特点体能消耗巨大，对抗性强，受伤概率较高，对于运动员日常系统化训练强度要求高，所以数64据化采集分析运动员身体运动数据，有利于帮助运动员在达成最大训练目的的同时尽可能降低受伤概率，在受伤后也可以直观准确的反映出运动员康复情况。图 81：篮球运动数108、据采集分析（3）赛艇训练（3）赛艇训练赛艇运动处于户外水上，环境容易对科学采集设备构建造成干扰，所以此类运动多采用惯性动作捕捉设备进行动作采集分析。此设备集成了加速计、磁力计、陀螺仪与一身，特点惯性捕捉虽然精度没有光学动作捕捉高，但因具有灵活、抗干扰性强、使用方便、高性价比等特点。所以更适用于训练较为苛刻的环境。图 82：赛艇数据采集分析3.2.7 虚拟现实+展馆展示3.2.7 虚拟现实+展馆展示行业痛点：行业痛点：传统的展馆展示展示普遍存在空间有限，展品单一；展览内容割65裂，无效联动；展览形式静态，体验感不强等痛点。近年来，利亚德虚拟动点不断探索将光场显示、全息成像、VR/AR/XR 虚拟109、现实、裸眼 3D、沉浸式环境交互等创新技术与解决方案，广泛应用于博物馆、展览馆、科技馆等文化展示场景中，让“沉默”的展品“动”起来，让“睡着”的文化“醒”过来。应用方案：（1）沉浸展示应用方案：（1）沉浸展示应用虚拟动点动作捕捉系统，结合 AR 实景导览与 VR 行前预览，可以极大地丰富展馆展厅的展览方式，营造沉浸式的互动体验。如通过将博物馆文物与特点场景融合呈现，实现自动识物的自助讲解、文物复原、场景再现等功能，帮助访客对展品“知其然，亦知其所以然”。（2）光场显示技术在展示中的应用（2）光场显示技术在展示中的应用光场显示通过构建光线簇来表征三维物体表面的每个发光物点，使人眼在不同位置可以接110、收发光物点不同角度的光线信息，可以为观看者提供双目视差、运动视差关系、深度信息和正确的空间遮挡关系，从而拟合出原始场景的光场分布，实现逼真、自然的三维显示效果。利亚德领先的集成成像光场显示，运用微透镜或光栅阵列，实现动态的集成成像 3D 显示。利亚德领先的集成成像光场显示，运用微透镜或光栅阵列，实现动态的集成成像 3D 显示。该技术在博物馆中使用可以让观众更加直观地了解展品的外观和结构，提供近似实物展示的效果，为展品的呈现增添更多艺术感和科技感；还可以通过调整视角和焦距来，为展览展示提供更加灵活的展示方式。（3）虚拟数字人在展示中的应用（3）虚拟数字人在展示中的应用66与传统的导览方式相比，虚111、拟数字人导览有着诸多优势。A、支持多语言讲解，提升导览体验A、支持多语言讲解，提升导览体验虚拟数字人通过高清晰度的人物形象、生动的多种语言/语音解说和互动式展示，为观众提供了更加丰富、生动的导览体验。通过AI 技术手段使观众可以与数字人物进行互动，大大提升场馆的自动化和智能化程度，方便观众更加深入了解展示内容的文化艺术科技等方面的知识。B、提高导览效率，降低管理成本B、提高导览效率，降低管理成本传统的场馆导览方式需要观众阅读导览手册或者看导览牌，时间和效率都比较低下；而虚拟数字人可根据观众的需求和兴趣，自动匹配相关展品和导览内容，提高导览效率和质量，同时降低人力与管理成本。C、便于日常更新和维112、护C、便于日常更新和维护传统的场馆导览方式需要经常更换和更新导览手册、导览牌等物品，而虚拟数字人则可以通过数字化的方式进行更新和维护，降低了更新成本和维护难度。除以上优势外，虚拟数字人生命周期非常长，且可以有不同的数字分身，实现 7x24 小时连续工作。随着人工智能技术的发展，虚拟数字人的思维和计算能力会逐渐增强，未来将成为展馆展示中导览的主流。应用案例：（1）动作捕捉、AR 技术加持下的展陈导览应用案例：（1）动作捕捉、AR 技术加持下的展陈导览67在基于虚拟现实技术的展览导引基础之上，动作捕捉技术动作捕捉技术的加入将能够为观展过程中引入到“互动”的全新体验维度。在纽约新当代艺术博物馆(Ne113、w York Citys New Museum for Contemporary Art)的虚拟现实展览上，艺术家丹尼尔斯蒂格曼曼格朗与 ScanLAB 项目合作，使用虚拟动点的 OptiTrack 动作捕捉技术，虚拟动点的 OptiTrack 动作捕捉技术，让观众身临其境地沉浸在“正在迅速消失的巴西热带雨林“虚拟场景之中。图 83：苏州博物馆图 84：纽约新当代艺术博物馆当 OptiTrack 在整个展览空间中追踪他们的活动时，参观者可以探索这个虚拟的热带雨林里令人吃惊的丰富细节，游客可以在树枝间移动，蹲下身子，感受雨林的地面，真正感受到自己置身于这个奇妙的世界，并与之互动，营造出充满个性化114、、即时性、泛在化的观展体验感。（2）VR 沉浸式体验（2）VR 沉浸式体验由虚拟动点联合虚境科技为湖南省博物馆打造的 VR 体验项目国宝迷踪，也代表了国内历史博物馆展陈方式的重要里程碑。国宝迷踪故事设定为未来的湖南省博物馆，未来人类通过真实触摸文物的方式穿越回到文物所处的时代并参观游历。该项目采用 66 台68OptiTrack 动捕摄像机，加入 14 组定制化文物道具，通过 VR 交互体验，打造现实版“博物馆奇妙夜”。图 85：湖南省博物馆国宝迷踪VR 行走体验项目3.2.8 虚拟现实+文化旅游3.2.8 虚拟现实+文化旅游行业痛点：行业痛点：作为一个新兴行业，元宇宙文旅目前还没有明确的技术115、标准，技术开发和应用存在一定困难；同时，数据安全和个人隐私风险存在，如果不加以有效的保护，可能会引发一系列安全问题。此外，元宇宙文旅还未进入大规模普及阶段，用户流量相对较少，盈利模式不够清晰，需要包括技术、游戏运营商、文化机构等多方资源整合，这些都给文旅企业的盈利和发展带来一定挑战。应用价值：应用价值：元宇宙文旅方案的价值在于为文旅行业带来新的发展机遇，提高行业的效益、可持续性和竞争力，同时也为游客提供更加丰富、多样、个性化的旅游体验。此外，此外，元宇宙文旅方案可以实现文旅与科技的充分融合，提高文旅行业的效益和竞争力；同时，同时，可以降低文旅行业的资源消耗和环境压力，实现行业的健康可持续发展。116、69目前，应用推广要重点关注长期可持续的运营模式等问题。（1）内容制作，内容制作，包括虚拟景区、旅游目的地、文化遗址等元素的创作和设计，以及配合游戏机制开展的文旅故事制作等。（2）技术支持，（2）技术支持，包括虚拟现实、大数据、云计算、智能显示等软硬件技术支持，以确保元宇宙的流畅运行和高质量用户体验。（3）经营管理，（3）经营管理，包括团队管理、财务管理、市场营销等，以确保企业运营可持续性和发展。（4）收入来源，（4）收入来源，分为直接收入和间接收入。直接收入包括门票、虚拟商品销售、会员制度等；间接收入包括广告投放合作、文化旅游衍生品销售等。（5）安全保障，（5）安全保障，一方面需要保障游客的117、网络安全和个人信息安全，另一方面需要保护虚拟环境，以确保游客可以在安全的环境中享受体验服务。应用案例：应用案例：（1）弋阳龟峰夜游：数字化演绎+灯光互动体验的文旅夜游图 86：弋阳龟峰景区虚拟现实空间（2）河南漯河元宇宙：元宇宙 AR 交互体验空间，“文化挖掘+沉浸式体验=文商旅无界融合”70图 87：河南漯河元宇宙空间3.2.9 元宇宙体验馆3.2.9 元宇宙体验馆元宇宙展馆是一个集合了多种元宇宙应用和功能的展示平台，在展馆内，用户可以体验到各种元宇宙应用，包括虚拟现实游戏、智能家居、数字资产交易等等。此外，展馆还提供了区块链技术、人工智能等技术的展示区域，以及社交功能，使得用户可以与其他用118、户互动，探索元宇宙的更多可能性。行业痛点：（1）技术支持：行业痛点：（1）技术支持：体验馆需要高度先进的技术支持，包括 VR 和AR 技术等，这需要一定的技术人才和资源。（2）设备更新升级：（2）设备更新升级：技术进步迅猛，体验馆需要不断更新升级设备，以保证体验质量和用户体验。（3）用户体验（3）用户体验：用户体验是体验馆的核心，需要设计合理的场景并提供足够的信息和互动，以吸引用户并留住用户。（4）安全风险：（4）安全风险：元宇宙环境的自由度和开放性可能会带来安全风险，需要加强保障措施，避免不可预测的事件或损害。（5）运营成本：（5）运营成本：购买设备、维护设备、供应电力和场馆空间等成本巨大。119、71应用价值：（1）引领市场趋势：应用价值：（1）引领市场趋势：元宇宙是未来数字化世界的核心，元宇宙体验馆虚拟世界，可以提供更加沉浸式的游戏、娱乐、教育等体验。体验馆可以引领未来市场趋势，为观众提供新的体验形式。（2）丰富生活方式：（2）丰富生活方式：体验馆可以提供特色主题的虚拟场景和活动，让人们在不同的环境中体验不同的文化和生活方式。（3）推动科技创新和应用创新：（3）推动科技创新和应用创新：体验馆可以通过创新技术和互联网平台，推动技术发展，应用场景和商业模式创新。同时，还可以创造新的消费场景，为用户提供新的购物、娱乐、社交体验。应用案例：（1）四川简阳驿站 VR 体验馆：应用案例：（1）四120、川简阳驿站 VR 体验馆：运用虚拟现实和数字科普互动等技术，通过声光电的方式，虚拟设备体验的方式展示科普内容，沉浸感强，趣味性强。图 88：VR 体验馆（2）京东超级体验店：（2）京东超级体验店：裸眼 3D 创意显示屏、机械装置等设备，增加了线下店的科技体验感，让用户更愿意到商业空间中去消费，成为网红打卡地。72图 89：京东沉浸式体验店（3）保定之光元宇宙体验馆：（3）保定之光元宇宙体验馆：在数字孪生体验空间中，包含 VR模拟器、大空间多人游戏等项目。图 90：保定之光元宇宙体验馆3.3 惠民：智能电视+AI 数字人走进家庭3.3 惠民：智能电视+AI 数字人走进家庭行业痛点：行业痛点：智能121、电视行业目前正处于快速发展的阶段。但也存在一些问题：产品同质化严重，用户体验不佳（操作界面和应用商店），版权保护问题等都是智能电视行业面临的挑战之一。图 91：智能电视主要功能73区别于传统电视，智能电视目前的交互方式主要包括：控制器操控，语音操控，体感手势操控，体验效果各有利弊，有很大提升空间。控制器操控：控制器操控：智能电视在 UI 展示方面远复杂于传统电视，而控制器（遥控器，手机等）按键又少，老年人和儿童难以操控。语音操控：语音操控：受限于 AI 语音识别效率以及自然语言理解能力，目前的语音交互准确性和效率都有待提高。特别是针对老人和儿童，语音操控难以准确判断用户意图，交互效果差。体感操122、控：体感操控：通过识别手势动作实现交互，往往只能实现基础和简单的操作指令，如选择和确认功能。由于精确度不足，响应速度慢，体感操控也难以作为主流操控方式，往往只能作为无遥控器操控的一种替代方式。解决方案：“智能电视+AI 数字虚拟人”的应用解决方案，解决方案：“智能电视+AI 数字虚拟人”的应用解决方案，可以为用户带来更加智能化、便捷化、个性化的服务体验。虚拟人可以通过语音交互、人脸识别、推荐算法等技术，提供更加贴近用户需求的服务，如新闻播报（天气播报）、电视购物推荐、电视教育教学、健康管理、游戏娱乐、社交聊天、影视解说、家居控制等。应用案例：国外：应用案例：国外：谷歌推出支持多国语言的智能电视123、语音助手 VIDAA，重点解决语音识别准确率以及意图识别准确率。74图 92：虚拟数字人在新闻播报中的应用图 93：D-ID 推出虚拟电视助手，与用户实时聊天，增强用户体验国内：国内：目前四川长虹通过和科大讯飞星火合作，利用其多个 AI大模型的“超级大脑”结合智能电视应用落地，并已进入内测阶段。4、共建虚拟现实产业生态4、共建虚拟现实产业生态作为 AI 时代虚拟现实产业的领军者，虚拟动点在全球拥有 200余家合作伙伴，覆盖影视、教育、医疗、工业、娱乐、文化等 10+个行业，40+个应用场景。4.1 遍布全球的合作伙伴及营销网络4.1 遍布全球的合作伙伴及营销网络虚拟动点位于中国北京，核心动捕技124、术及系统的研发中心分部位于虚拟动点位于中国北京，核心动捕技术及系统的研发中心分部位于中国北京（虚拟动点、孚心科技、德火科技）、深圳（数虎图像）和美国俄勒冈洲（NP 公司）。75虚拟动点虚拟动点在全球拥有核心代理商 30 家，可独立完成售前-售中-售后的技术服务、安装搭建、技术培训等全流程销售服务网络；全球合作伙伴超过 200 余，涉及政务、工业、商圈、文旅、体娱、教育、医疗等多种行业的几十种细分应用场景。图 94：虚拟动点全球合作伙伴（部分）4.2 共建动作捕捉开发生态平台（开发者社区）4.2 共建动作捕捉开发生态平台（开发者社区）“从几个动捕头”到“一片云海”。虚拟动点致力于通过将动作捕捉技125、术动作捕捉技术与公有云平台公有云平台进行整合，建立 aPaaS 平台，对动捕数据进行平台化管理；数据应用产品化标准化，鼓励并激励相关从业者利用aPaaS 平台进行动捕相关业务开发使用；同时，建立开发者社区，促进动作捕捉相关产业生态蓬勃发展。图 95：虚拟动点将与云厂商建立 aPaaS 云平台，重新定义动作捕捉商业模式76参考文献参考文献（1）利亚德光电股份有限公司 2022 年年度报告（2）工信部：虚拟现实与行业应用融合发展行动计划（20222026 年）（3）虚拟（增强）现实白皮书（2021 年）中国信息通信研究院（4）VR 虚拟现实行业深度报告国信证券（5）从认知到落地元宇宙应用实践 2022亚马逊云科技（6）虚拟现实生态下数字化转型应用虚拟现实内容制作中心、上海虚拟现实产业协会（7）AIGC 发展趋势报告 2023：迎接人工智能的下一个时代腾讯研究院（8）2022 年中国 XR 产业链上下游市场分析报告（9）数字孪生白皮书（2019）中国电子信息产业发展研究院