光学跟踪—元宇宙的输入接口

系统利用视觉信息来跟踪用户，有很多方法可以做到这一点。最常见的是使用充当电子眼的摄像机来“观察”被跟踪的物体或人。摄像机通常位于固定位置。然后使用计算机视觉技术根据相机“看到” 来确定物体的位置。

当使用单个传感装置时，“观察”点的位置只能在两个维度上信息; 也就是说，物体在传感器看到的平面中，但没有深度信息。观看多个点或使用多个点传感器允许系统对被跟踪实体的位置和/或方向进行三角测量，从而提供三维位置信息。

单源二维光学跟踪通常用于第二人称VR，其中参与者在虚拟世界中观察自己，而不是从第一人称的角度体验虚拟世界，既用于确定用户在视频图像中的位置，又用于将用户的图像添加到虚拟世界。

另一种单源视频跟踪方法使用安装在桌面监视器附近的小型摄像机（例如用于桌面视频电话会议的摄像机）。

该相机可以通过检测观察者头部的轮廓来粗略地计算用户在监视器前面的位置（假设用户头部距离屏幕的距离通常落在某个有限的范围内）。然后，该系统可以用作基于台式监视器（也称为Fishtank VR）VR系统，无线光学跟踪器。

VR系统可以组合多个视觉输入源以获取关于参与者的附加位置信息。使用三个视觉输入，例如不同位置的三个摄像机，可以通过三角测量计算完整的六自由度位置。通过瞄准摄像机，可以跟踪参与者的多个对象或多个身体部位（例如每个手和脚）。

光学跟踪的限制是被跟踪的人或物体与相机之间的视线必须始终清晰。将跟踪物体保持在摄像机视线范围内也会限制参与者的移动范围。

光学跟踪系统通过使用视觉信息监控用户的位置。有很多方法可以做到这一点。VR系统最常见的是使用一个或多个固定摄像机作为电子眼来监视被跟踪物体或人。通常，使用一套摄像机，每个摄像机位于固定位置。然后使用计算机视觉技术根据摄像机“看到”来确定物体的位置。请注意，摄像机不一定限于可见光谱，实际上它们通常都是针对红外光进行调谐的，因为这种方式可以产生光线。通过该系统不会分散人类用户的注意力。

特定光学跟踪系统的参数可以施加限制跟踪数据的范围和质量。在单个摄像系统中，被跟踪的人或物体与摄像机之间的视线必须始终清晰。由于被跟踪物体必须位于摄像机的视线范围内，因此参与者的移动范围是有限的。因此，更强大的视觉跟踪系统利用了一系列集成摄像头。

通过组合多个视觉输入源，VR系统可以获得有关参与者的其他位置信息。通过明智地瞄准摄像机，可以跟踪参与者的多个物体或多个身体部位（例如手和脚）。对于多个相机系统，需要确定它们之间的相对位置，通常通过一些校准过程来确定。一些较小的系统包括刚性连接的两个或三个摄像机，因此通过预先确定它们的相对位置来避免手动校准。

为“运动捕捉”（MoCap）行业开发的系统也使用相机来跟踪人和物体的运动。虽然用于不同的目的，但技术的紧密重叠使得VR社区能够随着MoCap技术的发展而驾驭它们。MoCap和VR跟踪系统之间的一个区别在于，对于MoCap，跟踪了许多单个参考点，跟随一个或多个人的每个关节，甚至他们正在操纵的对象。而对于VR系统，跟踪的点数较少，但还需要确定获取完整6-DOF的方向。为了实现6-DOF跟踪，三到六个标记的小的刚性非对称构造物理地连接在一起。这些集合通常被称为“ 刚体“或” 星座 “。

光学跟踪优势

光学跟踪相对于其他类型的跟踪的一个优点是可以在不需要将线或任何其他东西附着到被跟踪的对象的情况下完成。在被跟踪的对象和现实世界之间不需要物理连接。光学跟踪还允许同时跟踪多个实体。

光学追踪与手术导航

在用于医疗和AR的两种跟踪技术中，光学跟踪同时是主要技术，因此在我们讨论主要替代方案（即电磁跟踪）之前首先和更详细地描述。光学跟踪通过测量由该物体传输或反射的光来识别被跟踪物体的姿势。当这种光从物体传输时 - 通常通过LED - 我们称之为有源光学跟踪。

在无源光学跟踪中反射光。由于主动跟踪需要电缆连接到LED，因此很少在OR中使用。因此，我们将专注于被动跟踪。被动跟踪是通过具体的方式实现的标记连接到手术器械。它们通常是球形的并涂有红外光逆向反射材料。该光在光学跟踪系统处从红外光源传输，由标记反射，最后由两个相互定位的相机测量。大多数光学跟踪系统使用NDI的北极星 ®，它的后继者北极星光谱TM，或更小的北极星VicraTM相机（参见图18.16）。

这些摄像机在导航系统中的集成如图18.17所示。两种NDI系统都具有0.25  mm 的高跟踪精度。Polaris Vicra TM相机重量轻，但测量体积较小，与Polaris Spectra TM相机相比，跟踪具有较高的精度。两种系统都可以跟踪无源无线工具，但只有Polaris Spectra TM可以跟踪有源工具。更新速率也不同：Polaris Spectra TM达到60 Hz，非常出色，而Polaris Vicra TM只能达到20 Hz的更新速率。该技术广泛应用于耳鼻喉科，神经外科和牙科种植有基地 全球超过11.000个装置（2012年10月，根据 www.ndigital.com ）。但是，用于腹部手术的典型AR系统，例如由Stefan Weber及其同事在伯尔尼开发的系统，采用了Polaris Vicra TM 。

Polaris Spectra TM光学红外摄像系统。（由NDI提供）

图：一种基于光学跟踪的现代导航系统，具有两个显示器，用于显示计划信息和术中指导。这里显示了与CT数据相关的仪器尖端。

光学跟踪提供高测量精度，不受附近任何导电或金属物体的影响。然而，无源光学跟踪要求由相机看到由标记反射的红外光。如果阻止此视线，则无法对该相应对象进行本地化。对于手术器械，只能跟踪人体外部的部分。标记位于仪器的（可见）远端。必须固定仪器尖端和远端之间的关系（在校准步骤中测量）。因此，通常不能在该设置中使用柔性导管或内窥镜。一些高级系统启用甚至使用复杂的图像分析跟踪柔性内窥镜，以补偿丢失的信息。因此，跟踪支气管镜是可行的。

然而，由于这种算法相当复杂，因此通常不能实时执行。此外，来自不同光源（例如太阳）的任何散射红外光将干扰光学跟踪。因此，必须小心阻挡这些光源。

内向外跟踪前面描述的光学跟踪称为外向内跟踪。相比之下，使用HMD的内向外跟踪意味着相机连接到头盔并且该相机跟踪一个参考系，例如附有标记的弧。这种跟踪通常非常精确，因为头部位置可以准确计算，它被用于例如CAMPAR系统。

总结近年来的发展促成了光学跟踪的成功。必要的设备在尺寸和重量上显着减小，因此可以移动到靠近工作空间而不是相当远的地方。这导致视线问题严重减少。因此，参考对象更好地可见。所有Brainlab导航系统中使用的NDI摄像机都被广泛使用。特别是，在使用螺钉和其他金属器械的所有矫形应用中，电磁跟踪不适用。

计算机辅助手术

指导方法是指在手术期间应用的方法，以便能够应用手术计划。这可以隐含地完成，例如当外科医生依赖他们的经验时 记忆所执行的计划，或明确地，例如当使用仪器和解剖结构的光学跟踪来尽可能地遵循术前计划时。

在本节中，我们将讨论我们已经确定的四种不同的指导方法：基于心智模型，外科医生依赖于他们的经验和他们对计划的记忆; 基于图像，使用3D 跟踪系统和医学成像 ; 基于文档的，外科医生咨询专门准备的，通常是静态的文档; 最后是基于机械引导的物理仪器，在某些情况下，患者特异性或可调节的，用于按计划进行手术。图17.15显示了四种指导方法以及每种方法的许多子类型。

图：四种确定的指导方法的示意图：机械指导，基于图像的指导，心理模型和文档。

这些指导方法也可以被视为手术计划转移模式，因为它们用于将信息从计划转移到实际的手术动作中。

心理模型

在基于心智模型的指导中，外科医生除了根据他们的经验在外科手术过程中依赖于他们对计划会话的记忆。在规划阶段，通过所涉及的可视化，他们对患者特定解剖学和病理学的理解得到了增强。他们做出的决定也是规划的持久结果。没有明确的指导机制在起作用。然而，对于使用或不使用计算机进行的手术计划，这是最古老且可能是最流行的指导方法。

在第一个例子中，Vannier 等人。[1983b] 从CT数据生成3D表面可视化，用于规划200个颅面外科手术。虽然提到了“工业蓝图用于颅面外科手术”的使用，但图表的稀疏性和手术的复杂性导致了基于心理模型的指导是主要应用途径的结论。

Hemminger 等人。[2005] 评估了三个经验丰富的外科医生对23个复杂病例进行心胸外科手术计划的实时三维可视化的使用。在这项研究中，外科医生根据可视化在65％的病例中改变了他们的计划，并且在调查问卷中显示出对可视化的强烈偏好，声称有些程序甚至不可能没有。

这是仅用于计划手术的可视化的明显示例，手术本身纯粹基于在计划阶段建立的外科医生的心理模型来执行。没有实施明确的手术指导显然是CAS中最直接的指导方法。它偏离了传统的外科手术管道，实际上只是将基于计算机的技术添加到现有的规划阶段，而手术本身完全依赖于外科医生的专业知识。尽管如此，衡量这些方法的附加值很重要。

在基于文档的指导中，计划阶段产生某种形式的文档，其中包含可在手术期间应用手术计划的指南和其他信息。外科医生在很大程度上依赖于计划手术的心理模型，文档用于增强该模型。

切除图[ Lamata 等。，2008 ]和风险图[ Hansen 等。，2010c，Hansen，2012 ]，肝脏切除计划的简化视觉表示，以及文档如何封装手术计划的很好的例子。这些在第 14.5.2 节中有更详细的讨论。

外科规划公司MeVis Distant Services也采用这种指导方法，以交互式PDF的形式将一系列肝脏切除方案转移给其外科手术客户。显示了此类报告的示例。嵌入式3D可视化可以通过旋转和切换显示结构的可见性来进行交互。

图：MeVis Distant Services为其外科客户准备的肝脏切除文件示例

利用快速原型技术，例如立体光刻生物模型，可以根据需要，基于三维图像数据制造患者解剖结构的固体塑料复制品。这些复制品可用于手术计划，并且还报道了制造的模型可以进行消毒并进入手术室以在手术期间用作触觉引导。这是基于文档的外科手术的另一个有趣案例指导，其中文件采用手术部位的三维复制品的形式。近年来，制造工艺得到了显着改善。它更便宜，更通用，并支持各种材料。快速原型制作将在未来几年在外科手术指导中发挥越来越重要的作用。

基于图像的指导

图像引导手术（IGS）是指术前成像与术中跟踪以及在某些情况下术中成像一起使用以指导外科手术的手术。术前图像数据与患者相关联或注册到患者，使得可以在术前图像数据和手术计划的背景下示出跟踪的器械和患者解剖结构。术中成像有时用于进一步改善患者和术前数据之间的登记。

IGS开始于从患者获取断层图像，优选地尽可能接近操作时间。在手术开始时，术前成像和医疗器械与患者相关。为此，外科医生或者在虚拟和真实患者的解剖结构上识别相应的解剖标志，或者在手术期间获得图像并使用描述的技术将它们登记到术前图像。一旦虚拟和真实患者对齐，通过采用四种主要跟踪技术中的一种或多种来跟踪医疗器械：

•光学跟踪。被动或主动（发光）标记使用摄像机进行定位，通常采用立体声配置。

•电磁跟踪。有源标记影响施加的电磁场，从而实现它们的三维定位。

•超声波跟踪。通过测量其超声回波来定位有源或无源标记。

•机械跟踪。仪器连接到机械臂上，通过读出关节的角度实现定位。

在外科手术期间，外科医生利用患者解剖结构的可视化以及在手术部位附近的显示设备上的器械。这意味着外科医生必须在操作现场和显示设备之间切换焦点。在增强现实（AR）环境中，操作站点上的视图通过患者特定图像和医疗仪器得到增强。这是通过在患者解剖结构的顶部突出的图像，或者投影在视频投影透视图像来完成头式显示器（HMD），或者通过可视化与单独的显示器上的患者的实况视频馈送组合。

机械制导，该指导方法依赖于不同类型的机械装置来指导手术期间的手术动作。在以下部分中，我们将讨论三种类型的机械引导方法。

医疗机器人在三种不同类型的机械引导中，医疗机器人技术是最突出的。通过这种方法，手术机器人帮助外科医生进行计划的手术。诸如Da Vinci（Intuitive Surgical Inc.，Mountain View，CA）和Zeus（Computer Motion Inc.，Santa Barbara，CA）之类的系统使外科医生能够从控制台控制精确机器人手臂，其中手术部位也显示在视频显示，在某些情况下是立体3D。这些设置在微创手术中特别有用。它们优于传统腹腔镜手术的优势 包括手术部位的三维可视化，这在传统腹腔镜检查中是单视的，经过改进 灵巧，更多自由度，消除生理震颤，从外科医生的宏观输入到微观致动臂的运动能力，远距离手术的可能性，以及人体工程学 Lanfranco 等人。

患者专用仪器患者专用仪器是指导仪器，类似于制造中的夹具，是为特定患者解剖和手术计划而设计和制造的。它们被设计成独特地适合患者解剖结构的某些部分，通常是骨结构，之后它们可以作为钻孔，锯切和其他手术动作的指导。通常，这些仪器是基于患者的医学成像数据以及手术计划的参数来设计的。

Radermacher  讨论了这种使用计算机控制的铣削装置制造的引导装置在脊柱，髋部和膝部手术中的应用，并临床应用于骨盆重新定位截骨术。 提出了一种患者专用模板，其中带有用于在C2 椎骨中插入螺钉的钻孔导向器。该模板使用医疗级立体光刻快速原型技术制造。它是在尸体上进行评估的，并进行了初步的临床试验。其他例子包括用于髋关节表面置换中的导丝定位的患者专用装置[ Raaijmaakers 等。，2010 ]，如图 17.17所示，以及全膝关节置换的模板[ Hafez et al。，2006 ]。

图：髋关节表面置换术的钻孔指南

可调节器械可调节器械类似于患者专用器械，因为它们应该独特地适合患者解剖结构，以便根据执行的计划指导一些手术动作。它们偏离，因为它们可以在必要时进行调整，即使在手术过程中也是如此。一般的想法是，可以基于手术计划阶段调整器械，以封装关于计划和患者解剖结构的信息。当手术期间仪器连接到患者解剖结构时，它有助于指导手术动作。如果对计划进行微调，则可以重新调整指导工具。

Steppacher 等人。[2011]用一种叫做HipSextant的装置展示了这种全髋关节置换的想法。在计划期间，外科医生基于患者CT数据的3D可视化指定三个解剖点和期望的臀部杯朝向，之后计划软件自动计算HipSextant的可调节参数。在手术期间，HipSextant适合患者的骨骼解剖结构。例如，如果改变了所需的杯子方向，则可以调整仪器以使其跟随。图：显示了虚拟和真实的HipSextant设备。

图：适用于在术前和术中阶段在髋部手术中放置人工杯的自适应器械

未受阻碍的VR系统最重要的进步之一是光学跟踪的发展。摄像机不是将传感器连接到参与者的身体，而是“观察”参与者并通过计算机视觉算法将视频信号转换为跟踪信息。该光学跟踪数据传达位置信息并解释参与者做出的手势。手势解释可以减少手持式棒或按钮输入设备的必要性。

除了报告跟踪信息之外，相机还将使用面部和/或身体识别来提供有关谁在被跟踪空间中的信息。该系统专门为所涉及的人量身定制体验，并在共享的世界中正确呈现他们的化身。

新的输入设备

虽然手势识别可以减少对手持设备的需求，但是另一种途径可以导致大量输入专用输入设备。将来，可能存在用于虚拟环境中几乎每种不同类型活动的自定义设备。某些设备可能会改变其形状以更好地模仿他们现实世界的对应物; 例如，高尔夫球杆支柱可以改变感知的质心以模拟木材，铁或推杆。这在训练环境中可能特别有用，其中参与者可以与他们将在现实世界中使用的相同设备交互。

直接连接

人类大脑研究调查将传感器设备直接连接到负责视听的大脑区域，以达到治愈失明和耳聋的目的。通过这种研究开发的设备接收者将有机会通过技术感知现实世界，有些人甚至可以直接在大脑中感知虚拟世界。一旦跨越这种技术的障碍，冒险研究人员可能绕过感觉器官直接向大脑提供模拟刺激，即使在感觉功能未受损的情况下也是如此。

虚拟现实的高级应用

大约25年前，当美国宇航局艾姆斯研究中心的斯科特·费舍尔小组提出虚拟接口环境工作站（VIEW）系统时，虚拟现实（VR）一词首次成为主流，这是一个带耳机和手套的头戴式显示器  。然而，当时，技术还不够先进，VR对于实际应用来说是经济的，甚至视频游戏行业在20世纪90年代经过多次尝试将这项技术引入视频游戏商店后也放弃了它，例如，伦敦的特罗卡德罗。

今天的VR系统至少包含以下组件：

•图形渲染单元：计算虚拟场景并将其渲染到帧缓冲区的计算机硬件，准备发送到显示设备。这通常是一台高端图形 PC。

•3D立体显示单元：用作从计算机到用户的接口。这些曾经是投影仪和屏幕，但随着3D平板LCD或等离子显示器的出现，这些越来越普遍。

•跟踪系统：用作从用户到计算机的接口。

VR在过去十年中卷土重来，当时消费类图形计算机变得强大到足以与高端专业图形大型机竞争。这一发展使图形渲染的成本降低了一个数量级以上，同时提高了图像保真度。今天，图形大型机不再生产; 它们已被专业版的计算机游戏硬件所取代，这些硬件基于其消费者对应物，因此仅比消费者解决方案略高。

显示和跟踪技术也在发生类似的变化，跟踪系统过去既是无线的又是非常昂贵的，或者是系留的并且仍然很昂贵。如今，无线光学跟踪系统的成本与高端PC类似。随着消费者3D电视的出现，VR显示器终于进入了消费市场。还有待观察3D是否能够在消费者市场中生存，以及如何在家中实现VR可行的趋势将继续下去。

 Calit2的VR硬件

在Calit2，我们在过去的5年中建立了许多新颖的3D VR显示系统。最值得注意的是StarCAVE，NexCAVE和AESOP墙。StarCAVE [2]，如图1所示，是一个房间大小的沉浸式VR系统， 直径约10 英尺。用户佩戴偏振眼镜并站在15个屏幕阵列的中心，每个屏幕由两个投影仪驱动，用于被动立体声。一组18台高端图形PC在34台HD（高清）投影机（1920  ×  1080 ）上渲染3D图像 每个像素都有Nvidia Quadro 5600显卡。使用无源立体声，因此用户必须佩戴带偏振滤光镜的眼镜。为了提供360°视角，屏幕是后投影的。对于头部和手部跟踪，我们使用安装在StarCAVE顶部的带有四个红外摄像头的无线光学跟踪系统。对于环绕声输出，我们有一个5.1声道环绕声系统。

StarCAVE有两个用户正在研究蛋白质结构