摘要

“虚拟镜子”是一种很有前途的界面，用于虚拟或增强现实应用程序，用户可以通过在环境中看到自己而受益，例如用于康复锻炼或生物教育的严肃游戏。虽然有大量的工作分析指向并为第一人称视角提供帮助，但镜像的第三人称视角很少被考虑，这限制了当前虚拟镜像应用程序中用户交互的质量。我们通过两项用户研究来解决这一差距，该研究旨在通过镜像视图理解指向运动，并评估辅助指向的视觉线索。最初的初步研究分为两个阶段，让用户调整和测试九种不同的视觉辅助工具。随后，他们对其中最好的四种视觉辅助工具进行了深入测试，并与没有辅助的指指点点进行了比较。结果提供了洞察辅助和非辅助指向与镜像的第三人称视角，并比较视觉线索。我们注意到一种模式，即当第一次引入指向任务时，始终指向远前方的目标，但最初的无辅助运动在视觉辅助练习后有所改善。我们发现，立体感的存在不足以提高准确性，支持我们开发的其他视觉线索的使用。我们展示了用户在指向自己身后和前方时的指向方式是不同的。最后，我们提出了在虚拟镜像界面中最有前途的3D指向视觉辅助工具。

1 介绍

在虚拟环境中为用户提供自己的3D镜像视图(如图1所示)可以在更常见的第一人称视角不够时创建有用的界面。如果应用程序要求用户完全意识到他们的身体在做什么，意识到他们身后的东西，或者能够通过一些增强图像看到自己，那么这种视图可能是首选。这种界面在早期的VR系统中具有开创性意义，它可以显示用户的镜像轮廓或视频，从而与周围环境进行交互。克鲁格1985年)。最近，这些界面可以在使用微软Kinect驱动化身的游戏中找到，帮助用户产生特定身体动作的应用程序(h lsmann等人，2019)，以及某些教育应用程序(Woodworth和Borst, 2017;Malinverni et al. 2017;Bork et al. 2017)。随着应用程序的发展，我们预计开发人员将希望用户能够在“虚拟镜像”环境中准确地指向。例如，在虚拟镜像中进行康复或运动训练任务的动作可能受益于精确的目标提示。

在实验测试站的虚拟镜像界面中，用户使用其中一个视觉辅助设备指向目标

在虚拟现实环境中，指向是一种基本的交互方式，通常用于选择或交流(Poupyrev et al. 1998)。因此，在常见的第一人称VR视角(Argelaguet and Andujar 2013)中，人们对指向进行了大量探索，并开发了许多技术和视觉辅助工具来提高指向的准确性。然而，据我们所知，没有主要的作品已经解决了这些主题的第三人称视角，其中用户看到自己从一个外中心的观点。镜像视图自然使用第三人称视角(Preston et al. 2015)，因此我们有理由相信第一人称指向技术可能不适用。一些作品有助于指向外中心的主要观点(Stoakley等人，1995;Mine et al. 1997)，这可能最初看起来与指向镜子有关。然而，这些解决方案在指向方面并没有偏离第一人称视角，只是提供了扩展用户可以看到的虚拟世界部分(如交互工具等方面仍然以第一人称观看和操作)。

第一人称视角和第三人称视角之间存在显著差异，这就需要对视觉辅助工具的差异进行调查。一个关键的区别是，指向原点和方向是以一种更间接和不连贯的方式被看到的，这可能会限制用户的深度意识。从更远的以自我为中心的距离来看目标也很自然，增加了错误判断目标位置的机会(Lin和Woldegiorgis 2017)。另一个不同之处在于，用户可能需要指向他们身边或背后的目标，而不能旋转来调整他们的视角。这就产生了三个主要区域(前、后、侧)，我们预计在这三个区域手臂的运动是不同的。

作为一个例子，我们期待着跨现实应用的增长(Pazhayedath et al. 2021)。由于VR的地位是流行的，但不是无处不在，VR会议空间的开发者(例如，Virbela, Mozilla Hubs, VRChat)除了他们的VR界面外，还支持传统的桌面交互。最近，一些人使用这些工具来补充教育(Yoshimura和Borst 2021)和学术会议(Ahn et al. 2021)。然而，在这些作品中，作者发现即使是使用VR设备的用户也可能更喜欢非浸入式的替代方案，以延长使用寿命、舒适度和增加对资源的访问。这促使了新的跨现实界面的设计(例如，Woodworth等人(2022))，我们认为值得进一步研究。

在一个案例中，Borst等人(2018)使用虚拟镜像界面来帮助教师指导虚拟实地考察。老师得到一个镜像视图(如图1所示)，他们的3D图像被Kinect捕获，并传输给沉浸在耳机中的学生，他们将其视为环境中的3D化身。作者指出，教师在描述环境中的物体时，最初无法指出正确的深度，他们甚至没有意识到由于指向方向的模糊性而导致的不准确性。这个问题需要设计视觉辅助工具来辅助指向精度。

本文介绍了评估这些视觉辅助工具的研究，以及对一般第三人称指向的深入了解。首先，一项初步研究向受试者提供了九种不同的视觉辅助工具，主要是为了微调个人技术，消除那些在时间和准确性方面表现不佳的技术。这一阶段的结果具有有限的统计效力(10名受试者)，并且不能明确地显示哪种视觉辅助(如果有的话)是最好的。此外，它没有调查独立指向，也没有充分考虑立体视角，这可能会揭示更多关于人们如何在镜像的第三人称视角下指向的信息。

随后的一项主要研究提供了一个更彻底的调查，并通过详细评估那些在初步研究中被宽松地认定为优越的视觉辅助工具，并通过更密切地评估33名受试者在指向过程中的运动，解决了初步研究的局限性。在这项研究中，受试者完成了一个类似于标准菲茨定律实验的任务，在这个实验中，受试者使用视觉辅助工具指向目标，并选择他们认为指向准确的时间。我们首先介绍了一个介绍阶段，在这个阶段中，受试者在没有帮助的情况下完成一个指向任务，并在最小的指导下提供对初始指向问题的洞察力。然后在主要的比较阶段，受试者在视觉辅助下重复这些任务，以确定它们是如何影响指向运动的。比较阶段还提供了基线的无辅助任务(在视觉辅助工具之间随机排序)，以确定受试者在“训练”后是否表现相同。在每个阶段，视觉辅助工具交替显示有或没有立体提示，以确定立体提示是否影响指向的准确性或易用性。

我们的贡献包括:

• 设计和分析了几种视觉辅助工具，旨在提高指向的准确性和信心。

• 洞察第一人称视角和第三人称视角之间的区别。

• 立体深度线索并不能固有地提高指向精度。

• 随着时间的推移，辅助和非辅助指向运动之间的差异的演示。

• 对用户头像前后目标的指向运动分析。

2 相关的工作

我们的研究围绕着两个主要的研究领域:虚拟镜像和虚拟现实中的指向。在3D环境中进行选择或通信是一项已被广泛研究的基本任务(Argelaguet和Andujar 2013)。研究表明，在指向时，给用户某种形式的视觉辅助或反馈是至关重要的，因为与虚拟环境相比，人类在现实世界中自然能够更快、更准确地指向(Liu et al. 2009;Barrera Machuca and Stuerzlinger 2019)。因此，我们回顾了一些流行的和最近的作品在辅助3D指向，并建立了新的工作需要考虑到虚拟镜子的角度和设计。我们回顾了有关虚拟镜像的文献，以展示使用该接口的常见应用程序，并确定在这种类型的接口中需要指向。

2.1 虚拟镜像

虚拟镜子起源于应用程序，例如2D“镜像世界”(Vincent 1993)和Videoplace (Krueger 1985)，它们使用2D视频技术使用户的剪影与周围的空间相互作用。这些应用程序通常允许用户将自己的轮廓与虚拟对象重叠，以选择或与之交互。例如，一个应用程序允许用户通过敲击虚拟鼓的手的轮廓来演奏虚拟鼓。在另一种情况下，用户通过2D指向他们的轮廓来相互互动。类似的技术也被用在了PlayStation EyeToy的商业游戏中，它们经常将游戏图像叠加在摄像机图像上。我们认为这是早期3D VR应用中常见的虚拟手交互技术的2D模拟。

最近，虚拟镜子在虚拟试穿应用程序中很受欢迎，它将衣服的图像覆盖到用户身上，允许他们“试穿”其他服装(Eisert et al. 2008;Hauswiesner et al. 2013)。这些应用程序在用户交互方面受到限制，主要使用外部触摸屏(Hilsmann and Eisert 2009)或非常基本的手势(Straka et al. 2011)进行选择。

某些教育应用程序也使用了虚拟镜像接口。例如，Blum等人(2012)创建了一个增强的“魔镜”界面，在用户的顶部绘制器官和骨骼的图像来教授解剖学。他们开发了一种用于交互的虚拟手隐喻，允许用户执行多手手势，例如缩放，通过在一定深度定义交互平面，并模糊用户的手直到他们到达该平面。Bork等人(2017)的类似应用表明，不逆转镜像可以改善用户的学习，尽管交互仅通过外部输入设备进行处理。h lsmann等人(2019)在洞穴中创建了一个虚拟镜像，用户通过叠加熟练表演的图像来学习正确的蹲姿，但不需要用户进行选择或交互。Malinverni等人(2017)创造了一个严肃的游戏，自闭症儿童通过在虚拟镜子中与其他用户互动来提高社交技能。游戏中有一个阶段，孩子们必须用激光比喻指着敌人的生物来打败它，尽管这只是在2D中完成的。

已经提出了使用镜像的某些其他接口技术。例如，Thanyadit和Pong(2017)建议在与桌面VR交互时为用户提供手的镜像视图，因为它可以实现手和虚拟物体之间更准确的物理交互。我们认为，这些应用程序和其他应用程序可以通过更自然和身临其境的交互，使他们能够在3D虚拟世界中选择对象，从而得到实质性的进一步改进。

镜子也被用于虚拟世界中，以评估虚拟现实中的身体所有权和代理感及其效果。例如，Peck等人(2013)通过将用户置于不同种族的化身中来减少隐性种族偏见。用户在虚拟世界中得到一面镜子，让他们看到自己在控制虚拟形象。同样，Banakou和Slater(2017)让用户在镜子中观看他们的化身，同时接收虚拟球在他们身体上弹跳时的触觉反馈。虚拟角色的声音与用户的声音具有不同的基本频率，目的是观察用户在与虚拟角色联系后自己的基本频率是否会改变。Preston等人(2015)评估了镜像第三人称视角下与标准第三人称视角下的身体所有权，发现镜像视角下的身体所有权与第一人称视角下的身体所有权相似。

2.2 3 d指向

辅助3D指向和交互领域可以分为提供外中心和自我中心视图(Poupyrev et al. 1998)，其中自我中心的理解更好。以自我为中心的视图通常被定义为提供第一人称视角，这在虚拟现实应用中最为常见。使用此视图的许多交互类型可以进一步分解为虚拟手隐喻和虚拟射线隐喻。

2.2.1 虚拟手

虚拟手的隐喻通常是最容易使用和理解的，因为它们利用了自然的本体感觉。采用自然交互的虚拟镜像应用程序通常使用这种比喻的变体。一个标准的虚拟手隐喻只需要用户将他们的手移动到想要的物体上选择或抓住它(Prachyabrued和Borst 2014)。然而，这将交互范围限制在用户能够自然地移动他们的手的区域。一些研究试图通过改变控制-显示比例来解决这个问题(例如，go-go (Poupyrev et al. 1996)和stretch go-go (Bowman and Hodges 1997)技术)，但这种方法丧失了提供的自然本体感觉提示，降低了长距离的准确性(Argelaguet and Andujar 2013)。

我们认为虚拟镜像系统的用户不希望或不能在现实世界中移动很远的距离，由于有限的相机视野或空间，使得虚拟手的有限范围成为问题。此外，考虑到用户也能看到自己的手，我们预计控制显示比例的修改会让用户感到困惑，而且不适合交流。因此，我们认为这些技术不适合为用户提供宽视场的虚拟镜像应用。

2.2.2 虚拟射线

虚拟光线隐喻是选择隐喻的主要形式，解决了虚拟手提供的有限范围。这些隐喻在概念上也更类似于指向。技术通常在指向的方向上投影对象，并且相交的对象被认为是可选择的。物体通常采用线(Bolt 1980)或锥(Liang and Green 1994)的形式。

虚拟射线可能受到精度问题的困扰，并且需要消除交叉的多个目标的歧义。由于线的体积更小，因此需要比锥体更高的精度，但只有在物体相互遮挡时才需要消除歧义。这可以通过允许用户在线与多个点相交时选择目标来缓解(例如，深度射线(Grossman and Balakrishnan 2006))。锥体的体积更大，在不同距离上提高了精度的一致性，但可能会相交更多的目标，这需要更好的消歧技术。这种消歧义可以自动完成(例如，Flashlight (Liang and Green 1994))或手动完成(例如，PRECIOUS (Mendes et al. 2017))。

我们期望虚拟光线隐喻在具有广阔视野的虚拟镜子中提供比虚拟手更好的可用性，因为它们允许用户更容易地与远处的物体进行交互。然而，之前没有研究过它们在第三人称中使用时的效果，因此尚不清楚哪种虚拟光线技术最适合这种界面。

2.2.3 外向的我taphors

外中心视角是用户以第三人称视角观察虚拟环境并与之互动的视角(Poupyrev et al. 1998)。使用这种类型视角的选择隐喻最初似乎与指向虚拟镜子的问题更密切相关。然而，我们注意到，这些技术通常只能让第一人称视角更容易进入游戏世界，而不能提供用户的第三人称视角。例如，经典的微缩世界(World-In-Miniature)技术(Stoakley et al. 1995)向用户呈现了第三人称的环境概览，但用户仍然用第一人称视角的手来选择物体。Mine等人(1997)采用了类似的技术，允许用户在第一人称中缩放世界，使物体离他们更近。最近的Kinespheres技术(Lubos et al. 2016)在用户手臂可及范围内的球体上对齐多个目标，以第一人称视角进行选择。

这与指向虚拟镜像形成对比，在虚拟镜像中，实际的选择工具和用户头像是从第三人称视角看到的，用户可能需要指向自己前面和后面的目标。正因为如此，我们确定3D指向解决方案还没有充分研究镜像的第三人称视角的化身。我们主要从虚拟光线隐喻中获得灵感，因为我们预计用户需要指向远处的目标。

目录

摘要 1 介绍 2 相关的工作 3.Des 视觉辅助的描述 4 初步研究 5 主要研究 6 讨论与结论 数据可用性 参考文献 致谢 作者信息 道德声明 补充信息 搜索 导航 #####

3.Des视觉辅助的描述

在我们的研究中考虑了视觉辅助。环境被改变以显示增强可读性的辅助工具。在初步研究中，一个实验对象在未改变的环境中使用75英寸电视和Kinect 2(右下)。

仔细看看主要研究中使用的四种视觉辅助工具。一个半透明的棒，引导用户到目标。从左到右:用户指向目标后面，将杆变红，扩展最远端。用户指向正确的深度，把杆变成绿色，使两端大致相等。用户指向目标前方，将杆变红并缩小最近的一端。绘制一个球体的“矩形”部分来显示用户的指向误差。C在使用者的手上附有一个半透明的薄扇子，扇子的两边有不同的颜色来帮助指示指向的高度。D从使用者手中伸出一根细棒;它的大小调整到最近的交叉点

我们的视觉辅助工具主要是为了让用户更好地感知他们所指向的深度。在开发用于远程教学的虚拟镜像界面期间(Ekong et al. 2016)，很明显，用户能够自然地找到目标的高度，从而使指向在他们的2D监视器上显示正确。然而，他们往往没有注意到目标在场景中有多深，这导致他们主要只指向侧面，而错过了他们身后或前方的目标。在与其他用户从不同角度观察指向的共享VR空间中，正确的深度瞄准被认为是至关重要的。

在开发可视化辅助工具时，我们考虑了两种主要的指向场景，这些场景基于目标信息对系统的可用性。当环境中可能出现的目标数量最少时，系统可能知道一些潜在指向目标的确切位置。在这种情况下，可以根据用户指向的方向与目标之间的角度误差给出视觉反馈。例如，在协作式VR应用程序中，当指向进行交流时，系统可能不知道哪些对象是潜在的感兴趣对象，或者可能有太多的对象无法为所有人显示指向辅助。在这种情况下，视觉辅助将需要提供更普遍的准确性。我们怀疑，基于已知目标的视觉辅助将允许用户更快、更准确地指向，因为它们将能够传达更多关于用户指向的信息。

所有的视觉辅助设备都有一个确定的指向输入。为了开发一个无需手持输入设备(如跟踪棒)也能工作的界面，这个指向方向是由Kinect设备提供的信息决定的。Kinect能够报告用户身体所有主要“关节”的位置。由此，我们将指向方向定义为从一个关节到另一个关节的射线。在我们的实验中，这条射线被定义在用户的肘部和手掌之间。在考虑其他关节时，选择这种配置是为了报告位置数据的稳定性。从理论上讲，使用从手掌到手指的射线可以提供与用户认为他们指向的方向更一致的方向，但是报告的位置数据对于实际使用来说太不稳定了。

在初步研究中总共使用了9种辅助手段(见图2)，目的是为了缩小范围，为更大规模的研究提供最佳的辅助手段。在初步研究中，用户被要求调整每种视觉辅助工具的某些参数(见表1，并在下面解释)，每个用户都根据他们的个人喜好进行测试。四种视觉辅助工具(见图3)在准确性、时间和主观用户评分方面被认为是优越的，并被纳入更大的主要研究。我们将提供每种视觉辅助工具的详细信息，并在下一节中分析用户在初步研究的调整阶段如何调整它们。

3.1 目标定义

3.1.1 靶棒(TR)

当用户指向时，一个半透明的圆柱体(杆)沿着从目标到虚拟肘部位置的矢量延伸。深度信息通过杆的颜色和基于指向角和目标角之间的深度(方位角/横向角)的杆端缩放来增强。绿色的杆子表示准确的指向。使用者要移动他们的手臂，直到它明显地“在”杆内，使它看起来更像是手臂的延伸。

放置参数定义了如果杆的全长从用户的肘部延伸到目标，它是一半长度并附着在肘部，或者它是一半长度并附着在目标上。如果面向用户的圆柱体端扩展或缩小，则定义的缩放样式参数。

3.1.2 目标图(TM)

用户肘部上方的一个自上而下的摄像头将已知目标呈现在用户镜像头像附近的一个最小可见的四轴飞行器上。从其中心绘制线段来表示当前指向的方位角，因此当用户指向正确的深度时，该线与目标表示相交。外观类似于圆形表盘或刻度盘。

如果地图悬停在用户的头部、肩部或移动的指向手附近，则定义放置参数。size参数定义了四边形每条边的长度。

3.1.3 球体切割(SC)

一个几乎看不见的球体以肘部为中心，其半径与目标的距离相匹配。它的表面的一部分是可见的，以显示用户当前的指向错误。具体来说，定义了球体上的两点:目标所在的点和用户指向方向与球体相交的点。在这两个坐标之间画一个形状;用户的目的是尽量减少形状更准确的指向。这种效果类似于二维界面中常用的橡皮筋选择工具。

如果在两点之间呈现的形状是矩形或圆形，则定义形状参数。

3.1.4 锥形罗经(CC)

类似于3D箭头引导提示(Burigat and Chittaro 2007)，一个小的圆锥形符号指向目标或手。它的颜色变化反映指向的准确性，绿色表示准确的指向。

如果圆锥体放置在手或目标附近，则定义的放置参数。如果圆锥体充当指南针，直接指向目标或手(与其位置相反)，或者作为根据指向深度误差向上或向下指向的简单象形，则定义样式参数。

3.2 目标不明确

3.2.1之上指向棒(PW)

一种类似光线的技术，使用带有条纹纹理的薄圆柱体放在手上。魔杖作为手臂的延伸，指向用户指向的方向，当它与物体相交时，用户可以确定准确的指向。

如果魔棒具有静态长度(足够长到超过最远的目标)或改变长度以精确地接触最近的指向交叉点，则长度参数定义。材料定义了魔杖是透明的还是不透明的。

3.2.2 指向风扇(PF)

一个半透明的垂直风扇附在手上。一个细长的圆柱体沿着指向的方向从使用者的手中伸出，类似于魔杖，两个鳍从它的顶部和底部伸出。风扇后面的物体至少在视觉上被部分遮挡，给用户一种指向深度的感觉。

长度参数定义了扇形物体从手伸出的距离。材质参数定义了风扇上的像素在接近另一个物体时是否会变成白色，或者是用静态透明度和颜色渲染。

3.2.3 手持相机(HC)

将虚拟摄像机放置在用户指向的手上，视锥台对准指向的方向。摄像机的图像被纹理化到悬浮在镜像化身附近的可见四边形上。在图像上还画了一个轻线，以强调其中心，当指向准确时，目标出现在中心。

考虑到手持相机与目标地图相似的渲染风格，它们共享位置和大小参数。变焦参数控制相机的视野，有效地操纵它的“变焦”。

3.2.4 手摇灯(HL)

多个手持灯被安排投射一个红白相间的靶心十字图案，它出现在任何指向的物体上。尺寸参数控制了靶光的投影角度，强度参数控制了靶光的强度(亮度)。

3.2.5 尖缝(PS)

从使用者的手上投射出指向方向的细缝光。沿着地面可以看到一条细的垂直狭缝，显示了指向的深度。

宽度参数控制狭缝的投影角度，使其变宽或变薄。类似手照明灯，强度控制光的亮度。配置参数定义了额外的渲染选项:水平狭缝，以手的指向方向为中心以显示指向的高度，以及放置在两个狭缝交叉处的靶心。

下载原文档：https://link.springer.com/content/pdf/10.1007/s10055-023-00796-x.pdf