VR数据可视化中异步协作的回放技术评估（IEEE VR，2025）

项目是本人在佐治亚理工IVI. Lab实验室的一作项目。在沉浸式分析（Immersive Analytics, IA）中，协作可以是 同步的（用户实时协同工作），也可以是 异步的（参与者在不同时间点贡献）。在异步协作中，一个核心挑战是任务交接。例如，你可能需要基于同事留下的未完成数据分析脚本或报告继续推进，而这要求你能够快速理解和提取有用信息。
我们提出 数据回放（Data Replay） 作为支持异步协作的工具，它能够提供丰富的时空信息，帮助后续分析者理解之前的工作流程。然而，在沉浸式分析中，数据回放也带来了独特的挑战，包括如何准确感知复杂可视化细节，以及如何理解时序性强、空间维度复杂的工作流。
因此，我们的研究目标是：探索沉浸式分析回放的有效性与关键设计取舍。结合前人研究，我们将研究重点聚焦在三个方面：
1. 观看平台（PC vs. VR）
2. 视角选择（第一人称 vs. 第三人称）
3. 导航控制（被动 vs. 主动）

研究分为两个阶段：
第一阶段：在 PC 和 VR 平台上分别寻找最优设置。
第二阶段：对比两个平台的最优方案，进行正面交锋。
为控制变量，我们定义了 6 种目标操作 和 3 种目标可视化，并结合同形态的数据集构建了 3 段特定的数据回放。参与者在观看后需要完成等难度问题，并提供主观和定性评价。

实验条件设计（第一阶段）：
1PP Passive —— 第一人称，被动视角，完全跟随原分析者，无用户控制；
3PP Passive —— 第三人称，被动视角，沿预设相机路径跟随分析者虚拟形象；
3PP Active —— 第三人称，主动视角，用户可自由在场景中移动。

在此基础上，我们进入第二阶段：
VR 平台：优化表现最好的 3PP Active 模式；
PC 平台：创新性提出 Hybrid Passive 模式，允许用户在 1PP 与 3PP 之间自由切换。两种系统均增加了完整的回放控制（暂停、快退等）。

研究发现
VR 平台：3PP Active 在任务理解和工作流重建中表现最佳，58% 参与者表示偏好该模式。
PC 平台：1PP Passive 表现最优，能够有效引导视觉注意力；3PP Active 表现最差，键鼠操作带来额外的认知负担。
在更高难度的第二阶段实验中，我们发现：
VR 优化方案 在多项指标上优于 PC，包括分析意图理解、数据洞察和工作流重建；同时 VR 带来更高的用户满意度和更低的挫败感，但也增加了身体负荷。

结论与启示
研究结果表明：沉浸式分析的数据回放设计必须与观看平台相匹配。

在 VR 中，应优先考虑第三人称主动视角，提供交互式 sensemaking；
在 PC 中，应注重视觉引导，减少操作复杂度。

本研究为沉浸式分析中的异步协作提供了明确的设计指南：
1. 提高信息清晰度
2. 减少视觉遮挡
3. 支持交互式理解与推理
从而为跨时间、跨用户的协作提供更好的体验支持。

关键词: 虚拟现实，数据回放，跨设备合作，质性用户体验研究，量化用户体验研究
项目类型：佐治亚理工IVI.实验室主持项目

时间: 2024.10-2025.09

指导：Dr.Yalong Yang
合作：Zhengtai Gou、Tao Lu

主要贡献:
1. 基于Unity与C#开发VR回放系统，实现跨终端设备、视角及控制自由度的VR数据可视化切换，支持Avatar在相机靠近时的动态虚化效果，并实现问卷UI的视线交互检测，满足3项核心用户研究变量的需求;
2. 采用C#与Swift开发移动端交互应用，用于监测用户在PC回放场景中查看问卷的行为，并记录行为时间戳，通过UDP服务器实时回传至主机端，实现多设备行为同步记录;
3. 利用Unity的眼动追踪API和行为数据记录，对24名参与者进行可用性测试，构建VR和PC端实时认知负荷的量化比较系统.

技能：Python, C#, Unity Development, Data Visualization, WebSocket, Usability Test, AB Test