万必成 杨 振 李宏汀 马 舒

    ·研究前沿(Regular Articles)·

    “有声有色”的触觉体验：来自多感觉通道整合的线索*

    万必成 杨 振 李宏汀 马 舒

    (浙江理工大学心理学系, 杭州 310018)

    虚拟现实技术通过提供视觉、听觉和触觉等信息为用户创造身临其境的感知体验, 其中触觉反馈面临诸多技术瓶颈使得虚拟现实中的自然交互受限。基于多感官错觉的伪触觉技术可以借助其他通道的信息强化和丰富触觉感受, 是目前虚拟现实环境中优化触觉体验的有效途径。本文聚焦于触觉中最重要的维度之一——粗糙度, 试图为解决虚拟现实中触觉反馈的受限问题提供新思路。探讨了粗糙度感知中, 视、听、触多感觉通道整合的关系, 分析了视觉线索(表面纹理密度、表面光影、控制显示比)和听觉线索(音调/频率、响度)如何影响触觉粗糙度感知, 总结了当下调控这些因素来改变粗糙度感知的方法。最后, 探讨了使用伪触觉反馈技术时, 虚拟现实环境中视、听、触觉信息在呈现效果、感知整合等方面与真实世界相比可能存在的差异, 提出可借鉴的改善触觉体验的适用方法和未来待研究的方向。

    粗糙度知觉, 多感觉通道整合, 视觉线索, 听觉线索

    1 引言

    近年来, 虚拟现实(Virtual Reality, VR)技术发展迅速, 它通过头戴式显示器(Head Mounted Displayed, HMDs)等设备为用户提供视觉、听觉和触觉信息, 展现虚拟现实环境(Virtual Reality Environment, VRE) (Lin et al., 2017), 创造身临其境的用户体验(Günther et al., 2019)。然而, 相较于市场上各种虚拟现实的视觉和听觉显示技术及产品的成功商业化, 触觉信息呈现仍然面临着巨大的挑战(Kang & Lee, 2018)。现有的触觉反馈设备可分为接地式、手持式和可穿戴式三类, 这些设备主要有以下一些问题：设备不够轻巧便携或不易操作; 设备提供触觉感受的逼真度和人类触觉感知还相差甚远; 现有设备无法同时提供多种不同的触觉感受; 硬件设备开发、制造价格高, 难度大(Bosman, 2018; Culbertson et al., 2018; Ujitoko et al., 2019a; Ujitoko et al., 2019b; Wang et al., 2020)。因此, 相较于目前虚拟现实环境中丰富的视听信息呈现, 良好的触觉反馈仍然有所缺乏(Bosman, 2018) ......