虚拟现实(VR)在视频游戏开发中开辟了令人兴奋的新领域，为日益逼真的，交互式和身临其境的游戏体验铺平了道路。实际上，VR控制台可让游戏玩家感觉自己几乎已经进入游戏世界，克服了与显示分辨率和延迟问题相关的限制。
VR的一个有趣的进一步集成是情感识别，因为这可以使开发能够实时响应用户情感的游戏。考虑到这一点，延世大学和Motion Device Inc.的研究人员团队最近提出了一种基于深度学习的技术，该技术可以在VR游戏体验中实现情感识别。他们的论文在2019年IEEE虚拟现实和3-D用户界面会议上发表。
为了使VR正常工作，用户需要佩戴头戴式显示器(HMD)，以便可以直接在眼前呈现游戏内容。事实证明，将情感识别工具与VR游戏体验相结合具有挑战性，因为大多数用于预测情感的机器学习模型都是通过分析人的面部来工作的;在VR中，HMD会部分遮挡用户的脸部。
延世大学和运动设备公司的研究人员训练了三个卷积神经网络(CNN)，即DenseNet，ResNet和Inception-ResNet-V2，可以从部分面部图像预测人们的情绪。他们从Radbound Faces数据集(RaFD)拍摄了图像，其中包括67个对象的8040张脸部图像，然后通过覆盖使用VR时HMD遮挡的脸部部分进行编辑。
用于训练算法的图像描绘了人的脸，但是包含眼睛，耳朵和眉毛的部分被黑色矩形覆盖。当研究人员评估其CNN时，他们发现即使不分析人脸的这些特定特征也能够对情绪进行分类，而这些特征对于情感识别至关重要。
总体而言，CNN称为DenseNet的表现要优于其他网络，平均准确率超过90%。但是，有趣的是，在对传达恐惧和厌恶的面部表情进行分类的过程中，ResNet算法优于其他两个算法。
研究人员在论文中写道：“我们成功地训练了三种CNN架构，它们可以从部分遮盖的人脸图像中估算出情感。”“我们的研究表明，可以使用机器视觉从戴着HMD的人的图像中估计情绪。”
这项研究表明，即使HMD遮盖了游戏者面部的一部分，将来也可以将情感识别工具与VR技术集成在一起。此外，研究人员开发的CNN可以启发全球其他研究团队开发可以应用于VR游戏的新型情感识别技术。
研究人员现在正计划将研究中使用的黑色矩形替换为佩戴HDM的人的真实图像。这最终将使他们能够更可靠，更有效地训练CNN，为实际应用做好准备。