自闭症XR项目帮助学生穿越社会雷区
马克·佩茨(MarcPetz饰)是密歇根肯特职业技术中心(Kent Professional And Technology Center)的计算机图形学/动画专业一年级讲师时,他的一位同事正试图满足自闭症学生的需要。佩兹的班级被要求开发出具有视觉吸引力的故事,学生们可以将这些故事用于有针对性的社会行为,而AutismXR诞生了。
基于网络的增强现实项目允许学生与虚拟人一起参与场景,这些虚拟人通过面部识别、自然语言处理以及特定的社会环境引导他们。基于应用程序的虚拟现实原型AutismXR的第一版在三星的"争取更美好的明天"竞赛中名列前十名。它现在已被重建为一个通用的AR程序。
佩茨还与她的同事玛丽·穆斯托(MaryMusto)合作编写了一本关于包容性学习环境的儿童读物,并通过一家名为KitTales的初创公司与他的孩子写了互动故事。我们最近和他谈了更多。这是我们谈话的节选。
马克(马克),请解释一下自闭症XR是如何发展的。
我们决定将我们的想法转向完全基于Web的交互式AR环境,该环境目前是一个实验平台。由于目前与GoogleARCore、WebXR和电话技术有关的限制,我们必须即兴创作。
一个例子是应用程序的眼睛检测组件。当AR会话在浏览器中活动时,我们不能分割相机前后的分配。因此,我们必须使用面向摄像机的位置的相对坐标,而不是实时跟踪眼睛。