国家自然基金面上项目
基于时空深度神经网络的课堂师生交互情感识别与视频描述方法研究
课堂交互是评价教学质量的重要指标,自动提取课堂交互中师生情感状态及其变化的教育大数据,从而洞悉学生的性格特点、学习兴趣和心理健康状态,教师的交互意识、互动技巧和亲和力表现,实现非认知层面的课堂教学与交互评价,并突破传统听课评价难以规模化和日常化的局限。本项目拟利用课堂高清音视频大数据,开展三项研究:⑴克服现有技术在单模态、单主体和短时长方面的局限,利用基于Attention机制的LSTM提出一种适用于长时序、多主体的多模态One-Stage课堂交互检测方法;⑵弥补离散情感模型在表达情感强度、连续情感,以及现有方法在情感传播建模方面的短板,利用图网络构建一种面向课堂交互的多主体连续情感识别网络;⑶改进现有方法在静态时间约束的语义信息抽取和单层编码表达方面的不足,利用先验知识提出一种弹性和动态时间尺度下多粒度语义抽取和多层编码表达的视频描述方法。本项目将为自动化课堂交互评价提供智能化技术。
项目联系人:孙波
联系邮箱:tosunbo@bnu.edu.cn