图二基于注意力学习的表达增强模型

近日，学院青年教师高鹏博士的两项科研成果发表在计算机科学领域顶级期刊《Knowledge-based Systems》（影响因子：5.921）和《Information Sciences》（影响因子：5.910），标志着学院青年教师的科研成果得到了国内外同行的认可。同时，也反映出学院近年来在人才引进工作方面的卓越成效。相关研究成果的简介如下：

针对深层结构卷积神经网络往往会引入大量参数并在下采样过程中造成目标对象纹理细节丢失，以及浅层结构卷积神经网络顺序推理得到的语义结构化信息存在类别表达能力不足问题（如图一所示），高鹏博士在论文“Siamese Attentional Keypoint Network for High Performance Visual Tracking”中对深度特征的层次化学习进行了深入研究，设计了具有深层结构和对称拓扑的表达增强模型，通过自底向上和自顶向下的重复推理，在此过程中不断提取并聚合不同层次的低阶几何纹理和高阶语义信息。同时，为了提升模型的训练与推理效率并降低参数量，此项工作还研究并探讨了深层结构卷积神经网络的轻量化方法。在表达增强的基础上，进一步提出了基于标注框检测的决策优化模型，实现对目标对象更精准标注。

基于静态图像分类数据集预训练的卷积神经网络在动态的视觉目标追踪任务中不具备普适性，其原因是无法学习到具有关键作用的目标对象与背景环境之间的类别差异性信息以及目标对象在视频序列中的时序关联性信息。高鹏博士在论文“Learning Reinforced Attentional Representation for End-to-End Visual Tracking”对机器视觉的注意力机制进行了深入研究，设计了基于注意力学习的表达增强模型。该模型在视觉目标追踪过程中借助视频帧间注意力和图像帧内注意力，以充分挖掘潜在的关键信息并实现视觉表达的选择性增强（如图二所示）。此外，为提升追踪决策对目标对象外观变化的适应能力，此项工作还构建了基于背景感知相关滤波的决策优化模型，并将该模型嵌入到主干网络中。在实现决策模型和视觉表达端到端训练与推理的同时，还可以根据目标对象与背景环境的变化对决策模型进行在线优化。

上述二项研究工作得到了日本岩手县立大学和西班牙格拉纳达大学的支持，并受到国家自然科学基金、广东省科技计划项目和亚马逊公司的资助。

高鹏，男，山东济宁人，博士。2020年7月毕业于哈尔滨工业大学电子科学与技术系微电子学与固体电子学专业，获工学博士学位。2020年8月被曲阜师范大学以“优秀博士第一层次”待遇引进到我院从事教学科研工作，直聘副教授、硕士生导师。研究方向包括图像处理与模式识别、视觉感知与认知、集成电路设计与应用。

来源：网络空间安全学院

审核：田凯

编辑：范瑞红