国家自然科学基金项目
异质知识增强的视频精细化描述研究
基本信息
项目批准号:62072028
申请代码:F0210
项目名称:异质知识增强的视频精细化描述研究
项目负责人:安高云
依托单位:北京交通大学
研究期限:2021-01-01 至 2024-12-31
资助经费:57.0(万元)
中文摘要:
本项目拟开展异质知识增强的视频精细化描述研究,旨在研究类人的情境化事物描述机制,结合类人的异质知识学习与再现模式,对视觉、语言以及知识图谱等异质知识进行联合推理,在统一的端到端模型中实现对视频内容的精细化描述。研究内容涉及:1)精细化描述整体架构;2)对象间复杂交互过程情境化表征与认知;3)兼具表现力和逻辑性的视频描述生成;以及4)基础模型拓展及偏见问题解决四个方面,对应方案拟结合图神经网络、知识图谱、强化学习和元学习等,重点关注和解决:生成的场景图时空交互关系缺失、情境感知力不足,输出的视频描述的表现力和逻辑性欠佳,描述模型存在曝光误差、物体“幻觉”及偏见等问题。相关研究具有重要的理论研究意义和广泛的应用场景:在理论层面可为视频精细化描述及下游跨模态任务提供理论和模型积累,在应用层面可为跨模态舆情监控、监控视频智能分析和个性化推荐等提供算法积累和技术支撑。
英文摘要:
This project plans to carry out the research of detailed video captioning enhanced by heterogeneous knowledge, aiming to study the human-like contextual description mechanism, combine the human-like learning and representation mode for heterogeneous knowledge, carry out joint reasoning on heterogeneous knowledge such as vision, language and knowledge graph, and realize the detailed video captioning in an end-to-end model. The research content involves: 1) the overall framework for detailed video captioning; 2) the contextual representation and cognition of complex interaction process between objects; 3) the generation of expressive and logical video caption; 4) the expansion of basic model and the solution of prejudice problem. And this project will employ the graph neural network, knowledge graph, reinforcement learning and meta learning etc., and focus on the solution of lack of interaction in the generated scene graphs, insufficient situational awareness, poor expressiveness and logic of the generated video caption, and problems in the captioning model such as exposure errors, object "illusion" and prejudice. Relevant research has important theoretical research significance and extensive application scenarios: it can provide theoretical and model accumulation for detailed video captioning and downstream cross-modal tasks at the theoretical level, and provide algorithm accumulation and technical support for cross-modal public opinion monitoring, intelligent analysis of surveillance video and personalized recommendations at the application level.
结题摘要
本项目围绕异质知识增强的视频精细化描述,从申请书中制定的四项核心研究内容开展了系统深入地研究。在重要进展方面,结合类人的异质知识学习与再现模式,形成了一套类人情境化描述机制,通过对视觉、语言以及知识图谱等异质知识进行联合推理,在统一的端到端模型中实现对视频内容的精细化描述,具体而言:1)在视频精细化描述整体架构方面,提出了一种共识知识辅助的描述架构,以利用知识进行跨模态的交互和推理,模仿人类认知过程,该成果为本项目构建了将知识引入生成任务的有效技术路径,有助于构建模型的认知能力;2)在对象间复杂交互过程情境化表征与认知方面,提出了一种协作式多层次特征选择网络,发展和完善了初期特征分析理论,有助于描述模型的情境建模;3)在兼具表现力和逻辑性的视频描述生成方面,提出了一种视觉-文本语义一致性建模方法,通过建模快速自主过程(System 1过程)和高阶推理过程(System 2 过程),从生成式人工智能角度发展了双系统/双重过程理论,为将解释人类思维和决策过程中两种不同的认知处理模式引入描述模型提供了方法论和技术路径;4)在基础模型拓展及偏见消除方面,提出了一种外部知识增强的描述方法,结合认知理论,通过考虑近因效应,实现了描述框架中的情境记忆的建模,通过执行充分的跨模态推断,有效缓解了理解片面和物体幻觉问题。项目组发表的相关学术论文的实验结果表明,上述方法和模型均从不同角度超过了同期主流方法的性能,突破了生成的场景图时空交互关系缺失、情境感知力不足,输出的视频描述的表现力和逻辑性欠佳,描述模型存在曝光误差、物体“幻觉”及偏见等问题。相关成果在理论层面可为视频精细化描述及下游跨模态任务提供理论和模型积累,在应用层面可为跨模态舆情监控、监控视频智能分析和个性化推荐等提供算法积累和技术支撑,具有重要的理论研究意义和广泛的应用场景。
从官网获取报告原文信息请点击左下角“阅读原文”!
版权声明:本文所有文字来自国家自然科学基金委员会官方网站(https://www.nsfc.gov.cn/),版权归原作者/机构所有。如有侵权,请留言并提交证据,收到核实后删。

!
以科技赋能产业
以创新引领发展
未来,已来!

研报速递