行业资讯

加入亿拓客·流量大师 撬动财富之门!!!

"基于弱标注的跨模态视频定位方法研究 "项目结题报告

wang 2026-11-21 行业资讯
"基于弱标注的跨模态视频定位方法研究 "项目结题报告

国家自然科学基金项目

基于弱标注的跨模态视频定位方法研究

基本信息

项目批准号:62072397

申请代码:F0210

项目名称:基于弱标注的跨模态视频定位方法研究

项目负责人:赵洲

依托单位:浙江大学

研究期限:2021-01-01 至 2024-12-31

资助经费:56.0(万元)

中文摘要:

跨模态视频定位是跨媒体协同处理的核心问题,旨在将自然语言描述定位到视频的时序片段或目标物体的时空轨迹。虽然现有的研究工作已经取得了很多进展,但是基于全监督的方法需要标注目标物体的密集时空轨迹,而且人工标注对时序边界的判断存在个体差异,导致标注成本巨大且质量不高。同时,现有的主要方法缺乏细粒度时空联合建模能力,使得视频定位的精准度受到很大的限制。本项目针对上述问题,研究基于弱标注的跨模态视频定位方法,主要包括:1)研究基于弱标注的多层次视频图结构表征方式,获得细粒度、差异化表征;2)设计基于弱监督场景的视频时序定位方法;3)构建基于弱监督场景的视频时空定位模型。本项目的研究成果在指向性视频监控、互联网细粒度视频检索、在线教育等领域有着广阔的应用前景和潜在的商业价值。

英文摘要:

Cross-modal video grounding is the core issue of cross-media collaborative processing, which aims to locate natural language descriptions to the time-series segments of the video or the spatio-temporal trajectory of the target object. Although a lot of progress has been made by the existing work, methods based on full supervision heavily rely on labeling of the dense spatio-temporal trajectory of the target object, and there are individual differences in the judgment of the time boundary of manual labeling, resulting in huge labeling cost and low data quality. Meanwhile, the existing main methods lack the ability of fine-grained spatiotemporal joint modeling, which limits the accuracy of video grounding. In order to address the above issues, this project explores cross-modal video grounding methods based on weak annotations, mainly including: 1) researching multi-level video graph structure representation method based on weak annotations to obtain fine-grained and differentiated representations; 2) designing weakly supervised video temporal grounding method; 3) constructing a spatio-temporal video grounding model based on weak supervision. The research results of this project have broad application prospects and potential commercial value in many fields, like directional video surveillance, fine-grained internet video retrieval, and online education.

结题摘要

本项目以新一代人工智能战略需求为导引,围绕当前跨模态语义难对齐、弱监督信号难捕捉、弱标注视频定位精度难提升等难点,聚焦前沿挑战,提出了基于知识引导的跨模态特征对齐与理解,以及粗细粒度相结合的弱监督信息提取等行业领先的模型方法,在“基于弱标注的跨模态视频定位方法研究”方面取得了重要的理论和技术突破。本项目的研究推动了弱监督跨模态视频定位技术的发展,为新一代人工智能中的跨媒体智能重大理论创新打下坚实基础。项目共发表学术论文23篇(CCF-A论文18篇),申请8项发明专利,培养博士研究生2人、硕士研究生4人,相关研究成果应用于阿里巴巴电子商务核心业务,获得2023年度上海市科学技术进步奖一等奖“移动端轻量化智能计算关键技术与平台应用”。

从官网获取报告原文信息请点击左下角“阅读原文”!

版权声明:本文所有文字来自国家自然科学基金委员会官方网站(https://www.nsfc.gov.cn/),版权归原作者/机构所有。如有侵权,请留言并提交证据,收到核实后删。

!

以科技赋能产业

以创新引领发展

未来,已来!

猜你喜欢