行业资讯

加入亿拓客·流量大师 撬动财富之门!!!

"基于视频表示学习的时空模型研究及其应用 "项目结题报告

wang 2026-11-19 行业资讯
"基于视频表示学习的时空模型研究及其应用 "项目结题报告

国家自然科学基金项目

基于视频表示学习的时空模型研究及其应用

基本信息

项目批准号:62076065

申请代码:F0602

项目名称:基于视频表示学习的时空模型研究及其应用

项目负责人:张春阳

依托单位:福州大学

研究期限:2021-01-01 至 2024-12-31

资助经费:58.0(万元)

中文摘要:

随着社交媒体的蓬勃发展,视频内容的识别、描述以及生成等高阶视频处理任务具有很高的研究意义和应用价值。机器学习特别是深度学习的兴起为它们提供了很好的解决方法,代表着从传统直接利用原始视频数据向学习视频高阶特征的转变。由于深度模型一般需要很长的训练时间,导致大部分视频分析模型为了得到高阶特征,直接使用已经预训练好的模型。然而,有监督模型并不具备很好的特征与和模型的泛化能力。为了克服以上问题,本课题提出四个主要的解决方法:1)对视频数据提出一种高效的时空表示模型以及无监督训练算法,从而得到具有更好泛化能力的视频数据表示,供下游的机器学习任务使用;2)进一步设计两阶段的端到端学习方法,实现视频的分类;3)通过最大化视频与描述语言的相互信息,并结合神经图灵机和递归神经网络,构建视频描述模型;4)基于拟提出的视频表示学习框架,提出将视频动态信息和静态信息分开预测的视频生成模型及其生成对抗式的训练方法。

英文摘要:

Video classification, description and generation are becoming valuable and meaningful video analysis tasks due to the rapid development of social network and media. Recently, machine learning, especially deep learning, provides an efficient way to these tasks, that leads to the learning transformation from raw data to its high-level representations. These learned video representations and features are so informative and critical for the downstream machine learning tasks that video representation techniques play an important role in video content analysis. However, most deep models require a large amount of time for training, from days to weeks. Therefore, many video description and generation models directly use well-trained deep models as their feature abstractors, that unfortunately lack good generalization. Thus, this project has fourfold contributions, including 1) a novel spatio-temporal representation model for video with corresponding unsupervised learning algorithm; 2) an accurate video classification model with end-to-end supervised learning algorithm, where the high-level representations of input video are employed; 3) an significant video description model based on maximizing mutual information between videos and descriptions, where neural Turing machine is regarded as sequential model to generate words; 4) a new video generation model which has two pathways to predict, one is to model stationary content, the another is for motion content modeling.

结题摘要

随着社交媒体的蓬勃发展,视频内容的识别、描述以及生成等高阶视频处理任务具有很高的研究意义和应用价值。机器学习特别是深度学习的兴起为它们提供了很好的解决方法,代表着从传统直接利用原始视频数据向学习视频高阶特征的转变。由于深度模型一般需要很长的训练时间,导致大部分视频分析模型为了得到高阶特征,直接使用已经预训练好的模型。然而,有监督模型并不具备很好的特征与和模型的泛化能力。为了克服以上问题,本课题提出了四个主要的解决方法:1)对视频数据提出一种高效的时空表示模型以及无监督训练算法,从而得到具有更好泛化能力的视频数据表示,供下游的机器学习任务使用;2)进一步设计二阶段的端到端学习方法,实现视频的分类;3)通过最大化视频与描述语言的相互信息,并结合神经图灵机和递归神经网络,构建视频描述模型;4)基于拟提出的视频表示学习框架,提出将视频动态信息和静态信息分开预测的视频生成模型及其生成对抗式的训练方法。

     从官网获取报告原文信息请点击左下角“阅读原文”!

版权声明:本文所有文字来自国家自然科学基金委员会官方网站(https://www.nsfc.gov.cn/),版权归原作者/机构所有。如有侵权,请留言并提交证据,收到核实后删。

!

以科技赋能产业

以创新引领发展

未来,已来!

猜你喜欢