按:   检索词:   从
   最新录用    过刊检索
关系挖掘驱动的视频描述自动生成
投稿时间:2017-08-28    点此下载全文
引用本文:黄毅,鲍秉坤,徐常胜.关系挖掘驱动的视频描述自动生成[J].南京信息工程大学学报,2017,(6):642~649
摘要点击次数: 32
全文下载次数: 25
作者单位E-mail
黄毅 中国科学院自动化研究所 模式识别国家重点实验室, 北京, 100190;中国科学院大学, 北京, 100049  
鲍秉坤 中国科学院自动化研究所 模式识别国家重点实验室, 北京, 100190;中国科学院大学, 北京, 100049  
徐常胜 中国科学院自动化研究所 模式识别国家重点实验室, 北京, 100190;中国科学院大学, 北京, 100049 csxu@nlpr.ia.ac.cn 
基金项目:国家自然科学基金(61572503,61432019);北京市自然科学基金(4152053)
中文摘要:视频的自动描述任务是计算机视觉领域的一个热点问题.视频描述语句的生成过程需要自然语言处理的知识,并且能够满足输入(视频帧序列)和输出(文本词序列)的长度可变.为此本文结合了最近机器翻译领域取得的进展,设计了基于编码-解码框架的双层LSTM模型.在实验过程中,本文基于构建深度学习框架时重要的表示学习思想,利用卷积神经网络(CNN)提取视频帧的特征向量作为序列转换模型的输入,并比较了不同特征提取方法下对双层LSTM视频描述模型的影响.实验结果表明,本文的模型具有学习序列知识并转化为文本表示的能力.
中文关键词:视频描述  LSTM模型  表示学习  特征嵌入
 
Video description based on relationship feature embedding
Abstract:Video description has received increased interest in the field of computer vision.The process of generating video descriptions needs the technology of natural language processing,and the capacity to allow both the lengths of input (sequence of video frames) and output (sequence of description words) to be variable.To this end,this paper uses the recent advances in machine translation,and designs a two-layer LSTM (Long Short-Term Memory) model based on the encoder-decoder architecture.Since the deep neural network can learn appropriate representation of input data,we extract the feature vectors of the video frames by convolution neural network (CNN) and take them as the input sequence of the LSTM model.Finally,we compare the influences of different feature extraction methods on the LSTM video description model.The results show that the model in this paper is able to learn to transform sequence of knowledge representation to natural language.
keywords:video description  LSTM model  representation learning  feature embedding
查看全文  查看/发表评论  下载PDF阅读器

您是本站第 695353 位访问者
版权所有:南京信息工程大学期刊社《南京信息工程大学学报》编辑部     
地址:江苏南京,宁六路219号,南京信息工程大学