按:   检索词:   从
   最新录用    过刊检索
基于Faster R-CNN的食品图像检索和分类
投稿时间:2017-07-28    点此下载全文
引用本文:梅舒欢,闵巍庆,刘林虎,段华,蒋树强.基于Faster R-CNN的食品图像检索和分类[J].南京信息工程大学学报,2017,(6):635~641
摘要点击次数: 36
全文下载次数: 37
作者单位E-mail
梅舒欢 山东科技大学 数学与系统科学学院, 青岛, 266590;中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190  
闵巍庆 中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190  
刘林虎 中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190;中国科学院大学 人工智能技术学院, 北京, 100049  
段华 山东科技大学 数学与系统科学学院, 青岛, 266590 huaduan59@163.com 
蒋树强 中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190  
基金项目:国家自然科学基金(61532018,61602437,61672497,61472229,61202152);北京市科技计划(D161100001816001);山东省自然科学基金(ZR2017MF02);山东省科技发展计划(2016ZDJS02A11,2014GGX101035,2014BSB01020)
中文摘要:面向食品领域的图像检索和分类等方面的研究成为多媒体分析和应用领域越来越受关注的研究课题之一.当前的主要研究方法基于全图提取视觉特征,但由于食品图像背景噪音的存在使得提取的视觉特征不够鲁棒,进而影响食品图像检索和分类的性能.为此,本文提出了一种基于Faster R-CNN网络的食品图像检索和分类方法.首先通过Faster R-CNN检测图像中的候选食品区域,然后通过卷积神经网络(CNN)方法提取候选区域的视觉特征,避免了噪音的干扰使得提取的视觉特征更具有判别力.此外,选取来自视觉基因库中标注好的食品图像集微调Faster R-CNN网络,以保证Faster R-CNN食品区域检测的准确度.在包括233类菜品和49 168张食品图像的Dish-233数据集上进行实验.全面的实验评估表明:基于Faster R-CNN食品区域检测的视觉特征提取方法可以有效地提高食品图像检索和分类的性能.
中文关键词:食品图像  图像检索  图像分类  深度学习  Faster R-CNN  卷积神经网络
 
Faster R-CNN based food image retrieval and classification
Abstract:Automatic understanding of food images has various applications in different fields,such as food intake monitor and food calorie estimation.Thus,the research on food related tasks,such as food image retrieval and classification has been one of the hot research topics in the field of multimedia analysis and applications recently.Existing methods mainly extract the visual features from the whole food image for further food analysis.The extracted features are lacking in robustness because of the background interference from the images.In order to solve this problem,we propose a Faster R-CNN (Region-based Convolutional Neural Network) based food retrieval and classification method.For the solution,we first detect the food candidate regions using Faster R-CNN,and then adopt the CNN network to extract the visual features from the detected food regions.Such extracted features are more discriminative for reducing the background interference.Furthermore,we select the annotated food images from the Visual Genome dataset to fine-tune the Faster R-CNN to guarantee its performance.We conduct the experiment on two datasets:Food-101 with 101 classes and 10 641 food images,and Dish-233 with 233 dishes and 49 168 images.The extensive evaluation demonstrates the effectiveness of the proposed Faster R-CNN based food visual feature extraction method in food image retrieval and classification.
keywords:food image  image retrieval  image classification  deep learning  Faster R-CNN  convolutional neural network
查看全文  查看/发表评论  下载PDF阅读器

您是本站第 695360 位访问者
版权所有:南京信息工程大学期刊社《南京信息工程大学学报》编辑部     
地址:江苏南京,宁六路219号,南京信息工程大学