(57)【要約】【課題】精度良くシーンを検索する。【解決手段】特徴量抽出部７０が、対象シーンを構成する対象画像の特徴量を抽出する。シーン特徴量取得部７２が、抽出された対象画像の特徴量から対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得する。検索部７４が、シーン特徴量を用いて検索を行う。【選択図】図３
2020126520.tif 000002
【特許請求の範囲】
【請求項１】
少なくともシーン若しくはシーンから得られた特徴量が格納されているデータベースから、特定の対象を含むシーンを検索する検索装置であって、
前記特定の対象から特徴量を抽出する特徴量抽出部と、
抽出された特徴量を用いて前記特定の対象に対応するシーンのシーン特徴量を取得するシーン特徴量取得部と、
前記シーン特徴量を用いて検索を行う検索部と、を有し、
前記シーンは画像成分と音響成分の両方を含むものであり、
前記特定の対象は画像成分若しくは音響成分のうちいずれか一方で表される
検索装置。
【請求項２】
前記シーンの特徴量は、
画像の特徴量から画像に対応する音響信号の特徴量を取得する処理、若しくは、音響信号の特徴量から画像の特徴量を取得する処理、の中間出力である
請求項１記載の検索装置。
【請求項３】
対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置であって、
対象シーンを構成する対象画像の特徴量を抽出する特徴量抽出部と、
抽出された対象画像の特徴量から対象シーンのシーン特徴量を取得するシーン特徴量取得部と、を有し、
前記シーン特徴量取得部は、画像の特徴量から前記画像に対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得している
特徴量抽出装置。
【請求項４】
対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置であって、
対象シーンを構成する対象音響信号の特徴量を抽出する特徴量抽出部と、
抽出された対象音響信号の特徴量から対象シーンのシーン特徴量を取得するシーン特徴量取得部と、を有し、
前記シーン特徴量取得部は、音響信号の特徴量から前記音響信号に対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得している
特徴量抽出装置。
【請求項５】
少なくともシーン若しくはシーンから得られた特徴量が格納されているデータベースから、特定の対象を含むシーンを検索する検索装置における検索方法であって、
特徴量抽出部が、前記特定の対象から特徴量を抽出するステップと、
シーン特徴量取得部が、抽出された特徴量を用いて前記特定の対象に対応するシーンのシーン特徴量を取得するステップと、
検索部が、前記シーン特徴量を用いて検索を行うステップと、を有し、
前記シーンは画像成分と音響成分の両方を含むものであり、
前記特定の対象は画像成分若しくは音響成分のうちいずれか一方で表される
検索方法。
【請求項６】
対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置における特徴量抽出方法であって、
特徴量抽出部が、対象シーンを構成する対象画像の特徴量を抽出するステップと、
シーン特徴量取得部が、抽出された対象画像の特徴量から対象シーンのシーン特徴量を取得するステップと、を有し、
前記シーン特徴量取得部が取得するステップでは、画像の特徴量から前記画像に対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得している
特徴量抽出方法。
【請求項７】
対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置における特徴量抽出方法であって、
特徴量抽出部が、対象シーンを構成する対象音響信号の特徴量を抽出するステップと、
シーン特徴量取得部が、抽出された対象音響信号の特徴量から対象シーンのシーン特徴量を取得するステップと、を有し、
前記シーン特徴量取得部が取得するステップでは、音響信号の特徴量から前記音響信号に対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得している
特徴量抽出方法。
【請求項８】
コンピュータを、請求項１若しくは２記載の検索装置、又は請求項３若しくは４記載の特徴量抽出装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、特徴量抽出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
大量の映像（蓄積映像と呼ぶ）の中からクエリ映像として与えられたクエリ（特定の場所や物体）が映っている蓄積映像を探し出すことをインスタンス探索という。これまでのインスタンス探索ではクエリ映像および蓄積映像の各々からフレーム画像を取り出した上でそのフレーム画像から画像の特徴を抽出し、その画像特徴同士を照合してクエリが蓄積映像中に映っているかを判定し探索するという、画像情報に基づく探索が中心であった（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. Peng, J. Zhang, X. Huang, M. Sun, X. He, P. Tang, Y. Zhao, J. Zhao, J. Qi, J. Zhang, “PKU-ICST at TRECVID 2015: Instance Search Task”, in Proceedings of TRECVID 2015, NIST, USA, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像情報に基づくこれまでの手法では、例えば特定の場所が映った蓄積映像を探したい場合、クエリ（ここではその場所）を指し示す画像の前景に障害物（他の人物など）が存在するとき、クエリが画像としては遮蔽され十分な画像情報が抽出できず照合に失敗し、目的の蓄積映像を探索できないことがあるという問題があった。また、クエリ映像と蓄積映像で同じ場所が映っていても、カメラの撮影位置や撮影方向の違いからクエリ映像と蓄積映像で撮影した映像が大きく異なる場合、探索ができないという問題があった。
【０００５】
本発明は、精度良くシーンを検索することができる検索装置、方法、及びプログラムを提供することを目的とする。
【０００６】
また、精度良くシーンを検索するための特徴量を抽出することができる特徴量抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明の検索装置は、少なくともシーン若しくはシーンから得られた特徴量が格納されているデータベースから、特定の対象を含むシーンを検索する検索装置であって、前記特定の対象から特徴量を抽出する特徴量抽出部と、抽出された特徴量を用いて前記特定の対象に対応するシーンのシーン特徴量を取得するシーン特徴量取得部と、前記シーン特徴量を用いて検索を行う検索部と、を有し、前記シーンは画像成分と音響成分の両方を含むものであり、前記特定の対象は画像成分若しくは音響成分のうちいずれか一方で表される。
【０００８】
このように、シーンの画像成分若しくは音響成分のうちいずれか一方から特徴量を抽出し、抽出された特徴量を用いてシーン特徴量を取得して、検索を行うことにより、精度良くシーンを検索することができる。
【０００９】
第２の発明の特徴量抽出装置は、対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置であって、対象シーンを構成する対象画像の特徴量を抽出する特徴量抽出部と、抽出された対象画像の特徴量から対象シーンのシーン特徴量を取得するシーン特徴量取得部と、を有し、前記シーン特徴量取得部は、画像の特徴量から前記画像に対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得している。
【００１０】
このように、シーンの画像の特徴量を抽出し、抽出された画像の特徴量から対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得することにより、精度良くシーンを検索するための特徴量を抽出することができる。
【００１１】
第３の発明の特徴量抽出装置は、対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置であって、対象シーンを構成する対象音響信号の特徴量を抽出する特徴量抽出部と、抽出された対象音響信号の特徴量から対象シーンのシーン特徴量を取得するシーン特徴量取得部と、を有し、前記シーン特徴量取得部は、音響信号の特徴量から前記音響信号に対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得している。
【００１２】
このように、シーンの音響信号の特徴量を抽出し、抽出された音響信号の特徴量から対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得することにより、精度良くシーンを検索するための特徴量を抽出することができる。
【００１３】
また、第４の発明の検索方法は、少なくともシーン若しくはシーンから得られた特徴量が格納されているデータベースから、特定の対象を含むシーンを検索する検索装置における検索方法であって、特徴量抽出部が、前記特定の対象から特徴量を抽出するステップと、シーン特徴量取得部が、抽出された特徴量を用いて前記特定の対象に対応するシーンのシーン特徴量を取得するステップと、検索部が、前記シーン特徴量を用いて検索を行うステップと、を有し、前記シーンは画像成分と音響成分の両方を含むものであり、前記特定の対象は画像成分若しくは音響成分のうちいずれか一方である。
【００１４】
第５の発明の特徴量抽出方法は、対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置における特徴量抽出方法であって、特徴量抽出部が、対象シーンを構成する対象画像の特徴量を抽出するステップと、シーン特徴量取得部が、抽出された対象画像の特徴量から対象シーンのシーン特徴量を取得するステップと、を有し、前記シーン特徴量取得部が取得するステップでは、画像の特徴量から前記画像に対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得している。
【００１５】
第６の発明の特徴量抽出方法は、対象映像に含まれる対象シーンの特徴量を抽出する特徴量抽出装置における特徴量抽出方法であって、特徴量抽出部が、対象シーンを構成する対象音響信号の特徴量を抽出するステップと、シーン特徴量取得部が、抽出された対象音響信号の特徴量から対象シーンのシーン特徴量を取得するステップと、を有し、前記シーン特徴量取得部が取得するステップでは、音響信号の特徴量から前記音響信号に対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得している。
【００１６】
また、第７の発明のプログラムは、コンピュータを、上記の検索装置又は特徴量抽出装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明の検索装置、方法、及びプログラムによれば、精度良くシーンを検索することができる、という効果が得られる。
【００１８】
また、本発明の特徴量抽出装置、方法、及びプログラムによれば、精度良くシーンを検索するための特徴量を抽出することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る学習装置の構成を示す概略図である。
【図２】ニューラルネットワークの構造の一例を示す図である。
【図３】本発明の実施の形態に係る検索装置の構成を示す概略図である。
【図４】特徴量抽出モデルの構造の一例を示す図である。
【図５】本発明の実施の形態における学習処理ルーチンの内容を示すフローチャートである。
【図６】本発明の実施の形態における検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜本実施の形態の概要＞
本実施の形態では、インスタンス探索において、映像の音の情報も用いることとし、画像情報と音情報を一つの空間（embedding spaceと呼ぶ）に埋め込み、この情報を用いることで、音情報と映像情報の背後にあるシーンそのものの情報に基づいてシーンを分析検索する。具体的には、まず、探索の前に、多数の映像を用いてその映像の画像情報（VGG特徴など）と音情報（mfccなど）を抽出し、この画像情報から音情報を出力するようにニューラルネットワークを教師あり学習で学習する。探索時には、このニューラルネットワークを用い、クエリ映像および蓄積映像の画像情報をこのニューラルネットワークに入力する。そして、このときのニューラルネットワークの中間層の出力を特徴量として照合を行い、探索を行う。この中間層は先述のembedding spaceに相当しており、このニューラルネットワークは入力となる映像情報をこのembedding spaceに写像し、そのembedding spaceへの写像結果を音情報に写像していると言える。
【００２２】
＜本発明の実施の形態に係る学習装置の構成＞
本実施の形態に係る学習装置１０は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、入力部１２、演算部１４、及び出力部１６を備えている。
【００２３】
入力部１２は、学習用映像の入力を受け付ける。
【００２４】
演算部１４は、学習用特徴量抽出部２０と、モデル学習部２２とを含んで構成で表すことができる。
【００２５】
学習用特徴量抽出部２０は、入力部１２で受け付けた学習用映像から、フレーム毎に、フレーム画像の画像特徴量と、音響信号の特徴量とのペアを抽出する。
【００２６】
例えば、画像特徴量としてVGG特徴を抽出し、音響信号の特徴量として、ｍｆｃｃ特徴を抽出する。
【００２７】
モデル学習部２２は、図２に示すような、画像特徴量を入力として、対応する音響信号の特徴量に取得する処理を行うモデルを学習する。
【００２８】
例えば、VGG特徴を入力として、対応するｍｆｃｃ特徴を出力するニューラルネットワークを学習する。このニューラルネットワークは、入力層と中間層と出力層を含む３層以上の層からなるニューラルネットワークである。
【００２９】
本実施の形態では、学習用特徴量抽出部２０によって抽出された画像特徴量と音響信号の特徴量とのペアについて、画像特徴量をニューラルネットワークに入力したときに、ペアとなる音響信号の特徴量が出力されるように、ニューラルネットワークのパラメータを学習する。
【００３０】
モデル学習部２２は、学習したニューラルネットワークのうちの入力層から中間層までの処理により得られる中間層の出力を求めるモデルを、特徴量抽出モデルとして、出力部１６により出力する。
【００３１】
＜本発明の実施の形態に係る検索装置の構成＞
本実施の形態に係る検索装置５０は、ＣＰＵと、ＲＡＭと、後述する検索処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図３に示すように、入力部５２、演算部５４、及び出力部５６を備えている。
【００３２】
入力部５２は、クエリ映像の入力を受け付ける。クエリ映像には、画像成分で表される特定の対象（例えば、特定の物体や場所）が含まれる。
【００３３】
演算部５４は、蓄積映像データベース６０と、特徴量抽出部６２と、特徴量抽出モデル記憶部６４と、シーン特徴量取得部６６と、シーン特徴量データベース６８と、特徴量抽出部７０と、シーン特徴量取得部７２と、検索部７４とを含んで構成で表すことができる。
【００３４】
蓄積映像データベース６０は、複数の蓄積映像が記憶されている。
【００３５】
特徴量抽出部６２は、蓄積映像データベース６０に記憶されている複数の蓄積映像の各々について、フレーム毎に、画像特徴量を抽出する。
【００３６】
特徴量抽出モデル記憶部６４は、学習装置１０により出力された特徴量抽出モデルが記憶されている。
【００３７】
シーン特徴量取得部６６は、複数の蓄積映像の各々について、フレーム毎に特徴量抽出部６２によって抽出された画像特徴量の平均を入力として、対応する音響信号の特徴量に取得する処理を行うモデルにおける中間出力値をシーン特徴量として取得する。具体的には、画像特徴量を、特徴量抽出モデルの入力層に入力して、中間層の出力を、シーン特徴量として取得する（図４参照）。
【００３８】
シーン特徴量データベース６８には、複数の蓄積映像の各々について、取得されたシーン特徴量が記憶される。
【００３９】
特徴量抽出部７０は、クエリ映像について、フレーム毎に、画像特徴量を抽出する。
【００４０】
シーン特徴量取得部７２は、クエリ映像について、フレーム毎に特徴量抽出部７０によって抽出された画像特徴量の平均を、特徴量抽出モデルに入力してシーン特徴量を取得する。具体的には、画像特徴量を、特徴量抽出モデルの入力層に入力して、中間層の出力を、シーン特徴量として取得する。
【００４１】
検索部７４は、シーン特徴量データベース６８を参照して、複数の蓄積映像の各々について、当該蓄積映像のシーン特徴量と、クエリ映像のシーン特徴量とを照合して、クエリ映像との類似度を算出し、類似度が上位Ｎ個の蓄積映像を、検索結果として出力部１６により出力する。
なお、上記では、フレーム毎に抽出された画像特徴量の平均を、特徴量抽出モデルに入力してシーン特徴量を取得する場合を例に説明したが、これに限定されるものではなく、フレーム毎に、抽出された画像特徴量を特徴量抽出モデルに入力してシーン特徴量を取得するようにしてもよい。この場合には、シーン特徴量取得部７２は、クエリ映像について、フレーム毎に、特徴量抽出部７０によって抽出された画像特徴量を、特徴量抽出モデルに入力してシーン特徴量を取得する。また、検索部７４は、シーン特徴量データベース６８を参照して、複数の蓄積映像の各々について、当該蓄積映像のフレーム毎のシーン特徴量と、クエリ映像のフレーム毎のシーン特徴量とを時系列で照合して、クエリ映像との類似度を算出し、類似度が上位Ｎ個の蓄積映像を、検索結果として出力部１６により出力する。
【００４２】
＜本発明の実施の形態に係る学習装置の作用＞
次に、本発明の実施の形態に係る学習装置１０の作用について説明する。学習装置１０に、複数の学習用映像が入力されると、学習装置１０において、図５に示す学習処理ルーチンが実行される。
【００４３】
まず、ステップＳ１００において、学習用特徴量抽出部２０は、各学習用映像から、フレーム毎に、フレーム画像の画像特徴量と、音響信号の特徴量とのペアを抽出する。
【００４４】
ステップＳ１０２では、モデル学習部２２は、上記ステップＳ１００で抽出された画像特徴量と音響信号の特徴量とのペアについて、画像特徴量をニューラルネットワークに入力したときに、ペアとなる音響信号の特徴量が出力されるように、ニューラルネットワークのパラメータを学習し、学習したニューラルネットワークのうちの入力層から中間層までの処理により中間層の出力を求めるモデルを、特徴量抽出モデルとして、出力部１６により出力する。
【００４５】
＜本発明の実施の形態に係る検索装置の作用＞
次に、本発明の実施の形態に係る検索装置５０の作用について説明する。まず、検索装置５０に、特徴量抽出モデルが入力されると、特徴量抽出モデル記憶部６４に格納される。
【００４６】
また、検索装置５０に、複数の蓄積映像が入力されると、蓄積映像データベース６０に格納される。そして、特徴量抽出部６２は、蓄積映像データベース６０に記憶されている複数の蓄積映像の各々について、フレーム毎に、画像特徴量を抽出し、シーン特徴量取得部６６は、複数の蓄積映像の各々について、フレーム毎に特徴量抽出部６２によって抽出された画像特徴量の平均を、特徴量抽出モデルに入力してシーン特徴量を取得する。そして、シーン特徴量データベース６８には、複数の蓄積映像の各々について、取得されたシーン特徴量が記憶される。
【００４７】
次に、検索装置５０にクエリ映像が入力されると、検索装置５０において、図６に示す検索処理ルーチンが実行される。
【００４８】
ステップＳ１１０で、特徴量抽出部７０は、クエリ映像について、フレーム毎に、画像特徴量を抽出する。
【００４９】
ステップＳ１１２で、シーン特徴量取得部７２は、クエリ映像について、フレーム毎に特徴量抽出部７０によって抽出された画像特徴量の平均を、特徴量抽出モデルに入力してシーン特徴量を取得する。
【００５０】
ステップＳ１１４では、検索部７４は、シーン特徴量データベース６８を参照して、複数の蓄積映像の各々について、当該蓄積映像のシーン特徴量と、クエリ映像のシーン特徴量とを照合して、クエリ映像との類似度を算出する。
【００５１】
ステップＳ１１６では、類似度が上位Ｎ個の蓄積映像を表す検索結果を作成して出力部１６により出力して、検索処理ルーチンを終了する。
【００５２】
＜実験例＞
上記の実施の形態で説明した手法の有効性を確認するために実験を行った結果について説明する。ここでは、画像特徴量としてVGG特徴を用い、音響信号の特徴量としてmfcc特徴を用い、VGG特徴をmfcc特徴に変換する３層ニューラルネットワークを学習した。
【００５３】
21,697個の蓄積映像から、特定の場所を含む映像を検索した。比較例としての手法１は、映像のVGG特徴のみを用いて照合する手法であり、比較例としての手法２は、映像のmfcc特徴のみを用いて照合する手法である。上記の実施の形態で説明した提案手法である手法３は、シーン特徴量を用いて照合する手法である。これらの手法の検索結果を比較した。
【００５４】
比較した結果を以下の表１に示す。手法１ではMAPは27.3%（正解数3,398）、手法２ではMAPは3.7%（正解数1,289）、上記の実施の形態で説明した提案手法ではMAPは22.2%（正解数3,128）であった。なお、提案手法での正解3,128のうち、蓄積映像は手法1の結果および手法2の結果のいずれにも含まれない物が個数909あった。すなわち画像情報のみ、もしくは音情報のみからでは探索できなかったものが、両特徴をつなぐembedding space の情報を用いることで探索できるようになったと考えられる。
【００５５】
【表１】
2020126520.tif 000003
【００５６】
以上説明したように、本実施の形態に係る検索装置によれば、クエリ映像の画像から画像の特徴量を抽出し、抽出された画像の特徴量から対応する音響信号の特徴量を取得する処理の中間出力値をシーン特徴量として取得して、検索を行うことにより、遮蔽物があったり、撮影位置や撮影方向などの撮影条件が異なっていても、精度良く、クエリ映像のシーンを含む蓄積映像を検索することができる。
【００５７】
＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５８】
例えば、映像から音響信号の特徴量を抽出し、特徴量抽出モデルを用いて、音響信号の特徴量からシーン特徴量を取得するようにしてもよい。この場合には、モデル学習部２２は、音響信号の特徴量を入力として、対応する画像特徴量に変換するニューラルネットワークを学習し、学習したニューラルネットワークのうちの入力層から中間層までの処理により中間層の出力を求めるモデルを、特徴量抽出モデルとする。また、特徴量抽出部６２は、蓄積映像データベース６０に記憶されている複数の蓄積映像の各々について、フレーム毎に、音響信号の特徴量を抽出する。シーン特徴量取得部６６は、複数の蓄積映像の各々について、特徴量抽出部６２によって抽出された音響信号の特徴量を、特徴量抽出モデルに入力してシーン特徴量を取得する。特徴量抽出部７０は、音響成分で表される特定の対象が含まれるクエリ映像について、フレーム毎に、音響信号の特徴量を抽出する。シーン特徴量取得部７２は、クエリ映像について、特徴量抽出部７０によって抽出された音響信号の特徴量を、特徴量抽出モデルの入力層に入力して、中間層の出力を、シーン特徴量として取得する。
【００５９】
これにより、クエリ映像の音響信号の特徴量を抽出し、抽出された音響信号の特徴量から対応する画像の特徴量を取得する処理の中間出力値をシーン特徴量として取得することにより、精度良く、クエリ映像のシーンを含む蓄積映像を検索することができる。
【００６０】
また、学習装置と検索装置とを一つの装置として構成してもよい。また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６１】
１０   学習装置
１２、５２    入力部
１４、５４    演算部
１６、５６    出力部
２０   学習用特徴量抽出部
２２   モデル学習部
５０   検索装置
６０   蓄積映像データベース
６２、７０    特徴量抽出部
６４   特徴量抽出モデル記憶部
６６、７２    シーン特徴量取得部
６８   シーン特徴量データベース
７４   検索部
【図１】
2020126520.tif 000004
【図２】
2020126520.tif 000005
【図３】
2020126520.tif 000006
【図４】
2020126520.tif 000007
【図５】
2020126520.tif 000008
【図６】
2020126520.tif 000009