(57)【要約】【課題】投影領域が有体物により指示されたシーンを抽出する。【解決手段】  撮影画像の投影領域内について、画像の変化の有無を判定する第１の判定部と、前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定する第２の判定部と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する第３の判定部とを有する。【選択図】図５
2015211377.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の投影領域内について、画像の変化の有無を判定する第１の判定部と、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定する第２の判定部と、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する第３の判定部と
を有することを特徴とする画像検索装置。
【請求項２】
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合であって、前記画像の変化があった部分の色情報と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分の色情報との相違が、所定の範囲内であった場合に、有体物が投影領域内を指示したことを示す撮影画像と判定することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
処理を、コンピュータに実行させることを特徴とするプログラム。
【請求項４】
コンピュータによる画像検索方法であって、該コンピュータが、
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
ことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、ビデオカメラ等の撮像装置により撮影された動画像から、特定のシーンを抽出する画像検索技術が知られている。
【０００３】
一例として、会議室内において、プロジェクタ等の投影装置を利用しながら説明を行う説明者や会議参加者の様子を撮像装置を用いて撮影し、撮影した動画像から、特定のシーンを示すフレームを抽出してサムネイル画像として表示するシステムが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、会議室内における説明者や会議参加者の様子を撮影した動画像から抽出すべき特定シーンとして、例えば、投影装置により会議用の資料等が投影された投影領域を、説明者（有体物）が手や指示棒で指示しながら説明を行うシーンが挙げられる。
【０００６】
しかしながら、このようなシーンを上記システムを用いて抽出しようとすると、画像が変化したフレームが、説明者の指示動作に起因するものなのか、投影された会議用の資料が切り替えられたことに起因するものなのかの区別がつかない。このため、抽出すべき特定シーン（投影領域が有体物により指示されたシーン）を抽出できないといった問題がある。
【０００７】
一つの側面では、投影領域が有体物により指示されたシーンを抽出することを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、画像検索装置は、撮影画像の投影領域内について、画像の変化の有無を判定する第１の判定部と、前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定する第２の判定部と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する第３の判定部とを有することを特徴とする。
【発明の効果】
【０００９】
投影領域が有体物により指示されたシーンを抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】会議システムの一例を示す図である。
【図２】投影装置及び撮像装置の配置及び投影領域、撮影領域を示す図である。
【図３】投影領域が説明者により指示されたシーンの一例を示した図である。
【図４】画像検索装置のハードウェア構成を示す図である。
【図５】画像検索装置の機能構成を示す図である。
【図６】輪郭線の検出方法の詳細を説明するための図である。
【図７】輪郭線の算出方法を説明するための図である。
【図８】輪郭線データベースに格納された輪郭線情報の一例を示す図である。
【図９】画像変化の判定方法を説明するための図である。
【図１０】特定シーンにおける差分画像の一例を示す図である。
【図１１】特定シーン以外のシーンにおける差分画像の一例を示す図である。
【図１２】画像検索装置により実行される画像検索処理のフローチャートである。
【図１３】画像検索装置により実行される他の画像検索処理のフローチャートである。
【図１４】画像検索装置により実行される他の画像検索処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
はじめに、第１の実施形態に係る画像検索装置を含む会議システムについて説明する。図１は、会議システムの一例を示す図である。
【００１３】
会議システムは、会議データ投影システムと会議画像蓄積システム１００とを有する。会議データ投影システムは、投影装置１１０と投影制御装置１２０とを有する。また、会議画像蓄積システム１００は、撮像装置１３０と画像検索装置１４０とを有する。
【００１４】
投影装置１１０は、フロントプロジェクタ等の装置であり、会議用の資料である静止画像や動画像を、被投影面に投影する。なお、「被投影面」とは、投影装置１１０から出力される静止画像や動画像が投影される面であり、例えば、プロジェクタ用スクリーンや、会議室内の壁、ホワイトボード等が含まれる。また、被投影面上において、投影装置１１０より出射された光が照射されている領域を、「投影領域」と称す。
【００１５】
投影制御装置１２０は、会議用の資料である静止画像や動画像を格納し、投影装置１１０に対して、格納した静止画像や動画像を提供する。また、投影制御装置１２０は、投影装置１１０の動作を制御する。
【００１６】
撮像装置１３０は、被投影面を撮影し動画像を生成する動画用の撮像装置である。本実施形態において撮像装置１３０には、例えば、全方位カメラが使用される。撮像装置１３０は、被投影面のうち投影領域とその周辺部、即ち投影領域よりも広い領域を撮影するように、画角が調整されている。なお、撮像装置１３０により撮影される領域を、以下では「撮影領域」と称す。
【００１７】
画像検索装置１４０は、撮像装置１３０による撮影により生成された動画像を撮影画像データベース（以下、データベースをＤＢと略す）１４２に格納する。また、画像検索装置１４０は、撮影画像ＤＢ１４２に格納された動画像を解析し、投影領域の輪郭線（投影領域とその外側との境界線）を算出することで得られた輪郭線情報を輪郭線ＤＢ１４１に格納する。更に、画像検索装置１４０は、輪郭線ＤＢ１４１に格納した輪郭線情報を用いて動画像を解析し、投影領域が有体物（ここでは、会議データ投影システムを利用して、投影領域に投影された会議用の資料について説明を行う者。以下、「説明者」と称す）により指示されたシーンを抽出する。
【００１８】
なお、画像検索装置１４０には、画像検索プログラム１４３がインストールされており、画像検索装置１４０におけるこれらの処理は、画像検索装置１４０が画像検索プログラム１４３を実行することで実現される。
【００１９】
次に、投影装置１１０と撮像装置１３０の配置及び投影領域、撮影領域について説明する。図２は、投影装置及び撮像装置の配置及び投影領域、撮影領域を示す図である。
【００２０】
このうち、図２（ａ）は、被投影面を正面から見た様子を示しており、図２（ｂ）は、被投影面を真上から見た様子を示している。
【００２１】
図２（ａ）、（ｂ）に示すように、被投影面は平面構造を有しており、投影領域が概ね四角形の形に形成されるように投影装置１１０が調整される。また、投影領域が撮影領域に対して概ね中央に位置するように、撮像装置１３０が調整される。
【００２２】
なお、図２（ｂ）の例では、撮像装置１３０が投影装置１１０の背面側に配置される場合を示しているが、撮像装置１３０と投影装置１１０の位置関係は、これに限定されない。
【００２３】
次に、本実施形態において動画像から抽出すべき特定のシーンである、投影領域が説明者により指示されたシーンについて説明する。図３は、投影領域が説明者により指示されたシーンの一例を示す図である。
【００２４】
図３に示すように、会議データ投影システムを利用して、投影領域に投影された会議用の資料について説明を行う場合、説明者３００は、投影領域の外側に立って投影領域内を手や指示棒で指示する。本実施形態において画像検索装置１４０では、このようなシーンを、"会議室内における説明者や会議参加者の様子を撮影した動画像から抽出すべきシーン"（特定のシーン）と定義している。
【００２５】
図３に示す特定のシーンは、説明者３００が、被投影面に向かって投影領域の左側に立ち、左手３０１を使って投影領域内を指示している様子を示している。なお、点線で示すように、撮影領域には投影領域とその周辺部が含まれるため、図３の撮影画像には、投影領域のほか、投影領域内を指示する説明者３００の上半身が含まれることとなる。
【００２６】
次に、画像検索装置１４０のハードウェア構成について説明する。図４は、画像検索装置のハードウェア構成を示す図である。図４に示すように、画像検索装置１４０は、ＣＰＵ４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を備える。また、画像検索装置１４０は、記憶部４０４、接続部４０５、表示部４０６、操作部４０７を備える。なお、画像検索装置１４０の各部は、バス４０８を介して相互に接続されている。
【００２７】
ＣＰＵ４０１は、記憶部４０４に格納された各種プログラムを実行するコンピュータである。
【００２８】
ＲＯＭ４０２は不揮発性メモリである。ＲＯＭ４０２は、記憶部４０４に格納された各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。
【００２９】
ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ４０３は、記憶部４０４に各種プログラムがＣＰＵ４０１によって実行される際に展開される、作業領域として機能する。
【００３０】
記憶部４０４は、画像検索装置１４０にインストールされた各種プログラムや、プログラムを実行することで生成されるデータ等を格納する。接続部４０５は、撮像装置１３０と接続され、撮像装置１３０との間で、データの送受信を行う。表示部４０６は、撮像装置１３０において撮影された動画像の中から抽出された特定のシーンを示すフレーム（動画像に含まれる撮影画像１枚分）を表示する。操作部４０７は、ユーザが画像検索装置１４０に対して行う各種操作を受け付ける。
【００３１】
次に、画像検索装置１４０の機能構成について説明する。図５は、画像検索装置の機能構成を示す図である。画像検索装置１４０は、ＣＰＵ４０１が画像検索プログラム１４３を実行することで、以下に説明する各部の機能を実現する。なお、本実施形態において、画像検索装置１４０の輪郭線ＤＢ１４１、撮影画像ＤＢ１４２は、例えば記憶部４０４に設けられる。
【００３２】
図５に示すように、画像検索装置１４０は、画像入力部５１０、前処理部５２０、判定部５３０、画像検出部５４０、画像出力部５５０を有する。
【００３３】
画像入力部５１０は、撮影画像ＤＢ１４２に格納された動画像を、１フレームごとに順次読み出し、前処理部５２０に送信する。
【００３４】
前処理部５２０は、輪郭線検出部５２１と輪郭線情報格納部５２２とを有し、画像入力部５１０により読み出されたフレームより、投影領域の輪郭線を検出し、輪郭線ＤＢ１４１に格納する。
【００３５】
具体的には、輪郭線検出部５２１は、画像入力部５１０により読み出されたフレームのうち、投影領域が含まれる所定のフレーム（例えば、動画像の１番目のフレーム）についてエッジ抽出処理を行う。また、輪郭線検出部５２１は、エッジ画像の２値化処理を行い、２値化画像を生成する。更に、輪郭線検出部５２１は、生成した２値化画像より、交差する４本の直線を輪郭線として検出する。
【００３６】
なお、エッジ抽出処理には、例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなど１次微分（差分）系のフィルタや、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルタなど２次微分（差分）系のフィルタが用いられる。
【００３７】
また、２値化画像より４本の直線を検出するにあたっては、例えば、Ｈｏｕｇｈ変換などが用いられる。
【００３８】
輪郭線情報格納部５２２は、輪郭線検出部５２１において検出された輪郭線を示す情報（輪郭線情報）を輪郭線ＤＢ１４１に格納する。輪郭線検出部５２１において検出された輪郭線を輪郭線ＤＢ１４１に格納するにあたっては、輪郭線を示す４本の直線を表す関数として輪郭線ＤＢ１４１に格納するようにしてもよいし、輪郭線上の各点の座標を輪郭線ＤＢ１４１に格納するようにしてもよい。
【００３９】
なお、輪郭線検出部５２１による輪郭線の検出方法の詳細、及び、輪郭線情報格納部５２２により格納される輪郭線情報の詳細は後述する。
【００４０】
判定部５３０は、輪郭線情報取得部５３１、画像変化判定部５３２、画像変化位置特定部５３３を有する。判定部５３０は、画像入力部５１０により読み出された各フレームについて、画像が変化したか否かを判定する。また、判定部５３０は、画像が変化したと判定した場合に、変化があった位置を特定することで、投影領域内（つまり、輪郭線により囲まれた領域内）の画像について変化があったフレームを抽出する。
【００４１】
具体的には、輪郭線情報取得部５３１は、輪郭線ＤＢ１４１より輪郭線情報を読み出すとともに、輪郭線情報を抽出する際に用いられたフレーム（投影領域が含まれる所定のフレーム）を背景画像として読み出す。
【００４２】
画像変化判定部５３２は、画像入力部５１０により読み出された各フレームのうち、背景画像として用いられるフレーム以外のフレーム（処理対象画像）について、背景画像として用いられるフレームとの輝度値の差分値（輝度差）を算出する。
【００４３】
画像変化位置特定部５３３は、輝度差が所定の閾値以上の部分の位置を特定する。また、画像変化位置特定部５３３は、輪郭線情報取得部５３１により読み出された輪郭線情報に基づいて、投影領域内に輝度差が所定の閾値以上の部分があるか否かを判定する。投影領域内に輝度差が所定の閾値以上の部分がある場合、投影領域内の画像について変化があったと判定し、処理対象画像を抽出する。更に、画像変化位置特定部５３３は、処理対象画像を抽出した場合、抽出した処理対象画像と、輪郭線情報と、抽出した処理対象画像について特定した、輝度差が所定の閾値以上の部分についての位置に関する情報と、を画像検出部５４０に送信する。
【００４４】
画像検出部５４０は、判定部５３０において抽出された処理対象画像について、輪郭線情報と輝度差が所定の閾値以上の部分についての位置に関する情報とに基づいて、抽出された処理対象画像が特定のシーンを示すフレームであるか否かを判定する。なお、処理対象画像が特定のシーンを示すフレームであるか否かを判定する画像検出部５４０の処理の詳細は後述する。
【００４５】
画像出力部５５０は、画像検出部５４０において、特定のシーンを示すフレームであると判定された処理対象画像を出力する。
【００４６】
次に、輪郭線検出部５２１による輪郭線の検出方法の詳細について説明する。図６は、輪郭線の検出方法の詳細を説明するための図である。
【００４７】
図６（ａ）〜（ｄ）に示すように、被投影面が平面である場合、投影領域の形状は四角形となる。また、図６（ａ）、（ｂ）に示すように、投影領域の一部が説明者３００によって遮蔽されたとしても、遮蔽された部分の上下の線を延長することにより、遮蔽された部分の輪郭線を推定することができる。
【００４８】
また、図６（ｃ）、（ｄ）に示すように、投影領域の角部分が説明者３００によって遮蔽された場合、遮蔽された角部分を形成する２辺の直線を延長することにより、遮蔽された角部分の輪郭線を推定することができる。
【００４９】
なお、図６（ａ）〜（ｄ）において、輪郭線を形成する４本の直線は、Ｈｏｕｇｈ変換に基づいて算出される。
【００５０】
具体的には、エッジ抽出処理を行うことで生成された２値化画像において、輝度値が２５５の点をｐ（ｘ，ｙ）とすると、点ｐ（ｘ，ｙ）を通る全ての直線は、その直線と直角に交わる垂線のｘ軸との角度θと長さρとを用いて下式（式１）により表される。
ρ＝ｘ×ｃｏｓθ＋ｙ×ｓｉｎθ            （式１）
なお、点ｐ（ｘ，ｙ）を通る直線の一例と、角度θ及び長さρとの関係を図７に示す。
【００５１】
したがって、式１を用いて、輝度値が２５５上の点ｐ（ｘ，ｙ）を変えながら、θ−ρ空間上の曲線が共有する点（ピーク点）を求めることで、輝度値が２５５上の点からなる直線を求めることができる。
【００５２】
ここで、投影領域の輪郭線を形成する４本の直線をＬ１、Ｌ２、Ｌ３、Ｌ４とすると、直線Ｌ１〜Ｌ４は、それぞれ下式（式２〜式５）により表される。
直線Ｌ１：ρ１＝ｘ×ｃｏｓθ１＋ｙ×ｓｉｎθ１    （式２）
直線Ｌ２：ρ２＝ｘ×ｃｏｓθ２＋ｙ×ｓｉｎθ２    （式３）
直線Ｌ３：ρ３＝ｘ×ｃｏｓθ３＋ｙ×ｓｉｎθ３    （式４）
直線Ｌ４：ρ４＝ｘ×ｃｏｓθ４＋ｙ×ｓｉｎθ４    （式５）
次に、輪郭線情報格納部５２２により格納される輪郭線情報の詳細について説明する。図８は輪郭線ＤＢに格納された輪郭線情報の一例を示す図である。このうち、図８（ａ）は、輪郭線を示す４本の直線を表す関数のパラメータρ、θを、輪郭線情報として格納した場合を、図８（ｂ）は、輪郭線上の各点の座標を輪郭線情報として格納した場合をそれぞれ示している。
【００５３】
図８（ａ）に示すように、輪郭線情報８００は、情報の項目として、"直線識別子"と"パラメータ"とを含み、"パラメータ"には、更に、"θ−ρ空間"、"Ｘ軸の範囲"、"Ｙ軸の範囲"が含まれる。
【００５４】
"直線識別子"には、輪郭線を形成する４本の直線を示す識別子が格納される。"θ−ρ空間"には、各直線を規定するパラメータであるθとρの値が格納される。
【００５５】
"Ｘ軸の範囲"には、各直線の左端のＸ座標と右端のＸ座標とが格納される。"Ｙ軸の範囲"には、各直線の下端のＹ座標と上端のＹ座標とが格納される。
【００５６】
一方、図８（ｂ）に示すように、輪郭線情報８１０は、情報の項目として、"座標番号"、"輪郭線の座標位置"とを含み、"輪郭線の座標位置"には、更に、"Ｘ軸"、"Ｙ軸"が含まれる。
【００５７】
"座標番号"には、輪郭線上の各点の座標を示す番号が格納される。"Ｘ軸"には、輪郭線上の各点ｐ（ｘ，ｙ）のＸ座標が、"Ｙ軸"には、輪郭線上の各点ｐ（ｘ，ｙ）のＹ座標がそれぞれ格納される。
【００５８】
次に、画像検出部５４０により処理対象画像が特定のシーンを示すフレームであるか否かを判定する処理の詳細について図９、図１０及び図１１を用いて説明する。
【００５９】
図９は、処理対象が特定のシーンを示すフレームであるか否かを判定するための判定方法を説明する図である。
【００６０】
図９（ａ）は、投影装置１１０より被投影面に向けて光が出射された後であって、説明者３００が説明を開始する前のシーンを示すフレーム９０１である。図９（ｂ）は、投影装置１１０より被投影面に向けて光が出射された後であって、説明者３００が説明を開始した後のシーンを示すフレーム９０２である。
【００６１】
図９（ｂ）に示すように、説明者３００が投影領域内を指示すると、投影領域内に説明者３００の左手３０１が入るため、フレーム９０２において、投影領域内の一部分（丸印９１１で示す部分）の輝度値が、フレーム９０１の対応する部分の輝度値に対して変化する。また、説明者３００の左手３０１は、投影領域の内側から投影領域の外側まで連続しているため、投影領域の外側であって、投影領域の輪郭線近傍の部分（丸印９１２で示す部分）の輝度値も、フレーム９０１の対応する部分の輝度値に対して変化する。
【００６２】
一方、図９（ｃ）は、投影装置１１０より被投影面に向けて光が出射された後であって、会議用の資料が表示される前のシーンを示すフレーム９２１である。図９（ｄ）は、投影装置１１０より被投影面に向けて光が出射された後であって、会議用の資料が表示された後のシーンを示すフレーム９２２である。
【００６３】
図９（ｄ）に示すように、会議用の資料が表示されると、フレーム９２２において、投影領域内の一部分（例えば、丸印９３１で示す部分）の輝度値が、フレーム９２１の対応する部分の輝度値に対して変化する。しかしながら、会議用の資料の表示に伴う画像の変化は投影領域内のみであり、投影領域の外側は画像が変化しない。つまり、丸印９３２で示す部分の輝度値は、フレーム９２１の対応する部分の輝度値に対して変化しない。
【００６４】
このように、投影領域内の同じ部分の画像が変化した場合であっても、説明者が投影領域内を指示したことに起因するものと、会議用の資料が表示された（あるいは切り替わった）ことに起因するものとでは、輪郭線の外側部分の画像の変化の有無に違いが生じる。
【００６５】
具体的には、投影領域内において画像が変化した場合、変化した部分近傍の輪郭線の外側部分の画像が変化していれば、説明者３００が投影領域内を指示したことに起因するものであると判定することができる。また、投影領域内において画像が変化した場合、変化した部分近傍の輪郭線の外側部分の画像に変化がなければ、会議用の資料が表示された（あるいは切り替わった）ことに起因するものであると判定することができる。
【００６６】
つまり、投影領域内において画像が変化した部分近傍の輪郭線の外側部分は、特定のシーンを示すフレームか否かの判定に有効な部分である。
【００６７】
次に、処理対象画像が特定のシーンを示すフレームであるか否かを判定するにあたり、画像変化判定部５３２において輝度差を算出することで生成される差分画像について図１０及び図１１を用いて説明する。図１０は、特定シーンにおける差分画像の一例を示す図であり、図１１は、特定シーン以外のシーンにおける差分画像の一例を示す図である。
【００６８】
図１０に示すように、処理対象画像が特定のシーンを示すフレームであるか否かを判定するにあたり、画像変化判定部５３２では、投影領域内の画像が変化したか否かを判定すべく、処理対象画像と背景画像との輝度差を算出し、差分画像を生成する。
【００６９】
処理対象画像が、説明者３００が投影領域内を指示したフレーム９０２であった場合、フレーム９０２の輝度値と、背景画像であるフレーム９０１の輝度値との差分値を算出すると、説明者３００が描画されている部分における輝度差が大きくなる。そこで、フレーム９０２とフレーム９０１との輝度差を算出し、輝度差が所定の閾値以上の画素の輝度値を２５５とし、輝度差が所定の閾値未満の画素の輝度値を０とすることで２値化すると、２値化画像１０００を生成することができる。
【００７０】
なお、図１０の例では、説明の便宜上、投影領域の輪郭線のうち、左側の直線Ｌ２を点線で示している。
【００７１】
一方、図１１に示すように、処理対象画像が、会議用の資料が表示されたフレーム９２２であった場合、フレーム９２２と、背景画像であるフレーム９２１との輝度値の差分値を算出すると、会議用の資料が記載されている部分において輝度差が大きくなる。そこで、フレーム９２２とフレーム９２１との輝度差を算出し、輝度差が所定の閾値以上の画素の輝度値を２５５とし、輝度差が所定の閾値未満の画素の輝度値を０とすることで２値化すると、２値化画像１１００を生成することができる。
【００７２】
なお、図１１の例では、説明の便宜上、投影領域の輪郭線のうち、左側の直線Ｌ２を点線で示している。
【００７３】
このようにして、画像変化位置特定部５３３では、輝度差が所定の閾値以上の部分についての位置に関する情報が生成される。そして、"輝度差が所定の閾値以上の部分についての位置に関する情報"が"輪郭線情報"と共に画像検出部５４０に通知されることで、画像検出部５４０では、処理対象画像が特定のシーンを示すフレームであるか否かを判定することができる。
【００７４】
次に、画像検索装置１４０により実行される画像検索処理の流れについて説明する。図１２は、画像検索装置により実行される画像検索処理のフローチャートである。
【００７５】
ステップＳ１２０１において、画像入力部５１０は撮影画像ＤＢ１４２よりフレームごとに動画像を読み出す。ステップＳ１２０２において、画像入力部５１０は、読み出したフレーム（処理対象画像）のフレーム番号が１より大きいか否かを判定する。
【００７６】
ステップＳ１２０２において、処理対象画像のフレーム番号が１であった場合には、ステップＳ１２０３に進む。ステップＳ１２０３において、輪郭線検出部５２１は、処理対象画像より、投影領域の輪郭線を検出する。ステップＳ１２０４において、輪郭線情報格納部５２２は、検出された輪郭線を示す情報（輪郭線情報８００または８１０）を輪郭線ＤＢ１４１に格納する。その後、ステップＳ１２０１に戻り、画像入力部５１０は、撮影画像ＤＢ１４２より、次のフレームを処理対象画像として読み出す。
【００７７】
ステップＳ１２０２において、処理対象画像のフレーム番号が１より大きい場合には、ステップＳ１２０５に進む。ステップＳ１２０５において、輪郭線情報取得部５３１は、輪郭線ＤＢ１４１に格納された輪郭線情報８００または８１０を読み出す。また、輪郭線情報取得部５３１は、輪郭線情報８００または８１０を生成する際に用いられたフレーム（フレーム番号が１のフレーム）を背景画像として読み出す。
【００７８】
ステップＳ１２０６において、画像変化判定部５３２は、処理対象画像と背景画像との輝度差を算出する。ステップＳ１２０７において、画像変化位置特定部５３３は、ステップＳ１２０６において算出した輝度差が所定の閾値以上の部分が投影領域内にあるか否かを判定する。
【００７９】
ステップＳ１２０７において、投影領域内において所定の閾値以上の輝度差を有する部分がないと判定された場合には、処理対象画像の投影領域内に変化はなかったと判定し、ステップＳ１２０８に進む。ステップＳ１２０８において、画像変化判定部５３２は、シーンに変化がないと判定した後、ステップＳ１２１５に進む。
【００８０】
一方、ステップＳ１２０７において、投影領域内において所定の閾値以上の輝度差を有する部分があると判定された場合には、処理対象画像の投影領域内に変化があったと判定し、ステップＳ１２０９に進む。ステップＳ１２０９において、画像変化位置特定部５３３は、投影領域内において変化があった部分の座標を算出する。
【００８１】
ステップＳ１２１０において、画像検出部５４０は、投影領域内において変化があった部分に隣接する位置に輪郭線があるか否かを判定する。具体的には、ステップＳ１２０９において算出した座標と、ステップＳ１２０５において読み出された輪郭線情報８００または８１０とに基づいて判定する。
【００８２】
ステップＳ１２１０において、投影領域内において変化があった部分に隣接する位置に輪郭線がないと判定された場合には、ステップＳ１２１２に進む。ステップＳ１２１２において、画像検出部５４０は、投影領域内における変化が、会議用の資料が表示された又は切り替えられたことに起因するものであると判定し、ステップＳ１２１５に進む。
【００８３】
一方、ステップＳ１２１０において、投影領域内において変化があった部分に隣接する位置に輪郭線があると判定された場合には、ステップＳ１２１１に進む。ステップＳ１２１１において、画像検出部５４０は、投影領域内において変化があった部分に隣接する輪郭線の外側において、変化があったか否かを判定する。具体的には、投影領域内において変化があった部分に隣接する輪郭線の外側部分において、処理対象画像と背景画像との輝度差が所定の閾値以上の部分があったか否かを判定する。
【００８４】
ステップＳ１２１１において、変化がなかったと判定された場合には、ステップＳ１２１２に進む。一方、ステップＳ１２１１において、変化があったと判定された場合には、ステップＳ１２１３に進む。
【００８５】
ステップＳ１２１３において、画像検出部５４０は、処理対象画像が特定のシーンを示すフレームであると判定する。ステップＳ１２１４において、画像出力部５５０は、処理対象画像を検索結果として出力する。
【００８６】
ステップＳ１２１５において、画像入力部５１０は、撮影画像ＤＢ１４２に格納された動画像の全てのフレームについて画像検索処理を実行したか否かを判定する。ステップＳ１２１５において、画像検索処理を実行していないフレームがあると判定した場合には、ステップＳ１２０１に戻り、次のフレームを処理対象画像として、ステップＳ１２０２〜ステップＳ１２１４までの処理を繰り返す。
【００８７】
一方、ステップＳ１２１５において、全てのフレームについて画像検索処理を実行したと判定した場合には、画像検索処理を終了する。
【００８８】
以上の説明から明らかなように、本実施形態における画像検索装置１４０では、
・撮像装置により撮影された動画像に含まれる各フレームのうち、投影領域が含まれる所定のフレームを用いて投影領域の輪郭線を示す輪郭線情報を生成する。
・輪郭線情報を生成した際に用いたフレームを背景画像とし、各処理対象画像との輝度差を算出することで、投影領域内における画像の変化の有無を判定する。
・投影領域内において画像に変化があると判定した場合に、変化があった部分に隣接する輪郭線の外側において、画像の変化があったか否かを判定する。また、変化があった場合に、説明者が投影領域内を手や指示棒で指示を行っている特定のシーンを示すフレームであると判定する。
【００８９】
これにより、投影領域内の会議用の資料の表示又は切り替えに起因する画像の変化と区別して、説明者の指示動作に起因する画像の変化のみを抽出することが可能となり、動画像から特定のシーンを示すフレームを検索することが可能となる。
【００９０】
[第２の実施形態]
第２の実施形態では、投影領域内において画像に変化があると判定した場合であって、変化があった部分の輝度値と、変化があった部分に隣接する輪郭線の外側部分の輝度値との差分値が、所定の閾値未満であった場合に、特定のシーンであると判定する。
【００９１】
説明者３００の指示動作に起因して生じる投影領域内の画像の変化は、説明者３００の左手３０１が投影領域内に入ったことによるものであり、説明者３００の左手３０１は、投影領域の外側まで連続している。つまり、輪郭線の内側と外側とは、同じ説明者３００の左手３０１であるため、同様の輝度値を有することとなる。このため、輪郭線の内側と外側との輝度差を算出することで、特定のシーンであるか否かを判定することができる。以下、第２の実施形態において画像検索装置１４０により実行される画像検索処理の流れについて説明する。
【００９２】
図１３は、画像検索装置により実行される他の画像検索処理のフローチャートである。なお、図１３に示す画像検索処理の各工程のうち、図１２に示す画像検索処理の工程と同様の工程については、同じ参照番号を付すこととし、ここでは説明を省略する。
【００９３】
図１１との相違点は、投影領域内において画像に変化があり、変化があった部分に隣接して輪郭線があると判定した後の処理である。ステップＳ１３０１において、画像検出部５４０は、変化があった部分の輝度値と、変化があった部分に隣接する輪郭線の外側部分の輝度値との差分値（輝度差）を算出する。
【００９４】
ステップＳ１３０２において、画像検出部５４０は、ステップＳ１３０１において算出された輝度差が、所定の閾値未満か否かを判定する。ステップＳ１３０２において、所定の閾値以上であると判定した場合には、ステップＳ１２１２に進む。ステップＳ１２１２において、画像検出部５４０は、投影領域内における変化が、会議用の資料の表示又は切り替えに起因するものであると判定する。
【００９５】
一方、ステップＳ１３０２において、所定の閾値未満であると判定した場合には、ステップＳ１２１３に進む。ステップＳ１２１３において、画像検出部５４０は、処理対象画像が特定のシーンを示すフレームであると判定する。
【００９６】
このように、変化があった部分の輝度値と、変化があった部分に隣接する輪郭線の外側部分の輝度値との差分値に基づいて、特定のシーンであるか否かを判定することができる。
【００９７】
なお、上記説明では、図１２のステップＳ１２１１の代わりに、ステップＳ１３０１及びステップＳ１３０２の各工程を実行することとしたが、ステップＳ１２１１に加えて、ステップＳ１３０１及びステップＳ１３０２の各工程を実行するようにしてもよい。
【００９８】
つまり、ステップＳ１２１１において、投影領域内において変化があった部分に隣接する輪郭線の外側において、変化があったと判定した場合に、ステップＳ１３０１及びステップＳ１３０２の各工程を実行するようにしてもよい。
【００９９】
［第３の実施形態］
第３の実施形態では、投影領域内において変化があった処理対象画像が、特定のシーンを示すフレームであるか否かを判定するにあたり、色情報（例えば、色彩）に基づいて判定する。
【０１００】
図１４は、画像検索装置により実行される他の画像検索処理のフローチャートである。なお、図１４に示す画像検索処理の各工程のうち、図１２に示す画像検索処理の工程と同様の工程については、同じ参照番号を付すこととし、ここでは説明を省略する。
【０１０１】
図１２との相違点は、投影領域内において画像に変化があり、変化があった部分に隣接して輪郭線があると判定した後の処理である。ステップＳ１４０１において、画像検出部５４０は、変化があった部分の色彩と、変化があった部分に隣接する輪郭線の外側部分の色彩との類似度を算出する。
【０１０２】
ステップＳ１４０２において、画像検出部５４０は、ステップＳ１４０１において算出された類似度が、所定の閾値以上であるか否かを判定する（つまり、色彩の相違が所定の範囲内であるか否かを判定する）。ステップＳ１４０２において、所定の閾値未満であると判定した場合には、ステップＳ１２１２に進む。ステップＳ１２１２において、画像検出部５４０は、投影領域内における変化が、会議用の資料の表示又は切り替えに起因するものであると判定する。
【０１０３】
一方、ステップＳ１４０２において、所定の閾値以上であると判定した場合には、ステップＳ１２１３に進む。ステップＳ１２１３において、画像検出部５４０は、処理対象画像が特定のシーンを示すフレームであると判定する。
【０１０４】
このように、投影領域内において変化があった部分の色彩と、変化があった部分に隣接する輪郭線の外側部分の色彩との類似度に基づいて、特定のシーンであるか否かを判定することができる。
【０１０５】
なお、上記説明では、図１２のステップＳ１２１１の代わりに、ステップＳ１４０１及びステップＳ１４０２の各工程を実行することとしたが、ステップＳ１２１１に加えて、ステップＳ１４０１及びステップＳ１４０２の各工程を実行するようにしてもよい。
【０１０６】
つまり、ステップＳ１２１１において、投影領域内において変化があった部分に隣接する輪郭線の外側において、変化があったと判定した場合に、ステップＳ１４０１及びステップＳ１４０２の各工程を実行するようにしてもよい。
【０１０７】
［第４の実施形態］
上記第１乃至第３の実施形態では、投影領域内において変化があった部分に隣接する輪郭線の外側部分の位置及び大きさについて、特に言及しなかった。しかしながら、例えば、輪郭線の外側部分の位置は、投影領域内において変化があった部分と連続する位置としてもよい。また、輪郭線の外側部分の大きさは、投影領域内において変化があった部分と同じ大きさとしてもよい。
【０１０８】
また、上記第１乃至第３の実施形態では、画像検出部５４０により、特定のシーンを示すと判定された処理対象画像を、画像出力部５５０が出力するものとして説明したが、画像出力部５５０は、例えば、サムネイル画像として出力するようにしてもよい。これにより、例えば、撮影画像ＤＢ１４２に格納された動画像の一覧を表示させる際に、画像出力部５５０により出力されたサムネイル画像に基づくアイコンを表示させることが可能となる。
【０１０９】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮影画像の投影領域内について、画像の変化の有無を判定する第１の判定部と、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定する第２の判定部と、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する第３の判定部と
を有することを特徴とする画像検索装置。
（付記２）
前記第１の判定部は、
処理対象の前記撮影画像と、前記投影領域を含む所定の撮影画像との輝度値の差分を算出した際の算出結果に基づいて、画像の変化の有無を判定することを特徴とする付記１に記載の画像検索装置。
（付記３）
前記第１の判定部は、
前記処理対象の撮影画像を含む動画像内の、１番目のフレームの撮影画像を、前記投影領域を含む所定の撮影画像として用いることを特徴とする付記２に記載の画像検索装置。
（付記４）
前記第３の判定部により、有体物が投影領域内を指示したことを示す撮影画像と判定された前記撮影画像を、動画像に含まれる特定のシーンを検索した際の検索結果として出力する出力部を更に有することを特徴とする付記１に記載の画像検索装置。
（付記５）
前記第３の判定部は、
前記画像の変化があった部分に隣接する位置に、前記投影領域の輪郭がない場合、有体物が投影領域内を指示したことを示す撮影画像ではないと判定することを特徴とする付記１乃至４のいずれかの付記に記載の画像検索装置。
（付記６）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記撮影領域の輪郭の外側部分において、画像の変化がなかった場合、有体物が投影領域内を指示したことを示す撮影画像ではないと判定することを特徴とする付記１乃至５のいずれかの付記に記載の画像検索装置。
（付記７）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合であって、前記画像の変化があった部分の輝度値と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分の輝度値との相違が、所定の範囲内であった場合に、有体物が投影領域内を指示したことを示す撮影画像と判定することを特徴とする付記１乃至６のいずれかの付記に記載の画像検索装置。
（付記８）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合であって、前記画像の変化があった部分の色情報と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分の色情報との相違が、所定の範囲内であった場合に、有体物が投影領域内を指示したことを示す撮影画像と判定することを特徴とする付記１乃至６のいずれかの付記に記載の画像検索装置。
（付記８）
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
処理を、コンピュータに実行させることを特徴とするプログラム。
（付記９）
コンピュータによる画像検索方法であって、該コンピュータが、
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
ことを特徴とする画像検索方法。
【０１１０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１１】
１００  ：会議画像蓄積システム
１１０  ：投影装置
１２０  ：投影制御装置
１３０  ：撮像装置
１４０  ：画像検索装置
１４１  ：輪郭線ＤＢ
１４２  ：撮影画像ＤＢ
１４３  ：画像検索プログラム
５１０  ：画像入力部
５２０  ：前処理部
５２１  ：輪郭線検出部
５２２  ：輪郭線情報格納部
５３０  ：判定部
５３１  ：輪郭線情報取得部
５３２  ：画像変化判定部
５３３  ：画像変化位置特定部
５４０  ：画像検出部
５５０  ：画像出力部
８００  ：輪郭線情報
８１０  ：輪郭線情報
【図１】
2015211377.tif 000003
【図２】
2015211377.tif 000004
【図３】
2015211377.tif 000005
【図４】
2015211377.tif 000006
【図５】
2015211377.tif 000007
【図６】
2015211377.tif 000008
【図７】
2015211377.tif 000009
【図８】
2015211377.tif 000010
【図９】
2015211377.tif 000011
【図１０】
2015211377.tif 000012
【図１１】
2015211377.tif 000013
【図１２】
2015211377.tif 000014
【図１３】
2015211377.tif 000015
【図１４】
2015211377.tif 000016
【手続補正書】
【提出日】平成26年4月30日(2014.4.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮影画像の投影領域内について、画像の変化の有無を判定する第１の判定部と、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定する第２の判定部と、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する第３の判定部と
を有することを特徴とする画像検索装置。
（付記２）
前記第１の判定部は、
処理対象の前記撮影画像と、前記投影領域を含む所定の撮影画像との輝度値の差分を算出した際の算出結果に基づいて、画像の変化の有無を判定することを特徴とする付記１に記載の画像検索装置。
（付記３）
前記第１の判定部は、
前記処理対象の撮影画像を含む動画像内の、１番目のフレームの撮影画像を、前記投影領域を含む所定の撮影画像として用いることを特徴とする付記２に記載の画像検索装置。
（付記４）
前記第３の判定部により、有体物が投影領域内を指示したことを示す撮影画像と判定された前記撮影画像を、動画像に含まれる特定のシーンを検索した際の検索結果として出力する出力部を更に有することを特徴とする付記１に記載の画像検索装置。
（付記５）
前記第３の判定部は、
前記画像の変化があった部分に隣接する位置に、前記投影領域の輪郭がない場合、有体物が投影領域内を指示したことを示す撮影画像ではないと判定することを特徴とする付記１乃至４のいずれかの付記に記載の画像検索装置。
（付記６）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記撮影領域の輪郭の外側部分において、画像の変化がなかった場合、有体物が投影領域内を指示したことを示す撮影画像ではないと判定することを特徴とする付記１乃至５のいずれかの付記に記載の画像検索装置。
（付記７）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合であって、前記画像の変化があった部分の輝度値と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分の輝度値との相違が、所定の範囲内であった場合に、有体物が投影領域内を指示したことを示す撮影画像と判定することを特徴とする付記１乃至６のいずれかの付記に記載の画像検索装置。
（付記８）
前記第３の判定部は、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合であって、前記画像の変化があった部分の色情報と、前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分の色情報との相違が、所定の範囲内であった場合に、有体物が投影領域内を指示したことを示す撮影画像と判定することを特徴とする付記１乃至６のいずれかの付記に記載の画像検索装置。
（付記９）
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
処理を、コンピュータに実行させることを特徴とするプログラム。
（付記１０）
コンピュータによる画像検索方法であって、該コンピュータが、
撮影画像の投影領域内について、画像の変化の有無を判定し、
前記投影領域内において画像の変化があった場合、画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分における、画像の変化の有無を判定し、
前記画像の変化があった部分に隣接する前記投影領域の輪郭の外側部分において、画像の変化があった場合、有体物が投影領域内を指示したことを示す撮影画像と判定する、
ことを特徴とする画像検索方法。