(57)【要約】【課題】  長期間にわたって記録された人間の表情を容易に検索することが可能な表情画像記録検索装置を提供する。【解決手段】  映像モジュールプログラム１２００は、ハードディスク１１１０に格納された動画像から顔領域を抽出する顔検出部１２０８と、オプティカルフローに基づいて、検出され抽出された顔の内部の画像上の動きを特定するための情報の計算を行なうオプティカルフロー算出部１２０６とを含み、オプティカルフロー算出部１２０６は、顔画像の動画像を算出された動きの属性データとともに格納する。一方、検索モジュールプログラム１４００は、ユーザ２からの入力情報に基づいて、データを検索する検索処理部１４０４と、検索された被験者４の顔画像の動画像のうち特定のフレームに対応する顔画像を表示部１０８に表示させる処理を行なう表示制御部１４０２とを含む。【選択図】        図２
2007072970.tif 000002
【特許請求の範囲】
【請求項１】
被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段と、
前記動画像データを格納するための記憶装置と、
前記対象画像領域内において、顔を検出する顔検出手段と、
前記検出された顔に対応する検出領域において、単位領域ごとに動きベクトルを検出し、前記動きベクトルと前記検出領域に対応する顔画像データと前記顔画像データを特定するための識別情報とを関連づけて前記記憶装置に格納する動き検出手段と、
前記顔画像データと前記動きベクトルに関連する情報とを一覧表示する表示制御手段とを備え、
前記表示制御手段は、画像特定情報により特定される前記識別情報に応じて、対応する前記顔画像データと前記動きベクトルに関連する情報に、前記一覧表示を更新する、表情画像記録検索装置。
【請求項２】
ユーザからの前記画像特定情報を受ける入力手段をさらに備える、請求項１記載の表情画像記録検索装置。
【請求項３】
前記動き検出手段は、前記検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを、異なる複数の速度レベルで算出するオプティカルフロー算出手段を含み、
前記一覧表示は、前記複数の速度レベルでのオプティカルフローに相当する情報の時間軸に沿った並列表示を含む、請求項１記載の表情画像記録検索装置。
【請求項４】
前記入力手段から入力される、前記顔画像データに対する前記ユーザからの注釈データを前記顔画像データと関連づけて、前記記憶装置に格納する注釈付加手段をさらに備える、請求項１記載の表情画像記録検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象者の表情画像を長期にわたって記録し、かつ事後に検索するための表情画像記録検索装置の構成に関する。
【背景技術】
【０００２】
多くの国において、老齢人口の割合が増加しており、もはや自分のことを自分だけでできるという生活様式が困難になる人の割合も増加している。
【０００３】
日本においては、そのような老人はしばしば家族とともに生活しており、毎日かなりの時間にわたって家族が注意を払うことを要している。このことは、介護者にとって、被介護者から目を離せない状態が継続することになり、介護者の大きな精神的・肉体的な負担となる。
【０００４】
最終的には、このような介護者の負担を軽減し、被介護者に向ける注意の一部を肩代わりしてくれるようなシステムが開発されることが望ましい。
【０００５】
しかしながら、そもそも長期間にわたって被介護者の状態、たとえば、表情を記録し、この被介護者の表情の変化と、それに伴って向けられるべき注意との間の相関のデータを蓄積しない限り、上記のようなシステムの開発はむずかしい。
【０００６】
一方で、近年、撮像装置で撮影された画像から、撮像装置の周囲の物体の動き等を把握する方法が提案されている。その方法は、動画像のフレーム間でオプティカルフローを測定することにより、写っている物体の動きを把握するものである。
【０００７】
このような「オプティカルフロー」は、画像の各フレームに特徴照合法（パターンマッチング）や、時空間勾配法等を用いることにより求められる（たとえば、特許文献１、非特許文献１を参照）。
【特許文献１】特開２００４−３５５０８２号公報
【非特許文献１】Barrron, J. L., Fleet, D. J., Beauchemin, S.S.: Performance of optical flow techniques.  The International Journal of Computer Vision, 12(1994)pp.43-77
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、撮影された画像内での動き検出については、先行例があるものの、これを用いて、人間の表情と関連づけるかについては必ずしも明らかではない。
【０００９】
しかも、上述したようなシステムを開発するのであれば、長期間にわたって記録した人間の表情を、いかにして簡単に検索できるようにするかが問題となる。つまり、より開発を進めるには、上記のような介護を受けている人の感情の状態を評価することを助ける方法を開発することが必要である。
【００１０】
本発明は、このような問題点を解決するためになされたものであって、その目的は、長期間にわたって記録された人間の表情を容易に検索することが可能な表情画像記録検索装置を提供することである。
【課題を解決するための手段】
【００１１】
この発明のある局面に従うと、表情画像記録検索装置であって、被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段と、動画像データを格納するための記憶装置と、対象画像領域内において、顔を検出する顔検出手段と、検出された顔に対応する検出領域において、単位領域ごとに動きベクトルを検出し、動きベクトルと検出領域に対応する顔画像データと顔画像データを特定するための識別情報とを関連づけて記憶装置に格納する動き検出手段と、顔画像データと動きベクトルに関連する情報とを一覧表示する表示制御手段とを備え、表示制御手段は、画像特定情報により特定される識別情報に応じて、対応する顔画像データと動きベクトルに関連する情報に、一覧表示を更新する。
【００１２】
好ましくは、ユーザからの画像特定情報を受ける入力手段をさらに備える。
好ましくは、動き検出手段は、検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを、異なる複数の速度レベルで算出するオプティカルフロー算出手段を含み、一覧表示は、複数の速度レベルでのオプティカルフローに相当する情報の時間軸に沿った並列表示を含む。
【００１３】
好ましくは、入力手段から入力される、顔画像データに対するユーザからの注釈データを顔画像データと関連づけて、記憶装置に格納する注釈付加手段をさらに備える。
【発明を実施するための最良の形態】
【００１４】
（本発明の概要）
表情は人間の心的な状態の重要な情報を提供するものである。以下に説明するように、本発明は、被験者（被介護者）の感情を判断するという点において、表情のデータを文脈上の情報と組合せることにより、表情から人間の感情を判断するという人間の能力を補強するようなシステムである。
【００１５】
つまり、本発明の表情画像記録検索装置は、画像入力インタフェースを有するパーソナルコンピュータまたはワークステーション等のコンピュータと、このコンピュータ上で実行されるソフトウェアと、カメラなどの撮像装置と、検索情報を入力するための入力装置と、検索結果を表示するための表示装置により実現されるものであって、人物の顔の映像から、顔部分を抽出するとともに、この顔の内部の動きを検出し、この動き情報と適宜入力された注釈情報とを関連づけて保存すると共に、この動き情報や注釈情報を手がかりとして、対応する顔画像を検索することを可能とするものである。
【００１６】
なお、検索情報については、ユーザと対話的に検索を進めるために、上述のとおり入力装置からその都度入力される構成としてもよいし、検索情報自体は所定のものであって、必ずしもその都度入力される情報でなくてもよい。あるいは、表情画像記録検索装置が他のシステムからの照会に応じて検索結果を出力するのであれば、表情画像記録検索装置自体には、ユーザからの検索情報を受け付ける入力装置が設けられていなくてもよい。
【００１７】
なお、コンピュータについては、上述のような汎用コンピュータのみならず、専用機器に組み込まれた組込型のコンピュータであってもかまわない。
【００１８】
［ハードウェア構成］
以下、本発明の実施の形態にかかる表情画像記録検索装置について説明する。
【００１９】
図１は、本発明の表情画像記録検索装置１００の構成を示す概略ブロック図である。
図１を参照して、この表情画像記録検索装置１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続され、ユーザ２への情報を表示するための表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続され、ユーザ２からの指示や情報を入力するための入力装置としてのキーボード１０６と、被験者４の顔を含む画像を取込むためのカメラ１０２とを含む。なお、入力装置として、マウスや、タブレットとペンなどをさらに備える構成としてもよい。
【００２０】
また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
【００２１】
なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
【００２２】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、あるいは入力装置１０６からの信号を受け取るなどデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２３】
既に述べたように、表情画像記録検索装置１００として機能する部分の主要部は、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００２４】
図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。
【００２５】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該表情画像記録検索装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて表情画像記録検索装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００２６】
［ソフトウェア構成］
図２は、図１に示した表情画像記録検索装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【００２７】
図２においては、コンピュータ１１０上で動作するプログラムは、映像モジュールプログラム１２００と、キャプチャされてハードディスク１１１０に格納された動画像から所望の顔画像を検索するための検索モジュールプログラム１４００とを含む。なお、この検索モジュールプログラム１４００は、ブラウザベースのプログラムとすることができる。
【００２８】
以下に説明するとおり、表情画像記録検索装置１００は、表情を介した人間の心的状態の長期的なモニタを容易にするための支援システムとして機能する。動画像が実時間で処理されて、顔の領域が分離され、表情が記録される。顔の動きを解釈するために、オプティカルフロー法が使用される。
【００２９】
映像モジュールプログラム１２００は、対象となる人物とその周りの環境も含めた動画像をカメラ１０２から獲得する画像キャプチャ部１２０２と、キャプチャされた動画像をハードディスク１１１０に格納するための画像データ記録処理部１２０４とを含む。画像キャプチャ部１２０２は、必要に応じて、カメラ１０２から入力されるデジタル動画像データを保存に適した画像フォーマットへとフォーマット変換を行なう。
【００３０】
映像モジュールプログラム１２００は、さらに、ハードディスク１１１０に格納された動画像から顔領域を抽出する顔検出部１２０８と、オプティカルフローに基づいて、抽出された顔の内部の画像上の動きを特定するための情報（たとえば、画像内の動きベクトルの分布）の計算を行なうオプティカルフロー算出部１２０６とを含み、オプティカルフロー算出部１２０６は、顔画像の動画像データを算出された動きの属性データとともにハードディスク１１１０に格納する。
【００３１】
一方、検索モジュールプログラム１４００は、ユーザ（たとえば、介護者）２からの入力情報に基づいて、ハードディスク１１１０内の顔画像データを検索する検索処理部１４０４と、検索された被験者（たとえば、被介護者）４の顔画像の動画像のうち特定のフレームに対応する顔画像を表示部１０８に表示させる処理を行なう表示制御部１４０２とを含む。なお、後に説明するように、表示制御部１４０２に対して入力部１０６から入力された被験者４の心的な状態を表す注釈（コメント情報）を顔画像の動画像と関連づけて、ハードディスク１１１０に格納することもできる。ここで、「心的な状態」とは、たとえば、「笑っている状態」「落ち込んでいる状態」「怒っている状態」「興奮状態」などのように、被験者４の感情の状態を表す情報である。
【００３２】
（映像モジュールプログラム１２００）
カメラ１０２からの動画像データの入力は、オプティカルフロー処理の演算量の削減や、ハードディスク１１１０へ格納するためのデータ容量の削減のために、たとえば、６４０×４８０画素から３２０×２４０画素に間引かれる。
【００３３】
周知の顔の検出アルゴリズムにより顔検出部１２０８が、カメラ１０２の視野の中に顔が存在するかどうかを決定し、それがどこに存在しているかも決定する。特に限定されないが、この顔検出のアルゴリズムは、頭の画像の中心の位置にくるように、顔に固定されたアスペクト比の矩形領域を登録する。たとえば、約３０°まで平面から回転している顔も正確に検出することができ、同様に、画像平面内において約３０°傾いた状態の顔も正確に検出することができる。顔画像はスケールされ、３０フレーム／秒までのレートで、各フレームに対応する顔画像が、タイムスタンプとともに保存される。顔のサイズおよび位置を正規化し、複雑な背景から顔を分離することで、顔のデータをより容易にブラウズすることが可能となる。なお、タイムスタンプは、動画像中の顔画像に対応するフレームを時系列中で特定可能な識別情報であれば、タイムスタンプには、かならずしも限定されない。
【００３４】
オプティカルフロー算出部１２０６において、画像のオプティカルフロー領域が、さまざまなビデオフレーム間での動きを検出する。検出された動きベクトルは、顔の内部領域全体にわたる動きベクトルの平均とともに、顔画像の動画像データと関連づけてハードディスク１１１０に保存される。
【００３５】
オプティカルフローは、視覚的なシーンにおいて、動きにより、画像領域がずれることを測定する。固定されたカメラと近似的に一定な照明に対しては、オプティカルフローのフィールドは、局所的な速度を計っていることになる。オプティカルフローを計算するために用いる方法としては、特に限定されないが、非特許文献１に記載されている、ブロックマッチングあるいはブロック相関として知られているものを使用することが可能である。
【００３６】
ブロック相関技術を用いることで、ある画像フレームの領域が、それに続くフレーム中の全く同じサイズの領域にマッチングされる。このようなマッチングは、画像間の距離（たとえば、各画素の輝度の差の絶対和または自乗和など）の大きさを最小化することによって決定される。たとえば、１５ｆｐｓのフレームレートのオプティカルフローフィールドにおいては、顔の内部の動作による特徴量の変位は、各時間ステップに対して数ピクセル程度になる。
【００３７】
速度として動きを計測するために、たとえば、１、３、５、７および１０ビデオフレームだけ離れたフレーム間でのオプティカルフローフィールドを計算する。オプティカルフローの値は、さらに、顔検知モジュールによって検出された顔の内部部分に対応している各領域について、対応するフレーム間について平均処理がされる。
【００３８】
図３は、顔画像について検出されたオプティカルフローのフィールドの例を示す図である。
【００３９】
顔の片側をこわばらせる動きをした場合に、顔画像上の格子点（これをフィールドと呼ぶ）の各々において、動きベクトルが白い矢印で示されている。
【００４０】
顔のこわばりの途中や、表情を緩める途中のように動きのある場合には、顔の各部の動きに応じて、動きベクトルが現れているのがわかる。
【００４１】
（検索モジュールプログラム１４００）
図４は、検索モジュールプログラム１４００のブラウザ表示のスクリーンショットを示す図である。
【００４２】
このモジュールの表示の構成要素は、図４中の左隅の角から時計回りに、選択された時間における顔画像の正規化された表示２００と、時計表示２０２およびタイムラインの領域を選択するための時間解像度のズームコントロール表示２０４と、ある特定の日の画像を選択するためのカレンダー２０６と、時間をスクロールするためのタイムライン２０８と、時間の各ポイントに対しての異なった速度スケールでのオプティカルフロー値の平均の表示２１２と、ユーザの注釈（コメント）が存在することを示している表示領域２１４とである。さらに、オプティカルフローの表示にオーバーラップして、注釈のサンプルウインドウ２１０が表示されている。
【００４３】
ユーザは日付を選択しそれから、時間範囲をズームして、タイムラインの範囲を選択する。タイムラインをスクロールすることで、各時点の顔画像が表示される。このとき、タイムラインのスクロールに応じて、オプティカルフロー値の平均の表示２１２も対応する時点のデータの表示に切り替わる。顔画像が存在するか否かについては、そのような対象が存在しているか否かをすぐにユーザ２が評価することができるように、オプティカルフロー値の平均の表示２１２中に、赤（存在する領域）またはグレー（非存在の領域）の色で色分けされて示されている。オプティカルフロー値の表示は、顔画像の動きが起こったか否かを示している。
【００４４】
オプティカルフロー値の平均の表示２１２において、上述した１、３、５、７および１０ビデオフレームの間隔において平均処理により求められた動きベクトルの大きさである５つの速度レベルについて、動作速度の分布が一覧表示されるので、そのような動きが大きく顔全体が剛体的に動いたことによる動作に対応しているものなのか、あるいは表情や会話に対応するもっと微妙な動作に対応しているものであるかが示される。つまり、顔全体が動いているときは、５つの動きベクトルのいずれにもピークが現れるのに対し、顔の内部の動きであれば、ビデオフレーム間隔に依存して、ピークの存在する速度レベルと存在しない速度レベルとが混在するというように、この一覧表示は、顔の動きの解釈を支援することになる。
【００４５】
さらに、ユーザ２は、入力装置１０６から、簡単な文字による注釈を表示中の顔画像データに対して加えることができ、このような注釈のデータも顔画像データと関連付けられてハードディスク１１１０に格納される。さらに、タイムラインの最も下の領域２１４をクッリックすることで、この注釈を編集あるいは除去することができる。
【００４６】
（実験的な評価）
映像モジュールプログラム１２００が、現実の状況において適切に顔画像を抽出することができる能力を有しているかを評価した。さまざまなレベルの認知症の患者の画像が、家庭内の状況で収集された。被験者はテレビを見ており、一方で、ほぼ正面の画像（±４５°）と顔画像とが記録された。背景画像は一般的には複雑なものである。これら患者のプライバシーを保護するためにこれらの画像のデータセットを具体的に示すことはできないが、自動的な顔の検出および抽出アルゴリズムは、要求に対して十分に動作可能であることが見出され、かつ、３０分の合計の記録時間の過程にわたって、顔画像が失われるということはほとんどなかった。
【００４７】
さらに、検索プログラムモジュール１４００を初期的に評価するために、顔画像の分離抽出されたものと、動きデータに対する注釈とが、ユーザに対して表情をより効率的に検索することを可能とするかについて検証した。
【００４８】
実験においては、２０分間の漫画を見ている４人の被験者を映像に撮影した。５人の実験的なユーザが、ビデオデータから予め選択されていた表情の画像の目標画像をこれらのビデオデータから検索した。
【００４９】
４つのビデオに対してそれぞれ４つの目標画像を設定した。一般的なプレーヤソフトウェアを使うことで検索プログラムモジュール１４００を用いない状態と、検索プログラムモジュール１４００を使用する状態とで、上記のようなタスクを完了するのに必要な平均的な時間を比較した。検索プログラムモジュール１４００を使用した場合、上述した検索タスクを完了するのには約５８秒の平均時間であったのに対し、一般のプレーヤソフトウェアを使用した場合は１４５秒が必要であった。
【００５０】
以上のとおり、本発明によれば、長期間にわたって記録された人間の表情を容易に検索することが可能となる。
【００５１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００５２】
【図１】本発明の表情画像記録検索装置１００の構成を示す概略ブロック図である。
【図２】表情画像記録検索装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【図３】顔画像について検出されたオプティカルフローのフィールドの例を示す図である。
【図４】検索モジュールプログラム１４００のブラウザ表示のスクリーンショットを示す図である。
【符号の説明】
【００５３】
２  ユーザ、４  被験者、１００  表情画像記録検索装置、１０２  カメラ、１０６  キーボード、１０８  ディスプレイ、１１０  コンピュータ、１１０２  インタフェース部、１１０４  ＣＰＵ、１１０６  ＲＯＭ、１１０８  ＲＡＭ、１１１０  ハードディスク、１２００  映像モジュールプログラム、１２０２  キャプチャ部、１２０４  画像データ記録処理部、１２０６  オプティカルフロー算出部、１２０８  顔検出部、１４００  検索モジュールプログラム、１４０２  表示制御部、１４０４  検索処理部。
【図１】
2007072970.tif 000003
【図２】
2007072970.tif 000004
【図３】
2007072970.tif 000005
【図４】
2007072970.tif 000006