(57)【特許請求の範囲】
【請求項１】
撮影した画像を出力する撮影部と、
前記撮影部から入力した画像の対象がカメラ目線か否か識別判定する判定部と、
前記判定部によりカメラ目線と判定された画像を保存する記憶部とを備え、
前記判定部は、前記入力した画像に対象の顔及び前記対象以外の顔を検出し、その位置を予測する顔検出器と、
前記顔検出器から入力する前記対象の顔画像がカメラ目線であるか否かを判定する目線分類器とを有し、
前記顔検出器は、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習する学習器を有し、
前記学習器は更に、前記対象の顔及び前記対象以外の顔以外のオブジェクトを、前記対象の顔及び前記対象以外の顔ではないオブジェクトとして暗黙的に学習し、かつ前記対象以外の顔を明示的に学習し、
前記顔検出器は、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習するために、前記学習データの中から前記対象の顔が写っている画像を１つ選択して前記対象の顔を検出する処理を行い、その検出結果と正解データとから算出した検出誤差を元にパラメータを更新する追加処理を、前記暗黙的な学習のために、前記学習器が前記対象の顔を学習する際に、予め設定した所定の確率で行う、
目線撮影システム。
【請求項２】
前記顔検出器は、前記学習データの前記対象の画像に対する前記対象のマスク画像を作成し、前記対象のマスク画像を用いて、該マスク画像の元の前記対象の画像から前記対象の部分のみを抽出して、前記対象以外のオブジェクトが写っている背景画像に置いた合成画像を生成し、前記合成画像を追加の学習データとして用いることにより、前記学習器を暗黙的に学習させる請求項１に記載の目線撮影システム。
【請求項３】
前記目線分類器は、前記顔検出器により判定された前記対象の顔画像に対して、完全なカメラ目線の場合を１、全くカメラ目線ではない場合を０とする目標値を基にして、カメラ目線の程度に応じて１から０の評価値を付与し、前記評価値が予め設定された閾値を超えている場合に、カメラ目線と判定される請求項１又は請求項２に記載の目線撮影システム。
【請求項４】
前記判定部によりカメラ目線の前記対象の顔画像であると判定された画像を一時保存する画像記憶部と、前記画像記憶部に記憶された画像の一覧を表示する表示部とを更に備える請求項１から請求項３のいずれか一項に記載の目線撮影システム。
【請求項５】
前記対象の顔は猫の顔であり、前記対象以外の顔は人の顔である請求項１から請求項４のいずれか一項に記載の目線撮影システム。
【請求項６】
画像を撮影するステップと、
撮影された前記画像から対象の顔又は前記対象以外の顔を検出し、その検出領域を予測するステップと、
前記対象の顔を検出した前記画像及び前記対象以外の顔を検出した前記画像から、前記対象の顔画像を取り出すステップと、
取り出した前記対象の顔画像からそのカメラ目線を検出するステップと、
カメラ目線が検出された前記対象の顔画像を保存するステップとを含み、
前記撮影された画像から対象の顔又は前記対象以外の顔を検出するために、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習し、更に前記対象の顔及び前記対象以外の顔以外のオブジェクトを、前記対象の顔及び前記対象以外の顔ではないオブジェクトとして暗黙的に学習するステップと、
前記対象の顔を検出した画像及び前記対象以外の顔を検出した画像から前記対象の顔画像を取り出すために、前記対象以外の顔を明示的に学習するステップとを更に含み、
前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習するために、前記学習データの中から前記対象の顔が写っている画像を１つ選択して前記対象の顔を検出する処理を行い、その検出結果と正解データとから算出した検出誤差を元にパラメータを更新する追加処理を、前記暗黙的に学習するステップにおいて前記対象の顔を学習する際に、予め設定した所定の確率で行う、
目線撮影方法。
【請求項７】
前記暗黙的に学習するステップは、前記対象の顔を学習するための学習データである前記対象の顔の画像に対する前記対象のマスク画像を作成し、前記対象のマスク画像を用いて、該マスク画像の元の前記対象の画像から前記対象の部分のみを抽出して、前記対象以外のオブジェクトが写っている背景画像に置いた合成画像を生成し、前記合成画像を追加の学習データとして用いることにより行う請求項６に記載の目線撮影方法。
【請求項８】
前記対象の顔は猫の顔であり、前記対象以外の顔は人の顔である請求項６又は請求項７に記載の目線撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人や猫、犬等の動物を自動撮影し、カメラ目線の画像を記録する方法及びシステムに関するものである。
【背景技術】
【０００２】
一般に、写真専門家ではない撮影者が、人物の顔や姿をカメラで撮影する際、所謂「カメラ目線」の画像を常にタイミング良く撮ることは容易でない。特に被写体が猫や犬等の動物の場合、それがたとえ自分のペットであっても、カメラ目線画像を撮影することは、尚更困難である。
【０００３】
例えば特許文献１に記載される撮像装置は、シャッタ釦が最初に操作されて、被写体の注意を引く音声が出力された後、更にシャッタ釦が操作されることによって、被写体の静止画像が所定間隔で撮影されて記憶され、記憶された各静止画像の画像認識を行って、被写体の目線がカメラ目線か否かを検出する。
【０００４】
同特許文献におけるカメラ目線の検出は、次の３つの方法で行われる。第１の方法は、画像認識により前記静止画像から目の画像部分を抽出してそのエッジ座標を検出し、それが黒目の中心座標から離れている黒目比率を計算した結果で判定する。第２の方法は、更に画像認識により前記静止画像から顔画像を抽出してそのエッジ座標を検出し、顔の中心である鼻の中心座標との距離から、顔が斜めを向いている比率を計算した結果と、前記黒目比率の計算結果とから判定する。第３の方法は、予め多数の人の顔画像からカメラ目線時の黒目比率データをサンプルデータとして記憶しておき、前記静止画像から画像認識により検出したデータと比較して判定する。
【０００５】
近年、計算機の性能向上に伴い、画像に写った物体（オブジェクト）を識別する画像認識において、畳込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）と呼ばれる深層学習器が広く採用されている（例えば、非特許文献１を参照）。一般にＣＮＮは、複数の畳込み層と出力層とから構成され、入力画像から特徴量の抽出を複数回に亘って実行し，最後段の出力層で物体の認識を行う。
【０００６】
また、ＣＮＮを用いた物体検出アルゴリズムとして、ＹＯＬＯ（You Only Look Once）が知られている（例えば、非特許文献２を参照）。ＹＯＬＯは、画像を複数の格子（例えば、７×７）に分割して行う物体のクラス分類と、物体を囲う矩形領域（バウンディングボックス）の位置座標を求める物体の位置検出とを並行して同時に行い、最後に両方の結果を合体することで、物体を認識する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９６４４０号公報
【非特許文献】
【０００８】
【非特許文献１】Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, "Image Net Classification with Deep Convolutional Neural Networks", Advances In Neural Information Processing Systems, Vol.25, pp.1106-1114, 2012.
【非特許文献２】Joseph Redmon, Ali Farhadi, "YOLOv3: An Incremental Improvement", Cornell University, Technical Report, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の撮像装置は、画像認識するための静止画像を撮影するために、シャッタ釦の最初の操作で出力される音声により被写体人物の注意を喚起する必要がある。そのため、被写体が幼児や赤ん坊であったり、猫や犬等の動物の場合、単なる音声による注意喚起では、必ずしも撮影した静止画像にカメラ目線画像が含まれることを期待することはできない。
【００１０】
また、特許文献１記載の第３の方法は、撮影される静止画像と比較するために、カメラ目線画像を示す多大なデータ量のサンプルデータを予めＲＯＭに記憶させておくことが必要である。このデータ量が大きいほど、誤検出の可能性は低くなるが、それだけ処理時間が長くなり、又は高速処理のために高性能のプロセッサーや大容量のメモリーが要求される。サンプルデータ量を限定すれば、静止画像を撮影した時点で直ちに検出処理を終わらせることもあり得るが、誤検出の可能性は高くなる。
【００１１】
そこで、本発明は、上述した従来技術の問題点に鑑みてなされたものであり、その目的は、幼児や赤ん坊を含む人、及び猫、犬等の動物のカメラ目線画像を、より高い確率で自動撮影し得る方法及び装置を提供することにある。
【００１２】
更に本発明の目的は、比較的リソースの自由度が高いパーソナルコンピューターや高性能な電子機器だけでなく、リソースが制限されている場合が多いスマートフォンやタブレット等のモバイル電子機器においても、使用上十分に速い処理速度で動作し得る、被写体のカメラ目線の画像を撮影記録する方法及びシステムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の目線撮象システムは、
撮影した画像を出力する撮影部と、
前記撮影部から入力した画像の対象がカメラ目線か否か識別判定する判定部と、
前記判定部によりカメラ目線と判定された画像を保存する記憶部とを備え、
前記判定部は、前記入力した画像に対象の顔及び前記対象以外の顔を検出し、その位置を予測する顔検出器と、
前記顔検出器から入力する前記対象の顔画像がカメラ目線であるか否かを判定する目線分類器とを有し、
前記顔検出器は、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習する学習器を有し、
前記学習器は更に、前記対象の顔及び前記対象以外の顔以外のオブジェクトを、前記対象の顔及び前記対象以外の顔ではないオブジェクトとして暗黙的に学習し、かつ前記対象以外の顔を明示的に学習し、
前記顔検出器は、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習するために、前記学習データの中から前記対象の顔が写っている画像を１つ選択して前記対象の顔を検出する処理を行い、その検出結果と正解データとから算出した検出誤差を元にパラメータを更新する追加処理を、前記暗黙的な学習のために、前記学習器が前記対象の顔を学習する際に、予め設定した所定の確率で行うことを特徴とする。
【００１５】
或る実形形態において、前記顔検出器は、前記学習データの前記対象の画像に対する前記対象のマスク画像を作成し、前記対象のマスク画像を用いて、該マスク画像の元の前記対象の画像から前記対象の部分のみを抽出して、前記対象以外のオブジェクトが写っている背景画像に置いた合成画像を生成し、前記合成画像を追加の学習データとして用いることにより、前記学習器を暗黙的に学習させる。
【００１７】
或る実施形態において、前記目線分類器は、前記顔検出器により判定された前記対象の顔画像に対して、完全なカメラ目線の場合を１、全くカメラ目線ではない場合を０とする目標値を基にして、カメラ目線の程度に応じて１から０の評価値を付与し、その評価値が予め設定された閾値を超えている場合に、カメラ目線と判定される。
【００１８】
別の実施形態では、前記判定部によりカメラ目線の前記対象の顔画像であると判定された画像を一時保存する画像記憶部と、前記画像記憶部に記憶された画像の一覧を表示する表示部とを更に備える。
【００１９】
或る実施形態において、前記対象の顔は猫の顔であり、前記対象以外の顔は人の顔である。
【００２０】
本発明の目線撮像方法は、画像を撮影するステップと、撮影された前記画像から対象の顔又は前記対象以外の顔を検出し、その検出領域を予測するステップと、前記対象の顔を検出した前記画像及び前記対象以外の顔を検出した前記画像から、前記対象の顔画像を取り出すステップと、取り出した前記対象の顔画像からそのカメラ目線を検出するステップと、カメラ目線が検出された前記対象の顔画像を保存するステップとを含み、前記撮影された画像から対象の顔又は前記対象以外の顔を検出するために、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習し、更に前記対象の顔及び前記対象以外の顔以外のオブジェクトを、前記対象の顔及び前記対象以外の顔ではないオブジェクトとして暗黙的に学習するステップと、前記対象の顔を検出した画像及び前記対象以外の顔を検出した画像から前記対象の顔画像を取り出すために、前記対象以外の顔を明示的に学習するステップとを更に含み、前記対象の顔を撮影した画像データを学習データとして前記対象の顔を学習するために、前記学習データの中から前記対象の顔が写っている画像を１つ選択して前記対象の顔を検出する処理を行い、その検出結果と正解データとから算出した検出誤差を元にパラメータを更新する追加処理を、前記暗黙的に学習するステップにおいて前記対象の顔を学習する際に、予め設定した所定の確率で行うことを特徴とする。
【００２２】
或る実施形態において、前記暗黙的に学習するステップは、前記対象の顔を学習するための学習データである前記対象の顔の画像に対する前記対象のマスク画像を作成し、前記対象のマスク画像を用いて、該マスク画像の元の前記対象の画像から前記対象の部分のみを抽出して、前記対象以外のオブジェクトが写っている背景画像に置いた合成画像を生成し、前記合成画像を追加の学習データとして用いることにより行う。
【００２３】
或る実施形態において、前記対象の顔は猫の顔であり、前記対象以外の顔は人の顔である。
【発明の効果】
【００２４】
本発明の目線撮象システム及び方法によれば、リソースが制限されているモバイル電子機器においても、使用上十分に速い処理速度で、対象である猫等の動物や人のカメラ目線の画像を撮影記録することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の目線撮影システムの構成を示すブロック図である。
【図２】顔検出器に学習データとして使用される画像の説明図である。
【図３】顔検出器に学習データとして使用される画像の説明図である。
【図４】（ａ）図は、顔検出器の学習データとして使用される猫の画像、（ｂ）図はそのマスク画像である。
【図５】（ａ）図は、顔検出器の学習データとして使用される背景画像、（ｂ）図はそれに猫の顔を重ねた合成画像である。
【図６】（ａ）図はカメラ目線の猫の顔画像（目標値１）、（ｂ）図はカメラ目線でない猫の顔画像（目標値０）である。
【図７】目線撮影システムを適用した目線撮影装置の構成全体を示すブロック図である。
【図８】本発明による目線撮影方法の処理過程を示すフロー図である。
【発明を実施するための形態】
【００２６】
以下に、本発明の好適な実施形態を、添付図面を参照しつつ、詳細に説明する。本実施形態では、猫を被写体として認識し、そのカメラ目線画像を自動撮影して記憶させるための目線撮影方法、装置及びシステムについて説明する。
【００２７】
図１は、本実施形態の目線撮影システム１の構成を概略的に示している。目線撮影システム１は、被写体を撮影した画像を入力する入力部２、入力した画像の被写体がカメラ目線かを識別判定する判定部３、カメラ目線の画像を一時保存する画像記憶部４、及び、カメラ目線の画像を表示する表示部５とを備える。
【００２８】
本実施形態において、被写体の画像は、動画で撮影されて入力部２に入力される。入力部２は、入力された動画から、予め設定された一定の間隔でフレーム画像を取得し、順次判定部３に送る。別の実施形態では、被写体の画像を静止画像として撮影することもできる。その場合、入力部２は、入力した静止画像を１枚ずつ順次判定部３に送る。
【００２９】
判定部３は、顔検出器７と目線分類器８とを有する。顔検出器７は、入力部２から入力するフレーム画像に、オブジェクトとして猫又は人の顔が存在するかどうかを予測し、更に、存在する場合はその位置を予測する。猫の顔が存在しないと予測した場合、そのフレーム画像は消去する。本実施形態において、顔検出器７は、上述した物体検出アルゴリズムＹＯＬＯの発展版であるＹＯＬＯｖ３[１]を用いる。
【００３０】
具体的には、ＹＯＬＯｖ３[１]は、図２に例示するように、入力画像Ｉをｇ×ｇの格子Ｇに分割し、格子Ｇの各セルに対して、次の７つの値を複数セット予測する。
・Ｘ：  オブジェクトの中心点のＸ座楳値
・Ｙ：  オブジェクトの中心点のＹ座標値
・Ｗ：  オブジェクトの幅
・Ｈ：  オブジェクトの高さ
・Ｏ：  オブジェクトの中心がセル内にある確率
・Ｃ１：  オブジェクトが猫の顔である確率
・Ｃ２：  オブジェクトが人の顔である確率
【００３１】
顔検出器７は、上記７つの値の組（Ｘ，Ｙ，Ｗ，Ｈ，Ｏ，Ｃ１，Ｃ２）を複数セット生成する。生成した複数セットの中から、猫の顔が存在する確率Ｏ×Ｃ１が、予め設定された閾値を超えた予測だけを採用する。残りの予測は消去する。
【００３２】
また、予測は、１つの画像に１つの対象について検出される領域が複数重複して存在することは好ましくない。本実施形態では、Non-Maximum Suppression（論文：Ross Girshick, Jeff Donahue, Trevor Darrell, and Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", University of California, Berkeley, and the International Computer Science Institute, CVPR 2014を参照）というアルゴリズムを用いて、検出した領域から重複領域を削除する。これにより、図３に示すように、入力画像Ｉに１つの対象についてその顔を囲う領域Ｂを１つだけ残すようにする。
【００３３】
顔検出器７は、入力画像の中に検出した猫及び人の顔以外のオブジェクト（例えば、壁やソファー等）を猫又は人の顔として誤認識する確率を低減するために、学習器９を有する。学習器９は、猫及び人の顔以外のオブジェクトを暗黙的に学習する。ここで、暗黙的とは、検出した猫及び人の顔以外のオブジェクトが具体的に何かは分からないが、とりあえず検出対象（猫の顔又は人の顔）ではないことを学習する、という意味である。
【００３４】
当然ながら、猫の撮影の際に遭遇し得るあらゆるオブジェクトを明示的に検出し、それを無視することで誤検出を削減することは、技術的に可能である。しかしながら、一般に物体検出器の検出能力には上限があり、検出対象を増やすと、それだけ各オブジェクトに対する検出精度は下がってしまう、という問題がある。
【００３５】
物体検出器のパラメータを増やすことによって、検出精度の低下を抑えることは可能である。しかしながら、物体検出器のパラメータを増やすと、それだけ処理時間が増加し、撮影中の画像からリアルタイムで検出することは難しくなる。特に、スマートフォンのようにリソースが比較的制限されているモバイル電子機器の場合、必ずしもＧＰＵの支援を得ることができず、リアルタイムでの検出処理は、より困難である。
【００３６】
本実施形態の学習器９における、猫及び人の顔以外のオブジェクトの暗黙的な学習を、以下に具体的に説明する。顔検出器７は、猫の顔を撮影した多数の画像データを学習データとして、予め猫の顔のテクスチャーのパターンを学習している。学習器９による暗黙的な学習のために、事前に前記学習データに用いた猫の画像データに対して、画像セクメンテーションを行い、猫のマスク画像を多数作成する。図４（ａ）は、前記学習データに用いた元の猫の画像Ｉ１であり、図４（ｂ）は、それを白黒の二値画像で表した猫のマスク画像Ｉ２を示している。
【００３７】
更に前記暗黙的な学習のために、学習器９が猫の顔を学習する際に、次の追加処理を行う。学習器９における猫の顔の学習では、学習データの中から猫が写っている画像を１つ選択して、猫の顔検出を行い、その検出結果と正解データ（猫の顔の位置情報）とから検出誤差を算出し、その検出誤差を元にパラメータを更新する、という一連の学習処理を行う。
【００３８】
前記追加処理は、猫が写っている画像を１つ選択した際に、予め設定した所定の確率で行う。本実施形態では、５０％の確率で行うことを選択したが、要求される前記追加処理の精度や、本発明の目線撮影システムを実行するハードウエアの使用等、様々な条件に応じて様々に設定することができる。
【００３９】
前記追加処理に先立って、図５（ａ）に例示するように、猫と人以外のオブジェクトが写っている背景画像ＢＩを複数用意する。次に、前記猫のマスク画像を用いて、元の猫の画像から、猫の部分のみを抽出する。この猫の部分のみの画像から、正解デ一タである前記元の猫の画像における猫の顔の位置情報を用いて、猫の顔部分のみを抽出する。先に用意した複数の背景画像から、ランダムに１つの背景画像を選択し、その上に、先に抽出した猫の顔画像を置いて、図５（ｂ）に例示する合成画像ＣＩを複数生成する。
【００４０】
本実施形態によれば、こうして得られた複数の合成画像を追加の学習データとして用いて、学習器９を学習させる。これにより、背景画像に写っている、猫及び人の顔以外の様々なオブジェクトを暗黙的に学習することができ、学習器９の誤検出を削減することができた。
【００４１】
更に学習器９は、人の顔というテクスチャのパターンを明示的に学習させた。これにより、猫及び人の顔以外のオブジェクトの誤検出を削減すると同時に、人の顔を猫の顔として誤検出することを解消した。
【００４２】
目線分類器８は、ＣＮＮを用いた２クラス分類の画像分類器である。目線分類器８は、顔検出器７から入力する猫の顔画像について、カメラ目線の猫の顔画像であるのか、カメラ目線ではない猫の顔画像であるのかを判定するように構成される。本実施形態では、事前に、完全なカメラ目線と評価される猫の顔画像に１の目標値を、全くカメラ目線ではないと評価される猫の顔画像に０の目標値を付与する。例えば図６（ａ）は、完全なカメラ目線と、図６（ｂ）は、全くカメラ目線ではないと評価される。それら以外の猫の顔画像には、カメラ目線の程度に応じて１から０の間の目標値を付与する。
【００４３】
猫の顔画像に対するカメラ目線の評価及び目標値の決定・付与は、目線分類器８を学習させる学習実行者によって行われる。このようにして目標値を付与した多数の猫の顔画像を学習データとして、目線分類器８を学習させる。この学習結果を基にして、目線分類器８は、顔検出器７から入力する猫の顔画像についてカメラ目線の程度を評価し、目標値と同じく１から０の間の評価値を付与して出力する。猫の顔画像をカメラ目線であると判定するために、評価値には予め所定の閾値を設定する。判定部３は、目線分類器８からの出力される評価値が前記閾値を超えていると、その猫の顔画像をカメラ目線である、と判定する。
【００４４】
画像記憶部４は、判定部３から出力されるカメラ目線の猫の顔画像を順次一時的に記憶する。画像記憶部４に一時記憶されたカメラ目線の猫の顔画像は、ユーザーが、上述した目線撮影システム１による猫のカメラ目線画像を自動撮影して記憶させる処理の終了を入力すると、その一覧の画像データが表示部４に送られる。
【００４５】
また、判定部３は、判定された前記カメラ目線の猫の顔画像を、そのカメラ目線の程度に応じて付与されたスコアと共に、画像記憶部４に出力する。本実施形態において、スコアは、目線分類器８が、上述したカメラ目線の機械学習で学習データとして用いた画像データの目標値を基にして付与した前記評価値を、そのまま使用することができる。また、目線分類器８により付与された前記評価値を高い順に並べ、その順番を画像のスコアとすることもできる。
【００４６】
表示部４は、画像記憶部４から出力されるカメラ目線の猫の顔画像の一覧を表示する。また、表示部４は、前記カメラ目線の猫の顔画像の一覧を、各画像に付与された前記スコアの大きい順に並び替えて表示することができる。ユーザーは、自ら好みのカメラ目線の猫の顔画像を前記一覧から選択することができる。ユーザーが選択した猫の顔画像は、画像記憶部４から、目線撮影システム１の図示しない記憶部又は外部の記憶手段に出力し、保存することができる。
【００４７】
目線撮影システム１は、例えばスマートフォン等のモバイル電子機器やパーソナルコンピューターに適用することができる。図７は、目線撮影システム１を適用したスマートフォンである本実施形態の目線撮影装置１１の構成を示している。
【００４８】
目線撮影装置１１は、被写体の動画及び／又は静止画像を撮影するカメラからなる撮像装置１２と、撮影した画像データを記憶する記憶装置１３と、前記画像データを処理するＧＰＵ（Graphics Processing Unit）からなる演算処理部１４と、前記撮像装置、記憶装置及び演算処理部の動作を制御するＣＰＵ（Central Processing Unit）からなる制御部１５と、入力装置１６と、表示装置１７とを備える。目線撮影装置１１において本実施形態の目線撮影方法を実行するための目線撮影プロクラムは、演算処理部１４が有するＲＯＭ（図示せず）又は記憶装置１３に格納される。
【００４９】
入力装置１６は、例えばキーボード、マウス、タッチパネル、テンキー等、スマートフォン等が元より備える入力装置であり、ユーザーによって操作される。表示装置１７は、スマートフォン等が元より備える液晶パネル等のディスプレイ装置からなる。更に目線撮影装置１１は、外部との間で画像データ及び他のデータを無線又は有線で双方向で通信するための通信装置（図示せず）を備えることができる。前記通信装置を介して、目線撮影装置１１は、外部の記憶装置に画像データを記憶させることができる。
【００５０】
図８は、図７の目線撮影装置１１を用いて実行される、本実施形態の目線撮影方法による処理過程を示すフロー図である。前記目線撮影プログラムが、入力装置１６を介してユーザーにより起動されると、制御部１５は、該目線撮影プログラムを前記ＲＯＭ又は記憶装置１３から読み出して実行する。先ず、ステップＳ１において、制御部１５は、撮像装置１２を制御して、該撮像装置による被写体（猫）の動画撮影及び録画を開始する。
【００５１】
次に、制御部１４は、撮像装置１２から連続して出力される画像データ（動画）から、予め設定した一定の間隔でフレ一ムを取得し、それを演算処理部１４からなる判定部４の顔検出器７に出力する（ステップＳ２）。これと同時に、制御部１４は、取得した前記フレームを記憶装置１３に連続的に出力させて記憶させる。撮像装置１２から出力される動画をそのまま記憶装置１３に記憶させることもできる。
【００５２】
顔検出器７は、入力した前記フレームに対して、上述した猫の顔を検出する処理を演算処理部１４により実行する。その結果、前記フレームに猫の顔を検出しなかった場合（ステップＳ３のＮｏ）、そのフレ一ムを破棄し、次のフレ一ムを待つ。顔検出器７が前記フレームに猫の顔を検出した場合（ステップＳ３のＹｅｓ）、そのフレームから検出領域（図４のＢ）を抽出し、それを目線分類器８に送る。
【００５３】
目線分類器８は、目線分類器８から送られた猫の顔の検出領域に対して、上述した猫の顔からカメラ目線を検出する処理を演算処理部１４により実行する。前記検出領域に猫のカメラ目線を認識しなかった場合（ステップＳ４のＮｏ、そのフレームを破棄し、次のフレームを待つ）。目線分類器８が前記検出領域に猫のカメラ目線を認識した場合（ステップＳ４のＹｅｓ）、制御部１５は、そのフレ一ムを猫のカメラ目線画像として、記憶装置１３からなる画像記憶部５に一時保存する（ステップＳ５）。
【００５４】
前記目線撮影プロクラムは、撮像装置１２による撮影及び録画を終了するための終了ボ夕ンを提供している。ステップＳ５の後、制御部１５は、ユーザーが入力装置１６を操作して前記終了ボタンを押したか否かを確認する（ステップＳ６）。前記終了ボタンが押されてない場合、ステップＳに戻り、上述した一連の処理Ｓ２〜Ｓ６が繰り返し実行される。
【００５５】
ステップＳ６で前記終了ボタンが押された場合、制御部１５は、画像記憶部５に一時保存されている猫のカメラ目線画像の一覧を、表示部６を構成する表示装置１７に表示させる（ステップＳ７）。ユーザーが、表示装置１７に表示された画像の一覧から所望の画像を選択すると、制御部１５は、その選択された猫のカメラ目線画像を記憶装置１３に記憶させる。別の実施形態では、ユーザーが選択した猫のカメラ目線画像を、目線撮影装置１１の前記通信装置を介して送信し、外部の記憶装置に保存することもできる。
【００５６】
以上、本発明を好適な実施態様に関連して説明したが、本発明は上記実施態様に限定されるものでなく、その技術的範囲において、様々な変更又は変形を加えて実施することができる。例えば、上記実施形態は、猫を対象として、猫のカメラ目線画像を撮影記録する場合について説明したが、本発明は、対象を猫以外の動物や人（例えば、赤ん坊や幼児）とした場合にも、同様に適用することができる。
【符号の説明】
【００５７】
１    目線撮影システム
２    入力部
３    判定部
４    画像記憶部
５    表示部
７    顔検出器
８    目線分類器
９    学習器
【要約】
【課題】被写体のカメラ目線画像をより高い確率で自動撮影する方法及びシステム。
【解決手段】目線撮影システム１は、撮影した画像の被写体がカメラ目線かを識別判定する判定部３、カメラ目線の画像を一時保存する画像記憶部４、及びカメラ目線の画像を表示する表示部４とを備える。判定部３は、入力する画像にオブジェクトとして対象の顔又は対象以外の顔が存在するかどうかを予測し、存在する場合はその位置を予測する顔検出器７を有する。判定部は更に、顔検出器７から入力する対象の顔画像がカメラ目線であるか否かを判定する目線分類器８を有する。
【選択図】図１【図１】
0006744536.tif 000002
【図２】
0006744536.tif 000003
【図３】
0006744536.tif 000004
【図４】
0006744536.tif 000005
【図５】
0006744536.tif 000006
【図６】
0006744536.tif 000007
【図７】
0006744536.tif 000008
【図８】
0006744536.tif 000009