(57)【要約】【課題】誤動作が少なく、使用者にとってより利便性の高い撮影装置を提供。【解決手段】撮影装置10は、操作部12、制御部14、撮影部16、顔抽出部18、顔識別部20、範囲設定部22、パターン識別部24、記憶部26、および表示部28を含み、撮影部16で被写体を撮影して画像を作成し、この画像に、予め記憶部26に登録された撮影装置10に指示を与える者の顔画像が写っているか否かを検出し、写っている場合は、この写っていた顔画像の近くに撮影装置に指示を与えるパターンを検出する領域を設定し、この領域にパターンが検出されるとパターンによって指定された処理を行う。よって、的確にパターンを検出することが可能になって、誤作動を防ぐことが可能になる。【選択図】図１
2009117975.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像を作成する撮影手段を含む撮影装置において、該装置は、
前記撮影装置に指示を与える者の顔画像に関する第１の顔画像情報、および該撮影装置に指示を与える指示パターンに関する指示パターン情報を記憶する記憶手段と、
前記撮影手段により作成された撮影画像に写っている顔画像に関する第２の顔画像情報を抽出する顔画像抽出手段と、
第１の顔画像情報と、第２の顔画像情報とを比較し、該比較の結果に応じて、前記指示パターンを検出する検出範囲を設定する範囲設定手段と、
該検出範囲に、前記指示パターンが存在するか否かを識別する識別手段とを含み、
前記撮影装置は、前記検出範囲に前記指示パターンが存在すると識別されたことを契機として該指示パターンによって指定された処理を実行することを特徴とする撮影装置。
【請求項２】
請求項１に記載の装置において、前記指示パターンは、前記撮影装置に撮影開始の指示を与えるパターンであり、
前記撮影装置は、前記検出範囲に前記指示パターンが存在すると識別されたことを契機として撮影を開始することを特徴とする撮影装置。
【請求項３】
請求項１に記載の装置において、前記指示パターンは、前記撮影装置に撮影終了の指示を与えるパターンであり、
前記撮影装置は、前記検出範囲に前記指示パターンが存在すると識別されたことを契機として撮影を終了することを特徴とする撮影装置。
【請求項４】
請求項１ないし３のいずれかに記載の装置において、前記指示パターンは、前記撮影装置に撮影を行わせる者の近傍で再現可能なパターンであることを特徴とする撮影装置。
【請求項５】
請求項１ないし３のいずれかに記載の装置において、前記指示パターンは、前記撮影装置に撮影を行わせる者の顔の近傍で再現可能なパターンであることを特徴とする撮影装置。
【請求項６】
請求項１ないし５のいずれかに記載の装置において、前記記憶手段にはさらに、前記検出範囲の位置および大きさが記憶され、前記範囲設定手段は、該位置および大きさを基にして前記検出範囲を設定することを特徴とする撮影装置。
【請求項７】
請求項６に記載の装置において、前記検出範囲の位置および大きさは、前記撮影装置に撮影を行わせる者の顔の位置、および大きさを基に決定されることを特徴とする撮影装置。
【請求項８】
請求項６または７に記載の装置において、前記顔画像抽出手段はさらに前記撮影画像に写っている顔画像の位置を抽出し、前記範囲設定手段は、該位置を基にして前記検出範囲の位置を調整して設定することを特徴とする撮影装置。
【請求項９】
請求項６ないし８のいずれかに記載の装置において、前記顔画像抽出手段はさらに前記撮影画像に写っている顔画像の大きさを抽出し、前記範囲設定手段は該大きさを基にして前記検出範囲の大きさを調整して設定することを特徴とする撮影装置。
【請求項１０】
被写体を撮影して画像を作成する撮影手段を含む撮影装置に撮影を開始させる方法であって、該方法は
前記撮影装置で前記被写体を撮影して撮影画像を作成する撮影工程と、
該撮影画像から、前記撮影装置に予め登録されている該撮影装置に指示を与える者の顔画像を検出する顔画像検出工程と、
該顔画像検出工程の結果に応じて、前記撮影装置に指示を与える指示パターンを検出する検出範囲を設定する範囲設定工程と、
該検出範囲に、該指示パターンが存在するか否かを識別する識別工程と、
前記検出範囲に前記指示パターンが存在した場合、そのことを契機として前記撮影装置に該指示パターンによって指定された処理を実行させる処理実行工程とを含むことを特徴とする撮影方法。
【請求項１１】
請求項１０に記載の方法において、前記指示パターンは、前記撮影装置に撮影開始の指示を与えるパターンであり、
前記撮影工程は、前記検出範囲に前記指示パターンが存在した場合、そのことを契機として撮影を開始することを特徴とする撮影方法。
【請求項１２】
請求項１０に記載の方法において、前記指示パターンは、前記撮影装置に撮影終了の指示を与えるパターンであり、
前記撮影工程は、前記検出範囲に前記指示パターンが存在した場合、そのことを契機として撮影を終了することを特徴とする撮影方法。
【請求項１３】
請求項１０ないし１２のいずれかに記載の方法において、前記指示パターンは、前記撮影装置に指示を与える者の近傍で再現可能なパターンであることを特徴とする撮影方法。
【請求項１４】
請求項１０ないし１２のいずれかに記載の方法において、前記指示パターンは、前記撮影装置に指示を与える者の顔の近傍で再現可能なパターンであることを特徴とする撮影方法。
【請求項１５】
請求項１０ないし１４のいずれかに記載の方法において、該方法はさらに、前記検出範囲の位置および大きさを前記撮影装置に登録する登録工程を含み、
前記範囲設定手段は、該登録された位置および大きさを基にして前記検出範囲を設定することを特徴とする撮影方法。
【請求項１６】
請求項１５に記載の方法において、前記検出範囲の位置および大きさは、前記撮影装置に指示を与える者の顔の位置、および大きさを基に決定されて登録されることを特徴とする撮影方法。
【請求項１７】
請求項１５または１６に記載の方法において、前記顔画像検出工程はさらに、前記撮影画像に写っている顔画像の位置を抽出し、前記範囲設定工程は、該位置を基にして前記検出範囲の位置を調整して設定することを特徴とする撮影方法。
【請求項１８】
請求項１５ないし１７のいずれかに記載の方法において、前記顔画像検出工程はさらに、前記撮影画像に写っている顔画像の大きさを抽出し、前記範囲設定工程は、該位置を基にして前記検出範囲の大きさを調整して設定することを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影装置、および撮影方法に関し、とくに詳細には、被写体の合図等によって自動的に撮影装置を制御する撮影装置、および方法に関する。
【背景技術】
【０００２】
従来より、撮影者自身が被写体となる場合のようにデジタルカメラ等の撮影装置に処理を自動的に開始させる際は、セルフタイマ機能や、リモコンを用いて撮影装置を制御し、撮影を行っていた。
【０００３】
しかし、セルフタイマ機能を用いる場合では、撮影者自身が撮影装置を操作してセルフタイマ機能を設定し、その後被写体となるために移動しなくてはならない。よってこの移動時間が短いまたは長いといった問題や、また被写体にとって撮影のタイミングがわかり難い等の問題が生じていた。またリモコンを用いた場合では、撮影のタイミングを決定することが可能になったが、リモコンを携帯しなくてはならない。さらには、撮影環境によっては使用できない等の問題があった。そこで、セルフタイマ機能やリモコンを用いなくても撮影装置を制御することが可能な方法が求められていた。
【０００４】
特許文献１には、撮影された画像における特定の部分の変化を契機として撮影を行う方法が開示されている。具体的には、特許文献１では、予め撮影者が変化を検出する領域を指定し、この指定された領域における変化を検出し、変化が検出された場合に撮影が開始される。
【特許文献１】特開２００６−１２１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示された撮影方法では、撮影者が事前に変化を検出する領域を指定するため、例えば、撮影者が一人で被写体となる場合、どのあたりを領域として指定したのかの検出が難しくなり、適切に撮影が開始されなくなるという問題を有している。また被写体が複数人ある場合でも、被写体の並び方やポーズが変わったりする瞬間を変化として認識してしまい、適切な写真が撮れないという問題があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、撮影装置を離れた場所から操作する際に、誤動作が少なく、使用者にとってより利便性の高い撮影装置、および撮影開始方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明による撮影装置、および撮影方法では、撮影装置に指示を与える者の顔、および撮影装置に指示を与えるためのパターンを予め撮影装置に登録しておき、撮影装置によって作成された画像から、登録された撮影者の顔画像を検出し、検出された顔画像の近くに、登録されたパターンを検出するための範囲を設定する。その後、設定された範囲から、予め登録されたパターンが検出された場合は、そのことを契機として、パターンによって指定された処理を開始する。
【０００８】
このパターンは任意の処理と対応させることが可能であるため、例えば、あるパターンを撮影開始のパターンとして撮影装置に登録しておくことで、撮影装置に自動的に撮影を開始させることが可能になる。なお本発明では、撮影を開始させるパターンの他に、任意の指示と対応する任意のパターンを登録することが可能であり、例えば、撮影装置に撮影を終了させるためのパターンや、撮影装置にフラッシュをたかせるパターン等が挙げられるが、本発明はこれに限定するわけではない。
【発明の効果】
【０００９】
本発明によれば、撮影装置によって得られた画像から予め登録された撮影者の顔を検出し、その顔の位置に応じて撮影装置を制御するためのパターンを認識する領域を設定するため、撮影装置に指示を出す者が、撮影によって写る領域においてどのようなポーズをとっていて、またどの位置にいても、撮影者の所望するタイミングで撮影装置に所定の処理、例えば撮影を行わせる処理や、撮影を終了させる処理等を行うことが可能である。よって誤動作が少なく、使用者にとってより利便性の高い撮影装置、および撮影方法を提供することが可能である。
【発明を実施するための最良の形態】
【００１０】
次に添付図面を参照して本発明の実施例を詳細に説明する。図１は、本発明による撮影装置10を概略的に示したブロック図である。図１において、本発明の撮影装置10は、操作部12、制御部14、撮影部16、顔抽出部18、顔識別部20、範囲設定部22、パターン識別部24、記憶部26、および表示部28を含み、撮影部16で被写体を撮影して画像を作成し、この画像に、予め記憶部26に登録された撮影装置10に指示を与える者の顔画像が写っているか否かを検出し、写っている場合は、この写っていた顔画像の近くに撮影装置に指示を与えるパターンを検出する領域を設定し、この領域に予め登録されたパターンが検出されると検出されたパターンに応じた制御が行われるものである。なお本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。
【００１１】
図１において、操作部12は、操作者の指示が入力される手操作装置であり、操作者の手操作状態、例えば図示しないシャッタボタンのストローク操作に応じて、操作信号30を制御部14に供給するものである。各信号はその現れる接続線の参照番号で特定する。制御部14は、撮影装置10全体を統括、制御するものである。例えば本実施例では操作部12から供給される操作信号30に応動して各部に制御信号を供給し、撮影部16、顔抽出部18、顔識別部20、範囲設定部22、パターン識別部24、記憶部26、および表示部28に必要な処理を行わせる。例えば制御部は、撮影部16に制御信号32を供給し、撮影を開始または終了させる。
【００１２】
撮影部16は、所望の被写体像を取り込んで撮影部16に入射する光学系を含み、光学系を介して入射された入射光により撮影を行って、撮影画像データ34を作成するものである。撮影部16は公知のものを用いて構成し、公知の方式を採用して撮影を行うことが可能である。例えば本実施例では、撮影部16は、固体撮像素子を用い、固体撮像素子で入射された入射光を光電変換することによって撮影画像データ34を作成する。
【００１３】
光学系は、具体的な構成を図示しないが公知の構成を含んでいてよく、例えば本実施例では、レンズ、絞り調整機構、シャッタ機構、ズーム機構、自動焦点（Automatic Focus : AF）調整機構、および自動露出（Automatic Exposure : AE）調整機構を含み、制御部14からの制御によって、レンズ、自動焦点調整機構、自動露出調整機構が駆動して、所望の像を取り込んで撮影部16に入射する。撮影部16で作成された撮影画像データ34は、顔抽出部18へ送られる。
【００１４】
顔抽出部18は、供給された撮影画像データ34から、後段の顔識別部20で必要となる撮影画像に映っている人物の顔の画像に関する情報、すなわち顔画像情報36を抽出するものである。この顔画像情報36の抽出は、公知のやり方を採用して抽出することが可能である。
【００１５】
例えば本実施例では、顔抽出部18は、電子情報通信学会誌、D-II、Vol. J80-D-II  No. 8  「多様な姿勢を有する入力顔画像からの個人識別」に開示されている階層的ガボールフィルタを用いて、撮影画像データ34から、顔画像情報36として顔の特徴量を示す特徴量データを抽出する。また顔抽出部18は、公知のやり方で、特徴量データを抽出した顔の位置、およびその垂直方向および水平方向の大きさを撮影画像データから抽出する。なおこのように顔の位置およびその大きさを抽出するのは、後段の範囲設定部22において、抽出された顔の位置や大きさを用いてパターン検出範囲を設定するからであって、本発明はこれらを抽出することに限定するわけではない。
【００１６】
また本発明は、階層的ガボールフィルタを用いて顔画像情報36を抽出することに限定するわけではない。顔画像情報36は任意のものであってよく、例えば、公知のテンプレートなどを利用して目や口の形状、またはこれらの位置などを抽出し、目や口の形状、これらの位置、または形状と位置の組み合わせなどを顔画像情報36とすることも可能である。さらに、後段の顔識別部20や範囲設定部22で行われる処理に応じて、顔画像情報36の他に、任意の情報を撮影画像データ34から取得することも可能である。抽出された顔画像情報36は、顔識別部20に送られる。
【００１７】
顔識別部20は、顔抽出部18から供給される顔画像情報36と、予め記憶部26に記憶されている登録情報38とを照合して、撮影画像に、撮影装置10に指示を与える者が写っているか否か、すなわち撮影画像データ34に予め登録された登録情報38が存在するか否かを判断するものである。本実施例では、登録情報38は、例えば図２に示すような撮影装置10の持ち主の顔画像42の特徴量を示す特徴量データであり、顔画像情報36と比較可能な形式で記憶部26に記憶されている。またこの持ち主の顔画像42は、撮影装置10にシャッタを切るよう、すなわち撮影を行うよう指示を与える者の顔画像として登録されている。
【００１８】
なおこの例では、撮影装置10の持ち主が、撮影装置10に撮影を開始するよう指示を与える者、すなわち撮影開始指示者として登録されているが、本発明はこれに限定するわけではなく、任意の者を撮影開始指示者とすることが可能である。また本発明は、撮影開始指示者として登録することに限定するわけではなく、他の指示、例えば撮影装置10に撮影を終了するよう指示を与える者として顔画像を登録することも可能であるし、また例えば撮影の開始と終了との両方といったように、撮影装置10にすべての指示を与える者として顔画像を登録することも可能であり、誰がどの指示を撮影装置10に与えるかは、任意に決めることが可能である。
【００１９】
指示者として登録される者の人数は、本実施例では一人であるが、複数人であってもよい。例えば複数の者を登録しておくことによって、少なくともそのうちの一人が撮影画像に存在すれば、撮影装置10に指示を出すことが可能になるため、他の指示者が写真に写りたくない場合であっても、撮影装置10に指示を出すことが可能になる。なお本発明はこれに限定するわけではない。
【００２０】
またこの登録情報38は、任意のタイミング、および任意のやり方で撮影装置10の記憶部26に登録することが可能である。例えば本実施例では、自動撮影モードで写真を撮る前に、持ち主が撮影装置10で予め自分の顔をいわゆる自分撮りによって撮影し、または第三者によって撮影してもらい、この撮影によって作成された持ち主の顔画像42から特徴量データを顔抽出部18で抽出させて記憶部26に記憶させることで登録を行っている。しかし本発明はこれに限定するわけではなく、任意のやり方を採用することが可能である。
【００２１】
このような登録情報38を用いて、顔識別部20は、公知のやり方を採用して、顔抽出部18から送られてくる顔画像情報36と、予め記憶部26に記憶されている登録情報38とを照合して、撮影部16で作成された撮影画像に登録されている者が写っているか否かを判断する。具体的に説明すると、本実施例では、撮影によって作成された撮影画像に映っている顔画像の特徴量データと、登録情報38として登録されている撮影装置10の持ち主の顔画像42の特徴量データとを比較して一致度を算出し、一致度がある閾値以上の場合は写っていると判断し、逆に一致度がある閾値よりも低い場合は写っていないと判断する。なお本発明はこれに限定するわけではなく、判断には任意のやり方を採用することが可能である。判断の結果46は、範囲設定部22へ送られる。
【００２２】
範囲設定部22は、顔識別部20で行われた照合の結果、撮影画像に登録されている者が写っていると判断された場合に、撮影装置10に指示を与えるために予め登録されたパターンを検出するためのパターン検出範囲を設定するものである。このようなパターン検出範囲の設定は、任意のやり方で設定することが可能である。例えば、本実施例では、記憶部20に基準とするパターン検出範囲の形状、大きさ、および顔画像に対する相対的な位置等の情報48が記憶されていて、範囲設定部22は、これらの情報48を用いて、顔抽出部18で抽出された顔画像の縦方向と横方向の長さをそれぞれ縦辺と横辺の長さとする矩形のパターン検出範囲を、顔識別部20で指示者と判断された顔画像の近傍に設定する。なお本発明はこれに限定するわけではない。設定されたパターン検出範囲に関する情報50、例えば本実施例では、撮影画像内の領域を示す２次元座標群はパターン識別部24へ供給される。
【００２３】
パターン識別部24は、範囲設定部22で決定されたパターン検出範囲に関する情報50と、撮影部16で作成された撮影画像データ34とが供給されて、撮影画像データ34における、範囲設定部22で設定されたパターン検出範囲内に、予め記憶部26に登録されたパターンと同じパターンが検出されるか否かを判断するものである。パターンの検出には公知のやり方を採用することが可能である。例えば本実施例では、予め記憶部26に登録されたパターンの画像特徴量と、パターン検出範囲に現れる画像特徴量とを比較して比較評価値を算出し、算出された比較評価値がある閾値以上である場合に一致と判断している。なお本発明はこれに限定するわけではない。パターン識別部24は、一致と判断した場合、すなわち、同じパターンが検出された際には制御部14にその旨を伝える信号54を供給する。
【００２４】
記憶部26は、顔識別部20およびパターン識別部24で行われる照合の際に用いられる登録情報38、およびパターンに関する情報、すなわちパターン情報52を記憶する記憶回路である。本実施例では、登録情報38として図２に示すような撮影装置10の持ち主の顔画像42の特徴量を示す特徴量データ、パターン情報52として図３に示すような撮影装置10の持ち主の右手の画像60の画像特徴量データが記憶されている。図３では、撮影画像であるため、左右が逆になっている。なお記憶部26には、これらのデータ以外に、任意のものを記憶しておくことが可能であり、例えば本実施例では、指示者の顔画像の特徴量データおよびパターンとして登録された画像の画像特徴量データの他に、基準とするパターン検出範囲の形状、大きさ、および顔画像に対する相対的な位置が記憶されていて、範囲設定部22でパターン検出範囲を設定する際に用いられている。
【００２５】
表示部28は、制御部14によって制御され、例えばディスプレイ等の表示装置を含んで、記憶部26に記憶されている情報や撮影部16で作成された撮影画像や設定画面等をこのディスプレイに出力するものである。
【００２６】
以上のような構成の撮影装置10には、撮影部16を含み被写体を撮影することが可能な装置が該当し、例えば、デジタルカメラ、画像入力装置、ムービーカメラ、またはカメラが設けられた携帯電話等が挙げられるが、本発明はこれらに限定するわけではない。また本発明では、各部の構成を本実施例に限定するわけではなく、撮影装置10に応じて任意の構成を採用することが可能である。
【００２７】
図４〜図７を用いて記憶部に登録されるパターンについて説明する。なお図において、同じ参照符号は同様の構成要素を示す。本発明では、撮影により作成された撮影画像から指示者の顔画像を検出し、この検出された顔画像の位置を基準にして、パターンを検出するパターン検出範囲を設定する。よってパターンは、指示者の体の近傍で再現できるパターンであることが好ましく、さらには指示者の顔の近傍で再現できるパターンであることがより好ましい。このように指示者の体または顔の近傍で再現できるパターンにすることによって、例えば一緒に写る指示者以外の人物が、パターンとして登録されている物と同じ物を持っていたり、パターンとして登録されている行動と同じ行動をしていた場合であっても、それをパターンとして検出してしまうことを防ぐことが可能になって誤動作を防ぐことがより可能になる。
【００２８】
体の近傍とは、例えば図４に示すように人80が腕を水平方向に伸ばした際の右手82の指先から左手84の指先までの水平方向の長さ86と、人80が腕を垂直方向に伸ばした際の指先88から足90までの垂直方向の長さ92を、それぞれ縦辺および横辺の長さとする矩形96を考えた場合、この矩形96と中心98を同じにしてこの矩形96の1.5倍の大きさの矩形100の範囲内であることが好ましく、さらには矩形96の範囲内であることがより好ましい。また顔の近傍とは、例えば図５に示すように、顔の垂直方向の長さ110および水平方向の長さ112をそれぞれ縦辺および横辺の長さとする矩形114を考えた場合、この矩形114と中央116を同じにしてこの矩形114の3倍の大きさの矩形118の範囲内であることが好ましく、さらにはこの矩形114の2倍の大きさの矩形120の範囲内であることがより好ましい。しかし本発明はこれらの範囲に限定するわけではなく、パターンは任意の位置で再現可能なパターンであってよい。
【００２９】
またパターンは、本実施例のように、右手で作ったブイサインに限定するわけではなく、任意のものをパターンとすることが可能である。例えば手のように体の一部を使って作った任意の形状をパターンとしてもよいし、また例えば任意の物や、その物を手で持っていたり身に着けている状態等をパターンとしてもよいし、また例えば任意の動作をパターンとしてもよい。
【００３０】
しかしあまりにも大きな物や、あまりにも大きな動作等をパターンとして登録すると、パターン検出範囲を大きく設定する必要が生じて、例えばパターンとして登録していない物や動作等を登録されたパターンとして検出してしまう等の誤動作を招く恐れが生じるため、パターンは大きすぎないほうが好ましく、また、本発明では顔画像を最初に検出するため、顔画像の検出と共に顔画像の大きさも検出し、この顔画像の大きさを用いてパターン検出範囲を設定したほうが、より簡単にパターン検出範囲を設定することが可能になる。よって、パターンは、上述したような体または顔の近傍で再現できて、パターン検出範囲が顔画像の大きさの1/2以上、3倍以下の大きさ、より好ましくはパターン検出範囲が実質的に顔画像の大きさと同じ大きさ以上、2倍以下の大きさになるような物や動作等にするのが好ましい。
【００３１】
具体的には、例えば実質的に顔と同じ大きさのもの、または顔よりも多少大きい／小さいもの、または実質的に顔よりも大きいが、顔の近傍や、体の近傍で身に着けたり持ったりできるものをパターンとしたり、もしくはこれらのものを顔や体の近傍で持っていたり身に着けている状態、またはこれらのものを顔や体の近傍で動かしている状態、またはこれらによって顔や体の近傍で任意の形状やサインを作っている状態等をパターンとすることが好ましい。
【００３２】
より具体的には、例えば手や物であれば、手で作った任意の形状、または例えばハンカチ、ボール、団扇、扇子等の手で持てる物品が挙げられる。また例えば状態であれば、またはこれらの物品を手で持っている状態、または両手を頭上に上げてOKサインを作っている状態等が挙げられる。また動きであれば手を振る動きや、ブイサイン等の手で作った形状の場合では人差し指と中指とを閉じたり、開いたりする等の動きや、ボール、団扇、または扇子等を振る動き等が揚げられる。また、顔や体の近くで持ったり身に着けたりできるものとしては、例えば帽子やマフラーや傘等が挙げられる。なお本発明はこれらの例に限定するわけではなく、パターンは任意に決めることが可能であり、またパターン検出範囲が上述した大きさ以上になるパターンを採用することも可能である。
【００３３】
なお登録されるパターンの数は一つである必要は無く、例えば複数のパターンを登録することも可能であり、また撮影開始用のパターンと撮影終了用のパターンというように、撮影装置10に出す指示に応じてパターンを分けて登録しておくことも可能である。なお撮影装置10に出す指示は、撮影開始の指示、および撮影終了の指示に限定するわけではなく、他の指示、例えばフラッシュをたくといった指示や、作成される撮影画像の画質を向上させるといったような指示であってもよく、撮影装置10に応じて任意に設定することが可能である。
【００３４】
なお撮影装置10に登録する指示が複数になる場合には、少なくとも指示者および指示パターンのどちらかが指示毎に異なればよい。よって例えば、撮影開始の指示パターンと撮影終了の指示パターンとを登録する場合では、一人の者が開始用と終了用の２つのパターンを登録することも可能であるし、また例えば開始用と終了用に同じパターンを登録し、開始指示を与える者と終了指示を与える者とを異ならせることも可能である。なお、本発明はこれに限定するわけではない。
【００３５】
このようなパターンの登録は、登録情報38を登録するのと同様に、任意のタイミングで、また公知の方式を採用して行うことが可能である。例えば、本実施例のように撮影装置10の持ち主の右手で作ったブイサインをパターンとして登録する場合では、自分の顔画像を登録するのと共に、自分の右手で作ったブイサインを撮影して図３に示すようなパターンのみが写っている撮影画像を作成し、撮影開始用のパターンとして登録することも可能であるし、また例えば、自分がブイサインを行っているところを、自分の顔が写るようにいわゆる自分撮りをすることによって、すなわち自分で自分を撮ることによって、または第三者に撮ってもらうことによって図６に示すような撮影画像130を作成し、顔画像を登録すると共に、この撮影画像130を表示部28に表示して、カーソルやタッチパネル方式でパターンとする部分、すなわち本実施例ではブイサインの部分を矩形132状に選択することによって登録することも可能である。なお本発明はこれらのやり方に限定するわけではない。
【００３６】
またパターンを登録する際に、任意の方式を利用して、範囲設定部22で必要となるパターン検出範囲の形状、位置、および大きさ等の登録を行うことも可能である。例えば、パターンの登録時に、登録されるパターンが、顔の大きさと比較してどれくらいの大きさで、顔の中央からどの程度離れた位置で再現されるのかを操作部12を介して指示者に入力させるようにしてもよいし、また例えば、図６に示すようにパターンと指示者の顔とが一緒に写っている撮影画像130を用いてパターンを登録する場合では、パターンとして登録するようカーソル等で指定された範囲の大きさおよび位置と、指示者の顔画像の大きさおよび位置とを比較して、パターン検出範囲の形状、相対的な位置、および相対的な大きさを算出するようにしてもよいし、さらに例えば、予めパターン検出範囲の形状、位置、および大きさ等を記憶部26に登録しておき、指示者が登録するパターンを制限するようにしてもよい。なお本発明はこれらのやり方に限定するわけではない。
【００３７】
なおパターン検出範囲の形状、位置、および大きさ等を登録する場合は、誤作動を防ぐために、パターン検出範囲の基準となる形状、位置、および大きさを、記憶部26に登録されるパターンに応じて決定するのが好ましい。例えば、右手で作ったブイサインをパターンとして登録する場合では、図６に示すようにパターン検出範囲を、顔画像の縦方向の長さ110と横方向の長さ112と実質的に同じ長さの縦辺および横辺を有する矩形132の領域で、この矩形132の右上の頂点が顔画像の中央116に位置するように登録するのが好ましい。なおこのとき、例えば表示部28に、矩形114や中央116を重畳して表示したほうが、登録すべきパターン検出範囲の位置の把握が容易になるため好ましいが、本発明はこれに限定するわけではない。
【００３８】
同様に、例えば、図７に示すように腕と手を用いて頭の上で大きな円を形成したＯＫサインをパターンとして登録する場合は、パターン検出範囲の基準となる位置、形状および大きさを、顔画像の縦方向の長さ110と横方向の長さ112の実質的に2倍の長さの縦辺および横辺を有する矩形136の領域で、この矩形136の中心が顔画像の中央116に位置するように登録するのが好ましいが、本発明はこれに限定するわけではない。
【００３９】
図８は、図１に示す撮影装置10において、自動的に撮影を行う処理手順の一例を示した流れ図である。なお例えば撮影装置10に撮影を終了させる指示を与える場合や、例えばフラッシュをたく等の指示を与える場合であっても、実質的に図８に示す処理と同様の処理が行われるため、説明を省略する。例えば撮影装置10に撮影の終了を撮影装置10に指示する場合では、撮影の終了を撮影装置10に指示する者の顔の検出、および撮影の終了を撮影装置10指示するパターンの検出が行われるようになる。
【００４０】
図８に示す例では、撮影装置10は、操作部12から自動撮影モードで駆動するよう指示が入力され、操作者によって置かれた任意の場所から被写体を撮影し、撮影により作成された画像に、予め記憶部26に記憶されている指示者の顔が写っている否かを判断し、写っている場合に、指示者の顔の近くの所定の位置に、撮影装置10に撮影開始の指示を与えるパターン検出範囲を設定し、予め登録された撮影開始の指示を撮影装置10に与えるパターン、すなわち撮影開始用のパターンがこの範囲で検出されるとそれを撮影開始の契機として認識して撮影を開始する。以下詳細に説明する。
【００４１】
図８において、操作者によって操作部12を介して撮影装置10に自動撮影モードでの駆動を行う旨の操作信号30が入力されると、撮影装置10の制御部14は被写体の撮影を行うよう撮影部16に制御信号32を供給し、撮影部16が撮影を行って撮影画像データを作成する（ステップS10）。
【００４２】
このとき撮影装置は、操作者によって任意の位置に置かれ、そこから撮影を開始して撮影画像データを作成する。例えば本実施例では、撮影装置は、被写体となる操作者200およびその友人202から数メートル離れた任意の場所に置かれて、操作者200と友人202とが並んでいるところを撮影し、例えば図９に示すような撮影画像206を作成する。図９は、撮影によって作成された撮影画像を概念的に示したものである。なおこの撮影は、記憶部26に1枚の画像として記憶されない予備的な撮影であってよく、また撮影画像206は、予備的な撮影モードでの駆動により撮影部16で連続的に作成される撮影画像データ34のうちの任意の1枚の画像であってよい。また撮影装置10は例えば表示部28にこの予備的な撮影で得られた画像をスルー画像表示してもよい。
【００４３】
撮影で作成された撮影画像データ34は、顔抽出部18に送られる。顔抽出部18では、撮影画像データ34から顔画像情報36、すなわち本実施例では操作者200および友人202の顔画像の特徴量を示す特徴量データをそれぞれ抽出する（ステップS12）。また本実施例では、顔抽出部18は、撮影画像206における各顔画像の中央208、210の位置、および顔画像の垂直方向および水平方向の大きさもそれぞれ抽出する。なお本実施例では撮影画像206に写っているすべての顔画像の特徴量データを抽出しているが、本発明はこれに限定するわけではなく、特徴量データを抽出する顔を識別する等の条件を付加することも可能である。このとき撮影装置10は、抽出した顔画像の中央、縦方向および横方向の大きさを基にして例えば図９に示すような枠212、214を作成して撮影画像206に重畳して表示してもよい。
【００４４】
図８に戻って、その後、顔抽出部18は、抽出された顔画像情報36がいくつあるか判断する（ステップS14）。その結果、抽出された顔画像情報36がゼロの場合、すなわち撮影画像206から顔画像が抽出されない場合は、撮影装置10は撮影で得られる別の撮影画像を用いて、少なくとも１つの顔画像情報36が得られるまで処理を繰り返す。一方ステップS14における判断の結果、抽出された顔画像情報36が１つ以上ある場合、顔抽出部18は顔識別部20へ抽出されたすべての顔画像情報36を送る。
【００４５】
なお、操作者200は例えば撮影装置10にある数以上の顔が検出されるまで処理を繰り返すように設定しておくことも可能である。このように設定しておくことによって、例えば集合写真を撮影する場合等に、ほとんどの被写体がカメラの方に向いていない状況で撮影してしまう等のことを防ぐことが可能になる。なお本発明はこれに限定するわけではない。
【００４６】
顔識別部20は、顔抽出部18から送られてきた顔画像情報36と、予め記憶部26に登録されている登録情報38とを照合し（ステップS16）、撮影画像206に、予め記憶部26に登録された者の顔画像が存在するか否かを判断する（ステップS18）。なお本実施例では、撮像装置10の持ち主である操作者200の顔画像42が撮影装置に撮影を開始させる指示者として予め記憶部26に登録されている。この判断には、任意のやり方を採用することが可能であり、例えば本実施例では、記憶部26に記憶されている特徴量データと、顔抽出部18で得られた特徴量データとの一致度がある閾値よりも低い場合、顔識別部20は撮影画像206に登録された人物の顔がないと判断し、逆に、一致度がある閾値以上の場合、登録されている人物の顔が撮影画像206にあると判断している。なお本発明はこれに限定するわけではない。
【００４７】
顔識別部20における判断の結果、撮影画像206に登録された人物の顔がないと判断された場合、撮影装置10は、ステップS10へ戻り、登録された人物の顔が別の撮影画像から検出されるまで同様の処理を繰り返す。一方、登録された人物の顔が撮影画像206にあると判断された場合、顔識別部20は範囲設定部22へその旨を知らせる。範囲設定部22は、顔識別部20において撮影画像206に登録された人物の顔があると判断された場合、顔抽出部18で抽出された撮影画像206における顔画像の位置、および大きさを利用して、パターンを検出する範囲、すなわちパターン検出範囲を指示者と判断された顔画像の近傍に設定する（ステップS20）。
【００４８】
本実施例では、パターン検出範囲は、その垂直方向および水平方向の大きさが顔抽出部18で抽出された指示者の顔画像の垂直方向および水平方向と同じ大きさの矩形、すなわち顔画像を囲む枠と同じ大きさの矩形とする旨が記憶部26に記憶されている。またパターン検出範囲の位置の顔画像に対する相対的な位置として、顔画像の垂直方向および水平方向の長さから算出できる中央をパターン検出範囲の右上の頂点とする旨が記憶部26に記憶されている。よって、範囲設定部22は、図10に二点鎖線で示すように、顔画像を囲む枠212と同じ大きさで、右上の頂点が顔画像の中央208を通る矩形220の領域をパターン検出範囲として設定する。このとき撮影装置10は、設定されたパターン検出範囲を例えば図10に示すように、撮影画像206に重畳して表示してもよい。
【００４９】
なお本実施例では、パターン検出範囲を、枠212と同じ大きさで、その右上の頂点が顔画像の中央208を通る矩形220の領域として設定したが、本発明はこれに限定するわけではなく、範囲設定部22は、任意のやり方を採用して、任意の位置に、任意の大きさおよび形状でパターン検出範囲を設定することが可能である。例えば、予めパターン検出範囲の基準となる大きさ、形状、および相対的な位置等を記憶部26に記憶しておいてもよい。
【００５０】
また例えば登録されているパターンが複数ある場合、図11に示すように、登録されているパターンに応じて、複数のパターン検出範囲を設定することも可能である。図11に示す例では、右手で作ったブイサイン、および腕と手によって頭の上で大きな円を形成したＯＫサインが撮影開始用のパターンとして登録されている場合に、それぞれのパターン検出範囲である矩形220、230が設定されている。また例えば図示しないが、友人202も顔画像およびパターンを登録していた場合には、友人202にも同様にパターン検出範囲を設定することも可能である。なお本発明はこれに限定するわけではなく、例えば、複数のパターンが登録されている場合でも、一つのパターンと対応するパターン検出範囲を設定することも可能である。
【００５１】
なお写真を撮影する位置等に応じて写るパターンの位置や大きさが変わるため、本実施例のようにパターン検出範囲の基準となる位置や大きさを、顔画像の位置や大きさを基にして設定しておき、パターン検出範囲を設定する際は、顔抽出部18で抽出された顔画像の位置や大きさと比較して、パターン検出範囲の位置を変えたり、大きさを変えて、すなわち拡大したり縮小したりして設定するのが好ましい。それによってパターン検出範囲におけるパターンの変化をより適格に検出することが可能になり、誤作動を防ぐことが可能になる。なお変更するものは位置や大きさに限定するわけではなく、任意のものを変更することが可能であり、例えば矩形をパターン検出範囲とする場合等では、矩形の角度等を変えて設定することも可能である。
【００５２】
図８に戻って、範囲設定部22でパターン検出範囲が設定されると、パターン識別部24が、設定されたパターン検出範囲にパターンが存在するか否かを判断する（ステップS22）。具体的には、本実施例ではパターン識別部24は範囲設定部22で設定されたパターン検出範囲、すなわち矩形220で示した領域内の画像特徴量を算出し、算出した画像特徴量と予め記憶部26に記憶されている画像特徴量とを比較して比較評価値を算出する。なお図９に示す例では、友人202もブイサインをしているが、図10に示すようにパターン検出範囲外であるため、このブイサインがパターンとして検出されることはない。
【００５３】
パターン識別部24は、比較評価値を算出すると、この比較評価値をある閾値と比較し、比較評価値がある閾値よりも低い場合、登録されているパターンがパターン検出範囲に存在しないと判断する。この場合、撮影装置10はステップS10へ戻り、撮影部16で得られた別の撮影画像を用いて同様の処理を行う。一方、比較評価値がある閾値以上である場合、パターン識別部24は、登録されているパターンがパターン検出範囲に存在すると判断し、パターンが検出された旨を制御部14へ伝える。
【００５４】
なおこのとき、例えばフラッシュをたくという指示を撮影装置10に与えるパターン、すなわちフラッシュ用のパターンも登録されていた場合等では、指示者200は、登録されているフラッシュ用のパターンも撮影装置10へ向けて提示して、撮影装置10にフラッシュをたかせて撮影を行わせることも可能である。この場合に、フラッシュをたくこと、および撮影を開始することを、１つのパターンで撮影装置10に指示するか、それともフラッシュ用と撮影開始用の２つのパターンで指示するのかは任意に決めることが可能である。
【００５５】
また例えば、複数のパターンが登録されていて、複数のパターン検出範囲が設定されている場合には、パターン識別部24はパターン検出範囲毎に予め登録されているパターンであるか否かを判断することも可能であり、この際に、比較評価値が閾値以上になったパターン検出範囲がいくつあるときに、予め登録されていたパターンを検出できたとするのかは任意に設定することが可能である。
【００５６】
例えば、被写体全員が顔とパターンとを登録している場合等では、パターン識別部24が全員のパターンを検出したときにその旨を制御部14へ伝えるように、パターン識別部24を設定することも可能である。このようにすれば、被写体全員を撮影契機の指示者とすることが可能になるため、例えばタイミングが合わなくて目を閉じてしまう等の失敗を防ぐことが可能になる。なお本発明はこれらに限定するわけではない。
【００５７】
制御部14は、パターン識別部から予め記憶部26に登録されていたパターンが検出された場合、そのことを契機として、撮影の開始を制御する、すなわち撮影部16に、シャッタを切って所望の被写体像を1枚の画像として記憶部26に記憶する撮影である本撮影を開始させる（ステップS24）。例えば本実施例では、制御部14は、光学系の近傍に設けられた図示しない発光部を点灯させ、自動撮影を開始した旨を被写体に知らせ、一定時間経過後、発光部を点滅させるとともに撮影部16にシャッタを切らせて本撮影を行わせる。なお、本発明はこれに限定するわけではなく、制御部14は、例えば音声等によって、撮影部16がシャッタを切るタイミングを被写体に伝えて、一定時間経過後に撮影部16に本撮影を行わせてもよいし、また例えばパターン識別部24が登録されているパターンを認識したと判断したのと実質的に同時に撮影部16にシャッタを切らせて本撮影を行わせてもよく、任意のやり方を採用することが可能である。
【００５８】
撮影部16に本撮影を行わせると、制御部14は、公知のやり方で自動撮影モードでの駆動を継続、または終了する。例えば制御部14は、終了の信号が操作部12から入力されるまで引き続き撮影部16に本撮影を行わせてもよいし、また例えば1枚撮影する毎に再度ステップS10へ戻って再度処理を繰り返してもよいし、また例えば1枚撮影する毎に自動撮影モードでの駆動を終了するようにしてもよい。
【００５９】
またあらかじめ記憶部26に、撮影装置10に撮影の終了を指示するパターン、すなわち撮影終了用のパターンを登録しておき、例えば、撮影開始用のパターンを再現するのと同じように、指示者200やその友人202が撮影終了用のパターンを撮影装置10へ提示することで、撮影装置10に撮影の終了を伝えてもよい。なお本発明はこれらの例に限定するわけではない。
【００６０】
なおこのような自動撮影モードでの駆動は、例えば、自動的に焦点を合わせる自動焦点調整モードや、自動的に露出する自動露出調整モード等での駆動と平行してもよいし、また例えば、自動撮影モードで駆動して自動撮影を開始する信号が操作部12から制御部14へ送られた際に、自動焦点調整モードや、自動的に露出する自動露出調整モード等での駆動が行われるようにしてもよく、任意のやり方を採用することが可能である。
【００６１】
以上のようにして、本実施例では、顔画像を認識し、認識した顔画像の近くにパターン検出範囲を設定し、設定されたパターン検出範囲に予め登録されたパターンが検出されたときを契機として撮影装置が制御される、すなわち撮影装置がパターンによって指定された処理を開始する。よって、指示者がどこに立っていてもその位置を的確に特定して、パターン検出範囲を的確に設定することが可能になって、登録されているパターンを的確に検出することが可能であるため、誤作動を防ぐことが可能である。例えば被写体が二人以上存在している場合に撮影開始の指示を行う際に、指示者として登録されていない者が、パターンとして登録されているポーズをとっていても誤ってシャッタが切れることが無い。
【００６２】
また予め登録しておくパターンを顔の近傍に出現させることが可能な物や、顔の近傍で表現することが可能な動作や、顔の近傍で身につけることができる物とすることで、パターン検出範囲をより的確に設定することが可能になって、撮影装置が誤動作をより防ぐことが可能である。よって、より利用者の利便性が高い撮影装置および撮影方法を提供することが可能になる。
【図面の簡単な説明】
【００６３】
【図１】本発明による撮影装置を概略的に示したブロック図である。
【図２】図１に示す撮影装置の記憶部に記憶される登録情報を概念的に示した図である。
【図３】図１に示す撮影装置の記憶部に記憶されるパターンを概念的に示した図である。
【図４】パターンを登録可能な範囲の一例を概念的に示した図である。
【図５】パターンを登録可能な範囲の別の一例を概念的に示した図である。
【図６】パターンとパターン検出範囲の一例を概念的に示した図である。
【図７】パターンとパターン検出範囲の別の一例を概念的に示した図である。
【図８】図１に示す撮影装置における自動撮影処理手順の一例を示した流れ図である。
【図９】図１に示す撮影装置の撮影部で作成された画像の一例を概念的に示した図である。
【図１０】図１に示す撮影装置においてパターン検出範囲を設定した際の一例を概念的に示した図である。
【図１１】図１に示す撮影装置においてパターン検出範囲を設定した際の一例を概念的に示した図である。
【符号の説明】
【００６４】
10  撮影装置
12  操作部
14  記憶部
16  撮影部
18  顔抽出部
【図１】
2009117975.tif 000003
【図２】
2009117975.tif 000004
【図３】
2009117975.tif 000005
【図４】
2009117975.tif 000006
【図５】
2009117975.tif 000007
【図６】
2009117975.tif 000008
【図７】
2009117975.tif 000009
【図８】
2009117975.tif 000010
【図９】
2009117975.tif 000011
【図１０】
2009117975.tif 000012
【図１１】
2009117975.tif 000013