(57)【要約】【課題】検出動作が安定で誤動作の可能性が極めて低く、また、多数の人物からなる集合写真撮影でも、撮影制御の合図を適切に検出する。【解決手段】制御部１１２は、人物識別部１１１がカメラ部１０３からの画像情報から得た人物の顔の識別画像と、記憶部１１０から得た利用者の顔画像とが一致するかどうか比較し、一致するときは、上記画像情報の中に、記憶部１１０から読み出した撮像動作情報に一致する画像部分が所定時間継続して存在するかどうか比較する。撮像動作情報は、カメラシャッターを切ることを撮像装置１００に知らせるための撮影合図の動作を示す画像である。所定時間継続して一致する画像部分が存在するとの比較結果を得た場合、それを撮影合図としてカメラ部１０３のシャッターを切り、カメラ部１０３からの画像情報を、静止画である被写体画像として記憶部１１０に記憶する。【選択図】図１
2010098398.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部で撮像された画像情報を、事前に登録された特定人物の顔画像とが一致するかどうか識別する人物識別ステップと、
前記画像情報が前記顔画像と一致する識別結果が得られたときは、前記画像情報の中に、事前に登録された撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較ステップと、
前記比較ステップで前記一致の比較結果が得られたときは、前記カメラ部で撮像された前記画像情報から得た静止画像である被写体画像を記憶する記憶ステップと
を含むことを特徴とする撮像方法。
【請求項２】
カメラ部で撮像された画像情報を、事前に登録された特定人物の顔画像とが一致するかどうか識別する人物識別ステップと、
前記画像情報が前記顔画像と一致する識別結果が得られたときは、事前に登録された複数の撮像動作情報から一以上の撮像動作情報を選択する選択ステップと、
前記画像情報の中に、選択された前記撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較ステップと、
前記比較ステップで前記一致の比較結果が得られたときは、前記カメラ部で撮像された前記画像情報から得た静止画像である被写体画像を記憶する記憶ステップと
を含むことを特徴とする撮像方法。
【請求項３】
前記記憶ステップは、前記比較ステップで前記一致の比較結果が得られた時から、予め定めた一定時間後の前記カメラ部で撮像された前記画像情報を前記被写体画像として記憶することを特徴とする請求項１又は２記載の撮像方法。
【請求項４】
複数の人物からなる画像情報を前記被写体画像として記憶する時は、前記選択ステップは二以上の撮像動作情報を選択し、前記比較ステップは、前記画像情報の中に、選択された前記二以上の撮像動作情報のすべてが同時に所定時間継続して一致する画像部分がそれぞれ存在するとき一致の比較結果を出力することを特徴とする請求項２又は３記載の撮像方法。
【請求項５】
前記撮像動作情報は、人物の一般的な撮影時の表情とは異なる予め定めた特定の表情に関する画像情報、又は人体の所定部位の形状に関する画像情報であることを特徴とする請求項１乃至４のうちいずれか一項記載の撮像方法。
【請求項６】
被写体を撮像して画像情報を取得するカメラ部と、
事前に特定人物の顔画像と撮像動作情報とを登録している記憶部と、
前記カメラ部で取得された画像情報を、前記記憶部からの特定人物の顔画像とが一致するかどうか識別する人物識別手段と、
前記人物識別手段により前記画像情報が前記顔画像と一致する識別結果が得られたときは、前記画像情報の中に、前記記憶部からの前記撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較手段と、
前記比較手段で前記一致の比較結果が得られたときは、前記カメラ部で取得された前記画像情報から得た静止画像である被写体画像を記憶する記憶手段と
を有することを特徴とする撮像装置。
【請求項７】
被写体を撮像して画像情報を取得するカメラ部と、
事前に特定人物の顔画像と撮像動作情報とを登録している記憶部と、
前記カメラ部で取得された画像情報を、前記記憶部からの特定人物の顔画像とが一致するかどうか識別する人物識別手段と、
前記人物識別手段により前記画像情報が前記顔画像と一致する識別結果が得られたときは、前記記憶部に事前に登録された複数の撮像動作情報から一以上の撮像動作情報を選択する選択手段と、
前記画像情報の中に、前記選択手段により選択された前記撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較手段と、
前記比較手段で前記一致の比較結果が得られたときは、前記カメラ部で撮像された前記画像情報から得た静止画像である被写体画像を記憶する記憶手段と
を有することを特徴とする撮像装置。
【請求項８】
前記記憶手段は、前記比較手段で前記一致の比較結果が得られた時から、予め定めた一定時間後の前記カメラ部で撮像された前記画像情報を前記被写体画像として記憶することを特徴とする請求項６又は７記載の撮像装置。
【請求項９】
複数の人物からなる画像情報を前記被写体画像として記憶する時は、前記選択手段は二以上の撮像動作情報を選択し、前記比較手段は、前記画像情報の中に、選択された前記二以上の撮像動作情報のすべてが同時に所定時間継続して一致する画像部分がそれぞれ存在するとき一致の比較結果を出力することを特徴とする請求項７又は８記載の撮像装置。
【請求項１０】
前記撮像動作情報は、人物の一般的な撮影時の表情とは異なる予め定めた特定の表情に関する画像情報、又は人体の所定部位の形状に関する画像情報であることを特徴とする６乃至９のうちいずれか一項記載の撮像装置。
【請求項１１】
最寄りの基地局との間で無線通信する無線通信部と、
送話音声を収音して送話音声信号を得て前記無線通信部を通して送信し、受話音声信号は前記無線通信部を通して受信した後受話音声に変換して発音する音声送受信処理手段と、
情報を表示する表示部と、
メール文を前記無線通信部を通して送受信するメール送受信手段と、
前記カメラ部と
を少なくとも備えたカメラ付き携帯無線通信端末に搭載されており、前記撮像動作情報は前記無線通信部を通して取得されて前記記憶部に記憶されていることを特徴とする請求項６乃至１０のうちいずれか一項記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像方法及び撮像装置に係り、特に被写体の事前に登録した所定の撮像合図（シグニチャー）に基づいて、撮像を行う撮像方法及び撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラなどの撮像装置により記念撮影などをする際に、周知のセルフタイマー機能を利用することがある。しかし、このセルフタイマー機能を利用した場合は、撮像者が居なくても撮影ができるという利点がある反面、シャッターを切る撮影タイミングが決まっているため、観光地などでの撮影の場合は、撮影のタイミングに他人が写りこむなど、思い通りの撮影ができない場合がある。すなわち、撮像装置にはセルフタイマーのカウント時間を、３秒、５秒、１０秒などに設定することは可能であるが、撮影する場所や撮影のタイミングによっては、カウント時間の設定は意味をなさない。
【０００３】
そこで、撮影のタイミングを固定のカウント時間ではなく、被写体の動作を検出して決定する撮像装置が提案されている（例えば、特許文献１〜３参照）。すなわち、特許文献１には、被写体の特定の動作を撮影制御の合図としてメモリに記憶しておき、カメラ部に入力される映像信号の被写体の動きを動き検出部で検出し、その検出した被写体の動きとメモリに記憶しておいた被写体の特定の動作とを比較して、一致した場合、カメラ部からの映像信号の記録媒体への記録を開始したり、あるいは記録を停止する構成の撮像装置が開示されている。
【０００４】
また、特許文献２には、撮像素子にて撮像された動画像に基づいて、被撮影者の両目の画像を目追跡部にて連続的に検出し、更に目追跡部にて検出された動画像に基づいて、特定の箇所のウィンクをウィンク検出部で検出した時に、モード設定部にて静止画撮影のためのシャッターを切る構成の撮像装置が開示されている。
【０００５】
更に、特許文献３には、被写体の顔の向きを認識し、顔が所定の方向を向いた場合に被写体記録動作を行う構成の撮像装置が開示されている。
【０００６】
【特許文献１】特開２００６−０３３５６７号公報
【特許文献２】特開２００８−０７２１８３号公報
【特許文献３】特開２００１−０５１３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかるに、特許文献１記載の撮像装置では、撮影制御の合図としての被写体の特定の動作を、例えば、被写体が腕を上から下に振り下ろすという一連の動きのある動作としているため、その動作速度が速過ぎたり、遅過ぎたりする場合には、比較の結果一致の結果が得られないことがあり、検出動作が不安定であり、誤動作する可能性がある。同様に、特許文献２記載の撮像装置でも、撮影制御の合図としての被写体の特定の動作が目のウィンクという瞬間的な動きであるため、検出動作が不安定であり、誤動作する可能性がある。
【０００８】
更に、被写体の顔の向きが所定の方向を向いた時にシャッターを切る構成の特許文献３記載の撮像装置では、シャッターを切る動作タイミングを定める撮像動作情報が、顔の向きという極めて限定された画像情報であるため、使い勝手が悪く、また多数の人物からなる集合写真撮影には、動作タイミングを定める人物を特定することができないので適用することができない。
【０００９】
本発明は以上の点に鑑みなされたもので、検出動作が安定で誤動作の可能性が極めて低く、また、多数の人物からなる集合写真撮影でも、撮影制御の合図を適切に検出し得る撮像方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明の撮像方法は、カメラ部で撮像された画像情報を、事前に登録された特定人物の顔画像とが一致するかどうか識別する人物識別ステップと、画像情報が顔画像と一致する識別結果が得られたときは、画像情報の中に、事前に登録された撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較ステップと、比較ステップで一致の比較結果が得られたときは、カメラ部で撮像された画像情報から得た静止画像である被写体画像を記憶する記憶ステップとを含むことを特徴とする。
【００１１】
また、上記の目的を達成するため、本発明の撮像装置は、被写体を撮像して画像情報を取得するカメラ部と、事前に特定人物の顔画像と撮像動作情報とを登録している記憶部と、カメラ部で取得された画像情報を、記憶部からの特定人物の顔画像とが一致するかどうか識別する人物識別手段と、人物識別手段により画像情報が顔画像と一致する識別結果が得られたときは、画像情報の中に、記憶部からの撮像動作情報に所定時間継続して一致する画像部分が存在するとき一致の比較結果を出力する比較手段と、比較手段で一致の比較結果が得られたときは、カメラ部で取得された画像情報から得た静止画像である被写体画像を記憶する記憶手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、検出動作が安定で誤動作の可能性が極めて低く、また、多数の人物からなる集合写真撮影でも、撮影制御の合図を適切に検出することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１４】
図１は、本発明になる撮像装置の一実施形態のブロック図を示す。同図に示す本実施形態の撮像装置１００は、例えばプログラム制御により動作し、通信機能（通話、メール送受信、インターネット接続）やテレビ放送受信機能等を備えた撮影機能付き携帯通信端末である。
【００１５】
撮像装置１００は、図１に示すように、アンテナを介して図示しない最寄りの無線基地局装置との間で無線により情報の送受を行う無線通信部１０１と、アンテナを介して図示しない放送局からの放送信号を受信して所定の放送信号の受信処理を行う放送受信部１０２と、カメラ部１０３と、音声処理部１０４と、送話音声を音響−電気変換して送話音声信号を得るマイク１０５と、受話音声信号を電気−音響変換して受話音声を発音するスピーカ１０６と、画像、図形、文字、記号などの情報表示出力（映像信号の画像表示）を行う表示部１０７と、利用者の各種情報入力を行う操作部１０８と、楽音や報知音など鳴音出力を行うスピーカ部１０９と、記憶部１１０と、被写体の人物の顔画像を識別する人物識別部１１１と、この撮像装置１００の各部の全体の制御を統括的に行う制御部１１２とを有する。
【００１６】
放送受信部１０２は、地上局から送信された地上波放送信号や、人工衛星などの中継局を介して放送される衛星放送信号を受信して復調処理を行い、映像データ、音声データ、情報データ等を取得し、それらに対して所定の放送信号処理を行う。カメラ部１０３は、被写体を撮像して被写体の画像情報を取得する。音声処理部１０４は、マイク１０５から入力される送話音声信号や、スピーカ１０６へ出力する受話音声信号に対して所定の音声信号処理を行う。
【００１７】
操作部１０８は、テンキー、スクロールキー、十字キー、決定キーなどの各種キーを有し、利用者により押下されたキーに対応した操作信号を生成して、各種の情報入力を行う。記憶部１１０は、電話帳情報、送受信メール情報、発着呼情報、コンテンツ情報、アプリケーションプログラム情報、被写体画像及び携帯無線端末の諸設定等を格納するほか、利用者により任意に決定された撮像動作情報や利用者の顔画像を予め格納している。
【００１８】
人物識別部１１１は、カメラ部１０３により取得された画像情報から被写体の人物の顔を公知の方法で識別して顔の識別像を取得する。人物の顔の識別方法としては、カラーの画像情報をモザイク画像化し、そのうちの肌色領域を顔画像領域として抽出する公知の方法（テレビジョン学会誌Vol.49,No.6、pp.787-797(1995)）や、髪、目、口などの正面人物像の頭部の各部分の幾何学的形状特徴を利用して頭部領域を抽出する公知の方法（電子情報通信学会誌Vol.J74-D-II,No.11,pp.1625-1627(1991)）その他の公知の方法を用いることができる。
【００１９】
制御部１１２は、撮像装置１００の各部の全体を制御して、電話機能、メール機能、インターネット(web)接続機能、カメラ機能、テレビ受信機能、コンテンツ再生機能、その他端末の有する機能を選択的に実行する。
【００２０】
なお、カメラ部１０３は、撮影時には動画像である「画像情報」を常時取得し、操作部１０８の所定のキー（シャッター）の押下指示、あるいは制御部１１２からの撮像指示（自動撮影モード）により静止画像である「被写体画像」の記録（記憶部１１０への格納）を行う。また、制御部１１２は、記憶部１１０に保持されている撮像動作情報と、カメラ部１０３により取得される画像情報とを比較して一致／不一致を判断し、一致したときはカメラ部１０３に被写体画像の取得を行うよう制御する。
【００２１】
次に、本実施形態の動作について図２のフローチャートを併せ参照して説明する。制御部１１２は、自動撮影モードに選択されたかどうかを、操作部１０８からの信号に基づいて監視している（ステップＳ１）。制御部１１２は自動モードに選択されると、人物識別部１１１がカメラ部１０３により取得された動画像である画像情報から公知の方法で識別した人物の顔の識別画像と、記憶部１１０に予め記憶（登録）されている利用者の顔画像とが一致するかどうか公知の方法で比較する（ステップＳ２）。
【００２２】
一又は二以上の人物の顔の識別画像のすべてが、記憶されている利用者の顔画像と不一致である場合（ステップＳ３のＮＯ）は、この処理を終了する。一方、人物の顔の識別画像のどれかと利用者の顔画像とが一致する場合（ステップＳ３のＹＥＳ）は、制御部１１２はカメラ部１０３により取得された画像情報の中に、記憶部１１０から読み出した予め記憶（登録）されている撮像動作情報に一致する画像部分が存在するかどうか比較する（ステップＳ４）。
【００２３】
ここで、記憶部１１０には、無線通信部１０１を介して取得された複数の撮像動作情報、又は利用者自身等の特定の人物の予め利用者が定めた動作をカメラ部１０３で撮像して得た画像情報が撮像動作情報として記憶されている。この記憶部１１０から読み出されて利用者により選択された一の撮像動作情報、あるいは、自動撮影モードと共になされる撮影状況（室内、屋外、朝、昼、夜など）により選択された一の撮像動作情報がステップＳ４での比較に用いられる。この撮像動作情報は、カメラシャッターを切ることを撮像装置１００に知らせるための撮影合図の動作（シグニチャー）を示す画像である。
【００２４】
なお、本実施形態では、上記のステップＳ４での比較動作は、カメラ部１０５からの画像情報に、記憶部１１０からの撮像動作情報と所定時間継続して一致する画像部分が存在するか否か比較する。記憶部１１０からの撮像動作情報は、例えば、特定の人物が口を開けている（これに限定されるものではなく、例えば、目を閉じている、その他、一般的な撮影時の表情などとは異なる予め定めた特定の表情等）撮像画像情報である。
【００２５】
記憶部１１０からの撮像動作情報が例えば、特定の人物が口を開けている場合、ステップＳ４での比較動作時には、制御部１１２は、カメラ部１０５から取得した画像情報から人物の口の形状を解析して「口を開けている」ことを検出すると、カウントを開始する。そして、制御部１１２は、更にカメラ部１０５から連続して取得した画像情報から人物が「口を開けている」時間が所定時間（例えば、３秒間）以上継続している画像部分が存在するか否かを判定する。
【００２６】
制御部１１２は、ステップＳ４での比較の結果、カメラ部１０５からの画像情報と、記憶部１１０からの撮像動作情報とが不一致の比較結果を得た場合（ステップＳ５のＮＯ）は、この処理を終了する。一方、制御部１１２は、カメラ部１０５からの画像情報に、記憶部１１０からの撮像動作情報とが所定時間継続して一致する画像部分が存在するとの比較結果を得た場合、一致と判定し（ステップＳ５のＹＥＳ）、それを撮影合図としてカメラ部１０３のシャッターを切り、カメラ部１０３からの画像情報を、静止画である被写体画像として記憶部１１０に記憶する（ステップＳ６）。
【００２７】
なお、制御部１１２は、ステップＳ６での記憶の際に、利用者（特定の人物）が望んでいない、口を開けた状態の被写体画像が記憶されないように、ステップＳ５での一致比較結果を認識した時点から、一定時間（例えば、２秒）後にカメラ部１０３のシャッターを切って被写体画像を記憶することが望ましい。上記の一定時間内に利用者（特定の人物）は、口を閉じるなどの望ましいポーズをとることができ、これにより、利用者（特定の人物）が望む被写体画像を記憶部１１０に記憶することができる。
【００２８】
このように、本実施形態では、カメラ部１０３の被写体（利用者）が、カメラ部１０３を介して制御部１１２が認識できる程度の大きさで、選択された一の撮像動作情報が示す動作（シグニチャー）を所定時間継続して実施すると、ステップＳ５で一致の比較結果が得られるため、被写体画像の記憶部１１０への記憶が行われる。
【００２９】
従って、本実施形態では、例えば観光地等で複数の人物の記念撮影をするような場合に、他人が写りこまない最適なタイミングで特定人物が所定の撮像動作情報に対応した動作を所定時間継続することで、制御部１１２は極めて安定確実に上記の選択された一の撮像動作情報が示す動作（シグニチャー）を認識して、誤動作が殆どない被写体画像の記憶ができる。
【００３０】
また、本実施形態では、被写体の顔画像を識別して登録されている顔画像と一致した場合で、かつ、登録されている顔画像に一致する特定人物の近傍の画像情報の中に撮像動作情報と一致する画像部分が所定時間継続して存在する場合にのみ、被写体画像の記憶部１１０への記憶を行うようにしているので、一画面内で偶然、撮像動作情報と一致する画像部分が検出されたとしても、特定人物の動作による画像部分でなければ、被写体画像の記憶部１１０への記憶は行わない。
【００３１】
従って、本実施形態によれば、例えば記念撮影する複数の人物のうち特定人物以外の人物が偶然、所定の撮像動作情報に対応した動作を行った場合は、シャッターを切ることが無いので、特定の人物のみが意図した最適な撮像タイミングで被写体画像の記憶を行うことができる。
【００３２】
なお、本実施形態では、複数の被写体を撮像する場合は、撮像動作情報を複数設定し、設定した複数の撮像動作情報の画像に対応する被写体の複数の画像部分を同時に所定時間継続して検出した場合に、被写体画像を記憶保存するように制御してもよい。この場合でも、ステップＳ２で顔の識別を行う特定の人物は一人でよいが、ステップＳ４で撮像動作情報と比較するカメラ部１０３からの画像情報は、複数の被写体が特定の動作を同時に行う画像情報である必要がある。
【００３３】
すなわち、複数の被写体の撮像時には、制御部１１２は記憶部１１０からの撮像動作情報として、例えば、手で作られたＶサインを３つ設定し、ステップＳ４での比較時に制御部１１２は、カメラ部１０５から取得した画像情報から手の形状を解析して「Ｖサイン」が同時に３つあることを検出すると、カウントを開始する。制御部１１２は、更にカメラ部１０５から連続して取得した画像情報からＶサインが同時に３つある画像部分が所定時間（例えば、１秒間）以上継続して存在するかを判定する。
【００３４】
そして、制御部１１２は、記憶部１１０からの撮像動作情報と同じＶサインが、同時に３つある画像部分の画像情報がカメラ部１０３から所定時間継続して得られた場合、ステップＳ５で一致と判定し、それを撮影合図としてカメラ部１０３のシャッターを切り、カメラ部１０３からの画像情報を、静止画である被写体画像として記憶部１１０に記憶する（ステップＳ６）。このようにすることで、各被写体の動作（撮像ＯＫ）が一致した、最適な撮影タイミングで撮像が行われる。
【００３５】
なお、この複数の被写体の撮像時も、撮像動作によっては、撮像動作の認識と同時に被写体画像の記憶を行った場合、被写体が不自然な格好で撮像される可能性があるので、撮像動作の認識時点から数秒のタイムラグを設けて被写体画像の記憶を行うようにしてもよい。また、複数の撮像動作情報に対応する被写体の動作画像としては、上記のＶサインに限定されるものではなく、被写体が口を開けている、目を閉じている、その他の一般的な撮影時の表情などとは異なる予め定めた特定の表情等の画像であってもよいし、手、指、腕、足などの人体の所定部位を所定の形にした形状の画像であってもよい。また、複数の撮像動作情報に対応する被写体の動作画像は、すべて同一でなくてもよく、例えば、Ｖサインの画像と被写体が口を開けている画像の組み合わせであってもよい。
【００３６】
このように、本実施形態によれば、多数の人物の集合からなる記念撮影などの複数の被写体の撮像時にも、一人以上の被写体（利用者）の顔画像を識別して登録されている顔画像と一致した場合で、かつ、カメラ部１０３から取得される複数の被写体の画像情報が、記憶部１１０から読み出されて選択された一以上の撮像画像と同じものが同時に所定時間継続した場合にのみ、被写体画像の記憶部１１０への記憶を行うようにしているので、例えば観光地等で複数の人物の記念撮影をするような場合に、制御部１１２は極めて安定確実に上記の選択された一の撮像動作情報が示す動作（シグニチャー）を認識して、誤動作が殆どなく、しかも他人が写りこまない最適なタイミングで複数の利用者からなる被写体画像の記憶部１１０への記憶ができる。
【００３７】
また、本実施形態によれば、この場合は、複数の被写体（利用者）が同時に所定時間同じ状態で継続する必要があるので、特定の一人の人物のみによる撮影合図よりも、複数の被写体（利用者）がそれぞれ共通に意識した最適な撮影タイミングで撮影合図を行うことができる。
【００３８】
なお、本発明は上記の実施形態に限定されるものではなく、携帯無線端末以外の無線通信部１０１、放送受信部１０２、マイク１０５、スピーカ１０６、音声処理部１０４、スピーカ部１０９を有しない撮像装置に適用することもできる。
【００３９】
また、本発明は図２のフローチャートの各処理をコンピュータのソフトウェアにより実行させるコンピュータプログラムも包含するものである。
【図面の簡単な説明】
【００４０】
【図１】本発明の撮像装置の一実施形態のブロック図である。
【図２】本発明の撮像方法の一実施の形態の説明用フローチャートである。
【符号の説明】
【００４１】
１００  撮像装置
１０１  無線通信部
１０２  放送受信部
１０３  カメラ部
１０４  音声処理部
１０５  マイク
１０６  スピーカ
１０７  表示部
１０８  操作部
１０９  スピーカ部
１１０  記憶部
１１１  人物識別部
１１２  制御部
【図１】
2010098398.tif 000003
【図２】
2010098398.tif 000004