(57)【特許請求の範囲】
【請求項１】
被写体の所望の撮影パターンと、撮影タイミングをそれぞれ指定する第１のステップと、
本画像撮影前の被写体画像から被写体の解析用画像を取得する第２のステップと、
前記解析用画像から特徴点の画像を抽出する第３のステップと、
前記特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が前記所望の撮影パターンと略一致する時点を予測する第４のステップと、
前記第４のステップによる予測時点後、前記撮影タイミングに従って本画像撮影を起動する第５のステップと
を含むことを特徴とする自動撮影方法。
【請求項２】
前記解析用画像を保存する第６のステップと、
保存された前記解析用画像を再生して、その解析用画像の中から前記所望の撮影パターンを示している解析用画像を選択させる第７のステップと、
前記第７のステップで選択された前記解析用画像に基づいて、前記特徴点動作分析情報知識の記憶特徴点動作分析情報を変更する第８のステップと
を更に含むことを特徴とする請求項１記載の自動撮影方法。
【請求項３】
前記第４のステップにおいて、前記特徴点の画像が前記所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、前記所望の撮影パターンとして新たな画像を指定する第９のステップと、
前記第９のステップで指定された新たな画像を、前記特徴点動作分析情報知識における前記所望の撮影パターンの画像として変更する第１０のステップと
を更に含むことを特徴とする請求項１又は２記載の自動撮影方法。
【請求項４】
前記第５のステップは、前記撮影タイミングの直前に撮影開始を被写体に通知する機能を含むことを特徴とする請求項１記載の自動撮影方法。
【請求項５】
前記撮影パターンは、前記被写体が人物であるときは、人物の特定の表情及び顔の向きの少なくとも一方を含むことを特徴とする請求項１乃至４のうちいずれか一項記載の自動撮影方法。
【請求項６】
被写体の所望の撮影パターンと、撮影タイミングをそれぞれ指定する指定手段と、
本画像撮影前の被写体画像から被写体の解析用画像を取得する解析用画像取得手段と、
前記解析用画像から特徴点の画像を抽出する特徴点抽出手段と、
特徴点の画像に基づいて画像の動きを分析した特徴点動作分析情報が予め記憶されている特徴点動作分析情報知識と、
前記特徴点抽出手段で抽出された前記特徴点の画像の時系列変化を、前記特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が前記所望の撮影パターンと略一致する時点を予測する特徴点動作解析手段と、
前記特徴点動作解析手段による予測時点後、前記撮影タイミングに従って本画像撮影を起動する本画像撮影起動手段と
を有することを特徴とする自動撮影装置。
【請求項７】
前記解析用画像を保存領域に保存する解析用画像保存手段と、
前記保存領域に保存された前記解析用画像を再生する再生手段と、
前記再生手段により再生された前記解析用画像の中から前記所望の撮影パターンを示している解析用画像を選択する選択手段と、
前記選択された解析用画像に基づいて、前記特徴点動作分析情報知識の記憶特徴点動作分析情報を変更する特徴動作補正手段と
を更に有することを特徴とする請求項６記載の自動撮影装置。
【請求項８】
前記特徴点動作解析手段において、前記特徴点の画像が前記所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、前記所望の撮影パターンとして新たな画像を指定する画像指定手段と、
前記画像指定手段で指定された新たな画像を、前記特徴点動作分析情報知識における前記所望の撮影パターンの画像として変更する特徴点動作分析情報変更手段と
を更に有することを特徴とする請求項６又は７記載の自動撮影装置。
【請求項９】
前記本画像撮影起動手段による本画像撮影起動開始直前に、撮影開始を被写体に通知するキュー出力手段を更に有することを特徴とする請求項６記載の自動撮影装置。
【請求項１０】
前記撮影パターンは、前記被写体が人物であるときは、人物の特定の表情及び顔の向きの少なくとも一方を含むことを特徴とする請求項６乃至９のうちいずれか一項記載の自動撮影装置。
【請求項１１】
請求項１記載の第１乃至第５のステップをコンピュータにより順次実行させることを特徴とする自動撮影プログラム。
【請求項１２】
請求項２記載の第６乃至第８のステップをコンピュータにより順次実行させることを特徴とする自動撮影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動撮影方法及び自動撮影装置並びに自動撮影プログラムに係り、特に被写体の特定の状態変更を契機として撮影を自動的に行う自動撮影方法及び自動撮影装置並びに自動撮影プログラムに関する。
【背景技術】
【０００２】
デジタルカメラやフィルムカメラなどの撮影装置では、被写体を如何に撮影者の意図するように撮影するかが重要である。そこで、被写体が人物である場合は、その人物の顔の向きを認識し、顔が所定方向を向いた場合、あるいは被写体の顔の表情を認識し、顔が所定の表情になった場合に記録動作を行う撮影装置が従来知られている（例えば、特許文献１参照）。すなわち、この特許文献１記載の従来の撮影装置では、被写界の画像情報を検出し、その画像情報を基に被写体の顔の表情を認識して得た表情認識情報により、所定の表情になっているかを判定し、その判定結果が所定の表情になっているときに被写体記録動作を行う構成である。これにより、その被写体の人物をできるだけ自然な表情で撮影することができる。
【０００３】
また、所望の人物等を特定して撮影する撮影装置も知られている（例えば、特許文献２参照）。この従来の撮影装置は、画像データから所定の特徴点を抽出する抽出手段と、ユーザからの指示を受け付ける受付手段と、上記特徴点が複数抽出された場合に受付手段が受け付けた指示によりそれぞれの特徴部位を所定の順番で選択する選択手段と、選択手段により選択された特徴部位を特定する特徴部位情報を表示する表示手段とを備えた構成のデジタルカメラである。
【０００４】
更に、特定の被写体の特定の姿勢のシーンの画像を自動的に撮影するようにした自動撮影装置も従来知られている（例えば、特許文献３参照）。この従来の自動撮影装置では、特定の被写体の特定の姿勢を撮影条件とし、特定の被写体の位置情報及び姿勢関連情報を含む被写体情報と、特定の被写体を撮影する撮影手段の撮影位置情報及び撮影方向情報を含む撮影情報とを取得し、これら撮影情報及び被写体情報に基づいて、撮影手段によって撮影可能な実空間における撮影シーン範囲に対する特定の被写体の姿勢情報を検出し、検出した姿勢情報に応じて、撮影手段の撮影動作を制御して、撮影条件に対応するシーンの画像を撮影手段に撮影させる構成である。
【０００５】
【特許文献１】特開２００１−０５１３３８号公報
【特許文献２】特開２００４−３２０２８７号公報
【特許文献３】特開２００５−２８６３９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１及び２に記載の従来の撮影装置では、被写体である人物の顔の特徴点を認識して、笑顔になった瞬間の画像を撮影することが可能であるが、その撮影装置が動画のように時系列で静止画を蓄積していき、笑顔になったと認識した後で該当画像を保存し、その他の画像を破棄する方式では、常時フラッシュを点灯することはできないため、たまたま笑顔になった瞬間の画像にはフラッシュが点灯されておらず、背景は暗いままとなってしまうことがある。
【０００７】
また、数回に渡って撮影して特徴を有している画像のみ保存する方式では、撮影装置がフィルムカメラのような、一度フィルムが感光するとそのフィルムの再利用ができない不可逆反応の撮影装置では、連写してその中から一番良い撮影画像を選択することになり、この場合はフィルムがかなり無駄となってしまう。
【０００８】
また、上記の特許文献１及び２記載の従来の撮影装置では、被写体の動作や顔の動きの予測はできないため、例えば、乳幼児を囲んで家族が記念写真を撮影するような場合、乳幼児がカメラの方向を向くタイミングに合わせて撮影しようとしても、乳幼児がいつカメラの方向を向くかが予測できず、一方、乳幼児を笑わせようとするため、乳幼児以外の家族が、乳幼児の方向を向いてしまっていることが多く、乳幼児を含む家族全員がカメラの方向を向いて撮影することが困難である。
【０００９】
一方、上記の特許文献３記載の従来の自動撮影装置では、被写体の特定の姿勢を予測することは可能であるが、上記の乳幼児を囲んで家族が記念写真を撮影するような場合、乳幼児を含む家族全員が笑顔であるシーンを撮影することはタイミングがとりづらく撮影困難であり、また、動作予測に対するフィードバックがなされていないため、乳幼児の表情が笑顔へ遷移する瞬間を撮影することも困難である。
【００１０】
本発明は以上の点に鑑みなされたもので、被写体の表情などの特定の特徴点の遷移を予測すると共に、被写体に対して撮影を予告することにより、特定の被写体の特定の状態変更を契機として撮影者の意図した撮影を自動的に行い得る自動撮影方法及び自動撮影装置並びに自動撮影プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明の自動撮影方法は、被写体の所望の撮影パターンと、撮影タイミングをそれぞれ指定する第１のステップと、本画像撮影前の被写体画像から被写体の解析用画像を取得する第２のステップと、解析用画像から特徴点の画像を抽出する第３のステップと、特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が所望の撮影パターンと略一致する時点を予測する第４のステップと、第４のステップによる予測時点後、撮影タイミングに従って本画像撮影を起動する第５のステップとを含むことを特徴とする。
【００１２】
この発明では、本画像撮影前の被写体の解析用画像から特徴点の画像を抽出し、その特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が所望の撮影パターンと略一致する時点を予測して、予測時点後、撮影タイミングに従って本画像撮影を起動するようにしたため、所望の撮影パターンになった瞬間の画像の撮影が可能である。すなわち、本発明では、被写体の特徴点の動作を認識し、ある閾値を超えて撮影目的とする状態に変化しつつある時に、本画像撮影を起動することができる。
【００１３】
また、上記の目的を達成するため、本発明の自動撮影方法は、解析用画像を保存する第６のステップと、保存された解析用画像を再生して、その解析用画像の中から所望の撮影パターンを示している解析用画像を選択させる第７のステップと、第７のステップで選択された解析用画像に基づいて、特徴点動作分析情報知識の記憶特徴点動作分析情報を変更する第８のステップとを更に含むことを特徴とする。
【００１４】
この発明では、解析用画像の中から所望の撮影パターンを示している解析用画像を選択して特徴点動作分析情報知識の内容を変更するようにしたため、第４のステップによる特徴点動作分析の補正ができる。
【００１５】
また、上記の目的を達成するため、本発明の自動撮影方法は、第４のステップにおいて、特徴点の画像が所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、所望の撮影パターンとして新たな画像を指定する第９のステップと、第９のステップで指定された新たな画像を、特徴点動作分析情報知識における所望の撮影パターンの画像として変更する第１０のステップとを更に含むことを特徴とする。
【００１６】
この発明では、特徴点の画像が所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、所望の撮影パターンとして新たな画像を指定して、特徴点動作分析情報知識における所望の撮影パターンの画像として変更するようにしたため、より撮影者が意図する撮影パターンの画像に基づいて、被写体の解析用画像の特徴点動作解析が正確にできる。
【００１７】
また、上記の目的を達成するため、本発明の自動撮影方法は、上記の第５のステップは、撮影タイミングの直前に撮影開始を被写体に通知する機能を含むことを特徴とする。この発明では、撮影のタイミングの直前に撮影開始の予告が行われるので、撮影を意識している被写体の人物に対して意図した撮影ができる。
【００１８】
ここで、上記の撮影パターンは、被写体が人物であるときは、人物の特定の表情及び顔の向きの少なくとも一方を含むことを特徴とする。
【００１９】
また、上記の目的を達成するため、本発明の自動撮影装置は、被写体の所望の撮影パターンと、撮影タイミングをそれぞれ指定する指定手段と、本画像撮影前の被写体画像から被写体の解析用画像を取得する解析用画像取得手段と、解析用画像から特徴点の画像を抽出する特徴点抽出手段と、特徴点の画像に基づいて画像の動きを分析した特徴点動作分析情報が予め記憶されている特徴点動作分析情報知識と、特徴点抽出手段で抽出された特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が所望の撮影パターンと略一致する時点を予測する特徴点動作解析手段と、特徴点動作解析手段による予測時点後、撮影タイミングに従って本画像撮影を起動する本画像撮影起動手段とを有することを特徴とする。
【００２０】
この発明では、本画像撮影前の被写体の解析用画像から特徴点の画像を抽出し、その特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が所望の撮影パターンと略一致する時点を予測して、予測時点後、撮影タイミングに従って本画像撮影を起動するようにしたため、所望の撮影パターンになった瞬間の画像の撮影が可能である。
【００２１】
また、上記の目的を達成するため、本発明の自動撮影装置は、解析用画像を保存領域に保存する解析用画像保存手段と、保存領域に保存された解析用画像を再生する再生手段と、再生手段により再生された解析用画像の中から所望の撮影パターンを示している解析用画像を選択する選択手段と、選択された解析用画像に基づいて、特徴点動作分析情報知識の記憶特徴点動作分析情報を変更する特徴動作補正手段とを更に有することを特徴とする。この発明では、解析用画像の中から所望の撮影パターンを示している解析用画像を選択して特徴点動作分析情報知識の内容を変更するようにしたため、特徴点動作解析手段による特徴点動作分析の補正ができる。
【００２２】
また、上記の目的を達成するため、本発明の自動撮影装置は、特徴点動作解析手段において、特徴点の画像が所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、所望の撮影パターンとして新たな画像を指定する画像指定手段と、画像指定手段で指定された新たな画像を、特徴点動作分析情報知識における所望の撮影パターンの画像として変更する特徴点動作分析情報変更手段とを更に有することを特徴とする。
【００２３】
この発明では、特徴点の画像が所望の撮影パターンと略一致する時点の予測が、設定した時間内にできないときは、所望の撮影パターンとして新たな画像を指定して、特徴点動作分析情報知識における所望の撮影パターンの画像として変更するようにしたため、より撮影者が意図する撮影パターンの画像に基づいて、被写体の解析用画像の特徴点動作解析が正確にできる。
【００２４】
また、上記の目的を達成するため、本発明の自動撮影装置は、本画像撮影起動手段による本画像撮影起動開始直前に、撮影開始を被写体に通知するキュー出力手段を更に有することを特徴とする。この発明では、撮影開始を被写体に予告することができる。ここで、上記の撮影パターンは、被写体が人物であるときは、人物の特定の表情及び顔の向きの少なくとも一方を含むことを特徴とする。
【００２５】
また、上記の目的を達成するため、本発明は請求項１記載の第１乃至第５のステップをコンピュータにより順次実行させる自動撮影プログラムや、請求項２記載の第６乃至第８のステップをコンピュータにより順次実行させることを自動撮影プログラムも含む。
【発明の効果】
【００２６】
本発明によれば、本画像撮影前の被写体の解析用画像から特徴点の画像を抽出し、その特徴点の画像の時系列変化を、特徴点動作分析情報知識からの特徴点動作分析情報に基づいて分析し、その特徴点の画像が所望の撮影パターンと略一致する時点を予測して、予測時点後、撮影タイミングに従って本画像撮影を起動することにより、所望の撮影パターンになった瞬間の画像の撮影ができるため、言葉を理解しなかったり、理解しても、その通りに動かなかったりする幼児が所望の撮影パターン（例えば笑顔）になった瞬間の撮影や、撮影されることを意識していない人物の所望の撮影パターンと、その周りの撮影を意識している人物が撮影時にとりたいポーズを同時に成立させた撮影などの有効な撮影が、フィルムを無駄にすることなく行える。
【発明を実施するための最良の形態】
【００２７】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる自動撮影装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態は、操作部１０に撮影パターン指定手段１１、撮影予約指示手段１２、特徴点指定手段１３が設けられている。撮影パターン指定手段１１は、撮影者によって撮影条件を指定する。撮影予約指示手段１２は、撮影条件などを予約指示する。特徴点指定手段１３は、撮影者が希望する特徴点（画像）を指定する。
【００２８】
これら撮影パターン指定手段１１、撮影予約指示手段１２、特徴点指定手段１３を構成する操作部１０は、例えば、図２に示すように、本実施の形態が適用される、例えばデジタルカメラ等の撮影装置本体のプレビューウィンドウ３１と、メニューキー３２と、決定キー３３と、キャンセルキー３４と、プレビューウィンドウ３１に表示されるメニュー項目に対してカーソルを上下左右に移動させて指定する十字キー３５とから構成される。
【００２９】
再び図１に戻って説明するに、本実施の形態は、本画像撮影のために、解析用画像取得手段１５と、被写体の特徴点を抽出する特徴点抽出手段１６と、取得した特徴点から動作を解析する特徴点動作解析手段１７と、特徴点動作解析手段１７が特徴点動作を解析するための知識を記憶しているデータベースである特徴点動作分析情報知識１８と、条件に合致した場合に撮影を起動する撮影起動手段１９と、解析用画像取得手段１５が取得した解析用画像を保存するための解析用画像保存手段２３と、解析用画像保存手段２３により解析用画像を保存する解析用画像保存領域２４とからなる。
【００３０】
また、撮影起動時の手段には、例えば被写体に対して撮影を行うことを認識させるキューを出力するキュー出力手段２０と、撮影のために必要に応じてフラッシュを点灯するフラッシュ点灯手段２１と、目的の本画像を撮影する本画像撮像手段２２とを有し、更に、撮影条件との合致を認識するための精度を上げるための補正手段として、解析用画像再生手段２５と、解析用画像再生手段２５の再生画像の中から選択された再生画像を基に、特徴動作を補正するために特徴点動作分析情報知識１８の記憶情報を変更する特徴動作補正手段２６とを有し、特徴動作補正手段２６は、例えば、特徴点指定手段１３及び知識変更手段１４によって、特徴動作補正条件が設定される。
【００３１】
本実施の形態は、デジタルカメラの１つの機能として提供するか、あるいはデジタルカメラやフィルムカメラなどのシャッタのタイミングを制御する装置として提供される。デジタルカメラの１つの機能として提供する場合は、レンズや画像取得のためにはデジタルカメラの機構をそのまま利用し、解析用画像は図２に示したようにプレビューウィンドウ３１に表示される画像を解析用画像取得手段１５が取得して処理を行う。また、撮影起動手段１９はデジタルためのシャッタ機能を起動し、デジタルカメラ本体では、撮影した画像を保存する。
【００３２】
また、本実施の形態をシャッタのタイミングを制御する装置として光学式カメラ等に組み込む場合は、例えば光学式カメラのシャッタを押下する装置として用いられる。この場合は、カメラ本体で撮影された画像が解析用画像取得手段１５により取り込まれ、撮影起動手段１９がシャッタを押下するメカニズムに契機を与える。
【００３３】
次に、本発明になる自動撮影方法について説明する。図３は本発明になる自動撮影方法の一実施の形態のフローチャートを示す。セルフタイマーにより笑顔の少女を、撮影者を含む他の人間と共に撮影する場合を例にとって説明するに、まず、撮影者は撮影パターン指定手段１１で、被写体のうち少女が笑顔になることを条件として指定する（ステップＳ１）。
【００３４】
具体的には、撮影者が図２に示したメニューキー３２を押下し、これによりプレビューウィンドウ３１に表示される複数の選択可能なメニュー項目の中から、本実施の形態のメニュー項目（これを、本明細書では「笑顔シャッタ」というものとする）を、上下キー３５を利用して選択し、続いて決定キー３３を押下して決定する。
【００３５】
すると、プレビューウィンドウ３１に、これから撮影しようとする被写体画像として、図４（Ａ）に示す被写体画像が表示されると共に、顔の可能性がある箇所（丸い中に目のようなものがある箇所）４１、４２及び４３がハイライトされる。なお、顔の可能性のある箇所の認証方法は、既存の顔認証／表情認証の技術を応用することにより可能であり、オートフォーカスによる焦点合わせが可能であることから、被写体までの距離が類推可能であり、また、顔は概ね楕円形であり、かつ、真ん中付近に目が左右についているという情報でパターンマッチングをかけ、被写体までの距離に対応した、人間の顔がどれくらいの大きさとして像を結ぶかの範囲を事前に装置として設定されている閾値と比較して、どの楕円形が顔の可能性が高いかを選別できる。
【００３６】
続いて、撮影者が上記の被写体画像及びハイライト部分４１、４２及び４３のうち、図２に示した十字キー３５を利用して、図４（Ｂ）に示すようにハイライト部分４１を選択し、かつ、ハイライト部分４２、４３は４２’、４３’で示すように選択解除して、決定キー３３を押下する。そして、メニューキー３２を押下すると、図４（Ｃ）に示すように、撮影者が希望する笑顔の対象の少女の顔のハイライト部分４１のみがターゲットとして選択される。
【００３７】
次に、撮影者は撮影予約指示手段１２にて、例えば、１０秒後〜３０秒後の間で条件（少女が笑顔になる）が揃った場合に撮影することを指示して、撮影者は少女の横に１０秒以内に着く。具体的には、撮影者が図２に示したメニューキー３２を押下し、これによりプレビューウィンドウ３１に表示される複数の選択可能なメニュー項目の中から、本実施の形態の時間設定メニュー項目（これを、本明細書では「笑顔シャッタ時間設定」というものとする）を、十字キー３５を利用して選択して、決定キー３３を押下すると、図５に示すように、笑顔シャッタ時間設定の画面がプレビューウィンドウ３１に表示される。そこで、十字キー３５のうちの左右キーでカーソルを移動し、十字キー３５のうちの上下キーで数字を設定し（開示時刻を１０、終了時刻を３０）、最後に画面の下にある「設定終了」にカーソルを合わせて、決定キー３３を押下することにより、上記のステップＳ２の撮影予約指示がなされる。
【００３８】
続いて、解析用画像取得手段１５が、撮影パターン指定手段１１で指定された少女の顔の解析用画像を取得し、解析用画像保存手段２３を介してメモリの解析用画像保存領域２４に保存すると共に、その解析用画像を特徴点抽出手段１６に供給して、特徴点抽出手段１６により解析用画像から、目頭、目尻、口角などの特徴点を抽出させる（ステップＳ３）。次に、特徴点動作解析手段１７は、特徴点抽出手段１６により抽出された特徴点の画像の変化を、特徴点動作分析情報知識１８から入力される特徴点動作分析情報に基づいて解析し、指定された撮影パターンである笑顔になるかどうかを予測解析する（ステップＳ４）。
【００３９】
続いて、特徴点動作解析手段１７は、特徴点動作解析結果が指定された撮影パターンである笑顔になりそうであるという解析結果になったかどうかを監視し（ステップＳ５）、笑顔になりそうであるという特徴点動作解析結果が得られたときは、撮影起動手段１９を呼び出す。これにより、撮影起動手段１９は、例えば、キュー出力手段２０により撮影者あるいは被写体に対して、撮影が間もなく実施されることを通知するように制御したり、必要に応じてフラッシュ点灯手段２１によりフラッシュによる撮影の補助を行わせるように制御すると共に、本画像撮影手段２２にて、被写体画像を撮影させる（ステップＳ６）。
【００４０】
このように、本実施の形態では、所望の被写体の顔が笑顔になってから自動撮影するのではなく、笑顔になるであろう時点を予測して自動撮影するようにしたため、所望の被写体が丁度笑顔になった瞬間か、その直前または直後の撮影装置を意識していない自然な表情の被写体画像を撮影することができる。
【００４１】
従って、例えば、乳幼児を囲んで家族が記念写真を撮影するような場合、乳幼児がいつカメラの方向を向くかが予測できず、一方、乳幼児を笑わせようとするため、乳幼児以外の家族が、乳幼児の方向を向いてしまっていても、本実施の形態によれば、撮影パターンとしてカメラを向くというパターンを指示し、かつ、その撮影対象を乳幼児とすることで、撮影を意識していない乳幼児がカメラの方向を向くタイミングに合わせて撮影ができ、かつ、その撮影タイミング直前にはキュー出力手段２０により、撮影を意識している家族に対して撮影が間もなく実施されることを予告するので、家族全員が瞬時に笑顔を作って乳幼児と共にカメラの方向を向いて撮影することができる。また、その撮影時点では、必要に応じてフラッシュが点灯するので、周囲が暗くても撮影画像を鮮明に撮影することができる。更に、フィルムカメラの場合は、連写が不要であるので、フィルムを無駄に使うこともない。
【００４２】
次に、本発明の他の実施の形態について説明する。本実施の形態は、図１の特徴動作補正手段２６により精度の向上を図るようにしたものである。上記の実施の形態では、１０秒〜３０秒の間で少女が笑顔になる時に撮影をすると指定しているが、特徴点動作解析手段１７が笑顔を時間内に認識していないが、実際には少女が笑顔になっていた場合に、本実施の形態では補正を行うものである。
【００４３】
この実施の形態の動作について、図１及び図６を併せ参照して説明する。この実施の形態は、図３のステップＳ４の特徴点動作解析処理を、図６に示すフローチャートに従って行うようにしたものである。すなわち、図１の解析用画像保存手段２３は、解析用画像取得手段１５で取得した解析用画像を解析用画像保存領域２４に保存し（ステップＳ４１）、解析用画像再生手段２５により、解析用画像保存領域２４に保存された解析用画像を再生してプレビューウィンドウに表示する（ステップＳ４２）。
【００４４】
撮影者はそのプレビューウィンドウに表示されている解析用画像のうちから、所望の被写体の所望の画像（例えば笑顔の画像）を、図１の特徴点指定手段１３により指定する（ステップＳ４３）。それを受けて、特徴動作補正手段２６は知識変更手段２７を使用して特徴点動作分析情報知識１８に記憶されている特徴点動作分析情報を変更する。これにより、本実施の形態によれば、特徴点動作解析手段１７は、特徴点抽出手段１６により抽出された特徴点の画像の変化を、特徴点動作分析情報知識１８から入力される変更後の特徴点動作分析情報に基づいて解析し、指定された撮影パターンである少女の笑顔をより精度高く予測解析することができる。
【００４５】
次に、本発明の更に他の実施の形態について説明する。図３の実施の形態では、特徴点動作解析結果が、指定された撮影パターンになりそうになるまでステップＳ４、Ｓ５の処理を繰り返しているが、この実施の形態は、例えばある一定時間が超えても指定された撮影パターンにならないときには、ステップＳ４の特徴点動作解析を中止し、特徴動作補正手段２６を使用して、今回の解析が有効でなかったことを撮影者に対してフィードバックするようにしたものである。
【００４６】
また、この実施の形態では、必要であれば、特徴点指定手段１３を使用して、所望の特徴点を指定させる。具体的には、所望の特徴点の指定が笑顔の場合、撮影者が図２に示したメニューキー３２を押下し、これによりプレビューウィンドウ３１に表示される複数の選択可能なメニュー項目の中から、本実施の形態のメニュー項目（これを、本明細書では「笑顔補正」というものとする）を、上下キー３５を利用して選択し、続いて決定キー３３を押下して決定する。
【００４７】
すると、プレビューウィンドウ３１に、図７に示すような笑顔補正の画面が表示される。この笑顔補正の画面下段には、笑顔及びその前後の顔の表情の画像５１〜５４が時系列的に表示されており、そのうち、上下キー３５を利用して「通常再生」、「停止」、「コマ送り再生」などを駆使して、笑顔画像５３を選択すると、選択した笑顔画像５３が画面上段に大きく表示される。
【００４８】
特徴動作補正手段２６は、特徴点指定手段１３による上記の特徴点の指定があると、図７の笑顔補正の場合は笑顔画像５３を基準にして時系列でその前の画像５２、５１をたどるような特徴点動作分析情報に、知識変更手段２７を使用して特徴点動作分析情報知識１８を変更し、それまで特徴点動作分析情報知識１８に記憶されていた特徴点動作分析知識情報の差異を補正する。
【００４９】
なお、明示的に手段は記述してないが、予約で３０秒として、３０秒以内に撮影のための条件が揃わなかった場合には、撮影を止める、もしくは、条件が揃わなくても撮影する等の終了手段が存在している。
【００５０】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、複数の被写体がカメラを向いている条件での撮影に際しては、撮影パターン指定手段１１で、複数の被写体を対象として選択し、顔がカメラの方向に向いている時あるいは向くことが十分予想される時に撮影するという条件を指定し、撮影予約指示手段１２で０秒後から３０秒後で条件が揃った場合に撮影すれば、複数の子供を撮影する場合に、有効な写真を取りやすい。
【００５１】
また、特徴動作補正手段２６は、撮影毎のユーザの操作ではなく、例えばメーカーからの追加情報としてもネットワーク経由等で取得更新が可能である。また、集合写真で全員が目を開けている条件での撮影も可能である。この場合、特徴点抽出手段１６は、解析用画像から顔を公知の顔認証／表情認証により認識し、その顔の中で、目に相当する箇所を探し出し（楕円の中央付近に左右に存在するもの）、各々の目頭、目尻などの特徴点を抽出し、特徴点動作解析手段１７がその特徴点から、目頭、目尻の間に瞳が存在するかを認識し（目頭、白い部分、白くない部分（瞳）、白い部分、目尻となっているかを認識）、サングラス等で目頭、目尻を認識できないパターンでは、その顔を目を開けている対象とはせず、被写体群のすべての顔に関して、目が開いているか（顔と認識し、目頭、目尻が認識できるものに関して、瞳が見えているか）を認識した時に、その瞬間に本画像撮影手段２２を撮影起動手段１９を介して起動する。
【００５２】
更に、本発明によれば、ビックリ箱を開けた被写体の驚愕の瞬間の画像撮影や、顔の動作ではないが、スポーツなどで、手が伸びきった美しいポーズになった瞬間の写真撮影や、眼底写真等、眼科の写真で、マバタキで目をあけた直後は、マバタキしないという予測の下に写真を撮るなどの予測撮影も可能である。
【００５３】
また、更に、本発明は、カメラ付き携帯電話、デジタルカメラ、光学写真機の撮影補助具として使用可能であり、更には、公共運送手段の運転士の居眠り監視（撮影起動手段に本部への警告などの手段を追加）にも適用可能である。
【００５４】
また、本発明は図１の各手段や図３、図６のフローチャートの各ステップをコンピュータにより実行させるコンピュータプログラムも包含するものである。
【図面の簡単な説明】
【００５５】
【図１】本発明装置の一実施の形態のブロック図である。
【図２】図１中の操作部の一例の構成図である。
【図３】本発明方法の一実施の形態のフローチャートである。
【図４】本発明による撮影パターン指定方法の一例の説明図である。
【図５】本発明における撮影予約指示手段による撮影予約指示の一例の説明図である。
【図６】本発明方法の他の実施の形態のフローチャートである。
【図７】笑顔補正の画面の一例を示す図である。
【符号の説明】
【００５６】
１０  操作部
１１  撮影パターン指定手段
１２  撮影予約指示手段
１３  特徴点指定手段
１５  解析用画像取得手段
１６  特徴点抽出手段
１７  特徴点動作解析手段
１８  特徴点動作分析情報知識
１９  撮影起動手段
２０  キュー出力手段
２１  フラッシュ点灯手段
２２  本画像撮影手段
２３  解析用画像保存手段
２４  解析用画像保存領域
２５  解析用画像再生手段
２６  特徴動作補正手段
２７  知識変更手段
３１  プレビューウィンドウ
３２  メニューキー
３３  決定キー
３４  キャンセルキー
３５  十字キー
【図１】
0004605039.tif 000002
【図２】
0004605039.tif 000003
【図３】
0004605039.tif 000004
【図４】
0004605039.tif 000005
【図５】
0004605039.tif 000006
【図６】
0004605039.tif 000007
【図７】
0004605039.tif 000008