(57)【要約】【課題】  撮像作業を直感的に行うことを可能にする撮像装置等を提供する。【解決手段】  撮像装置は、第１の点、所与の点及び第２の点が実空間上において前記第１の点、前記所与の点及び前記第２の点の順番でまっすぐに並ぶ状態で、前記第１の点を含む第１の被写体と前記第２の点を含む第２の被写体とを撮像して、第１の画像を得る撮像部２０と、前記第１の画像内の前記第１の被写体の顔の一部である器官を前記第１の点に対応する第１の画素位置として検出し、前記所与の点に基づき、前記第１の画素位置を前記第１の画像内の前記第２の被写体内の前記第２の点に対応する第２の画素位置に変換し、前記第２の画素位置を得る処理部４０と、を含む。【選択図】      図１
2011091528.tif 000002
【特許請求の範囲】
【請求項１】
第１の点、所与の点及び第２の点が実空間上において前記第１の点、前記所与の点及び前記第２の点の順番でまっすぐに並ぶ状態で、前記第１の点を含む第１の被写体と前記第２の点を含む第２の被写体とを撮像して、第１の画像を得る撮像部と、
前記第１の画像内の前記第１の被写体の顔の一部である器官を前記第１の点に対応する第１の画素位置として検出し、前記所与の点に基づき、前記第１の画素位置を前記第１の画像内の前記第２の被写体内の前記第２の点に対応する第２の画素位置に変換し、前記第２の画素位置を得る処理部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記処理部は、前記第２の画素位置に基づき、前記第１の画像の一部である被写体領域の大きさを調整し、
前記被写体領域は、前記第２の被写体を表すことを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記撮像部は、複数の第１の画像を得て、
前記処理部は、複数の第１の画素位置を検出し、複数の第２の画素位置を得ることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記所与の点は、前記撮像部の光学系の節点であることを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記撮像部の光学系の節点を表すためのマーカーを
さらに含むことを特徴とする撮像装置。
【請求項６】
請求項１、４、又は５において、
前記撮像部は、複数の第１の画像を得て、
前記複数の第１の画像の中の１つの第１の画像を第１の基準画像とする場合、前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く少なくとも１つの第１の画像内の第２の画素位置に相関する前記第１の基準画像内の第３の画素位置に変換し、
前記処理部は、前記第１の基準画像内の第２の画素位置及び前記第３の画素位置に基づき、前記第１の基準画像の一部である被写体領域の大きさを調整し、
前記被写体領域は、前記第１の基準画像内の第２の被写体を表すことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記処置部は、前記被写体領域が前記第１の基準画像内の前記第２の画素位置及び前記第３の画素位置を含むように、前記被写体領域の大きさを調整することを特徴とする撮像装置。
【請求項８】
請求項６又は７において、
前記被写体領域は、矩形領域であることを特徴とする撮像装置。
【請求項９】
請求項６乃至８のいずれかにおいて、
前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた第１の画像であり、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択し、
前記処理部は、前記第１の対象画像内の第２の画素位置から変換される前記第１の基準画像内の第３の画素位置が前記第１の基準画像内の前記第２の画素位置を中心とする所与の領域内に入ったか否かを判定して第１の判定結果を得て、
前記処理部は、前記第１の判定結果に基づき前記被写体領域の大きさを調整することを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記撮像部が、前記複数の第１の画像に加えて、第１の被写体の撮像を複数回実行して複数の第２の画像を得る場合、前記処理部は、前記複数の第２の画像に基づき、前記第１の被写体のジェスチャ動作が所与のジェスチャ動作であるか否かを判定して第２の判定結果を得て、
前記処理部は、前記第２の判定結果に基づき、前記第２の画像の中の最後に得られた第２の画像を第２の開始前画像に設定し、
前記第１の基準画像は、前記第２の開始前画像が得られた後に得られることを特徴とする撮像装置。
【請求項１１】
請求項９において、
前記第１の被写体からの指示情報を得るユーザインターフェース部を
さらに含み、
前記第１の基準画像は、前記指示情報が得られた後に得られることを特徴とする撮像装置。
【請求項１２】
請求項６乃至８のいずれかにおいて、
前記撮像部が、前記複数の第１の画像に加えて、第１の被写体の撮像を複数回実行して複数の第２の画像を得る場合、前記処理部は、前記複数の第２の画像に基づき、前記第１の被写体のサイズが所与のサイズと一致した後に前記第１の被写体のサイズが小さくなり、その後に、前記第１の被写体のサイズの減少量が所与の減少量以下であるか否かを判定して第１の判定結果を得て、
前記処理部は、前記第１の判定結果に基づき、前記複数の第２の画像の中の最後に得られた第２の画像を第２の開始前画像に設定し、
前記複数の第１の画像の中の最初に得られた第１の画像は、前記第２の開始前画像が得られた後に得られることを特徴とする撮像装置。
【請求項１３】
請求項１２において、
前記処理部は、前記複数の第２の画像の各々の内の前記第１の被写体の少なくとも２つの器官の間の距離に基づき、前記第１の被写体のサイズを得ることを特徴とする撮像装置。
【請求項１４】
請求項１２又は１３において、
前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた前記第１の画像であり、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択し、
前記処理部は、前記第１の基準画像から前記第１の対象画像までの複数の画像に基づき得られる前記第１の被写体のジェスチャ動作が所与のジェスチャ動作であるか否かを判定して第２の判定結果を得て、
前記処理部は、前記第２の判定結果に基づき前記第１の対象画像を前記複数の第１の画像の中の最後に得られた第１の画像に設定することを特徴とする撮像装置。
【請求項１５】
請求項１２又は１３において、
前記第１の被写体からの指示情報を得るユーザインターフェース部を
さらに含み、
前記複数の第１の画像の中の最後に得られた第１の画像は、前記指示情報が得られた後に得られることを特徴とする撮像装置。
【請求項１６】
請求項１２又は１３において、
前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた前記第１の画像であり、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択し、
前記処理部は、前記第１の対象画像内の第２の画素位置から変換される前記第１の基準画像内の第３の画素位置が前記第１の基準画像内の前記第２の画素位置を中心とする所与の領域内に入ったか否かを判定して第２の判定結果を得て、
前記処理部は、前記第２の判定結果に基づき前記第１の対象画像を前記複数の第１の画像の中の最後に得られた第１の画像に設定することを特徴とする撮像装置。
【請求項１７】
請求項６乃至１６のいずれかにおいて、
前記処理部は、前記第１の基準画像を前記被写体領域と一緒に記憶部に記憶させ、又は、前記複数の第１の画像の中の前記第１の基準画像と異なる１つの第１の画像を前記１つの第１の画像内の前記被写体領域と相関する被写体領域と一緒に記憶部に記憶させることを特徴とする撮像装置。
【請求項１８】
請求項６乃至１６のいずれかにおいて、
前記処理部は、前記被写体領域に基づき前記第１の基準画像をトリミングし、又は、前記複数の第１の画像の中の前記第１の基準画像と異なる１つの第１の画像内の前記被写体領域と相関する被写体領域に基づき前記１つの第１の画像をトリミングし、
前記処理部は、トリミングされた画像を記憶部に記憶させることを特徴とする撮像装置。
【請求項１９】
請求項６乃至１６のいずれかにおいて、
前記撮像部は、前記被写体領域が得られた後に、他の複数の第１の画像を得て、
前記処理部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々に対応する他の第２の画素位置を得て、
前記処理部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々を他の複数の第２の画素位置の中の対応する他の１つの第２の画素位置と一緒に記憶部に記憶させることを特徴とする撮像装置。
【請求項２０】
請求項６乃至１８のいずれかにおいて、
前記撮像部は、前記被写体領域が得られた後に、他の複数の第１の画像を得て、
前記処置部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々の内の第２の被写体を追尾する他の被写体領域を得ることを特徴とする撮像装置。
【請求項２１】
請求項１乃至２０のいずれかにおいて、
前記撮像部は、第３の点、前記所与の点及び第４の点が実空間上において前記第３の点、前記所与の点及び前記第４の点の順番でまっすぐに並ぶ状態で、前記第３の点を含む基準被写体と前記第４の点を含む前記第１の被写体とを撮像して、登録画像を得て、
前記処理部は、前記登録画像内の前記基準被写体内の前記第３の点に対応する基準画素位置を検出し、前記登録画像内の前記基準画素位置を前記登録画像内の前記第１の被写体内の前記第４の点に対応する反対基準画素位置に変換し、
前記処理部は、前記登録画像内の前記第１の被写体の第１の眼及び第２の眼を認識して、前記登録画像内の第１の眼画素位置及び第２の眼画素位置を検出し、前記第１の眼画素位置と前記反対基準画素位置との間の第１の距離と前記第２の眼画素位置と前記反対基準画素位置との間の第２の距離とを比較し、
前記第１の距離が前記第２の距離よりも短い場合、前記処理部は、前記第１の画像内の前記第１の被写体の前記顔の一部である前記器官として、前記第１の被写体の前記第１の眼を認識することを特徴とする撮像装置。
【請求項２２】
請求項１乃至２１のいずれかにおいて、
前記撮像部は、全方位光学系を含むことを特徴とする撮像装置。
【請求項２３】
請求項１乃至２１のいずれかにおいて、
前記撮像部は、複数の光学系を含むことを特徴とする撮像装置。
【請求項２４】
請求項１乃至２１のいずれかにおいて、
前記撮像部は、２つの魚眼光学系を含むことを特徴とする撮像装置。
【請求項２５】
第１の点、所与の点及び第２の点が実空間上において前記第１の点、前記所与の点及び前記第２の点の順番でまっすぐに並ぶ状態で、前記第１の点を含む第１の被写体と前記第２の点を含む第２の被写体とを撮像して、第１の画像を得て、
前記第１の画像内の前記第１の被写体の顔の一部である器官を前記第１の点に対応する第１の画素位置として検出し、前記所与の点に基づき、前記第１の画素位置を前記第１の画像内の前記第２の被写体内の前記第２の点に対応する第２の画素位置に変換し、前記第２の画素位置を得ることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法等に関係する。
【背景技術】
【０００２】
電子スチルカメラ、電子ビデオカメラ等の撮像装置が、光学ビューファインダ（ＯＶＦ：Optical View Finder）、電子的ビューファインダ（ＥＶＦ：Electronic View Finder）等のファインダを含む場合、ユーザは、被写体を捕らえるために、ファインダを見ながらフレームの位置やサイズを決定する必要がある。
【０００３】
また、撮像装置は、ファインダを含まないこともある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７４０３３号公報
【特許文献２】特開２００６−２７９５７６号公報
【特許文献３】特開２００２−１２２９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ファインダを見ながら行うフレーミング作業（構図設定作業）は、ユーザにとって煩雑である。また、ユーザは、被写体を適格に捕らえることができない撮像装置、特に、ファインダを含まない撮像装置（ファインダレス撮像装置）に不満を持つ。
【０００６】
特許文献１（特開２００７−７４０３３号公報）は、ファインダレス撮像装置を開示する。具体的には、特許文献１に開示されるファインダレス撮像装置は、被写体を撮像する第１の撮像部１００とユーザを撮像する第２の撮像部１０３とを含む。特許文献１の図９や段落［００８２］に示されるように、第２の撮像部１０３は、第２の撮像部１０３の画像内の中心にユーザが位置するように、第２の雲台１０２の動きに従ってユーザを追尾する。第１の撮像部１００は、第２の撮像部１０３の追尾動作に基づき、第１の雲台１０１の動きに従って第１の撮像部１００の画像内の被写体の位置を決定し、被写体を撮像する。即ち、第１の撮像部１００は、被写体を追尾する。
【０００７】
しかしながら、特許文献１に開示されるフレーミング作業は、ファインダを見ながら行うフレーミング作業と比べて、直感的でない。言い換えれば、ユーザは、自分で第１の雲台１０１及び第２の雲台１０２を動作させるのを感じることができない。また、特許文献１の段落［００５２］に示されるように、第１の撮像部１００の画像内の被写体の位置（構図に関するパラメータ）は、予め設定する必要がある。従って、特許文献１に開示されるフレーミング作業（初期設定作業）は、ユーザにとって煩雑である。
【０００８】
ところで、フレーミング作業後によって構図を設定する代わりに、トリミング作業によって構図を設定することもできる。即ち、撮像装置によって画像が得られた後に、その画像の一部のみを切り出し、その画像の残部を取り除くこともできる。
【０００９】
特許文献２（特開２００６−２７９５７６号公報）は、ファインダを含む撮像装置を開示する。具体的には、特許文献２に開示される撮像装置１０は、被写体を撮像する撮像部１５と撮像部１５の画像を表示するファインダ１７とを含む。特許文献２の図３、図５や段落［００４４］に示されるように、ユーザが撮像装置１０を移動させ、ファインダ１７の中心に位置するポインタＰの軌跡に基づいて、撮像部１５の画像の一部２５を切り出す。
【００１０】
しかしながら、特許文献２の図１４に示されるように、被写体３１全体の大きさがファインダ１７の画角２０を超える場合、ユーザは、ファインダ１７を介して被写体３１全体を一度に確認することができない。従って、特許文献２に開示されるトリミング作業は、被写体全体を一度に確認することができないので、ファインダを見ながら行うフレーミング作業（構図設定作業）と同様に、直感的でない。また、特許文献２の図６や段落［００５１］に示されるように、被写体２１ａ全体の大きさがファインダ１７の表示範囲２２（画角２０）内に収まる場合であっても、ユーザは、ファインダ１７を見ながら、ポインタＰの軌跡が閉曲線を描くか否か確認する必要がある。従って、特許文献２に開示されるトリミング作業は、ファインダを見ながら行うフレーミング作業（構図設定作業）と同様に、ユーザにとって煩雑である。
【００１１】
このように、特許文献１に開示されるファインダレス撮像装置及び特許文献２に開示される撮像装置の各々は、長所と短所を有する。
【００１２】
本発明の幾つかの態様によれば、撮像作業（例えば、ポインティング作業、トリミング作業等）を直感的に行うことを可能にする撮像装置及び撮像方法等を提供できる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、第１の点、所与の点及び第２の点が実空間上において前記第１の点、前記所与の点及び前記第２の点の順番でまっすぐに並ぶ状態で、前記第１の点を含む第１の被写体と前記第２の点を含む第２の被写体とを撮像して、第１の画像を得る撮像部と、
前記第１の画像内の前記第１の被写体の顔の一部である器官を前記第１の点に対応する第１の画素位置として検出し、前記所与の点に基づき、前記第１の画素位置を前記第１の画像内の前記第２の被写体内の前記第２の点に対応する第２の画素位置に変換し、前記第２の画素位置を得る処理部と、
を含む撮像装置に関係する。
【００１４】
本発明の一態様によれば、第１の被写体（例えば、図１の例では、ユーザ）の第１の点（例えば、図１の例では、器官としての眼）と所与の点（例えば、撮像部の光学系の節点）（例えば、図１の例では、広義には、撮像部）との相対的な位置関係により、第２の被写体（例えば、図１の例では、犬）の第２の点（例えば、図１の例では、胸）が実空間上において特定される。第１の点として第１の被写体の顔の一部である器官が用いられるので、第１の被写体は、第２の被写体を指し示すポインタとして、所与の点を利用することができる。また、第１の点（第１の被写体の顔の一部である器官）は、撮像装置によって認識されるので、撮像装置の撮像作業（狭義には、ポインティング作業）は、ユーザの意図とは無関係に常に固定される特許文献２のポインタＰと比べて、直感的である。
【００１５】
また本発明の一態様では、前記処理部は、前記第２の画素位置に基づき、前記第１の画像の一部である被写体領域の大きさを調整してもよく、
前記被写体領域は、前記第２の被写体を表してもよい。
【００１６】
このようにすれば、被写体領域を用いて第１の画像をトリミングすることが可能となる。撮像装置は、直感的なポインティング作業を利用して、直感的なトリミング作業を提供すること可能にする。
【００１７】
また本発明の一態様では、前記撮像部は、複数の第１の画像を得てもよく、
前記処理部は、複数の第１の画素位置を検出し、複数の第２の画素位置を得てもよい。
【００１８】
このようにすれば、複数の第２の画素位置を用いて第１の画像をトリミングすることが可能となる。撮像装置は、直感的なポインティング作業を利用して、直感的なトリミング作業を提供すること可能にする。
【００１９】
また本発明の一態様では、
前記所与の点は、前記撮像部の光学系の節点であってもよい。
【００２０】
このようにすれば、第１の画素位置又は第２の画素位置を正確に又は簡易に求めることができる。
【００２１】
また本発明の一態様では、撮像装置は、
前記撮像部の光学系の節点を表すためのマーカーを
さらに含んでもよい。
【００２２】
このようにすれば、撮像装置は、第２の被写体を指し示すポインタとして、より正確に又はより直感的に機能することができる。
【００２３】
また本発明の一態様では、前記撮像部は、複数の第１の画像を得てもよく、
前記複数の第１の画像の中の１つの第１の画像を第１の基準画像とする場合、前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く少なくとも１つの第１の画像内の第２の画素位置に相関する前記第１の基準画像内の第３の画素位置に変換してもよく、
前記処理部は、前記第１の基準画像内の第２の画素位置及び前記第３の画素位置に基づき、前記第１の基準画像の一部である被写体領域の大きさを調整してもよく、
前記被写体領域は、前記第１の基準画像内の第２の被写体を表してもよい。
【００２４】
このようにすれば、被写体領域を用いて第１の画像をトリミングすることが可能となる。また、第１の基準画像内の第２の画素位置及び第３の画素位置に基づき被写体領域の大きさを調整できるので、第１の基準画像内の被写体領域を正確に得ることができる。
【００２５】
また本発明の一態様では、前記処置部は、前記被写体領域が前記第１の基準画像内の前記第２の画素位置及び前記第３の画素位置を含むように、前記被写体領域の大きさを調整してもよい。
【００２６】
このようにすれば、被写体領域の大きさは、第１の基準画像内の第２の画素位置及び複数の第３の画素位置が分散する分散領域の大きさに依存する。言い換えれば、分散領域がより大きくなると、被写体領域もより大きくなる。従って、第１の画像をより直感的にトリミングすることが可能となる。
【００２７】
また本発明の一態様では、前記被写体領域は、矩形領域であってもよい。
【００２８】
このようにすれば、被写体領域の情報量を少なくすることができる。また、被写体領域に対応するトリミング領域をユーザが親しみ易い形状に設定することができる。
【００２９】
また本発明の一態様では、前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた第１の画像であってもよく、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択してもよく、
前記処理部は、前記第１の対象画像内の第２の画素位置から変換される前記第１の基準画像内の第３の画素位置が前記第１の基準画像内の前記第２の画素位置を中心とする所与の領域内に入ったか否かを判定して第１の判定結果を得てもよく、
前記処理部は、前記第１の判定結果に基づき前記被写体領域の大きさを調整してもよい。
【００３０】
このようにすれば、第１の被写体の第１の点と所与の点との相対的な位置関係が初期動作時の相対的な位置関係にほぼ戻った時に、被写体領域を特定するために必要な第１の画像の取得を終了することができる。撮像装置がファインダを含まない場合であっても、第１の被写体（図１の例では、ユーザ）は、直感的で且つ簡易に被写体領域を特定することができる。
【００３１】
また本発明の一態様では、前記撮像部が、前記複数の第１の画像に加えて、第１の被写体の撮像を複数回実行して複数の第２の画像を得る場合、前記処理部は、前記複数の第２の画像に基づき、前記第１の被写体のジェスチャ動作が所与のジェスチャ動作であるか否かを判定して第２の判定結果を得てもよく、
前記処理部は、前記第２の判定結果に基づき、前記第２の画像の中の最後に得られた第２の画像を第２の開始前画像に設定してもよく、
前記第１の基準画像は、前記第２の開始前画像が得られた後に得られてもよい。
【００３２】
このようにすれば、第２の画像内の第１の被写体のジェスチャ動作により、被写体領域を特定するために必要な第１の画像の取得を開始することができる。
【００３３】
また本発明の一態様では、前記第１の被写体からの指示情報を得るユーザインターフェース部を
さらに含んでもよく、
前記第１の基準画像は、前記指示情報が得られた後に得られてもよい。
【００３４】
このようにすれば、第１の被写体からの指示動作により、被写体領域を特定するために必要な第１の画像の取得を開始することができる。
【００３５】
また本発明の一態様では、前記撮像部が、前記複数の第１の画像に加えて、第１の被写体の撮像を複数回実行して複数の第２の画像を得る場合、前記処理部は、前記複数の第２の画像に基づき、前記第１の被写体のサイズが所与のサイズと一致した後に前記第１の被写体のサイズが小さくなり、その後に、前記第１の被写体のサイズの減少量が所与の減少量以下であるか否かを判定して第１の判定結果を得てもよく、
前記処理部は、前記第１の判定結果に基づき、前記複数の第２の画像の中の最後に得られた第２の画像を第２の開始前画像に設定してもよく、
前記複数の第１の画像の中の最初に得られた第１の画像は、前記第２の開始前画像が得られた後に得られてもよい。
【００３６】
このようにすれば、第１の被写体と撮像装置との相対的な距離が徐々に離れ、相対的な距離が一定の距離に定まった時に、被写体領域を特定するために必要な第１の画像の取得を開始することができる。撮像装置がファインダを含まない場合であっても、第１の被写体は、直感的で且つ簡易に被写体領域を特定することができる。
【００３７】
また本発明の一態様では、前記処理部は、前記複数の第２の画像の各々の内の前記第１の被写体の少なくとも２つの器官の間の距離に基づき、前記第１の被写体のサイズを得てもよい。
【００３８】
このようにすれば、第１の被写体のサイズを適格に把握することができる。
【００３９】
また本発明の一態様では、前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた前記第１の画像であってもよく、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択してもよく、
前記処理部は、前記第１の基準画像から前記第１の対象画像までの複数の画像に基づき得られる前記第１の被写体のジェスチャ動作が所与のジェスチャ動作であるか否かを判定して第２の判定結果を得てもよく、
前記処理部は、前記第２の判定結果に基づき前記第１の対象画像を前記複数の第１の画像の中の最後に得られた第１の画像に設定してもよい。
【００４０】
このようにすれば、第１の画像内の第１の被写体のジェスチャ動作により、被写体領域を特定するために必要な第１の画像の取得を終了することができる。
【００４１】
また本発明の一態様では、前記第１の被写体からの指示情報を得るユーザインターフェース部を
さらに含んでもよく、
前記複数の第１の画像の中の最後に得られた第１の画像は、前記指示情報が得られた後に得られてもよい。
【００４２】
このようにすれば、第１の被写体からの指示動作により、被写体領域を特定するために必要な第１の画像の取得を終了することができる。
【００４３】
また本発明の一態様では、前記第１の基準画像は、前記複数の第１の画像の中の最初に得られた前記第１の画像であってもよく、
前記処理部は、前記複数の第１の画像から前記第１の基準画像を除く前記少なくとも１つの第１の画像を第１の対象画像として選択してもよく、
前記処理部は、前記第１の対象画像内の第２の画素位置から変換される前記第１の基準画像内の第３の画素位置が前記第１の基準画像内の前記第２の画素位置を中心とする所与の領域内に入ったか否かを判定して第２の判定結果を得てもよく、
前記処理部は、前記第２の判定結果に基づき前記第１の対象画像を前記複数の第１の画像の中の最後に得られた第１の画像に設定してもよい。
【００４４】
このようにすれば、第１の被写体と撮像装置との相対的な位置関係が初期動作時の相対的な位置関係にほぼ戻った時に、被写体領域を特定するために必要な第１の画像の取得を終了することができる。
【００４５】
また本発明の一態様では、前記処理部は、前記第１の基準画像を前記被写体領域と一緒に記憶部に記憶させ、又は、前記複数の第１の画像の中の前記第１の基準画像と異なる１つの第１の画像を前記１つの第１の画像内の前記被写体領域と相関する被写体領域と一緒に記憶部に記憶させてもよい。
【００４６】
このようにすれば、第１の画像が記憶部に記憶された後に、被写体領域を用いて第１の画像をトリミングすることができる。
【００４７】
また本発明の一態様では、前記処理部は、前記被写体領域に基づき前記第１の基準画像をトリミングし、又は、前記複数の第１の画像の中の前記第１の基準画像と異なる１つの第１の画像内の前記被写体領域と相関する被写体領域に基づき前記１つの第１の画像をトリミングしてもよく、
前記処理部は、トリミングされた画像を記憶部に記憶させてもよい。
【００４８】
このようにすれば、トリミングされた画像を記憶部を介して提供することができる。
【００４９】
また本発明の一態様では、前記撮像部は、前記被写体領域が得られた後に、他の複数の第１の画像を得てもよく、
前記処理部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々に対応する他の第２の画素位置を得てもよく、
前記処理部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々を他の複数の第２の画素位置の中の対応する他の１つの第２の画素位置と一緒に記憶部に記憶させてもよい。
【００５０】
このようにすれば、被写体領域と他の第２の画素位置とを関連付けることが可能となり、被写体領域と他の第２の画素位置を用いて他の第１の画像をトリミングすることができる。
【００５１】
また本発明の一態様では、前記撮像部は、前記被写体領域が得られた後に、他の複数の第１の画像を得てもよく、
前記処置部は、前記被写体領域が得られた後に得られた前記他の複数の第１の画像の各々の内の第２の被写体を追尾する他の被写体領域を得てもよい。
【００５２】
このようにすれば、他の被写体領域を用いて他の第１の画像をトリミングすることができる。
【００５３】
また本発明の一態様では、前記撮像部は、第３の点、前記所与の点及び第４の点が実空間上において前記第３の点、前記所与の点及び前記第４の点の順番でまっすぐに並ぶ状態で、前記第３の点を含む基準被写体と前記第４の点を含む前記第１の被写体とを撮像して、登録画像を得てもよく、
前記処理部は、前記登録画像内の前記基準被写体内の前記第３の点に対応する基準画素位置を検出し、前記登録画像内の前記基準画素位置を前記登録画像内の前記第１の被写体内の前記第４の点に対応する反対基準画素位置に変換してもよく、
前記処理部は、前記登録画像内の前記第１の被写体の第１の眼及び第２の眼を認識して、前記登録画像内の第１の眼画素位置及び第２の眼画素位置を検出し、前記第１の眼画素位置と前記反対基準画素位置との間の第１の距離と前記第２の眼画素位置と前記反対基準画素位置との間の第２の距離とを比較してもよく、
前記第１の距離が前記第２の距離よりも短い場合、前記処理部は、前記第１の画像内の前記第１の被写体の前記顔の一部である前記器官として、前記第１の被写体の前記第１の眼を認識してもよい。
【００５４】
このようにすれば、被写体領域を獲得する前の準備段階として、基準被写体を撮影し、基準被写体を見ている第１の被写体の利き目を登録することができる。第１の被写体の利き目から所与の点を介して第２の被写体を被写体領域として捕らえることができる。
【００５５】
また本発明の一態様では、前記撮像部は、全方位光学系を含んでもよい。
【００５６】
このようにすれば、第１の被写体と第２の被写体を同時に撮像する画像を得ることができる。
【００５７】
また本発明の一態様では、前記撮像部は、複数の光学系を含んでもよい。
【００５８】
このようにすれば、複数の画像を組み合わせて、第１の被写体と第２の被写体を同時に撮像してもよい。
【００５９】
また本発明の一態様では、前記撮像部は、２つの魚眼光学系を含んでもよい。
【００６０】
このようにすれば、第１の被写体と第２の被写体を同時に撮像する画像を確実に得ることができる。
【００６１】
また本発明の他の態様は、第１の点、所与の点及び第２の点が実空間上において前記第１の点、前記所与の点及び前記第２の点の順番でまっすぐに並ぶ状態で、前記第１の点を含む第１の被写体と前記第２の点を含む第２の被写体とを撮像して、第１の画像を得て、
前記第１の画像内の前記第１の被写体の顔の一部である器官を前記第１の点に対応する第１の画素位置として検出し、前記所与の点に基づき、前記第１の画素位置を前記第１の画像内の前記第２の被写体内の前記第２の点に対応する第２の画素位置に変換し、前記第２の画素位置を得ることを特徴とする撮像方法に関係する。
【００６２】
このようにすれば、第１の被写体は、第２の被写体を指し示すポインタとして、所与の点を利用することができる。また、第１の点は、撮像装置によって認識されるので、撮像装置の撮像作業は、ユーザの意図とは無関係に常に固定される特許文献２のポインタＰと比べて、直感的である。
【図面の簡単な説明】
【００６３】
【図１】本実施形態の動作原理の概要の説明図。
【図２】図２（Ａ）、図２（Ｂ）は、光学系の概念説明図。
【図３】図３（Ａ）、図３（Ｂ）は、画素位置の説明図。
【図４】図４（Ａ）、図４（Ｂ）は、光学系の他の概念説明図。
【図５】図５（Ａ）、図５（Ｂ）は、光学系の他の概念説明図。
【図６】本実施形態の撮像装置の構成例。
【図７】図６の撮像装置の第１の具体例。
【図８】図７の撮像部の変形例。
【図９】図７の処理部の変形例。
【図１０】図１０（Ａ）、図１０（Ｂ）は、撮像画像とパノラマ画像との関係の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は、撮像装置の使用方法の説明図。
【図１５】ペン型撮像装置の外観図。
【図１６】複数のパノラマ画像の重ね合わせ例。
【図１７】撮像装置の動作方法を説明する第１のフローチャート。
【図１８】撮像装置の動作方法を説明する第２のフローチャート。
【図１９】複数のパノラマ画像の各々の内の第２の画素位置の説明図。
【図２０】撮像装置の動作方法を説明する第３のフローチャート。
【図２１】図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）、図２１（Ｄ）は、被写体領域の作成例。
【発明を実施するための形態】
【００６４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００６５】
１．概要
１．１  動作原理の概要
図１は、本実施形態の動作原理の概要を説明する図を示す。図１の例において、第１の被写体及び第２の被写体が示される。図１において、第１の被写体は、例えば人間であり、撮像装置のユーザでもある。図１において、第２の被写体は、例えば犬である。なお、撮像装置によって撮像される１つの画像全体を１つの被写体として表すこともあるが、一般には、１つの画像内の１つの独立した対象を１つの被写体と呼ぶことができる。本明細書においても、１つの画像内の１つの独立した対象を１つの被写体と呼ぶが、複数の被写体を１つの被写体としてまとめて呼んでもよい。具体的には、図１の例において、犬を第２の被写体と呼び、例えばペットのお皿、ペットの首輪等を第３の被写体と呼ぶことができるが、犬及び例えばペットのお皿を第２の被写体と呼んでもよい。或いは、撮像装置のユーザを第１の被写体とし、その他を第２の被写体と呼んでもよい。
【００６６】
図１に示される撮像部２０は、第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２が実空間上において第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の順番でまっすぐに並ぶ状態で、第１の点Ｐ１を含む第１の被写体と第２の点Ｐ２を含む第２の被写体とを撮像する。言い換えれば、撮像部２０は、所与の点ＰＧを基準として第１の方向Ｄ１に存在する第１の点Ｐ１（広義には、第１の被写体）とともに、所与の点ＰＧを基準として第１の方向Ｄ１と反対の第２の方向Ｄ２に存在する第２の点Ｐ２（広義には、第２の被写体）を撮像する。撮像部２０を含む撮像装置（図１の例では、ペン型撮像装置）は、第１の被写体の顔の一部である器官（図１の例では、右眼）を第１の点Ｐ１として認識し、第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の相対的位置関係に基づき、第２の点Ｐ２を認識する。第１の被写体が所与の点ＰＧを介して第２の点Ｐ２を見るとき、第１の被写体は、第２の点Ｐ２（広義には、第２の被写体）を指し示すポインタとして、所与の点（広義には、撮像装置）を利用することができる。第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２がまっすぐに並ぶので、第１の被写体は、第２の点Ｐ２を直感的に把握することができる。なお、図１の例において、撮像装置の中心軸ＣＡは、点線で描かれている。
【００６７】
１．２  光学系
図２（Ａ）、図２（Ｂ）は、全方位光学系への入射光を概念的に説明する図である。図２（Ａ）、図２（Ｂ）の例において、光学系は、全方位光学系であり、且つ魚眼光学系である。図２（Ａ）を例えば平面図と呼ぶ時、図２（Ｂ）を例えば正面図と呼ぶことができる。言い換えれば、図２（Ｂ）の光学系の光軸ＯＡが図１の撮像装置の中心軸ＣＡに平行であることを仮定すれば、図２（Ｂ）を例えば正面図と呼ぶことができる。
【００６８】
光学系に入射する光線の方位角φは、例えば、図２（Ａ）で示すように定義することができる。図２（Ａ）において、方位角φは、例えば、基準面ＰＯ（光学系の節点Ｏｃを含む面であって、光学系の光軸ＯＡに垂直な面）内の基準方向（節点Ｏｃから所与の方向）との関係を表す方向と呼ぶことができる。或いは、方位角φは、例えば、基準面ＰＯ内の基準方向（方位角φが０°を示す方向）を基準として傾いている角度と呼ぶことができる。図２（Ａ）の例において、方位角φの範囲が０°〜３６０°であるので、図２（Ａ）の光学系は、全方位光学系である。また、全方位光学系は、例えば魚眼光学系で構成される。
【００６９】
光学系に入射する光線の入射角θは、例えば、図２（Ｂ）で示すように定義することができる。図２（Ｂ）において、入射角θは、例えば、基準面ＰＯ内の節点Ｏｃに入射する角度と呼ぶことができる。或いは、入射角θは、例えば、基準面ＰＯ内の基準軸（光軸ＯＡ、又は入射角θが０°を示す軸）を基準として傾いている角度と呼ぶことができる。図２（Ｂ）の例において、入射角θの範囲は、例えば０°〜１２０°であり、図２（Ｂ）の光学系の画角は、例えば２４０°である。
【００７０】
なお、図２（Ａ）における円及び図２（Ｂ）における球の一部は、レンズそのものを表すものではなく、レンズの概念を表す。また、図２（Ａ）、図２（Ｂ）における魚眼光学系は、理想的な光学系を表す。
【００７１】
図１の撮像部２０が第１の点Ｐ１を撮像する時、第１の点Ｐ１又は第１の方向Ｄ１は、例えば図２（Ａ）、図２（Ｂ）で定義される方位角及び入射角で表すことができる。図１における第１の点Ｐ１の方位角及び入射角は、例えばφｈ及びθｈで表すことができる。同様に、図１における第２の点Ｐ２の方位角及び入射角は、例えばφｏ及びθｏで表すことができる。また、第２の点Ｐ２の方位角φｏは、第１の点Ｐ１の方位角φｈの反対方位角と呼ぶことができ、所与の点ＰＧが光学系の節点Ｏｃである場合、φｏは、例えば、φｈに１８０°を加えることで算出できる。同様に、第２の点Ｐ２の入射角θｏは、第１の点Ｐ１の入射角θｈの反対入射角と呼ぶことができ、θｏは、例えば、θｈに１８０°を加えることで算出できる。
【００７２】
図１における第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の相対的位置のように、例えば、第２の点Ｐ２の方位角φｏが第１の点Ｐ１の方位角φｈの反対方位角であり、且つ、２の点Ｐ２の入射角θｏが第１の点Ｐ１の入射角θｈの反対入射角である場合、第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２は、実空間上においてまっすぐに並ぶ状態であると呼ぶことができる。
【００７３】
図３（Ａ）、図３（Ｂ）は、全方位光学系への入射光とその光線が撮像素子に投影される光の画素位置を説明する図である。図３（Ａ）の例において、撮像素子３０の撮像面ＰＣの座標系は、ＵＶ２次元直交座標系である。図３（Ａ）、図３（Ｂ）に示されるように、入射角θ及び方位角φを持つ光線は、撮像素子３０の撮像面ＰＣ（ＵＶ平面）上の画素Ｘに投影される。画素Ｘの画素位置は、座標（ｕ，ｖ）で表すことができる。光学系の節点Ｏｃに対応する撮像面ＰＣ内の点の画素位置は、座標（Ｕ０，Ｖ０）で表すことができる。
【００７４】
図１の撮像部２０が第１の点Ｐ１を撮像する時、第１の点Ｐ１又は第１の方向Ｄ１は、例えば図３（Ａ）で定義される画素位置の座標で表すことができる。図１における第１の点Ｐ１に対応する第１の画素位置は、例えば座標（ｕｈ，ｖｈ）で表すことができる。同様に、図１における第２の点Ｐ２に対応する第２の画素位置は、例えば座標（ｕｏ，ｖｏ）で表すことができる。
【００７５】
図３（Ａ）に示す画素Ｘの画素位置の座標（ｕ，ｖ）は、光学系の投影方式に従うので、画素Ｘの画素位置の座標（ｕ，ｖ）を用いて、入射角θ及び方位角φを演算することができる。光学系が例えば魚眼光学系であり、その魚眼光学系の投影方式が例えば等距離射影方式（ｆθレンズ）である場合、一般に以下の式１を満たす。
【００７６】
【数１】
2011091528.tif 000003
【００７７】
ここで、ｄは、座標（Ｕ０，Ｖ０）と座標（ｕ，ｖ）との距離［ｐｉｘｅｌ］であり、ｐは、画素のピッチ寸法［ｍｍ／ｐｉｘｅｌ］であり、ｄ・ｐは、像高［ｍｍ］である。ｆは、焦点距離［ｍｍ］である。式１で示されるように、実空間上の点（入射角θ及び方位角φ）は、画素Ｘの画素位置（ｕ，ｖ）に対応する。
【００７８】
図３（Ａ）に示す関係により、所与の点ＰＧが光学系の節点Ｏｃである場合、以下の式２、式３、式４を用いて、第１の画素位置（ｕｈ，ｖｈ）から第２の画素位置（ｕｏ，ｖｏ）に変換することができる。
【００７９】
まず、第１の画素位置（ｕｈ，ｖｈ）から入射光線の角度（θｈ，φｈ）への変換は、式２により求めることができる。ｄｈ・ｐは、像高［ｍｍ］である。
【００８０】
【数２】
2011091528.tif 000004
【００８１】
次に、第１画素位置への入射光線の角度（θｈ，φｈ）から第２画素位置への入射光線の角度（θo，φo）への変換は、式３により求めることができる。
【００８２】
【数３】
2011091528.tif 000005
【００８３】
第２画素位置への入射光線の角度（θo，φo）から第２の画素位置（ｕo，ｖo）への変換は、式４により求めることができる。ｄoは、像高［ｐｉｘｅｌ］である。
【００８４】
【数４】
2011091528.tif 000006
【００８５】
このように、光学系の節点Ｏｃ（広義には、所与の点ＰＧ）に基づき、第１の画素位置（ｕｈ，ｖｈ）を第２の画素位置（ｕo，ｖo）に変換することができる。但し、この関係式は、光学系に画像歪がないこと、言い換えれば理想的な等距離射影レンズであることを想定している。実際には画像歪があるため、画素位置（ｕｈ，ｖｈ）から角度（θｈ，φｈ）に変換するとき、また角度（θo，φo）から画素位置（ｕo，ｖo）に変換するとき、画像歪の補正が必要となる。例えば、入射角度（θ，φ）に対する計算座標（ｕ，ｖ）ごとの画像歪を予め測定し、その画像歪の補正テーブル用意しておくことで、第１の画素位置（ｕｈ，ｖｈ）から第２の画素位置（ｕo，ｖo）を正確に求めることができる。
【００８６】
また、初期設定作業として、例えば積分球内に光学系を配置し、均一な光を撮像素子３０で撮像することで、図３（Ａ）の円で示す円形画像を得ることができる。また、得られた円形画像から図３（Ａ）の円の中心を求めることができる。円の中心の画素位置は、光学系の節点Ｏｃに対応する撮像面ＰＣ内の点の画素位置（Ｕ０，Ｖ０）である。
【００８７】
図３（Ａ）に示す関係においてレンズの歪が完全に補正されていれば、所与の点ＰＧが光学系の節点Ｏｃである場合、以下の式５を用いることでより簡易的に、第１の画素位置（ｕｈ，ｖｈ）を第２の画素位置（ｕｏ，ｖｏ）に変換することができる。
【００８８】
【数５】
2011091528.tif 000007
【００８９】
なお、図３（Ｂ）において、物体（被写体）側の節点及び像側の節点は、簡易的に１つの点Ｏｃとして表されているが、入射光が進む物体（被写体）側の節点Ｏｃと独立する像側の節点を描くこともできる。この場合、出射光は、像側の節点から撮像面ＰＣに向かう。言い換えれば、図３（Ｂ）において、物体（被写体）側の節点Ｏｃの他に、像側の節点を描くこともできる。また、図３（Ｂ）において、物体（被写体）側の屈折率（例えば、空気の屈折率）が像側の屈折率（例えば、空気の屈折率）と等しいので、節点Ｏｃは、光学系の主点と一致する。
【００９０】
図４（Ａ）、図４（Ｂ）は、他の全方位光学系による入射光とその光線が撮像素子に投影される光線を概念的に説明する図である。図４（Ａ）、図４（Ｂ）の例において、光学系は、全方位光学系であり、且つミラー反射光学系である。図４（Ａ）を例えば平面図と呼ぶ時、図４（Ｂ）を例えば正面図と呼ぶことができる。光学系に入射する光線の方位角φ及び入射角θは、例えば、図４（Ａ）、図４（Ｂ）で示すように定義することができる。図４（Ａ）、図４（Ｂ）で示すように、全方位光学系は、例えば光軸ＯＡを対称軸とした回転対称ミラー方式で構成される。なお、図４（Ａ）における実線で示される円及び図４（Ｂ）における半球は、ミラーの概念を表す。また、図４（Ｂ）において、レンズの概念の視覚化は、省略されている。
【００９１】
図４（Ａ）、図４（Ｂ）の例においても、第１の画素位置は、光学系の節点Ｏｃ（広義には、所与の点ＰＧ）に基づき、第２の画素位置に変換することができる。また、図４（Ａ）、図４（Ｂ）の撮像素子３０の撮像面ＰＣ（ＵＶ平面）上の画素Ｘの座標（ｕ，ｖ）は、投影方式に基づき、入射角θ及び方位角φに変換してもよい。ミラー面としては双曲面鏡、円錐鏡、方物面鏡、球面鏡など多くの方式があり、それぞれの投影方式に応じた変換処理を行うことができる。
【００９２】
図５（Ａ）、図５（Ｂ）は、光学系を概念的に説明する他の図である。図５（Ａ）、図５（Ｂ）の例において、光学系は、全方位光学系であり、且つ魚眼光学系（狭義には、２つの魚眼光学系）である。図５（Ａ）を例えば平面図と呼ぶ時、図５（Ｂ）を例えば正面図と呼ぶことができる。第１の魚眼光学系に入射する光線の方位角φ１及び入射角θ１は、例えば、図５（Ａ）、図５（Ｂ）で示すように定義することができる。また、第２の魚眼光学系に入射する光線の方位角φ２及び入射角θ２は、例えば、図５（Ａ）、図５（Ｂ）で示すように定義することができる。図５（Ａ）、図５（Ｂ）において、第１の魚眼光学系の光軸ＯＡ１は、第２の魚眼光学系の光軸ＯＡ２と一致し、方位角φ１を方位角φ２に一致させることができる。言い換えれば、図５（Ａ）において、第１の基準面ＰＯ１（第１の魚眼光学系の節点Ｏｃ１を含む面であって、第１の魚眼光学系の光軸ＯＡ１に垂直な面）内の基準方向（節点Ｏｃ１から所与の方向、又は方位角φ１が０°を示す方向）は、第２の基準面ＰＯ２（第２の魚眼光学系の節点Ｏｃ２を含む面であって、第２の魚眼光学系の光軸ＯＡ２に垂直な面）内の基準方向（節点Ｏｃ２から所与の方向、又は方位角φ２が０°を示す方向）と一致させることができる。
【００９３】
図５（Ｂ）の例において、入射角θ１の範囲は、例えば０°〜９０°であり、入射角θ２の範囲は、例えば０°〜９０°であり、図５（Ｂ）の全体の光学系（第１の魚眼光学系と第２の魚眼光学系との組み合わせ）の画角は、例えば３６０°である。
【００９４】
図１の撮像部２０が第１の点Ｐ１を撮像する時、第１の点Ｐ１又は第１の方向Ｄ１は、例えば図５（Ａ）、図５（Ｂ）で示される第１の魚眼光学系を用いて撮像することができる。第１の点Ｐ１に対応する第１の画素位置は、例えば、第１の魚眼光学系の撮像素子３０−１の撮像面ＰＣ１の座標系で表すことができる。同様に、図１における第２の点Ｐ２又は第２の方向Ｄ２は、例えば図５（Ａ）、図５（Ｂ）で示される第２の魚眼光学系を用いて撮像することができる。第２の点Ｐ２に対応する第２の画素位置は、例えば、第２の魚眼光学系の撮像素子３０−２の撮像面ＰＣ２の座標系で表すことができる。撮像面ＰＣ１の座標系及び撮像面ＰＣ２の座標系の双方を例えば図３（Ａ）で示すＵＶ２次元直交座標系で表すことができる場合、図５（Ａ）に示す関係により、例えば上述の式１を用いて、第１の画素位置（ｕｈ，ｖｈ）を第２の画素位置（ｕｏ，ｖｏ）に変換することができる。
【００９５】
また、図１の撮像部２０が第１の点Ｐ１を撮像する時、第１の点Ｐ１又は第１の方向Ｄ１は、例えば図５（Ａ）、図５（Ｂ）で定義される方位角及び入射角で表すことができる。図１における第１の点Ｐ１の方位角及び入射角は、例えば第１の魚眼光学系で表されるφｈ及びθｈで表すことができる。同様に、図１における第２の点Ｐ２の方位角及び入射角は、例えば第２の魚眼光学系で表されるφｏ及びθｏで表すことができる。第１の魚眼光学系の節点Ｏｃ１に対応する撮像面ＰＣ１内の点の画素位置（Ｕ０，Ｖ０）が第２の魚眼光学系の節点Ｏｃ２に対応する撮像面ＰＣ２内の点の画素位置（Ｕ０，Ｖ０）と等しく、第１の魚眼光学系の画素のピッチ寸法ｐが第２の魚眼光学系の画素のピッチ寸法ｐと等しく、第１の魚眼光学系の画素の焦点距離ｆが第２の魚眼光学系の画素の焦点距離ｆと等しい場合、言い換えれば、図５（Ｂ）に示すように第１の魚眼光学系が第２の魚眼光学系と対称である場合、第１の魚眼光学系のφｈ及びθｈは、例えば上述の式１を用いて表すことができ、第２の魚眼光学系のφｏ及びθｏも、例えば上述の式１を用いて表すことができる。従って、例えば式１で示されるように、第１の点Ｐ１（入射角θｈ及び方位角φｈ）は、第１の魚眼光学系の画素位置（ｕｈ，ｖｈ）に対応し、第２の点Ｐ２（入射角θｏ及び方位角φｏ）は、第２の魚眼光学系の画素位置（ｕｏ，ｖｏ）に対応する。
【００９６】
なお、所与の点ＰＧが第１の魚眼光学系の節点Ｏｃ１である場合、第２の点Ｐ２の方位角φｏ（第１の点Ｐ１の方位角φｈの反対方位角）は、例えば、φｈに１８０°を加えることで算出できる。但し、第１の点Ｐ１と所与の点ＰＧとの距離をＬｈとし、第１の魚眼光学系の節点Ｏｃ１と第２の魚眼光学系の節点Ｏｃ２との距離をＬｃとする場合、Ｌｃ／Ｌｈ≒０の関係式が満たされていることを想定する。言い換えれば、Ｌｃ／Ｌｈ≒０の関係式が満たされていれば、所与の点ＰＧが第２の魚眼光学系の節点Ｏｃ２であっても、第２の点Ｐ２の方位角φｏは、例えば、φｈに１８０°を加えることで算出できる。同様に、所与の点ＰＧが第１の魚眼光学系の節点Ｏｃ１（又は第２の魚眼光学系の節点Ｏｃ２）である場合、第２の点Ｐ２の入射角θｏ（第１の点Ｐ１の入射角θｈの反対入射角）は、例えば、θｈとすることができる。
【００９７】
図１における第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の相対的位置のように、例えば、第２の点Ｐ２の方位角φｏが第１の点Ｐ１の方位角φｈの反対方位角（φｏ＝φｈ＋１８０°）であり、且つ、第２の点Ｐ２の入射角θｏが第１の点Ｐ１の入射角θｈの反対入射角（θｏ＝θｈ）である場合、第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２は、実空間上においてまっすぐに並ぶ状態であると呼ぶことができる。
【００９８】
２．実施形態
２．１  構成例
図６は、本実施形態の撮像装置の構成例を示す。図６の撮像装置は、撮像部２０及び処理部４０を含む。図６の撮像装置は、撮像部２０及び処理部４０以外の他の部を含んでもよく、或いは、他の部の機能を撮像部２０又は処理部４０が含んでもよい。撮像装置は、典型的には、電子スチルカメラや電子ビデオカメラである。図１に示されるような撮像部２０を含む撮像装置は、ペン型撮像装置と呼ぶことができる。また、携帯型情報端末、携帯電話機、携帯型ゲーム機等の電子機器は、図１に示されるような撮像部２０を含んでもよく、処理部４０は、電子機器の処理機能の全て又は一部を含むことができる。以下に、撮像部２０及び処理部４０の動作を説明する。
【００９９】
図６の撮像部２０は、第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２が実空間上において第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の順番でまっすぐに並ぶ状態で、第１の点Ｐ１を含む第１の被写体と第２の点Ｐ２を含む第２の被写体とを撮像して、第１の画像を得る。また、図６の処理部４０は、第１の画像内の第１の被写体の顔の一部である器官を第１の点Ｐ１に対応する第１の画素位置として検出し、所与の点ＰＧに基づき、第１の画素位置を第１の画像内の第２の被写体内の第２の点Ｐ２に対応する第２の画素位置に変換し、第２の画素位置を得る。
【０１００】
図６の撮像部２０は、図１に示されるように、所与の点ＰＧを基準として第１の方向Ｄ１に存在する第１の点Ｐ１とともに、所与の点ＰＧを基準として第１の方向Ｄ１と反対の第２の方向Ｄ２に存在する第２の点Ｐ２を撮像できるように、例えば図２、図４、図５に示されるような光学系を含む。但し、図６の撮像部２０に含まれる光学系は、図２、図４、図５の内容に限定されない。例えば、図６の撮像部２０は、第１の点Ｐ１及び第２の点Ｐ２を同時に撮像できることを条件に、本出願時において当業者に知られている光学系を含むことができる。
【０１０１】
図６の処理部４０は、撮像部２０によって得られた第１の画像の中に器官が含まれているか否かを判定する。第１の画像内に器官が存在する場合、処理部４０は、器官に対応する第１の画素位置として検出する。また、図６の処理部４０は、例えば上述の式１で示すような関係式を用いて、第１の画素位置を第２の画素位置に変換する。言い換えれば、図６の処理部４０は、所与の点ＰＧに基づく所与の変換式を利用して、第１の画素位置を第２の画素位置に変換する。
【０１０２】
第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２が実空間上において第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の順番でまっすぐに並ぶ状態で、第１の点Ｐ１に対応する第１の画素位置から第２の点Ｐ２に対応する第２の画素位置を得ることは、第１の被写体（例えば、図１の例では、撮像装置のユーザ）が第２の被写体を指し示す直感的なポインタとして、所与の点ＰＧを利用することができることを意味する。
【０１０３】
図６の処理部４０は、第２の画素位置に基づき、第１の画像の一部である被写体領域の大きさを調整したり、第１の画像内の第２の画素位置に相関する第３の画素位置を得たり、様々な処理をすることができる。また、図６の撮像部２０は、複数の第１の画像を得ることができる。以下に、撮像部２０及び処理部４０の具体例を説明する。
【０１０４】
２．２  具体例
図７は、図６の撮像装置の具体例を示す。図６の撮像装置は、例えば図７に示されるように、上述の処理に加え、他の処理を実施してもよい。図７の撮像装置は、撮像部２０及び処理部４０を含む。また、図７の例において、撮像装置は、記憶部８０及びユーザインターフェース部９０を含むことができる。さらに、直感的なポインタとして、所与の点ＰＧを利用することができるので、図７の撮像装置は、撮像部２０によって得られる画像を表示する表示部（ファインダ）を必要としない。なお、図６の撮像装置の具体例は、図７の撮像装置の内容に限定されず、図７の撮像装置の構成例を変形することができる。即ち、図７の撮像装置は、例えばユーザインターフェース部９０を省略したり、他の構成要素を追加することも可能である。
【０１０５】
加えて、図７の撮像装置の撮像部２０は、光学素子１０、撮像素子３０、ＡＦＥ（Analog Front End）回路３２及びシャッター部３４を含むが、図６の撮像装置の具体例は、図７の撮像装置の撮像部２０の内容に限定されず、図７の撮像部２０の構成例を変形することができる。また、図７の撮像装置の処理部２０は、タイミング設定部４２、顔器官検出部５４、被写体位置演算部５６、パターン認識部６２、相関位置演算部６４及び被写体領域演算部６６を含むが、図６の撮像装置の具体例は、図７の撮像装置の処理部４０の内容に限定されず、図７の処理部４０の構成例を変形することができる。即ち、撮像部２０や処理部４０は、その内部の構成要素の一部（例えば、タイミング設定部４２、パターン認識部６２、相関位置演算部６４等）を省略したり、他の構成要素を追加することも可能である。以下に、図７の撮像装置の構成及び動作を説明する。
【０１０６】
撮像部２０は、被写体（撮像対象物）を撮像し、画像（画像データ）を得る。図７の例において、撮像部２０は、光学素子１０、撮像素子３０、ＡＦＥ回路３２及びシャッター部３４を含む。図７に示すように、撮像部２０の光学系は、光学素子１０、撮像素子３０、ＡＦＥ回路３２及びシャッター部３４で構成することができるが、例えば光学素子１０及び撮像素子３０だけを撮像部２０の光学系と呼んでもよい。
【０１０７】
光学素子１０（広義には、撮像部２０）は、例えばレンズを含み、被写体（例えば、第１の被写体）は、レンズを介して撮像素子３０に投影される。レンズは、複数のレンズで構成することができるが、１枚のレンズで構成してもよい。また、光学素子１０は、ミラーをさらに含んでもよい。撮像素子３０（広義には、撮像部２０）（狭義には、光電変換素子）は、被写体（例えば、第１の被写体）からの光を光学素子１０（狭義には、レンズ）を介して受け、アナログの画像信号を得る。撮像素子３０（広義には、撮像部２０）は、例えば、ＣＣＤセンサ、ＣＯＭＳセンサ等のイメージセンサで構成することができる。ＡＦＥ回路３２（広義には、撮像部２０）は、撮像素子３０からのアナログの画像信号を増幅したり、アナログの画像信号をデジタルの画像信号（画像データ）に変換する。シャッター部３４（広義には、撮像部２０）は、例えば、電子シャッターで構成することができる。シャッター部３４は、メカニカルシャッターであってもよく、電子シャッターとメカニカルシャッターとの組み合わせであってもよい。電子シャッターは、撮像素子３０が光を有効な電気信号に変換する期間（露光時間）を制御する。メカニカルシャッターは、撮像素子３０に入射する光の経路を、機械的に開放したり遮断することで、撮像素子３０の露光時間を制御する。
【０１０８】
処理部４０は、撮像部２０から画像（画像データ）を受け、画像から第１の被写体の顔の一部である器官（第１の画素位置）を検出し、所与の変換式を用いて、所与の点ＰＧを基準として器官の反対の点（第２の画素位置）を得る。また、処理部４０は、器官の反対の点（第２の画素位置）に基づき画像の一部の被写体領域を得ることができる。処理部４０は、撮像部２０からの画像に基づき様々な処理を実行することができる。処理部４０は、例えば、ＡＳＩＣ、ＤＳＰ等のＩＣである。図７の例において、処理部４０は、タイミング設定部４２、顔器官検出部５４、被写体位置演算部５６、パターン認識部６２、相関位置演算部６４及び被写体領域演算部６６を含む。また、図７の例において、処理部４０は、露光時間やフレームレート等を設定する設定信号を撮像部２０に送ることができる。なお、処理部４０は、撮像部２０から画像（狭義には、撮像画像）に画像処理（例えば、拡大処理、縮小処理等）を実施してもよく、拡大又は縮小された撮像画像に基づき第２の画素位置等を得てもよい。
【０１０９】
図７のタイミング設定部４２（広義には、処理部４０）は、被写体領域を得るための演算を開始するための開始タイミングや、被写体領域を得るための演算を終了するための終了タイミングを設定する。画像が第１の被写体（図１の例において、例えばユーザ）の顔を表す場合、図７の顔器官検出部５４（広義には、処理部４０）は、画像内の眼、鼻、口、耳等の顔器官を検出する。顔器官検出部５４は、第１の画素位置として、例えば第１の被写体の右眼の画素位置を検出する。
【０１１０】
図１で示すように、ユーザの右眼（広義には、第１の点Ｐ１）が所与の点ＰＧ（例えば、撮像部２０の光学系の節点）を基準として第１の方向Ｄ１に存在し、例えば犬（広義には、第２の被写体）の胸（広義には、第２の点Ｐ２）が所与の点ＰＧを基準として第１の方向Ｄ１と反対の第２の方向Ｄ２に存在する場合、被写体位置演算部５６（広義には、処理部４０）は、ユーザの右眼の画素位置（第１の画素位置）から、犬の胸の画素位置を第２の画素位置として得る。第１の画素位置から第２の画素位置への変換方法は、例えば、上述の式１を用いることができる。言い換えれば、相対的な位置関係（第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２が実空間上において第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２の順番でまっすぐに並ぶ状態）が既知であれば、被写体位置演算部５６は、第１の点Ｐ１に対応する第１の画素位置から、第２の点Ｐ２に対応する第２の画素位置を得ることができる。
【０１１１】
以下の説明において、図１の例を参考にする。被写体領域を得るために、処理部４０は、撮像部２０から複数の画像を受けることができ、複数の画像の各々の内の第１の被写体の右眼（広義には、器官）の画素位置（第１の画素位置）及び第１の被写体の右眼の画素位置の反対の画素位置（第２の画素位置）を得ることができる。第１の点Ｐ１であるユーザの右眼（広義には、第１の被写体）と所与の点ＰＧ（広義には、撮像装置）との相対的な位置関係が変化しない場合、複数の第２の画素位置の各々は、第２の点Ｐ２である犬の胸に固定される。但し、犬の動きは停止していると想定する。一方、第１の点Ｐ１であるユーザの右眼と所与の点ＰＧとの相対的な位置関係が変化する場合、顔器官検出部５４は、第１の点Ｐ１であるユーザの右眼の画素位置を追尾し、被写体位置演算部５６によって得られる複数の第２の画素位置は、犬の胸を基準として変化する。但し、犬の動きは停止していると想定する。なお、第１の点Ｐ１であるユーザの右眼と所与の点ＰＧとの相対的な位置関係が変化する場合、第２の点Ｐ２は、犬の胸を基準として変化する。
【０１１２】
複数の画像の中で、例えば最初に得られた画像を基準画像とし、基準画像内の第２の画素位置が犬の胸に対応する場合、図７のパターン認識部６２（広義には、処理部４０）は、基準画像内の第２の画素位置を含む周辺領域（基準画像の一部）をテンプレート画像として設定する。周辺領域（テンプレート画像）は、例えば、犬の胸（基準画像内の第２の画素位置）を中心として所与のサイズを有する矩形である。パターン認識部６２は、基準画像を除く複数の画像の各々の内の周辺領域（テンプレート画像）と相関が最も高い相関領域を得る。図７の相関位置演算部６４（広義には、処理部４０）は、例えば、基準画像を除く複数の画像の各々内の相関領域の中心から第２の画素位置への変位を得る。この変位を基準画像内の第２の画素位置に適用すると、基準画像内の第３の画素位置（第３の画素位置は、基準画像を除く複数の画像の各々内の第２の画素位置と相関する）を得ることができる。言い換えれば、相関位置演算部６４は、基準画像を除く複数の画像の各々内の第２の画素位置を基準画像内の第３の画素位置に変換する。図７の被写体領域演算部６６（広義には、処理部４０）は、基準画像内の第２の画素位置及び複数の第３の画素位置に基づき、犬（第２の被写体）を表す被写体領域を得る。被写体領域の詳細な演算方法は、後述する。
【０１１３】
図７の記憶部８０は、基準画像等の画像データを記憶する。また、記憶部８０は、処理部４０のワーク領域として機能することができる。記憶部８０は、例えば、ＲＡＭ、ＨＤＤ（ハードディスクドライブ）等である。なお、図７の撮像装置は、外部インターフェース部を含んでもよく、処理部４０は、画像データを外部の記憶部（例えば、撮像装置に着脱可能な保存用のメモリカード等の記録媒体、撮像装置の外部の電子機器内のＨＤＤ等の記憶部）に記憶（保存）してもよい。
【０１１４】
図７のユーザインターフェース部９０は、第１の被写体からの指示情報を得る。ユーザインターフェース部９０は、例えば、ボタン、スイッチ、ダイヤル等である。第１の被写体（図１の例において、ユーザ）は、ユーザインターフェース部９０を介して撮像装置の各種設定を行うこともできる。具体的には、ユーザインターフェース部９０における指示情報に基づき、タイミング設定部４２は、被写体領域を得るための演算を開始するための開始タイミングや、被写体領域を得るための演算を終了するための終了タイミングを設定することができる。
【０１１５】
２．３  撮像部の変形例
図８は、図７の撮像部の変形例を示す。図６の撮像部２０が図５で示されるような２つの光学系を含む場合、図８に示すように、撮像部２０は、第１の光学素子１０−１、第２の光学素子１０−２、第１の撮像素子３０−１、第２の撮像素子３０−２、第１のＡＦＥ回路３２−１、第２のＡＦＥ回路３２−２、第１のシャッター部３４−１及び第２のシャッター部３４−２を含むことができる。図８の撮像部２０は、第１の光学系の画像信号（画像データ）及び第２の光学系の画像信号（画像データ）を図７に示すような処理部４０に送ることができる。この場合、処理部４０は、２つの画像データを１つの画像データに統合することができる。或いは、図８の撮像部２０が、２つの画像データを１つの画像データに統合し、統合された１つの画像データを処理部４０に送ってもよい。
【０１１６】
なお、２つの光学系を含む撮像部２０は、図８の内容に限定されない。例えば、第１のＡＦＥ回路３２−１及び第２のＡＦＥ回路３２−２の代わりに、１つのＡＦＥ回路が、第１の撮像素子３０−１及び第２の撮像素子３０−２からの２つのアナログの画像信号を処理してもよい。
【０１１７】
２．４  処理部の変形例
図９は、図７の処理部の変形例を示す。図９の例において、処理部４０は、パノラマ変換部５２をさらに含む。撮像部３０の光学系が例えば魚眼光学系である場合、図９のパノラマ変換部５２は、撮像部２０からの画像（撮像画像）をパノラマ展開し、パノラマ画像を得ることができる。なお、撮像部３０の光学系が魚眼光学系である場合であっても、図７の処理部４０は、パノラマ変換部５２を含む必要はなく、図７の処理部４０は、撮像部２０からの画像（撮像画像）を利用して、第２の画素位置、第３の画素位置等を求めることができる。図９の例において、処理部４０は、パノラマ画像を利用して、第２の画素位置、第３の画素位置等を求めることができる。言い換えれば、図９の処理部４０は、撮像画像内の第１の画素位置をパノラマ画像内の第１の画素位置に変換し、パノラマ画像内の第１の画素位置に基づきパノラマ画像内の第２の画素位置、第３の画素位置等を求めることができる。
【０１１８】
図１０（Ａ）、図１０（Ｂ）は、撮像画像とパノラマ画像との関係の説明図を示す。図１０（Ａ）及び図１０（Ｂ）の例において、入射角θの範囲は、例えば図２（Ａ）及び図２（Ｂ）の例と同様に、例えば０°〜１２０°であり、従って、光学系の画角は、例えば２４０°である。また、図１０（Ａ）及び図１０（Ｂ）の例において、方位角φの範囲は、例えば０°〜３６０°である。
【０１１９】
図１において第１の点Ｐ１、所与の点ＰＧ及び第２の点Ｐ２がまっすぐに並ぶ状態で、第１の点Ｐ１と第２の点Ｐ２とを撮像するためには、例えば図２（Ｂ）を参考にすると、図１０（Ａ）及び図１０（Ｂ）の入射角θの範囲は、例えば９０°より広い方がよい。従って、図１０（Ａ）及び図１０（Ｂ）の光学系の画角は、例えば１８０°となる。同様に、例えば図２（Ａ）を参照すると、図１０（Ａ）及び図１０（Ｂ）の方位角φの範囲は、例えば１８０°より広い方がよい。このように、撮像部２０の利用範囲は、例えば図１０（Ａ）及び図１０（Ｂ）の例で示される領域Ａ１、Ａ１’（０°≦θ≦１２０°、０°≦φ≦３６０°）となる。
【０１２０】
焦点距離ｆが例えば１．１１［ｍｍ］であり、光学系の画角（視野角）θｖが例えば２４０［ｄｅｇｒｅｅ］＝２４０×π／１８０［ｒａｄｉａｎ］である場合、ｆθｖ＝４．６１［ｍｍ］である。図１０（Ａ）において、Ａ１で示される円の領域の直径は、例えば４．６１［ｍｍ］である。画像素子３０が例えば１／２インチＣＣＤの場合、画像素子３０の撮像面（受光面）ＰＣのサイズは、例えば４．８［ｍｍ］×６．４［ｍｍ］である。この場合、画像素子３０は、円形の像を欠くことなく、撮像画像を得ることができる。撮像画像のうち円形の像以外の領域Ａ２は、像が投影されない。画像素子３０の分解能は、例えば１００万画素以上である。
【０１２１】
焦点距離ｆが例えば１．４３［ｍｍ］であり、光学系の画角（視野角）θｖが例えば１８５［ｄｅｇｒｅｅ］＝１８５×π／１８０［ｒａｄｉａｎ］である場合、円形の像の領域Ａ１の直径は、例えば４．６１［ｍｍ］である。焦点距離ｆが例えば１．４３［ｍｍ］であり、光学系の画角（視野角）θｖが例えば１８０［ｄｅｇｒｅｅ］＝１８０×π／１８０［ｒａｄｉａｎ］である場合、円形の像の領域Ａ１の直径は、例えば４．４９［ｍｍ］である。
【０１２２】
図１０（Ａ）のＡ１で示される円の領域（像が投影される領域）が図１０（Ｂ）のＡ１’で示される矩形の領域に対応するように、パノラマ変換部５２（広義には、処理部４０）は、撮像画像をパノラマ画像に展開することができる。パノラマ画像内のＩｐ軸方向の画素が方位角φｃに対応し、パノラマ画像内のＪｐ軸方向の画素が入射角θｃに対応する場合、パノラマ画像内の画素Ｐの画素位置の座標（ｉ，ｊ）は、以下の式６を満たす。
【０１２３】
【数６】
2011091528.tif 000008
【０１２４】
ここで、Ｉｐｍａｘは、パノラマ展開画像のＩｐ軸方向の画素数であり、Ｉｐｍａｘは、例えば７２０［ｐｉｘｅｌ］である。また、Ｊｐｍａｘは、パノラマ展開画像のＪｐ軸方向の画素数であり、Ｊｐｍａｘは、例えば３６０［ｐｉｘｅｌ］である。
【０１２５】
図１０（Ａ）で示されるような撮像画像内の画素位置の座標（ｕ，ｖ）は、例えば式１及び式６を用いて、図１０（Ｂ）で示されるようなパノラマ画像内の画素位置の座標（ｉ，ｊ）に変換することができる。言い換えれば、（ｉ，ｊ）＝Ｆ（ｕ，ｖ）の関係式が成立し、ここで、Ｆは、関数である。パノラマ変換部５２（広義には、処理部４０）は、このような関係式又は関数を用いてパノラマ画像を得ることができる。
【０１２６】
なお、図１０（Ａ）で示されるように、像が投影される領域Ａ１が円形である場合、光学系は、円周魚眼光学系と呼ぶ。また、焦点距離ｆが短かったり、画像素子３０のサイズが小さい場合、図１０（Ａ）の例と異なり、撮像画像全体に像が投影されるような場合、光学系は、対角魚眼光学系と呼ぶ。
【０１２７】
図１１（Ａ）、図１１（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図を示す。図１１（Ａ）及び図１１（Ｂ）の例において、入射角θの範囲は、例えば図４（Ａ）及び図４（Ｂ）の例を参考にすると、例えば３０°〜１３０°であり、従って、光学系の画角は、例えば２００°である。また、図１１（Ａ）及び図１１（Ｂ）の例において、方位角φの範囲は、例えば０°〜３６０°である。図１１（Ａ）に示されるように、像が投影される領域Ａ３は、ドーナツのような領域である。
【０１２８】
図１２（Ａ）、図１２（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図を示す。図１２（Ａ）及び図１２（Ｂ）の例において、入射角θの範囲は、例えば図５（Ａ）及び図５（Ｂ）の例（例えば入射角θ１を基準にする。）を参考にすると、例えば０°〜９０°及び９０°〜１８０°であり、従って、光学系（組み合わせられた光学系）の画角は、例えば３６０°である。また、図１２（Ａ）及び図１２（Ｂ）の例において、方位角φの範囲は、例えば０°〜３６０°である。図１２（Ａ）に示されるように、例えば第１の魚眼光学系によって、像が投影される領域Ａ５は、図１２（Ｂ）の例で示される領域Ａ５’（０°≦θ≦９０°、０°≦φ≦３６０°）にパノラマ展開することができる。同様に、例えば第２の魚眼光学系によって、像が投影される領域Ａ７は、図１２（Ｂ）の例で示される領域Ａ７’（９０°≦θ≦１８０°、０°≦φ≦３６０°）にパノラマ展開することができる。
【０１２９】
像が投影されない領域Ａ６は、図１２（Ｂ）の例で示される領域Ａ６’（９０°≦θ≦１８０°、０°≦φ≦３６０°）にパノラマ展開してもよいが、パノラマ画像は、領域Ａ６’を含まず、領域Ａ６’を補完する領域Ａ７を含むことができる。同様に、パノラマ画像は、領域Ａ８’を含まず、領域Ａ８’を補完する領域Ａ５を含むことができる。このように、２つの撮像画像から１つのパノラマ画像（０°≦θ≦１８０°、０°≦φ≦３６０°）を得ることができる。或いは、２つの撮像画像から２つのパノラマ画像を得て、像が投影される領域Ａ５及びＡ７に対応する１つのパノラマ画像に統合してもよい。
【０１３０】
図１３（Ａ）、図１３（Ｂ）は、撮像画像とパノラマ画像との他の関係の説明図を示す。図１３（Ａ）及び図１３（Ｂ）の例において、入射角θの範囲は、例えば０°〜９２．５°及び８７．５°〜１８０°であり、但し、光学系（組み合わせられた光学系）の画角は、例えば３６０°である。また、図１３（Ａ）及び図１３（Ｂ）の例において、方位角φの範囲は、例えば０°〜３６０°である。
【０１３１】
図１３（Ａ）及び図１３（Ｂ）の例において、例えば第１の魚眼光学系によって、像が投影される領域Ａ５は、図１３（Ｂ）の例で示される領域Ａ５’（０°≦θ≦９２．５°、０°≦φ≦３６０°）にパノラマ展開される。また、例えば第２の魚眼光学系によって、像が投影される領域Ａ７は、図１３（Ｂ）の例で示される領域Ａ７’（８７．５°≦θ≦１８０°、０°≦φ≦３６０°）にパノラマ展開される。図１３（Ｂ）に示されるように、領域Ａ５’及びＡ７’は、領域Ｂ１で重複する。従って、パノラマ画像は、例えば、領域Ａ５’と、領域Ｂ１を除く領域Ａ７’とを含むことができる。或いは、パノラマ画像は、例えば、領域Ｂ１を除く領域Ａ５’と、領域Ｂ１を除く領域Ａ７’と、領域Ｂ１とを含んでもよく、パノラマ画像の領域Ｂ１は、例えば、領域Ａ５’内の領域Ｂ１と領域Ａ７’内の領域Ｂ１との合成領域であってもよい。
【０１３２】
３．被写体領域
図１４（Ａ）、図１４（Ｂ）は、撮像装置の使用方法の説明図を示す。ユーザ（広義には、第１の被写体）は、例えば右眼でペン型撮像装置の頂部（広義には、撮像部２０）を見るとともに、ペン型撮像装置の頂部の延長線上に例えば犬（広義には、第２の被写体）を見ることができる。図１４（Ａ）に示すように、ユーザがペン型撮像装置の頂部を旋回させる場合、ユーザの右眼は、ペン型撮像装置の頂部を介して犬の周辺をぐるりと見ることができる。このようなユーザの視線方向の軌跡を利用して、実空間における全体の被写体の中から、例えば犬を被写体領域として選択することができる。全体の被写体は、ユーザ（第１の被写体）及び犬（第２の被写体）に加えて、例えばペットのお皿、ペットの首輪、空、地面、山、川等の第３の被写体を含むことができる。なお、図１４（Ｂ）に示すように、ユーザ（第１の被写体）自身が移動して、犬（第２の被写体）を異なる角度から見ることもできる。
【０１３３】
撮像装置は、ペン型撮像装置に限定されず、ユーザ（第１の被写体）は、撮像装置内の所与の点ＰＧを介して、犬（被写体）を見ることができる。所与の点ＰＧは、例えば、撮像装置内に固定することができる。また、所与の点ＰＧは、光学系の節点Ｏｃであることが好ましいが、所与の点ＰＧは、光学系の節点Ｏｃから所与の距離だけ離れてもよい。言い換えれば、所与の点ＰＧと光学系の節点Ｏｃとの相対的な位置関係が既知であれば、所与の点ＰＧを基準としてユーザ（第１の被写体）と犬（第２の被写体）との相対的な位置関係を演算又は推定することができる。
【０１３４】
図１５は、ペン型撮像装置の外観図の概要を示す。撮像装置をポインタとして用い易くするために、撮像装置は、所与の点ＰＧを表すためのマーカーを含むことができる。図１５の例において、ペン型撮像装置は、例えば４つのマーカー２２−１、２２−２、２２−３、２２−４を含む。所与の点ＰＧが、例えば、撮像部２０の光学系の節点Ｏｃである場合、第１のマーカー２２−１及び第３のマーカー２２−３は、図２（Ｂ）の例において、例えば、光学系の光軸ＯＡ上に配置することができる。また、第２のマーカー２２−２及び第４のマーカー２２−４は、それぞれ、図２（Ａ）及び図２（Ｂ）の例において、例えば、入射角θ＝９０°及び方位角φ＝９０°で特定される方向、及び入射角θ＝９０°及び方位角φ＝２７０°で特定される方向に配置することができる。
【０１３５】
また、所与の点ＰＧが、例えば、撮像部２０の第１の光学系の節点Ｏｃ１である場合、第１のマーカー２２−１及び第３のマーカー２２−３は、図５（Ｂ）の例において、例えば、光学系の光軸ＯＡ１上に配置することができる。また、第２のマーカー２２−２及び第４のマーカー２２−４は、それぞれ、図５（Ａ）及び図５（Ｂ）の例において、例えば、入射角θ＝９０°及び方位角φ＝９０°で特定される方向、及び入射角θ＝９０°及び方位角φ＝２７０°で特定される方向に配置することができる。
【０１３６】
所与の点ＰＧ又は光学系の節点Ｏｃ（Ｏｃ１）を表すためのマーカーの数は、１つであってもよく、２以上であってもよい。また、撮像装置のグリップ７０をマーカーとして使用してもよい。また、マーカーによって特定される所与の点ＰＧ又は光学系の節点Ｏｃ（Ｏｃ１）の具体的な位置は、例えば、撮像装置の説明書で説明してもよい。
【０１３７】
図１６は、ユーザがペン型撮像装置の頂部を旋回させる期間に得られた複数のパノラマ画像の重ね合わせを表す。ユーザ（第１の被写体）と所与の点ＰＧとの相対的な位置関係が変化することで、ユーザが旋回しているように見える。また、犬（第２の被写体）も旋回しているように見える。
【０１３８】
なお、ユーザ（第１の被写体）と所与の点ＰＧとの相対的な位置関係がどのように変化しても、図１２（Ｂ）や図１３（Ｂ）に示すようなパノラマ画像は、犬（第２の被写体）を表すことができる。しかしながら、図１０（Ｂ）や図１１（Ｂ）に示すようなパノラマ画像を用いる場合、ユーザ（第１の被写体）と所与の点ＰＧとの相対的な位置関係が取り得る範囲は、小さくなる。言い換えれば、ユーザは、第１の画素位置及び第２の画素位置が撮像部２０の利用範囲内に入るように、ペン型撮像装置を走査する。
【０１３９】
図１７は、撮像装置の動作方法を説明する第１のフローチャートを示す。撮像装置が起動し、所与の条件が満たされる場合、撮像部２０は、所与の点ＰＧを基準として第１の方向Ｄ１に存在する第１の被写体とともに、所与の点ＰＧを基準として第１の方向Ｄ１と反対の第２の方向Ｄ２に存在する第２の被写体を撮像する（ステップＳ１）。例えば、撮像部２０は、所与のフレームレートで、第１の被写体及び第２の被写体を撮像し、第１の被写体及び第２の被写体を表す動画像（複数の画像）を得る。言い換えれば、撮像部２０は、最後の画像を得てから所与の期間を経過することを条件に、第１の被写体及び第２の被写体を表す画像を得ることを繰り返す。代替的に、例えば、撮像部２０は、ユーザがシャッターボタンを押すことを条件に、第１の被写体及び第２の被写体を撮像してもよい。
【０１４０】
処理部４０は、被写体領域を演算する必要があるか否かを示す演算フラグがオンになっているか否かを判定する（ステップＳ２）。例えば、演算フラグは、ユーザインターフェース部９０がユーザからの指示情報を得ることを条件に、オンされる。具体的には、ユーザが例えば被写体領域取得開始ボタンを押すことを条件に、タイミング設定部４２は、被写体領域を得るための演算を開始するための開始タイミングとして、演算フラグに「１」を書き込む。ステップＳ２において、演算フラグが、例えば「１」を示す場合、処理部４０は、被写体領域を演算するために必要な予備的な演算等を実行する（ステップＳ３）。予備的な演算等は、様々な処理を含む。ステップＳ２において、演算フラグが、例えば「０」を示す場合、ステップＳ１が再び実行される。言い換えれば、演算フラグがオンになるまでの間、撮像装置は、電子スチルカメラ、電子ビデオカメラ等の典型的な撮像装置と同様な動作を、ステップＳ１で実行する。なお、被写体領域取得開始ボタンは、例えばグリップ７０であってもよい。
【０１４１】
予備的な演算等を実行後、処理部４０は、被写体領域を演算する必要があるか否かを示す演算フラグがオフになっているか否かを判定する（ステップＳ４）。例えば、演算フラグは、ユーザインターフェース部９０がユーザからの指示情報を得ることを条件に、オフされる。具体的には、ユーザが例えば被写体領域取得終了ボタンを押すことを条件に、タイミング設定部４２は、被写体領域を得るための演算を終了するための終了タイミングとして、演算フラグに「０」を書き込む。なお、被写体領域取得終了ボタンは、被写体領域取得開始ボタンの機能を兼ねてもよい。即ち、ボタンを押す毎に、演算フラグが、「１」から「０」に又は「０」から「１」に切り替えられてもよい。
【０１４２】
ステップＳ４において、演算フラグが、例えば「１」を示す場合、ステップＳ１が再び実行される。言い換えれば、演算フラグがオンにされた後、演算フラグがオフにされるまでの間、撮像装置は、被写体領域の演算に必要な複数の画像を得る。ステップＳ４において、演算フラグが、例えば「０」を示す場合、処理部４０は、演算フラグがオンにされた後から演算フラグがオフにされる前までの期間にステップＳ１で得られた複数の画像に基づき、被写体領域を演算する（ステップＳ５）。具体的には、ステップＳ３での予備的な演算結果に基づき、被写体領域が演算される。
【０１４３】
図１８は、撮像装置の動作方法を説明する第２のフローチャートを示す。図１８は、図１７のステップＳ３を詳細に説明する。処理部４０は、撮像画像からパノラマ画像に変換する（ステップＳ１１）。但し、ステップＳ１１を省略し、処理部４０は、撮像画像を利用してもよい。具体的には、ステップＳ１１において、パノラマ変換部５２は、図１０（Ａ）、図１０（Ｂ）、図１１（Ａ）、図１１（Ｂ）、図１２（Ａ）、図１２（Ｂ）、図１３（Ａ）及び図１３（Ｂ）に示すように、撮像部２０からの撮像画像をパノラマ画像に変換する。
【０１４４】
処理部４０は、パノラマ画像内の第１の画素位置を検出する（ステップＳ１２）。具体的には、顔器官検出部５４は、第１の画素位置として、パノラマ画像内のユーザの両眼の一方（例えばユーザの右眼）を検出する。なお、パノラマ画像内の眼、鼻、口、耳等の顔器官を認識する方法は、様々な手法を用いることができ、特許文献１（特開２００７−７４０３３号公報）や特許文献３（特開２００２−１２２９３４号公報）にも記載されている。ステップＳ１１を省略する場合、ステップＳ１２において、顔器官検出部５４は、第１の画素位置として、撮像画像内のユーザの両眼の一方（例えばユーザの右眼）を検出する。
【０１４５】
顔器官検出部５４は、ユーザの右眼の画素位置として、右眼の細部（例えば、黒目）を認識してもよい。右眼の黒目を採用する場合、右眼の画素位置を精度良く検出することができる。また、顔器官検出部５４は、右眼の目頭及び目尻を認識し、目頭と目尻との間の中点を右眼の画素位置に設定してもよい。なお、ユーザが右眼を閉じて、右眼を認識できない場合、顔器官検出部５４は、例えば、左眼、鼻及び口を認識して、右眼を推定してもよい。また、右眼を認識できない場合、顔器官検出部５４は、ユーザの右眼の上の眉や、ユーザの左眼を第１の画素位置として設定してもよい。さらに、ユーザの右眼が認識できるか否かに拘わらず、顔器官検出部５４は、ユーザの顔全体を認識し、顔画素位置（例えば、顔の中心）を第１の画素位置として設定してもよい。
【０１４６】
処理部４０は、パノラマ画像内の第１の画素位置をそのパノラマ画像内の第２の画素位置に変換する（ステップＳ１３）。具体的には、被写体位置演算部５６は、所与の点ＰＧに基づき、第１の画素位置を第２の画素位置に変換する。即ち、第１の画素位置が例えば入射角θｈ及び方位角φｈで表され、第２の画素位置が例えば入射角θｏ及び方位角φoで表される場合、被写体位置演算部５６は、例えば、入射角θｈの反対入射角及び方位角φｈの反対方位角をそれぞれ入射角θｏ及び方位角φoとして得る。
【０１４７】
ステップＳ１１を省略する場合、ステップＳ１３において、被写体位置演算部５６は、所与の点ＰＧに基づき、撮像画像内の第１の画素位置をその撮像画像内の第２の画素位置に変換する。即ち、第１の画素位置が例えば座標（ｕｈ，ｖｈ）で表され、第２の画素位置が例えば座標（ｕｏ，ｖｏ）で表される場合、被写体位置演算部５６は、例えば、式１を用いて、座標（ｕｈ，ｖｈ）から座標（ｕｏ，ｖｏ）を得る。
【０１４８】
処理部４０は、パノラマ画像が基準画像であるか否か判定する（ステップＳ１４）。基準画像は、例えば、ステップＳ１１で最初に得られたパノラマ画像である。言い換えれば、基準画像は、例えば、演算フラグがオンにされた後に実行されるステップＳ１（図１７）で最初に得られた撮像画像から変換されたパノラマ画像である。パノラマ画像が基準画像である場合、ステップＳ１５を実行しない。パノラマ画像が基準画像でない場合、処理部４０は、パノラマ画像内の第２の画素位置を基準画像内の第３の画素位置に変換する（ステップＳ１５）。
【０１４９】
ステップＳ１１を省略する場合、ステップＳ１４において、処理部４０は、撮像画像が基準画像であるか否か判定する。言い換えれば、基準画像は、例えば、演算フラグがオンにされた後に実行されるステップＳ１（図１７）で最初に得られた撮像画像である。撮像画像が基準画像である場合、ステップＳ１５を実行しない。撮像画像が基準画像でない場合、処理部４０は、撮像画像内の第２の画素位置を基準画像内の第３の画素位置に変換する（ステップＳ１５）。
【０１５０】
図１９は、複数のパノラマ画像の各々の内の第２の画素位置の説明図である。演算フラグがオンにされた後から演算フラグがオフにされる前までの期間にステップＳ１で得られた複数の撮像画像が得られ、これらの撮像画像に基づきステップＳ１１で例えば６つのパノラマ画像が得られることを想定する。６つのパノラマ画像のフレームの順番は、例えば、ステップＳ１１で得られた順番と一致する。言い換えれば、フレーム１〜フレーム６のパノラマ画像は、時系列に得られる。なお、以下の説明を分かり易くするために、図１９において、６つのパノラマ画像の各々は、パノラマ画像の一部の領域のみを示している。
【０１５１】
フレーム１のパノラマ画像を基準画像に設定する場合、ステップＳ１３で得られる基準画像内の第２の点Ｐ２に対応する第２の画素位置は、点Ｐｏ（１）に対応する。フレーム１の後にステップＳ１３で得られるフレーム２のパノラマ画像内の第２の点Ｐ２に対応する第２の画素位置は、点Ｐｏ（２）に対応する。同様に、フレーム３〜フレーム６に対応する４つの第２の画素位置は、それぞれ、点Ｐｏ（３）〜点Ｐｏ（６）に対応する。図１９の例において、ユーザの右眼は、所与の点ＰＧを介して、犬の胸（点Ｐｏ（１））、犬の口の前方（点Ｐｏ（２））、犬の後頭部後方（点Ｐｏ（３））、犬の尾（点Ｐｏ（４））、犬の餌（点Ｐｏ（５））及び犬の胸（点Ｐｏ（６））の順で、犬を見る。
【０１５２】
フレーム２のパノラマ画像内の第２の画素位置（点Ｐｏ（２））は、ステップＳ１５で基準画像内の第３の画素位置（点Ｐｐ（２））に変換される。同様に、フレーム３〜フレーム６に対応する４つの第２の画素位置は、それぞれ、点Ｐｐ（３）〜点Ｐｐ（６）に変換される。基準画像内の点Ｐｐ（２）〜点Ｐｐ（６）は、それぞれ、基準画像内の犬の口の前方、犬の後頭部後方、犬の尾、犬の餌及び犬の胸に対応する。従って、基準画像内の第３の画素位置は、基準画像を除くパノラマ画像内の第２の画素位置に相関する。
【０１５３】
図２０は、撮像装置の動作方法を説明する第３のフローチャートを示す。図２０は、図１８のステップＳ１５を詳細に説明する。処理部４０は、基準画像の一部を切り出すテンプレート画像を登録する（ステップＳ２１）。具体的には、パターン認識部６２は、基準画像内の第２の画素位置Ｐｏ（１）を含むテンプレート画像を設定する。パノラマ画像内のテンプレート画像のサイズは、例えば、Ｐｏ（１）を中心としてＩｐ軸方向に±１０°の方位角φを有し、Ｐｏ（１）を中心としてＪｐ軸方向に±１０°の方位角θを有する。図１９において、テンプレート画像は、フレーム１のパノラマ画像（基準画像）内のＰｏ（１）を中心とする矩形領域である。
【０１５４】
処理部４０は、基準画像を除くパノラマ画像内のテンプレート画像と相関する領域（相関領域）を検出する（ステップＳ２２）。具体的には、パターン認識部６２は、フレーム２のパノラマ画像内で、テンプレート画像と最も高い相関度を持つ領域（相関領域）を検出する。相関領域の特徴量とテンプレート画像の特徴量との一致度は、最も高い。図１９において、相関領域は、フレーム２のパノラマ画像内の犬の胸を中心とする矩形領域である。同様に、パターン認識部６２は、マッチング処理を用いて、フレーム３〜フレーム６のパノラマ画像内の犬の胸を中心とする矩形領域（テンプレート画像と最も高い相関度を持つ相関領域）を検出する。
【０１５５】
処理部４０は、基準画像を除くパノラマ画像内の相関領域と第２の画素位置領域との相対的な位置関係を演算する（ステップＳ２３）。具体的には、相関位置演算部６４は、フレーム２のパノラマ画像内で、相関領域の中心（犬の胸）から第２の画素位置Ｐｏ（２）への変位（Δφ，Δθ）を求める。この変位を基準画像内の第２の画素位置Ｐｏ（１）に適用すると、基準画像内の第３の画素位置Ｐｐ（２）を演算することができる。なお、この変位は、テンプレート画像のサイズ及び相関領域のザイズに基づき変更してもよい。同様に、相関位置演算部６４は、フレーム３〜フレーム６のパノラマ画像内の犬の胸から第２の画素位置Ｐｏ（３）〜Ｐｏ（６）への変位を求める。
【０１５６】
図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）、図２１（Ｄ）は、被写体領域の作成例を示す。図１９に示されるように、基準画像（フレーム１のパノラマ画像）内に、フレーム１の第２の画素位置Ｐｏ（１）及びフレーム２〜フレーム６の複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）が存在する。好ましくは、図１９の例において、第２の画素位置Ｐｏ（１）が複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）の中の少なくとも１つの第３の画素位置と異なる場合、被写体領域を作成することができる。言い換えれば、好ましくは、第１の被写体（ユーザ）と撮像装置との相対的な位置関係が変化することで、第２の被写体を表す被写体領域を得ることができる。なお、基準画像（広義には、１つのパノラマ画像又は１つの撮像画像）の１つの第２の画素位置Ｐｏ（１）だけから、被写体領域を作成してもよい。
【０１５７】
図２１（Ａ）において、被写体領域Ｆ１は、第２の画素位置Ｐｏ（１）及び複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）を含み又は囲む矩形領域である。矩形の被写体領域Ｆ１のＩｐ軸方向の幅は、Ｉｐ軸方向の最大値（Ｐｐ（４）のＩｐ成分）及び最小値（Ｐｐ（２）のＩｐ成分）で決定される。また、矩形の被写体領域Ｆ１のＪｐ軸方向の幅は、Ｊｐ軸方向の最大値（Ｐｐ（４）のＪｐ成分）及び最小値（Ｐｐ（３）のＪｐ成分）で決定される。また、矩形の被写体領域Ｆ１は、例えば、矩形の中心を基準に所与の倍率（例えば、０．８、１．２等）で縮小又は拡大してもよい。加えて、所与の倍率は、ユーザ毎に調整してもよい。
【０１５８】
なお、図１０（Ｂ）や図１１（Ｂ）に示すようなパノラマ画像を用いる場合、第２の画素位置Ｐｏ（１）及び複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）が所与の領域Ａ１’、Ａ３’に入らないこともある。このような場合、所与の領域Ａ１’、Ａ３’内に存在する第２の画素位置及び第３の画素位置のみによって、被写体領域を作成することができる。
【０１５９】
図２１（Ｂ）において、被写体領域Ｆ２は、第２の画素位置Ｐｏ（１）及び複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）を含み又は囲む円形領域である。円形の被写体領域Ｆ２は、Ｐｏ（１）を中心とし、円周上には、Ｐｏ（１）から最も遠いＰｐ（３）が存在する。また、円形の被写体領域Ｆ２は、例えば、Ｐｏ（１）を基準に所与の倍率で縮小又は拡大してもよい。
【０１６０】
図２１（Ａ）及び図２１（Ｂ）に示される被写体領域は、図１９に示されるような基準画像内の６つの画素位置Ｐｏ（１）及びＰｐ（２）〜Ｐｐ（６）に基づき作成されている。しかしながら、フレーム１以外の例えばフレーム２のパノラマ画像を基準画像として設定し、その基準画像（フレーム２のパノラマ画像）内の被写体領域を求めてもよい。
【０１６１】
図２１（Ｃ）の例では、図１８のステップＳ１１で例えば６つのパノラマ画像に加えて、他の複数のパノラマ画像が得られることを想定する。図２１（Ｃ）において、被写体領域Ｆ３は、例えば、第２の画素位置Ｐｏ（１）及び複数の第３の画素位置Ｐｐ（２）〜Ｐｐ（６）、並びに、Ｐｏ（１）とＰｐ（６）との間で得られた他の複数の第３の画素位置を含み又は囲む軌跡領域である。具体的には、被写体領域Ｆ３の軌跡は、Ｐｏ（１）を始点として、時系列に得られた順番で、複数の第３の画素位置の中の１つの第３の画素位置を順々に切り替え、Ｐｐ（６）を終点とする。
【０１６２】
図２１（Ｄ）において、被写体領域Ｆ４は、図２１（Ａ）の被写体領域Ｆ１と相関する領域である。図２０のステップＳ２３において、相関位置演算部６４は、フレーム２のパノラマ画像内で、相関領域の中心（犬の胸）から第２の画素位置Ｐｏ（２）への変位（Δφ，Δθ）を求めている。従って、被写体領域Ｆ１をフレーム２内に移動させることができる。このように、被写体領域Ｆ４は、被写体領域Ｆ１から求めることができる。なお、被写体領域Ｆ１を図１９のフレーム３〜フレーム６内に移動させて、他の被写体領域を得てもよい。
【０１６３】
ところで、図１７のステップＳ５で得られた被写体領域は、例えば、ワーク領域として機能する記憶部８０に記憶されている。処理部４０は、基準画像を被写体領域と一緒に記憶部８０又は外部の記憶部に記憶させることができる。このような被写体領域は、例えば、基準画像のメタデータ等の付加情報として記憶してもよい。記憶部８０又は外部の記憶部に記憶される基準画像を読み出す際、被写体領域も一緒に読み出すことで、基準画像をトリミングすることができる。なお、図２１（Ｄ）に示されるように、基準画像と異なるフレーム２の画像をその画像内の被写体領域（被写体領域は、基準画像の被写体領域と相関する。）と一緒に記憶してもよい。
【０１６４】
代替的に、処理部４０は、図１７のステップＳ５で得られた写体領域に基づき基準画像をトリミングし、処理部４０は、トリミングされた画像を記憶部８０又は外部の記憶部に記憶させることができる。このようにすれば、トリミングされた画像を記憶部８０又は外部の記憶部を介してユーザに提供することができる。なお、図２１（Ｄ）に示されるように、基準画像と異なるフレーム２の画像をその画像内の被写体領域（被写体領域は、基準画像の被写体領域と相関する。）に基づきトリミングしてもよい。
【０１６５】
４．他の実施形態
４．１  第１の変形例
図１７のステップＳ４において、処理部４０は、被写体領域を演算する必要があるか否かを示す演算フラグがオフになっているか否かを判定する。演算フラグは、ユーザインターフェース部９０がユーザからの指示情報を得ることを条件に、オフすることができる。しかしながら、図１９のフレーム６に示すように、第２の画素位置Ｐｏ（６）が最初の第２の画素位置Ｐｏ（１）に戻ったこと条件に、演算フラグをオフしてもよい。言い換えれば、ユーザは、直感的で且つ簡易に被写体領域を特定してもよい。
【０１６６】
具体的には、ステップＳ１１で最初に得られたパノラマ画像（図１９のフレーム１のパノラマ画像）を基準画像に設定する。その後、ステップＳ１１で得られたパノラマ画像（図１９のフレーム２〜フレーム６の複数のパノラマ画像の各々）に基づき、ステップＳ４を判定する。但し、処理部４０は、ステップＳ３において、ステップＳ１５の後に、中間的な処理として、ステップＳ５のような処理を行う。処理部４０は、時系列に得られた順番で、複数のパノラマ画像の中の１つのパノラマ画像を順次に対象画像として選択する。処理部４０は、ステップＳ３において、基準画像内の第２の画素位置（Ｐｏ（１））から実際に選択される第１の対象画像内の第２の画素位置（例えば、Ｐｏ（２））までの複数の画素位置に基づき中間的に得られる被写体領域が、所与のサイズ以上に達しているか否か判定される。フレーム２のパノラマ画像が対象画像として選択される場合、処理部４０は、Ｐｏ（１）及びＰｐ（２）で中間的な被写体領域を得る。所与のサイズは、例えば、Ｐｏ（１）を中心としてＩｐ軸方向に±５°の方位角φを有し、Ｐｏ（１）を中心としてＪｐ軸方向に±５°の方位角θを有する。
【０１６７】
Ｐｏ（１）及びＰｐ（２）で得られる中間的な被写体領域が所与のサイズ以上に達していない場合、フレーム２の次のフレーム３のパノラマ画像が対象画像として選択される。そして、ステップＳ３において、Ｐｏ（１）、Ｐｐ（２）及びＰｐ（３）で得られる中間的な被写体領域が所与のサイズ以上に達しているか否か判定される。
【０１６８】
Ｐｏ（１）及びＰｐ（２）で得られる中間的な被写体領域が所与のサイズ以上に達した場合、フレーム２のパノラマ画像（対象画像）を第１の中間画像に設定するとともに、フレーム２の次のフレーム３のパノラマ画像が対象画像として選択される。そして、フレーム２（第１の中間画像）の後のフレーム３のパノラマ画像内のＰｏ（３）から変換される基準画像内のＰｐ（３）が、基準画像内の第２の画素位置Ｐｏ（１）を中心とする所与の領域内に入ったか否か、ステップＳ４として判定される。所与の領域は、例えば、Ｐｏ（１）を中心としてＩｐ軸方向に±２°の方位角φを有し、Ｐｏ（１）を中心としてＪｐ軸方向に±２°の方位角θを有する。
【０１６９】
Ｐｐ（３）が所与の領域内に入っていない場合、フレーム３の次のフレーム４のパノラマ画像が対象画像として選択される。そして、ステップＳ４において、Ｐｐ（４）が所与の領域内に入っているか否か判定される。その後、フレーム６のパノラマ画像が対象画像として選択され、Ｐｐ（６）が所与の領域内に入っていることを条件に、処理部４０は、演算フラグをオフすることができる。
【０１７０】
４．２  第２の変形例
図１７のステップＳ２において、処理部４０は、被写体領域を演算する必要があるか否かを示す演算フラグがオンになっているか否かを判定する。演算フラグは、ユーザインターフェース部９０がユーザからの指示情報を得ることを条件に、オンされることができる。しかしながら、ユーザのジェスチャ動作を認識すること条件に、演算フラグをオンしてもよい。言い換えれば、ユーザは、直感的で且つ簡易に被写体領域を特定し始めることができる。
【０１７１】
具体的には、処理部４０は、演算フラグがオンされる前までの期間にステップＳ１で得られた複数の画像に基づき、第１の被写体（ユーザ）のジェスチャ動作（例えば、ユーザの動き）が所与のジェスチャ動作であるか否かを判定する。第１の被写体（ユーザ）のジェスチャ動作が所与のジェスチャ動作であることが検出されたことを条件に、処理部４０は、演算フラグをオンすることができる。ジェスチャ動作を認識する方法は、様々な手法を用いることができ、特許文献３（特開２００２−１２２９３４号公報）にも記載されている。所与のジェスチャ動作は、例えば、ユーザの左手が閉じた状態から開く状態である。
【０１７２】
なお、図１７のステップＳ４において、ユーザのジェスチャ動作で演算フラグをオフしてもよい。
【０１７３】
４．３  第３の変形例
図１４（Ａ）に示されるように、撮像装置の使用方法の１例では、ユーザは、右眼でペン型撮像装置の頂部（撮像部２０）を見るとともに、ペン型撮像装置の頂部の延長線上に犬（被写体）を見る必要がある。このような場合、ユーザは、ペン型撮像装置を右手に持ち、右手を伸ばした状態で、犬を撮像することを想定できる。また、犬を撮像する前に、右手は畳まれていることも想定できる。従って、ユーザの右手が伸びた時点で、犬の撮像を開始できれば、ユーザは、直感的で且つ簡易に被写体領域を特定し始めることができる。
【０１７４】
具体的には、処理部４０は、ステップＳ２において、演算フラグがオンされる前までの期間にステップＳ１で得られた複数の画像に基づき、第１の被写体のサイズが所与のサイズと一致した後に第１の被写体のサイズが小さくなり、その後に、第１の被写体のサイズの減少量が所与の減少量以下であるか否かを判定する。第１の被写体と撮像装置との相対的な距離が徐々に離れ、一定の距離に定まったことを条件に、処理部４０は、演算フラグをオンすることができる。なお、処理部４０は、例えば、第１の被写体の少なくとも２つの器官（例えば、ユーザの両眼）の間の距離に基づき、第１の被写体のサイズを得ることができる。
【０１７５】
４．４  第４の変形例
図１７のステップＳ５で被写体領域が得られた後、ステップＳ１を実行して、動画を撮像してもよい。被写体領域が得られた後に、撮像部２０が複数の画像を得る場合、複数の画像の各々に対して、ステップＳ１１、Ｓ１２及びＳ１３を実行してもよい。このような複数の画像の各々は、ステップＳ１３で求めた第２の画素位置と一緒に記憶してもよい。このようにして記憶された第２の画素位置と被写体領域とを関連付けることにより、ユーザの視線方向に被写体領域を設定することができる。
【０１７６】
代替的に、図１７のステップＳ５で被写体領域が得られた後、ステップＳ１を実行して、動画を撮像する場合、他の処理を実行してもよい。被写体領域が得られた後に、撮像部２０が複数の画像を得る場合、処置部４０は、複数の画像の各々の内の第２の被写体を追尾する他の被写体領域を得てもよい。ユーザの視線方向の代わりに、被写体領域をテンプレート画像として登録し、撮像装置が自動的に第２の被写体を追尾してもよい。
【０１７７】
４．５  第５の変形例
図１８のステップＳ１２において、ユーザの右眼又は左眼を第１の画素位置として検出することができる。この場合、右眼であるか、左眼であるか、ユーザが予め設定することもできるが、撮像装置は、自動的にユーザの効き目を判定してもよい。
【０１７８】
具体的には、図１８のステップＳ１を実行する前に、撮像部２０は、所与の点ＰＧ（狭義には、光学系の節点Ｏｃ）を基準として第３の方向に存在する基準被写体（例えば、十字のマーカー）とともに、所与の点を基準として第３の方向と反対の第４の方向に存在する第１の被写体（ユーザ）を撮像して、登録画像を得る。処理部４０は、登録画像内の基準被写体（テンプレート画像）を認識して、登録画像内の第３の方向に対応する基準画素位置を検出する。処理部４０は、登録画像内の基準画素位置を登録画像内の第４の方向に対応する反対基準画素位置に変換する。
【０１７９】
処理部４０は、登録画像内の第１の被写体（ユーザ）の第１の眼及び第２の眼を認識して、登録画像内の第１の眼画素位置及び第２の眼画素位置を検出する。処理部４０は、第１の眼画素位置と反対基準画素位置との間の第１の距離と第２の眼画素位置と反対基準画素位置との間の第２の距離とを比較する。第１の距離が第２の距離よりも短い場合、処理部４０は、第１の被写体（ユーザ）の第１の眼を図１８のステップＳ１２の第１の画素位置として認識することができる。第２の距離が第１の距離よりも短い場合、処理部４０は、第１の被写体の第２の眼を図１８のステップＳ１２の第１の画素位置として認識することができる。
【０１８０】
このようにすれば、被写体領域を獲得する前の準備段階として、基準被写体（例えば、十字のマーカー）を撮影し、基準被写体を見ている第１の被写体の利き目を登録することができる。その後、第１の被写体の利き目から所与の点（Ｏｃ）に向かう方向の第２の被写体（犬）を被写体領域として捕らえることができる。
【０１８１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８２】
１０  光学素子、  ２０  撮像部、  ２２  マーカー、  ３０  撮像素子、
３２  ＡＦＥ回路、  ３４  シャッター部、  ４０  処理部、
４２  タイミング設定部、  ５２  パノラマ変換部、  ５４  顔器官検出部、
５６  被写体位置演算部、  ６２  パターン認識部、  ６４  相関位置演算部、
６６  被写体領域演算部、  ７０  グリップ、  ８０  記憶部、
９０  ユーザインターフェース部
【図１】
2011091528.tif 000009
【図２】
2011091528.tif 000010
【図３】
2011091528.tif 000011
【図４】
2011091528.tif 000012
【図５】
2011091528.tif 000013
【図６】
2011091528.tif 000014
【図７】
2011091528.tif 000015
【図８】
2011091528.tif 000016
【図９】
2011091528.tif 000017
【図１０】
2011091528.tif 000018
【図１１】
2011091528.tif 000019
【図１２】
2011091528.tif 000020
【図１３】
2011091528.tif 000021
【図１４】
2011091528.tif 000022
【図１５】
2011091528.tif 000023
【図１６】
2011091528.tif 000024
【図１７】
2011091528.tif 000025
【図１８】
2011091528.tif 000026
【図１９】
2011091528.tif 000027
【図２０】
2011091528.tif 000028
【図２１】
2011091528.tif 000029