(57)【要約】【課題】フレームアウトが発生してもフレームアウトを容易に解消する。【解決手段】撮像装置は、第１撮像部と、第１撮像部よりも広角の撮影が可能な第２撮像部を有する。第１撮像部の出力信号に基づく狭角フレーム画像列上で特定被写体ＴＴの追尾を行い、第２撮像部の出力信号に基づく広角フレーム画像列上でも特定被写体ＴＴの追尾を行う。表示画面の主表示領域３４０には狭角フレーム画像列が動画像として表示され、表示画面の副表示領域３４１には広角映像情報３５０が表示される。広角映像情報３５０は、第１撮像部の撮影範囲に対応する矩形枠のアイコン３５１と、第２撮像部の撮影範囲に対応する矩形枠のアイコン３５２と、第１及び第２撮像部の撮影範囲との関係における特定被写体ＴＴの位置を表すアイコン３５３と、が示される。【選択図】図７
2012029245.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影を行って撮影結果に応じた信号を出力する第１撮像部と、
前記第１撮像部よりも広角で前記被写体の撮影を行って撮影結果に応じた信号を出力する第２撮像部と、
前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲から外れたとき、前記第２撮像部の出力信号に基づき、前記第１撮像部の撮影範囲と前記特定被写体の位置との関係に応じた報知情報を出力する報知情報出力部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記報知情報出力部は、前記第２撮像部の出力信号に基づいて前記特定被写体を追尾する追尾処理部を備え、前記特定被写体が前記第１撮像部の撮影範囲から外れたとき、前記特定被写体の追尾結果に基づいて前記報知情報を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体の撮影を行って撮影結果に応じた信号を出力する第１撮像部と、
前記第１撮像部よりも広角で前記被写体の撮影を行って撮影結果に応じた信号を出力する第２撮像部と、
前記第１撮影部の出力信号に基づく第１画像及び前記第２撮影部の出力信号に基づく第２画像とともに、前記第１撮像部の撮影範囲と前記第２撮像部の撮影範囲との関係を表示する表示部と、を備えた
ことを特徴とする撮像装置。
【請求項４】
前記第１画像と前記第２画像の内、何れか一方を記録対象画像として記録媒体に記録させる記録制御部を更に備え、
前記記録制御部は、入力された切り替え指示操作に従って前記第１及び前記第２画像間で前記記録対象画像を切り替える
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１画像と前記第２画像の内、何れか一方を記録対象画像として記録媒体に記録させる記録制御部を更に備え、
前記記録制御部は、前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲内に収まっているか否かに応じて、前記第１及び前記第２画像間で前記記録対象画像を切り替える
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲内に収まっているか否かに応じて、前記表示部上における前記第１画像の表示位置及び前記第２画像の表示位置が変更される
ことを特徴とする請求項３〜請求項５の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、動画像を撮影可能なデジタルカメラが一般消費者に広く普及している。この種のデジタルカメラを用いて注目被写体の動画像撮影を行う場合、撮影者は、カメラのモニタで注目被写体が撮影範囲内に収まっていることを確認しながらズーム倍率調整や撮影方向調整等を行う。この際、注目被写体の移動等によって、注目被写体のフレームアウトが発生することがある。即ち、注目被写体が撮影範囲の外に出てしまうことがある。この種のフレームアウトは、特にズーム倍率が高倍率に設定されているときに頻繁に発生する。
【０００３】
フレームアウトの発生時点において、撮影者は注目被写体を見失っていることが多く、撮影方向をどのように調整すれば注目被写体を再び撮影範囲に収めることができるのかを認識できないことが多い。このような場合、一旦ズーム倍率を低倍率側に変更して撮影範囲内に注目被写体を収めやすくし、実際に撮影範囲内に注目被写体を収めた後、再度ズーム倍率を所望倍率まで増加させるといった処置が撮影者側で成される。
【０００４】
尚、下記特許文献１には、撮影視野内に検索空間を設定して検索空間から所定の対象物を検出し、該対象物が検索空間の左右端面又は上方の端面にあると判断されるとき、対象物が何れの端面にあるかを警告表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−９２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のようなフレームアウトが発生した際には、なるだけ早く注目被写体を撮影範囲内に収めなおすことが撮影者の意図に沿うため、フレームアウトの解消を容易とする技術（注目被写体を容易に撮影範囲内に収めなおすことのできる技術）の開発が要望される。尚、上記特許文献１の方法は、フレームアウトの発生の危険性を警告する技術であり、このような要望に応えることはできない。
【０００７】
そこで本発明は、フレームアウトの容易なる解消に寄与する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の撮像装置は、被写体の撮影を行って撮影結果に応じた信号を出力する第１撮像部と、前記第１撮像部よりも広角で前記被写体の撮影を行って撮影結果に応じた信号を出力する第２撮像部と、前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲から外れたとき、前記第２撮像部の出力信号に基づき、前記第１撮像部の撮影範囲と前記特定被写体の位置との関係に応じた報知情報を出力する報知情報出力部と、を備えたことを特徴とする。
【０００９】
これにより、特定被写体が第１撮像部の撮影範囲から外れたとき、撮影者は報知情報から第１撮像部の撮影範囲と特定被写体の位置との関係を判断することでき、容易に特定被写体を第１撮像部の撮影範囲内に収めなおすことが可能となる。
【００１０】
具体的には例えば、前記報知情報出力部は、前記第２撮像部の出力信号に基づいて前記特定被写体を追尾する追尾処理部を備え、前記特定被写体が前記第１撮像部の撮影範囲から外れたとき、前記特定被写体の追尾結果に基づいて前記報知情報を生成する。
【００１１】
本発明に係る第２の撮像装置は、被写体の撮影を行って撮影結果に応じた信号を出力する第１撮像部と、前記第１撮像部よりも広角で前記被写体の撮影を行って撮影結果に応じた信号を出力する第２撮像部と、前記第１撮影部の出力信号に基づく第１画像及び前記第２撮影部の出力信号に基づく第２画像とともに、前記第１撮像部の撮影範囲と前記第２撮像部の撮影範囲との関係を表示する表示部と、を備えたことを特徴とする。
【００１２】
第１及び第２撮像部による第１及び第２画像に加えて、第１撮像部の撮影範囲と第２撮像部の撮影範囲との関係を表示することで、特定被写体が第１撮像部の撮影範囲の外に出たとき、撮影者は表示された前記関係から特定被写体を第１撮像部の撮影範囲内に収めなおす方策を容易に判断でき、その判断結果に沿うことで容易に特定被写体を第１撮像部の撮影範囲内に収めなおすことが可能となる。
【００１３】
そして例えば、前記第１画像と前記第２画像の内、何れか一方を記録対象画像として記録媒体に記録させる記録制御部を第２の撮像装置に更に設けるようにしても良い。前記記録制御部において、入力された切り替え指示操作に従い、前記第１及び前記第２画像間で前記記録対象画像を切り替えるようにしても良い。
【００１４】
これにより、記録対象画像の画角を素早く変更することが可能となる。
【００１５】
また例えば、前記第１画像と前記第２画像の内、何れか一方を記録対象画像として記録媒体に記録させる記録制御部を第２の撮像装置に更に設け、前記記録制御部に、前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲内に収まっているか否かに応じて、前記第１及び前記第２画像間で前記記録対象画像を切り替えさせても良い。
【００１６】
また例えば、前記被写体に含まれる特定被写体が前記第１撮像部の撮影範囲内に収まっているか否かに応じて、前記表示部上における前記第１画像の表示位置及び前記第２画像の表示位置が変更される。
【発明の効果】
【００１７】
本発明によれば、フレームアウトの容易なる解消に寄与する撮像装置を提供することことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される１つの撮像部の内部構成図である。
【図３】特定被写体が２つの撮像部の撮影範囲内に収まっている状況下において、撮像装置及び撮像装置の周辺の様子を上空側から見た図（ａ）と、撮像装置を撮影者側から見た図（ｂ）である。
【図４】図３（ａ）の状況下で得られた狭角フレーム画像及び広角フレーム画像を示す図である。
【図５】狭角フレーム画像と広角フレーム画像との間における位置及び大きさ関係を示す図である。
【図６】タッチパネル操作によって特定被写体が指定される様子を示す図である。
【図７】追尾モードにおける表示画面の表示内容例を示す図（ａ）と、追尾モードにおおいて表示画面の表示領域が分割される様子を示す図（ｂ）と、追尾モードにおいて表示される広角映像情報の拡大図（ｃ）である。
【図８】特定被写体が広角側の撮像部の撮影範囲内にのみ収まっている状況下において、撮像装置及び撮像装置の周辺の様子を上空側から見た図（ａ）と、その状況下で得られた狭角フレーム画像及び広角フレーム画像（ｂ）（ｃ）とを示す図である。
【図９】フレームアウト発生時における表示画面の表示内容例を示す図である。
【図１０】フレームアウト発生時における表示画面の表示内容例を示す図である。
【図１１】本発明の第１実施形態に係る撮像装置に内包される部位のブロック図である。
【図１２】本発明の第２実施形態に係る表示画面の表示内容例を示す図である。
【図１３】本発明の第２実施形態に係る表示画面の表示内容例を示す図である。
【図１４】本発明の第２実施形態に係る表示画面の表示内容例を示す図である。
【図１５】本発明の第２実施形態に係り、記録対象画像が切り替えられる様子を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２０】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２１】
撮像装置１は、第１撮像部である撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、第２撮像部である撮像部２１と、ＡＦＥ２２と、を備えている。
【００２２】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２３】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２４】
ＡＦＥ１２は、撮像部１１（撮像部１１内の撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を第１ＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２５】
撮像部２１の構成は撮像部１１のそれと同じであり、主制御部１３は、撮像部１１に対する制御と同様の制御を撮像部２１に対しても成すことができる。但し、撮像部２１の撮像素子３３の画素数（総画素数又は有効画素数）と撮像部１１の撮像素子３３の画素数（総画素数又は有効画素数）は異なっていても良いし、撮像部２１におけるズームレンズ３０の位置は固定されていても良いし、撮像部２１におけるフォーカスレンズ３１の位置は固定されていても良いし、撮像部２１における絞り３２の開度は固定されていても良い。本実施形態の如く、撮像部１１による撮影の補助のために撮像部２１を用いる場合には、撮像部２１の撮像素子３３の画素数（総画素数又は有効画素数）は撮像部１１のそれよりも小さくても良い。
【００２６】
ＡＦＥ２２は、撮像部２１（撮像部２１内の撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ２２は、このデジタル信号を第２ＲＡＷデータとして主制御部１３に出力する。ＡＦＥ２２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２７】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からの第１ＲＡＷデータに基づいて撮像部１１の撮影画像を表す画像データを生成し、ＡＦＥ２２からの第２ＲＡＷデータに基づいて撮像部２１の撮影画像を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、第１又は第２ＲＡＷデータそのものも画像データの一種であり、撮像部１１又は２１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００２８】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。
【００２９】
表示部１５にはタッチパネル１９が設けられており、撮影者としてのユーザは、表示部１５の表示画面を操作体で触れることで撮像装置１に特定の指示を与えることができる。表示部１５の表示画面を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体が表示部１５の表示画面が触れたとき、その触れた位置（即ちタッチ位置）を指し示す座標値が主制御部１３に伝達される。操作体は、指やペンなどである。尚、本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。
【００３０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００３１】
撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１６に記録された静止画像又は動画像を表示部１５上で再生可能な再生モードとが含まれる。撮影モードでは、撮像部１１及び２１の夫々が所定のフレーム周期にて周期的に被写体の撮影を行うことにより、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表す第１ＲＡＷデータが出力されると共に撮像部２１から（より詳細にはＡＦＥ２２から）被写体の撮影画像列を表す第２ＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。ＡＦＥ１２又は２２からの１フレーム周期分の画像データによって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。第１又は第２ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像がフレーム画像である、と解釈しても良い。
【００３２】
以下では、特に記述なき限り、撮影モードの動作に関与する撮像装置１の構成及び撮影モードにおける撮像装置１の動作を説明する。
【００３３】
特定被写体ＴＴを含む被写体を撮影するべく、撮影者が撮像装置１の筐体を自身の手で支持している状況を想定する。図３（ａ）は、この状況下における撮像装置１及び撮像装置１の周辺の様子を上空側から見た図であり、図３（ｂ）は、この状況下における撮像装置１を撮影者側から見た図である。図３（ｂ）において、斜線領域は、表示画面１５の周囲を囲む、撮像装置１の筐体部分を表している。
【００３４】
撮像装置１の撮影者側に表示部１５の表示画面が設けられており、表示画面上に第１又は第２ＲＡＷデータに基づくフレーム画像列が動画像として表示される。従って、撮影者は、表示画面の表示内容を見ることで、撮像部１１又は２１の撮影範囲に収まっている被写体の状態を確認することができる。撮影者に正対する位置に、表示画面、及び、特定被写体ＴＴを含む被写体が存在している。本明細書における右方向、左方向、上方向、下方向は、夫々、撮影者から見た右方向、左方向、上方向、下方向を指すものとする。
【００３５】
本実施形態において、撮像部２１の画角は撮像部１１の画角よりも広い。即ち、撮像部２１は、撮像部１１よりも広角で被写体の撮影を行う。図３（ａ）において、符号３０１は、撮像部１１の撮影範囲を表すと共に撮像部１１の画角を表しており、符号３０２は、撮像部２１の撮影範囲を表すと共に撮像部２１の画角を表している。尚、図３（ａ）では、図示の便宜上、撮影範囲３０１の中心と撮影範囲３０２の中心がずれているが、ここで、それらが一致していることを想定する（後述の図８（ａ）においても同様）。撮影範囲３０１は常に撮影範囲３０２に内包されており、撮影範囲３０１の全体は撮影範囲３０２の一部に相当する。従って、撮影範囲３０１に特定被写体ＴＴが収まっているときには常に撮影範囲３０２にも特定被写体ＴＴが収まっている一方で、撮影範囲３０１に特定被写体ＴＴが収まっていなくても撮影範囲３０２には特定被写体ＴＴが収まっていることがある。以下の説明では、撮像部１１及び撮像部２１を夫々狭角撮像部１１及び広角撮像部２１と呼ぶことがあり、撮影範囲３０１及び３０２を夫々狭角撮影範囲３０１及び広角撮影範囲３０２と呼ぶことがある。
【００３６】
狭角撮像部１１の出力信号に基づくフレーム画像を特に狭角フレーム画像と呼び、広角撮像部２１の出力信号に基づくフレーム画像を特に広角フレーム画像と呼ぶ。図４（ａ）及び（ｂ）の画像３１１及び３１２は、夫々、共通の撮影タイミングで得られた狭角フレーム画像及び広角フレーム画像である。その共通の撮影タイミングにおいては、狭角撮影範囲３０１の中央に特定被写体ＴＴが位置しており、結果、狭角フレーム画像３１１上の中央に特定被写体ＴＴが現われている。同じく、その共通の撮影タイミングにおいては、広角撮影範囲３０２の中央に特定被写体ＴＴが位置しており、結果、広角フレーム画像３１２上の中央に特定被写体ＴＴが現われている。撮像部１１及び２１の光軸が互いに平行であって、全被写体が撮像部１１及び２１の光軸と直交する平面上に位置していると仮定したならば、実空間上において特定被写体ＴＴの右、左、上、下側に位置している被写体は、夫々、狭角フレーム画像３１１上においても特定被写体ＴＴの右、左、上、下側に現われると共に広角フレーム画像３１２上においても特定被写体ＴＴの右、左、上、下側に現われる。
【００３７】
撮像装置１は、狭角撮影範囲３０１と広角撮影範囲３０２の位置関係及び大きさ関係を認識していると共に、広角フレーム画像上の各位置と狭角フレーム画像上の各位置との対応関係を認識している。図５に、広角フレーム画像と狭角フレーム画像の関係を示す。図５において、符号３１１ａが付された破線矩形枠は、広角フレーム画像上に配置された狭角フレーム画像の外枠を表している。撮像装置１は、上記対応関係に基づいて、狭角フレーム画像上の各位置における被写体が、広角フレーム画像上のどの位置に配置されているのかを認識することができる。逆に、上記対応関係に基づいて、広角フレーム画像上の各位置（但し、枠３１１ａ内の各位置）における被写体が、狭角フレーム画像上のどの位置に配置されているのかを認識することができる。
【００３８】
撮影モードの一種である追尾モードの動作について説明する。追尾モードにおいては、狭角フレーム画像列が動画像として表示画面に表示される。撮影者は、特定被写体ＴＴが狭角撮影範囲３０１内に収まるように撮像装置１の撮影方向等を調整した上で、図６に示す如くタッチパネル操作により特定被写体ＴＴを指定する。これにより、特定被写体ＴＴが追尾対象に設定される。尚、追尾対象の指定をボタン操作にて行うようにしても良い。或いは、顔認識処理などを利用して、撮像装置１が自動的に追尾対象を設定するようにしても良い。
【００３９】
追尾モードにおいて狭角フレーム画像列を動画像として記録媒体１６に記録することができる。但し、追尾モードにおいて広角フレーム画像列を動画像として記録媒体１６に記録することも可能である。追尾モードにおいて狭角フレーム画像列及び広角フレーム画像列を２つの動画像として記録媒体１６に記録することも可能である。
【００４０】
特定被写体ＴＴが追尾対象として設定されると、主制御部１３にて追尾処理が実行される。主制御部１３では、狭角フレーム画像列の画像データに基づく第１追尾処理と、広角フレーム画像列の画像データに基づく第２追尾処理と、が実行される。
【００４１】
第１追尾処理では、狭角フレーム画像列の画像データに基づき、各狭角フレーム画像上における追尾対象の位置を逐次検出する。第２追尾処理では、広角フレーム画像列の画像データに基づき、各広角フレーム画像上における追尾対象の位置を逐次検出する。追尾対象が有する画像特徴に基づいて第１及び第２追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。
【００４２】
第１及び第２の被演算画像間における第１追尾処理を次のように実行することができる。第１の被演算画像とは、既に追尾対象の位置が検出されている狭角フレーム画像を指し、第２の被演算画像とは、これから追尾対象の位置が検出されるべき狭角フレーム画像を指す。第２の被演算画像は、通常、第１の被演算画像の次に撮影される画像である。第２の被演算画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２の被演算画像における追尾枠内の画像の画像特徴と、第１の被演算画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２の被演算画像における追尾対象領域の中心位置が存在すると判断する。第２の被演算画像に対する探索領域は、第１の被演算画像における追尾対象の位置を基準にして設定される。追尾対象領域とは、追尾対象の画像データが存在する画像領域である。追尾対象領域の中心位置を、追尾対象の位置とみなすことができる。
【００４３】
第２の被演算画像における追尾対象領域の中心位置が判明した後、公知の輪郭抽出処理等を適宜用いて、その中心位置を内包する、エッジで囲まれた閉領域を、第２の被演算画像における追尾対象領域として抽出することができる。又は、その閉領域を単純な図形形状（矩形や楕円）を有する領域にて近似したものを追尾対象領域として抽出するようにしてもよい。
【００４４】
第２追尾処理も第１追尾処理と同様の方法にて実現される。但し、第２追尾処理においては、第１の被演算画像は、既に追尾対象の位置が検出されている広角フレーム画像を指し、第２の被演算画像は、これから追尾対象の位置が検出されるべき広角フレーム画像を指す。
【００４５】
この他、公知の任意の追尾方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を用いて第１及び第２追尾処理を成すことができる。
【００４６】
図７（ａ）に、追尾モードにおける表示画面の表示内容を示す。表示画面の全表示領域に、図７（ｂ）のドット領域に対応する主表示領域３４０と図７（ｂ）の斜線領域に対応する副表示領域３４１が設けられ、追尾モードでは、狭角フレーム画像列が動画像として主表示領域３４０に表示される一方で、副表示領域３４１に広角映像情報３５０が表示される。主表示領域３４０及び副表示領域３４１の位置関係は任意であり、また、表示画面上における副表示領域３４１の位置及び大きさは任意である。但し、主表示領域３４０の大きさ（面積）は、副表示領域３４１のそれよりも大きいことが望ましい。狭角フレーム画像列における追尾対象の表示を妨げないように、狭角フレーム画像列における追尾対象の位置及び大きさに応じて副表示領域３４１の位置及び大きさを変更するようにしても良い。尚、狭角フレーム画像又は広角フレーム画像などの任意の二次元画像を表示画面に表示する際、表示画面の画素数に適用するように必要に応じて二次元画像の解像度が変更されるが、本明細書では、説明の簡略化上、表示に関わる解像度変更の存在を無視する。
【００４７】
図７（ｃ）に、広角映像情報３５０の拡大図を示す。広角映像情報３５０は、狭角撮像範囲３０１の外枠を表す矩形枠のアイコン３５１と、広角撮像範囲３０２の外枠を表す矩形枠のアイコン３５２と、広角撮像範囲３０２及び狭角撮像範囲３０１上における追尾対象の位置を表すドット状のアイコン３５３とを含み、アイコン３５１〜３５３が副表示領域３４１内に表示される。図7（ｃ）に示す例では、アイコン３５２の矩形枠を縦横それぞれに二等分する破線が広角映像情報３５０に付与されている。
【００４８】
アイコン３５１の矩形枠内の範囲とアイコン３５２の矩形枠内の範囲との間の位置及び大きさ関係が、実空間上における狭角撮影範囲３０１と広角撮影範囲３０２との間の位置及び大きさ関係と一致又は略一致するようにアイコン３５２内にアイコン３５１が配置される。即ち、アイコン３５１の矩形枠とアイコン３５２の矩形枠との間における位置及び大きさ関係は、図５に示された狭角フレーム画像の外枠３１１ａと広角フレーム画像３１２の外枠との間における位置及び大きさ関係と同じ又は略同じとされる。
【００４９】
アイコン３５３の表示位置は、第１追尾処理の結果に基づく狭角フレーム画像列上の追尾対象の位置、又は、第２追尾処理の結果に基づく広角フレーム画像列上の追尾対象の位置に応じて決定される。即ち、アイコン３５１の矩形枠を狭角フレーム画像の外枠と見立て、狭角フレーム画像列上の追尾対象の位置に対応する、アイコン３５１上の位置にアイコン３５３が表示される（但し、後述の狭角フレームアウトが発生している場合、アイコン３５３はアイコン３５１の外に表示される）。同様に、アイコン３５２の矩形枠を広角フレーム画像の外枠と見立て、広角フレーム画像列上の追尾対象の位置に対応する、アイコン３５２上の位置にアイコン３５３が表示される。
【００５０】
撮影者は、広角映像情報３５０を見ることで広角撮影範囲３０２内における追尾対象の位置を認識することできる。
【００５１】
狭角撮像部１１におけるズーム倍率を高倍率に設定した場合などにおいては、少しの撮影方向変化や少しの被写体移動によって、追尾対象が狭角撮影範囲３０１の外に出てしまうことがある。追尾対象が狭角撮影範囲３０１の外に出ること、即ち、追尾対象が狭角撮影範囲３０１から外れることを、狭角フレームアウトと呼ぶ。
【００５２】
今、特定被写体ＴＴが追尾対象に設定された後、実空間上で追尾対象が右方向に移動することにより狭角フレームアウトが発生した状況αを想定する。但し、状況αにおいて、追尾対象は広角撮影範囲３０２内には収まっているものとする。図８（ａ）は、状況α下における撮像装置１及び撮像装置１の周辺の様子を上空側から見た図である。図８（ｂ）及び（ｃ）には、夫々、状況α下で撮影された狭角フレーム画像３６１及び広角フレーム画像３６２が示されている。図８（ｃ）において、破線矩形枠３６３は、広角フレーム画像３６２上に配置された狭角フレーム画像３６１の外枠である。
【００５３】
このような状況αの下での表示画面の様子を、図９に示す。上述したように、表示画面には狭角フレーム画像列が動画像として表示されるが、狭角フレームアウトが生じているため、表示画面上の狭角フレーム画像列には追尾対象が存在しない。一方で、上述した広角映像情報３５０は表示され続けている。狭角フレームアウトの発生時においても、それが発生していない時と同様、アイコン３５２の矩形枠を広角フレーム画像の外枠と見立て、広角フレーム画像列上の追尾対象の位置に対応する、アイコン３５２上の位置にアイコン３５３が表示される。従って、狭角フレームアウトの発生時において、アイコン３５３の表示位置は、第２追尾処理の結果に基づく広角フレーム画像列上の追尾対象の位置に応じて決定される。
【００５４】
上述の説明から明らかなように、アイコン３５１及び３５２はそれぞれ狭角撮影範囲３０１及び広角撮影範囲３０２を表し、アイコン３５３は追尾対象の位置を表している。従って、アイコン３５１〜３５３から成る広角映像情報３５０は、狭角撮影範囲３０１と広角撮影範囲３０２と追尾対象の位置との関係を表す情報（報知情報）として機能する。故に、撮影者は、状況α下において、広角映像情報３５０を頼りに追尾対象を再び狭角撮影範囲３０１内に容易に収めることが可能である。即ち、図９に示されるような広角映像情報３５０を見れば、追尾対象が撮像装置１の右側に位置していることを容易に認識できるため、その認識内容に従って撮像装置１の撮影方向を右側に移動させれば追尾対象を再び狭角撮影範囲３０１内に収めることが可能となる。
【００５５】
尚、上述の具体例では、狭角フレームアウトが発生していない状況下においても、広角映像情報３５０が表示されているが、狭角フレームアウトが発生している状況下においてのみ、広角映像情報３５０を表示するようにしても良い。
【００５６】
また、アイコン３５２の代わりに広角フレーム画像列を表示するようにしてもよい。即ち、アイコン３５２が表示されるべき位置に広角フレーム画像列の動画像を表示し、副表示領域３４１における広角フレーム画像列上にアイコン３５１及び３５３を重畳して表示するようにしても良い。この際、狭角フレームアウトが発生していない状況下においては、主表示領域３４０に狭角フレーム画像列を表示すると共に副表示領域３４１に広角フレーム画像列を表示しておき、狭角フレームアウトの発生が検出されたとき、主表示領域３４０に表示される画像列を狭角フレーム画像列から広角フレーム画像列に変更すると共に副表示領域３４１に表示される画像列を広角フレーム画像列から狭角フレーム画像列に変更するようにしても良い。
【００５７】
主制御部１３は、第１追尾処理の結果に基づいて狭角フレームアウトの発生有無を検出することができる（換言すれば、狭角フレームアウトが発生しているか否かを判断することができる）。例えば、第１追尾処理によって狭角フレーム画像上における追尾対象の位置を検出できなかったとき、狭角フレームアウトが発生したと判断することができる。この際、第１追尾処理によって過去に検出されていた狭角フレーム画像上における追尾対象の位置を更に考慮して、狭角フレームアウトの発生有無を判断するようにしても良い。主制御部１３は、第２追尾処理の結果に基づいて狭角フレームアウトの発生有無を検出することもできる。第２追尾処理の結果に基づく広角フレーム画像上における追尾対象の位置と、予め認識している上記対応関係（広角フレーム画像上の各位置と狭角フレーム画像上の各位置との対応関係）とから、容易に狭角フレームアウトの発生有無を判断することができる。勿論、主制御部１３は、第１追尾処理の結果及び第２追尾処理の結果の双方に基づいて狭角フレームアウトの発生有無を検出することもできる。
【００５８】
本実施形態によれば、狭角フレームアウトが発生したとき、撮影者は広角撮像部２１の出力に基づく広角映像情報３５０を参照することができる。広角映像情報３５０を見れば、狭角撮像部１１のズーム倍率を一旦低倍率化させるなどの必要もなく、容易に追尾対象を狭角撮影範囲３０１に収めなおすことが可能となる。
【００５９】
尚、追尾モードにおいて撮像部１１及び２１を狭角撮像部及び広角撮像部として用いる方法を説明したが、撮像部１１及び２１をステレオカメラとして用いるステレオカメラモードを、撮影モードの一種として設けておくとよい。ステレオカメラモードにおいては、撮像部１１及び２１の画角は互いに同じとされうる。
【００６０】
［第１報知情報］
上記の広角映像情報３５０は、狭角フレームアウトの発生時に撮影者に提供される報知情報の一例であり、広角映像情報３５０を第１報知情報と呼ぶ。狭角フレームアウトの発生時において、第１報知情報と異なる報知情報を撮影者に提供するようにしても良い。以下に、狭角フレームアウトの発生時に提供可能な他の報知情報の例として、第２〜第４報知情報を例示する。
【００６１】
［第２報知情報］
第２報知情報を説明する。第２報知情報は、狭角フレームアウトの発生時に、追尾対象の存在する方向（以下、追尾対象存在方向と呼ぶ）を撮影者に提示する映像情報である。換言すれば、第２報知情報は、撮像装置１から見て何れの方向に追尾対象が存在するのかを撮影者に提示する映像情報である。追尾対象存在方向は、撮像装置１から見た追尾対象の存在方向を表していると同時に、追尾対象を狭角撮影範囲３０１内に再び収めるために必要な撮像装置１の移動方向を表している。例えば、図１０（ａ）に示す如く、状況α下において、追尾対象存在方向を指し示す矢印アイコン４０１が第２報知情報として表示される。矢印アイコン４０１の代わりに、追尾対象存在方向を示す文言（例えば、文言“追尾対象は右方向です”）を第２報知情報として表示するようにしても良い。或いは、その文言を矢印アイコン４０１と共に表示するようにしてもよい。
【００６２】
また、第２追尾処理の結果に基づく広角フレーム画像列上の追尾対象の位置と、広角フレーム画像及び狭角フレーム画像間の位置及び大きさ関係に基づいて、追尾対象を再び狭角撮影範囲３０１に収めるために必要な撮像装置１の移動量を導出し、その移動量に応じた情報を第２報知情報に含めるようにしても良い、或いは、その移動量に応じた情報を第２報知情報とは別に撮影者に報知するようにしても良い。例えば、導出した移動量に応じて矢印アイコン４０１の長さを変化させるようにしても良い。これにより、撮影者は、追尾対象を再び狭角撮影範囲３０１に収めるために撮像装置１をどの程度移動させればよいかを認識することができる。尚、移動量は撮影装置１の平行移動量であっても良いし、撮影装置１をパン又はチルトさせるときにおいては、移動量は撮影装置１の回転量であっても良い。
【００６３】
［第３報知情報］
狭角フレームアウトの発生時において追尾対象存在方向を撮影者に提示する映像情報の形態は様々に変更可能であり、第３報知情報は、追尾対象存在方向を撮影者に提示する任意の映像情報を含む。例えば、図１０（ｂ）に示す如く、状況α下において、追尾対象存在方向に対応する表示画面上の端部を明滅させたり、該端部を所定の警告色で塗りつぶしたりするようにしても良い。
【００６４】
［第４報知情報］
狭角フレームアウトの発生時において追尾対象存在方向を撮影者に提示するための情報は、人間の五感の何れかに訴えうる任意の情報であって良く、第４報知情報は、人間の五感の何れかに作用して追尾対象存在方向を撮影者に提示する任意の情報を含む。例えば、図１０（ｃ）に示す如く、状況α下において、追尾対象存在方向を音声にて撮影者に報知するようにしても良い。
【００６５】
尚、撮像装置１には、上述した任意の報知情報を生成及び出力する報知情報出力部５１が設けられている、と考えることができる（図１１参照）。報知情報出力部５１は、図１の主制御部１３に内包されていると考えることができる。但し、撮影者に対する報知情報の提示を映像表示を用いて行う場合には、表示部１５も報知情報出力部５１の構成要素に含まれると考えることも可能である。同様に、撮影者に対する報知情報の提示を音声出力を用いて行う場合には、撮像装置１内のスピーカ（不図示）も報知情報出力部５１の構成要素に含まれると考えることも可能である。報知情報出力部５１は、上述の第１及び第２追尾処理を実行する追尾処理部５２を有し、追尾処理部５２による第１又は第２追尾処理の結果に基づいて或いは追尾処理部５２による第１及び第２追尾処理の結果に基づいて狭角フレームアウトの発生有無を検出すると共に、狭角フレームアウトの発生時には第２追尾処理の結果を用いて報知情報の生成及び出力を行う。
【００６６】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、第１実施形態の記載を第２実施形態にも適用することができる。
【００６７】
撮影モードの一種である、特殊撮影モードの動作を説明する。特殊撮影モードでは、図１２に示す如く、狭角フレーム画像列が動画像として主表示領域３４０に表示されると同時に広角フレーム画像列が動画像として副表示領域３４１に表示される（図７（ｂ）も参照）。狭角フレーム画像列を主表示領域３４０に表示すると同時に広角フレーム画像列を副表示領域３４１に表示することを、便宜上、狭角メイン表示と呼ぶ。副表示領域３４１に表示された広角フレーム画像上には、矩形枠４２０が重畳表示されている。矩形枠４２０は、図７（ｃ）に示された矩形枠のアイコン３５１と同じ意義を有するものであり、広角フレーム画像上における狭角撮影範囲３０１の外枠を表している。一方で、表示画面に表示される実線の矩形枠４２１（図１２参照）は、広角フレーム画像の外枠、即ち広角撮影範囲３０２の外枠を表している。尚、矩形枠４２１を形成する何れかの辺は、表示画面の外枠と重なっていても良い。
【００６８】
このように、特殊撮影モードにおいては、狭角フレーム画像列及び広角フレーム画像列が表示されると同時に、矩形枠４２０及び４２１により狭角撮影範囲３０１と広角撮影範囲３０２の位置関係及び狭角撮影範囲３０１と広角撮影範囲３０２の大きさ関係も表示される。
【００６９】
特殊撮影モードにおいて、撮影者は、所定のボタン操作又はタッチパネル操作によって狭角フレーム画像列の記録を指示することができる。この指示が成された場合、撮像装置１は、図１２に示すような表示を成しつつ、狭角フレーム画像列の画像データを記録媒体１６に記録してゆく。
【００７０】
撮影者は、副表示領域３４１に表示された広角フレーム画像列を見ることで、記録対象となる狭角撮影範囲３０１の周辺状況を表示画面上で確認することでき、必要に応じて撮像装置１の撮影方向を変化させたり狭角撮像部１１の画角を変更したりすることができるようになる。つまり、撮影構図等の調整が支援される。
【００７１】
また、図１３に示す如く、注目されるべき特定被写体（図１３における人物）が狭角撮影範囲３０１の外に出た場合、主表示領域３４０から特定被写体の表示は消えるが、副表示領域３４１を見れば狭角撮影範囲３０１（矩形枠４２０に相当）との関係における特定被写体の位置を、撮影者は容易に認識することができる。この認識内容に沿って撮影方向等の調整を行えば、容易に特定被写体を狭角撮影範囲３０１内に収めなおすことが可能となる。
【００７２】
逆に、特殊撮影モードにおいて、図１４に示す如く、広角フレーム画像列を動画像として主表示領域３４０に表示すると同時に狭角フレーム画像列を動画像として副表示領域３４１に表示するようにしても良い（図７（ｂ）も参照）。広角フレーム画像列を主表示領域３４０に表示すると同時に狭角フレーム画像列を副表示領域３４１に表示することを、便宜上、広角メイン表示と呼ぶ。広角メイン表示では、主表示領域３４０に表示された広角フレーム画像に、矩形枠４３０が重畳表示されている。矩形枠４３０は、図１２の矩形枠４２０と同じ意義を有するものであり、広角フレーム画像上における狭角撮影範囲３０１の外枠を表している。一方で、図１４において、表示画面の外枠は広角フレーム画像の外枠４３１に対応している。従って、広角メイン表示においても、狭角フレーム画像列及び広角フレーム画像列が表示されると同時に、狭角撮影範囲３０１と広角撮影範囲３０２の位置関係及び狭角撮影範囲３０１と広角撮影範囲３０２の大きさ関係も表示されることに変わりはない。
【００７３】
広角メイン表示が成されているときにおいても、撮影者は、所定のボタン操作又はタッチパネル操作によって狭角フレーム画像列の記録を指示することができる。この指示が成された場合、撮像装置１は、図１４に示すような表示を成しつつ、狭角フレーム画像列の画像データを記録媒体１６に記録してゆく。
【００７４】
また、特殊撮影モードにおいて、撮影者は、切り替え指示操作を撮像装置１に成すことで記録対象画像の切り替えを指示することができる。切り替え指示操作は、所定のボタン操作又はタッチパネル操作にて実現される。この指示が成された場合、主制御部１３に内包される記録制御部（不図示）は、記録対象画像を狭角フレーム画像及び広角フレーム画像間で切り替える。
【００７５】
例えば、図１５に示す如く、時刻ｔ１において狭角フレーム画像列の画像データの記録開始を指示する操作が成され、時刻ｔ１よりも後の時刻ｔ２において上記切り替え指示操作が成され、時刻ｔ２よりも後の時刻ｔ３において上記切り替え指示操作が再び成され、時刻ｔ３よりも後の時刻ｔ４において画像データの記録を終了する指示が成された場合を考える。この場合、記録制御部は、時刻ｔ１及びｔ２間の期間中において狭角フレーム画像列を記録対象画像として記録媒体１６に記録し、時刻ｔ２及びｔ３間の期間中において広角フレーム画像列を記録対象画像として記録媒体１６に記録し、時刻ｔ３及びｔ４間の期間中において狭角フレーム画像列を記録対象画像として記録媒体１６に記録する。結果、時刻ｔ４においては、時刻ｔ１及びｔ２間の狭角フレーム画像列、時刻ｔ２及びｔ３間の広角フレーム画像列、時刻ｔ３及びｔ４間の狭角フレーム画像列が記録媒体１６に保存されていることになる。
【００７６】
通常、撮影における画角を変更するためには画角の変更量に応じた時間が必要である。例えば、注目被写体を大きく写し出すべくズーム倍率を１倍から５倍に増大させようとした場合、ズームレンズ移動用の相応の時間（例えば１秒）が必要となる。一方、上述のような切り替え指示操作を利用すれば、記録媒体１６の記録画像の画角を瞬時に広角及び狭角間で変更することが可能となり、重要なシーンの取り逃がし等を回避することができると共に、躍動感のある動画像を作成することが可能となる。
【００７７】
尚、記録媒体１６に対して狭角フレーム画像列の記録が成されている期間中においては、図１２に対応する狭角メイン表示が成されるように、且つ、記録媒体１６に対して広角フレーム画像列の記録が成されている期間中においては、図１４に対応する広角メイン表示が成されるように、記録対象画像に応じて表示方法を変更するようにしてもよい。
【００７８】
また、切り替え指示操作に従って記録対象画像の切り替えを行うのではなく、狭角フレームアウトの発生有無に応じて記録対象画像の切り替えを行うようにしても良い。即ち、追尾対象が狭角撮影範囲３０１内に収まっているか否かに応じて、記録対象画像の切り替えを行うようにしても良い。具体的には例えば、第１実施形態で述べたように主制御部１３に狭角フレームアウトの発生有無を検出させる（換言すれば判断させる）。そして例えば、上記記録制御部は、狭角フレームアウトが発生していないと判断されている期間中においては、狭角フレーム画像列を記録対象画像として記録媒体１６に記録し、狭角フレームアウトが発生していると判断されている期間中においては、広角フレーム画像列を記録対象画像として記録媒体１６に記録するようにしても良い。狭角フレームアウトが発生した場合には、追尾対象が写っていない狭角フレーム画像よりも追尾対象が写っている可能性の高い広角フレーム画像を記録した方が、撮影者の意図に沿うものと考えられる。
【００７９】
また、追尾対象が狭角撮影範囲３０１内に収まっているか否かに応じて、表示部１５上における狭角フレーム画像の表示位置及び広角フレーム画像の表示位置を変更するようにしても良い（尚、この変更に関わる方法は、第１実施形態で述べた方法の１つと重複する）。具体的には例えば、第１実施形態で述べたように主制御部１３に狭角フレームアウトの発生有無を検出させる（換言すれば判断させる）。そして例えば、狭角フレームアウトが発生していないと判断されている期間中においては狭角メイン表示を成し、狭角フレームアウトが発生していると判断されている期間中においては広角メイン表示を成すようにしても良い。狭角フレームアウトの発生時には、狭角フレーム画像上に追尾対象が写っていないため、狭角フレーム画像を主表示領域３４０に表示するよりも広角フレーム画像を主表示領域３４０に表示した方が、構図調整等にとって都合が良いとも言える。
【００８０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００８１】
［注釈１］
図１の撮像装置１には２つの撮像部が設けられているが、撮像装置１に３つ以上の撮像部が設けられていてもよく、本発明を３つ以上の撮像部に対して適用しても良い。
【００８２】
［注釈２］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００８３】
１  撮像装置
１１、２１  撮像部
１３  主制御部
１５  表示部
３０１  狭角撮影範囲
３０２  広角撮影範囲
３４０  主表示領域
３４１  副表示領域
３５０  広角映像情報
ＴＴ  特定被写体
【図１】
2012029245.tif 000003
【図２】
2012029245.tif 000004
【図３】
2012029245.tif 000005
【図４】
2012029245.tif 000006
【図５】
2012029245.tif 000007
【図６】
2012029245.tif 000008
【図７】
2012029245.tif 000009
【図８】
2012029245.tif 000010
【図９】
2012029245.tif 000011
【図１０】
2012029245.tif 000012
【図１１】
2012029245.tif 000013
【図１２】
2012029245.tif 000014
【図１３】
2012029245.tif 000015
【図１４】
2012029245.tif 000016
【図１５】
2012029245.tif 000017