(57)【要約】  ユーザーが撮影しようとしている対象物を、被写体として認識し、その動きを追尾し、被写体が撮影エリアを外れた場合でも、被写体の動きを追尾できるようにし、常に指定した被写体に対するピント合わせを確実に行うことができる撮像装置である。被写体を撮影するメインカメラ２０と、メインカメラ２０で撮影された撮影画像を表示するＥＶＦ４０と、メインカメラ２０より広い撮影範囲で被写体を撮影するサブカメラ８０と、メインカメラ２０およびサブカメラ８０で撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体がメインカメラ２０の撮影範囲外に移動した場合に、サブカメラ８０で撮影された撮影画像から抽出された被写体を追尾する。
2016016984.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、前記被写体の撮影画像を取得する撮像装置であって、
前記被写体を撮影する第１のカメラセンサと、
前記第１のカメラセンサで撮影された前記撮影画像を表示する表示部と、
前記第１のカメラセンサより広い撮影範囲で前記被写体を撮影する第２のカメラセンサと、
前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせる処理部と、
を備え、
前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体を追尾する、撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースを備え、
前記処理部は、前記データベースに格納された前記データと、前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記処理部は、前記被写体が複数ある場合に、前記第１のカメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体に基づいて、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像に基づいて、前記表示部に前記第１のカメラセンサの撮影範囲外の撮影画像を表示させる、撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記処理部は、前記第１のカメラセンサの中心部で無限遠画像の被写体を撮影した撮影画像と、前記無限遠画像の被写体の前記第２のカメラセンサの撮影画像とを比較し、前記第２のカメラセンサ上での前記無限遠画像の被写体の位置情報に基づいて、前記第２のカメラセンサの取付誤差を修正する、撮像装置。
【請求項７】
被写体を撮影し、前記被写体の撮影画像を取得する撮像装置であって、
前記被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサと、
前記被写体の撮影画像の撮影範囲の画像を表示する表示部と、
前記カメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせる処理部と、
を備え、
前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体を追尾する、撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースを備え、
前記処理部は、前記データベースに格納された前記データと、前記カメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記処理部は、前記被写体が複数ある場合に、前記カメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記処理部は、前記被写体が前記撮影範囲の領域がに移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体に基づいて、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像に基づいて、前記表示部に前記撮影範囲の領域外の撮影画像を表示させる、撮像装置。
【請求項１２】
請求項９に記載の撮像装置において、
前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像の中で、前記撮影範囲とする領域を前記被写体が撮影できる位置に移動させる、撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記処理部は、前記撮影範囲とする領域を移動させた場合に、前記撮影範囲とする領域が、前記カメラセンサの中央付近に戻るまで、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
【請求項１４】
被写体を撮影し、前記被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、
処理部により、第１のカメラセンサおよび前記第１のカメラセンサより広い撮影範囲で前記被写体を撮影する第２のカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせ、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体を追尾する、被写体追尾方法。
【請求項１５】
請求項１４記載の被写体追尾方法において、
前記処理部により、複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースに格納されたデータと、前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、被写体追尾方法。
【請求項１６】
請求項１５に記載の被写体追尾方法において、
前記処理部により、前記被写体が複数ある場合に、前記第１のカメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、被写体追尾方法。
【請求項１７】
被写体を撮影し、前記被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、
処理部により、前記被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせ、前記被写体が前記撮影範囲の領域外に移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体を追尾する、被写体追尾方法。
【請求項１８】
請求項１７に記載の被写体追尾方法において、
前記処理部により、複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースに格納されたデータと、前記カメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、被写体追尾方法。
【請求項１９】
請求項１８に記載の被写体追尾方法において、
前記処理部により、前記被写体が複数ある場合に、前記カメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、被写体追尾方法。
【請求項２０】
請求項１９に記載の被写体追尾方法において、
前記処理部により、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像の中で、前記撮影範囲とする領域を前記被写体が撮影できる位置に移動させる、被写体追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影する撮像装置に関し、特にオートフォーカス時の被写体追尾の技術に関するものである。
【背景技術】
【０００２】
被写体の映像を半導体により構成される多画素の集合体であるカメラセンサに、レンズを通して映像投射させ、各画素毎に照射された光の量を測定することにより、二次元の撮像映像を取得するデジタル方式のカメラが普及している。【０００３】
また、カメラにおいては、自己発光または反射光の点光源の集合体で構成される被写体の映像の各点光源が、カメラセンサまたはフィルム面に、所定のボケ直径以内になるように、レンズとカメラセンサの距離を調節して、被写体のピントがあった映像をカメラセンサまたはフィルム面に投射するための調節が必要になるが、これを被写体とカメラの距離により、自動的に合わせるオートフォーカス機能が、ほとんどのカメラに搭載されている。【０００４】
なお、所定のボケ直径以内とは、撮影画像を明視距離、即ち目が特に調節をしなくても楽にピントを合わせて写真を見ることができる距離で視聴したとき、ボケ直径が人間の視認分解能以下となる値であり、一般に撮影した写真を見るときに、写真の対角線の１／１０００〜１／１５００程度の大きさの直径が、視認分解能限界とされている。【０００５】
ここで、オートフォーカスを行うためには、ユーザーがマニュアル操作で、画面内の撮影したい被写体にピント合わせをするのに対して、カメラが、まず、画面内中央に位置するものを、ユーザーが意図した画面内の被写体としてピント合わせを行う必要があり、この場合には被写体を画面の中央に必ず持ってくる必要が生じていた。即ち、被写体が画面中央から外れた場合は、ピント合わせをすることが困難である場合が生じていた。【０００６】
このようなオートフォーカスをユーザーが意図した被写体に対して自動的にピント合わせをする新しい技術として、例えば、特開平５−８０２４８号公報（特許文献１）に記載のオートフォーカス装置のように、撮影対象とする被写体をフォーカスエリア内に特定し、この特定した被写体の焦点位置を自動的に検出して合焦動作を行うオートフォーカス装置であって、複数の小領域からなる注目領域の各小領域内の映像に対するエントロピーをフレーム毎に求め、エントロピーの各小領域間のフレーム間移動を検出することによって被写体の移動を検知する動き検出手段を備え、この動き検出手段での検出結果に基づいてフォーカスエリアを被写体の移動に追従させて移動させる技術があった。【０００７】
ここで、特許文献１において、エントロピーとは乱雑さを示す値であり、画面内でユーザーが予めターゲットとした被写体のエントロピーを、被写体イメージが投射されているカメラセンサ上の位置において、撮影する被写体が投射されたカメラセンサ上の部分の出力データの乱雑さを、被写体を特定する値として認識することにより特定し、その被写体が画面内を移動したときに、画面内の各場所毎にエントロピーを求めることで、最初のエントロピーと近い領域に投射されている光学映像を、被写体として認識し、そこにピントを合わせるという動作を行っている。【０００８】
また、一般にユーザーが撮影する被写体は、ある程度種類が限られている。具体的には例えば、人の顔で、この場合、カメラが被写体として人の顔を抽出し、そこにピントを自動的に合わせるような製品も発売されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−８０２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の技術では、ユーザーが撮影しようとしている対象物を被写体として認識して、ピント合わせを行っているが、その被写体が、カメラのファインダーなどに表示されている撮影エリアを外れた場合は、被写体を追尾することができず、ピント合わせを行うことができないという問題があった。【００１１】
そこで、本発明の目的は、ユーザーが撮影しようとしている対象物を、被写体として認識し、その動きを追尾し、被写体が撮影エリアを外れた場合でも、被写体の動きを追尾できるようにし、常に指定した被写体に対するピント合わせを確実に行うことができる撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。【００１３】
すなわち、被写体を撮影し、被写体の撮影画像を取得する撮像装置であって、被写体を撮影する第１のカメラセンサと、第１のカメラセンサで撮影された撮影画像を表示する表示部と、第１のカメラセンサより広い撮影範囲で被写体を撮影する第２のカメラセンサと、第１のカメラセンサおよび第２のカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体が第１のカメラセンサの撮影範囲外に移動した場合に、第２のカメラセンサで撮影された撮影画像から抽出された被写体を追尾するものである。【００１４】
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置であって、被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサと、被写体の撮影画像の撮影範囲の画像を表示する表示部と、カメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体が前記撮影範囲の領域外に移動した場合に、撮影範囲の領域外で撮影されたカメラセンサの撮影画像から抽出された被写体を追尾するものである。【００１５】
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、処理部により、第１のカメラセンサおよび第１のカメラセンサより広い撮影範囲で被写体を撮影する第２のカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせ、被写体が第１のカメラセンサの撮影範囲外に移動した場合に、第２のカメラセンサで撮影された撮影画像から抽出された被写体を追尾するものである。【００１６】
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、処理部により、被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせ、被写体が撮影範囲の領域外に移動した場合に、撮影範囲の領域外で撮影されたカメラセンサの撮影画像から抽出された被写体を追尾するものである。
【発明の効果】
【００１７】
本発明によれば、例えば高速で飛翔する鳥を被写体としたときも、被写体を認識し、その被写体を追尾することができ、被写体が、カメラのファインダーなどに表示されている撮影エリアを外れた場合においても、被写体として認識し続けることで、被写体を見失うことなく、撮影を行うことができ、被写体に対する最適なピント合わせを実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１に係る撮像装置の基本構成を示す構成図である。
【図２】本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成を示す構成図である。
【図３】本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成を示す構成図である。
【図４】（Ａ）〜（Ｃ）は本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアを説明するための説明図である。
【図５】（Ａ）〜（Ｄ）は本発明の実施の形態１に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
【図６】本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。
【図７】本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法を説明するための説明図である。
【図８】本発明の実施の形態２に係る撮像装置の基本構成を示す構成図である。
【図９】（Ａ）、（Ｂ）は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図である。
【図１０】（Ａ）、（Ｂ）は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図である。
【図１１】（Ａ）、（Ｂ）は本発明の実施の形態３に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２０】
（実施の形態１）
＜撮像装置の基本構成＞
図１により、本発明の実施の形態１に係る撮像装置の基本構成について説明する。図１は本発明の実施の形態１に係る撮像装置の基本構成を示す構成図である。
【００２１】
図１において、撮像装置は、対物レンズ１０を介して被写体の画像が投影される第１のカメラセンサであるメインカメラ２０、メインカメラ２０の出力信号を処理する信号処理ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）３０、被写体の撮影範囲となる撮影エリアの画像を表示する表示部であるＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）４０、被写体となるオブジェクトを抽出するオブジェクト抽出部５０、オブジェクトを認識するための情報が格納されるデータベース６０、被写体のピントの合焦状態を計算する空間周波数計算部７０、メインカメラ２０と同じ被写体をメインカメラ２０より広角で撮影する第２のカメラセンサであるカメラセンサなどからなるサブカメラ８０、被写体を追尾する被写体追尾部９０、被写体までの距離情報を算出する距離情報算出部１００、距離情報算出部１００で算出された距離情報に基づいて、被写体に対するピントを合わせるために、モーター駆動により対物レンズ１０とメインカメラ２０の相対距離の増減移動を行うＡＦ（オートフォーカス）制御部１１０から構成されている。
【００２２】
また、信号処理ＤＳＰ３０、オブジェクト抽出部５０、空間周波数計算部７０、被写体追尾部９０、距離情報算出部１００、ＡＦ制御部１１０で処理部を構成している。
【００２３】
＜撮像装置の動作＞
次に、図１により、本発明の実施の形態１に係る撮像装置の動作について説明する。
【００２４】
まず、対物レンズ１０を通してメインカメラ２０に投射された被写体の画像は、電子信号に変換され、信号処理ＤＳＰ３０に入力される。ここで、入力信号は、輝度＋色差信号からなるＹＵＶに変換され、また、同時にＥＶＦ４０にてユーザーに提供され、特に移動している被写体をユーザーが撮像装置を振って追尾するときに使われる。
【００２５】
ここで、信号処理ＤＳＰ３０の出力信号はオブジェクト抽出部５０にも入力される。オブジェクト抽出部５０は、入力された信号の撮影画像内の複数ある被写体をそれぞれ抽出し、例えば、人の顔の場合は、目・鼻・口の存在、横顔の場合は形状で、人の顔を抽出し、被写体とカメラの向きの関係で視点が変化しても、同一被写体として認識し続ける。人の顔の場合には、例えば、肌の色、髪の色もバラエティを加味して特定することも可能である。
【００２６】
ここで、データベース６０には、一般にユーザーが撮影する被写体の構成要件や形状、色などのように、被写体を見る向きが変化しても同一被写体として認識するために必要な情報が予め格納されている。
【００２７】
このデータベース６０に格納されるデータとしては、例えば、人であれば、徒歩、疾走、または座っている場合などのそれぞれ特徴とする形状や色などを要素としたデータである。また、鳥であれば、例えば、小鳥、猛禽類などや、鷺や白鳥のように首の長く、種類によって飛翔時に首を伸ばすか曲げるかが異なる場合などのそれぞれ特徴とする形状や色などを要素としたデータである。
【００２８】
また、動物であれば、例えば、犬、猫、またはその他の動物のそれぞれ特徴とする形状や色などを要素としたデータである。また、自動車であれば、例えば、セダン、スポーツカー、ワゴン、トラック、またはレースカーなどのそれぞれ特徴とする形状や色などを要素としたデータである。また、列車であれば、電車、汽車、またはその他の列車のそれぞれ特徴とする形状や色などを要素としたデータである。
【００２９】
データベース６０に格納されるこれらのデータは、特に高速で移動するときに、撮像装置で追尾している間に向きが変わっても追尾可能なための情報を、オブジェクト抽出部５０に供給する。
【００３０】
ここで色や形状データは、ある程度被写体からピントが外れてぼけた映像でも、概略の形状および色の混色状態から認識ができるようなアルゴリズムで利用する。
【００３１】
撮像装置で撮影した撮影画像には、撮影開始時から撮影エリア内に写り込んでいながら、途中で撮影エリアから外れる被写体、また撮影開始後に撮影エリア内に入ってきて、そのまま入り続ける被写体などが複数存在するが、例えば、所定時間これらを追尾し、常に撮影エリア内にある被写体を、ユーザーが撮影したい対象物である被写体として認識する。
【００３２】
ここで、メインカメラ２０の略中央に、より長い時間位置し続ける被写体は、複数ある被写体の中で、ユーザーが撮影したい対象物として認識するための重みづけをより強くするのも効果的であり、その処理と判断はオブジェクト抽出部５０が行っている。
【００３３】
このとき、被写体として認識する対象物は、被写体追尾部９０にも通知され、サブカメラ８０により撮影された撮影画像においても、同じ被写体を追尾する。
【００３４】
そして、当該被写体との距離を算出する情報の一部を、距離情報算出部１００に送ると共に、サブカメラ８０にて撮影した被写体が、メインカメラ２０の撮影エリアから一瞬フレームアウトすることがあっても、被写体として追尾をし続けて、その被写体の位置を示す情報をオブジェクト抽出部５０に送り続ける。
【００３５】
また、オブジェクト抽出部５０で認識されたユーザーが撮影対象物として追尾している被写体にピントを合わせるために、空間周波数計算部７０にて、被写体のピントの合焦状態を計算し、その結果をオブジェクト抽出部５０を通して距離情報算出部１００に送り、距離情報算出部１００はこの情報に従って、対物レンズ１０の位置を動かすＡＦ制御部１１０に指示を送り、被写体に対するピントを合わせるために、モーター駆動により対物レンズ１０とメインカメラ２０の相対距離の増減移動を行う。
【００３６】
この結果に従って新たに得られた画像により新たに異なった空間周波数が空間周波数計算部７０により算出され、これを再び同じ方法でＡＦ制御部１１０にフィードバックすることで、被写体に対して、常にピントを合わせ続けることが可能となる。
【００３７】
このとき、被写体の追尾中は、少しでもレンズを動かさなくてもピントが合う範囲を広くするように、センサ感度を上げて、絞りを絞って被写界深度を確保した状態で追尾し、実際に撮像装置で撮影するときには、シャッター速度を上げて、かつ可能な範囲でセンサ感度を下げることでＳ／Ｎを確保し、絞りは開く方向になり、被写界深度が狭くなるが、ＡＦ制御部１１０の動作により被写体自体にしっかりピントを合わせた後に、実際にシャッターが動作し、メインカメラ２０から撮影画像を取り出すことで、目標物に適切にピントを合わせつつ、手ぶれの少なく、画質の良い静止画像を、特に動く被写体から得ることができる。
【００３８】
ここで、撮影するときは、必ずしも常に追尾中に煩雑に被写体に対して完全にピントが合うように対物レンズ１０の移動を行う必要はなく、ある程度ピントが合ったところで、対物レンズ１０は動かさない状態で追尾を続行し、例えば、ユーザーが被写体の撮影を行うためのシャッターボタンの操作をした際に、最終的に正確なピント合わせを行って、撮影を行う方法でもよく、この場合は、対物レンズ１０を煩雑に動かさないので、撮像装置を動作させるバッテリーの消耗を抑えることが可能になる。
【００３９】
なお、被写体として認識して追尾している被写体は、ＥＶＦ４０にて表示されているメインカメラ２０による撮影画像中に、被写体にオーバーレイするように、認識していることを示すアイコンを重畳して表示することで、ユーザーは、被写体が正しく認識していることを確認することができる。
【００４０】
もし違ったものを認識した場合は、図示しないが、例えば撮像装置の本体に設けた指定のボタン等を押すことで、一度追尾をリセットするか、撮像装置の向きを変えて追尾をし続けることで、ユーザーが撮影しようとしている被写体を追尾対象として捕捉し直すことができる。
【００４１】
また、例えば、ユーザーがシャッターボタンを半押ししている間は追尾し、全押しで撮影、押さないことで追尾をしない、または、追尾をリセットするという方法で、追尾対象の被写体を選び直してもよい。この方法は、例えば、ＥＶＦ４０から一度目を離して、図示しない他の表示部上をタッチして被写体を選択する余裕がないような高速移動をする被写体を撮影する場合に効果的である。
【００４２】
また、サブカメラ８０は、メインカメラ２０より広角で撮影しており、メインカメラ２０で撮影する撮影エリアから被写体が外れた場合でも、サブカメラ８０で撮影した撮影画像により、被写体を追尾することができる。また、ユーザーには、ＥＶＦ４０上に、撮影エリアを外れた被写体の方向を示すパン・ガイドを表示することにより、ユーザーは撮影エリアから外れた被写体の方向を認識することができる。
【００４３】
＜撮像装置の一例であるデジタルカメラの構成＞
次に、図２により、本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成について説明する。図２は本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成を示す構成図である。
【００４４】
図２において、デジタルカメラは、トリプレットで構成された対物レンズ１０を介して被写体１２０の画像をメインカメラ２０に投影し、被写体１２０を撮影している。また、被写体１２０は、デジタルカメラの上部に配置されたサブカメラ８０でも撮影している。被写体を撮影した撮影画像は、ＥＶＦ４０に表示され、ユーザーは撮影する対象物を確認することができる。また、撮影画像は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）１３０にも表示され、対象物の確認や各種操作なども行うことができる。
【００４５】
図２においては、デジタルカメラは、撮影する対象物として、高速で飛翔する鳥のような移動体であるオブジェクトとして被写体１２０を選択している。この選択は、例えば、被写体１２０が所定時間以上、トリプレットで構成された対物レンズ１０を通してメインカメラ２０にて受光する被写体イメージが、所定時間連続して受光されたときに、被写体として認識を行う。
【００４６】
ここで、ユーザーは、メインカメラ２０が捉え続けている被写体を、ＥＶＦ４０に表示される撮影画像を見つつ、メインカメラ２０に被写体の撮影画像が入るように、デジタルカメラの方向を変えつつ被写体１２０を追尾していく。
【００４７】
そして適当な時点で、図示しないシャッターボタンをユーザーが押し下げることで、対物レンズ１０は、被写体１２０にピントが合うように移動し、メインカメラ２０は被写体の撮像映像を取り込んで、数秒間ＬＣＤ１３０に表示しつつ、後述する外部メモリに、撮影画像を記録する。
【００４８】
また、デジタルカメラは、サブカメラ８０を搭載している。サブカメラ８０の光学系は、メインカメラ２０と対物レンズで構成される光学系と同一方向にて略平行になるように設置し、かつメインカメラ２０の光学系に比して、より広角な撮影を行うことができるように、画角の広い光学系を有している。メインカメラ２０にて被写体１２０を撮影対象として認識した後は、サブカメラ８０でもこの被写体を追尾し続ける。
【００４９】
サブカメラ８０にて取り込まれる映像は、被写体１２０の追尾で利用される他、被写体１２０の焦点１４０、およびメインカメラ２０とサブカメラ８０との光軸間距離である基線長１０５０を利用して、三角測量の方法で被写体１２０とデジタルカメラとの距離を測定することができる。具体的には、サブカメラ８０上に投射された被写体１２０の座標が、サブカメラ８０の光学系の軸中心よりオフセット距離１５５だけ離れていれば、この距離と光学系の寸法から、サブカメラ８０の位置＝カメラ位置と被写体１２０の距離を概算することができるので、この情報をメインカメラ２０によるピント合わせのための情報としても利用することもできる。
【００５０】
なお、被写体１２０を撮影対象として認識させる方法として、前述の所定時間連続してメインカメラ２０の撮影画像内に被写体１２０があることを認識する方法の他に、メインカメラ２０にて撮影している撮影画像を、ＥＶＦ４０と同様に動画像としてリアルタイムにＬＣＤ１３０に表示し、ＬＣＤ１３０上に設置した、図示しないタッチパネルにより、撮影画像中の被写体を指などでタッチすることで、被写体１２０を撮影対象として認識させてもよい。
【００５１】
このとき、一度ＥＶＦ４０から目を離し、ＬＣＤ１３０を見ながらタッチし、そののち再びＥＶＦ４０にて撮影対象を見ることになるが、ＬＣＤ１３０から目を離してＥＶＦ４０を覗き込む間に、メインカメラ２０の撮影エリアから被写体１２０が外れてしまっても、メインカメラ２０の光学系に比べて、広角な光学系を有するサブカメラ８０にて被写体１２０の追尾を継続しているので、ＥＶＦ４０内に被写体１２０のある位置を示すことで、再度ＥＶＦ４０に被写体１２０を表示させ、移動体である被写体１２０を追尾することができる。
【００５２】
＜デジタルカメラの内部構成＞
次に、図３により、本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成について説明する。図３は本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成を示す構成図である。
【００５３】
図３において、デジタルカメラは、ＣＰＵ１５０をコアとしたコンピュータシステムとして構成している。ＣＰＵ１５０と、各種周辺回路はメインバス３００により接続している。
【００５４】
ハードＳＷ１６０は、シャッターボタンを始め、ズームレンズの駆動などの操作を行うためのスイッチ群であり、これらのＳＷのいずれかが押されると、各ＳＷに対応したコードが、ＳＷ押下げを示すコードとともに、ＣＰＵ１５０に取り込まれ、各々のＳＷに対応した処理をＣＰＵ１５０が行う。
【００５５】
これらの処理を行うプログラムは、フラッシュメモリ２２０上に記載しており、また処理に伴うワークエリアは、ＳＤ−ＲＡＭ２３０上に確保する。カメラ個体鍵情報１７０は、デジタルカメラの個体を指し示す番号もしくは、デジタルカメラにユーザー登録したユーザー名を基にした情報であり、撮影された撮影画像データ内に、撮影したデジタルカメラ名やユーザー名を埋め込んだり、場合によっては他者に撮影画像を見ることができないように、この鍵情報を使って撮影画像データを暗号化して、保存することを可能にする。
【００５６】
エンコーダ／デコーダ１８０は、撮影した撮影画像データの圧縮・伸長を行う回路であり、メインカメラ２０で撮影した撮影画像を、例えばＪＰＥＧ圧縮を施した上で、外部メモリＩ／Ｆ２６０を経て、例えば、ＳＤメモリカード等の外部メモリ２７０に記録することができる。また、外部メモリ２７０に記録された静止画や動画などの画像を伸長して、ＬＣＤ２４０に表示することができる。
【００５７】
メインカメラ２０は、被写体１２０を撮影するためのカメラである。メインカメラ２０の使い方は、移動する被写体１２０の追尾と、撮影の両方に使用する。サブカメラ８０は、被写体を追尾するためのカメラであり、信号処理回路も含んでいる。
【００５８】
なお、図３においては、図１における、メインカメラ２０の信号処理を行う信号処理ＤＳＰ３０は図示していないが、例えば、メインカメラ２０の内部で信号処理ＤＳＰ３０の処理を行うなどの構成となる。また、サブカメラ８０の出力信号が入力される被写体追尾部９０も図示していないが、例えば、オブジェクト抽出部５０で被写体追尾部９０の処理を行うか、または、ＣＰＵ１５０の処理により、被写体追尾部９０の処理を行うなどの構成となる。
【００５９】
スピーカー１９０は、デジタルカメラで動画を撮影し、再生したときの音声再生を行ったり、ハードＳＷ１６０や、後述するＬＣＤ２４０上に設置したタッチパネル２５０を押したときの音、さらにユーザーに通知や警告などの情報が発生したことを知らせる音を再生する。
【００６０】
イヤホン２００は、デジタルカメラで動画像を撮影するときに、マイクロフォン２１０で取得した音声を、撮影中にモニターするときに利用する。また、既撮影の動画を再生するときに、スピーカー１９０で音を鳴らさずに、静かに撮影結果を確認するときにも、イヤホン２００にて音声再生を行い、ユーザーが撮影した動画像を映像および音声の両方で確認することができる。
【００６１】
ＬＣＤ２４０は、撮影し記録した静止画、および動画などの画像を表示することができる他、タッチパネル２５０を用いてユーザーがカメラへの設定情報を入力するときに、タッチパネル２５０をタッチする座標に、設定項目を表示して、ユーザーがタッチ入力により、デジタルカメラの操作をすることができるような表示が可能である。
【００６２】
ＥＶＦ４０は、撮影時にデジタルカメラのファインダーとして利用する。ＥＶＦ４０の表示画像には、メインカメラ２０で取得したリアルタイム動画像に、撮影に必要なセンサ感度、シャッター速度、絞り値、追尾している被写体の方向などの情報がオーバーレイして表示される。
【００６３】
外部メモリＩ／Ｆ２６０は、撮影した撮影画像データを保存するための着脱可能なＳＤメモリカードなどの外部メモリ２７０を取り付けるＩ／Ｆである。
【００６４】
オブジェクト抽出部５０は、図１で示したように、ユーザーが撮影しようとしている被写体を、メインカメラ２０およびサブカメラ８０のカメラに写っている映像から抽出・特定する機能を有している。撮影対象となる被写体の形状・色などの特徴は、データベース６０に予め格納されており、ユーザーによる新たな追加も可能である。
【００６５】
オブジェクト抽出部５０は、まずＧセンサ２９０により、デジタルカメラが現時点で位置や方向を固定しているか、動く被写体を追尾するためにユーザーが向きを変え続けているかを判定し、固定している場合は、人の顔、猫の顔などの比較的動きの少ない被写体１２０の特徴をデータベース６０から読み出して被写体を特定する判定を行う。
【００６６】
また、デジタルカメラの向きを変え続けているときは、被写体１２０が動いていると判定し、飛翔する鳥や疾走する動物、子供、その他犬や猫も横から見た形状などの特徴をデータベース６０から読み出して被写体１２０を特定する判定を行う。
【００６７】
また、被写体１２０がさらに特殊なもので、データベース６０にない場合は、デジタルカメラの向きを変えて追尾しているときに、ＬＣＤ２４０に撮影画像を表示し、タッチパネル２５０をタッチすることで、被写体１２０を特定することで、その被写体１２０の特徴をデータベース６０に追加する。
【００６８】
また、予め撮影した動画像を再生しているときに、再生中もしくはＰＡＵＳＥで一時停止をしているときに、タッチパネル２５０をタッチすることで、被写体１２０を特定し、その特徴をデータベース６０に追加保存することもできる。
【００６９】
ここで、メインカメラ２０やサブカメラ８０からの情報は、メインバス３００を用いてオブジェクト抽出部５０に送信してもよいが、ＣＰＵ１５０の直接管理にあるメインバス３００を、撮影画像という大量のデータが占有してしまうこともあり得るため、撮影画像のデータは、ダイレクトパス３０５を用いて送信している。これにより、撮影画像データはメインバス３００に負荷をかけることなく、オブジェクト抽出部５０に送信し、ＣＰＵ１５０は、カメラの操作を含むカメラ動作全体に余裕を持って対応することができ、デジタルカメラの操作においてディレイが生じる等の問題を起こさずに、撮影を行うことができる。
【００７０】
距離情報算出部１００とＡＦ制御部１１０は、図１の動作と同一である。ここでも、オブジェクト抽出部５０からダイレクトパス３０５により情報を距離情報算出部１００に送ることで、メインバス３００の負荷を減らし、デジタルカメラの通常動作に影響を与えることなく、追尾およびオートフォーカス処理を行うことができる。
【００７１】
無線ＬＡＮ２８０は、無線通信によりネットワーク接続を行うものであり、例えば、撮影した撮影画像を自動的にネットワークサーバに保存して、外部メモリ２７０の容量減に対応したり、また、撮影した撮影画像をソーシャルネットワークサービスなどに投稿することもできる。
【００７２】
さらに、フラッシュメモリ２２０に保存されているデジタルカメラの動作プログラムのアップデートや、データベース６０に記録されている各種被写体の特徴を示す情報の追加・変更をメーカーサービスなどにより行うことができる。
【００７３】
Ｇセンサ２９０は、デジタルカメラの動きを検出するもので、その検出結果はオブジェクト抽出部５０に送られて、データベース６０から読み出す被写体の特徴を示すデータの読み出し優先順位を変更することができる。Ｇセンサ２９０は基本的に加速度センサであり、デジタルカメラの前後左右の直線的な動きや、デジタルカメラを振りまわしたときの角加速度を検出して、デジタルカメラの動きをデータ化することができる。
【００７４】
また、Ｇセンサ２９０は加速度センサだけではなく、地磁気センサの機能も持たせると、例えば、デジタルカメラが上を向いているときは、データベース６０から読み出す被写体の特徴を示すデータは、飛翔する鳥を優先して検索したり、デジタルカメラが下から上に向かって動いているときは、例えば、木に登る猫のように、下から上に向かう行動を伴う対象物を優先してデータベース６０から検索することで、より高速な被写体の特徴抽出を行うことができ、これにより、より早く被写体の追尾動作に入ることができる。
【００７５】
＜メインカメラおよびサブカメラの撮影エリア＞
次に、図４により、本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアについて説明する。図４は本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアを説明するための説明図であり、メインカメラおよびサブカメラの撮影エリアと被写体の位置関係を示している。
【００７６】
サブカメラ８０の撮影エリア３１０は、メインカメラ２０の撮影エリア３２０に比べて、広角であり、より広い領域を常に撮影している。即ち、図４（Ａ）〜（Ｃ）のすべてにおいて、ＥＶＦ４０で視認ができ、実際に撮影される範囲は、メインカメラ２０の撮影エリア３２０であり、サブカメラ８０の撮影エリア３１０は、常にメインカメラ２０の撮影エリア３２０より広い範囲を撮像している。
【００７７】
図４（Ａ）において、被写体１２０は、メインカメラ２０の撮影エリア３２０内にある。ユーザーが、ここでは飛翔する鳥を被写体１２０として選択して、被写体１２０を追尾している状態で、ちょうど撮影に適した状態で、被写体１２０は、メインカメラ２０の視野内略中央に位置しており、メインカメラ２０で被写体１２０を追尾できる状態である。
【００７８】
図４（Ｂ）では、被写体１２０が、メインカメラ２０の撮影エリア３２０から外れかけた状態を示している。このときは、メインカメラ２０だけでは被写体１２０の認識と追尾が困難になるので、サブカメラ８０の撮影画像も被写体１２０の認識および追尾に参照する。
【００７９】
ここで、メインカメラ２０のレンズが、交換可能であったり、ズームレンズであったりした場合、サブカメラ８０の光学系を常にメインカメラ２０の撮影エリア３２０より広角であるようにするためには、サブカメラ８０の光学系を工夫する必要があるが、本実施の形態では、例えば、以下に示す方法をとっている。
【００８０】
第１の方法は、メインカメラ２０で使用する可能性のあるレンズのうち、もっとも広角なレンズの画角よりもさらに広い画角のレンズをサブカメラに使用することである。この場合、メインカメラ２０で使用するレンズが最大広角レンズの場合は、被写体１２０を追尾するときに、メインカメラ２０のフレームから、被写体が外れてしまう可能性は、望遠レンズのときに比べてはるかに少ないため、サブカメラ８０の最大広角焦点距離は、メインカメラ２０のものより略同一から若干広い程度の広角レンズで、十分な役目を果たすことが可能である。
【００８１】
しかし、メインカメラ２０で使用する可能性のあるレンズのうち、もっとも長焦点距離を持つ望遠レンズを用いて、動く被写体を捕捉しようとした場合、サブカメラ８０の撮影エリアのごく一部でしか被写体１２０を認識できず、サブカメラ８０の仕様として、このような場合でも被写体１２０を認識するのに十分な画素数を有するセンサと、十分な解像度性能を有するレンズを、サブカメラに用いる必要がある。
【００８２】
第２の方法は、第１の方法で説明したメインカメラ２０とサブカメラ８０のレンズの焦点距離の関係から、サブカメラ８０で追尾する必要のある被写体１２０を撮影するメインカメラ２０で使用するレンズの焦点距離が、ある程度以上の場合、例えば、デジタル一眼レフカメラ等で「フルサイズ」と呼称される約３６ｍｍ×２４ｍｍサイズの画面に撮影を行う３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝１００ｍｍ以上程度の光学焦点距離を有するレンズのときに、サブカメラ８０が利用できればよいとして、サブカメラ８０用レンズの焦点距離を最大広角レンズの焦点距離ではなく、ある程度長い焦点距離、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝５０ｍｍ程度の光学焦点距離に決めてしまうという方法である。
【００８３】
しかし、この場合でも、メインカメラ２０で使用するレンズに極端な望遠レンズ、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝５００ｍｍ以上の光学焦点距離を有するレンズを利用した場合、メインカメラ２０の画角は、サブカメラ８０のセンサの上で、長さ方向で１／１０しかなく、その範囲で被写体１２０の認識と追尾を行う必要があるため、第１の方法と同様に、被写体１２０を認識するのに十分な画素数を有するセンサと、十分な解像度性能を有するレンズを、サブカメラ８０に用いる必要がある。
【００８４】
第３の方法は、サブカメラ８０に用いるレンズの焦点距離を可変にするという方法である。具体的には、メインカメラ２０用のレンズを交換した場合は、レンズとカメラボディとの間の電気的インタフェースにより、メインカメラ２０用レンズの焦点距離を読み取り、ズームレンズによる焦点距離が変更された場合は、メインカメラ２０用レンズがズームレンズの場合でも、同様に使用時点のレンズの光学焦点距離を読み取る。
【００８５】
そして、サブカメラ８０のレンズに、ズームレンズを用いて、予め決めた所定の焦点距離、例えば、画角を同一にするように換算した場合、メインカメラ２０の光学焦点距離の二倍の焦点距離にするなどに変更する。
【００８６】
また、サブカメラ８０のレンズは最大焦点距離から最小焦点距離の間のすべての焦点距離で撮影可能なズームレンズである必要はなく、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝３５ｍｍ、５０ｍｍ、７５ｍｍの三点のときに、十分な光学性能が出せるような構造のレンズを利用することで、メインカメラ２０の撮影レンズ交換に伴い、それに適した焦点距離を３種類の焦点距離の中から選択してサブカメラ８０のレンズとして利用することもできる。
【００８７】
なお、メインカメラ２０の撮影レンズ変更に伴い、サブカメラ８０のレンズ交換も同時に行うという方法とすることも可能である。
【００８８】
これらの方法により、図４（Ｃ）で示すように、メインカメラ２０の撮影エリア３２０の画角が変化しても、サブカメラ８０で被写体１２０の追尾を続行することができる。また、図２に示したようにメインカメラ２０とサブカメラ８０の光軸中心位置には基線長分の位置差があり、特に近距離では、メインカメラ２０の光軸中心と被写体位置の関係は、サブカメラ８０の光軸中心と被写体の位置関係は一致しないが、その場合でも、被写体１２０とメインカメラ２０およびサブカメラ８０の光学的な位置関係が、デジタルカメラなどと被写体１２０との距離を算出することで決定することができるため、基線長分の誤差修正を行い、サブカメラ８０でも被写体１２０の追尾を行うことが可能になる。
【００８９】
＜ＥＶＦの表示例＞
次に、図５により、本発明の実施の形態１に係る撮像装置のＥＶＦの表示例について説明する。図５は本発明の実施の形態１に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
【００９０】
図５（Ａ）は、図４（Ａ）と同様で、被写体１２０は、メインカメラ２０の撮影エリア３２０内にある。ユーザーがここでは飛翔する鳥を被写体として選択して、追尾している状態で、ちょうど撮影に適した状態で、被写体１２０は、メインカメラ２０の視野内略中央に位置しており、ユーザーはこれをＥＶＦ４０で確認し、メインカメラ２０で被写体を追尾できる状態である。
【００９１】
図５（Ｂ）は、被写体１２０が、メインカメラ２０の撮影エリア３２０を外れてしまった状態を示す。メインカメラ２０では被写体１２０を追尾できない状態になっているが、メインカメラ２０の撮影エリア３２０より広角な範囲を捉えているサブカメラ８０の撮影エリア３１０では、被写体１２０は捕捉している。
【００９２】
そこで、本実施の形態では、サブカメラ８０では捕捉しているものの、メインカメラ２０の視野には見られない被写体１２０をメインカメラの視野に入れるために、パン・ガイド３３０をＥＶＦ４０に表示する。このパン・ガイド３３０の矢印方向にデジタルカメラなどを向けることにより、ユーザーがＥＶＦ４０にて被写体１２０を再捕捉できるようにする。
【００９３】
図５（Ｃ）は、図５（Ｂ）とは異なり、被写体１２０が、まだメインカメラ２０の視野にあるものの、移動を続ける被写体１２０がメインカメラ２０の視野から出ようとしているとき、ＥＶＦ４０にてデジタルカメラなどを向ける方向を、パン・ガイド３３０として矢印表示によりガイドすることで、メインカメラ２０の視野に捕捉し続けることができる。
【００９４】
この処理は、主にメインカメラ２０の映像で行い、本実施の形態における被写体１２０であるところの飛翔している鳥が、画面下に向かって移動したときに、それを追尾するためのガイドをユーザーに提供することで、被写体１２０を追尾し続けることができる。
【００９５】
図５（Ｄ）は、メインカメラ２０で捕捉している被写体１２０が、カメラに急接近することで、メインカメラ２０の視野を超える大きさになるときに、ＥＶＦ４０上に、「ＺＯＯＭ  ＯＵＴ！」の表示３４０をすることで、ユーザーにレンズの焦点距離が長すぎることを警告するものである。
【００９６】
具体的には、ユーザーはこのメッセージが表示されたときに、メインカメラ２０のズームレンズを、短焦点距離方向に動かすことで、再度、被写体１２０をメインカメラ２０内に収めることができる。また、ズームレンズの焦点距離をシステムで制御できる構造である場合は、自動的にズームレンズの焦点距離を短焦点距離方向に動かして、ユーザーの撮影をアシストするようにしてもよい。
【００９７】
また、逆に被写体１２０が急激にデジタルカメラなどから離れていくときには、逆に「ＺＯＯＭ  ＩＮ！」の表示をしたり、自動的にズームレンズを動かしたりしてもよい。
【００９８】
これらのパン・ガイド３３０および「ＺＯＯＭ  ＯＵＴ！」の表示３４０などの表示は、ＥＶＦ４０内で単に画像上にＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示してもよく、より強調表示するために、色を変えたり、点滅をしたりしてもよい。
【００９９】
このときの点滅速度は、デジタルカメラなどと被写体１２０との関係で、ユーザーによるデジタルカメラなどの操作が急を要するときは、速く表示する等のことをしてもよく、また、これらの表示自体の表示可否および表示方法を、予めデジタルカメラなどの設定で指定しておくことで、表示の有無をユーザーが自由に選択することができる。
【０１００】
＜撮像装置の動作＞
次に、図６により、本発明の実施の形態１に係る撮像装置の動作について説明する。図６は本発明の実施の形態１に係る撮像装置の動作を示すフローチャートであり、デジタルカメラとしての全体動作を示している。
【０１０１】
まず、電源を入れると、全回路起動・初期設定を行い、デジタルカメラの起動と、例えば、図５（Ｄ）で示したような、予めユーザーが指定した初期値に従ってカメラ動作がスタートする（ステップＳ１００）。
【０１０２】
以降は、カメラ動作中のループであり、ユーザーにより電源ＯＦＦボタンなどが操作されるなどにより、電源ＯＦＦの指示があるか否かを判断し（ステップＳ１１０）、ステップＳ１１０で電源ＯＦＦの指示があると判断され、デジタルカメラの電源が全ＯＦＦ（ステップＳ１２０）されるまで、以降の動作は継続される。
【０１０３】
但し、図示しないバッテリー容量が所定値以下になった場合などでは、電源ＯＦＦの動作を自動的に行う。このときユーザーにＥＶＦ４０やＬＣＤ１３０により、「電池が消耗しています」などのメッセージを出してもよい。
【０１０４】
次に、メインカメラ映像取込の処理により、例えば、毎秒３０コマ（３０ｆｐｓ＝３０ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）でメインカメラ２０から映像を取り込み（ステップＳ１３０）、ＥＶＦ４０に表示する（ステップＳ１４０）。これにより３０ｆｐｓの動画として、ＥＶＦ４０をデジタルカメラのファインダーとして用いて、ユーザーが被写体１２０を狙ったり追尾したりすることができる。
【０１０５】
そして、ユーザーによるシャッターボタンが押下されたか否かを判断し（ステップＳ１５０）、ステップＳ１５０でシャッターボタンが押下されたと判断された場合は、メインカメラ２０から取り込んだ画像を撮影する状態であり、被写体１２０にピントが合った状態となっており、このとき、例えば、ファインダーとして使っていた高速で撮影するためのメインカメラの全画素を使わないモードから、メインカメラ２０の全画素を取り込むモードとして、全画素を取り込み（ステップＳ１６０）、取り込んだ画像データを圧縮・保存する（ステップＳ１７０）。
【０１０６】
ステップＳ１７０では、例えば、ＪＰＥＧ形式の圧縮を行い、ＳＤメモリなどの着脱可能なメモリに圧縮画像データを保存する。そして、所定時間、撮影した画像をＬＣＤ１３０に表示し（ステップＳ１８０）、ユーザーに撮影した画像の確認ができるようにした後、再び、ステップＳ１１０に移行し、撮影のための基本ループに戻る。
【０１０７】
また、ステップＳ１５０でシャッターボタンが押下されていないと判断された場合は、移動中の被写体を追尾するために、メインカメラ２０およびサブカメラ８０からの撮影画像より被写体１２０のオブジェクト抽出を行う（ステップＳ１９０）。オブジェクトの抽出方法としては、データベース６０から想定される被写体１２０の形状・色などの特徴を読み出して、メインカメラ２０およびサブカメラ８０で撮影した撮影画像内に写っている物体との相関を計算することにより抽出する。
【０１０８】
そして、ステップＳ１９０で抽出された被写体１２０のオブジェクトの中で追尾するオブジェクトが存在するか否かを判断し（ステップＳ２００）、ステップＳ２００でオブジェクトの中で追尾するオブジェクトが存在しないと判断された場合は、ステップＳ１１０に移行し、再び撮影のための基本ループに戻る。
【０１０９】
ステップＳ２００での判断においては、例えば、常に撮影エリア内にある被写体を、ユーザーが撮影したい対象物である被写体して、追尾するオブジェクトとして指定されたかか、またはユーザーがＬＣＤ１３０上に表示されている被写体１２０を選択するなどして指定されたかで、追跡するオブジェクトの存在を判断する。
【０１１０】
そして、ステップＳ２００で、オブジェクトの中で追尾するオブジェクトが存在すると判断された場合は、サブカメラ８０上に追尾するオブジェクトが存在するか否かを判断する（ステップＳ２１０）。ステップＳ２１０でサブカメラ８０上に追尾するオブジェクトが存在すると判断された場合は、被写体１２０の位置がメインカメラ２０の撮影エリアから外れかけていながら、サブカメラ８０では撮影されている場合や、サブカメラ８０のみで撮影されている場合では、ＥＶＦ４０上に、例えば、図５（Ｂ）や図５（Ｃ）に示すような、パン・ガイド３３０を表示し、ＥＶＦ４０上に被写体１２０のいる方向を矢印で表示する（ステップＳ２２０）。
【０１１１】
そして、ステップＳ２１０でサブカメラ８０上に追尾するオブジェクトが存在しないと判断された場合、およびステップＳ２２０でＥＶＦ４０上に被写体１２０のいる方向を矢印で表示した後、当該オブジェクトにピントを合わせ（ステップＳ２３０）、継続して追尾しつつ、ステップＳ１１０に移行し、撮影の基本ループに戻り、ユーザーによるシャッター押下げを待つ。
【０１１２】
以上の処理により、ユーザーが撮影している被写体１２０のオブジェクトが、メインカメラ２０の撮影エリア３２０から外れた場合でも、ユーザーは被写体１２０の方向を認識することができ、被写体１２０にピントを合わせた状態での追尾も継続して行うことができる。
【０１１３】
＜サブカメラの取付誤差修正方法＞
次に、図７により、本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法について説明する。図７は本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法を説明するための説明図である。
【０１１４】
サブカメラ８０は、メインカメラ２０のように撮影用のカメラではないので、その性能は必ずしも、高画質静止画を撮影可能なレベルである必要はない。画素数が所定以上あることと、小型なことなどの設計要求より、カメラ本体と信号処理回路が１パッケージになった、携帯電話やスマートフォンなどの小型携帯端末に取り付けているようなカメラモジュールを用いるのが望ましい。
【０１１５】
ここで、本実施の形態のサブカメラ８０は、メインカメラ２０に写った被写体を同時に認識することが必要になるが、そのためには、本来メインカメラ２０とサブカメラ８０の光軸が平行になることが望ましい。しかし、例えば、携帯電話やスマートフォンに用いられるカメラモジュールは、その光軸を正確な精度にて取り付けることに困難が生じる。
【０１１６】
そこで、メインカメラ２０とサブカメラ８０をデジタルカメラ本体に装着して、サブカメラ８０の取付誤差を修正する方法を示す。
【０１１７】
図７に示すように、コンデンサーレンズ３５０を用いて無限遠像として認識される被写体３６０を、メインカメラ２０とサブカメラ８０で同時に撮影する。このとき被写体３６０がメインカメラ２０の撮影画像３８０の中央に来るように被写体像４００を表示させたとき、サブカメラ８０の撮影画像３９０上には、その取り付け位置精度の誤差により、中心から外れた位置に被写体像４００が見える。
【０１１８】
この位置は、画像の左端からＸ−Ｙの座標として数値測定することができる。この数値を用いて、サブカメラ８０の撮影画像に写った被写体像４００がサブカメラ８０の中心であるようにサブカメラ８０の撮影データの処理回路に座標補正値を与えることで、メインカメラ２０の撮影画像３８０の中央にある被写体像４００とサブカメラ８０の撮影画像に写った被写体像４００を同じ被写体として認識することができるようになり、サブカメラ８０の取付誤差を補正することができる。
【０１１９】
なお、本実施の形態では、撮像装置の一例として、デジタルカメラについて説明したが、ビデオカメラなど、被写体の映像をレンズを通してカメラセンサに映像投射させ、各画素毎に照射された光の量を測定することにより、二次元の撮像映像を取得する装置であれば、どのような装置にも適用可能である。
【０１２０】
（実施の形態２）
実施の形態１では、サブカメラ８０を用いたが、実施の形態２では、メインカメラ２０のみを用いて、被写体が撮影エリアを外れた場合も、被写体を追尾できるようにしたものである。
【０１２１】
＜撮像装置の基本構成＞
図８により、本発明の実施の形態２に係る撮像装置の基本構成について説明する。図８は本発明の実施の形態２に係る撮像装置の基本構成を示す構成図である。
【０１２２】
図８において、撮像装置は、図１に示す撮像装置に対して、サブカメラ８０およびサブカメラ８０の撮影画像により被写体を追尾する被写体追尾部９０を削除した構成であり、対物レンズ１０を介して被写体の画像が投影されるカメラセンサであるメインカメラ２０、信号処理ＤＳＰ３０、ＥＶＦ４０、オブジェクト抽出部５０、データベース６０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０から構成されている。
【０１２３】
また、信号処理ＤＳＰ３０、オブジェクト抽出部５０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０で処理部を構成している。
【０１２４】
ここで撮像装置は、実施の形態１と同様に、撮影する対象物として、高速で飛翔する鳥のような移動体である被写体を選択している。この選択は、実施の形態１と同様に、被写体が所定時間以上、対物レンズ１０を通してメインカメラ２０にて受光する被写体の撮影画像が、所定時間連続してメインカメラ２０に受光されたときに、被写体として認識を行う。
【０１２５】
本実施の形態では、図１に示す実施の形態１の撮像装置と同様に対物レンズ１０を通してメインカメラ２０に投射された被写体の撮影画像は、電子信号に変換され、信号処理ＤＳＰ３０に入力される。ここで、入力信号は、輝度＋色差信号からなるＹＵＶに変換され、また、同時にＥＶＦ４０にてユーザーに提供され、特に移動している被写体をユーザーが撮像装置を振って追尾するときに使われる。
【０１２６】
移動する被写体を追尾するための、オブジェクト抽出部５０、データベース６０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０の動作は、図１に示す実施の形態１と同様である。
【０１２７】
＜撮像装置の被写体の追尾動作＞
次に、図９および図１０により、本発明の実施の形態２に係る撮像装置の被写体の追尾動作について説明する。図９および図１０は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図であり、図９はメインカメラの全画素数を使って撮影する場合、図１０はメインカメラの全画素数の一部を使って撮影する場合を示している。
【０１２８】
本実施の形態では、実施の形態１のように、サブカメラ８０がないので、メインカメラ２０からの情報のみで動く被写体の追尾を行うが、その方法として、以下の２種類の方法がある。
【０１２９】
第１の方法は、メインカメラ２０の全画素数を使って、撮影をする場合である。この場合は、例えば、図９（Ａ）に示すように、メインカメラ２０の撮影エリア４１０から被写体１２０が外れた場合の復帰はできなくなる。この対策として、例えば、メインカメラ２０の撮影エリア４１０から被写体１２０が外れた場合、自動的にズームレンズの焦点距離を短くして、より広角のレンズで再度被写体１２０を探して捕捉し、撮影エリア４１０を図９（Ｂ）に示すような状態とするという動作を行うことで、被写体１２０の追尾を継続して行うことができる。
【０１３０】
第２の方法は、メインカメラ２０の全画素数ではなく、特定の大きさのメインカメラ２０の全画素数より少ない画素数の部分を撮影エリア４１０の撮影画素として利用する方法である。
【０１３１】
この場合、図１０（Ａ）に示す撮影エリア４１０が、ＥＶＦ４０で表示されている範囲であり、実際に撮影するために、ユーザーが見ている範囲であるが、それより広角の大きな範囲をメインカメラ２０の撮影エリア３１０は捉えており、ＥＶＦ４０で視認している範囲から、被写体１２０が外れたときも、メインカメラ２０は被写体１２０を追尾を続けているので、パン・ガイド３３０を表示して、ユーザーに被写体１２０の位置を指示して、更なる追尾を継続するように、撮像装置を動かす指示を出すことができる。
【０１３２】
また、被写体１２０が撮影エリア４１０から多少外れても、メインカメラ２０の全画素のうちの撮影エリア４１０として切り出す部分を、図１０（Ｂ）に示すように、メインカメラ２０の中心から、被写体１２０が写っている方向にずらして、被写体１２０が捉えられている画素を切り出すことで、動く被写体１２０を追尾しつつ撮影することも可能である。
【０１３３】
特定の大きさのメインカメラ２０の全画素数より少ない画素数の部分を撮影エリア４１０の撮影画素として利用する場合の詳細について説明する。メインカメラ２０は、実際に撮影を行う撮影エリア４１０に比べて広角な範囲をカバーしている。ここで被写体１２０が撮影エリア４１０の外にいる場合は、パン・ガイド３３０をＥＶＦ４０に表示し、ユーザーに撮像装置を動かす指示を出す。図１０（Ａ）に示す例では、被写体１２０が右下にあるので、右下方向にカメラを向ける指示を出している。
【０１３４】
また、撮影エリア４１０自体を右下方向に動かすことで、被写体１２０を撮影エリア４１０内に入れる場合には、被写体１２０が撮影エリア４１０に入っていても、撮影エリア４１０はメインカメラ２０の全画素の中で、中央ではなく偏った位置にあるので、ＥＶＦ４０には、図１０（Ｂ）に示すように、パン・ガイド３３０の表示を出し続け、撮影エリア４１０が、再びメインカメラ２０の中央付近に戻るまで、ユーザーに被写体追尾の方向を指示し続ける。
【０１３５】
以上の処理により、本実施の形態においても、実施の形態１と同様に、ユーザーが撮影している被写体１２０のオブジェクトが、撮影エリア４１０から外れた場合でも、ユーザーは被写体１２０を認識することができ、被写体１２０にピントを合わせた状態での追尾も継続して行うことができる。
【０１３６】
（実施の形態３）
実施の形態１および２では、ＥＶＦ４０には、実際の撮影エリアの表示を行っているが、実施の形態３では、被写体１２０が、撮影エリア４１０から外れた場合には、被写体１２０と撮影エリア４１０との位置関係の状況に従ってＥＶＦ４０に表示する映像を切り替えて、撮影エリア４１０の外側も補足エリアとして表示するようにしたものである。ＥＶＦ４０の表示処理以外の動作については、実施の形態１および２と同様である。
【０１３７】
＜ＥＶＦの表示例＞
図１１により、本発明の本発明の実施の形態３に係る撮像装置のＥＶＦの表示例について説明する。図１１は本発明の実施の形態３に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
【０１３８】
図１１（Ａ）において、ＥＶＦ４０で見えている撮影エリア４１０の被写体１２０は、メインカメラ２０からぎりぎり外れるところに来ている。このとき、例えば、サブカメラ８０を利用したり、メインカメラ２０の撮像範囲をメインカメラ２０の全体の撮影エリアのうちの一部を使っている場合、被写体１２０は撮像装置が捕捉し続けているが、ユーザーの目からは見えない位置に移動しかけている状態となっている。
【０１３９】
ここで、図１１（Ｂ）に示すように、ＥＶＦ４０でユーザーが見える範囲を、補足エリア４２０として、サブカメラ８０の撮影画像、またはメインカメラ２０の全面の撮影画像を見せ、その中に実際に撮影される撮影エリア４１０を枠線を重畳して見せることで、ユーザーは広い補足エリア４２０で被写体１２０を追いかけ、撮影エリア４１０内にうまくフレーミングして撮影することができる。
【０１４０】
なお、実施の形態１に示したサブカメラ８０を用いる撮像装置に対して、実施の形態２に示したサブカメラ８０を用いない撮像装置の処理を組み合わせることも可能である。この場合は、サブカメラ８０による撮影エリアと、メインカメラ２０の全画素の撮影エリアを異なるものにするなどして、被写体１２０が実際の撮影エリアから外れた場合に、実際の撮影エリアの外部の撮影画像として最適な画像を選択して、より精度の高い被写体の追尾を行うことが可能となる。
【符号の説明】
【０１４１】
１０…対物レンズ、２０…メインカメラ、３０…信号処理ＤＳＰ、４０…ＥＶＦ、５０…オブジェクト抽出部、６０…データベース、７０…空間周波数計算部、８０…サブカメラ、９０…被写体追尾部、１００…距離情報算出部、１１０…ＡＦ制御部。
【図１】
2016016984.tif 000003
【図２】
2016016984.tif 000004
【図３】
2016016984.tif 000005
【図４】
2016016984.tif 000006
【図５】
2016016984.tif 000007
【図６】
2016016984.tif 000008
【図７】
2016016984.tif 000009
【図８】
2016016984.tif 000010
【図９】
2016016984.tif 000011
【図１０】
2016016984.tif 000012
【図１１】
2016016984.tif 000013
【国際調査報告】
2016016984.tif 000014
2016016984.tif 000015
2016016984.tif 000016
2016016984.tif 000017