(57)【要約】【課題】Ｆ行列の算出に必要な特徴点を容易に設定できるようにする。【解決手段】特徴点追跡部３１が、被写体を第１の撮影位置において撮影する第１の撮影により取得された第１の画像に特定された複数の特徴点を、第１の撮影位置とは異なる第２の撮影位置において被写体を撮影する第２の撮影により取得される第２の画像において追跡する。第２の画像をモニタ２０に表示する際には、追跡した複数の特徴点を視認可能に表示する。【選択図】図１
2009169884.tif 000002
【特許請求の範囲】
【請求項１】
撮影により画像を取得する撮像手段と、
各種表示を行う表示手段と、
被写体を第１の撮影位置において撮影する第１の撮影時に取得された第１の画像に特定された複数の特徴点を、前記第１の撮影位置とは異なる第２の撮影位置において前記被写体を撮影して第２の画像を取得する第２の撮影時に追跡する特徴点追跡手段と、
前記追跡した複数の特徴点を、前記第２の撮影時に視認可能に前記表示手段に表示する表示制御手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記第１の撮影時に前記第１の画像となる画像から複数の特徴点を検出することにより特定する特徴点検出手段をさらに備え、
前記表示制御手段は、前記第１の撮影時に、前記特定した複数の特徴点を視認可能に前記表示手段に表示する手段であることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記特徴点検出手段は、所定の評価値に基づいて前記複数の特徴点を検出する手段であり、
前記表示制御手段は、前記第１の撮影時に、前記評価値が上位所定数の上位特徴点とそれ以外の下位特徴点とを異なる態様にて表示し、前記第２の撮影時に、前記追跡した前記上位特徴点および前記下位特徴点を前記異なる態様にて表示する手段であることを特徴とする請求項２記載の撮影装置。
【請求項４】
前記表示制御手段は、前記第１の撮影時に、前記上位特徴点のうちのいずれかの特徴点の評価値が前記上位所定数から外れた場合、前記下位特徴点のうち前記評価値が高い特徴点を前記上位特徴点に含めて表示する手段であることを特徴とする請求項３記載の撮影装置。
【請求項５】
前記第１の撮影時に、前記第１の画像となる画像上において、前記特徴点を検出する範囲を設定する範囲設定手段をさらに備えたことを特徴とする請求項２から４のいずれか１項記載の撮影装置。
【請求項６】
前記撮像手段がズーム機能を有する場合、前記範囲設定手段は前記設定された範囲を前記ズーム倍率に応じて変更する手段であることを特徴とする請求項５記載の撮影装置。
【請求項７】
前記第１および前記第２の画像において互いに対応する対応特徴点の座標位置に基づいて、前記第１の撮影位置および前記第２の撮影位置の位置関係を算出する位置関係算出手段をさらに備えたことを特徴とする請求項１から６のいずれか１項記載の撮影装置。
【請求項８】
前記第１および前記第２の画像を前記特徴点の位置を表す情報とともに記録する記録手段をさらに備えたことを特徴とする請求項１から７のいずれか１項記載の撮影装置。
【請求項９】
請求項１から８のいずれか１項の撮影装置により取得された前記第１の画像および前記第２の画像について、前記複数の特徴点を視認可能に表示する表示手段を備えたことを特徴とする画像再生装置。
【請求項１０】
撮影により画像を取得する撮像手段と、各種表示を行う表示手段とを備えた撮影装置の制御方法であって、
被写体を第１の撮影位置において撮影する第１の撮影時に取得された第１の画像に特定された複数の特徴点を、前記第１の撮影位置とは異なる第２の撮影位置において前記被写体を撮影して第２の画像を取得する第２の撮影時に追跡し、
前記追跡した複数の特徴点を、前記第２の撮影時に視認可能に前記表示手段に表示することを特徴とする撮影装置の制御方法。
【請求項１１】
請求項１０記載の撮影装置の制御方法により取得された前記第１の画像および前記第２の画像について、前記複数の特徴点を視認可能に表示することを特徴とする画像再生方法。
【請求項１２】
撮影により画像を取得する撮像手段と、各種表示を行う表示手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
被写体を第１の撮影位置において撮影する第１の撮影時に取得された第１の画像に特定された複数の特徴点を、前記第１の撮影位置とは異なる第２の撮影位置において前記被写体を撮影して第２の画像を取得する第２の撮影時に追跡する手順と、
前記追跡した複数の特徴点を、前記第２の撮影時に視認可能に前記表示手段に表示する手順とを有することを特徴とするプログラム。
【請求項１３】
請求項１０記載の撮影装置の制御方法により取得された前記第１の画像および前記第２の画像について、前記複数の特徴点を視認可能に表示する手順を有することを特徴とする画像再生方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、とくに立体画像の作成に好適な２つの画像を撮影するための撮影装置およびその制御方法、この撮影装置により取得した画像を再生する画像再生装置および方法、並びに撮影装置の制御方法および画像再生方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成する手法が提案されている。
【０００３】
ところで、上述したような対応点を探索するためには、カメラの位置関係を表すファンダメンタル行列（Ｆ行列）を求めておく必要がある。このＦ行列は、複数のカメラの位置調整を厳密に行った後、カメラ間の距離（基線長）、輻輳角および焦点距離等から算出することができる。また、基線長等を使用せず、複数のカメラにより所定のパターンを有する平面チャートを撮影し、そのパターン画像から特徴点を検出し、その特徴点の対応付けを行うことによりＦ行列を算出する手法も提案されている。さらに、発光球体を移動させながら複数のカメラにより発光球体を撮影し、取得した画像に含まれる発光球体の位置からＦ行列を算出する手法も提案されている（特許文献１参照）。特許文献１に記載された手法によれば、平面チャートを用いる場合よりも、精度良く特徴点を検出することができる。
【特許文献１】特開２００４−２３５９３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された手法は、発光球体を移動させる必要があるため、その移動のための機構が必要となる。また、複数のカメラの位置は固定させる必要があるため、１台のカメラを用いて移動しながら撮影を行って特徴点を検出することができない。
【０００５】
本発明は、上記事情に鑑みなされたものであり、Ｆ行列の算出に必要な特徴点を容易に設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮影装置は、撮影により画像を取得する撮像手段と、
各種表示を行う表示手段と、
被写体を第１の撮影位置において撮影する第１の撮影時に取得された第１の画像に特定された複数の特徴点を、前記第１の撮影位置とは異なる第２の撮影位置において前記被写体を撮影して第２の画像を取得する第２の撮影時に追跡する特徴点追跡手段と、
前記追跡した複数の特徴点を、前記第２の撮影時に視認可能に前記表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
【０００７】
ここで、撮影時においては、スルー画像が連続して取得され、レリーズボタンが押下されることにより、記録すべき画像が取得されることとなる。「第２の撮影時に特徴点を追跡する」とは、第２の撮影時においてレリーズボタンの押下前に取得されるスルー画像およびレリーズボタンの押下により取得される画像上において特徴点を追跡することを意味する。
【０００８】
なお、本発明による撮影装置においては、前記第１の撮影時に前記第１の画像となる画像から複数の特徴点を検出することにより特定する特徴点検出手段をさらに備えるものとし、
前記表示制御手段を、前記第１の撮影時に、前記特定した複数の特徴点を視認可能に前記表示手段に表示する手段としてもよい。
【０００９】
「第１の画像となる画像」とは、第１の画像を取得する際に撮影範囲を確認するための画像であり、例えばスルー画像を第１の画像となる画像として用いることができる。
【００１０】
「第１の撮影時に特徴点を検出する」とは、第１の撮影時においてレリーズボタンの押下前に取得されるスルー画像およびレリーズボタンの押下により取得される画像上において特徴点を検出することを意味する。
【００１１】
また、本発明による撮影装置においては、前記特徴点検出手段を、所定の評価値に基づいて前記複数の特徴点を検出する手段とし、
前記表示制御手段を、前記第１の撮影時に、前記評価値が上位所定数の上位特徴点とそれ以外の下位特徴点とを異なる態様にて表示し、前記第２の撮影時に、前記追跡した前記上位特徴点および前記下位特徴点を前記異なる態様にて表示する手段としてもよい。
【００１２】
この場合、前記表示制御手段を、前記第１の撮影時に、前記上位特徴点のうちのいずれかの特徴点の評価値が前記上位所定数から外れた場合、前記下位特徴点のうち前記評価値が高い特徴点を前記上位特徴点に含めて表示する手段としてもよい。
【００１３】
また、本発明による撮影装置においては、前記第１の撮影時に、前記第１の画像となる画像上において、前記特徴点を検出する範囲を設定する範囲設定手段をさらに備えるものとしてもよい。
【００１４】
この場合において、前記撮像手段がズーム機能を有する場合、前記範囲設定手段を前記設定された範囲を前記ズーム倍率に応じて変更する手段としてもよい。
【００１５】
また、本発明による撮影装置においては、前記第１および前記第２の画像において、互いに対応する対応特徴点の座標位置に基づいて、前記第１の撮影位置および前記第２の撮影位置の位置関係を算出する位置関係算出手段をさらに備えるものとしてもよい。
【００１６】
なお、位置関係としては、具体的には上述したＦ行列を算出するものである。
【００１７】
また、本発明による撮影装置においては、前記第１および前記第２の画像を前記特徴点の位置を表す情報とともに記録する記録手段をさらに備えるものとしてもよい。
【００１８】
本発明による画像再生装置は、本発明による撮影装置により取得された前記第１の画像および前記第２の画像について、前記複数の特徴点を視認可能に表示する表示手段を備えたことを特徴とするものである。
【００１９】
本発明による撮影装置の制御方法は、撮影により画像を取得する撮像手段と、各種表示を行う表示手段とを備えた撮影装置の制御方法であって、
被写体を第１の撮影位置において撮影する第１の撮影時に取得された第１の画像に特定された複数の特徴点を、前記第１の撮影位置とは異なる第２の撮影位置において前記被写体を撮影して第２の画像を取得する第２の撮影時に追跡し、
前記追跡した複数の特徴点を、前記第２の撮影時に視認可能に前記表示手段に表示することを特徴とするものである。
【００２０】
本発明による画像再生方法は、本発明による撮影装置の制御方法により取得された前記第１の画像および前記第２の画像について、前記複数の特徴点を視認可能に表示することを特徴とするものである。
【００２１】
なお、本発明による撮影装置の制御方法および画像再生方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２２】
本発明の撮影装置およびその制御方法によれば、第１の画像に特定された特徴点が第２の撮影時に追跡され、追跡された複数の特徴点が視認可能に表示される。このため、撮影者は、第２の撮影時において、追跡された特徴点を見ながら、第１の撮影時に特定された特徴点がすべて視認可能となるように、第２の撮影位置を決めることができ、その結果、Ｆ行列の算出に必要な複数の特徴点を容易に設定することができることとなる。また、１つの撮像装置により第１および第２の撮影位置において撮影を行うことができることとなる。
【００２３】
また、第１の画像となる画像から複数の特徴点を検出することにより、撮影者は自ら第１の画像上に特徴点を設定する必要がなくなるため、撮影者の負担を軽減できる。
【００２４】
また、所定の評価値に基づいて複数の特徴点を検出するようにし、第１の撮影時に評価値が上位所定数の上位特徴点とそれ以外の下位特徴点とを異なる態様にて表示し、第２の撮影時に追跡した上位特徴点および下位特徴点を異なる態様にて表示することにより、Ｆ行列の算出に必要な特徴点がどこに存在するかを容易に認識することができる。
【００２５】
この際、検出した上位特徴点のうちのいずれかの特徴点の評価値が、上位所定数から外れた場合、下位特徴点のうち評価値が高い特徴点を上位特徴点に含めて表示することにより、画角を変更した場合であっても特徴点の検出を効率よく行うことができる。
【００２６】
また、第１の撮影時に特徴点を検出する範囲を設定することにより、背景や無関係な場所等において特徴点が検出されてしまうことを防止することができる。
【００２７】
この場合において、撮像手段がズーム機能を有する場合、設定された範囲をズーム倍率に応じて変更することにより、ズーム倍率に応じた適切な範囲において特徴点を検出することができる。
【００２８】
また、第１および第２の画像において、互いに対応する対応特徴点の座標位置を検出し、検出した座標位置に基づいて、第１の撮影位置および第２の撮影位置の位置関係を算出することにより、第１および第２の撮影位置の光軸の角度等の算出を容易に行うことができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による撮影装置および画像再生装置を適用したカメラの内部構成を示す概略ブロック図である。図１に示すように本実施形態によるカメラ１は、撮像部２１、撮像制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。
【００３０】
撮像部２１は、レンズ１０、絞り１１、シャッタ１２、ＣＣＤ１３、アナログフロントエンド（ＡＦＥ）１４およびＡ／Ｄ変換部１５を備える。
【００３１】
レンズ１０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。
【００３２】
絞り１１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。
【００３３】
シャッタ１２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００３４】
ＣＣＤ１３は、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３の前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３５】
ＡＦＥ１４は、ＣＣＤ１３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３６】
Ａ／Ｄ変換部１５は、ＡＦＥ１４によりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１のＣＣＤ１３において取得され、デジタル信号に変換されることにより得られる画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。
【００３７】
撮像制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部はレリーズボタンの半押し操作により撮像部２１が取得したプレ画像に基づいてレンズ１０の焦点距離を決定し、撮像部２１に出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮像部２１に出力する。なお、ＡＦ処理およびＡＥ処理を行うことなく、予め定められたフォーカス位置、絞り値およびシャッタ速度を用いて撮影を行うことも可能である。
【００３８】
また、撮像制御部２２は、レリーズボタンの全押し操作により、撮像部２１に対して後述する第１および第２の画像Ｇ１，Ｇ２を取得させる指示を行う。なお、レリーズボタンが全押し操作される前は、撮像制御部２２は、撮像部２１に対して撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２よりも画素数が少ないスルー画像を取得させる指示を行う。
【００３９】
画像処理部２３は、撮像部２１が取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
【００４０】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
【００４１】
フレームメモリ２５は、撮像部２１が取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。また、記録メディア２９に記録前の第１および第２の画像Ｇ１，Ｇ２の画像データを一時的に記録する一時メモリとしての機能も有する。
【００４２】
メディア制御部２６は、記録メディア２９にアクセスして第１および第２の画像の画像ファイル等の記録と読み込みの制御を行う。
【００４３】
内部メモリ２７は、カメラ１において設定される各種定数、およびＣＰＵ３５が実行するプログラム等を記憶する。
【００４４】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に表示させたりする。
【００４５】
また、カメラ１は、特徴点検出部３０、特徴点追跡部３１、範囲設定部３２およびＦ行列算出部３３を備える。なお、特徴点検出部３０、特徴点追跡部３１、範囲設定部３２およびＦ行列算出部３３が行う処理については、以下の第１の実施形態において行われる処理において説明する。
【００４６】
ＣＰＵ３５は、レリーズボタンを含む入出力部３６からの信号に応じてカメラ１の各部を制御する。なお、本実施形態においては、撮影モードとして後述するように通常の撮影と、立体画像生成のための撮影とを切換可能とされているものとする。また、立体画像生成のための撮影においては、後述する特徴点を探索する範囲を画像上において指定するモード（範囲指定モード）と指定しないモードとに切換可能とされているものとする。
【００４７】
データバス３７は、カメラ１を構成する各部およびＣＰＵ３５に接続されており、カメラ１における各種データおよび各種情報のやり取りを行う。
【００４８】
次いで、本実施形態において行われる処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、カメラ１においては、フォーカス位置、絞り値およびシャッタ速度等は予め定められているものとする。また、撮影者は図３に示す形状を有する被写体を撮影するものとする。さらに、撮影モードは立体画像生成のための撮影に切り換えられているものとする。
【００４９】
まず、ＣＰＵ３５が、カメラ１が範囲指定モードに設定されているか否かを判定し（ステップＳＴ１）、ステップＳＴ１が肯定されると、撮影者による特徴点の探索範囲の指定を受け付ける（ステップＳＴ２）。これにより、撮影者からの指示に基づいて、範囲設定部３２が特徴点の探索範囲を設定する。なお、ステップＳＴ１が否定されると後述するステップＳＴ３に進む。
【００５０】
図４は特徴点の探索範囲の指定画面を示す図である。なお、図４はカメラ１の背面であり、カメラ１の背面には、モニタ２０、ＯＫボタン４０、キャンセルボタン４１および十字キー４２が設けられている。図４に示すように探索範囲の指定画面には、撮影中のスルー画像４５が表示されている。また、スルー画像４５にはカーソル４６が表示されている。撮影者は、十字キー４２を用いてモニタ２０に表示されたスルー画像４５の所望とする位置Ｐ１にカーソル４６を移動し、その位置においてＯＫボタン４０を押下すると、範囲設定部３２が位置Ｐ１を探索範囲の始点に設定する。次いで、撮影者が十字キー４２を用いてスルー画像４５の所望とする位置Ｐ２にカーソル４６を移動し、その位置においてＯＫボタン４０を押下すると、範囲設定部３２が位置Ｐ２を範囲の終点に設定し、始点Ｐ１および終点Ｐ２を対角線とする矩形の領域を特徴点の探索範囲４７に設定する。なお、十字キー４２を操作することにより、設定した探索範囲４７を移動することができる。また、キャンセルボタン４１を押下することにより、探索範囲４７の設定をやり直すことができる。
【００５１】
なお、この状態において撮影者がズーム操作を行うと、範囲設定部３２は、ズーム操作に応じて探索範囲４７の範囲を変更する。例えば、ワイド方向にズーム操作を行った場合、図５に示すように被写体がスルー画像４５内において縮小されるため、範囲設定部３２は、探索範囲４７をこれに応じて小さくする。一方、テレ方向にズーム操作を行った場合は、被写体はスルー画像４５内において拡大されるため、範囲設定部３２は、探索範囲４７をこれに応じて大きくする。なお、被写体の背景において特徴点を探索したい場合には、設定よりワイド方向にズーム操作を行った場合に探索範囲を大きくするようにしてもよい。
【００５２】
探索範囲４７が設定されると、ＣＰＵ３５からの指示により、特徴点検出部３０が特徴点検出処理を行う（ステップＳＴ３）。図６は特徴点検出処理のフローチャートである。
【００５３】
ここで、スルー画像は各画素ＲＧＢの色を有するため、特徴点検出部３０は、特徴点検出のために、撮像部２１が撮影したスルー画像の各画素の輝度値を算出する（ステップＳＴ２１）。なお、処理速度を向上させるために、輝度値に代えてＧの画素値を用いてもよい。次いで特徴点検出部３０は、特徴点検出のための評価値算出の対象となる対象画素を、探索範囲４７内において順次変更し、対象画素の評価値を算出する。図７は評価値の算出を説明するための図である。なお、図７においては説明のために探索範囲内の各画素を実際よりも拡大して示している。
【００５４】
まず、特徴点検出部３０は、評価値算出の対象となる対象画素を中心とする所定範囲（本実施形態においては対象画素を中心とする横方向−２≦ｋ≦２、縦方向−１≦ｌ≦１の５×３画素の範囲）を設定し、所定範囲内において３×３画素サイズのウィンドウＷの中心を移動させつつ、対象画素に設定されたウィンドウＷ内の各画素の画素値（すなわち輝度値）と、対象画素以外の移動した画素位置におけるウィンドウＷ内の対応する画素値との差分の絶対値の総和を算出し、算出した差分の絶対値の総和をウィンドウＷの移動した画素位置における１次評価値として算出する。ここで、ウィンドウＷの座標を横方向において−１≦ｉ≦１、縦方向において−１≦ｊ≦１とすると、下記の式（１）により１次評価値を算出する。なお、ａ（ｉ，ｊ）は対象画素Ｏ１に設定したウィンドウＷ内の各画素の画素値、ｂ（ｉ，ｊ）は移動した画素位置（ｋ，ｌ）に設定したウィンドウＷ内の各画素の画素値である。
【数１】
2009169884.tif 000003
【００５５】
より具体的には、図７に示す太線で囲んだ画素Ｏ１を対象画素とした場合、対象画素Ｏ１を中心とする５×３の範囲Ａ０内の全画素の１次評価値を算出する。例えば、図８に示すように対象画素Ｏ１に設定したウィンドウをＷ１、画素Ｏ２に移動したウィンドウをＷ２とした場合、特徴点検出部３０は、１次評価値を下記の式（２）により算出する。なお画素Ｏ２の座標値は対象画素Ｏ１の座標を（０，０）とすると（２，１）となる。これにより、特徴点検出部３０は、対象画素Ｏ１について５×３＝１５個の１次評価値を算出する。
【数２】
2009169884.tif 000004
【００５６】
続いて、特徴点検出部３０は、所定範囲における対象画素Ｏ１の周囲の１５の画素の１次評価値を比較し、対象画素Ｏ１において算出した１次評価値を除く最小となる１次評価値を対象画素Ｏ１の評価値に決定する。例えば、図９に示すように１次評価値が算出された場合、特徴点検出部３０は最小の１次評価値である「２３」を最終的な評価値に決定する。
【００５７】
特徴点検出部３０は上述したように探索範囲４７内の全画素の評価値を算出するために、まず、評価値を算出する対象画素Ｏ１を最初の画素に設定する（ステップＳＴ２２）。そして、対象画素Ｏ１の評価値を算出し（ステップＳＴ２３）、探索範囲４７内におけるすべての画素の評価値を算出したか否かを判定する（ステップＳＴ２４）。ステップＳＴ２４が否定されると、対象画素Ｏ１を次の画素に変更し（ステップＳＴ２５）、ステップＳＴ２３に戻る。
【００５８】
ステップＳＴ２４が肯定されると、算出したすべての評価値を大きい順にソートしたリストを作成する（ステップＳＴ２６）。ここで、本実施形態においては、式（１）により差分の絶対値の総和を１次評価値として算出しているため、評価値が大きい画素の方が周囲との差が明確となりやすい。このため、特徴点検出部３０は、評価値を大きい順にソートする。
【００５９】
そして、特徴点検出部３０は、リストにおいて上位所定数（本実施形態においては８個）の評価値を算出した画素を特徴点に決定するとともに、さらに次に高い評価値を算出した４つの画素を次点特徴点に決定する（特徴点決定：ステップＳＴ２７）。すなわち、図１０に示すようにリストにおける上位８個の評価値を算出した画素を特徴点に、上位９〜１２個の評価値を算出した画素と次点特徴点に決定する。
【００６０】
続いて、表示制御部２８が、図１１に示すように特徴点には赤丸のマークを、次点特徴点には青丸のマークをそれぞれスルー画像に重畳して表示し（マーク表示：ステップＳＴ２８）、特徴点検出処理を終了する。なお、図１１においては赤丸を実線、青丸を破線にて示している。
【００６１】
次いで、ＣＰＵ３５はレリーズボタンが押下されたか否かを判定し（ステップＳＴ４）、ステップＳＴ４が否定されると、ステップＳＴ３に戻り、次に撮影したスルー画像に対する特徴点検出処理を行う。なお、次の特徴点検出処理において画角が変更されると、評価値の値が変化するため、前の特徴点検出処理において特徴点として検出された画素が、特徴点または次点特徴点として検出されなかったり、次点特徴点として検出された画素が、図１２のマークＭ１に示すように特徴点として検出される場合がある。
【００６２】
ステップＳＴ４が肯定されると、ＣＰＵ３５からの指示により撮像部２１が第１の撮影を行い、ＣＰＵ３５が撮影により取得した画像である第１の画像Ｇ１の画像データを、特徴点の座標値とともにフレームメモリ２５に格納する（ステップＳＴ５）。
【００６３】
次いで、特徴点追跡部３１が特徴点追跡処理を行う（ステップＳＴ６）。図１３は特徴点追跡処理のフローチャートである。まず、特徴点検出部３０が、撮像部２１が次に撮影したスルー画像の各画素の輝度値を算出し（ステップＳＴ３１）、特徴点追跡部３１が、追跡の対象となる対象特徴点を最初の特徴点に設定する（ステップＳＴ３２）。なお、最初の特徴点は、上述したリストにおける評価値が１位の特徴点であり、以下評価値のソート順に特徴点の追跡を行うものとする。また、特徴点のみならず次点特徴点を追跡するようにしてもよい。本実施形態においては、以下の説明においては特徴点には次点特徴点をも含む。
【００６４】
特徴点追跡部３１は、第１の画像Ｇ１において対象特徴点の位置を基準とした特徴点の探索範囲を設定する（ステップＳＴ３３）。図１４は特徴点の追跡を説明するための図である。なお、図１４においては説明を簡単にするために被写体を立方体としている。図１４（ａ）に示すように第１の画像Ｇ１における対象特徴点をＰ１０とすると、第１の画像Ｇ１の取得直後においてカメラ１の画角が変更されない場合は、スルー画像は図１４（ｂ）に示すように、第１の画像Ｇ１と略同一となる。しかしながら、画角が変更されると、図１４（ｃ）に示すようにスルー画像内において被写体が移動する。
【００６５】
このため、特徴点追跡部３１は、図１４（ｃ）に示すように、スルー画像上において対象特徴点Ｐ１０を中心とする所定サイズの探索範囲５１を設定する。そして第１の画像Ｇ１から対象特徴点Ｐ１０を中心とする所定サイズ（例えば３×３）の領域を特徴点領域Ｔ０として切り出し（ステップＳＴ３４）、特徴点領域Ｔ０を探索範囲５１内において移動させつつ、特徴点領域Ｔ０と探索範囲５１内の特徴点領域Ｔ０に対応する領域Ｔ１との相関値を算出する（ステップＳＴ３５）。なお、相関値としては、上述したように特徴点領域Ｔ０内の各画素と、対応する領域Ｔ１の内の対応する各画素との差分値の絶対値の総和を用いればよい。
【００６６】
そして、特徴点追跡部３１は、相関が最大（すなわち相関値の絶対値の総和が最小）となる特徴点領域Ｔ０の中心画素の位置を、対象特徴点に対応する対応特徴点Ｐ１１として検出する（ステップＳＴ３６）。なお、さらに画角が移動した場合には、図１４（ｄ）に示すように、スルー画像上において対象特徴点の座標Ｐ１１を中心とする探索範囲５１を設定し、特徴点領域を探索範囲５１内において移動させつつ、特徴点領域Ｔ０と探索範囲５１内の特徴点領域Ｔ０に対応する領域Ｔ１との相関値を算出して対応特徴点Ｐ１２を検出すればよい。
【００６７】
次いで、特徴点追跡部３１は、すべての特徴点の対応特徴点を検出したか否かを判定し（ステップＳＴ３７）、ステップＳＴ３７が否定されると、対象特徴点を次の特徴点に変更し（ステップＳＴ３８）、ステップＳＴ３３に戻る。ステップＳＴ３７が肯定されると、図１５に示すように、表示制御部２８が追跡した対応特徴点に赤丸および青丸のマークを重畳して表示し（マーク表示：ステップＳＴ３９）、特徴点追跡処理を終了する。
【００６８】
次いで、ＣＰＵ３５はレリーズボタンが押下されたか否かを判定し（ステップＳＴ７）、ステップＳＴ７が否定されるとステップＳＴ６に戻り、次に撮影したスルー画像に対する特徴点追跡処理を行う。
【００６９】
ステップＳＴ７が肯定されると、ＣＰＵ３５からの指示により撮像部２１が撮影を行い、ＣＰＵ３５が撮影により取得した画像である第２の画像Ｇ２の画像データを、特徴点の座標値とともにフレームメモリ２５に格納する（ステップＳＴ８）。
【００７０】
次いで、ＣＰＵ３５はフレームメモリ２５に格納された画像データにより表される第１および第２の画像Ｇ１，Ｇ２をモニタ２０に並べて表示する（ステップＳＴ９）。図１６は第１および第２の画像Ｇ１，Ｇ２をモニタに表示した状態を示す図である。図１６に示すように第１および第２の画像Ｇ１，Ｇ２における特徴点には赤丸のマークが重畳されており、さらに各マークには第１および第２の画像Ｇ１，Ｇ２において対応する特徴点が分かるように番号が付与されている。なお、番号は評価値のソート順に付与されている。また、１の番号が付与されたマークは他のマークよりも太い線となっている。撮影者は十字キー４２を操作することにより、１，２，３…の順序にて太い線のマークの位置を変更することができる。これにより、対応する特徴点の確認が容易となる。
【００７１】
なお、ここでは特徴点のみの表示しているが、次点特徴点も特徴点と併せて表示するようにしてもよい。
【００７２】
さらに、ＣＰＵ３５はＦ行列算出の指示が入出力部３６からなされたか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が肯定されると、Ｆ行列算出部３３が特徴点を用いてＦ行列（ファンダメンタル行列）を算出する（ステップＳＴ１１）。なお、ステップＳＴ１０が否定された場合はステップＳＴ１４の処理に進む。
【００７３】
Ｆ行列は下記の式（３）により示される。ここで、式（３）において、Ａはカメラ１の内部パラメータ、Ｔ、Ｒはそれぞれ並進および回転ベクトルからなる外部パラメータである。Ｆ行列算出部３３は、第１および第２の画像Ｇ１，Ｇ２における特徴点の対応付けにより、下記の式（４）において行列の要素ｆをＷTＷの最小固有値に対応する固有ベクトルとして算出することによりＦ行列を算出する。なお、本実施形態においては、特徴点は８個検出されているため、式（４）においてｐ＝８である。また、式（４）におけるｍ１，ｍ２はそれぞれ第１および第２の画像Ｇ１，Ｇ２における互いに対応する特徴点である。
【数３】
2009169884.tif 000005
【００７４】
次いで、ＣＰＵ３５は、キャンセルボタン４１が押下されたか否かを判定し（ステップＳＴ１２）、ステップＳＴ１２が肯定されると後述するステップＳＴ１５に進む。ステップＳＴ１２が否定されると、ＣＰＵ３５はＯＫボタン４０が押下されたか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が肯定されると、メディア制御部２６が第１および第２の画像Ｇ１，Ｇ２、特徴点の座標およびＦ行列を記録メディア２９に記録する（記録：ステップＳＴ１４）。なお、ステップＳＴ１３が否定されるとステップＳＴ１５に進む。
【００７５】
次いで、ＣＰＵ３５は、撮影者による電源オフの指示がなされたか否かを判定し（ステップＳＴ１５）、ステップＳＴ１５が否定されるとステップＳＴ１に戻る。ステップＳＴ１５が肯定されると、処理を終了する。
【００７６】
次いで、記録メディア２９に記録された第１および第２の画像Ｇ１，Ｇ２を表示する処理について説明する。図１７は第１および第２の画像の表示処理のフローチャートである。撮影者が第１および第２の画像Ｇ１，Ｇ２の表示の指示を行うことによりＣＰＵ３５が処理を開始し、表示制御部２８が記録メディア２９から第１および第２の画像Ｇ１，Ｇ２の画像データおよび特徴点の座標値を読み出し（情報読み出し：ステップＳＴ５１）、図１６に示すように、特徴点を囲むマークを重畳させて第１および第２の画像Ｇ１，Ｇ２を表示し（ステップＳＴ５２）、処理を終了する。
【００７７】
このように、本実施形態においては、第２の画像Ｇ２の撮影時には、第１の画像Ｇ１において検出された特徴点を追跡し、追跡した複数の特徴点を視認可能に表示するようにしたものである。このため、撮影者は、第１の画像Ｇ１を取得する第１の撮影後はスルー画像を見ながら、第１の画像Ｇ１において特定された特徴点が、第２の画像Ｇ２を取得する第２の撮影時のスルー画像においてすべて視認可能となるように、第２の撮影位置を決めることができ、その結果、Ｆ行列の算出に必要な複数の特徴点を、第２の撮影時に容易に設定することができることとなる。また、１つのカメラ１により第１および第２の撮影位置において撮影を行うことができることとなる。
【００７８】
また、第１の画像Ｇ１の取得時に、特徴点検出部３０により複数の特徴点を検出することにより、撮影者は自ら第１の画像Ｇ１上に特徴点を設定する必要がなくなるため、撮影者の負担を軽減できる。
【００７９】
また、評価値に基づいて特徴点を検出するようにし、第１の撮影時には評価値が上位所定数の特徴点とそれ以外の次点特徴点とを異なる態様にて表示し、第２の撮影時には追跡した特徴点および次点特徴点を異なる態様にて表示することにより、Ｆ行列の算出に必要な特徴点が撮影する画像上のどこに存在するかを容易に認識することができる。
【００８０】
この際、撮影しようとする画像における特徴点のうちのいずれかの特徴点の評価値が、リストの上位所定数から外れた場合、次点特徴点のうち評価値が高い特徴点を上位の特徴点に含めて表示することにより、画角を変更した場合であっても特徴点の検出を効率よく行うことができる。
【００８１】
また、第１の画像Ｇ１を取得する際に特徴点を検出する探索範囲４７を設定することにより、背景や無関係な場所等において特徴点が検出されてしまうことを防止することができる。
【００８２】
この場合において、撮像部２１がズーム機能を有する場合、設定された探索範囲４７をズーム倍率に応じて変更することにより、ズーム倍率に応じた適切な範囲において特徴点を検出することができる。
【００８３】
また、第１および第２の画像Ｇ１，Ｇ２において、互いに対応する対応特徴点の座標位置に基づいてＦ行列を算出することにより、Ｆ行列を用いて第１および第２の撮影位置の光軸の角度等を容易に算出することができる。
【００８４】
なお、上記実施形態においては、式（１）を用いて差分の絶対値の総和を１次評価値として算出しているが、対象画素に設定されたウィンドウＷ内の各画素の画素値（すなわち輝度値）と、移動した画素位置におけるウィンドウＷ内の対応する画素値との内積を１次評価値として算出してもよい。この場合、特徴点検出部３０は、ウィンドウＷの座標を横方向において−１≦ｉ≦１、縦方向において−１≦ｊ≦１とすると、下記の式（５）により１次評価値を算出する。なお、ａ（ｉ，ｊ）は対象画素Ｏ１に設定したウィンドウＷ内の各画素の画素値、ｂ（ｉ，ｊ）は移動した画素位置（ｋ，ｌ）に設定したウィンドウＷ内の各画素の画素値である。
【数４】
2009169884.tif 000006
【００８５】
例えば、図８に示すように対象画素Ｏ１に設定したウィンドウをＷ１、１次評価値算出の対象となる画素Ｏ２に設定されたウィンドウをＷ２とした場合、特徴点検出部３０は１次評価値を下記の式（６）により算出する。なお、画素Ｏ２の座標値は対象画素Ｏ１の座標を（０，０）とすると（２，１）となる。これにより、特徴点検出部３０は、対象画素Ｏ１について５×３＝１５個の１次評価値を算出する。
【数５】
2009169884.tif 000007
【００８６】
この場合、特徴点検出部３０は、対象画素Ｏ１の周囲の１５の画素の１次評価値を比較し、対象画素Ｏ１について算出した１次評価値を除く最大となる１次評価値を対象画素Ｏ１の評価値に決定する。例えば、図１８に示すように１次評価値が算出された場合、特徴点検出部３０は最大の１次評価値である「６３２１」を最終的な評価値に決定する。なお、内積を１次評価値として用いる場合、評価値が小さい画素の方が周囲との差が明確となりやすい。このため、特徴点検出部３０は、評価値を小さい順にソートして特徴点を決定する。また、この場合、特徴点追跡処理の際に算出する相関値を内積としてもよい。
【００８７】
なお、１次評価値を算出する際には、画素値に含まれる直流成分を除去してから、差分値の絶対値または内積を算出するようにしてもよい。具体的には、対象画素Ｏ１に設定したウィンドウＷ内の各画素の画素値ａ（ｉ，ｊ）の平均値ａavgおよび、移動した画素位置の画素値（ｋ，ｌ）に設定したウィンドウＷ内の各画素の画素値ｂ（ｉ，ｊ）の平均値ｂavgを算出し、下記の式（７）、（８）に示すように、画素値ａ（ｉ，ｊ）、ｂ（ｉ，ｊ）から平均値ａavg、ｂavgをそれぞれ減算してから、差分値の絶対値または内積を算出するようにしてもよい。
【数６】
2009169884.tif 000008
【００８８】
また、上記実施形態においては、特徴点検出部３０により第１の画像Ｇ１を取得する際に特徴点を検出しているが、撮影者がスルー画像上において入出力部３６を用いて複数の特徴点を指定するようにしてもよい。この場合、特徴点の追跡は撮影者が指定した複数の特徴点を追跡するようにすればよい。
【００８９】
また、上記実施形態においては、第１の画像Ｇ１を取得する際に、特徴点の探索範囲４７をスルー画像に設定しているが、探索範囲４７を設定することなく、スルー画像の全範囲において特徴点を検出するようにしてもよい。また、上記実施形態においては、探索範囲４７を撮影者が設定しているが、スルー画像において所望とする被写体について被写体認識を行い、認識した被写体を囲む所定範囲を探索範囲として自動で設定するようにしてもよい。
【００９０】
また、上記実施形態においては、カメラ１に撮像部２１を１つのみ設けているが、複数の撮像部を設けた場合にも、本発明を適用することができる。この場合、１つの撮像部を基準撮像部として、基準撮像部が取得した画像について特徴点を検出し、基準撮像部以外の他の撮像部が取得する画像のスルー画像上において特徴点を追跡するようにすればよい。
【００９１】
また、上記実施形態においては、ウィンドウのサイズを３×３としているが、これに限定されるものではなく、５×５あるいは７×７等、任意のサイズとしてもよい。
【００９２】
以上、本発明の実施形態に係るカメラ１について説明したが、コンピュータを、上記の特徴点検出部３０、特徴点追跡部３１、範囲設定部３２およびＦ行列算出部３３に対応する手段として機能させ、図２，６，１３，１８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態による撮影装置および画像再生装置を適用したカメラの内部構成を示す概略ブロック図
【図２】本実施形態において行われる処理を示すフローチャート
【図３】本実施形態における被写体を示す図
【図４】特徴点の探索範囲の指定画面を示す図
【図５】ズーム操作時における探索範囲の変更を示す図
【図６】特徴点検出処理のフローチャート
【図７】評価値の算出を説明するための図（その１）
【図８】評価値の算出を説明するための図（その２）
【図９】差分値の絶対値を用いて算出した１次評価値を示す図
【図１０】評価値のリストを示す図
【図１１】第１の画像にマークを重畳した状態を示す図
【図１２】図１１に示す状態から画角が変更された状態を示す図
【図１３】特徴点追跡処理のフローチャート
【図１４】特徴点の追跡を説明するための図
【図１５】第２の画像にマークを重畳した状態を示す図
【図１６】第１および第２の画像をモニタに表示した状態を示す図
【図１７】第１および第２の画像の表示処理のフローチャート
【図１８】内積を用いて算出した１次評価値を示す図
【符号の説明】
【００９４】
１    カメラ
２０    モニタ
２１    撮像部
２８    表示制御部
２９    記録メディア
３０    特徴点検出部
３１    特徴点追跡部
３２    範囲設定部
３３    Ｆ行列算出部
３５    ＣＰＵ
【図１】
2009169884.tif 000009
【図２】
2009169884.tif 000010
【図３】
2009169884.tif 000011
【図４】
2009169884.tif 000012
【図５】
2009169884.tif 000013
【図６】
2009169884.tif 000014
【図７】
2009169884.tif 000015
【図８】
2009169884.tif 000016
【図９】
2009169884.tif 000017
【図１０】
2009169884.tif 000018
【図１１】
2009169884.tif 000019
【図１２】
2009169884.tif 000020
【図１３】
2009169884.tif 000021
【図１４】
2009169884.tif 000022
【図１５】
2009169884.tif 000023
【図１６】
2009169884.tif 000024
【図１７】
2009169884.tif 000025
【図１８】
2009169884.tif 000026