(57)【要約】【課題】画像切替操作がなされたときに、立体画像の切り替えを速やかに行う。【解決手段】複数の左右画像１２Ｌ，１２Ｒを記憶したストレージ２０から、左右画像１２Ｌ，１２Ｒを所定の順番で読み出す画像読出部２５を設ける。画像読出部２５により読み出された左右画像１２Ｌ，１２Ｒに含まれる主要被写体３４の視差量を検出する視差量検出部２６を設ける。視差量検出部２６の検出結果に基づき、主要被写体３４の視差量が０となるように右画像１２Ｒを補正する視差補正部２７を設ける。表示制御部２７は、左画像１２Ｌ及び補正済みの右画像１２Ｒに基づき、立体画像を生成してモニタ２３へ出力する。モニタ２３に立体画像が表示されている間に、画像読出部２５による次の左右画像１２Ｌ，１２Ｒの読み出しと、視差量検出部２６による視差量の検出とを実行させる。画像切替操作がなされたときに、立体画像の切り替えを速やかに行うことができる。【選択図】図２
2010278878.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ撮影により得られた左目用及び右目用画像を複数記憶した画像記憶手段と、
前記画像記憶手段から前記左目用及び右目用画像を一組ずつ所定の順番で読み出す画像読出手段と、
前記画像読出手段により読み出された前記左目用及び右目用画像にそれぞれ含まれる同一の主要被写体の第１視差を特定する視差特定手段と、
前記視差特定手段の特定結果に基づき、前記第１視差が無くなるように、前記左目用及び右目用画像の少なくともいずれか一方を補正する画像補正手段と、
前記画像補正手段による補正後に、前記左目用及び右目用画像に基づき立体画像を表示する表示手段と、
前記表示手段に前記立体画像が表示されている間に、前記画像読出手段による次の前記左目用及び右目用画像の読み出し、及び前記視差特定手段による当該左目用及び右目用画像の前記第１視差の特定を予め実行させる制御手段と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記視差特定手段は、
前記左目用及び右目用画像から同一の主要被写体を検出する主要被写体検出手段と、
前記同一の主要被写体のいずれか一方の特徴的な点を示す特徴点を検出する特徴点検出手段と、
前記同一の主要被写体の他方から、前記特徴点に対応する対応点を検出する対応点検出手段と、
前記特徴点検出手段及び前記対応点検出手段の検出結果に基づき、前記第１視差を表す値として、前記同一の主要被写体間の幾何変換係数を算出する幾何変換係数算出手段とを有することを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記画像補正手段は、前記幾何変換係数に基づき、前記左目用及び右目用画像のいずれか一方を射影変換することを特徴とする請求項２記載の立体画像表示装置。
【請求項４】
前記左目用及び右目用画像は、互いに異なる２つの視点から主要被写体を撮影する撮像手段と、前記撮像手段で得られた一対の撮影画像にそれぞれ含まれる同一の主要被写体の第１視差を検出する視差検出手段と、前記視差検出手段の検出結果を、前記撮影画像に付帯情報として付帯させる付帯手段とを有する撮影装置により撮影されたものであり、
前記視差特定手段は、前記左目用及び右目用画像の付帯情報を参照して、前記第１視差を特定することを特徴とする請求項１記載の立体画像表示装置。
【請求項５】
前記表示手段に表示される前記立体画像の切替操作を行う切替操作手段を備え、
前記画像補正手段は、前記切替操作手段で切替操作が行われたとき、この切替操作前に前記視差特定手段が新たに特定した前記第１視差に基づき補正を行うことを特徴とする請求項１ないし４いずれか１項記載の立体画像表示装置。
【請求項６】
前記画像補正手段は、前記第１視差が徐々に小さくなるように補正を行うとともに、
前記表示手段は、前記画像補正手段により前記第１視差が補正されるたびに、前記立体画像の表示を更新することを特徴とする請求項１ないし５いずれか１項記載の立体画像表示装置。
【請求項７】
前記画像補正手段は、前記視差特定手段が新たに特定した前記第１視差と、その１つ前に特定した前記第１視差とに基づき、前記画像読出手段が新たに読み出した前記左目用及び右目用画像における、その１つ前の前記左目用及び右目用画像の主要被写体領域と同じ領域の第２視差が無くなるように初期補正を行った後、当該初期補正後の前記左目用及び右目用画像の前記第１視差が徐々に小さくなるように補正を行うことを特徴とする請求項６記載の立体画像表示装置。
【請求項８】
ステレオ撮影により得られた左目用及び右目用画像を複数記憶した画像記憶部から、前記左目用及び右目用画像を一組ずつ所定の順番で読み出す画像読出ステップと、
前記画像読出ステップで読み出された左目用及び右目用画像にそれぞれ含まれる同一の主要被写体の第１視差を特定する視差特定ステップと、
前記視差特定ステップの特定結果に基づき、前記第１視差が無くなるように、前記左目用及び右目用画像の少なくともいずれか一方を補正する画像補正ステップと、
前記画像補正ステップ後に、前記左目用及び右目用画像に基づき立体画像をモニタに表示する表示ステップと、
前記モニタに前記立体画像が表示されている間に、次の前記左目用及び右目用画像の読み出し、及びその前記第１視差の特定が行われるように、前記画像読出ステップ及び前記視差特定ステップを予め実行する制御ステップと、
前記モニタに表示される前記立体画像の切替操作がなされたとき、前記画像補正ステップ及び前記表示ステップを実行する画像切替ステップと、
を有することを特徴とする立体画像表示装置の表示画像切替方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ撮影により得られた左目用及び右目用画像をもとに立体画像を表示する立体画像表示装置及びその表示画像切替方法に関するものである。
【背景技術】
【０００２】
複眼カメラなどにより２視点で撮影された、視差のある左目用及び右目用画像を観察者の左右の目に分離して見せることで、立体画像の観察ができるようにした立体画像表示装置が知られている（特許文献１及び２参照）。ここで、視差とは、立体感を生むためのパラメータであり、いろいろな定義が可能であるが、例えば、左目用及び右目用画像の同じ点（特徴点、対応点：図４参照）を表す画素のずれ量である。
【０００３】
立体画像表示装置では、例えば、左目用及び右目用画像にそれぞれ含まれる人物等の主要被写体間の視差がゼロで、かつ背景等の副被写体間に視差が生じている場合（図９の下段参照）に、主要被写体を基準として副被写体が手前に飛び出す、あるいは奥に引っ込んだような立体画像が観察される。
【０００４】
立体画像の表示を行う際には、観察者の視覚疲労を軽減するために、左目用及び右目用画像の主要被写体間の視差をゼロとすることが知られている。これは、観察者が最も注視する部分が主要被写体であり、この部分に視差が生じていると、いわゆる「輻輳と調節の不一致」（特開２００６−２６２１９１号公報参照）が生じるためである。
【０００５】
このような輻輳と調節の不一致による視覚疲労を軽減するため、立体画像表示装置では、左目用及び右目用画像の主要被写体間の視差の大きさを示す視差量を求め、更にこの視差量がゼロとなるように左目用及び右目用画像を補正した後で、立体画像の表示を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２５２５８５号公報
【特許文献２】特開平１０−４０４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、左目用及び右目用画像の主要被写体間の視差量を求める際に、主要被写体の一方が他方に対して単に平行移動しているだけの場合、視差量は、ＸＹ方向の位置ずれ量（２次元ベクトル）になるので容易に求められる。しかしながら、主要被写体の一方が他方に対して、平行移動しているだけでなく、回転した状態、拡大または縮小した状態、歪んだ状態になっている場合には、視差量を２次元ベクトルとして求めることができない。この場合には、主要被写体の視差量をゼロとするため、左目用及び右目用画像の一方を射影変換する必要があるので、視差量として射影変換数を求める必要がある。射影変換係数を求めるためには複雑な演算を行う必要があるので、視差量の算出に時間が掛かってしまう。このため、立体画像の画像切替操作が行われたときに、次の立体画像を表示するまでに遅延が生じてしまう。
【０００８】
本発明は上記問題を解決するためのものであり、立体画像の画像切替操作がなされたときに、立体画像の切り替えを速やかに行うことができる立体画像表示装置及びその表示画像切替方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の立体画像表示装置は、ステレオ撮影により得られた左目用及び右目用画像を複数記憶した画像記憶手段と、前記画像記憶手段から前記左目用及び右目用画像を一組ずつ所定の順番で読み出す画像読出手段と、前記画像読出手段により読み出された前記左目用及び右目用画像にそれぞれ含まれる同一の主要被写体の第１視差を特定する視差特定手段と、前記視差特定手段の特定結果に基づき、前記第１視差が無くなるように、前記左目用及び右目用画像の少なくともいずれか一方を補正する画像補正手段と、前記画像補正手段による補正後に、前記左目用及び右目用画像に基づき立体画像を表示する表示手段と、前記表示手段に前記立体画像が表示されている間に、前記画像読出手段による次の前記左目用及び右目用画像の読み出し、及び前記視差特定手段による当該左目用及び右目用画像の前記第１視差の特定を予め実行させる制御手段と、を備えることを特徴とする。
【００１０】
前記視差特定手段は、前記左目用及び右目用画像から同一の主要被写体を検出する主要被写体検出手段と、前記同一の主要被写体のいずれか一方の特徴的な点を示す特徴点を検出する特徴点検出手段と、前記同一の主要被写体の他方から、前記特徴点に対応する対応点を検出する対応点検出手段と、前記特徴点検出手段及び前記対応点検出手段の検出結果に基づき、前記第１視差を表す値として、前記同一の主要被写体間の幾何変換係数を算出する幾何変換係数算出手段とを有することが好ましい。
【００１１】
前記画像補正手段は、前記幾何変換係数に基づき、前記左目用及び右目用画像のいずれか一方を射影変換することが好ましい。
【００１２】
前記左目用及び右目用画像は、互いに異なる２つの視点から主要被写体を撮影する撮像手段と、前記撮像手段で得られた一対の撮影画像にそれぞれ含まれる同一の主要被写体の第１視差を検出する視差検出手段と、前記視差検出手段の検出結果を、前記撮影画像に付帯情報として付帯させる付帯手段とを有する撮影装置により撮影されたものであり、前記視差特定手段は、前記左目用及び右目用画像の付帯情報を参照して、前記第１視差を特定することが好ましい。
【００１３】
前記表示手段に表示される前記立体画像の切替操作を行う切替操作手段を備え、前記画像補正手段は、前記切替操作手段で切替操作が行われたとき、この切替操作前に前記視差特定手段が新たに特定した前記第１視差に基づき補正を行うことが好ましい。
【００１４】
前記画像補正手段は、前記第１視差が徐々に小さくなるように補正を行うとともに、前記表示手段は、前記画像補正手段により前記第１視差が補正されるたびに、前記立体画像の表示を更新することが好ましい。
【００１５】
前記画像補正手段は、前記視差特定手段が新たに特定した前記第１視差と、その１つ前に特定した前記第１視差とに基づき、前記画像読出手段が新たに読み出した前記左目用及び右目用画像における、その１つ前の前記左目用及び右目用画像の主要被写体領域と同じ領域の第２視差が無くなるように初期補正を行った後、当該初期補正後の前記左目用及び右目用画像の前記第１視差が徐々に小さくなるように補正を行うことが好ましい。
【００１６】
また、本発明の立体画像表示装置の表示画像切替方法は、ステレオ撮影により得られた左目用及び右目用画像を複数記憶した画像記憶部から、前記左目用及び右目用画像を一組ずつ所定の順番で読み出す画像読出ステップと、前記画像読出ステップで読み出された左目用及び右目用画像にそれぞれ含まれる同一の主要被写体の第１視差を特定する視差特定ステップと、前記視差特定ステップの特定結果に基づき、前記第１視差が無くなるように、前記左目用及び右目用画像の少なくともいずれか一方を補正する画像補正ステップと、前記画像補正ステップ後に、前記左目用及び右目用画像に基づき立体画像をモニタに表示する表示ステップと、前記モニタに前記立体画像が表示されている間に、次の前記左目用及び右目用画像の読み出し、及びその前記第１視差の特定が行われるように、前記画像読出ステップ及び前記視差特定ステップを予め実行する制御ステップと、前記モニタに表示される前記立体画像の切替操作がなされたとき、前記画像補正ステップ及び前記表示ステップを実行する画像切替ステップと、を有することを特徴とする。
【発明の効果】
【００１７】
本発明の立体画像表示装置及びその表示画像切替方法は、表示手段に、ある１組の左目用及び右目用画像に基づく立体画像を表示している間に、次の左目用及び右目用画像の第１視差を予め特定しておくことで、表示画像の切替操作が行われたときに、予め特定した第１視差に基づき、直ぐに左目用及び右目用画像の補正を開始することができる。その結果、第１視差として、複雑な計算を行って算出する射影変換係数などを用いるような場合でも、切替操作が行われたときに、表示画像の切り替えを速やかに行うことができる。
【図面の簡単な説明】
【００１８】
【図１】立体画像表示装置の構成を示す概略図である。
【図２】画像処理回路の構成を示す概略図である。
【図３】視差量検出部の構成を示す概略図である。
【図４】（Ａ）左画像の主要被写体からの特徴点の抽出処理、（Ｂ）右画像の主要被写体からの対応点の検出処理を説明するための説明図である。
【図５】対応座標リストを説明するための説明図である。
【図６】主要被写体が異なる位置で撮影されている左右画像の一例を説明するための説明図である。
【図７】図２の補正量決定部による補正量の決定を説明するための説明図である。
【図８】立体画像表示装置が立体画像表示を行うときの処理手順を示したフローチャートである。
【図９】最初の左右画像の補正を説明するための説明図である。
【図１０】立体画像の画像切替操作前に行われる、次画像の補正を説明するための説明図である。
【図１１】射影変換による補正を説明するための説明図である。
【図１２】第２実施形態の複眼カメラの構成を示す概略図である。
【図１３】第２実施形態の立体画像表示装置が立体画像表示を行うときの処理手順を示したフローチャートである。
【発明を実施するための形態】
【００１９】
図１に示すように、立体画像表示装置１０は、複眼カメラ１１（例えばステレオカメラ）で得られた左目用画像（以下、左画像という）１２Ｌ及び右目用画像（以下、右画像という）１２Ｒを元に、立体画像を表示する。複眼カメラ１１は、互いに異なる２視点で被写体を撮影して左右画像１２Ｌ，１２Ｒを生成し、これら左右画像１２Ｌ，１２Ｒを一つにまとめた画像ファイル１２をメモリカード１３に記憶させる。
【００２０】
立体画像表示装置１０のＣＰＵ（制御手段）１５は、操作部（切替操作手段）１６からの制御信号に基づき、メモリ１８から読み出した各種プログラムやデータを逐次実行することで、立体画像表示装置１０の各部を統括的に制御する。このＣＰＵ１５には、バス１７を介して、操作部１６、メモリ１８、画像入力Ｉ／Ｆ１９、ストレージ（画像記憶手段）２０、画像処理回路２１、表示制御部２２及びモニタ（表示手段）２３などが接続されている。
【００２１】
操作部１６は、電源スイッチ、立体画像の表示開始操作を行うための表示開始スイッチ、モニタ２３に表示される立体画像の画像切替操作を行うための画像切替スイッチなどから構成される。メモリ１８は、上述のプログラムやデータを格納する他、ＣＰＵ１５が処理を実行するためのワークメモリとして機能する。また、メモリ１８は、ＶＲＡＭとしても機能する。
【００２２】
画像入力Ｉ／Ｆ１９は、メモリカード１３を介して、複眼カメラ１１から画像ファイル１２を取得する。画像入力Ｉ／Ｆ１９は、取得した画像ファイル１２を、バス１７を介してストレージ２０へ逐次送る。
【００２３】
ストレージ２０は、画像入力Ｉ／Ｆ１９から取得した画像ファイル１２を複数記憶する。画像処理回路２１は、ストレージ２０から画像ファイル１２を所定の順番で読み出す読出処理と、読み出した画像ファイル１２の左右画像１２Ｌ，１２Ｒにそれぞれ含まれる主要被写体の視差量（第１視差）を検出する視差量検出処理と、この視差量検出結果に基づき右画像１２Ｒを補正する補正処理とを実行する。
【００２４】
表示制御部２２は、左画像１２Ｌと、画像処理回路２１で補正された右画像１２Ｒとを１ラインごと交互に短冊状に並べたストライプ画像を形成し、形成したストライプ画像をモニタ２３に出力する。モニタ２３は、その前面にレンチキュラレンズが設けられている。レンチキュラレンズは、ストライプ画像のうち左画像１２Ｌのストライプを観察者の左目に見せ、右画像１２Ｒのストライプを観察者の右目に見せる。観察者は、左右の目で左右画像１２Ｌ，１２Ｒをそれぞれ観察することにより、立体画像を観察することができる。
【００２５】
なお、以下の説明では、ストライプ画像を形成することを、適宜「立体画像を形成する」といい、モニタ２３にストライプ画像を表示することを、適宜「モニタ２３に立体画像を表示する」という。また、現在、モニタ２３に立体画像として表示されている左右画像１２Ｌ，１２Ｒを適宜「現画像」といい、この現画像の次にモニタに表示される左右画像１２Ｌ，１２Ｒを適宜「次画像」という。
【００２６】
図２に示すように、画像処理回路２１は、画像読出部（画像読出手段）２５、視差量検出部（視差量特定手段）２６、視差補正部（画像補正手段）２７などから構成される。
【００２７】
画像読出部２５は、ストレージ２０から画像ファイル１２を所定の順番で読み出す。なお、読出し順番は、例えば、ファイル名順（例えばＰＩＣ１、ＰＩＣ２、ＰＩＣ３、・・・）、撮影日時の古い順あるいは新しい順で決定される。画像読出部２５は、操作部１６で表示開始操作がなされたときに第１番目の画像ファイル１２をストレージ２０から読み出して記憶する。また、画像読出部２５は、モニタ２３に立体画像が表示されている間に、次の画像ファイル１２をストレージ２０から読み出して、先に記憶した画像ファイル１２に上書きする。
【００２８】
図３に示すように、視差量検出部２６は、画像読出部２５から読み出した画像ファイル１２に含まれる左右画像１２Ｌ，１２Ｒを解析して、上述の視差量検出処理を行う。この視差量検出部２６は、主要被写体領域検出部（主要被写体検出手段）２９と、特徴点抽出部３０と、対応点検出部３１と、視差量演算部（幾何変換係数算出手段）３２とから構成される。
【００２９】
図４（Ａ）に示すように、主要被写体領域検出部２９は、左画像１２Ｌを解析して、この左画像１２Ｌから主要被写体３４を含む主要被写体領域３５を検出する。主要被写体３４は、左右画像１２Ｌ，１２Ｒに含まれる同一の人物である。この場合、主要被写体領域検出部２９は、人物の顔位置を検出し、検出した顔位置の周辺領域を主要被写体領域３５とする。また、主要被写体領域検出部２９は、左画像１２Ｌに人物が含まれない場合には、画像中央領域を主要被写体領域３５とする。なお、主要被写体領域３５や人物の検出方法は、上述の方法に限定されず、各種方法を用いてよい。また、左画像１２Ｌ内に複数の人物がいる場合には、例えば最も至近側の人物、あるいは画像中央領域の人物を主要被写体として決定する。
【００３０】
特徴点抽出部３０は、主要被写体領域検出部２９の検出結果に基づき、左画像１２Ｌを解析して、左画像１２Ｌの主要被写体領域３５内から複数の特徴点（特徴点群）３７を抽出する。特徴点３７は、主要被写体領域３５内における画素値の変化が特徴的な点（画素）であり、特に水平及び垂直方向で画素値変化がある角（コーナ）、端点などが好ましい。特徴点抽出法としては、例えば、Ｈａｒｒｉｓの手法、Ｍｏｒａｖｅｃの手法、Ｓｈｉ−Ｔｏｍａｓｉの手法などがあり、これらのいずれを用いてもよい。
【００３１】
図４（Ｂ）に示すように、対応点検出部３１は、特徴点抽出部３０による特徴点抽出結果に基づき、左右画像１２Ｌ，１２Ｒを解析して、各特徴点３７にそれぞれ対応する右画像１２Ｒ内の対応点３８の位置を検出する。対応点検出方法としては、例えば、ブロックマッチング方式、ＫＬＴ−Ｔｒａｃｋｅｒ方式などがあり、これらのいずれを用いてもよい。対応点検出部３１は、対応点検出結果と特徴点抽出結果とに基づき、特徴点３７と対応点３８との位置関係を示す対応座標リスト３９を形成する。
【００３２】
図５に示すように、対応座標リスト３９は、左画像１２Ｌ内における各特徴点３７の位置（Ｘ，Ｙ座標）が、それぞれ右画像１２Ｒ内のどの位置（対応点３８のｘ，ｙ座標）に対応しているかを示したデータである。なお、（Ｘ，Ｙ）座標及び（ｘ，ｙ）座標は、例えば、左右画像１２Ｌ，１２Ｒの左下隅の画素を原点としたときの座標である。（Ｘ，Ｙ）＝（２３８，２１６）の場合、特徴点３７は、原点からＸ方向（右方向）に２３９番目、Ｙ方向（上方向）に２１７番目）の画素である。
【００３３】
図３に戻って、視差量演算部３２は、対応座標リスト３９に基づき、左右画像１２Ｌ，１２Ｒにそれぞれ含まれる両主要被写体３４の視差量として、射影変換に用いられる８個の射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑを求める。射影変換は、各射影変換係数の値に応じて、平行移動、回転、拡大縮小、台形歪みなどの幾何変換を行うことにより、ある視点から撮影した画像を、あたかも別の視点から撮影した画像のように変換する幾何変換である。各射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑは、例えば右画像１２Ｒを射影変換したときに、左右画像１２Ｌ，１２Ｒの両主要被写体３４の視差がなくなるような値として求められる。
【００３４】
次に、対応座標リスト３９に基づき、各射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑを算出する方法について説明する。射影変換は、下記式（１）及び式（２）に基づいて行われる。ここで、（Ｘ，Ｙ）は特徴点３７の座標、（ｘ，ｙ）は対応点３８の座標である。
【００３５】
式（１）
【数１】
2010278878.tif 000003
【００３６】
式（２）
【数２】
2010278878.tif 000004
【００３７】
対応座標リスト３９から各射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑを算出する場合には最小二乗法を用いる。具体的には、下記式（３）及び式（４）による評価関数Ｊｘ  ，Ｊｙ  が最小となるような射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑを求める。ここで、（Ｘｉ  ，Ｙｉ  ）及び（ｘｉ  ，ｙｉ  ）は、対応座標リスト３９のｉ番目の特徴点３７、対応点３８の座標である。また、Ｎは、特徴点数及び対応点数である。
【００３８】
式（３）
【数３】
2010278878.tif 000005
【００３９】
式（４）
【数４】
2010278878.tif 000006
【００４０】
評価関数Ｊｘ  ，Ｊｙ  が最小となるような各射影変換係数の値は、評価関数Ｊｘ  ，Ｊｙ  を各パラメータごとに偏微分して得られる下記８つの式（５）〜式（１２）をそれぞれ０としておき、これら８つの連立方程式を解くことで求められる。
【００４１】
式（５）
【数５】
2010278878.tif 000007
【００４２】
式（６）
【数６】
2010278878.tif 000008
【００４３】
式（７）
【数７】
2010278878.tif 000009
【００４４】
式（８）
【数８】
2010278878.tif 000010
【００４５】
式（９）
【数９】
2010278878.tif 000011
【００４６】
式（１０）
【数１０】
2010278878.tif 000012
【００４７】
式（１１）
【数１１】
2010278878.tif 000013
【００４８】
式（１２）
【数１２】
2010278878.tif 000014
【００４９】
以上により得られた各射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑが、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量を表す値となる。例えば、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量がゼロである場合には、各射影変換係数（ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑ）は（１，０，０，１，０，０，０，０）となる。以下の説明では、各射影変換係数ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑを単に射影変換係数パラメータと記載する。
【００５０】
図２に戻って、視差補正部２７は、視差量演算部３２が求めた射影変換係数パラメータに基づき、画像読出部２５から読み出した画像ファイル１２の右画像１２Ｒに対して、射影変換による補正（以下、単に補正という）を行い、補正した右画像１２Ｒをメモリ１８に格納するとともに、左画像１２Ｌはそのままメモリ１８に格納する。
【００５１】
図６（Ａ）に示すように、視差補正部２７は、例えば主要被写体３４が左右画像１２Ｌ，１２Ｒ（シーン）の中央にある場合には、この主要被写体３４の視差量がゼロとなるように右画像１２Ｒを補正する。また、視差補正部２７は、（Ｂ）に示すように、（Ａ）の主要被写体３４と異なる位置、かつより近い位置で主要被写体３４が撮影されている場合、この主要被写体３４の視差量がゼロとなるように右画像１２Ｒを補正する。この際に、モニタ２３の表示が、（Ａ）の主要被写体３４の視差量がゼロとなる立体画像から、（Ｂ）の主要被写体３４がゼロとなる立体画像に急に切り替わると、観察者の輻輳角（左右の目と対象物とが成す角度）が急変するため、視覚疲労が引き起こされてしまう。
【００５２】
そこで、視差補正部２７は、次画像の右画像１２Ｒを補正する場合には、現画像について求めた射影変換係数パラメータに基づき、右画像１２Ｒを補正する初期補正を行う。例えば、現画像が（Ａ）であり、次画像が（Ｂ）である場合には、最初に次画像の中央領域にある木の視差量（第２視差）がゼロとなるように初期補正を行う。次いで、視差補正部２７は、初期補正後の次画像の主要被写体３４の視差量が徐々に小さくなるように、右画像１２Ｒを複数ステップで補正する。なお、本実施形態では、初期補正を含めてＫ（Ｋは任意の自然数）ステップの補正を行うものとする。
【００５３】
図２に戻って、視差補正部２７は、補正量決定部４１及び補正実行部４２により構成される。補正量決定部４１は、視差量演算部３２が求めた射影変換係数パラメータに基づき、各ステップ１〜Ｋでそれぞれ右画像１２Ｒを補正する際の補正量Ｘｍ  （ｍ＝１〜Ｋ）を決定する。この補正量Ｘｍ  は、射影変換係数パラメータで表される。
【００５４】
例えば、補正（射影変換）として平行移動だけを行う場合、補正量Ｘｍ  は下記式（１３）で求められる。なお、説明の煩雑化を防止するため、補正（射影変換）として回転、拡大縮小、台形歪みなどの幾何変換を行う場合の補正量Ｘｍ  の算出については説明を省略する。
式（１３）：Ｘｍ  ＝（Ａ−Ａ０  ）／Ｋ
【００５５】
上記式（１３）において、Ａ０  は、現画像について求めた射影変換係数パラメータ（視差量）で表される初期補正量である。Ａは、射影変換係数パラメータで表される次画像の視差量である。初期補正量Ａ０  は、電源ＯＮ後、最初の左右画像１２Ｌ，１２Ｒの補正を行う場合、（ａ，ｂ，ｃ，ｄ，ｓ，ｔ，ｐ，ｑ）は（１，０，０，１，０，０，０，０）となる。また、立体画像の画像切替操作が行われた場合、この操作前の視差量Ａが新たな初期補正量Ａ０  として設定される。
【００５６】
図７（Ａ）に示すように、上記式（１３）で求められる補正量Ｘ１〜Ｋ  の大きさは、全て同じ値となるので、各ステップ１〜Ｋにおける右画像１２Ｒの主要被写体３４の変化量（平行移動量）は同じ大きさとなる。なお、（Ｂ）に示すように、各ステップ１〜Ｋにおける右画像１２Ｒの主要被写体３４の変化量が、ステップ数が増えるのに従って略放物線状に変化するように式（１３）を変えてもよい。
【００５７】
図２に戻って、補正実行部４２は、補正量決定部４１が決定した補正量Ｘｍ  に基づき、右画像１２Ｒに対してステップ１〜Ｋの補正を段階的に行う。補正実行部４２は、ステップ１では補正量Ｘ１  に基づき右画像１２Ｒを補正した後、補正後の右画像１２Ｒをメモリ１８に格納する。次いで、補正実行部４２はステップ２を開始する。補正実行部４２は、メモリ１８に格納された右画像１２Ｒを読み出して、この右画像１２Ｒを補正量Ｘ２  に基づき補正した後、補正後の右画像１２Ｒを再度メモリ１８に格納する。以下同様に、補正実行部４２は、ステップＫが終了するまで上述の処理を繰り返し実行する。
【００５８】
次に図８に示すフローチャートを用いて、立体画像表示を行うときの立体画像表示装置１０の処理手順について説明を行う。まず、立体画像表示前に、ストレージ２０に画像ファイル１２が複数格納される。この格納作業後、操作部１６で表示開始操作が行われると、ＣＰＵ１５は、画像読出部２５に対して読出し指令を発する。画像読出部２５は、読出し指令を受けて、ストレージ２０から最初の画像ファイル１２を読み出して一時的に記憶する。
【００５９】
次いで、ＣＰＵ１５は、視差量検出部２６に対して視差量検出指令を発する。視差量検出部２６は、視差量検出指令を受けて、画像読出部２５から左右画像１２Ｌ，１２Ｒを読み出した後、上述の図３などで説明した主要被写体検出処理、特徴点抽出処理、対応点検出処理、対応座標リスト形成処理、視差量演算処理を順に実行する。これにより、左右画像１２Ｌ，１２Ｒにそれぞれ含まれる両主要被写体３４の視差量Ａとして、上述の８個の射影変換係数パラメータが求められる。視差量検出部２６は、求めた視差量Ａを補正量決定部４１に出力する。
【００６０】
視差量Ａの検出後、ＣＰＵ１５は、補正量決定部４１に対して補正量決定指令を発する。補正量決定部４１は、補正量決定指令を受けて、視差量検出部２６から取得した視差量Ａと、初期補正量Ａ０  ＝（１，０，０，１，０，０，０，０）とをそれぞれ上述の式（１３）に代入して、補正量Ｘｍ  （Ｘ１  〜ＸＫ  ）を決定する。次いで、補正量決定部４１は、決定した補正量Ｘｍ  を補正実行部４２へ出力する。
【００６１】
補正量Ｘｍ  の決定後、ＣＰＵ１５は、補正実行部４２に対して補正指令を発する。補正実行部４２は、補正指令を受けて、画像読出部２５から左右画像１２Ｌ，１２Ｒを読み出す。次いで、補正実行部４２は、左画像１２Ｌはそのままメモリ１８に格納するとともに、補正量Ｘｍ  に基づき、右画像１２Ｒに対してステップ１〜Ｋの補正を段階的に行う。これにより、ステップ１〜ステップＫにおいて、右画像１２Ｒの補正と、補正済みの右画像１２Ｒのメモリ１８への格納とが交互に繰り返し実行される。
【００６２】
図９の左右画像１２Ｌ，１２Ｒを重ね合わせた重ね合わせ画像（主要被写体の視差量が段階的に小さくなることを説明するためのものであり、実際に図９のように重ね合わせているわけではない）に示すように、補正前の左右画像１２Ｌ，１２Ｒの主要被写体３４（左画像１２Ｌを実線、右画像１２Ｒを点線）には視差が生じているが、ステップ１〜Ｋの補正が段階的に実行されると、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量は徐々に小さくなる。そして、ステップＫの補正が終了したときに、主要被写体３４の視差量はゼロとなる。
【００６３】
図８に戻って、ＣＰＵ１５は、メモリ１８に格納されている右画像１２Ｒが更新される度に、表示制御部２２に対して表示指令を発する。表示制御部２２は、表示指令を受けて、メモリ１８から左右画像１２Ｌ，１２Ｒを逐次読み出して立体画像を形成し、形成した立体画像をモニタ２３に出力する。
【００６４】
ＣＰＵ１５は、補正実行部４２によるステップＫの補正が終了したときに、画像読出部２５に対して読出指令を発する。画像読出部２５は、読出指令を受けて、ストレージ２０から次画像を読み出して先に読み出した現画像に上書きする。なお、次画像は、上述の図６（Ｂ）の画像として説明を行う。
【００６５】
次画像の読み出し後、ＣＰＵ１５は、視差量検出部２６に対して視差量検出指令を発する。視差量検出部２６は、視差量検出指令を受けて、画像読出部２５から次画像を読み出した後、上述の各処理を順に実行して、次画像の両主要被写体３４の視差量Ａを求める。視差量検出部２６は、操作部１６で画像切替操作が行われるまで、求めた次画像の視差量Ａを一時的に記憶する。
【００６６】
操作部１６で立体画像の画像切替操作がなされると、ＣＰＵ１５は、視差量検出部２６に対して視差量出力指令を発した後、補正量決定部４１に対して補正量決定指令を発する。視差量検出部２６は、視差量出力指令を受けて、次画像の視差量Ａを補正量決定部４１へ出力する。
【００６７】
補正量決定部４１は、補正量決定指令を受けて、最初に初期補正量Ａ０  を現画像の視差量Ａに設定する。次いで、補正量決定部４１は、次画像の視差量Ａと、新たに設定した初期補正量Ａ０  とをそれぞれ上述の式（１３）に代入して、次画像の補正量Ｘｍ  を決定する。次画像の補正量Ｘｍ  は、補正量決定部４１から補正実行部４２へ出力される。
【００６８】
次画像の補正量Ｘｍ  の決定後、ＣＰＵ１５は、補正実行部４２に対して補正指令を発する。補正実行部４２は、補正指令を受けて、補正量Ｘｍ  に基づき、上述の現画像に対して行った補正と同様の補正を行う。これにより、メモリ１８への左画像１２Ｌの格納、各ステップ１〜Ｋで補正された右画像１２Ｒの格納（更新）が実行される。また、表示制御部２２は、右画像１２Ｒの格納・更新が行われる度に、ＣＰＵ１５からの表示指令を受けて立体画像を逐次形成し、モニタ２３に立体画像を表示させる。
【００６９】
図１０における次画像の重ね合わせ画像に示すように、ステップ１の補正（初期補正）が行われると、現画像（図９参照）において主要被写体３４が表示されていた中央領域にある木の視差量が０となるように右画像１２Ｒが初期補正される。次いで、ステップ２〜ステップＫの補正が段階的行われると、画面左側の主要被写体３４の視差量が徐々に小さくなり、ステップＫの補正が終了したときに主要被写体３４の視差量がゼロとなる。現画像において主要被写体３４が表示されていた領域の視差量が最初にゼロになるように初期補正を行った後、徐々に次画像の主要被写体３４の視差量がゼロになるように補正を行うことで、立体画像の表示を切り替えた際に、観察者の輻輳角の急変が防止される。その結果、観察者の視覚疲労が抑制される。
【００７０】
また、右画像１２Ｒを補正する補正方法として射影変換を行うことで、例えば図１１に示すように、左画像１２Ｌの主要被写体３４に対して右画像１２Ｒの主要被写体３４が平行移動、かつ回転している場合でも、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量がゼロとなるように右画像１２Ｒを補正することができる。このように、左右画像１２Ｌ，１２Ｒの主要被写体３４の間に複雑な視差（回転、拡大縮小、台形歪み）が生じていた場合でも、射影変換を行うことで、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量をゼロにすることができる。
【００７１】
図８に戻って、補正実行部４２によるステップＫの補正が終了すると、画像読出部２５による次画像の読出しと、視差量検出部２６による視差量Ａの検出とが再び実行される。このように、現画像に基づく立体画像がモニタ２３に表示されている間に次画像の視差量Ａを求めておくことで、視差量Ａとして、複雑な演算を行って求める射影変換係数パラメータを用いるような場合でも、操作部１６で画像切替操作になされたときに、直ぐに補正を開始することができる。その結果、画像切替操作になされたときに、モニタ２３に表示される立体画像を速やかに切り替えることができる。
【００７２】
以下、立体画像の表示を終了するまで、上述の立体画像の表示切替処理（図８の「補正量Ｘｍ  決定」〜「画像切替操作有り？」の間の処理）が繰り返し実行される。
【００７３】
次に本発明の第２実施形態について説明を行う。上記第１実施形態では、立体画像表示装置１０で左右画像１２Ｌ，１２Ｒの視差量（射影変換係数パラメータ）の検出を行っているが、第２実施形態では、複眼カメラが被写体を撮影して左右画像１２Ｌ，１２Ｒを生成した際に視差量の検出を行い、この検出結果を立体画像表示装置で読み取る。
【００７４】
図１２に示すように、複眼カメラ５０は、左右一対の撮像部（撮像手段）５１Ｌ，５１Ｒを備えている。撮像部５１Ｌ，５１Ｒは、図示は省略するが、撮影レンズ、ＣＣＤやＣＭＯＳイメージセンサ等を備えている。撮像部５１Ｌ，５１Ｒは、互いの光軸が略平行となるように、所定間隔を隔てて設けられている。
【００７５】
ＣＰＵ５２は、操作部５３からの制御信号に基づき、メモリ５４から読み出した各種プログラムやデータを逐次実行することで、複眼カメラ５０の各部を統括的に制御する。このＣＰＵ１５には、バス５５を介して、メモリ５４、操作部５３、信号処理回路５６、画像処理回路（視差量検出手段）５７、記録制御部（付帯手段）５８、表示制御部５９及びモニタ６０等が接続されている。
【００７６】
操作部５３は、例えば、電源スイッチ、複眼カメラ５０の動作モード（撮影モード、再生モード等）を切り替えるモード切替スイッチ、シャッタボタン等からなる。シャッタボタンは、２段階押しのスイッチである。シャッタボタンが半押しされると、露出制御や焦点調整などの各種撮影準備処理が実行され、この状態でシャッタボタンが更に押し込まれる全押しされたときに撮影処理が実行される。
【００７７】
ＡＦＥ（アナログフロントエンド）６１は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器からなる。ＡＦＥ６１は、撮像部５１Ｌ，５１Ｒからそれぞれ出力されるアナログの画像信号に対し、リセットノイズの除去処理、画像信号の増幅処理、デジタル化処理を施して、左右画像１２Ｌ，１２Ｒを生成する。ＡＦＥ６１は、生成した左右画像１２Ｌ，１２Ｒを信号処理回路５６へ出力する。
【００７８】
信号処理回路５６は、ＡＦＥ６１から入力された左右画像１２Ｌ，１２Ｒに対し、階調変換，ホワイトバランス補正処理，γ補正処理、ＹＣ変換処理等の各種画像処理を施す。信号処理回路５６は、画像処理済みの左右画像１２Ｌ，１２Ｒをメモリ５４に格納する。
【００７９】
画像処理回路５７は、基本的に第１実施形態の画像処理回路２１と同じ構成であるので、その構成については前述の図２及び図３を参照されたい。画像処理回路５７は、メモリ５４から左右画像１２Ｌ，１２Ｒを読み出す読出処理と、読み出した左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量（射影変換係数パラメータ）を検出する視差量検出処理と、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量がゼロとなるように右画像１２Ｒを補正する補正処理とを実行する。画像処理回路５７は、左画像１２Ｌ及び補正した右画像１２Ｒをメモリ５４に格納する。
【００８０】
また、画像処理回路５７は、視差量検出処理で検出した視差量をメモリ５４に記憶する。メモリ５４内の視差量は、画像処理回路５７により視差量の検出が行われる度に更新される。
【００８１】
表示制御部５９及びモニタ６０は、基本的に第１実施形態の表示制御部５９と同じものである。表示制御部５９は、画像処理回路５７により左右画像１２Ｌ，１２Ｒがメモリ５４に格納される度に、メモリ５４から左右画像１２Ｌ，１２Ｒを読み出して立体画像を形成し、形成した立体画像をスルー画像としてモニタ６０に表示させる。
【００８２】
記録制御部５８は、操作部５３のシャッタボタンが全押しされたとき、メモリ５４から左右画像１２Ｌ，１２Ｒ及び視差量を読み出し、これらを一つにまとめた画像ファイル６３を形成する。画像ファイル６３は、左右画像１２Ｌ，１２Ｒに、視差量と撮影情報（撮影日時等）とからなる付帯情報６４を付帯させたものである。記録制御部５８は、形成した画像ファイル６３をメモリカード１３に記録する。
【００８３】
立体画像表示装置６６は、基本的には上記第１実施形態の立体画像表示装置１０と同じ構成であるので、その構成については前述の図１〜図３を参照されたい。ただし、立体画像表示装置６６の画像処理回路２１（図２参照）には、視差量検出部２６の代わりに、画像読出部２５に記憶された画像ファイル６３から視差量を読み出す視差量読出部（図示せず）が設けられている。
【００８４】
図１３に示すように、立体画像表示装置６６が立体画像表示を行うときの処理手順は、左右画像１２Ｌ，１２Ｒの主要被写体３４の視差量の検出を行う代わりに、この左右画像１２Ｌ，１２Ｒの付帯情報６４から視差量の読み出しを行っている点を除いて、上記第１実施形態の処理手順と同じであるので、説明は省略する。複眼カメラ５０で検出された視差量を立体画像表示装置６６で用いることにより、立体画像表示装置６６で視差量を求める必要がなくなる。その結果、第１実施形態と同様に、画像切替操作になされたときに、直ぐに右画像１２Ｒの補正を開始することができるので、モニタ２３に表示される立体画像を速やかに切り替えることができる。また、視差量の検出が不要になるので、第１実施形態よりも低コスト化が可能になる。
【００８５】
上記各実施形態では、左右画像１２Ｌ，１２Ｒの視差量に基づき、右画像１２Ｒを補正しているが、左画像１２Ｌを補正してもよい。また、補正量を半分にして左右画像１２Ｌ，１２Ｒをそれぞれ補正してもよい。
【００８６】
上記各実施形態では、立体画像表示装置は、メモリカード１３を介して画像ファイル１２を取得しているが、例えば、ＵＳＢ（Universal Serial Bus）ケーブルなどを介して、複眼カメラから直接画像ファイル１２を取得してもよい。
【００８７】
上記各実施形態では、立体画像を表示する表示方式として、レンチキュラ方式を例に挙げて説明を行ったが、視差バリア方式、パララックスバリア方式、アナグリフ方式等の各種表示方式を用いてよい。
【００８８】
上記各実施形態の立体画像表示装置１０，６６は、画像ファイル１２，６３をストレージ２０に格納しているが、画像入力Ｉ／Ｆ１９にセットされたメモリカード１３をストレージ２０の代わりとしてもよい。
【００８９】
上記各実施形態では、主要被写体領域検出部２９が、左画像１２Ｌの主要被写体領域３５の検出を行っているが、右画像１２Ｒあるいは両方の主要被写体領域３５の検出を行ってもよい。
【００９０】
上記各実施形態では、視差補正部２７が、視差量演算部３２が求めた射影変換係数パラメータに基づき、右画像１２Ｒに対して射影変換による補正を行っているが、射影変換以外の各種幾何変換、例えばアフィン変換を行ってもよい。アフィン変換は、画像の平行移動、拡大縮小、回転に対応できる幾何変換（幾何補正）であり、その変換式は下記式（１４）、式（１５）で表される。このアフィン変換の変換式は、パラメータの数が少ないことを除けば、上述の射影変換の変換式と同様に扱うことができる。
式（１４）：Ｘ＝ａｘ＋ｂｙ＋ｓ
式（１５）：Ｙ＝ｃｘ＋ｄｙ＋ｔ
【００９１】
上記各実施形態では、立体画像表示装置が単体で設けられている場合について説明を行ったが、複眼カメラ等の左右画像１２Ｌ，１２Ｒの撮影が可能な各種の撮影装置に、本発明の立体画像表示装置が設けられていてもよい。
【符号の説明】
【００９２】
１０，６６  立体画像表示装置
１１，５０  複眼カメラ
１２Ｌ，１２Ｒ  左目用、右目用画像
１５  ＣＰＵ
２０  ストレージ
２１，５７  画像処理回路
２３  モニタ
２５  画像読出部
２６  視差量検出部
２７  視差補正部
２９  主要被写体領域検出部
３０  特徴点抽出部
３１  対応点検出部
３２  視差量演算部
３４  主要被写体
３５  特徴点
３８  対応点
５１Ｌ，５１Ｒ  撮像部
５８  記録制御部
６４  付帯情報
【図１】
2010278878.tif 000015
【図２】
2010278878.tif 000016
【図３】
2010278878.tif 000017
【図４】
2010278878.tif 000018
【図５】
2010278878.tif 000019
【図６】
2010278878.tif 000020
【図７】
2010278878.tif 000021
【図８】
2010278878.tif 000022
【図９】
2010278878.tif 000023
【図１０】
2010278878.tif 000024
【図１１】
2010278878.tif 000025
【図１２】
2010278878.tif 000026
【図１３】
2010278878.tif 000027