(57)【要約】【課題】  視聴者の所望する立体感が得られる立体画像生成装置を提供する。【解決手段】  撮影装置で撮影された撮影画像に基づいて、左目用画像と右目用画像を含む立体画像を生成する立体画像生成装置は、撮影装置で撮影された撮影画像内の複数のエリアそれぞれにおける物体距離と、立体感パラメータとに基づいて、前記複数のエリアそれぞれのシフト量を求めるシフト量取得手段と、前記シフト量取得手段で求められた前記シフト量に基づいて、前記撮影画像内の複数のエリアの部分画像をシフトさせることによって、前記立体画像を生成する立体画像生成手段と、を備える。【選択図】  図１
2013247441.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置で撮影された撮影画像に基づいて、左目用画像と右目用画像を含む立体画像を生成する立体画像生成装置であって、
撮影装置で撮影された撮影画像内の複数のエリアそれぞれにおける物体距離と、立体感パラメータとに基づいて、前記複数のエリアそれぞれのシフト量を求めるシフト量取得手段と、
前記シフト量取得手段で求められた前記シフト量に基づいて、前記撮影画像内の複数のエリアの部分画像をシフトさせることによって、前記立体画像を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
【請求項２】
前記立体画像生成手段が、前記部分画像を、該部分画像に対応する前記シフト量に基づいて逆方向にシフトさせることによって、前記左目用画像と右目用画像とを生成する、
ことを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記撮影装置が、前記複数のエリアそれぞれにおいて物体距離を計測する測距手段を有しており、
前記複数のエリアそれぞれにおける物体距離は、前記測距手段から得られる距離である、
ことを特徴とする請求項１又は２に記載の立体画像生成装置。
【請求項４】
単眼の撮影装置で撮影されて記憶され、かつ複数に分割されたエリアそれぞれが物体距離のデータを含む撮影画像、を再生する再生手段と、
再生された該撮影画像から各該エリアの物体距離データを抽出する物体距離データ抽出手段と、
を有し、
単眼の撮影装置で撮影された物体距離のデータを含む前記撮影画像は、該再生手段で再生された撮影画像である、
ことを特徴とする請求項１に記載の立体画像生成装置。
【請求項５】
前記立体感パラメータは生成する立体画像の左目用と右目用の光軸が交差する位置までの距離である交差距離を含む、ことを特徴とする請求項１乃至４のいずれか１項に記載の立体画像生成装置。
【請求項６】
前記立体感パラメータは生成する立体画像の基線長を含む、ことを特徴とする請求項１乃至５のいずれか１項に記載の立体画像生成装置。
【請求項７】
前記立体感パラメータを入力する立体感パラメータ入力手段を有する、ことを特徴とする請求項１乃至６のいずれか１項に記載の立体画像生成装置。
【請求項８】
前記測距手段は位相差方式による焦点検出手段である、ことを特徴とする請求項３に記載の立体画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像生成装置に関するものであり、特に撮影画像から立体画像を生成し出力する立体画像出力機能を有する立体画像生成装置に関するものである。
【背景技術】
【０００２】
従来、単体で利用可能な撮影装置を複数台利用し、立体撮影を行う撮影システムが知られている。立体撮影に使用される一対の撮影装置は、ズーム、フォーカス、絞りなどの制御対象の状態（位置）によって変化する光学条件が常に一致するように同時に駆動する構成となっている。また、撮影時に各々の光軸が交差する点であるコンバージェンスポイントの位置と、各撮影装置間の距離となる基線長とを調整することによって、立体感を調整している。このようにして立体撮影された画像はそれぞれ左目用の画像と右目用の画像として立体合成される。
【０００３】
立体合成された画像は、左目用画像と右目用画像との間で被写体位置が乖離している。この量を視差量と呼び、視差量が大きいほど、視聴者にとって立体感が強く感じられる画像となる。一方、視差量が小さいほど立体感の弱い画像が得られる。視差量が０の被写体は、合成時に立体感は得られない。すなわち、コンバージェンスポイントの位置で撮影された被写体は、立体合成時に視差量が０となり、平面的な画像が得られる。このとき、立体画像出力モニタの位置をスクリーン面と呼ぶ。コンバージェンスポイントよりも手前の被写体は、立体合成時に、スクリーン面よりも手前に飛び出した画像が得られる。また、コンバージェンスポイントよりも奥の被写体は、立体合成時に、スクリーン面よりも奥側に引っ込んだ画像が得られる。この時、視差量は、被写体位置とコンバージェンスポイントとの距離差に依存する。
【０００４】
また、前述の距離差が同じという状況下において、基線長が長いほど、視差量が大きくなり、立体感の強い画像が得られる。一方、基線長が短いほど、視差量が小さくなり、平面的な画像が得られる。その他、被写体距離や撮影装置のズーム位置によっても視差量が異なる。
このように、様々な撮影シーンに合わせて、視差量が最適となるように、輻輳角を制御することによって、コンバージェンスポイントを調整する手法が提案されている。
【０００５】
一方、上記の手法では、撮影シーンによって、コンバージェンスポイントや基線長を変更しなければならないことから、撮影機材のセットアップが煩雑となる。そこで、撮影後に画像処理による視差量の調整を行うことによって、撮影現場では調整しきれなかった視差量をオフライン補正する手法も提案されている。特許文献１によれば、撮影した左目用および右目用画像のコンバージェンスポイントを変更することによって視差量を調整することが可能である。この時、撮影時に被写体距離情報を取得し、設定したコンバージェンスポイントとの距離差から左目用の画像と右目用の画像を再生成している。特許文献１によれば、撮影後でも所望の立体感を得ることが可能としている。
【０００６】
また、特許文献２では、単一の画像から立体画像を得る手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−３１０６９６号公報
【特許文献２】特開平７−１８２５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１で開示されている従来技術では、撮影時に取得する被写体距離情報は、距離用発光素子を用いて取得された所謂アクティブ測距方式の被写体距離情報であり、撮影画面の複数のエリアを個別に精度良く測距することが困難である。そのため、立体画像を生成する際に算出される視差量に誤差が生じ、視聴者にとって違和感のある立体画像となってしまう可能性が高い。
また、特許文献２で開示されている従来技術では、主要被写体の距離情報がないため、最適な立体感を得るための画像シフト量を決めることが困難である。
そこで、本発明の目的は、立体画像生成装置において、より精度の高い立体画像の合成方法を提案し、所望の立体画像を後から加工できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の立体画像生成装置は、撮影装置で撮影された撮影画像に基づいて、左目用画像と右目用画像を含む立体画像を生成する立体画像生成装置であって、撮影装置で撮影された撮影画像内の複数のエリアそれぞれにおける物体距離と、立体感パラメータとに基づいて、前記複数のエリアそれぞれのシフト量を求めるシフト量取得手段と、前記シフト量取得手段で求められた前記シフト量に基づいて、前記撮影画像内の複数のエリアの部分画像をシフトさせることによって、前記立体画像を生成する立体画像生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影時に複数のエリアに分割して得られた距離情報と、入力した立体感を示すパラメータとから、立体合成する際の視差量を求めることができるため、視聴者が所望する立体画像を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施例１における装置の構成図
【図２】実施例１における撮影画像のイメージ図
【図３】実施例１におけるレンズ装置でのエリア毎の物体距離演算のフローチャート
【図４】撮影画像のイメージ図と領域１および２
【図５】図４の撮影画像の領域１における物体距離データ例
【図６】図４の撮影画像の領域２における物体距離データ例
【図７】実施例１における立体画像生成のフローチャート
【図８】実施例１における視差量演算のフローチャート
【図９】実施例１におけるコンバージェンスポイント基準の変換データ例
【図１０】実施例１におけるシフト量算出の概念図
【図１１】実施例１における左右眼用画像生成のフローチャート
【図１２】実施例１におけるシフト演算の概念図
【図１３】実施例１におけるシフト演算の概念図
【図１４】実施例２における装置の構成図
【図１５】実施例２における立体画像生成のフローチャート
【図１６】実施例２における視差量演算のフローチャート
【図１７】実施例２におけるシフト量算出の概念図
【図１８】実施例３における構成図
【図１９】実施例３における立体画像生成のフローチャート
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる構成図である。
【実施例１】
【００１３】
図１に本発明の第１の実施例の自動合焦装置の構成図を示す。レンズ装置１００は、フォーカスレンズ１１１を含む撮像光学系を有し、フォーカスレンズ１１１はモータ１１２により光軸方向に駆動可能な機構で構成されている。モータ１１２はドライバ１１３によって駆動される。また、フォーカスレンズ１１１の位置は位置検出器１１４によって検出される。フォーカスレンズ１１１、モータ１１２、ドライバ１１３、位置検出器１１４で、フォーカス機構を構成している。フォーカスレンズ１１１を通った被写体からの光束は、ハーフミラー１２１を透過した光束とハーフミラー１２１で反射された光束とに分割される。
ハーフミラー１２１を透過した光束は、撮影装置２００内のＣＣＤ等で構成される撮像素子２０１に入射する。ハーフミラー１２１で反射された光束は、レンズ装置１００内における撮像素子２０１と共役な位置に設けられたセンサ１２２に入射する。
【００１４】
センサ１２２は、不図示の複数対の二次結像レンズと、不図示の位相差センサを含む。センサ１２２内部には、不図示の複数対のラインセンサ（光電変換素子列）が設けられている。各ラインセンサは、撮影画像内を複数に分割したエリア毎に設けられている。各対のラインセンサ上には、ハーフミラー１２１を透過して各対の二次結像レンズによって２つに分割された光束により一対の被写体像（以下、２像という）が形成される。各対のセンサ１２２は、該２像を光電変換して２つの像信号を出力するラインセンサである。
【００１５】
レンズ装置１００のＣＰＵ１３０は、通信部１３１、測距部１３２、制御部１３３、レンズ制御部１３４から構成される。測距部１３２は、センサ１２２から得られる像信号の入力に基づいて、公知の相関演算を行った後、フォーカスレンズ１１１の位置を用いて、撮像エリアを複数に分割した各エリアに対し１つの被写体距離を代表値として演算（計測）する。測距部１３２とセンサ１２２は、位相差方式の焦点検出手段を構成する。制御部１３３は、測距値に基づいてフォーカスレンズ１１１のフォーカス目標位置を算出する。レンズ制御部１３４は、制御部１３３によって算出されたフォーカス目標位置へフォーカスレンズ１１１を駆動する。また、レンズ制御部１３４は、位置検出器１１４からフォーカスレンズ１１１の位置を取得し記憶する。各エリアの被写体距離は、通信部１３１から外部へ出力される。測距部１３２で算出する処理の詳細については後述する。
【００１６】
レンズ装置１００は、レンズ装置によって結像される被写体像を撮像する撮影装置２００に着脱可能な構成であり、レンズ装置１００と撮影装置２００で撮影システムを構成している。画像変換部２０２は、撮像素子２０１から信号を取得した後に画像信号に変換し、撮影装置２００の外部へ出力する。撮影装置２００の外部へ出力された画像信号は、立体画像生成装置３００へ入力される。
立体画像生成装置３００には、通信部３０１、画像処理部３０２、立体感パラメータ入力部３０３、画像出力部３０４から成り立っている。
【００１７】
立体画像生成装置３００内の通信部３０１では、レンズ装置１００の通信部１３１から撮影画像内の各エリアの被写体距離情報を受け取る。画像処理部３０２は、撮影装置２００の画像変換部２０２が出力した画像信号を入力する。立体感パラメータ入力部３０３は、立体画像生成装置３００で生成する立体画像の立体感の度合いを示すパラメータである立体感パラメータの入力部であり、ボリューム４０１の信号を入力し、その値を画像処理部３０２へ出力する。この立体感パラメータとは、ある被写体の他の被写体に対する飛び出し量（人が観察した場合の、被写体間の奥行き方向の距離）を規定するパラメータを意味しているが、ほぼ同意の輻輳角（２台の特定の撮影レンズで撮影した場合の光軸同士のなす角）等で置き換えても良い。また、この立体感パラメータは、前述の飛び出し量そのものでも良いし、飛び出し量に相当する値でも良いし、また飛び出し量を複数段階で規定した値（例えば、飛び出し量大、飛び出し量中、飛び出し量小など）でも構わない。立体画像生成手段である画像処理部３０２は、入力した画像信号と、それに同期した距離情報および立体感パラメータ入力部３０３から入力した立体感パラメータに基づいて、立体画像を生成し、画像出力部３０４を通じて外部に出力する。画像処理部３０２で行われる処理の詳細は後述する。
【００１８】
図２は、図１の構成によって撮影された画像を示している。被写体は人と、人の背景に山や太陽が撮影されている。本実施例では、レンズ装置１００で得られる被写体距離情報と撮影装置２００から得られる図２の撮影画像から、立体画像を生成させる例について説明する。
【００１９】
図３は、レンズ装置１００における、撮像エリアを複数に分割した各エリアの距離を算出する流れを示したフローチャートである。レンズ装置１００のＣＰＵ１３０は、これらの処理をそれぞれ不図示のメモリに格納されたコンピュータプログラムにしたがって制御する。
まずレンズ装置１００における処理について説明する。レンズ装置１００に電源が入ると、ＣＰＵ１３０の処理は、図３のステップＳ１１０から順番に処理を実行していく。図３フローチャートはＳ１１０からＳ１５０まで実行すると、再びＳ１１０に戻って実行する。これらは、ＣＰＵ１３０内に備わっている不図示のタイマ等を用いて周期的に処理される。
【００２０】
図３のステップＳ１１０において、ＣＰＵ１３０内の測距部１３２は、センサ１２２の蓄積制御および読出し制御を行う。センサ１２２内部に設けられた各撮影エリアに対応したラインセンサにおいて光電変換された電荷の蓄積を開始し、蓄積の終了まで待つ。蓄積が終了すると、測距部１３２は、センサ１２２から前述の像信号データを取得する。
【００２１】
図３のステップＳ１２０では、公知の相関演算を行い、デフォーカス量を算出する。各撮影エリアの二像信号から位相差を求める。一般的には、相関演算の結果、二像の位相差が０の時は合焦を示し、デフォーカス量は０となる。また、二像の位相差が０ではない場合は、非合焦であることを示し、デフォーカス量は０とは異なる値となる。
次にステップＳ１３０へと進み、レンズ制御部１３４は、位置検出器１１４を通して、フォーカスレンズ１１１の位置を算出し、制御部１３３へ出力する。
【００２２】
次に、ステップＳ１４０では、ステップＳ１２０で算出した各エリアのデフォーカス量と、ステップＳ１３０で算出したフォーカスレンズ１１１の位置から、各エリアの距離を算出する。ＣＰＵ１３０内では、フォーカスレンズ１１１の位置と実距離のルックアップテーブルを備え、テーブルを参照することにより、各エリアの物体距離データを算出することが可能である。つまり、各エリアにおける物体距離の測定が可能となっている。
【００２３】
次に、ＣＰＵ１３０はステップＳ１５０へと進み、ステップＳ１４０で算出した各エリアの物体距離データを、通信部１３１を通して、立体画像生成装置３００の通信部３０１へ出力する。各エリアの物体距離データには、エリアの該当する撮影画素の番号などが含まれている。
【００２４】
ここで、図４に示す撮影画面から領域１および領域２の拡大図を示したものを図５及び図６にそれぞれ示す。図５は図４の領域１を拡大した図であり、被写体である人の距離が「５」、背景の山の距離が「３ｋ」（３０００）であることを示している例である。図６は図４の領域２を拡大した図であり、山との距離が「３ｋ」（３０００）、背景の空の距離が「９９ｋ」（９９０００）であることを示している例である。これら物体距離データは、画像変換部２０２から出力される画像に同期して出力される。
【００２５】
続いて、立体画像生成装置３００における画像処理部３０２が行う立体画像合成処理の流れを図７のフローチャートに示す。立体画像生成装置３００に電源が入ると、画像処理部３０２の処理は、図７のステップＳ１１０から順番に処理を実行していく。図７のフローチャートはＳ２１０からＳ２５０まで実行すると、再びＳ２１０に戻って実行する。
図７のステップＳ２１０において、画像処理部３０２は、画像変換部２０２から入力された画像データを配列データなどへデコードし、不図示のＲＡＭ等に保持する。
【００２６】
次に、ステップＳ２２０に進むと、通信部３０１は、レンズ装置１００の通信部１３１から現在撮影中の各エリアの物体距離データを受信し、配列データDistに格納する。配列データDistの要素数は上述のエリア数であり、配列データDistに格納されるデータは物体距離データと該当する撮影画素の番号などが含まれる。
次に、ステップＳ２３０において、立体感パラメータ入力部３０３は、ボリューム４０１の信号を入力し、その値を画像処理部３０２へ出力する。
ステップＳ２４０では、立体画像生成装置３００内の不図示のシフト量取得手段によって視差量の演算が行われる。ステップＳ２４０のサブルーチンを図８に示す。ステップＳ２４０が実行されると、図８のステップＳ２４１へと進む。
【００２７】
図８のステップＳ２４１では、図７のステップＳ２３０で立体感パラメータ入力部３０３から入力した値をコンバージェンスポイント（左目用と右目用の光軸が交差する位置）までの距離（以後、交差距離とも記す）に相当する距離データに変換する。立体感パラメータ入力部３０３から入力された値のコンバージェンスポイントに相当する距離データへの変換には、不図示の変換テーブルに基づいて変換処理を行っても良い。ここでは、コンバージェンスポイントまでの距離である交差距離の例として、「２０」という値が設定されたものとして説明を進める。ステップＳ２４１を実行すると、ステップＳ２４２へと進む。
ステップＳ２４２では、基線長パラメータを設定する。ここでは、固定値αとする。αは任意の値で良い。
【００２８】
次に、ステップＳ２４３へと進み、変数AreaNoを０にセットする。AreaNoは、前述の物体距離データを算出したエリアを表すインデックスであり、後述のステップＳ２４４以降で用いる。
【００２９】
ステップＳ２４４では、AreaNoがエリア数よりも小さいかどうかを判定している。ステップＳ２４４が真である場合は、ステップＳ２４５へと進み、偽である場合は、図８のサブルーチンを終了する。ここでは、AreaNoを用いて、設定された全エリアに対してＳ２４５〜Ｓ２４７の処理を行うループを形成している。Ｓ２４４では、全エリアに対し、ステップＳ２４５以降を実行したか否かを判定する処理である。
【００３０】
ステップＳ２４５では、Diff［AreaNo］を算出する。Diffとは、前述の距離配列データDistとステップＳ２４１で設定された交差距離とを比較し、各エリアの距離と交差距離との差分を算出したものである。Diffの算出式を式（１）に示す。
Diff[AreaNo] = Conv.Pt - Dist[AreaNo]  …  （１）
ここで、Conv.Ptとは交差距離である。式（１）では、交差距離を基準とした差分値を算出しているため、奥側がマイナスとなり、手前側はプラスとなるが、符号については任意の方向で定義して良い。
【００３１】
ここで、ステップＳ２４１で設定された交差距離「２０」を例に、図６で得られた物体距離データに式（１）を適用して得られるデータを図９に示す。
ステップＳ２４６では、ステップＳ２４５で得られたDiffデータをもとに、各エリアにおける（撮影装置で撮影した撮影画像の一部である部分画像、或いは画像信号の一部である部分信号に対する）画像のシフト量Shiftを算出する。
【００３２】
ここで、図１０にシフト算出のイメージ図を示す。本発明の構成では、単眼の撮影システムであるため、物体距離データDistは基線長０の時の被写体までの距離である。図１０では、基線長αだけ乖離したレンズ配置を想定し、被写体を撮影したイメージ図を示している。この時、θを０と近似すれば、シフト量は式（２）で得られる。
Shift[AreaNo]=(基線長/2)×Diff[AreaNo]/Conv.Pt×β…  （２）
本実施例では、上述の通り、基線長はαとした。また、画界Ｄとは、撮影装置の画角である。式（２）のβとは、任意の値で良い。
【００３３】
ステップＳ２４５と同様に、ステップＳ２４６では、全エリアのシフト量を算出する。このシフト量は、後述するステップＳ２５０で左目用の画像と右目用の画像を生成する際に使用するパラメータである。
ステップＳ２４６を実行すると、ステップＳ２４７に進み、AreaNoをインクリメントし、ステップＳ２４４へ戻る。
【００３４】
図７のフローチャートの説明に戻る。ステップＳ２４０が実行された後は、ステップＳ２５０に進み、左目用画像および右目用画像が生成される。
【００３５】
ステップＳ２５０のサブルーチンを図１１に示す。図１１では、ステップＳ２５１から処理が実行される。
図１１のステップＳ２５１では、Area配列を作成する。ここでは、左目画像と右目画像を生成する場合に、距離データ（物体距離）が大きいエリアから画像シフト処理を実行していく。Area配列では、各エリアの距離データが最も遠いものから、そのエリアのインデックスを格納していくこととする。ここでは、インデックス用の変数ｉを０にクリアし、次にステップＳ２５２へと進む。
【００３６】
ステップＳ２５２では、インデックスｉがエリア数よりも少ないか否かを判定する。ステップＳ２５２が真である場合は、ステップＳ２５３へと進み、偽である場合には、すべてのエリアの処理が終了したと判定して図１１のサブルーチンを終了し、図７のフローチャートへと戻る。
ステップＳ２５２で真と判定された場合には、ステップＳ２５３へと進み、変数AreaIndexにArea配列から得られるAreaNoが代入される。前述の通り、最も距離の遠いAreaNoから順に代入される。ステップＳ２５３が実行されると、ステップＳ２５４へと進む。
【００３７】
ステップＳ２５４では、図８のステップＳ２４６で算出した各エリアのシフト量を取得する。配列Shiftデータの、ステップＳ２５３で得られたAreaIndexをインデックスとして特定することで、該当エリアのシフト量Shiftが得られる。
【００３８】
ここで、ステップＳ２５４で得られるShift量は、左目画像用と右目画像用で符号が異なる。画像の原点を画面左上とすると、画面右方向はプラス方向となり、左方向はマイナス方向となる。この時、左目用の画像では、コンバージェンスポイントよりも手前の被写体は右方向、すなわちプラス方向にシフトすることとなり、コンバージェンスポイントよりも奥側の被写体は左方向、すなわちマイナス方向にシフトすることとなる。一方、右目画像では、左目用の画像とは逆方向にシフトすることとなる。ここで、右目及び左目画像を生成する際の画像（各エリアに対応する部分画像）のシフトは、互いに逆方向へのシフトである。これにより、この所定の一方向を基線長の方向として、右目及び左目用の立体画像を得ることができる。ここで、基線長の方向とは、左目画像と右目画像とを生成する場合の左右方向（左目の位置と右目の位置とを結ぶ方向、立体画像を観察する人にとっての横方向）である。
次にステップＳ２５５に進み、変数PixNoに０を代入してステップＳ２５６へと進む。
【００３９】
ステップＳ２５６では、PixNoがエリア内に含まれる画素数よりも小さい値か否かを判定する。ステップＳ２５６が真である場合はステップＳ２５７へと進み、偽である場合はステップＳ２５９へと進む。ステップＳ２５７、Ｓ２５８では、各エリア内の該当する画素データすべてをシフト演算対象とするため、エリア内の画素数だけループ処理を行っている。
【００４０】
次にステップＳ２５７へと進み、該当画素のシフト演算を行う。単眼の撮影装置で撮影されたオリジナルの全画素データの配列PixDataSourceのインデックスPixNoで特定されるデータを、ステップＳ２５４で得たShift画素数分シフトした位置PixNo＋Shiftへシフト後の画素データとして代入する。代入先は、図１１のステップＳ２５７に示している通り、PixDataL（左目用の画像データ）又は、PixDataR（右目用の画像データ）の配列である。このとき、前述の通り、左目用の画像のシフト方向と、右目用の画像のシフト方向が逆となる。左目用の画像では、「Shift画素数分」シフトし、右目用の画像では、「-Shift画素数分」シフトする。この時のシフトイメージ図を図１２および図１３に示す。図１２に示した通り、単眼で撮影した画像を左目および右目から撮影した画像に変換する概念となる。そのため、図１３に示すように、左目用の画像では、コンバージェンスポイントよりも手前にいる被写体である人のエリアはプラス側、つまり右側へとシフトしている。また、左目用の画像で、コンバージェンスポイントよりも奥側の山や太陽はマイナス側、つまり左側へシフトしている。右目用の画像では、左目側の画像と逆側にシフト演算している。
【００４１】
次にステップＳ２５８へと進み、PixNoをインクリメントし、ステップＳ２５６へと戻る。
ステップＳ２５６が偽である場合、該当エリア内の全画素データのシフト演算が終了したと判定し、ステップＳ２５９へと進む。
ステップＳ２５９では、Area配列を参照するためのインデックスｉをインクリメントし、ステップＳ２５２へと戻る。
【００４２】
このように、図１１に示したサブルーチンでは、各エリアの全画素をシフト演算することによって、左目用の画像と右目用の画像を生成している。図１１に示した処理のように、物体距離の大きい画像データからシフト処理をすることによって、物体距離の小さい画像データが物体距離の大きい画像データによって上書きされてしまい不自然な画像にすることなく立体画像を生成することができる。また、物体距離の異なるエリア間においてシフト量が異なるため、画像データにギャップが生じるが、既知の画像処理方法によって周辺の画像データをもとにこのギャップを補間してもよい。全エリアのシフト演算が終了すると、図１１に示したサブルーチンを終了し、図７のステップＳ２５０の処理を終了する。その後、再びステップＳ２１０から処理を繰り返して実行する。
【００４３】
このように、本実施例では、撮影と同時に各エリアの物体距離データを算出し、立体画像生成装置３００に入力した。立体画像生成装置３００では、ボリューム４０１で入力した交差距離に相当するパラメータを用いて、物体距離データからコンバージェンスポイント基準のデータ（距離）へ変換した。さらに、コンバージェンスポイント基準の距離から左目画像と右目画像用のシフト量を演算し、それぞれ左目用、右目用の画像を生成する手順を示した。以上のように構成することで、複数の撮影装置を利用することなく単眼の撮影装置で撮影した物体距離データを含む画像に基づいて、視聴者はボリューム４０１を操作することにより、所望の立体感が得られるような立体画像を生成することが可能となる。
【００４４】
なお、上述の式（２）において、βは固定値としたが、任意の値で良い。ボリューム４０１とは異なる、不図示のボリュームを構成して、視聴者が自由に変更できるように構成しても良い。また、βは、画界Ｄを撮影画像の横方向の全画素数で割った値でも良い。このとき、画界Ｄはレンズ装置のフォーカスレンズ１１１を含む光学系から焦点距離を算出することになる。その場合は、物体距離データに焦点距離情報を埋め込んでも良い。このように構成すると、さらに精度の高いシフト量の算出が可能となる。このことは以降の実施例についても同様である。
【００４５】
また、本実施例では、レンズ装置１００内部に測距部を設けることによって物体距離データを算出したが、撮像素子２０１と一体型の構成としても同様の効果が得られる。このことは以降の実施例についても同様である。
また、本実施例では、レンズ装置１００と撮影装置２００とを分けて構成したが、一体型としても良い。このことは以降の実施例についても同様である。
【００４６】
また、上述の式（２）において、図１０のθを０と近似して式を示したが、厳密にθつまり輻輳角を用いて、式（２）を導出しても良い。この場合は、さらに精度の高いシフト量の算出が可能となる。このことは以降の実施例についても同様である。
以上、本実施例で説明したように構成することによって、輻輳角のない状態で撮影された１つの撮影画像から視聴者の所望する立体画像を生成、出力する立体画像生成装置を提供することが可能となる。
【実施例２】
【００４７】
実施例１では、視聴者が入力するコンバージェンスポイントまでの距離である交差距離に相当するパラメータを用いて、左目用および右目用画像を生成する例について示した。この時、コンバージェンスポイントの位置を可変としているため、各エリアの立体感は調整できるが、画面全体の視差量のダイナミックレンジを変更することはできない。そこで、本実施例では、基線長αを視聴者が自由に変更できるように構成する。このように構成することで、コンバージェンスポイントを変更することによる飛び出し感と奥行き感を変更し、基線長αを変更することによって、視差量のダイナミックレンジを変更し、立体画像を生成する構成例を示す。
【００４８】
本実施例における構成図を図１４に示す。図１４に示した構成は、実施例１の図１で示した構成に加え、立体感パラメータ入力部Ａ３１１とボリュームＡ４１１が構成されている。ボリュームＡ４１１はボリューム４０１と同様に、視聴者が操作するためのものであり、ボリュームＡ４１１で操作された値は立体感パラメータ入力部Ａを通して、画像処理部３０２に入力されている。これら以外は、実施例１で示した図１と同様の構成であるため、説明を省略する。
本実施例では、上述のボリュームＡ４１１の入力値にもとづいて視差量のダイナミックレンジを変更する。これらの処理は画像処理部３０２が行うが、詳細は後述する。
【００４９】
レンズ装置１００における、撮像エリアを複数に分割した各エリアの距離を算出する流れは、実施例１で示した図３フローチャートと同様の処理を行うため、説明を省略する。
【００５０】
本実施例では、実施例１と同様に、図２に示した撮影画像を用いて立体画像を生成させる例について説明する。実施例１で示した通り、図４で示した領域１および領域２を拡大した領域には、それぞれ図５および図６で示した物体距離データが格納されているものとする。これらの物体距離データは、画像変換部２０２から出力される画像に同期してレンズ装置１００から出力される。
【００５１】
続いて、本実施例における、立体画像生成装置３００の画像処理部３０２が行う立体画像合成処理の流れを図１５のフローチャートに示す。立体画像生成装置３００に電源が入ると、画像処理部３０２の処理は、図１５のステップＳ２１０から順番に処理を実行していく。図１５のフローチャートはＳ２１０からＳ２３０、Ｓ３１０、Ｓ３２０、Ｓ２５０を実行すると、再びＳ２１０に戻って実行する。
【００５２】
図１５のステップＳ２１０からＳ２３０は、図７で示した処理と同様であるため、説明を省略する。ステップＳ２３０を実行すると、次にステップＳ３１０へと進む。
図１５のステップＳ３１０では、立体感パラメータ入力部Ａ３１１は、ボリュームＡ４１１の信号を入力し、その値を画像処理部３０２へ出力する。
【００５３】
次に、ステップＳ３２０へと進み、視差量の演算を行う。ここで、図１５のステップＳ３２０のサブルーチンを図１６に示す。
図１６のサブルーチンでは、ステップＳ２４１から処理が実行される。図１６のステップＳ２４１は、図８のステップＳ２４１と同様に立体感パラメータ入力部３０３から入力した値をコンバージェンスポイントまでの距離である交差距離に相当する距離データに変換する。ステップＳ２４１を実行すると、ステップＳ３２１へと進む。
【００５４】
ステップＳ３２１では、基線長パラメータを設定する。図１５のステップＳ３１０で得られた立体感パラメータγを基線長パラメータとして設定する。γは任意のレンジで良い。ステップＳ３２１を実行すると、ステップＳ２４３へと進む。ステップＳ２４３からステップＳ２４７は、図８のステップＳ２４３からステップＳ２４７と同様である。ステップＳ２４３からステップＳ２４５は説明を省略する。
【００５５】
実施例２においても、実施例１と同様に、ステップＳ２４１で設定された交差距離を「２０」として説明する。
【００５６】
ステップＳ２４６では、実施例１と同様に、ステップＳ２４５で得られたDiffデータをもとに、各エリアにおける画像のシフト量Shiftを算出する。図１７では、ステップＳ３２１で設定意した基線長γだけ乖離したレンズ配置を想定し、被写体を撮影したイメージ図を示している。この時、実施例１と同様に、θを０と近似すれば、シフト量は式（３）で得られる。
Shift[AreaNo] = (γ/ 2)× Diff[AreaNo] / Conv.Pt ×β…（３）
また、図１７の画界Ｄとは、実施例１の図１０と同様に撮影装置の画角である。式（３）のβとは、式（２）のβと同様の値であり、任意の値で良い。
【００５７】
ステップＳ２４６では、全エリアのシフト量を算出する。このシフト量は、実施例１の図７のＳ２５０で示したように、左目用の画像と右目用の画像を生成する際に使用するパラメータである。
本実施例では、式（３）のγがボリュームＡ４１１の入力値に基づいて可変となる。式（３）において、γは係数として作用するため、Shiftに対しゲインを与えることとなる。したがって、γを変更することにより、視差量を調整することが可能となる。
【００５８】
ステップＳ２４６を実行すると、ステップＳ２４７に進み、AreaNoをインクリメントし、ステップＳ２４４へ戻る。こうしてすべてのエリアのシフト演算が完了すると、ステップＳ２４４が偽となり、図１６のサブルーチンを終了する。
【００５９】
図１５のフローチャートの説明に戻る。ステップＳ３２０が実行された後は、ステップＳ２５０に進み、左目用および右目用画像が生成される。
ステップＳ２５０のサブルーチンは、実施例１の図１１と同様であるため、説明を省略する。
【００６０】
このように、実施例１で示したボリューム４０１による交差距離の指令に加え、ボリュームＡ４１１によって、基線長γを入力パラメータとして加えた例について示した。ボリューム４０１の操作によって、各被写体の奥行き感、飛び出し感を調整することができ、ボリュームＡ４１１の操作によって、奥行き量、飛び出し量のダイナミックレンジを変更することができる。視聴者は、立体画像を出力するモニタからの距離や画面サイズによって、所望の立体感となるように調整することが可能となる。
以上、本実施例で説明したように構成することによって、視聴者の所望する立体画像を生成、出力する立体画像生成装置を提供することが可能となる。
【実施例３】
【００６１】
実施例１および実施例２では、レンズ装置１００で撮影画像の物体距離データを生成し、生成された距離データに基づいて、撮影装置２００から得られる画像を立体画像にオンライン変換した例について示した。これら物体距離データの埋めこまれた保存されている画像データを用いることにより、立体画像をオフラインで生成することも可能である。本実施例では、物体距離データが埋めこまれた画像データから立体画像を生成する例について示す。
【００６２】
本実施例の構成図を図１８に示す。図１８では、再生機５００と立体画像生成装置３００から構成されている。再生機５００からは距離データが埋めこまれた画像が出力され、立体画像生成装置３００の画像処理部３０２へ入力されている。
再生機５００から出力される画像に埋めこまれた距離データは、実施例１や実施例２で示したように、複数のエリアに分割されている。例えば、図５や図６で示したような距離データが埋めこまれている。
【００６３】
図１８の説明に戻る。ボリューム４０１は視聴者が操作することによって、その値が立体感パラメータ入力部３０３を通じて、画像処理部３０２へ入力される。画像処理部３０２は後述する立体画像を生成する処理を行い、画像出力部３０４を通じて、立体画像生成装置３００の外部へ立体画像を出力する。
【００６４】
続いて、本実施例における、立体画像生成装置３００の画像処理部３０２が行う立体画像合成処理の流れを図１９のフローチャートに示す。立体画像生成装置３００に電源が入ると、画像処理部３０２の処理は、図１９のステップＳ２１０から順番に処理を実行していく。図１９のフローチャートはＳ２１０、Ｓ４１０、Ｓ２３０からＳ２５０を実行すると、再びＳ２１０に戻って繰り返して処理を実行する。
【００６５】
図１９のステップＳ２１０では、画像処理部３０２は、再生機５００から入力された画像データを配列データなどへデコードし、不図示のＲＡＭ等に保持する。
次にステップＳ４１０へと進み、不図示の物体距離データ抽出手段によって距離データを抽出する。再生機５００から出力される画像信号のフォーマットは任意のフォーマットで良い。Ｓ４１０で抽出される距離データは各種画像信号のフォーマットに合わせて、任意の方法で実施して良い。
【００６６】
ステップＳ４１０で距離データを抽出すると、実施例１の図５や図６で示したような距離データが取得される。ステップＳ４１０が実行されると、ステップＳ２３０に進む。
図１９のステップＳ２３０からステップＳ２５０は実施例１と同様の処理が実行されるため、説明を省略する。
視聴者はボリューム４０１を操作することによって、画像出力部３０４から出力される画像の視差量を変更することができ、視聴者の所望する立体感を得ることが可能となる。
【００６７】
実施例１や実施例２では、レンズ装置１００から距離データを取得したが、本実施例のように、あらかじめ距離データが埋めこまれた画像を再生する再生機５００を構成しても同様の効果が得られる。
なお、本実施例ではボリューム４０１を構成したが、実施例２で示したように、ボリュームＡ４１１を同様に構成し、ボリューム４０１によってコンバージェンスポイントまでの距離である交差距離を調整し、ボリュームＡ４１１で基線長を調整しても良い。このように構成することによって、実施例２で示した効果と同様の効果を得ることができる。
【００６８】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記の好ましい実施例においては、立体画像生成装置３００は、レンズ装置１００や撮影装置２００と別体で構成していたがこの限りではなく、立体画像生成装置３００の機能をレンズ装置１００や撮影装置２００に持たせても構わない。つまり、レンズ装置が立体画像生成機能を持っていても（立体画像生成装置を含んでいても）良いし、撮影装置が立体画像生成機能を持っていても（立体画像生成装置を含んでいても）良い。
本発明は、静止画、動画に対して同様に適用可能であり、本発明の効果を享受することが可能である。
本発明では、物体距離データを複数のエリアに分割して、分割したエリア毎に物体距離データを持つ構成としたが、撮像画素毎に物体距離データを保持しても良い。また、再生機５００から出力される画像は任意のフォーマットで良く、画像と共に物体距離データを埋めこむことが可能な規格であれば、規格は問わずに本発明を適用することが可能である。
【符号の説明】
【００６９】
３００    立体画像生成装置
３０２    画像処理部
【図１】
2013247441.tif 000003
【図２】
2013247441.tif 000004
【図３】
2013247441.tif 000005
【図４】
2013247441.tif 000006
【図５】
2013247441.tif 000007
【図６】
2013247441.tif 000008
【図７】
2013247441.tif 000009
【図８】
2013247441.tif 000010
【図９】
2013247441.tif 000011
【図１０】
2013247441.tif 000012
【図１１】
2013247441.tif 000013
【図１２】
2013247441.tif 000014
【図１３】
2013247441.tif 000015
【図１４】
2013247441.tif 000016
【図１５】
2013247441.tif 000017
【図１６】
2013247441.tif 000018
【図１７】
2013247441.tif 000019
【図１８】
2013247441.tif 000020
【図１９】
2013247441.tif 000021