(57)【要約】【課題】簡単な処理により、鮮明、かつ立体的な視覚効果を図る。【解決手段】立体画像処理部１２０において、判定部１３０は、左目画像ＰＬと右目画像ＰＲに対して、該画像における被写体の水平方向の位置と、該画像の水平方向の中心位置との差が、所定の閾値以下であるか否かを判定する。判定部１３０により該所定の閾値を越えたと判定されたときに、第１の補正部１４０は、左目画像ＰＬと右目画像ＰＲに対して、全ての画素を水平方向にシフトする処理を行って第１の左目補正画像と第１の右目補正画像を夫々得る。シフトに際しては、第１の左目補正画像と第１の右目補正画像の水平方向の中心位置を重ねた場合に、第１の左目補正画像における被写体と第１の右目補正画像における被写体が上記中心位置を挟んで該中心位置の近傍に夫々位置するようにする。【選択図】図１
2014093636.tif 000002
【特許請求の範囲】
【請求項１】
所定の輻輳角を有する２つのレンズにより被写体を撮像して水平方向の画素数がＭである左目用の左目画像と右目用の右目画像を得る撮像部と、
前記左目画像と前記右目画像に対して、該画像における前記被写体の水平方向の位置と、該画像の水平方向の中心位置との差が、所定の閾値以下であるか否かの判定を行う判定部と、
前記判定部により前記閾値を越えたと判定されたときに、前記左目画像と前記右目画像に対して、全ての画素を水平方向にシフトして、水平方向の画素数がＭである第１の左目補正画像と第１の右目補正画像を夫々得る第１の補正部とを備え、
前記第１の補正部は、前記第１の左目補正画像と前記第１の右目補正画像の水平方向の中心位置を重ねた場合に、前記第１の左目補正画像における前記被写体と前記第１の右目補正画像における前記被写体が前記中心位置を挟んで該中心位置の近傍に夫々位置するように、前記左目画像と前記右目画像をシフトする、
立体撮像装置。
【請求項２】
前記第１の左目補正画像と前記第２の右目補正画像に対して補正を行う第２の補正部をさらに備え、
前記第２の補正部は、
前記第１の左目補正画像と前記第１の右補正画像に対して、被写体と背景の分離を行って、水平方向の画素数がＭである、第１の左目被写体画像と第１の左目背景画像、及び第１の右目被写体画像と第１の右目背景画像を得る分離部と、
前記第１の左目背景画像と前記第１の右目背景画像から１つの背景画像を生成する背景画像生成部であって、該背景画像は、中心部が、前記第１の左目背景画像と前記第１の右目背景画像の共通する部分であり、中心部より左の部分が、前記第１の右目背景画像における前記共通する部分より左の部分であり、中心部より右の部分が、前記第１の左目背景画像における前記共通する部分より右の部分である前記背景画像生成部と、
前記背景画像の水平方向の中心位置の右近傍の位置を水平方向の中心とし、水平方向の画素数がＭである部分をトリミングして第２の左目背景画像を得ると共に、前記背景画像の水平方向の中心位置の左近傍の位置を水平方向の中心とし、水平方向の画素数がＭである部分をトリミングして第２の右目背景画像を得るトリミング部と、
前記第２の左目背景画像と前記第１の左目被写体画像を合成して第２の左目補正画像を得ると共に、前記第２の右目背景画像と前記第１の右目被写体画像を合成して第２の右目補正画像を得る合成部とを有する、
請求項２に記載の立体撮像装置。
【請求項３】
前記判定部は、前記撮像部により前記左目画像と前記右目画像を取得する際における、前記被写体から前記２つのレンズまでの距離に基づいて、前記判定を行う、
請求項１または２に記載の立体撮像装置。
【請求項４】
水平方向の画素数がＭであり、立体表示のための左目用の左目画像と右目用の右目画像に対して、該画像における前記被写体の水平方向の位置と、該画像の水平方向の中心位置との差が、所定の閾値以内であるか否かの判定を行う判定部と、
前記判定部により前記閾値を越えたと判定されたときに、前記左目画像と前記右目画像に対して、全ての画素を水平方向にシフトして、水平方向の画素数がＭである第１の左目補正画像と第１の右目補正画像を夫々得る第１の補正部とを備え、
前記第１の補正部は、前記第１の左目補正画像と前記第１の右目補正画像の水平方向の中心位置を重ねた場合に、前記第１の左目補正画像における前記被写体と前記第１の右目補正画像における前記被写体が前記中心位置を挟んで該中心位置の近傍に夫々位置するように、前記左目画像と前記右目画像をシフトする、
立体画像処理装置。
【請求項５】
前記第１の左目補正画像と前記第２の右目補正画像に対して補正を行う第２の補正部をさらに備え、
前記第２の補正部は、
前記第１の左目補正画像と前記第１の右補正画像に対して、被写体と背景の分離を行って、水平方向の画素数がＭである、第１の左目被写体画像と第１の左目背景画像、及び第１の右目被写体画像と第１の右目背景画像を得る分離部と、
前記第１の左目背景画像と前記第１の右目背景画像から１つの背景画像を生成する背景画像生成部であって、該背景画像は、中心部が、前記第１の左目背景画像と前記第１の右目背景画像の共通する部分であり、前記中心部より左側の部分が、前記第１の右目背景画像における前記共通する部分より左側の部分であり、前記中心部より右側の部分が、前記第１の左目背景画像における前記共通する部分より右の部分である前記背景画像生成部と、
前記背景画像の水平方向の中心位置の右近傍の位置を水平方向の中心とし、水平方向の画素数がＭである部分をトリミングして第２の左目背景画像を得ると共に、前記背景画像の水平方向の中心位置の左近傍の位置を水平方向の中心とし、水平方向の画素数がＭである部分をトリミングして第２の右目背景画像を得るトリミング部と、
前記第２の左目背景画像と前記第１の左目被写体画像を合成して第２の左目補正画像を得ると共に、前記第２の右目背景画像と前記第１の右目被写体画像を合成して第２の右目補正画像を得る合成部とを有する、
請求項４に記載の立体画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像技術に関する。
【背景技術】
【０００２】
被写体を飛び出して見せる、または、引っ込ませて見せる、所謂立体的な視覚効果を得る撮像・表示システムが知られている。例えば、左目と右目を夫々視点とする２つのカメラで被写体を撮像し、左カメラにより得た２次元の画像（以下「左目画像」という）と右目により得た２次元の画像（以下「右目画像」という）を夫々左目用と右目用に表示することにより実現するなど、様々な技術が提案されている（特許文献１〜６）。
【０００３】
例えば、特許文献４には、左目画像と右目画像を如何なるサイズで表示しても、観察者の眼精疲労を回避する技術が開示されている。この技術は、被写体を撮像した際の輻輳角などの撮像条件情報と、左目画像と右画像の表示サイズから、該２つの画像の最大視差量を算出し、算出した最大視差量が所定の最大視差量（例えば人間の両目の間隔）以下になるように、左目画像と右画像の輻輳角を変更させた画像を生成する。
【０００４】
また、特許文献５には、ズーム機能により左目画像と右画像を夫々拡大して２つの拡大画像を得た後、所望の輻輳角になるように、該２つの拡大画像をトリミングして、新たな左目画像と右目画像を生成する技術が開示されている。
【０００５】
また、特許文献６には、原画像となる左目画像と右目画像のうちの一部分を新しい画像として抽出する際に、新しい画像として抽出される画像の中心位置を原画像に対して水平方向に変化させる技術が開示されている。この技術も、特許文献４と特許文献５の技術と同様に、輻輳角を疑似的に変更している。
【０００６】
左カメラと右カメラのレンズが所定の輻輳角を成すシステムにおいて、鮮明、かつ立体的な視覚効果を得ることができるかは、左カメラと右カメラに備えられたレンズから被写体までの距離に依存する。図２３を参照して説明する。
【０００７】
この種のシステムにおいて、一般的に、左カメラのレンズ（以下「左レンズ」という）１０と右カメラのレンズ（以下「右レンズ」という）２０は、それぞれの中心間の距離が人間の両目間隔（例えば６５ｍｍ前後）とほぼ等しい間隔で設置される。
【０００８】
被写体Ａとしてのリンゴは、光軸ＯＡＬと光軸ＯＡＲの交点であり、立体的な視覚効果を得られる輻輳点Ｐに位置する。ここで、被写体Ａと左レンズ１０を結ぶ直線が光軸ＯＡＬであり、被写体Ａと右レンズ２０を結ぶ直線が光軸ＯＡＲであり、該２つの直線が成す角度が輻輳角α０である。また、左レンズ１０と右レンズ２０の中心を結ぶ直線、換言すると、基準線から被写体Ａまでの距離は、輻輳距離Ｌ０である。
【０００９】
被写体Ｂは、立体的な視覚効果を保ったまま、基準線から垂直方向に遠ざかるように被写体Ａを移動したものである。被写体Ｂと左レンズ１０を結ぶ直線と、被写体Ｂと右レンズ２０を結ぶ直線との成す角度がα１である、なお、角度α１は、輻輳角α０から１°を減算して得た値である。また、基準線から写体Ｂまでの距離が、Ｌ１であるとする。
【００１０】
被写体Ｃは、立体的な視覚効果を保ったまま、基準線に対し、垂直方向に近付くように被写体Ａを移動したものである。被写体Ｃと左レンズ１０を結ぶ直線と、被写体Ｃと右レンズ２０を結ぶ直線との成す角度がα２である、なお、角度α２は、輻輳角α０に１°を加算して得た値である。また、基準線から被写体Ｃまでの距離が、Ｌ２であるとする。
【００１１】
このようなシステムにおいて、被写体と左レンズを結ぶ直線と、被写体と右レンズを結ぶ直線との成す角度が概ね、輻輳角α０を除いた、「輻輳角α０＋１°」以下、「輻輳角α０−１°」以上の範囲内である場合には、被写体を撮像して得た左目画像と右画像により、鮮明、かつ、立体的な視覚効果を得ることができることが知られている。すなわち、被写体から２つのレンズまでの距離が、Ｌ２以上、Ｌ１以下の範囲にある場合には、鮮明、かつ立体的な視覚効果を得ることができる。
【００１２】
以下、基準線から被写体までの距離について、Ｌ２以上、Ｌ１以下の範囲を「立体視範囲Ｗ」という。また、立体視範囲Ｗの上限と下限を規定するＬ１とＬ２を夫々「上限距離」と「下限距離」という。
【００１３】
また、被写体と基準線間の距離が上限距離Ｌ１よりも長いことを「遠過ぎる」といい、被写体と基準線間の距離が下限距離Ｌ２よりも短いことを「近過ぎる」という。
【００１４】
遠過ぎる場合と近過ぎる場合においても良好な立体的な視覚効果を得るためには、輻輳角α０を調整することが考えられる。例えば、遠過ぎる場合においては、左レンズと右レンズの光軸の傾きを調整し、輻輳角α０を小さくすればよい。また、近過ぎる場合には、左レンズと右レンズの光軸の傾きを調整し、輻輳角α０を大きくすればよい。
【００１５】
しかし、レンズの光軸の傾きを調整可能にするためには、機械的な制御が必要であり、そのための機構も大きくなってしまうことから、特に携帯端末など、小型化が厳しく要求される装置には搭載できないという問題がある。
【００１６】
遠過ぎる場合、または近過ぎる場合に撮像して得た左目画像と右目画像に対して画像処理を施すことにより、立体的な視覚効果を図るためには、例えば特許文献４〜６に開示された技術を適用することが考えられる。つまり、左目画像と右目画像に対して、被写体が立体的に見えるように、左画像と右画像に対して、疑似的に輻輳角を変更する処理を行うという技術である。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００９−２１０８４０号公報
【特許文献２】特開２０１１−２５００５９号公報
【特許文献３】特開２０１２−１５６１０号公報
【特許文献４】特開２０１２−８５１０２号公報
【特許文献５】特開平７−９５６２３号公報
【特許文献６】特開平５−２８８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかし、特許文献４に開示された技術は、座標変換演算により疑似的に輻輳を変更するため、計算量が膨大である。そのため、撮像してから表示できるようになるまでに時間がかかるという問題がある。さらに、膨大な量の計算を行うために、装置規模の増大を招く恐れもある。
【００１９】
また、特許文献５に開示された技術は、原画像を拡大するズーム機能を必要とするため、ズーム機能を備えない撮像装置には適用できない。
【００２０】
特許文献６に開示された技術は、原画像の一部となる新しい画像の中心位置を原画像に対して水平方向に変化させる際に、座標変換演算により変化量を算出する必要があり、特許文献４に開示された技術と同様の問題がある。
【００２１】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２２】
一実施の形態による立体画像処理装置は、立体表示のための左目用の左目画像と右目用の右目画像に対して、立体視可能な範囲を超えたか否かを判定し、立体視可能な範囲を超えたと判定したときに補正を行う。
【００２３】
立体視範囲を超えたか否かの判定は、例えば、左目用の左目画像と右目用の右目画像において、被写体の位置が、該画像の水平方向の中心位置との差が所定の閾値以下であるか否かに基づいて行われる。
【００２４】
立体視できないと判定されたときの補正は、左目画像と右目画像に対して、全ての画素を水平方向にシフトする処理である。具体的には、シフト後の左目画像と右目画像の水平方向の中心位置を重ねた場合に、シフト後の左目画像と右目画像における被写体が上記中心位置を挟んで該中心位置の近傍に夫々位置するようにシフトする。
【００２５】
なお、上記実施の形態の立体画像処理装置を方法やシステムに置き換えて表現したもの、該装置の処理をコンピュータに実行せしめるプログラム、該装置を備えた立体撮像装置なども、実施の形態として有効である。
【発明の効果】
【００２６】
前記一実施の形態の立体画像処理装置によれば、簡単な処理により、鮮明、かつ立体的な視覚効果を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施の形態にかかる立体撮像装置を示す図である。
【図２】図１に示す立体撮像装置の技術的原理を説明するための図である（その１）。
【図３】図１に示す立体撮像装置の技術的原理を説明するための図である（その２）。
【図４】図１に示す立体撮像装置の技術的原理を説明するための図である（その３）。
【図５】図１に示す立体撮像装置における第１の補正部による処理を説明するための図である（その１）。
【図６】図１に示す立体撮像装置における第１の補正部による処理を説明するための図である（その２）。
【図７】第２の実施の形態にかかる立体撮像装置を示す図である。
【図８】図７に示す立体撮像装置における第２の補正部を示す図である。
【図９】背景が含まれる撮像領域の例を示す図である。
【図１０】図７に示す立体撮像装置における第１の補正部が得た第１の左目補正画像と第１の右目補正画像の例を示す図である（その１）。
【図１１】図８に示す第２の補正部における分離部の処理を説明するための図である（その１）。
【図１２】図８に示す第２の補正部における背景画像生成部の処理を説明するための図である（その１）。
【図１３】図８に示す第２の補正部におけるトリミング部の処理を説明するための図である（その１）。
【図１４】図８に示す第２の補正部における合成部の処理を説明するための図である（その１）。
【図１５】図７に示す立体撮像装置における第１の補正部が得た第１の左目補正画像と第１の右目補正画像の例を示す図である（その２）。
【図１６】図８に示す第２の補正部における分離部の処理を説明するための図である（その２）。
【図１７】図８に示す第２の補正部における背景画像生成部の処理を説明するための図である（その２）。
【図１８】図８に示す第２の補正部におけるトリミング部の処理を説明するための図である（その２）。
【図１９】図８に示す第２の補正部における合成部の処理を説明するための図である（その２）。
【図２０】第３の実施の形態にかかる立体画像表示装置を示す図である。
【図２１】図２１に示す立体画像表示装置の原理を説明するための図である。
【図２２】図２１に示す立体画像表示装置における判定部に対して設定された閾値を説明するための図である。
【図２３】被写体から基準線までの距離と立体視効果の関係を説明するための図である。
【発明を実施するための形態】
【００２８】
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００２９】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３０】
＜第１の実施の形態＞
図１は、第１の実施の形態にかかる立体撮像装置１００を示す。立体撮像装置１００は、図示しない２つのカメラにより被写体を撮像し、立体表示のための左目用の左目画像ＰＬと右目用の右目画像ＰＲを得る撮像部１１０と、左目画像ＰＬと右目画像ＰＲから立体画像Ｐ１を生成する立体画像処理部１２０とを備える。立体画像Ｐ１は、左目用の左目出力画像ＰＬ１と、右目用の右目出力画像ＰＲ１を含む。また、図示しない２つのカメラの夫々に備えられるレンズが成す輻輳角は、固定である。なお、該２つのレンズの中心間の距離は、この種の撮像装置と同様に、人間の両目間隔と略同一である。
【００３１】
立体撮像装置１００の各機能ブロックを具体的に説明する前に、まず、図２〜図４を参照して、立体撮像装置１００の技術的原理を説明する。
【００３２】
図２において、ＡＬとＡＲは、それぞれ、図２３に示す被写体Ａの撮影時に得た左目画像ＰＬと右目画像ＰＲにおける被写体Ａの画像を示す。図示のように、この場合、左目画像ＰＬにおける被写体Ａ（左目被写体ＡＬ）の水平方向の位置は、該左目画像ＰＬの水平方向の中心位置であり、右目画像ＰＲにおける被写体Ａ（右目被写体ＡＲ）の水平方向の位置は、該右目画像ＰＲの水平方向の中心位置である。
【００３３】
図３において、ＢＬとＢＲは、それぞれ、図２３に示す被写体Ｂの場合に得た左目画像ＰＬと右目画像ＰＲにおける被写体Ｂの画像を示す。図示のように、この場合、左目画像ＰＬにおける被写体Ｂ（左目被写体ＢＬ）の水平方向の位置は、該左目画像ＰＬの水平方向の中心位置より左にあり、該中心位置からＴ１離れている。また、右目画像ＰＲにおける被写体Ｂ（右目被写体ＢＲ）の水平方向の位置は、該右目画像ＰＲの水平方向の中心位置より右にあり、該中心位置からＴ１離れている。
【００３４】
この場合、立体カメラのビューア等で左目画像ＰＬと右目画像ＰＲを同時に表示すると、被写体Ｂは、奥に引っ込んで見える。
【００３５】
図４において、ＣＬとＣＲは、それぞれ、図２３に示す被写体Ｃの場合に得た左目画像ＰＬと右目画像ＰＲにおける被写体Ｃの画像を示す。図示のように、この場合、左目画像ＰＬにおける被写体Ｃ（左目被写体ＣＬ）の水平方向の位置は、該左目画像ＰＬの水平方向の中心位置より右にあり、該中心位置からＴ１離れている。また、右目画像ＰＲにおける被写体Ｃ（右目被写体ＣＲ）の水平方向の位置は、該右目画像ＰＲの水平方向の中心位置より左にあり、該中心位置からＴ１離れている。
【００３６】
この場合、立体カメラのビューア等で左目画像ＰＬと右目画像ＰＲを同時に表示すると、被写体Ｃは、手前に飛び出して見える。
【００３７】
なお、被写体Ａと被写体Ｂの間の位置にある被写体の場合、その左目画像ＰＬにおける該被写体（左目被写体）は、左目被写体ＡＬと左目被写体ＢＬの間にある。また、その右目画像ＰＲにおける該被写体（右目被写体）は、右目被写体ＡＲと右目被写体ＢＲの間になる。この場合、立体カメラのビューア等で左目画像と右目画像を同時に表示すると、該被写体は、奥に引っ込んで見える。
【００３８】
被写体Ａと被写体Ｃの間の位置にある被写体の場合、左目被写体は、左目被写体ＡＬと左目被写体ＣＬの間にある。また、右目被写体は、右目被写体ＡＲと右目被写体ＣＲの間になる。この場合、立体カメラのビューア等で左目画像と右目画像を同時に表示すると、該被写体は、手前に飛び出して見える。
【００３９】
被写体Ｂの位置よりも、基準線から遠い位置にある被写体の場合、つまり遠過ぎる被写体の場合、左目画像ＰＬにおけるその位置は、左目被写体ＢＬよりも左になる。同様に、右目画像ＰＲにおけるその位置も、右目被写体ＢＲよりも右になる。この場合、左目画像と右目画像を同時に表示しても、立体視効果を得ることができない。
【００４０】
被写体Ｃの位置よりも、基準線に近い位置にある被写体の場合、つまり近過ぎる被写体の場合、左目画像ＰＬにおけるその位置は、左目被写体ＣＬよりも右になり、右目画像ＰＲにおけるその位置は、右目被写体ＣＲよりも左になる。この場合も、左目画像と右目画像を同時に表示しても、立体視効果を得ることができない。
【００４１】
つまり、左目画像における被写体が、該画像の水平方向の中心位置より左にあり、該中心位置からＴ１よりも遠く離れ、右目画像における被写体が、該画像の水平方向の中心位置より右にあり、該中心位置からＴ１よりも遠く離れた場合、すなわち、撮像時に被写体が遠過ぎる場合に、該２つの画像からは立体視効果を得ることができない。
【００４２】
同様に、左目画像における被写体が、該画像の水平方向の中心位置より右にあり、該中心位置からＴ１よりも遠く離れ、右目画像における被写体が、該画像の水平方向の中心位置より左にあり、該中心位置からＴ１よりも遠く離れた場合、すなわち、撮像時に被写体が近過ぎる場合にも、該２つの画像からは立体視効果を得ることができない。
【００４３】
勿論、Ｔ１は、表示サイズによって異なり、表示サイズが大きいほど大きくなるように変化する。
【００４４】
図１に戻って説明する。立体撮像装置１００は、上記知見に基づいたものであり、その立体画像処理部１２０は、判定部１３０と第１の補正部１４０を備える。
【００４５】
判定部１３０は、入力された左目画像ＰＬと右目画像ＰＲに対して、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが所定の閾値以下であるか否かを判定し、判定結果Ｘを第１の補正部１４０に出力する。
【００４６】
上記所定の閾値は、図３と図４におけるＴ１に該当する。以下、Ｔ１を閾値という。
【００４７】
図２３から分かるように、輻輳角α０が決まれば、立体視範囲Ｗを規定する上限距離Ｌ１と下限距離Ｌ２も決まる。左目画像ＰＬと右目画像ＰＲの拡大と縮小を行わない場合において、閾値Ｔ１は、輻輳角α０に応じて決まる。立体撮像装置１００は、輻輳角α０が固定であるため、立体画像処理部１２０に対して、Ｔ１の代わりに、被写体から基準線までの距離について、上限距離Ｌ１と下限距離Ｌ２を予め設定するようにしてもよい。この場合、判定部１３０は、被写体から基準線までの距離が上限距離Ｌ１より大きいときと、被写体から基準線までの距離が下限距離Ｌ２より小さいときに、左目画像ＰＬと右目画像ＰＲにおいて、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが閾値Ｔ１を超えたと判断すればよい。
【００４８】
なお、被写体から基準線までの距離の判定方法は、例えば、左目画像ＰＬよ右目画像ＰＲ間で被写体の相対応する画素である対応点を探索し、左目画像ＰＬと右目画像ＰＲ間の対応点同志の位置差に三角測定の原理を適用するステレオマッチングや、光の反射を利用して被写体までの距離を測定するＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式の測定手法など、従来知られている技術を用いればよい。
【００４９】
第１の補正部１４０は、判定部１３０からの判定結果Ｘが、左目画像ＰＬと右目画像ＰＲにおいて、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが閾値Ｔ１以下であることを示す場合、左目画像ＰＬと右目画像ＰＲをそのまま立体画像Ｐ１として出力する。すなわち、立体画像Ｐ１に含まれる左目出力画像ＰＬ１と右目出力画像ＰＲ１は、入力された左目画像ＰＬと右目画像ＰＲである。
【００５０】
一方、判定結果Ｘが、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが閾値Ｔ１を超えたことを示す場合、第１の補正部１４０は、左目画像ＰＬと右目画像ＰＲを補正し、補正により得た第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０を出力する。すなわち、第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０は、立体画像Ｐ１を構成する左目出力画像ＰＬ１と右目出力画像ＰＲ１となる。
【００５１】
第１の補正部１４０は、左目画像ＰＬと右目画像ＰＲに対して、全ての画素を水平方向にシフトすることにより補正する。具体的には、シフト後に、第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０の水平方向の中心位置を重ねた場合に、第１の左目補正画像ＰＬ０における被写体と、第１の右目補正画像ＰＲ０における被写体が、上記中心位置を挟んで該中心位置の近傍に夫々位置するようにシフトする。
【００５２】
図５と図６を参照して、第１の補正部１４０による補正動作をより具体的に説明する。
図５は、被写体と基準線間の距離が上限距離Ｌ１よりも大きい場合、すなわち被写体が遠過ぎる場合における第１の補正部１４０の動作を示す図である。
【００５３】
図５に示すように、この場合、左目画像ＰＬにおいて、被写体は、左目画像ＰＬの中心位置より左にあり、該中心位置からの距離Ｑ１が、閾値Ｔ１よりも大きい。また、右目画像ＰＲにおいて、被写体は、右目画像ＰＲの中心位置より右にあり、該中心位置からの距離Ｑ１が、閾値Ｔ１よりも大きい。
【００５４】
第１の補正部１４０は、左目画像ＰＬに対して、全ての画素を右にシフトして第１の左目補正画像ＰＬ０を得る。図示のように、第１の左目補正画像ＰＬ０において、被写体は、第１の左目補正画像ＰＬ０の水平方向の中心位置の左近傍に位置する。
【００５５】
また、第１の補正部１４０は、右目画像ＰＲに対して、全ての画素を左にシフトして第１の右目補正画像ＰＲ０を得る。図示のように、第１の右目補正画像ＰＲ０において、被写体は、第１の右目補正画像ＰＲ０の水平方向の中心位置の右近傍に位置する。
【００５６】
第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０において、該画像の水平方向の中心位置と被写体間の距離（図中Ｑ０）は、第１の補正部１４０に対して予め設定されている。該距離Ｑ０は、経験から知り得る値であり、立体視効果を得ることができる最小値程度とすることができる。本願発明者が種々のテストを行った結果、表示サイズが極端に大きく、または、極端に小さくならない限り、Ｑ０が１ｍｍ程度で十分であることを知見している。
【００５７】
このようにして、第１の補正部１４０の補正により得られた第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０を含む立体画像Ｐ１は、鮮明となり、かつ、立体的な視覚効果を与えることができる。
【００５８】
なお、シフトにより画像に空白領域（図５において斜線で示す部分）が生じてしまう。これについて、第１の補正部１４０は、空白領域を所定のパターンで補填する。空白パターンとしては、白や、黒などの単色パターンであってもよいし、予め設定された図形パターンを用いてもよい。さらに、複数の図面パターンを用意しておき、ユーザに選択可能にしてもよい。なお、白の単色パターンで補填することは、画素値をゼロのままにしておくということであり、何も補填しないことと等価である。
【００５９】
図６は、被写体と基準線間の距離が下限距離Ｌ２よりも小さい場合、すなわち被写体が近過ぎる場合における第１の補正部１４０の動作を示す図である。
【００６０】
図６に示すように、この場合、左目画像ＰＬにおいて、被写体は、左目画像ＰＬの中心位置より右にあり、該中心位置からの距離Ｑ２が、閾値Ｔ１よりも大きい。また、右目画像ＰＲにおいて、被写体は、左目画像ＰＬの中心位置より左にあり、該中心位置からの距離Ｑ２が、閾値Ｔ１よりも大きい。
【００６１】
第１の補正部１４０は、左目画像ＰＬに対して、全ての画素を左にシフトして第１の左目補正画像ＰＬ０を得る。図示のように、第１の左目補正画像ＰＬ０において、被写体は、第１の左目補正画像ＰＬ０の水平方向の中心位置より右近傍に位置する。
【００６２】
また、第１の補正部１４０は、右目画像ＰＲに対して、全ての画素を右にシフトして第１の右目補正画像ＰＲ０を得る。図示のように、第１の右目補正画像ＰＲ０において、被写体は、第１の右目補正画像ＰＲ０の水平方向の中心位置の左近傍に位置する。
【００６３】
シフトにより生じた空白領域の補填については、前述した通りであり、ここで説明を省略する。
【００６４】
すなわち、撮像時に被写体が近過ぎる場合においても、第１の補正部１４０の補正により、鮮明、かつ、立体的な視覚効果を得ることができる。
【００６５】
なお、本実施の形態の立体撮像装置１００において、第１の補正部１４０は、左目画像ＰＬと右目画像ＰＲを補正する際に、シフト前後において、被写体と、該被写体が含まれる画像の水平方向の中心位置との左右関係が変わらないようにシフトしている。例えば、左目画像ＰＬにおいて被写体が左目画像ＰＬの中心位置の左側に位置し、右目画像ＰＲにおいて被写体が右目画像ＰＲの中心位置の右側に位置している場合、シフトにより得られた第１の左目補正画像ＰＬ０において被写体が第１の左目補正画像ＰＬ０の中心位置の左側に位置し、左目出力画像ＰＬ１において被写体が第１の右目補正画像ＰＲ０の中心位置の右側に位置する。そのため、第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０における被写体の位置は、左目画像ＰＬと右目画像ＰＲを撮像した際に遠過ぎたか近過ぎたかによって異なる。
【００６６】
シフト後の２つの画像（第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０）の水平方向の中心位置を重ねたとき、該２つの画像における被写体が、上記中心位置を挟んで該中心位置の近傍に位置してさえいればよく、上述したシフトの手法に限らない。
【００６７】
例えば、近過ぎる場合、第１の左目補正画像ＰＬ０における被写体が、該画像の水平方向の中心位置の左近傍に位置し、第１の右目補正画像ＰＲ０における被写体が、該画像の水平方向の中心位置の右近傍に位置するようにシフトしてもよい。
【００６８】
また、遠過ぎる場合、第１の左目補正画像ＰＬ０における被写体が、該画像の水平方向の中心位置の右近傍に位置し、第１の右目補正画像ＰＲ０における被写体が、該画像の水平方向の中心位置の左近傍に位置するようにシフトしてもよい。
【００６９】
＜第２の実施の形態＞
図７は、第２の実施の形態にかかる立体撮像装置２００を示す。立体撮像装置２００は、立体画像処理部２２０が、立体撮像装置１００における立体画像処理部１２０と異なる点を除き、立体撮像装置１００と同様である。
【００７０】
立体画像処理部２２０は、立体撮像装置１００にも備えられる判定部１３０と第１の補正部１４０に加え、第２の補正部２５０をさらに備える。第１の補正部１４０には、判定部１３０による判定結果Ｘ、左目画像ＰＬ、右目画像ＰＲが入力される。第１の補正部１４０は、判定結果Ｘに応じて、左目画像ＰＬと右目画像ＰＲをそのまま左目出力画像ＰＬ１と右目出力画像ＰＲ１を出力するか、または、左目画像ＰＬと右目画像ＰＲを補正して、第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０を得て左目出力画像ＰＬ１と右目出力画像ＰＲ１を出力し、それらの画像は、第２の補正部２５０に入力される。判定部１３０による判定結果Ｘも、第２の補正部２５０に入力される。なお、左目画像ＰＬと右目画像ＰＲは、水平方向の画素数が共にＭであるとする。
【００７１】
第２の補正部２５０は、判定部１３０からの判定結果Ｘと、第１の補正部１４０からの左目出力画像ＰＬ１と右目出力画像ＰＲ１から、立体画像Ｐ２を生成して出力する。
【００７２】
立体撮像装置１００について説明したように、第１の補正部１４０により得られた立体画像Ｐ１は、被写体について、鮮明、かつ、立体的な視覚効果を与えることができるものである。
【００７３】
左目画像ＰＬと右目画像ＰＲに、被写体のみならず、背景も含まれている場合において、第１の補正部１４０により左目画像ＰＬを右目画像ＰＲを補正しても、背景部分が立体的に見えない可能性がある。
【００７４】
立体画像処理部２２０における第２の補正部２５０は、背景部分も立体的に見えるように、第１の補正部１４０からの立体画像Ｐ１に対して補正を行うものである。
【００７５】
図８に示すように、第２の補正部２５０は、制御部２５１、分離部２５２、メモリ２５３、背景画像生成部２５４、トリミング部２５５、合成部２５６を備える。
【００７６】
制御部２５１は、判定部１３０からの判定結果Ｘと、第１の補正部１４０からの左目出力画像ＰＬ１と右目出力画像ＰＲ１が入力される。前述したように、左目出力画像ＰＬ１と右目出力画像ＰＲ１は、水平方向の画素数がＭである。
【００７７】
判定結果Ｘが、左目画像ＰＬと右目画像ＰＲにおいて、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが閾値Ｔ１以下であることを示すときに、制御部２５１は、左目出力画像ＰＬ１と右目出力画像ＰＲ１をそのまま立体画像Ｐ２として出力する。なお、この場合、第１の補正部１４０は、左目画像ＰＬと右目画像ＰＲをそのまま左目出力画像ＰＬ１と右目出力画像ＰＲ１として出力するため、立体画像Ｐ２は、左目画像ＰＬと右目画像ＰＲにより構成される。
【００７８】
一方、判定結果Ｘが、被写体の水平方向の位置と、該画像の水平方向の中心位置の差とが閾値Ｔ１を超えたことを示すときに、制御部２５１は、左目出力画像ＰＬ１と右目出力画像ＰＲ１を分離部２５２に出力する。なお、この場合の左目出力画像ＰＬ１と右目出力画像ＰＲ１は、第１の補正部１４０が左目画像ＰＬと右目画像ＰＲを補正して得た第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０に変換される。前述したように、第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０は、水平方向の画素数が、Ｍである。
【００７９】
分離部２５２は、制御部２５１からの第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０に対して、被写体と背景の分離を行って、４つの画像を得る。これらの４つの画像は、第１の左目被写体画像ＰＯＬ１、第１の右目被写体画像ＰＯＲ１、第１の左目背景画像ＰＢＬ１、第１の右目背景画像ＰＢＲ１であり、水平方向の画素数が共にＭである。
【００８０】
分離部２５２から出力された第１の左目被写体画像ＰＯＬ１と第１の右目被写体画像ＰＯＲ１はメモリ２５３に入力され、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１は背景画像生成部２５４に入力される。
【００８１】
背景画像生成部２５４は、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１から２次元の画像（背景画像ＰＢ）を生成してトリミング部２５５に出力する。
【００８２】
背景画像ＰＢは、中心部が、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１の共通する部分であり、ＰＢの中心部より左側に存在する部分が、第１の右目背景画像ＰＢＲ１における、上記共通する部分の左側に位置する部分とほぼ一致し、なおかつ、ＰＢの中心部より右側に存在する部分が、第１の左目背景画像ＰＢＬ１における、共通する部分の右側に一致する部分とほぼ一致する。
【００８３】
なお、背景画像生成部２５４は、背景画像ＰＢを生成する際に、第１の補正部１４０が空白領域を補填したパターン部分を削除する。
【００８４】
トリミング部２５５は、背景画像生成部２５４からの背景画像ＰＢに対して２回のトリミングを行うことにより、２つの背景画像（第２の左目背景画像ＰＢＬ２、第２の右目背景画像ＰＢＲ２）を生成して合成部２５６に入力される。
【００８５】
第２の左目背景画像ＰＢＬ２は、背景画像ＰＢにおける、背景画像ＰＢの水平方向の中心位置の右近傍の位置を水平方向の中心とする、水平方向の画素数がＭである部分である。
【００８６】
第２の右目背景画像ＰＢＲ２は、背景画像ＰＢにおける、背景画像ＰＢの水平方向の中心位置の左近傍の位置を水平方向の中心とする、水平方向の画素数がＭである部分である。
【００８７】
合成部２５６は、トリミング部２５５からの第２の左目背景画像ＰＢＬ２と、メモリ２５３に記憶されている第１の左目被写体画像ＰＯＬ１とを合成して、水平方向の画素数がＭである第２の左目補正画像ＰＬ２を生成する。また、合成部２５６は、トリミング部２５５からの第２の右目背景画像ＰＢＲ２と、メモリ２５３に記憶されている第１の右目被写体画像ＰＯＲ１とを合成して、水平方向の画素数がＭである第２の右目補正画像ＰＲ２を生成する。
【００８８】
そして、合成部２５６は、立体画像Ｐ２として第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２を出力する。
【００８９】
図９に示す撮像領域の例を用いて、立体撮像装置２００における立体画像処理部２２０の処理をより具体的に説明する。
【００９０】
図９に示すように、該撮像領域には、被写体であるリンゴと、被写体よりもレンズから遠く離れた背景である山が含まれている。
【００９１】
まず、被写体が遠過ぎる場合について説明する。
図１０の上部は、被写体が遠過ぎる場合に図９の撮像領域に対して撮像して得た左目画像ＰＬと右目画像ＰＲを示す。
【００９２】
この場合、立体画像処理部２２０における第１の補正部１４０が左目画像ＰＬと右目画像ＰＲに対して補正を施し、図１０の下部に示す第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０が得られる。第１の補正部１４０による補正の詳細については、省略する。
【００９３】
図１１は、分離部２５２が、図１０の下部に示す第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０に対して、被写体と背景の分離を行って得た第１の左目被写体画像ＰＯＬ１、第１の右目被写体画像ＰＯＲ１、第１の左目背景画像ＰＢＬ１、第１の右目背景画像ＰＢＲ１を示す。
【００９４】
画像における被写体と背景の分離については、従来から知られている種々の技術を適用することができるが、ここでは詳細な説明を省略する。
【００９５】
図１２は、背景画像生成部２５４の処理を説明するための図である。図示のように、背景画像生成部２５４は、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１から、１つの２次元の背景画像ＰＢを生成する。該背景画像ＰＢの水平方向の画素数は、Ｍの２倍から、第１の左目背景画像ＰＢＬ１における、第１の補正部１４０が補填した部分の水平方向の画素数と、第１の右目背景画像ＰＢＲ１における、第１の補正部１４０が補填した部分の水平方向の画素数とを減算した値である。
【００９６】
また、背景画像ＰＢは、中心部が、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１の共通する部分（図中共通部分ＰＲＴ０）であり、該中心部より左の部分が、第１の右目背景画像ＰＢＲ１における上記共通部分ＰＲＴ０より左の部分（図中ＰＲＴ１で示す）であり、中心部より右の部分が、第１の左目背景画像ＰＢＬ１における上記共通部分ＰＲＴ０より右の部分（図中ＰＲＴ２で示す）である。
【００９７】
なお、２枚の画像から共通する部分を検出する手法は、従来から知られている如何なる手法を用いてもよい。例えば、該２枚の画像を少しずつ重ね合わせる度に、重ね合わせた部分全体に対して、同一の位置の画素の差分の総和を求める。そして、上記総和が略ゼロになった際の重ね合わせた部分を共通する部分として検出する。
【００９８】
図１３は、トリミング部２５５の処理を説明するための図である。トリミング部２５５は、背景画像生成部２５４が生成した背景画像ＰＢに対して２回のトリミングを行って、第２の左目背景画像ＰＢＬ２と第２の右目背景画像ＰＢＲ２を夫々得る。
【００９９】
図１３において、ＷＬは、背景画像ＰＢにおける、第２の左目背景画像ＰＢＬ２を得るためのトリミング範囲を示し、ＷＲは、背景画像ＰＢにおける、第２の右目背景画像ＰＢＲ２を得るためのトリミング範囲を示す。
【０１００】
トリミング範囲ＷＬの画像すなわち第２の左目背景画像ＰＢＬ２は、水平方向の画素数がＭであり、水平方向の中心位置ＣＥＬが、背景画像ＰＢの水平方向の中心位置の右近傍である。図示のように、トリミング範囲ＷＬの水平方向の中心位置ＣＥＬと、背景画像ＰＢの水平方向の中心位置との間の距離が、前述したＱ０である。
【０１０１】
また、トリミング範囲ＷＲの画像すなわち第２の右目背景画像ＰＢＲ２は、水平方向の画素数がＭであり、水平方向の中心位置ＣＥＲが、背景画像ＰＢの水平方向の中心位置の左近傍である。図示のように、水平方向の中心位置ＣＥＲと、背景画像ＰＢの水平方向の中心位置との間の距離も、前述したＱ０である。
【０１０２】
そして、合成部２５６は、図１３の左下部に示す第２の左目背景画像ＰＢＬ２と、メモリ２５３に記憶されている、図１１の左上部に示す第１の左目被写体画像ＰＯＬ１とを合成して第２の左目補正画像ＰＬ２を得る。また、合成部２５６は、図１３の右下部に示す第２の右目背景画像ＰＢＲ２と、メモリ２５３に記憶されている、図１１の右上部の示す第１の右目被写体画像ＰＯＲ１とを合成して第２の右目補正画像ＰＲ２を得る。
【０１０３】
合成部２５６により得られた第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２は、図１４に示している。合成部２５６は、このようにして得た第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２を、立体画像Ｐ２として出力する。
【０１０４】
次いで、被写体が近過ぎる場合を説明する。なお、図示しやすいように、撮像領域における被写体のリンゴと、背景の山とは、前述した遠過ぎた場合よりも離れているとする。そのため、この場合に撮像して得た左目画像ＰＬと右目画像ＰＲのいずれにおいても、被写体全体と背景全体が含まれる。
【０１０５】
図１５の上部は、この場合において、撮像部１１０が得た右目画像ＰＲと左目画像ＰＬを示す。
【０１０６】
この場合、立体画像処理部２２０における第１の補正部１４０が左目画像ＰＬと右目画像ＰＲに対して補正を施し、図１５の下部に示す第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０が得られる。
【０１０７】
図１６は、分離部２５２が、図１５の下部に示す第１の左目補正画像ＰＬ０と第１の右目補正画像ＰＲ０に対して、被写体と背景の分離を行って得た第１の左目被写体画像ＰＯＬ１、第１の右目被写体画像ＰＯＲ１、第１の左目背景画像ＰＢＬ１、第１の右目背景画像ＰＢＲ１を示す。
【０１０８】
図１７に示すように、背景画像生成部２５４は、第１の左目背景画像ＰＢＬ１と第１の右目背景画像ＰＢＲ１から、１つの２次元の背景画像ＰＢを生成する。該背景画像ＰＢの水平方向の画素数は、Ｍの２倍から、第１の左目背景画像ＰＢＬ１における、第１の補正部１４０が補填した部分の水平方向の画素数と、第１の右目背景画像ＰＢＲ１における、第１の補正部１４０が補填した部分の水平方向の画素数とを減算した値である。
【０１０９】
また、この場合において、第１の左目背景画像ＰＢＬ１における背景部分の全体と、第１の右目背景画像ＰＢＲ１における背景部分の全体は、共通部分ＰＲＴ０になる。そのため、背景画像ＰＢにおいて、中心部分が、第１の左目背景画像ＰＢＬ１または第１の右目背景画像ＰＢＲ１における背景部分の全体になる。
【０１１０】
図１８に示すように、トリミング部２５５は、背景画像ＰＢに対して、トリミング範囲ＷＬ部分をトリミングして第２の左目背景画像ＰＢＬ２を得ると共に、トリミング範囲ＷＲをトリミングして第２の右目背景画像ＰＢＲ２を得る。
【０１１１】
そして、図１９に示すように、合成部２５６は、図１８の左下部に示す第２の左目背景画像ＰＢＬ２と、メモリ２５３に記憶されている、図１６の左上部に示す第１の左目被写体画像ＰＯＬ１とを合成して、図１９に示す第２の左目補正画像ＰＬ２を得る。また、合成部２５６は、図１８の右下部に示す第２の右目背景画像ＰＢＲ２と、メモリ２５３に記憶されている、図１６の右上部の示す第１の右目被写体画像ＰＯＲ１とを合成して、図１９に示す第２の右目補正画像ＰＲ２を得る。第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２は、立体画像Ｐ２として合成部２５６から出力される。
【０１１２】
このように、本第２の実施の形態にかかる立体撮像装置２００によれば、撮像領域に、被写体のみならず、背景も含まれる場合において、第１の補正部１４０の補正により被写体に立体視効果を与えると共に、第２の補正部２５０により背景にも立体視効果を与えることができる。
【０１１３】
＜第３の実施の形態＞
図２０は、第３の実施の形態にかかる立体画像表示装置３００を示す。立体画像処理装置３００は、入力された左目画像ＰＬと右目画像ＰＲを立体表示するものであり、立体画像処理部３１０と表示実行部３２０を備える。
【０１１４】
立体画像処理部３１０は、左目画像ＰＬと右目画像ＰＲを処理して左目出力画像ＰＬ１と第２の右目補正画像ＰＲ２を得て表示実行部３２０に出力する。
【０１１５】
表示実行部３２０は、例えば立体表示モニタであり、立体画像処理部３１０からの左目出力画像ＰＬ１と右目出力画像ＰＲ１を立体表示する。
【０１１６】
前述した第１と第２の実施の形態は、輻輳角が固定される立体撮像装置において、被写体が遠過ぎる場合と近過ぎる場合においても立体視効果を得るように左目画像と右目画像を補正する技術に関する。
【０１１７】
立体撮像装置により取得撮像する際に、被写体が立体視範囲Ｗ以内に位置する場合であっても、左目画像と右目画像の表示サイズによっては、観察者の眼精疲労を引き起す、または、立体視効果を得ることができない可能性がある。
【０１１８】
例えば、図２１の上部に示すように、撮像して得た左目画像ＰＬと右目画像ＰＲは、拡大縮小もせずにそのまま表示する場合に、被写体と該画像の水平方向の中心位置間の距離Ｑ３が、閾値Ｔ１以下であるため、立体視効果を得ることができる。また、左目画像ＰＬと右目画像ＰＲを取得する際の２つのレンズ間の距離が人間の両目間隔と略一致であるため、左目画像ＰＬと右目画像ＰＲを表示した場合の視差（左目画像ＰＬと右目画像ＰＲにおける被写体の位置差）も、観察者の眼精疲労を引き起こしたり、人間の目が融合できる限界（融合限界）を越えることが無い。
【０１１９】
しかし、左目画像ＰＬと右目画像ＰＲを拡大して表示する場合に、図２１の下部に示すように、上記距離Ｑ３も、Ｑ４に拡大される。そのため、表示された左目画像ＰＬと右目画像ＰＲの視差も、観察者の眼精疲労を招く大きさまでに増大する可能性があり、さらに、融合限界を超えるまでに増大すると、立体視効果を得ることができなくなってしまう。
【０１２０】
本第３の実施の形態は、いかなる表示サイズであっても、簡単な処理で、観察者の眼精疲労を引き起こしたり、人間の目が融合できる限界（融合限界）を越えたりすることを回避できる技術に関する。
【０１２１】
図２０に戻って説明する。
サイズ変換部３１２は、表示実行部３２０による表示サイズＳが入力され、表示サイズＳに応じて、左目画像ＰＬと右目画像ＰＲを拡大／縮小を行う。サイズ変換部３１２は、拡大または縮小により得た画像（拡大／縮小左目画像ＰＬＡと拡大／縮小右目画像ＰＬＢ）を判定部３１４と第１の補正部１４０に出力する。
【０１２２】
判定部３１４は、設定された閾値Ｔ１が立体撮像装置１００と立体撮像装置２００における判定部１３０に対して設定された閾値Ｔ１と異なる点を除き、具体的な処理は、判定部１３０の処理と同様である。
【０１２３】
図２２は、立体画像表示装置３００において、判定部３１４に対して設定された閾値Ｔ１を説明するための図である。図２２において、Ｌ３は、左目画像ＰＬと右目画像ＰＲの水平方向の中心間の距離であり、以下「中心距離」という。Ｌ５は、融合限界である。また、Ｌ４は、観察者の眼精疲労を招くことのない視差の最大値であり、以下「疲労限界」という。Ｔ１Ａは、疲労限界Ｌ４と中心距離Ｌ３の差の１／２であり、Ｔ１Ｂは、融合限界Ｌ５と中心距離Ｌ３の差の１／２である。本実施の形態の立体画像表示装置３００において、判定部３１４に対して、例えば、Ｔ１Ａ以上、Ｔ１Ｂ以下の値が、閾値Ｔ１として設定される。
【０１２４】
または、閾値Ｔ１の値を０以上でＴ１Ａ以下に設定してもよい。なぜなら、この場合は、疲労限界まで達せず立体画像が撮像できるからである。
【０１２５】
第１の補正部１４０は、立体撮像装置１００と立体撮像装置２００における第１の補正部１４０であり、ここでは説明を省略する。
【０１２６】
第１の補正部１４０から出力された左目出力画像ＰＬ１と右目出力画像ＰＲ１は、表示実行部３２０に入力され、表示実行部３２０により立体表示される。
【０１２７】
立体画像表示装置３００によれば、表示実行部３２０がどのような表示サイズで表示を行っても、第１の補正部１４０により補正して得た左目出力画像ＰＬ１と右目出力画像ＰＲ１における被写体の視差が、融合限界以下になるため、立体視効果を得ることができる。また、判定部３１４に対して、前述のように、Ｔ１Ａを閾値Ｔ１として設定すれば、さらに、観察者の眼精疲労を回避することができる。
【０１２８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
【０１２９】
例えば、立体画像表示装置３００は、立体撮像装置１００の技術を適用したものであるが、立体画像表示装置３００に対して、立体撮像装置２００の技術を適用してもよい。すなわち、第１の補正部１４０と表示実行部３２０の間に、立体撮像装置２００における第２の補正部２５０をさらに設けてもよい。これにより、背景についても立体視効果を得ることができる。
【０１３０】
また、立体撮像装置１００と立体撮像装置２００について、左目画像ＰＬと右目画像ＰＲを拡大縮小せずに表示することを前提にして説明した。これらは、立体撮像装置１００が得た左目出力画像ＰＬ１と右目出力画像ＰＲ１、または、立体撮像装置２００が得た第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２をメモリカードなどの記録媒体に記録しておき、他の表示装置に供する用途を想定したものである。
【０１３１】
例えば、立体撮像装置１００と立体撮像装置２００において、撮像者がリアルタイムに確認するための表示装置（ビューア）が設けられている場合に、一般的に、ビューアは、左目画像ＰＬと右目画像ＰＲを縮小して表示する。
【０１３２】
この場合、記録媒体への記録用以外に、さらに、ビューアの表示サイズに応じて、左目画像ＰＬと右目画像ＰＲからビューア用の左目出力画像ＰＬ１と右目出力画像ＰＲ１、または、第２の左目補正画像ＰＬ２と第２の右目補正画像ＰＲ２を別途生成するようにしてもよい。その際、判定部１３０に対して、記録媒体への記録用のときの閾値Ｔ１以外に、さらに、ビューアの表示サイズに応じた閾値Ｔ１を設定すればよい。
【符号の説明】
【０１３３】
１０  左レンズ
２０  右レンズ
１００  立体撮像装置
１１０  撮像部
１２０  立体画像処理部
１３０  判定部
１４０  第１の補正部
２００  立体撮像装置
２２０  立体画像処理部
２５０  第２の補正部
２５１  制御部
２５２  分離部
２５３  メモリ
２５４  背景画像生成部
２５５  トリミング部
２５６  合成部
３００  立体画像表示装置
３１０  立体画像処理部
３１２  サイズ変換部
３１４  判定部
３２０  表示実行部
Ａ、Ｂ、Ｃ  被写体
ＡＬ、ＢＬ、ＣＬ  左目被写体
ＡＲ、ＢＲ、ＣＲ  右目被写体
Ｌ０  輻輳距離
Ｌ１  上限距離
Ｌ２  下限距離
Ｌ３  左目画像と右目画像の水平方向の中心間の距離
Ｌ４  疲労限界
Ｌ５  融合限界
ＯＡＬ、ＯＡＲ  光軸
Ｐ  輻輳点
Ｐ１、Ｐ２  立体画像
ＰＢ  背景画像
ＰＢＬ１  第１の左目背景画像
ＰＢＬ２  第２の左目背景画像
ＰＢＲ１  第１の右目背景画像
ＰＢＲ２  第２の右目背景画像
ＰＬ０  第１の左目補正画像
ＰＬ１  左目出力画像
ＰＬ２  第２の左目補正画像
ＰＬ  左目画像
ＰＬＡ  拡大／縮小左目画像
ＰＬＢ  拡大／縮小右目画像
ＰＲ  右目画像
ＰＯＬ１  第１の左目被写体画像
ＰＯＲ１  第１の右目被写体画像
ＰＲ０  第１の右目補正画像
ＰＲ１  右目出力画像
ＰＲ２  第２の右目補正画像
Ｓ  表示サイズ
Ｔ１  閾値
Ｘ  判定結果
Ｗ  立体視範囲
ＷＬ、ＷＲ  トリミング範囲
α０  輻輳角
【図１】
2014093636.tif 000003
【図２】
2014093636.tif 000004
【図３】
2014093636.tif 000005
【図４】
2014093636.tif 000006
【図５】
2014093636.tif 000007
【図６】
2014093636.tif 000008
【図７】
2014093636.tif 000009
【図８】
2014093636.tif 000010
【図９】
2014093636.tif 000011
【図１０】
2014093636.tif 000012
【図１１】
2014093636.tif 000013
【図１２】
2014093636.tif 000014
【図１３】
2014093636.tif 000015
【図１４】
2014093636.tif 000016
【図１５】
2014093636.tif 000017
【図１６】
2014093636.tif 000018
【図１７】
2014093636.tif 000019
【図１８】
2014093636.tif 000020
【図１９】
2014093636.tif 000021
【図２０】
2014093636.tif 000022
【図２１】
2014093636.tif 000023
【図２２】
2014093636.tif 000024
【図２３】
2014093636.tif 000025