(57)【要約】      （修正有）【課題】立体画像にリサイズを施しても好適な表示を実現する。【解決手段】立体画像を表示するための左目用画像と右目用画像の各信号１０２、１０１を入力して、左目用画像と右目用画像の視差量を検出し１０３、左目用画像と右目用画像をそれぞれリサイズ処理する１１０、１０４。そして、リサイズ処理前の画像から検出した視差量１１２、１０５とリサイズ変換比率情報１０７とから、リサイズ処理後の画像の視差量を調整し１１１、１０６、当該調整された左目用画像と右目用画像の各信号を表示装置１０９にて表示する。【選択図】図１
2015226170.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を表示するための左目用画像と右目用画像の各信号を入力し、前記左目用画像と前記右目用画像の視差量を検出する検出手段と、
前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ手段と、
リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整手段と、
前記調整手段によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示手段とを備えることを特徴とする立体画像の信号処理装置。
【請求項２】
前記調整手段は、リサイズ処理後の分割領域ごとの視差量の大小関係がリサイズ処理前の前記分割領域ごとの視差量の大小関係と等しくなるように視差補正量を算出して調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、画像信号表示用のタイミング信号を生成して、左目用画像と右目用画像の各信号を前記タイミング信号とともに前記表示装置の受信可能な信号型式に変換することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記リサイズ手段は、画像中の歪曲収差を補正する歪み補正手段を含むことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
立体画像を表示するための左目用画像と右目用画像の各信号を入力し、前記左目用画像と前記右目用画像の視差量を検出する検出工程と、
前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ工程と、
リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整工程と、
前記調整工程によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示工程とを有することを特徴とする立体画像の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像をリサイズして表示装置に表示するための信号処理装置および方法に関する。
【背景技術】
【０００２】
従来、立体画像を表示する装置では、人間の左右の目の視差を利用して画像を立体的に見せるために、左目用画像と右目用画像の２つの画像を信号処理で生成して表示する方法が普及している。
【０００３】
近年、テレビやパソコン、携帯電話、デジタルビデオカメラやデジタルカメラなどの携帯型撮像装置では、様々な画素数や様々な画面水平垂直比率（アスペクト）の液晶や有機ＥＬを使用した表示装置が搭載されている。表示したい画像の画素数と、表示装置の画素数が異なる場合、画像をリサイズして表示装置の画素数に合わせる必要がある。立体表示用の画像も同様に、表示したい画像をリサイズ処理して表示装置の画素数に合わせる必要が生じる。
【０００４】
また、デジタルビデオカメラやデジタルカメラなどでは、撮影画像の歪補正処理が必要であり、立体画像を撮影する場合も同様に、撮影した立体画像の歪みを補正する必要がある。
【０００５】
複数の視点情報を持つ立体画像の一部の領域を切り出して拡大や縮小の画像リサイズ処理をする場合に、リサイズ処理後の画像の最大視差量が所定のある大きさを超えた際、また、最小視差量が「０」ではない場合に、切り出し画像位置に応じて視点情報毎の複数の画像のずれ量の調整を行う方法が特許文献１で提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１３０３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術は立体画像の一部を切り出してリサイズ処理する場合に適した処理方法であり、立体画像全体をリサイズする場合にはリサイズ処理前の画像とリサイズ処理後の画像との立体的な見え方が異なる場合があった。
【０００８】
そこで、本発明の目的は、立体画像にリサイズを施しても好適な表示を可能にすることにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、立体画像を表示するための左目用画像と右目用画像の各信号を入力し、前記左目用画像と前記右目用画像の視差量を検出する検出手段と、前記左目用画像と前記右目用画像をそれぞれリサイズ処理するリサイズ手段と、リサイズ処理前の画像から検出した前記視差量とリサイズ変換比率情報とから、リサイズ処理後の画像の視差量を調整する調整手段と、前記調整手段によって調整された左目用画像と右目用画像の各信号を表示装置にて表示させる表示手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、立体画像をリサイズした後の画像の立体的な見え方を、リサイズ前の画像の立体的な見え方と等しくすることや、意図した立体的見え方に修正することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１に係る機能構成ブロック図である。
【図２】本発明の実施例１に係る動作フローチャートを示した図である。
【図３】本発明の実施例１の視差量補正処理の例を示した図である。
【図４】本発明の実施例２に係る機能構成ブロック図である。
【図５】本発明の実施例２に係る動作フローチャートを示した図である。
【図６】本発明の実施例２の視差量補正処理の例を示した図である。
【図７】本発明の実施例３に係る機能構成ブロック図である。
【図８】本発明の実施例３に係る動作フローチャートを示した図である。
【図９】本発明の実施例３の視差量補正処理の例を示した図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る信号処理装置と信号処理方法について、詳細に説明する。
【実施例１】
【００１３】
実施例１に係る信号処理装置では、アスペクト３：２の（水平７２０画素）ｘ（垂直４８０画素）＝（３４５６００画素）の立体画像をアスペクト１６：９の立体画像に拡大変換して、（水平１９２０画素）ｘ（垂直１０８０画素）＝（２０７３６００画素）の表示装置に立体表示する場合を例として説明する。
【００１４】
まず、本実施例１の機能構成ブロック図である図１の各ブロック動作を説明する。右元画像１０１と左元画像１０２は立体画像を表示するための２つの画像である。
【００１５】
視差量検出１０３は、右元画像１０１と左元画像１０２との視差量を検出する。視差は画像の輝度値を右元画像１０１と左元画像１０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。
【００１６】
右画像分割リサイズ処理１０４は、右元画像１０１を数個の領域に分割して分割領域毎にリサイズ処理を行う。画像全体のリサイズ変換比率（拡大・縮小率）は右元画像１０１と表示装置１０９の画像サイズによって決定し、領域毎のリサイズ変換比率は画像全体のリサイズ変換比率から決定する。例えば、分割領域が３個（Ａ領域、Ｂ領域、Ｃ領域）として画像全体を横方向に２倍に拡大する場合に、３領域とも２倍に拡大する設定も可能だが、Ａ領域を１倍、Ｂ領域を２倍、Ｃ領域を３倍とする領域毎に異なる変換比率に設定することも可能である。同様に、左画像分割リサイズ処理１１０は、左元画像１０２を数個の領域に分割して分割領域毎にリサイズ処理を行う。
【００１７】
右画像視差補正１０６は、視差量検出１０３で検出した視差量を元に、右画像分割リサイズ処理１０４で変換したリサイズ後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎のリサイズ変換比率を元に算出する。画像のずれ量を算出した視差量に調整するため、リサイズ後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正１１１は、視差量検出１０３で検出した視差量を元に、左画像分割リサイズ処理１１１で変換したリサイズ後の左画像を視差量補正した画像に変換する。
【００１８】
表示画像処理１０８は、視差量を補正した右画像と左画像を入力し、表示装置１０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。
【００１９】
表示装置１０９は、表示画像処理１０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。
【００２０】
次に、本実施例の特徴部分に関して図２のフローチャートに従いながら説明する。ステップＳ２００において、左右映像信号が入力されると、ステップＳ２０１で画像を分割して処理するかどうかを選択する。実施例１では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行い、領域毎のリサイズ比率をＡ領域は水平１８／５倍、垂直９／４倍、Ｂ領域は水平９／４倍、垂直９／４倍、Ｃ領域は水平１８／５倍、垂直９／４倍とする。垂直方向は元画像７２０画素数を１０８０画素数に変換し、水平方向はＡ領域とＣ領域は１１０画素数を３９８画素数に、Ｂ領域は５００画素数を１１２５画素数に変換する。Ｂ領域は水平と垂直の比率を等しくして画像のアスペクトをリサイズ変換前後で保持することによって図３（１）左画像や（２）画像に示すとおり、画像の歪みを生じさせていない。図３（１）左画像や（２）画像に示すとおり、Ａ領域とＣ領域は入力画像に対してリサイズ後の画像は横方向に歪んだ画像となる。
【００２１】
ステップＳ２０３において、視差量検出１０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像１０１と左元画像１０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。
【００２２】
ステップＳ２０４において、右画像分割リサイズ処理１０４は右元画像１０１を、左画像分割リサイズ処理１１０は左元画像１０２を、領域毎のリサイズ比率で画像サイズの変換を行う。画像のリサイズ処理方法は、線形変換法やバイキュービック法、オーバーサンプリング法など様々な方法で可能だが、視差量の精度を上げるためにバイキュービック法やオーバーサンプリング法などの高品位の変換方法を採用する。
【００２３】
ステップＳ２０５において、視差量の補正の有無の選択を行う。分割領域毎のリサイズ比率が等しい場合は視差量の補正は通常必要はない。実施例１ではリサイズ比率が異なるため、視差量の補正を行う。リサイズ比率が分割領域で異なると、図３（３）左右立体画像イメージに示すとおり、視差量は元画像の視差量と変わり、実施例１では領域Ａと領域Ｃが視差量が小さくなる。分割領域毎のリサイズ比率が等しい場合も、意図的に視差量を補正したい場合、例えば意図的に立体的な見え方をリサイズ後に変えたい場合には視差量の補正をすることも可能である。
【００２４】
ステップＳ２０６において、右画像視差補正１０６で各領域の視差量をＰＡ、ＰＢ、ＰＣとリサイズ比率に基づいて視差量の補正を行う。領域Ｂはリサイズ比率が水平方向、垂直方向で等しいことから視差量の補正を実施しない。領域Ａと領域Ｃは領域Ｂとは水平方向のリサイズ比率が異なるため、視差量の補正を実施しない場合、元画像の視差量の差の関係（ＰＢ−ＰＡやＰＢ−ＰＣ）がリサイズ後の画像では変わってしまう。よって、領域Ａと領域Ｃは視差量を補正する。補正視差量は検出した視差量ＰＡ、ＰＢ、ＰＣと、各領域の変換比率から次のように求める。
（領域Ａの補正視差量ＰＡ’）＝ＰＡｘ（Ａ領域のリサイズ比率１８／５）―ＰＡｘ（Ｂ領域のリサイズ比率９／４）ｘ（Ａ領域のリサイズ比率逆数５／１８）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域のリサイズ比率１８／５）―ＰＣｘ（Ｂ領域のリサイズ比率９／４）ｘ（Ｃ領域のリサイズ比率逆数５／１８）。
【００２５】
右画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例１では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。また、視差量補正後画像の画素数と表示装置１０９の画素数との差異が発生する場合があり、視差量補正後の画像の画素数が表示画素数より多い場合は視差量補正後の画像の画素数を差分画素数削除し、視差量補正後の画像の画素数が表示画素数より少ない場合は視差量補正後の画像の端の画素を差分画素数分追加する。
【００２６】
ステップＳ２０７において、表示画像処理１０８で表示装置１０９に映像を表示するためのタイミング信号を生成する。具体的には画像垂直と水平の基準信号を生成する。生成後、タイミング信号と映像信号を表示装置１０９で表示可能な信号型式に変換して表示装置１０９に送信する。
【００２７】
最後にステップＳ２０８において、表示装置１０９に映像が表示される。
【００２８】
ステップＳ２０１において領域分割しない選択を行った場合は、画像全体を一括でリサイズ処理する場合であり、ステップＳ２０９でリサイズ比率決定し、ステップＳ２１０で視差量を検出して、ステップＳ２１１でリサイズ処理する。リサイズ比率によってはステップＳ２１２で視差量の補正の有無を選択し、補正する場合はステップＳ２１３で視差量補正処理を行う。
【００２９】
以上、本発明では、分割した領域毎にリサイズ後の視差量補正を行うことにより、立体表示する画像の立体の見え方をリサイズ前の画像の見え方に近づけることが可能である。
【００３０】
また、実施例１では画像を拡大する場合だったが、縮小する場合も実施例１のブロック図とフローチャートに従った処理で実現可能である。
【実施例２】
【００３１】
実施例２に係る信号処理装置では、立体画像のリサイズ処理と視差量補正に関して、ビデオカメラの画像歪補正を行う場合を例として説明する。
【００３２】
まず、本実施例２の機能構成ブロック図である図４の各ブロック動作を説明する。右元画像４０１と左元画像４０２は立体画像を表示するための２つの画像である。
【００３３】
視差量検出４０３は、右元画像４０１と左元画像４０２との視差量を検出する。視差は画像の輝度値を右元画像４０１と左元画像４０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。
【００３４】
右画像歪補正処理４０５は、右元画像４０１を数個の領域に分割して分割領域毎に歪補正処理を行う。ビデオカメラで撮影した画像は、歪曲収差と呼ばれる画像周辺部が画像外側や内側に曲がる歪が発生する。歪補正はビデオカメラに搭載されたレンズ構造の工夫でも補正可能だが、画像処理で補正する場合は画像を領域分割して領域毎に射影変換などの画像変換処理を行う。同様に、左画像歪補正処理４１０は、左元画像４０２を数個の領域に分割して分割領域毎に歪補正処理を行う。
【００３５】
右画像視差補正４０６は、視差量検出４０３で検出した視差量を元に、右画像歪補正処理４０４で変換した歪補正処理後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎の歪補正処理を元に算出する。画像のずれ量を算出した視差量に調整するため、歪補正処理後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正４１１は、視差量検出４０３で検出した視差量を元に、左画像視差補正処理４１１で歪補正処理後の左画像を視差量補正した画像に変換する。
【００３６】
表示画像処理４０８は、視差量を補正した右画像と左画像を入力し、表示装置４０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。
【００３７】
表示装置４０９は、表示画像処理４０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。
【００３８】
次に、本実施例の特徴部分に関して図５のフローチャートに従いながら説明する。ステップＳ５００において、左右映像信号が入力されると、ステップＳ５０１で歪補正領域の分割指定を行う。分割領域は、ビデオカメラに搭載されているレンズの特性と、撮影画像サイズから算出する。実施例２では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行い、Ａ領域とＣ領域に歪補正処理を行う。画像中央部のＢ領域は歪補正処理を実施しない。
【００３９】
ステップＳ５０２において、視差量検出４０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像４０１と左元画像４０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。
【００４０】
ステップＳ５０３において、右画像歪補正処理４０４は右元画像４０１を、左画像歪補正処理４１０は左元画像４０２を、領域毎に指定された歪補正処理を行う。Ａ領域とＣ領域の歪補正の特性は、ビデオカメラのレンズ特定と、撮影画像サイズからあらかじめ算出することが可能であり、算出された歪補正特定に基づいて画像の補正処理を射影変換処理などによって行う。歪補正処理は図６（１）左画像と（２）右画像に実施例２の補正処理前後の図を示す。図６（３）に直線が並んだ画像の左右端に歪曲が発生している一般的な歪補正処理のイメージ例を示す。
【００４１】
ステップＳ５０４において、視差量の補正の有無の選択を行う。分割領域毎の歪補正量が大きい場合は視差量の補正を行う。実施例３では、Ａ領域とＣ領域の視差量補正を行う。
【００４２】
ステップＳ５０５において、右画像視差補正４０６で各領域の視差量をＰＡ、ＰＢ、ＰＣと歪補正量に基づいて視差量の補正を行う。領域Ｂは歪補正をしていないため、視差量の補正を実施しない。領域Ａと領域Ｃは歪補正処理を行っているため、視差量補正を行う。視差量補正処理で射影変換を行う場合、画像内の物体の形と位置を上下左右に変形する。Ｘ−Ｙ二次元軸上に描かれた物体のエッジの座標位置を変換するような処理である。補正視差量は検出した視差量ＰＡ、ＰＣと、各領域の歪み補正処理による座標位置の上下左右方向の変換量から次のように求める。
（領域Ａの補正視差量ＰＡ’）＝ＰＡｘ（Ａ領域の歪補正左右方向の最大座標変換量）―ＰＡｘ（Ａ領域の歪み補正左右方向の最小座標変換量）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域の歪補正左右方向の最大座標変換量）―ＰＣｘ（Ｃ領域の歪み補正左右方向の最小座標変換量）。
【００４３】
右画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ａは（ＰＡ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例３では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。
【００４４】
最後にステップＳ５０６において、記録画像処理４０８で記録用の映像を生成する。
【００４５】
ステップＳ５０４において、視差量の補正処理をしない選択をした場合、ステップＳ５０３で歪補正処理した画像が記録映像となる。
【００４６】
以上、本発明では、分割した領域毎に歪補正処理後の視差量補正を行うことにより、立体表示する画像の立体の見え方を歪補正処理領域と歪補正未処理領域とで自然な見え方にすることが可能である。
【実施例３】
【００４７】
実施例３に係る信号処理装置では、アスペクト３：２の（水平７２０画素）ｘ（垂直４８０画素）＝（３４５６００画素）の立体画像をアスペクト１６：９の立体画像に拡大変換して、（水平１９２０画素）ｘ（垂直１０８０画素）＝（２０７３６００画素）の表示装置に立体表示する場合を例として説明する。
【００４８】
まず、本実施例３の機能構成ブロック図である図７の各ブロック動作を説明する。右元画像７０１と左元画像７０２は立体画像を表示するための２つの画像である。
【００４９】
視差量検出７０３は、右元画像７０１と左元画像７０２との視差量を検出する。視差は画像の輝度値を右元画像７０１と左元画像７０２とで対応する点を比較し、左右（または上下）のずれ量（距離）を比較することにより検出する。輝度値を比較する対応点の抽出は、様々な手法があり、画像内の物体のエッジ検出や、画像内を小ブロックに分割してブロック毎の左右画像一致を検出する手法などがある。また、視差量の検出は、画像全体で検出する場合と、画像を数個の領域に分割した分割領域毎に検出する場合がある。
【００５０】
右画像分割リサイズ処理７０４は、右元画像７０１を数個の領域に分割して分割領域毎にリサイズ処理を行う。画像全体のリサイズ変換比率（拡大・縮小率）は右元画像７０１と表示装置７０９の画像サイズによって決定し、領域毎のリサイズ変換比率は画像全体のリサイズ変換比率から決定する。例えば、分割領域が３個（Ａ領域、Ｂ領域、Ｃ領域）として画像全体を横方向に２倍に拡大する場合に、３領域とも２倍に拡大する設定も可能だが、Ａ領域を１倍、Ｂ領域を２倍、Ｃ領域を３倍とする領域毎に異なる変換比率に設定することも可能である。同様に、左画像分割リサイズ処理７１０は、左元画像７０２を数個の領域に分割して分割領域毎にリサイズ処理を行う。
【００５１】
右画像視差補正７０６は、視差量検出７０３で検出した視差量を元に、右画像分割リサイズ処理７０４で変換したリサイズ後の右画像を視差量補正した画像に変換する。実際に補正する視差量は、分割領域毎に検出した視差量を分割領域毎のリサイズ変換比率を元に算出する。画像のずれ量を算出した視差量に調整するため、リサイズ後の右画像を左右または上下に並行にずらす。同様に、左画像視差補正７１１は、視差量検出７０３で検出した視差量を元に、左画像分割リサイズ処理７１１で変換したリサイズ後の左画像を視差量補正した画像に変換する。
【００５２】
表示画像処理７０８は、視差量を補正した右画像と左画像を入力し、表示装置７０９で画像を表示可能な型式の画像信号に変換する。表示可能な画像信号は、右画像と左画像の信号への埋め込み方法や、表示用のタイミング信号が規定されている。
【００５３】
表示装置７０９は、表示画像処理７０８から入力したタイミング信号に基づいて、液晶や有機ＥＬなどの表示媒体に立体画像を表示する。
【００５４】
次に、本実施例の特徴部分に関して図８のフローチャートに従いながら説明する。ステップＳ８００において、左右映像信号が入力されると、ステップＳ８０１で画像を分割して処理するかどうかを選択する。実施例３では、画像を水平方向に３分割（Ａ領域、Ｂ領域、Ｃ領域）する選択を行う。
【００５５】
ステップＳ８０２において、視差量検出７０３でＡ、Ｂ、Ｃ各領域の視差量を検出する。視差量は右元画像７０１と左元画像７０２の各領域で輝度の対応点を検出し、位置のずれ量を視差として検出する。輝度の対応点は、各領域内の物体を検出して決定する。物体の検出は物体のエッジを輝度値の変化量を微分演算によって検出する。各領域の対応点での視差量をＰＡ、ＰＢ、ＰＣとする。
【００５６】
ステップＳ８０３において、領域毎のリサイズ比率を検出した視差量ＰＡ、ＰＢ、ＰＣに基づいて決定する。図９（３）に示すとおりＰＡがＰＢ、ＰＣよりも大きい場合、Ａ領域は水平９／４倍、垂直９／４倍、Ｂ領域は水平１８／５倍、垂直９／４倍、Ｃ領域は水平１８／５倍、垂直９／４倍とする。垂直方向は元画像７２０画素数を１０８０画素数に変換し、水平方向はＢ領域とＣ領域は１１０画素数を３９８画素数に、Ａ領域は５００画素数を１１２５画素数に変換する。視差量はＰＡが最大でありＡ領域が最も立体的に見える画像領域であり、Ａ領域は水平と垂直の比率を等しくして画像のアスペクトをリサイズ変換前後で保持することによって画像の歪みを生じさせていない。Ｂ領域とＣ領域は入力画像に対してリサイズ後の画像は横方向に歪んだ画像となる。
【００５７】
ステップＳ８０４において、右画像分割リサイズ処理７０４は右元画像７０１を、左画像分割リサイズ処理７１０は左元画像７０２を、領域毎のリサイズ比率で画像サイズの変換を行う。画像のリサイズ処理方法は、線形変換法やバイキュービック法、オーバーサンプリング法など様々な方法で可能だが、視差量の精度を上げるためにバイキュービック法やオーバーサンプリング法などの高品位の変換方法を採用する。
【００５８】
ステップＳ８０５において、視差量の補正の有無の選択を行う。分割領域毎のリサイズ比率が等しい場合は視差量の補正は通常必要はない。実施例３ではリサイズ比率が異なるため、視差量の補正を行う。分割領域毎のリサイズ比率が等しい場合も、意図的に視差量を補正したい場合、例えば意図的に立体的な見え方をリサイズ後に変えたい場合には視差量の補正をすることも可能である。
【００５９】
ステップＳ８０６において、右画像視差補正７０６で各領域の視差量をＰＡ、ＰＢ、ＰＣとリサイズ比率に基づいて視差量の補正を行う。領域Ａはリサイズ比率が水平方向、垂直方向で等しいことから視差量の補正を実施しない。領域Ｂと領域Ｃは領域Ａとは水平方向のリサイズ比率が異なるため、視差量の補正を実施しない場合、元画像の視差量の差の関係（ＰＡ−ＰＢやＰＡ−ＰＣ）がリサイズ後の画像では変わってしまう。よって、領域Ｂと領域Ｃは視差量を図９（１）左画像、（２）右画像に示すとおり、視差量の補正処理を行う。補正視差量は検出した視差量ＰＡ、ＰＢ、ＰＣと、各領域の変換比率から次のように求める。
（領域Ｂの補正視差量ＰＢ’）＝ＰＢｘ（Ｂ領域のリサイズ比率１８／５）―ＰＢｘ（Ａ領域のリサイズ比率９／４）ｘ（Ｂ領域のリサイズ比率逆数５／１８）、
（領域Ｃの補正視差量ＰＣ’）＝ＰＣｘ（Ｃ領域のリサイズ比率１８／５）―ＰＣｘ（Ａ領域のリサイズ比率９／４）ｘ（Ｃ領域のリサイズ比率逆数５／１８）。
【００６０】
右画像の領域Ｂは（ＰＢ’／２）の量を領域Ｃは（ＰＣ’／２）の量を右にずらした画像に変換する。左画像の領域Ｂは（ＰＢ’／２）の量を領域Ｃは（ＰＣ’／２）の量を左にずらした画像に変換する。視差量補正後の画像は領域の境界に画像の不連続性が生じてしまうため、視差量補正後に、さらに境界部分の画像領域にフィルタ演算を実施し、画像の不連続性を軽減させる。実施例３では領域を３分割している例を説明しているが、分割領域の境界近辺をさらに数個の狭い領域に分割して領域毎にリサイズ処理と視差量補正を行うことも可能である。また、視差量補正後画像の画素数と表示装置７０９の画素数との差異が発生する場合があり、視差量補正後の画像の画素数が表示画素数より多い場合は視差量補正後の画像の画素数を差分画素数削除し、視差量補正後の画像の画素数が表示画素数より少ない場合は視差量補正後の画像の端の画素を差分画素数分追加する。
【００６１】
ステップＳ８０７において、表示画像処理７０８で表示装置７０９に映像を表示するためのタイミング信号を生成する。具体的には画像垂直と水平の基準信号を生成する。生成後、タイミング信号と映像信号を表示装置７０９で表示可能な信号型式に変換して表示装置７０９に送信する。
【００６２】
最後にステップＳ８０８において、表示装置７０９に映像が表示される。
【００６３】
ステップＳ８０１において領域分割しない選択を行った場合は、画像全体を一括でリサイズ処理する場合であり、ステップＳ８０９でリサイズ比率決定し、ステップＳ８１０で視差量を検出して、ステップＳ８１１でリサイズ処理する。リサイズ比率によってはステップＳ２１２で視差量の補正の有無を選択し、補正する場合はステップＳ８１３で視差量補正処理を行う。
【００６４】
以上、本発明では、分割した領域毎に視差量を検出して、視差量で領域毎のリサイズ比率を決定してリサイズ処理し、さらに領域毎に視差量補正を行うことにより、立体表示する画像の立体の見え方をリサイズ前の画像の見え方に近づけることが可能である。
【００６５】
また、実施例３では画像を拡大する場合だったが、縮小する場合も実施例１のブロック図とフローチャートに従った処理で実現可能である。
【符号の説明】
【００６６】
１０１  右元画像、１０２  左元画像、１０３  視差量検出、
１０４  右画像分割リサイズ処理、１０５  視差情報、１０６  右画像視差補正、
１０７  リサイズ比率情報と領域情報、１０８  表示画像処理、１０９  表示装置、
１１０  左画像分割リサイズ処理、１１１  左画像視差補正、１１２  視差情報
【図１】
2015226170.tif 000003
【図２】
2015226170.tif 000004
【図３】
2015226170.tif 000005
【図４】
2015226170.tif 000006
【図５】
2015226170.tif 000007
【図６】
2015226170.tif 000008
【図７】
2015226170.tif 000009
【図８】
2015226170.tif 000010
【図９】
2015226170.tif 000011