(57)【要約】【目的】  符号化処理（圧縮）などに適した中間画像（処理用画像）を得ることが可能である画像生成方法を提供する。【構成】  各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ視点画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。両画像はそれぞれ市松模様状に絵素が抽出されており、両視点画像の絵素の配置は補間関係にある。右眼用画像を例にとると、太実線枠は第１サブ視点画像となり、太点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。【選択図】        図２
2005321987.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ個（Ｎは二以上の整数）の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出することを特徴とする画像生成方法。
【請求項２】
Ｎ個（Ｎは二以上の整数）の視点画像を用い、斜めバリア方式の立体視用画像の生成に利用できる中間画像を生成する画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする画像生成方法。
【請求項３】
請求項２に記載の画像生成方法において、各サブ視点画像内の各絵素を構成している複数の色画素の全てを用いて中間画像を生成することを特徴とする画像生成方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の画像生成方法において、各視点画像をコンピュータグラフィックス技術を用いて作成すると共に、各視点画像に対し、カメラ座標系のビューポイントを中心とした回転処理、ビューボリュームの移動、ビューポート変換時の原点の移動、の少なくとも一つの処理を行うことでサブ視点画像を生成することを特徴とする画像生成方法。
【請求項５】
Ｎ個（Ｎは二以上の整数）の視点画像に基づいて生成された斜めバリア方式の立体視用画像から各視点画像を抽出すると共に、各視点画像内で色画素の配置が一致する絵素が水平方向及び垂直方向に並ぶサブ視点画像をＮ個抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする画像生成方法。
【請求項６】
請求項２又は請求項５に記載の画像生成方法において、各サブ視点画像から得られるＮ個の中間画像を集結させて全体中間画像を生成することを特徴とする画像生成方法。
【請求項７】
請求項２又は請求項３又請求項５又は請求項６に記載の画像生成方法において、中間画像又は全体中間画像を圧縮することを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体視用の画像に適した画像生成方法に関する。
【背景技術】
【０００２】
従来より、特殊な眼鏡を必要とせずに立体映像表示を実現する方法しとて、パララックスバリア方式やレンチキュラーレンズ方式等が知られているが、これらの方式は両眼視差を有する右眼用映像と左眼用映像とを、例えば縦ストライプ状に画面に交互に表示し、この表示映像をパララックスバリアやレンチキュラーレンズ等で分離して観察者の右眼と左眼に各々導くことで立体視を行わせるものである。また、複数のピンホールを斜めに配置する斜めバリア方式として下記の特許文献１が知られている。
【０００３】
図２２は、右眼用（Ｒ）画像と左眼用（Ｌ）画像を用いて斜めバリア方式の合成画像（立体視用画像）を生成するときの処理内容を示している。なお、各画像においては、Ｒ（赤色）画素とＧ（緑色）画素とＢ（青色）画素とが並んでおり、例えば、座標「００」の一つのＲ画素と、座標「００」の一つのＧ画素と、座標「００」の一つのＢ画素で、座標「００」の一つの絵素（ピクセル）が構成される。この処理では、画素単位で右眼画像と左眼画像から交互に画素を取り出して並べることで合成画像を得ている。また、図２３は、合成画像から中間画像を生成する従来の処理を示している。
【特許文献１】特許第３０９６６１３号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、図２３に示す中間画像では、右眼画素が集結されると共に左眼画素が集結されていることから、合成画像をそのまま圧縮するのに比べれば画質の劣化は少ないものの、中間画像において隣接する絵素は、元の視点画像上では斜めに並ぶ絵素同士であるため、かかる中間画像の圧縮では画質の劣化を十分に防止することはできない。
【０００５】
この発明は、上記の事情に鑑み、符号化処理（圧縮）を行うのに好適な中間画像（処理用画像）を得ることが可能となる画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明の画像生成方法は、上記の課題を解決するために、Ｎ個（Ｎは二以上の整数）の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出することを特徴とする。かかる構成であれば、各視点画像についてＮ個のサブ視点画像を抽出しており、これらＮ個のサブ視点画像を用いて例えば中間画像や立体視用画像を生成することができる。
【０００７】
また、この発明の画像生成方法は、Ｎ個（Ｎは二以上の整数）の視点画像を用い、斜めバリア方式の立体視用画像の生成に利用できる中間画像を生成する画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする。各サブ視点画像内の各絵素を構成している複数の色画素の全てを用いて中間画像を生成してもよい。
【０００８】
これらの画像生成方法において、各視点画像をコンピュータグラフィックス技術を用いて作成すると共に、各視点画像に対し、カメラ座標系のビューポイントを中心とした回転処理、ビューボリュームの移動、ビューポート変換時の原点の移動、の少なくとも一つの処理を行うことでサブ視点画像を生成するようにしてもよい。
【０００９】
また、この発明の画像生成方法は、Ｎ個（Ｎは二以上の整数）の視点画像に基づいて生成された斜めバリア方式の立体視用画像から各視点画像を抽出すると共に、各視点画像内で色画素の配置が一致する絵素が水平方向及び垂直方向に並ぶサブ視点画像をＮ個抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする。
【００１０】
これら構成の構成であれば、中間画像を構成する絵素は視点画像における水平方向及び垂直方向に並ぶ絵素の当該並びの関係を保ったものとなり、絵素同士の相関性は高く、圧縮処理に適したものとなる。各サブ視点画像から得られるＮ個の中間画像を集結させた全体中間画像も圧縮処理に適す。中間画像又は全体中間画像を圧縮してもよい。
【発明の効果】
【００１１】
以上説明したように、この発明によれば、斜めバリア方式に利用される視点画像或いは立体視用画像について絵素が水平及び垂直方向に整列するサブ視点画像に注目することにより、符号化処理（圧縮）を行っても画質の劣化を少なくできる中間画像の生成が可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下、この発明の実施形態の画像生成方法を図１乃至図２０に基づいて説明していく。
【００１３】
図１（ａ）は２眼斜めバリア方式の画素配列（立体視用画像）を示している。図中の「１」は第１視点画像であり、「２」は第２視点画像である。Ｒは赤色の画素（又は赤色データ）、Ｇは緑色の画素（又は緑色データ）、Ｂは青色の画素（又は、青色データ）である。斜めバリア方式では、同一視点の画素は斜め方向に並ぶ。
【００１４】
図１（ｂ）は、前記立体視用画像のなかで第１視点画像のみを抽出して示している。図中の各太実線枠内及び各太点線枠内には、Ｒ，Ｇ，Ｂが存在する。一纏まりのＲ，Ｇ，Ｂを絵素という。各太実線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。同様に、各太点線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。上記立体視用画像からは、太実線枠（絵素）のグループによるサブ視点画像と、太点線枠（絵素）のグループによるサブ視点画像とを生成することができる。すなわち、視点数が２であるので、２つのサブ視点画像が生成される。
【００１５】
図１（ｃ）は、サブ視点画像抽出の他の例を示している。図の各太実線枠内及び各太点線枠内には、Ｒ，Ｇ，Ｂが存在する。各太実線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。同様に、各太点線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。
【００１６】
視点が異なる複数の視点画像は、例えば互いに眼間距離離して設けた複数のカメラにて被写体を撮像することにより得ることができる。また、コンピュータグラフィックス技術により、ポリゴン画像の３次元映像に対して複数の視線方向を設定して各々平面投影することでも視点が異なる複数の２次元映像データを得ることができる。
【００１７】
図２は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。図において、各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ視点画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。両画像はそれぞれ市松模様状に絵素が抽出されており、両視点画像の絵素の配置は補間関係にある。右眼用画像を例にとると、太実線枠は第１サブ視点画像となり、太点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。
【００１８】
中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。両サブ視点画像の絵素における画素は横方向にＲ，Ｂ，Ｇの順に並んでいる。
【００１９】
合成画像では、各サブ視点画像の絵素における画素は水平方向に１画素おきに配置され、水平方向にＲ，Ｂ，Ｇの順に並んでいる。また、合成画素では、両視点画像における第１サブ視点画像のみで水平１ラインの画像が形成され、その下の水平１ラインは両視点画像における第２サブ視点画像のみで構成される。なお、図２では、合成画像において、視点画像、サブ視点画像の全てでＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。
【００２０】
図３は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は同じ（非補間関係）である。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。
【００２１】
中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。
【００２２】
合成画像の右眼用画像については、そのサブ視点画像における絵素の画素は水平方向にＲ，Ｂ，Ｇの順に並んでいるが、左眼用画像については、そのサブ視点画像における絵素の画素は水平方向にＧ，Ｒ，Ｂの順に並んでいる。また、合成画像では、各サブ視点画像における絵素の画素は水平方向に１画素おきに配置され、水平方向にＲ，Ｂ，Ｇ又はＧ，Ｒ，Ｂの順に並んでいる。また、合成画像では、両視点画像における第１サブ視点画像のみで水平１ラインの画像が形成され、その下の水平１ラインは両視点画像における第２サブ視点画像のみで構成される。なお、図３では、合成画像において、視点画像のＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。
【００２３】
図４は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は補間関係にある。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。
【００２４】
中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。
【００２５】
合成画像では、両サブ視点画像における絵素の画素は水平方向にＲ，Ｇ，Ｂの順でＶ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ下に移動させている。また、合成画像では、右眼用画像における第１サブ視点画像と左眼用画像における第２サブ視点画像で垂直方向絵素ラインが形成され、その横に位置する垂直方向絵素ラインは右眼用画像における第２サブ視点画像と左眼用画像における第１サブ視点画像で構成される。なお、図４では、合成画像において、視点画像、サブ視点画像の全てでＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。
【００２６】
図５は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は同じ（非補間関係）である。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。
【００２７】
中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。
【００２８】
合成画像では、両サブ視点画像における絵素の画素は水平方向にＲ，Ｇ，Ｂの順にＶ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ下に移動させている。一方、左眼用画像の絵素における画素はΛ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ上に移動させている。また、合成画像では、右眼用画像における第１サブ視点画像と左眼用画像における第１サブ視点画像で垂直方向絵素ラインが形成され、その横に位置する垂直方向絵素ラインは右眼用画像における第２サブ視点画像と左眼用画像における第２サブ視点画像で構成される。なお、図５では、合成画像において、視点画像のＲＧＢの並ぶ順番が同じになる。合成画像における端側の空白部分は画素抜け（データ不存在）部分である。
【００２９】
上述した処理によって生成された合成画像（立体視用画像）のファイルには、例えば、視点数情報、サブ視点画像の並びに関する情報（画素の色についての並び、絵素（画素）の座標についての並び、横方向に一つおきに画素を配置、Ｖ字状に配置、Λ字状に配置といった情報）を与えておくのがよい。或いは、単に、第１方式、第２方式といった情報を与えておき、画像処理装置（ソフトウェア）において、各方式の内容を保持しておくこととしてもよい。
【００３０】
図６は合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。図６では、ＲＧＢの並ぶ順番が同じになるように各視点画像、サブ視点画像の絵素を選択する。図において、各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルに記録されている情報に基づいて、例えば、視点数情報、サブ視点画像の並びに関する情報（画素の色についての並び、絵素（画素）の座標についての並び、横方向に一つおきに画素を配置、Ｖ字状に配置、Λ字状に配置といった情報）を知得する。図６に示す処理例では、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、画素の並びがＲ，Ｂ，Ｇになっていることを知得し、中間画像の各視点画像においてＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。４つのサブ視点画像から成る中間画像は結合されて一枚の画像（全体中間画像）として扱うようにしてもよい。以下の処理例においても同様である。中間画像や全体中間画像に対して符号化処理（圧縮）を行うのがよい。
【００３１】
図７は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図７では、合成画像の各視点画像のＲＧＢの並びは同じである。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図７の処理例では、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、右眼画像については画素の並びがＲ，Ｂ，Ｇになり、左眼画像については画素の並びがＧ，Ｒ，Ｂになっていることを知得し、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるようにそれぞれ処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。
【００３２】
なお、図７の例では、合成画像において、左端（右端）には使用しない領域が存在するので、ダミー画素列を追加してもよい。或いは、前述の図６の例のように、サブ視点画像を大きくとってもよい。
【００３３】
図８は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図８では、合成画像のサブ視点画像間でＲＧＢの並びが異なる。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図８の処理例においては、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、右眼画像の第１視点画像と左眼画像の第２視点画像については画素の並びがＲ，Ｂ，Ｇになり、右眼画像の第２視点画像と左眼画像の第１視点画像については画素の並びがＧ，Ｒ，Ｂになることを知得し、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるようにそれぞれ処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。
【００３４】
図９は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図９では、ＲＧＢの並ぶ順番が同じになるように各視点画像、サブ視点画像の絵素を選択する。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図９の処理例においては、画像処理装置（ソフトウェア）は、合成画像において左眼画像及び右眼画像共に絵素（同一座標を持つもの）がＶ字状に配置されていることを知得し、Ｖ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。
【００３５】
図１０は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図１０では、合成画像の各視点画像のＲＧＢの並びは同じである。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図１０の処理例では、画像処理装置（ソフトウェア）は、合成画像において右眼用画像の絵素（同一座標を持つもの）がＶ字状に配置されていることを知得してＶ字状に画素を抽出し、左眼用画像の絵素（同一座標を持つもの）がΛ字状に配置されていることを知得してΛ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。
【００３６】
図１１は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図１１では、合成画像のサブ視点画像間でＲＧＢの並びが異なる。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図１１の処理例では、画像処理装置（ソフトウェア）は、合成画像において右眼用画像の絵素（同一座標を持つもの）がＶ字状に配置されているものとΛ状に配置されているものとがあることを知得してＶ字状又はΛ字状に画素を抽出し、左眼用画像の絵素（同一座標を持つもの）がΛ字状又はＶ字状に配置されているものとがあることを知得してΛ字状又はＶ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。
【００３７】
合成画像（立体視用画像）のファイルから各種情報を知得することは必須では無い。ピクセル間引き合成（図２２，図２３参照）の画像を用いることもできる。例えば、図２３において、合成画像のなかの太実線の絵素（真ん中の画素については、隣接絵素の真ん中の画素と入れ替えて視点を一致させる）は水平方向及び垂直方向に並んでおり、この並びの関係を維持して集結させ、これを第１サブ視点画像とする。また、合成画像のなかの太点線の絵素（真ん中の画素については、隣接絵素の真ん中の画素と入れ替えて視点を一致させる）は水平方向及び垂直方向に並んでおり、この並びの関係を維持して集結させ、これを第２サブ視点画像とする。第１サブ視点画像において各絵素を集結させて中間画像とし、同様に、第２サブ視点画像において各絵素を集結させて中間画像とすればよい。
【００３８】
図１２（ａ）（ｂ）は各視点画像からサブ視点画像を生成する処理を示した説明図である。図１２では合成画像のなかの第１視点画像だけを抽出して示している。第１視点画像における第１サブ視点画像は奇数番目の横ラインに対してＲ，Ｂ，Ｇ（座標が一致する画素である）の並びで画素を抽出することで実現される。また、第１視点画像における第２サブ視点画像は偶数番目の横ラインに対してＲ，Ｂ，Ｇ（座標が一致する画素である）の並びで画素を抽出することで実現される。この考え方は、合成画像における各視点画像のサブ視点画像を抽出する処理及び、実写やコンピュータグラフィックスで生成した各視点画像のサブ視点画像を抽出する処理に適用できる。コンピュータグラフィックスを用いる場合の具体的処理を以下に述べる。
【００３９】
図１３（ａ）（ｂ）はコンピュータグラフィックスのカメラ座標系でビューポイントを回転中心として回転させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。回転量は絵素のオフセット量（図１２参照）と同じ比率で行えばよい。
【００４０】
図１４（ａ）（ｂ）はコンピュータグラフィックスでビューボリュームを平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。原点の平行移動は絵素のオフセット量と同じ比率で行えばよい。
【００４１】
図１５（ａ）（ｂ）はコンピュータグラフィックスでビューポート変換時に原点の平行移動を行うことで、合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。原点の平行移動は絵素のオフセット量と同じ比率で行えばよい。
【００４２】
図１６は、４視点の合成画像（立体視用映像）の画素配列を示した説明図である。図１６中の数値は視点番号を表している。この図において、斜めに並ぶ３つの画素を１絵素として扱う。この場合、各絵素の中心画素が代表点となる。この代表点と各画素との位置関係は行によって異なる。また、各絵素内の画素（Ｒ，Ｂ，Ｇ）の並びがまちまちである。図１７は４視点の合成画像のうちの第１視点画像の画素配列を示した説明図である。そして、図１８は第１視点画像のうちの第１サブ視点画像の絵素の並びを太線枠で示し、図１９は第１視点画像のうちの第２サブ視点画像の絵素の並びを太線枠で示し、図２０は第１視点画像のうちの第３サブ視点画像の絵素の並びを太線枠で示し、図２１は第１視点画像のうちの第４サブ視点画像の絵素の並びを太線枠で示している。いずれについても、サブ視点画像における絵素は、水平及び垂直方向に整列する。そして、サブ視点画像は互いにずれて存在する。なお、上記の図１８乃至図２１において、サブ視点画像の絵素数が異なるのは、ものもとサブ画像間で絵素の座標が異なるからであり、実際にはダミー絵素を作るなどして、絵素数を一致させておく方が処理しやすい。画像生成装置では、４つのサブ視点画像の抽出のために４回のレンダリングを行うことになるが、それぞれのレンダリングの画素数は少ないので、処理速度は殆ど低下しない。
【００４３】
この４視点の場合においても、それぞれのサブ視点画像において絵素を集結させて中間画像を生成するのがよい。また、各視点（４つ）における４つの中間画像を集結させて全体中間画像を生成してもよい。これら中間画像や全体中間画像について符号化処理（圧縮）を行うのがよい。
【図面の簡単な説明】
【００４４】
【図１】図１（ａ）は、２眼斜めバリア方式の画素配列（立体視用画像）を示した説明図であり、図１（ｂ）は、前記立体視用画像のなかで第１視点画像のみを抽出して示した説明図であり、図１（ｃ）は、サブ視点画像抽出の他の例を示した説明図である。
【図２】右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。
【図３】右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。
【図４】右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。
【図５】右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。
【図６】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図７】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図８】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図９】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図１０】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図１１】合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。
【図１２】同図（ａ）（ｂ）は合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。
【図１３】同図（ａ）（ｂ）はコンピュータグラフィックスのカメラ座標系でビューポイントを回転移動又は平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。
【図１４】同図（ａ）（ｂ）はコンピュータグラフィックスでビューボリュームを平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。
【図１５】同図（ａ）（ｂ）はコンピュータグラフィックスでビューポート変換時に原点の平行移動を行うことで、合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。
【図１６】４視点の合成画像（立体視用映像）の画素配列を示した説明図である。
【図１７】４視点の合成画像のうちの第１視点画像の画素配列を示した説明図である。
【図１８】第１視点画像のうちの第１サブ視点画像の絵素の並びを太線枠で示した説明図である。
【図１９】第１視点画像のうちの第２サブ視点画像の絵素の並びを太線枠で示した説明図である。
【図２０】第１視点画像のうちの第３サブ視点画像の絵素の並びを太線枠で示した説明図である。
【図２１】第１視点画像のうちの第４サブ視点画像の絵素の並びを太線枠で示した説明図である。
【図２２】右眼用（Ｒ）画像と左眼用（Ｌ）画像を用いて斜めバリア方式の合成画像（立体視用画像）を生成する従来の処理内容を示した説明図である。
【図２３】従来例を示す図であって、合成画像（立体視用画像）と中間画像（処理用画像）の変換の内容を示した説明図である。
【符号の説明】
【００４５】
Ｒ  右画素（右絵素）
Ｌ  左画素（左絵素）
【図１】
2005321987.tif 000003
【図２】
2005321987.tif 000004
【図３】
2005321987.tif 000005
【図４】
2005321987.tif 000006
【図５】
2005321987.tif 000007
【図６】
2005321987.tif 000008
【図７】
2005321987.tif 000009
【図８】
2005321987.tif 000010
【図９】
2005321987.tif 000011
【図１０】
2005321987.tif 000012
【図１１】
2005321987.tif 000013
【図１２】
2005321987.tif 000014
【図１３】
2005321987.tif 000015
【図１４】
2005321987.tif 000016
【図１５】
2005321987.tif 000017
【図１６】
2005321987.tif 000018
【図１７】
2005321987.tif 000019
【図１８】
2005321987.tif 000020
【図１９】
2005321987.tif 000021
【図２０】
2005321987.tif 000022
【図２１】
2005321987.tif 000023
【図２２】
2005321987.tif 000024
【図２３】
2005321987.tif 000025