(57)【要約】  二次元画像が場面のタイプに関して分析され、判定された場面のタイプに応じて該タイプに割当てられた変形が選択され、該変形によって二次元画像が変形され、少なくとも１つのビュー・チャネルへと送られることを特に特徴とする二次元画像列からなる三次元画像を生成する方法および装置が記載される。さらに、変形の新たなそれぞれの変形への継続的かつ中断がない遷移が達成される様々な遷移機能が定義される。
2005510922.tif 000002
【特許請求の範囲】
【請求項１】
二次元画像列からなる三次元（３Ｄ）画像を生成する方法であって、二次元画像が場面のタイプに関して分析され、判定された場面のタイプに応じて該タイプに割当てられた変形が選択され、該変形によって前記二次元画像が変形され、少なくとも１つのビュー・チャネルへと送られることを特徴とする方法。
【請求項２】
場面のタイプとしてクローズアップ画面、標準画面（中間画面）、および広角画面が確定されることを特徴とする請求項１に記載の方法。
【請求項３】
前記場面のタイプのうちクローズアップ画面には、変形される画像の画素が該画像の中心点と同心に外側に歪む球面変形が割当てられることを特徴とする請求項２に記載の方法。
【請求項４】
前記場面のタイプのうち標準画面には、変形される画像の画素が上から下に、また同時に該画像の中心点と同心に歪み、伸張する球面−チルト変形が割当てられることを特徴とする請求項２に記載の方法。
【請求項５】
前記場面のタイプのうち広角画面には、変形される画像の画素が水平に継続的に上方に向かって漸次伸張するチルト変形が割当てられることを特徴とする請求項２に記載の方法。
【請求項６】
前記場面のタイプのうちクローズアップ画面には球変形が割当てられ、変形された画像への異なる視角によって第１および第２のビュー・チャネルが与えられることを特徴とする請求項１に記載の方法。
【請求項７】
前記場面のタイプのうち広角画面には円筒形変形が割当てられ、変形された画像への異なる視角によって第１および第２のビュー・チャネルが与えられることを特徴とする請求項１に記載の方法。
【請求項８】
少なくとも１つのビュー・チャネル用に変形がなされた前記二次元画像は、プリセット可能な数の連続画像の補間によって得られた画像であることを特徴とする前記請求項のいずれか一項に記載の方法。
【請求項９】
先行の第１の画像に対して第２の画像の場面のタイプを変更する際に、該第２の画像に遷移機能が施され、それによって、該第２の画像は不自然な画像の印象を避けるために先行する場面のタイプに割当てられた変形から連続的に、新規の場面のタイプに割当てられた変形に適応されることを特徴とする請求項１に記載の方法。
【請求項１０】
前記遷移機能は所定数Ｋの遷移変形、ならびに新規の画像変形によって形成され、前記遷移変形は各々の画素ごとの先行の変形と新規の変形との線形補間によって判定されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記請求項のいずれか一項に記載の方法を実施する装置であって、少なくとも１つの部分画像の画定、および部分画像と全体画像との比較によって供給される画像を場面分析する装置（３）を特徴とする装置。
【請求項１２】
前記場面分析装置（３）は、前記全体画像の中心領域に可変的な大きさの部分画像を画定し、かつ前記部分画像ならびに前記全体画像の二乗平均平方根偏差を判定して、そこから場面のタイプ、クローズアップ画面または標準画面を判定するために備えられていることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記場面分析装置（３）は、前記全体画像の周辺領域に複数の部分画像を画定し、かつ様々な画像領域間の相関関係の絶対量を判定して、そこから場面のタイプ、広角画面を判定するために備えられていることを特徴とする請求項１１に記載の装置。
【請求項１４】
複数の場面のタイプと、各場面のタイプに割当てられた変形と、２つの変形間の各遷移に割当てられた遷移変形とを記憶する画像変形メモリ（５）を特徴とする請求項１１に記載の装置。
【請求項１５】
プログラムがコンピュータで実行される場合に、請求項１から１０のいずれか一項に記載の方法の工程を実施するためのプログラム・コード手段を有するコンピュータ・プログラム。
【請求項１６】
コンピュータ読出し可能なデータ媒体に記憶される請求項１５に記載のプログラム・コード手段を有するコンピュータ・プログラム。
【請求項１７】
プログラムがコンピュータで実行される場合に、請求項１から１０のいずれか一項に記載の方法の工程を実施するための、機械読出し可能な媒体に記憶されているプログラム・コード手段を有するコンピュータ・プログラム製品。
【請求項１８】
二次元で伝送され、または記憶された画像の三次元再生を生成するためのデジタル画像処理システムであって、請求項１１から１４のいずれか一項に記載の装置を特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元画像列から三次元（３Ｄ）画像を生成する方法および装置に関する。
【背景技術】
【０００２】
被写体を検査するため、特に医学および自然科学では三次元画像生成が利用されることが多い。一般的な消費者の分野向けにも特にテレビ画像で三次元再生が可能な様々な方法が開発されている。
【０００３】
その際、基本的に、画像が右目と左目用に交互に順次伝送されるか、または記憶媒体に記憶される画像の逐次伝送と、画像が２つの別のチャネルで搬送される並行伝送とに区別される。
【０００４】
従来のテレビジョン・システムと組み合わせた画像の逐次伝送の欠点は特に、それぞれの目ごとの画像繰返し速度が毎秒２５画像に縮小されることである。それによって視聴者にとって不快なチラツキが生ずる。このような制約はそれぞれ狭い（左もしくは右の）チャネルを介した画像列の並行的な伝送の場合には確かに生じない。しかし、双方のチャネルを同期化した場合、同時に別個の２つのチャネルを受信し、処理しなければならない受信機が要求されるので問題が生ずることがある。このことは市販のシステムでは不可能である。
【０００５】
将来のテレビジョン・システムでは信号の伝送および処理は完全にデジタル式に行われることになる。この場合、各画像はデジタル化して伝送される個々の画素に分解される。必要な帯域幅を縮減するため、適宜の折衷方法が導入されるが、これにはステレオ伝送の場合に問題が生ずる。
【０００６】
ブロックコード化方式の場合は、例えば適正な圧縮率の場合に画像の個々の行を正確に再構成することは基本的に不可能である。さらに例えばＭＰＥＧ−２のようなフレーム間コード化は、ステレオ画像を順次伝送、または記憶することは不可能である。何故ならば、１つの画像からの画像情報が別の画像にも含まれており、それによっていわゆるクロストーク作用が生じて、右画像と左画像の明確な分離ができなくなるからである。
【０００７】
二次元の画像列から三次元の画像列が生成される別の方法はドイツ特許第３５３０６１０号、および欧州特許第０６６５６９７号で公開されている。画像の補間による自動立体システムは欧州特許第０５２０１７９号に記載されており、一方、「Ｈｕａｎｇ：Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ  Ａｎａｌｙｓｉｓ」（Ｓｐｒｉｎｇｅｒ  Ｖｅｒｌａｇ）では画像列内での移動領域の認識の問題が論じられている。
【０００８】
米国特許明細書第６，１０８，００５号から、供給された画像から少なくとも２つの画像が生成され、少なくとも一方の画像が供給された画像に対して拡大、縮小、回転、移動、または画像の少なくとも一部分が画像の他の部分に対して他方の画像の対応部分と比較して移動されるように変更される合成ステレオ画像の生成方法が公知である。その場合の欠点は勿論、前記の変更を適切に選択することによって視聴者にとって適切な、もしくは自然な立体画像の印象が生成されるかどうかが、オペレータの技能に大きく左右されるということである。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、基本的にオペレータまたは視聴者の介在なく特に自然な三次元画像の印象を有する３Ｄ画像の生成を可能にする前記のタイプの方法および装置（単数または複数）を製造することにある。
【課題を解決するための手段】
【００１０】
上記の目的は請求項１に記載の方法、および請求項１１に記載の装置によって達成される。
【００１１】
従属請求項は本発明の有利な発展形態を有している。
【発明を実施するための最良の形態】
【００１２】
本発明の詳細、特徴、および利点は図面を参照した本発明の好適な実施形態の以下の説明によって明らかにされる。
【００１３】
本発明による装置の基本的な構成要素、およびそれらの相互連結は図１に概略的に示されている。このシステムは、カメラによって撮影されデジタル化された二次元画像が、それぞれの現在の画像の少なくとも１つを一時記憶するために第１画像メモリ１に供給される入力Ｅを含んでいる。
【００１４】
供給された画像は第１画像メモリ１から、これと連結され、プリセット可能な数の連続画像を記憶し、これらを補間するために備えられた第２画像メモリ２に伝送される。
【００１５】
第１画像メモリ１にはさらに場面分析のための装置３が連結され、これによって例えば「クローズアップ画面」、「標準画面」（中間画面）、または「広角画面」のような特定のタイプの場面に割当てるために現在の、第１画像メモリ１に記憶された画像のコンテンツが検査される。
【００１６】
場面分析装置３は画像変形装置４に連結され、これによって第１画像メモリ１から供給された画像に、装置３によって判定された場面のタイプに応じて、このタイプに割当てられた画像変形がなされる。
【００１７】
第２画像メモリ２も装置４に連結されているので、先行画像の補間によって生成される画像も変形可能である。
【００１８】
このような画像変形、および少なくとも１つの場面タイプへの画像変形の割当てのための様々なパターンが画像変形メモリ５に記憶され、画像変形装置４によってそこからパターンを呼び出すことができる。
【００１９】
最後に装置４の出力には位相切換え装置６が連結されており、これには第１画像メモリ１からの未変形画像、および装置４によってそれから生成された変形画像を伝送可能である。これらの画像は次に位相切換え装置６の第１および第２出力Ａ１、Ａ２に送られてそれぞれ第１もしくは第２の画像列を形成し、これらは左もしくは右のステレオ画像用の左もしくは右のビュー・チャネルＢL、ＢRに供給される。
【００２０】
それによって不変のまま供給される画像による画像列と、そこから生成され、変形がなされた画像による別の画像列が合成される（非対称変形）。あるいは、その代わりに、双方の画像列の画像に変形を加えることも可能である（対称変形）。最後に、さらに別の可能性として、補足的に、または代替として第２画像メモリ２で補間された画像が装置４に供給され、そこから、変形された形式および／または未変形の形式で第１および／または第２画像列が合成されることがある。
【００２１】
そのために、第２画像メモリ２に記憶されている画像列ｘ（ｉ、ｊ、α）の補間によって、補間された画像が例えば線形スプライン近似法または画素全体のより高次の、もしくは多項式近似によって計算され、ただしαは近似変数であり、合成（補間）画像が生成される現在の画像の時間間隔を示す。そのために好適にはＷＯ  ０１／７６２５８号に記載されている方法が用いられる。したがってこの文献の内容は参照によって本明細書の構成部分をなすものである。
【００２２】
したがって本発明による装置によって、入力Ｅに印加された二次元撮影されデジタル化された画像列から第１および第２の画像列が生成され、この第１および第２の画像列が左もしくは右の目に送られると、それらが一緒になって元の二次元画像を三次元で観ることを可能にする。
【００２３】
以下では先ず、供給された画像が基本的に不変である、すなわち「ゼロ変形」の第１画像列として使用され、第２画像列は第１画像列の画像の変形によって生成される「非対称」の画像変形によるステレオ画像列の第１の生成方法を説明する。
【００２４】
引き続いて、第１画像列の画像も変形された画像である、「対称」画像変形によるステレオ画像列を再生する第２の生成方法を記述する。
【００２５】
その後で最後に、リアルタイムの場面分析によって画像コンテンツ（場面タイプ）に応じて画像変形が選択され、適応もしくは最適化されることができる態様、および好適に、妨害となる遷移作用が生じないように様々な画像変形間の遷移を行う態様が記述される。
【００２６】
Ａ．）ｘijを水平解像度Ｉおよび垂直解像度Ｊを有する、ｔの時点での第１画像列のデジタル化された画像（第１のステレオ画像）とする。そこから第２のステレオ画像ｘ＊（ｉ＊，ｊ＊）が下記のように生ずる。
【００２７】
ｉ＊：＝ｉ＋ｉ＿Ｉｎｄｅｘ（ｉ，ｊ）もしくはｊ＊：＝ｊ＋ｊ＿Ｉｎｄｅｘ（ｉ，ｊ）
【００２８】
これは、新たな画素ｉ＊およびｊ＊がｉ方向およびｊ方向への移動によって生ずることを示している。そのために原理的には全ての数学的関数を使用できる。したがって以下に記載する変形はこのような関数の例に過ぎないものと理解されたい。
【００２９】
Ｉ．）第１の方法として３つの異なる変形を説明する。
【００３０】
１．）チルト変形：
この場合は新たな画像の画素は以下の公式に基づいて水平に継続的に上から下に漸次伸張される。
【００３１】
ｉ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝０；
ｊ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝（１−（ｔＬ−ｉ）／ｔＬ）（（０．５Ｐｐｌ−ｊ）／０．５ＰｐＬ）・Ｔｉｌｔ
ｉ：＝０，…，ｔＬおよびｊ：＝０，…，ＰｐＬの場合
【００３２】
ｔＬは行数を意味し、ＰｐＬは行当たりの画素数を、また「Ｔｉｌｔ」は伸張の程度を定める任意のスケーリング係数を意味している。
【００３３】
２．）球面変形
この場合は新たな画像の画素は以下の公式に従って画像の中心点から周辺へと同心に歪ませられる。
【００３４】
ｉ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝（（０．５ＰｐＬ−ｊ）／０．５ＰｐＬ）（１−（４／ｔＬ2）（０．５ｔＬ−ｉ）2）・Ｓｐｈｅｒｅ
ｊ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝（（０．５ｔＬ−ｉ）／０．５ｔＬ）（１−（４／ＰｐＬ2）（０．５Ｐｐｌ−ｊ）2）・Ｓｐｈｅｒｅ
ｉ：＝０，…，ｔＬおよびｊ：＝０，…，ＰｐＬの場合
【００３５】
ｔＬは行数を意味し、ＰｐＬは行当たりの画素数を、また「Ｓｐｈｅｒｅ」は歪みの程度を定める任意のスケーリング係数を意味している。
【００３６】
３．）球面チルト変形
この場合は以下の公式に従って新たな画素は上から下に、また画像の中心点から同心に同時に歪ませられ、かつ伸張される。
【００３７】
ｉ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝（（０．５ＰｐＬ−ｊ）／０．５ＰｐＬ）（１−（４／ｔＬ2）（０．５ｔＬ−ｉ）2）・Ｓｐｈｅｒｅ
ｊ＿Ｉｎｄｅｘ（ｉ，ｊ）：＝（（０．５ｔＬ−ｉ）／０．５ｔＬ）（１−（４／ＰｐＬ2）（０．５Ｐｐｌ−ｊ）2）・Ｓｐｈｅｒｅ
＋（（ｔＬ−ｉ）／ｔＬ）（（０．５ＰｐＬ−ｊ）／０．５ＰｐＬ）・Ｔｉｌｔ
ｉ：＝０，…，ｔＬおよびｊ：＝０，…，ＰｐＬの場合
【００３８】
ｔＬは行数を意味し、ＰｐＬは行当たりの画素数を、また「Ｓｐｈｅｒｅ」は歪みの程度を定める任意のスケーリング係数を、また「Ｔｉｌｔ」は伸張の程度を定める任意のスケーリング係数を意味している。
【００３９】
ＩＩ．）第２の方法は補足的に現在の元の画像が変形される、すなわち形状が歪ませられる対称画像変形で処理する。図２に示された一般化された形式は湾曲面Ｆ（結像面）上に場面Ｂの現在の画素０からＰｐＬの結像を示しており、この結像は左目と右目Ａ１、Ａ２用の２つの支点から距離Ｄを隔てて観察される。視聴者から発して結像面Ｆ上の画素（例えばｚ（ｊ）または領域ｘM）は両目Ａ１、Ａ２で異なる態様で（Ａ１の場合はｊ’およびｘM’、Ａ２の場合はｊ”およびｘM”）場面Ｂに再投影される。それによって脳は画像が２つの視覚から観察されている印象を受ける。
【００４０】
この場合も、基本的に投影用に任意の数学的関数、もしくは面を利用できる。以下に２つの変形例を記載する。
【００４１】
１．）球投影：
この場合、画像面は外側に湾曲した球面を呈している。各オリジナル画素ｘ（ｉ，ｊ）ごとに視聴者側に湾曲した球面上に「合成」画素ｚ（ｉ，ｊ）を生ずる。
【００４２】
ｚ（ｉ，ｊ）：＝（１−（４／ＰｐＬ2）（０．５ＰｐＬ−ｊ）2）（１−（４／ｔＬ2）（０．５ｔＬ−ｉ）2）・Ｓｐｈｅｒｅ
【００４３】
この場合もｔＬは行数を意味し、ＰｐＬは行当たりの画素数を、また「Ｓｐｈｅｒｅ」は歪みの程度を定める任意のスケーリング係数を意味している。
【００４４】
光線の法則に基づいて左の観察位置Ｅl用のｊ指数が下記に結像される。
【００４５】
ｊ’：＝｛（ｊ−Ｅl）／（１−ｚ（ｉ，ｊ）／Ｄ）｝＋Ｅl
【００４６】
０≦ｚ（ｉ，ｊ）≦Ｓｐｈｅｒｅが該当するので、定数の「Ｓｐｈｅｒｅ」は常に観察距離Ｄ未満でなければならないことが分かる。
【００４７】
右の観察位置Ｅrの場合、下記になる。
【００４８】
ｊ”：＝｛（ｊ−Ｅr）／（１−ｚ（ｉ，ｊ）／Ｄ）｝＋Ｅr
【００４９】
２．）円筒形投影
この場合、画面は外側に湾曲した円筒面を呈する。各オリジナル画素ｘ（ｉ，ｊ）ごとに視聴者側に湾曲した円筒面上に「合成」画素ｚ（ｉ，ｊ）を生ずる。
【００５０】
ｚ（ｉ，ｊ）：＝（１−（４／ＰｐＬ2）（０．５ＰｐＬ−ｊ）2）・Ｓｐｈｅｒｅ
【００５１】
この場合もＰｐＬは行当たりの画素数を、また「Ｓｐｈｅｒｅ」は歪みの程度を定める任意のスケーリング係数を意味している。
【００５２】
新たな指数ｊ’およびＪ”の場合も左の観察位置Ｅl用の球投影が生ずる。
【００５３】
ｊ’：＝｛（ｊ−Ｅl）／（１−ｚ（ｉ，ｊ）／Ｄ）｝＋Ｅl
また右の観察位置Ｅrの場合、下記になる。
【００５４】
ｊ”：＝｛（ｊ−Ｅr）／（１−ｚ（ｉ，ｊ）／Ｄ）｝＋Ｅr
【００５５】
球および円筒形の投影の場合は観察位置の数は２つに限定されないことが認められる。むしろ左と右の観察位置だけではなく、基本的に任意の数の左右の観察位置Ｅk（ｋ＝１，…ｎ）を計算できる。これは特に複数視聴者用の自動立体モニタにとって重要である。
【００５６】
上記の双方の指数の値ｊ’およびｊ”によって場合によっては新たな画像の全ての指数に値が割当てられる訳ではないので、それにより生ずる「穴」を後続の平滑化、および補間方式によって補償、すなわち「充填」しなければならない。
【００５７】
双方の方法（Ｉ．およびＩＩ．）とも、それぞれの個々の変形が指数、ｉ＿Ｉｎｄｅｘおよびｊ＿Ｉｎｄｅｘによって正確に記載される。各画素の移動に関する上記の公式から生ずる値（移動値）は各々の変形ごとに画像変形メモリ５に記憶される。
【００５８】
Ｂ．）以下には場面分析を実施し、判定された場面のタイプに応じて使用される画像変形が動的に制御、もしくは選択される方法を記載する。
【００５９】
そのために好適には画像が検査される３つの異なる場面タイプが定義される。しかし、基本的により多くの場面タイプを定義できる。
【００６０】
ここに例示する場面のタイプはクローズアップ画面Ｎ、広角画面Ｗ、および中間画面（標準画面）Ｍである。
【００６１】
クローズアップ画面の場合、被写体は画像の中心点に置かれ、画像の大部分を中心点から覆う。この場合、変形（転換）用には球投影が最適である。それによって、画像の中心が画像から浮き出るように見える一定の「ポップアウト」効果が達成される。
【００６２】
広角画面の場合は、風景画面である場合が多い。この場合は、一般にチルト変形によって最良の三次元効果が得られる。
【００６３】
ある一定距離を隔てたカメラによってフォローされる画像中心部の被写体群（標準、もしくは中間画面）の場合は、一般に球面−チルト変形が最良の三次元の印象を生じる。
【００６４】
以下の規定では先ずＰをＰ：＝０．２（０≦Ｐ≦０．５）の定められた定数とする。
【００６５】
１．）場面タイプ「クローズアップ画面」（Ｎ）の規定：
ｘNを、例えば全体画像ｘGの全画素の６０％を占める画像の中心領域の現在の画像の方形の部分画像とする。
【００６６】
δG2を全体画像ｘGの二乗平均平方根偏差（分散）＝ｘ（ｉ，ｊ）とし、さらにδN2を部分画像ｘNの二乗平均平方根偏差（分散）とする。δN2≦ＰδG2である場合は、場面タイプ標準画面Ｎが確定される。その際は下記が当てはまる。
【００６７】
【数１】
2005510922.tif 000003
【００６８】
２．）場面タイプ「標準または中間画面」（Ｍ）の規定：
ｘNを、例えば全体画像ｘGの全画素の４０％を占める画像の中心領域の現在の画像の方形の部分画像とする。
【００６９】
δG2を全体画像ｘGの二乗平均平方根偏差（分散）＝ｘ（ｉ，ｊ）とし、さらにδM2を部分画像ｘNの二乗平均平方根偏差（分散）とする。δM2≦ＰδG2である場合は、場面タイプ中間画面Ｍが確定される。その際は下記が当てはまる。
【００７０】
【数２】
2005510922.tif 000004
【００７１】
３．）場面タイプ「広角画面」（Ｗ）の規定：
ｘ1およびｘ2を左上もしくは右上画像領域の２つの方形部分画像とし、ｙ1およびｙ2を左下もしくは右下画像領域の２つの方形部分画像とする。さらに、Ｘ画像領域間の相互相関の絶対値を
【００７２】
【数３】
2005510922.tif 000005
とし、
Ｙ画像領域間の相互相関の絶対値を
【００７３】
【数４】
2005510922.tif 000006
と定義する。ｋx≧１−Ｐおよび、ｋy≧１−Ｐが当てはまる場合は、Ｘ領域とＹ領域は高度に相関している。これは場面タイプ、広角画面Ｗとして定義される。
【００７４】
Ｃ．）画像変形を利用する場合は、場面タイプを先行の場面タイプに対して変更する際に、割当てられた変形機能間で簡単には切り換えられないことを考慮する必要がある。これはすなわち、視聴者には中断、もしくは「緩慢な画面」、または「跳ねる画面」と感じられよう。
【００７５】
この場合はむしろ、遷移機能によって、先行する変形を、約２ないし３画像にわたって配分して比較的平滑に、もしくは連続的に新たな変形へと移行させるようにすることが好ましい。それによって変形が新たな画像コンテンツに動的に適応される。
【００７６】
そのために、「古い」変形から別の「新しい」変形へと移行するごとに、例えばこれも画像変形メモリ５に記憶される遷移変形が規定される。このような遷移変形は所定数Ｋの遷移行列によって構成され、その値は好適には各々の画素ごとに古い変形と新たな変形用に記憶されている移動値の線形補間によって計算され、かつ記憶される。
【００７７】
それによって、場面タイプの変更時には、場面タイプが変更された伝送画像には、Ｋ個の遷移行列によって定義される遷移変形と、判定された新たな場面タイプに割当てられた後続の新たな変形とから構成された遷移機能が施される。この場合、その間に導出された場面分析の更なる結果は、遷移機能の使用中は考慮されないままに留められる。
【００７８】
例えば、伝送されたばかりの画像の場面タイプが「広角画面」であり、一方、以前に伝送された画像が場面タイプ「クローズアップ画面」であった場合から想定してみよう。その結果、クローズアップ画面に割当てられた（古い）画像変形「球」が広角画面に割当てられた（新たな）画像変形「チルト」へと切り換えられる。さらに、数値Ｋ＝２、ひいては２つの遷移行列が確定されよう。
【００７９】
したがって新たな画像変形が利用される前に、伝送されたばかりの画像に第１の遷移行列を適用し、引き続いて、ともに遷移変形を構成する第２の遷移行列を次の画像に適用する必要がある。
【００８０】
遷移行列を含み、それぞれが画素用の遷移移動を示す個々の値は、遷移行列の数Ｋに対応する古い画像変形（球）と新たな画像変形（チルト）の線形補間から生ずる。例えば、画素にとって古い画像変形の移動値が０であり、新たな画像変形の移動値が６．０である場合、この画素用のＫ＝２とすると第１の遷移行列での移動値は２．０となり、第２の遷移行列での移動値は４．０となる。
【００８１】
場面タイプ間の、ひいてはそれぞれ割当てられている変形間の可能なあらゆる遷移用に、全ての遷移行列を事前に計算し、画像変形メモリ５に記憶しておくことができる。
【００８２】
その際に配慮すべきは、第１の変形から第２の変形への遷移のために記憶されている遷移行列は第２の変形から第１の変形への遷移の場合は、伝送される画像に逆の順序で利用できることである。
【００８３】
図３は本発明による方法のフローチャートを示している。
【００８４】
装置に電源を入れた後の第１のステップ１０によって、先ず画像変形装置４で、第１の状態「現在の変形」が、例えば円筒形変形である利用可能な変形として開始時変形に確定される。その後、第２のステップ１１で、第２の状態「新たな変形」が、これも例えば円筒形変形である標準変形、またはデフォルト変形（Ｄｅｆａｕｌｔ−Ｄｅｆｏｒｍａｔｉｏｎ）に設定され、引き続いて場面分析装置３を使用して、上記の記述のとおり現在の（伝送された）画像の場面タイプが判定される。
【００８５】
その後、第３のステップ１２によって場面タイプとしてクローズアップ画面Ｎが判定されたか否かが照会される。そうである場合は、第４のステップ１３によって第２の状態「新たな変形：＝球」が設定され、（第９の）ステップ１８に進む。
【００８６】
第３のステップ１２での照会の返答が否であった場合は、第５のステップ１４で、場面タイプとして中間画面Ｍが判定されたか否かが照会される。そうである場合は、第６のステップ１５によって第２の状態「新たな変形：＝球面−チルト」が設定され、（第９の）ステップ１８に進む。
【００８７】
第５のステップ１４での照会の返答が否であった場合は、第７のステップ１６で、場面タイプとして広角画面Ｗが判定されたか否かが照会される。そうである場合は、第８のステップ１７によって第２の状態「新たな変形：＝チルト」が設定され、第９のステップ１８に進む。
【００８８】
第７のステップ１６での照会の返答も否であった場合は、第９のステップ１８に進み、第１と第２の状態で設定された変形が同一であるか否かが照会される。
【００８９】
これらのステップ１１から１８は場面分析装置３によって実行される。
【００９０】
第９のステップ１８の照会に対する返答が肯定的である場合は、第１０のステップ１９によって現在の画像に画像変形装置４によって（不変の）画像変形がなされ、第２の画像列の画像として出力される。その後、方法の手順は第２のステップ１１によって次の画像向けに繰り返される。
【００９１】
第９のステップ１８の照会に対する返答が否である場合は、遷移機能が利用され、第１１のステップ２０によって先ずカウンタの数値ｋがｋ：＝０に設定される。
【００９２】
引き続いて第１２のステップ２１で、画像メモリ１の現在の画像が第１の遷移行列を用いて変形され、第２の画像列の画像として出力される。さらに、カウンタの値が１だけ増分される（ｋ：＝ｋ＋１）。その後、第１３のステップ２２でカウンタの状態ｋが遷移行列の数Ｋよりも大きいか否かが照会される。
【００９３】
否である場合は、第１２のステップ２１が繰り返され、その時点での現在の画像メモリ１の画像が、後に（第２の）画像列の次の画像として出力されるために第２の（次の）遷移マトリクスによって変形される。
【００９４】
準備された数Ｋの遷移行列が使用された後、遷移変形を終了するために、現在の画像にステップ１３、１５、または１７で設定された新たな画像変形が施され、カウンタ状態が再び１の値だけ増分される。第１３のステップ２２でなされる照会は肯定で返答されるので、第１４のステップ２３に進み、そこで第１の状態「現在の変形」が新たな変形に設定される。引き続いて、第２のステップ１１に戻ることによって次に伝送される画像についてこの方法が繰り返される。
【００９５】
図１に示されている装置は好適には、二次元で伝送され、または記憶された画像の三次元再生を生成するためのデジタル画像処理システム内に実装されている。
【００９６】
記載してきた方法は好適には、コンピュータ、特にマイクロプロセッサ・ユニットによる方法ステップを実施するため、プログラム・コード手段を有する１つまたは複数のコンピュータ・プログラムの形式で実施される。
【００９７】
この方法は、プログラム可能なマイクロプロセッサ・ユニットのメモリにロードされ、もしくはデジタル画像処理システムの構成部品（単数または複数）であるコンピュータで実施される場合には、方法ステップを実現するための機械読出し可能な媒体に記憶されたプログラム・コード手段を有するコンピュータ・プログラム製品として実施されることもできる。
【図面の簡単な説明】
【００９８】
【図１】本発明による回路構成の概略回路図である。
【図２】球投影による変形を説明するための概略図である。
【図３】本発明による方法のフローチャートである。
【図１】
2005510922.tif 000007
【図２】
2005510922.tif 000008
【図３】
2005510922.tif 000009
【手続補正書】
【提出日】平成15年3月24日(2003.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
二次元画像列からなる三次元（３Ｄ）画像を生成する方法であって、二次元画像がクローズアップ画面、または標準画面（中間画面）、または広角画面として確定された少なくとも１つの場面のタイプに関して分析され、判定された場面のタイプに割当てられた変形で二次元画像が変形され、少なくとも１つのビュー・チャネルに送られ、場面のタイプであるクローズアップ画面には球面変形が、場面のタイプである標準画面には球面−チルト変形が、また場面のタイプである広角画面にはチルト変形が割当てられることを特徴とする方法。
【請求項２】
前記球面変形の場合は変形される画像の画素が画像の中心点と同心に外側に歪ませられることを特徴とする請求項１に記載の方法。
【請求項３】
前記球面−チルト変形の場合は変形される画像の画素が上から下に、また同時に該画像の中心点と同心に歪み、伸張されることを特徴とする請求項１に記載の方法。
【請求項４】
前記チルト変形の場合は変形される画像の画素が水平に継続的に上方から下方に漸次伸張されることを特徴とする請求項１に記載の方法。
【請求項５】
前記場面のタイプのうちクローズアップ画面には球変形が割当てられ、変形された画像への異なる視角によって第１および第２のビュー・チャネルが与えられることを特徴とする請求項１に記載の方法。
【請求項６】
前記場面のタイプのうち広角画面には円筒形変形が割当てられ、変形された画像への異なる視角によって第１および第２のビュー・チャネルが与えられることを特徴とする請求項１に記載の方法。
【請求項７】
少なくとも１つのビュー・チャネル用に変形がなされた前記二次元画像は、プリセット可能な数の連続画像の補間によって得られた画像であることを特徴とする前記請求項のいずれか一項に記載の方法。
【請求項８】
先行の第１の画像に対して第２の画像の場面のタイプを変更する際に、該第２の画像に遷移機能が施され、それによって、該第２の画像は不自然な画像の印象を避けるために先行する場面のタイプに割当てられた変形から連続的に、新規の場面のタイプに割当てられた変形に適応されることを特徴とする請求項１に記載の方法。
【請求項９】
前記遷移機能は所定数Ｋの遷移変形、ならびに新規の画像変形によって形成され、前記遷移変形は各々の画素ごとの先行の変形と新規の変形との線形補間によって判定されることを特徴とする請求項９に記載の方法。
【請求項１０】
供給された画像を少なくとも１つの部分画像の画定によって場面分析し、前記部分画像と全体画像とを比較する装置（３）と、前記場面タイプと、各々の該場面タイプに割当てられた少なくとも１つの変形とを記憶するための画像変形メモリ（５）とを備えたことを特徴とする前記請求項のいずれか一項に記載の方法を実施する装置。
【請求項１１】
前記場面分析装置（３）は、前記全体画像の中心領域に可変的な大きさの部分画像を画定し、かつ前記部分画像ならびに前記全体画像の平均二次標準偏差を判定して、そこから場面のタイプ、クローズアップ画面または標準画面を判定するために備えられていることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記場面分析装置（３）は、前記全体画像の周辺領域に複数の部分画像を画定し、かつ様々な画像領域間の相関関係の絶対量を判定して、そこから場面のタイプ、広角画面を判定するために備えられていることを特徴とする請求項１０に記載の装置。
【請求項１３】
２つの変形間の各遷移に割当てられる遷移変形を記憶する画像変形メモリ（５）を備えたことを特徴とする請求項１０に記載の装置。
【請求項１４】
プログラムがコンピュータで実行される場合に、請求項１から９のいずれか一項に記載の方法の工程を実施するためのプログラム・コード手段を有するコンピュータ・プログラム。
【請求項１５】
コンピュータ読出し可能なデータ媒体に記憶される請求項１４に記載のプログラム・コード手段を有するコンピュータ・プログラム。
【請求項１６】
プログラムがコンピュータで実行される場合に、請求項１から９のいずれか一項に記載の方法の工程を実施するための、機械読出し可能な媒体に記憶されているプログラム・コード手段を有するコンピュータ・プログラム製品。
【請求項１７】
二次元で伝送され、または記憶された画像の三次元再生を生成するためのデジタル画像処理システムであって、請求項１０から１３のいずれか一項に記載の装置を特徴とするシステム。
【国際調査報告】
2005510922.tif 000010
2005510922.tif 000011
2005510922.tif 000012
2005510922.tif 000013