(57)【要約】本発明は、複数の連続画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）から成る動画像列からパノラマ画像（３）を生成するための方法および装置に関する。その方法は以下の連続する工程を含む：‐第一および第二部（４０，４２）を有する現行画像（Ｉ１，Ｉｋ）を入力端子（４）で受信する工程；‐現行画像の画素が、規定の閾値（Ｎ）よりも小さい多くの画像成分の加重和に由来する成分に関するものである場合に、現行画像（Ｉ１，Ｉｋ）の特定画素に関する成分の加重和、および、いわゆる前混合画像の対応画素に関する成分の加重和から導き出された成分を計算する工程。
2009534772.tif 000002
【特許請求の範囲】
【請求項１】
複数の連続画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）で構成されている動画像列からパノラマ画像（３）を生成する方法であって、各画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）が輝度成分およびクロミナンス成分に関する画素を少なくとも一画素含み、前記方法がゼロに等しい成分に関する画素を有するパノラマ構造（１８）を含む装置（２）によって実行され、連続する工程：
ａ）前混合画像と呼ばれる画像（Ｐ０，Ｐｋ−１）の画素に初期値がゼロの成分を割り当て、前記前混合画像（Ｐ０，Ｐｋ−１）を前記パノラマ構造（１８）に記憶する工程（２４）と；
ｂ）第一部（４０）および第二部（４２）を有する現行画像（Ｉ１，Ｉｋ）を前記前混合画像（Ｐ０，Ｐｋ−１）に関して前記パノラマ構造（１８）に置く工程であって、前記現行画像（Ｉ１，Ｉｋ）の第一領域（４１）の画素が前記前混合画像（Ｐ０，Ｐｋ−１）の領域の画素と一致し、前記現行画像（Ｉ１，Ｉｋ）の第二領域（４３）の画素が前記パノラマ構造（１８）の領域の画素と一致する工程と；
ｃ）前記現行画像（Ｉ１，Ｉｋ）の前記第一部（４０）および前記第一領域（４１）に属する画素（５８）を特定する工程（５２）と；
ｄ）各特定画素（５８）について、前記特定画素が、規定の閾値（Ｎ）よりも小さい多くの画像成分の加重和に由来の成分に関するものである場合、
‐前記現行画像（Ｉ１，Ｉｋ）の前記特定画素に関する成分の前記加重和、および前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に関する成分の前記加重和から導き出された成分を計算する工程（５４）および
‐成分を前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程（５６）と；
ｅ）前記現行画像（Ｉ１，Ｉｋ）の前記第二部（４２）および前記第二領域（４３）に属する各画素（６２）について、前記パノラマ構造（１８）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、前記現行画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程（６０）と；
ｆ）前記現行画像（Ｉ１，Ｉｋ）の前記第二部（４２）および前記第一領域（４１）に属する各画素（６４）について、前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程（６３）と；
ｇ）前記第一部（４０）および前記第二領域（４３）に属する各画素（６６）について、前記パノラマ構造（１８）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程と；
ｈ）前記現行混合画像（Ｐ１，Ｐｋ）の画素を前記前混合画像（Ｐ０，Ｐｋ−１）の画素とみなし、前記工程ｂ）〜ｈ）を停止条件（６７）が満たされるまで繰り返す工程とを含む方法。
【請求項２】
請求項１に記載の方法であって：
ｉ）前画像（Ｉ０，Ｉｋ−１）を考慮する工程と；
ｊ）前記前画像（Ｉ０，Ｉｋ−１）と前記現行画像（Ｉ１，Ｉｋ）との間の動きを示す大域的動きベクトル（Ｕ０，Ｕｋ−１）を計算する工程において、前記前混合画像（Ｐ０，Ｐｋ−１）に関して、前記現行画像（Ｉ１，Ｉｋ）が前記大域的動きベクトル（Ｕ０，Ｕｋ−１）に応じて前記パノラマ構造（１８）に置かれる工程（３４）とを含む、請求項１に記載の方法。
【請求項３】
前記前混合画像（Ｐ０，Ｐｋ−１）の前記第一部（４０）の画素および前記現行画像（Ｉ１，Ｉｋ）の前記第一部（４０）の画素に関する成分が、前記現行混合画像（Ｐ１，Ｐｋ）の重量と同一である、請求項１または２に記載の方法。
【請求項４】
前記現行混合画像成分（Ｐ１，Ｐｋ）の画素に関する成分が、工程ｅ）において以下の関係式：
【数１】
2009534772.tif 000007
（式中、
‐（ｘ，ｙ）は画素の座標；
‐Ｐｋは前記現行混合画像の画素に割り当てられた成分；
‐Ｐｋ−１は前記前混合画像の画素に関する成分；
‐Ａｋは前記前混合画像の画素に成分が割り当てられた回数；かつ
‐Ｉｋは現行画像の画素に関する成分である。）
から得られる、請求項１〜３の何れか一項に記載の方法。
【請求項５】
請求項１〜４の何れか一項に記載の方法において：
‐エイジストラクチャ（Ａ０，Ａｋ）を生成する工程であって、前記エイジストラクチャ（Ａ０，Ａｋ）の各値が前記パノラマ構造（１８）または前記前混合画像の画素に一致し、各値が、前記パノラマ構造（１８）または前記前混合画像の画素に成分が割り当てられた回数を示す工程（２６，３８）と；
‐工程ｈ）の後に前記エイジストラクチャ（Ａ０，Ａｋ）を最新化する工程（３８）と；
‐前記エイジストラクチャ（Ａ０，Ａｋ）の値が前記閾値（Ｎ）より大きい場合に、前記エイジストラクチャ（Ａ０，Ａｋ）を走査する工程（５０）と；
‐前記現行画像（Ｉ１，Ｉｋ）の画素が前記閾値（Ｎ）より小さい値に対応する位置において、前記現行画像（Ｉ１，Ｉｋ）が前記パノラマ構造（１８）内に置かれるまで、前記工程ｂ）およびｃ）を繰り返す工程とを含む、請求項１〜４の何れか一項に記載の方法。
【請求項６】
前記第一部（４０）と前記第二部（４２）との間の境界が、前記パノラマ構造（１８）内での前記現行画像（Ｉ１，Ｉｋ）の位置決め（３８）について変化する、請求項１〜５の何れか一項に記載の方法。
【請求項７】
前記動画像列の全ての画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）に適用される、請求項１〜６の何れか一項に記載の方法。
【請求項８】
前記前画像および前記現行画像（Ｉ１，Ｉｋ）を二値化する工程（２８，３２）を含み、前記大域的動きベクトル（Ｕ０，Ｕｉ）を計算する工程（３４）が前記二値化画像上で実行される、請求項２〜７の何れか一項に記載の方法。
【請求項９】
生成された前記パノラマ画像（３）の上下の境界を切断する工程（７０）を含む、請求項１〜８の何れか一項に記載の方法。
【請求項１０】
複数の連続画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）で構成されている動画像列からパノラマ画像を生成する装置（２）であって、各画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）が輝度成分およびクロミナンス成分に関する画素を少なくとも一画素含む装置（２）において：
‐初期値がゼロの成分に関する画素を有するパノラマ構造（１８）と；
‐前混合画像と呼ばれる画像（Ｐ０，Ｐｋ−１）の画素に初期値がゼロの成分を割り当て、前記前混合画像（Ｐ０，Ｐｋ−１）を前記パノラマ構造（１８）に記憶する（２４）計算ブロック（８）と；
‐第一部（４０）および第二部（４２）を有する現行画像（Ｉ１，Ｉｋ）を受信する（３０）入力端子（４）とを含み；
前記計算ブロック（８）は、前記前混合画像（Ｐ０，Ｐｋ−１）に関して前記パノラマ構造（１８）に前記現行画像（Ｉ１，Ｉｋ）を置く（３８）よう構成され、前記現行画像（Ｉ１，Ｉｋ）の第一領域（４１）の画素が前記前混合画像（Ｐ０，Ｐｋ−１）の領域の画素と一致し、前記現行画像（Ｉ１，Ｉｋ）の第二領域（４３）の画素が前記パノラマ構造（１８）の領域の画素と一致し；
前記計算ブロック（８）は、前記現行画像（Ｉ１，Ｉｋ）の前記第一部（４０）および前記第一領域（４１）に属する画素（５８）を特定するよう構成され；
各特定画素（５８）について、前記計算ブロック（８）は、前記特定画素が規定の閾値（Ｎ）よりも小さい多くの画像成分の加重和に由来の成分に関するものかどうかをチェックする（５０）ことができ；
前記計算ブロック（８）は、前記現行画像（Ｉ１，Ｉｋ）の特定画素に関する成分および前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に関する成分の前記加重和から導き出された成分を計算する（５４）よう構成され、成分を前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に割り当て（５６）、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成され；
前記現行画像（Ｉ１，Ｉｋ）の前記第二部（４２）および前記第二領域（４３）に属する各画素（６２）について、前記計算ブロック（８）は、前記パノラマ構造（１８）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て（６０）、前記現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得ることができ；
前記現行画像（Ｉ１，Ｉｋ）の前記第二部（４２）および前記第一領域（４１）に属する各画素（６４）について、前記計算ブロック（８）が前記前混合画像（Ｐ０，Ｐｋ−１）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て（６３）、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成されており；
前記第一部（４０）および前記第二領域（４３）に属する各画素（６６）について、前記計算ブロック（８）が、前記パノラマ構造（１８）の対応画素に前記現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て（６５）、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成されており、前記計算ブロックが、前記現行混合画像（Ｐ１，Ｐｋ）の画素を前記前混合画像（Ｐ０，Ｐｋ−１）の画素とみなすよう構成されている、動画像列からパノラマ画像を生成する装置（２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像列からパノラマ画像を生成する方法およびその生成方法の実行に用いる対応装置に関する。
【背景技術】
【０００２】
パノラマ画像は一般的に、動画像から抽出された複数の画像を一直線に並べ統合することによって得られる。そのため、画像を整列、統合させるためにモザイク法が発達してきた。モザイク法はコンピュータのオフラインで実行される。モザイク法は非常に効率的であるが、かなり複雑でコンピュータを駆使したものである。したがって、これらの方法を携帯電話、キーリングまたは携帯情報端末のようなメモリ容量およびエネルギー容量の小さい携帯機器で実行することは難しい。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、小さいメモリ容量およびエネルギー容量でパノラマ画像を生成する新しい方法を開発することが望ましい。
【課題を解決するための手段】
【０００４】
そこで、本発明は、動画像列からパノラマ画像を生成する方法を提供するものであって、その動画像列は複数の連続画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）から成り、各画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）が輝度成分およびクロミナンス成分に関する画素を少なくとも一画素含んでおり、その方法はゼロに等しい成分に関する画素を有するパノラマ構造を含む装置によって実行され、以下の連続する工程を含む：
ａ）前混合画像と呼ばれる画像（Ｐ０，Ｐｋ−１）の画素に初期値がゼロの成分を割り当て、前混合画像（Ｐ０，Ｐｋ−１）をパノラマ構造に記憶する工程と；
ｂ）第一部および第二部を有する現行画像（Ｉ１，Ｉｋ）を前混合画像（Ｐ０，Ｐｋ−１）に関してパノラマ構造に置く工程で、現行画像（Ｉ１，Ｉｋ）の第一領域の画素が前混合画像（Ｐ０，Ｐｋ−１）の領域の画素と一致し、現行画像（Ｉ１，Ｉｋ）の第二領域の画素がパノラマ構造の領域の画素と一致する工程と；
ｃ）現行画像（Ｉ１，Ｉｋ）の第一部および第一領域に属する画素を特定する工程と；
ｄ）各特定画素について、特定画素が、規定の閾値（Ｎ）よりも小さい多くの画像成分の加重和に由来の成分に関するものである場合、
‐現行画像（Ｉ１，Ｉｋ）の特定画素に関する成分の加重和、および前混合画像（Ｐ０，Ｐｋ−１）の対応画素に関する成分の加重和から導き出された成分を計算する工程および
‐成分を前混合画像（Ｐ０，Ｐｋ−１）の対応画素に割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程と；
ｅ）現行画像（Ｉ１，Ｉｋ）の第二部および第二領域に属する各画素について、パノラマ構造の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程と；
ｆ）現行画像（Ｉ１，Ｉｋ）の第二部および第一領域に属する各画素について、前混合画像（Ｐ０，Ｐｋ−１）の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程と；
ｇ）第一部および第二部に属する各画素について、パノラマ構造の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得る工程と；
ｈ）現行混合画像（Ｐ１，Ｐｋ）の画素を前混合画像（Ｐ０，Ｐｋ−１）の画素とみなし、上記工程ｂ）〜ｈ）を停止条件が満たされるまで繰り返す工程。
【０００５】
本発明のその他の特徴および有利な点は、従属請求項に記述される。
【０００６】
さらに、本発明は、本発明による上記方法を実行するために、動画像列からパノラマ画像を生成する装置を提供するものであって、その動画列は複数の連続画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）から成り、各画像（Ｉ０，Ｉ１，Ｉｋ−１，Ｉｋ）が輝度成分およびクロミナンス成分に関する画素を少なくとも一画素含んでおり、その装置は以下を含む：
‐初期値がゼロの成分に関する画素を有するパノラマ構造と；
‐初期値がゼロの成分を前混合画像と呼ばれる画像（Ｐ０，Ｐｋ−１）の画素に割り当て、パノラマ構造内に前混合画像（Ｐ０，Ｐｋ−１）を記憶させる計算ブロックと；
‐第一および第二部を有する現行画像（Ｉ１，Ｉｋ）を受信する入力端子；
計算ブロックは、前混合画像（Ｐ０，Ｐｋ−１）に関してパノラマ構造に現行画像（Ｉ１，Ｉｋ）を置くよう構成され、現行画像（Ｉ１，Ｉｋ）の第一領域の画素が前混合画像（Ｐ０，Ｐｋ−１）の領域の画素と一致し、現行画像（Ｉ１，Ｉｋ）の第二領域の画素がパノラマ構造の領域の画素と一致し；
計算ブロックが、現行画像（Ｉ１，Ｉｋ）の第一部および第一領域に属する画素を特定するよう構成され；
各特定画素について、計算ブロックは特定画素が規定の閾値（Ｎ）よりも小さい多くの画像成分の加重和に由来の成分に関するものかどうかをチェックすることができ、
計算ブロックは、現行画像（Ｉ１，Ｉｋ）の特定画素に関する成分および前混合画像（Ｐ０，Ｐｋ−１）の対応画素に関する成分の加重和から導き出された成分を計算するよう構成され、さらに、その成分を前混合画像（Ｐ０，Ｐｋ−１）の対応画素に割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成され；
現行画像（Ｉ１，Ｉｋ）の第二部および第二領域に属する各画素について、計算ブロックは、パノラマ構造の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得ることができ；
現行画像（Ｉ１，Ｉｋ）の第二部および第一領域に属する各画素について、計算ブロックが前混合画像（Ｐ０，Ｐｋ−１）の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成されており；さらに
第一部および第二領域に属する各画素について、計算ブロックが、パノラマ構造の対応画素に現行画像（Ｉ１，Ｉｋ）の画素に関する成分を割り当て、現行混合画像（Ｐ１，Ｐｋ）の画素に関する成分を得るよう構成されており、計算ブロックが、現行混合画像（Ｐ１，Ｐｋ）の画素を前混合画像（Ｐ０，Ｐｋ−１）の画素とみなすよう構成されている。
【０００７】
本発明のこれらおよびその他の態様は次の記述、図面から、そして請求項から明らかになるであろう。
【発明を実施するための最良の形態】
【０００８】
本発明による方法および装置について、左から右の方向に写すカメラによって動画像列が得られた例を用いて記述する。しかしながら、本発明による解決策は、以下に定義する複製領域および混合領域を単純に左右にミラーリングすることによって、右から左の方向に写された動画像列にも応用できる。
【０００９】
図１を参照すると、パノラマ画像３を生成する装置２が例示されている。装置２は、動画像列の連続画像Ｉ０，Ｉ１…Ｉｋ−１，Ｉｋ，Ｉｋ＋１などを受信する入力端子４および生成パノラマ画像３を例えばカメラまたはテレビのディスプレイ画面のような表示装置に送信する出力端子６を含む。動画像列の画像Ｉ０，Ｉ１は、列および行の中に配置されたマトリクス上の画素を含む。画像の各画素は座標系Ｒｘ、Ｒｙの座標ｘ、ｙによって定義され、さらに輝度成分および２種のクロミナンス成分によって定義される。
【００１０】
例えばマイクロプロセッサによって構成される装置２は、計算ブロック８および二値化ブロック１０を含み、これら両方が入力端子４に接続されている。さらに、動き推定ブロック１２は二値化ブロック１０および計算ブロック８に接続されている。装置２は、計算ブロック８に連結した一時メモリ１４、計算ブロック８に接続されたパノラマメモリ１７ならびにパノラマメモリ１７および出力端子６に連結した切断ブロック２０を含む。一時メモリ１４およびパノラマメモリ１７は、例えばＲＡＭメモリまたはＥＥＰＲＯＭメモリである。
【００１１】
一時メモリ１４は、計算ブロック８によって導き出されたエイジストラクチャＡｋを記憶するよう構成されている。エイジストラクチャＡｋは、座標系Ｒｘ、Ｒｙを含む。エイジストラクチャＡｋの左上隅の値は、座標系の原点にある。
【００１２】
パノラマメモリ１７はパノラマ構造１８を含む。パノラマ構造１８によって前に受信した画像を単一統合されたパノラマ画像へ記憶することができる。本明細書で後述するように、パノラマ画像３は、新しく入ってくる画像およびパノラマ構造内にすでにある統合、記憶された画像を着実に統合することによって、パノラマ構造１８内で次第に生成される。
【００１３】
エイジストラクチャＡｋの座標系Ｒｘ、Ｒｙと同一の座標系Ｒｘ、Ｒｙは、パノラマ構造１８と関連付けられている。エイジストラクチャＡｋの左上隅の値は、この座標系の原点にもある。これら座標系Ｒｘ、Ｒｙにおいて、エイジストラクチャＡｋの値は、エイジストラクチャＡｋの値の座標と同一の座標を有するパノラマ構造１８の画素で統合される画像の数を示す。
【００１４】
エイジストラクチャＡｋは、パノラマ構造１８において統合、記憶された画像の数と位置を反映する。パノラマ構造１８において統合された画像は右方向（カメラの動きの方向）に移動するので、統合された画像数は均一でなく、パノラマ構造１８の画素位置による。
【００１５】
図２〜６に示されるように、パノラマ画像３を生成するために装置２で実行される方法は、動画像列の２枚の第一画像Ｉ０，Ｉ１上で実行される一連の第一工程２２〜２８および動画像列の各後続画像Ｉｋ，Ｉｋ＋１上で実行される一連の第二工程３０〜６０を含む。これら第二工程３０〜６０は、パノラマ構造１８において統合、記憶される画像が最終パノラマ画像３に認められる最大幅Ｌに対応する規定の幅になるまで、動画像列の各画像に繰り返し実行される。
【００１６】
本方法は、動画像列の一連の連続画像Ｉｋ，Ｉｋ＋１から初期画像Ｉ０を受信する第一工程２２で始まる。現行画像Ｉ１は、混合部４０および複製部４２から成っているとされる。図３に見られるように、混合部４０は画像の左側に位置し、複製部４２は右側に位置する。複製部４２は規定幅を有するストライプによって構成され、その幅は例えば現行画像Ｉ１の幅の１／４に等しい。複製部４２は、パノラマ画像を生成する際に画像境界を排他的に使用することを避けるために生成される。パノラマ画像を最新化する際、画像に新たにできる消滅部は常に側部であり、これらの部分は広角レンズまたは口径食のような照度作用によって歪曲していることが多い。
【００１７】
工程２４において、入力端子４から受信した初期画像Ｉ０は二値化ブロック１０および計算ブロック８を介してパノラマメモリ１７に送信される。工程２４では、初期画像Ｉ０の各画素に関する成分がメモリ１７のパノラマ構造１８に記憶されるが、図３に概略的に示されるように、初期画像Ｉ０の左上隅の画素が座標系Ｒｘ、Ｒｙの原点に位置する状態になる。パノラマ構造１８に記憶された初期画像Ｉ０は、前混合画像Ｐ０と見なされる。
【００１８】
工程２６において、計算ブロック８はエイジストラクチャＡ０を導き出し、それを一時メモリ１４に記憶する。エイジストラクチャＡ０は、パノラマ構造１８において統合、記憶された画像の数を示す値から成る。画像の一画素に対応する一つの値がパノラマ構造１８に記憶される。初期画像Ｉ０の第一部４０の画素に対応するエイジストラクチャＡ０の値は１である。初期画像Ｉ０の第二部４２の画素に対応するエイジストラクチャＡ０の値は０となる。
【００１９】
工程２８において、二値化ブロック１０は、受信した第一画像Ｉ０から二値画像を生成する。その後、得られた二値画像は動き推定ブロック１２に送信される。有利には、一画素の画像が生成される。一画素の画像はメモリの制約を大幅に削減するからである。周知のように、二値画像を生成するために、参照ブロックとその他のブロックとの間で排他的論理和を用いて差分絶対値和（ＳＡＤ）が計算される。
【００２０】
例えば、グレイコードのビットプレーン分解は、次の方法：
【数２】
2009534772.tif 000003
（式（１）中：
‐Ｆ（ｘ，ｙ）は（ｘ，ｙ）位置にある画素の輝度値であり、
‐ａｋは０または１の何れかであり、かつ
‐Ｎは輝度成分を示す画素の数である。）
で実行される。
第４グレイビットコードｇ４は、次の方程式：
【数３】
2009534772.tif 000004
から算出される。
【００２１】
工程３０において、第二画像Ｉ１が装置２の入力端子４から受信され、二値化ブロック１０および計算ブロック８に同時に送信される。第二画像Ｉ１を、以下の記述では現行画像と呼ぶ。
【００２２】
工程３２において、二値化ブロック１０が現行画像Ｉ１を二値化し、得られた画像を動き推定ブロック１２に送信する。
【００２３】
工程３４において、動き推定ブロック１２が、二値化された第一画像および現行画像から大域的動きベクトルＵ０を計算する。大域的動きベクトルＵ０は第一画像Ｉ０と現行画像Ｉ１との間の動きを示す。その後、大域的動きベクトルＵ０が計算ブロック８に送信される。２枚の連続画像間の大域的動きベクトルＵ０を得るために、異なる方法を用いることもできる。
【００２４】
その一つの方法は、画像Ｉ０および後続画像Ｉ１を考慮し、これら連続画像のマクロブロックの一連の動きベクトルを計算することにある。各動きベクトルは、画像Ｉ０から後続画像Ｉ１へのベクトルの移動を各マクロブロック（一般に、各マクロブロックは画像の１６×１６画素から成る。）の中で示す。
【００２５】
動きベクトルはグループ化され、内部整合性がチェックされ、独立した運動（動いている人または物）を含む領域は排除される。連続画像Ｉ０，Ｉ１の各ペアの動きベクトルの平均値が計算される。この平均ベクトルが大域的動きベクトルＵ０であり、画像Ｉ０とＩ１との間で認識されたカメラの大域的な動きを表す。大域的動きベクトルＵ０は、このように、パノラマ画像３を正しく写像するために考慮される意図的な動き（パノラマ）および非意図的な動き（高頻度ジッタ）との両方を含む。
【００２６】
工程３６において、工程３２で計算された大域的動きベクトルＵ０が、直前に算出された大域的動きベクトルＵ−１に加えられ、現行大域的動きベクトルＵ１を得る。この工程は計算ブロック８によって実行される。本方法の第一反復において、前大域的動きベクトルＵ−１は０である。画像Ｉ０およびＩ１は動画像列の第一画像および第二画像なので、現行大域的動きベクトルＵ１は大域的動きベクトルＵ０と等しい。
【００２７】
本方法の次の反復において、大域的動きベクトルＵｉが、直前に算出された大域的動きベクトルＵｉ−１に加えられ、現行大域的動きベクトルＵｉ＋１が得られる。反復で計算される現行大域的動きベクトルＵｉ＋１は、次の反復で現行大域的動きベクトルＵｉ＋２を計算するための前大域的動きベクトルとされる。
【００２８】
工程３８において、現行画像Ｉ１はパノラマ構造１８中に置かれ、（初期画像Ｉ０である）前混合画像Ｐ０に関して大域的動きベクトルＵ０に相当する数量を動かされる。この位置において、第一領域４１の画素は、前混合画像Ｐ０の前に位置する。第二領域４３の画素は、パノラマ構造１８の前に位置する。
【００２９】
前混合画像の画素の前にある現行画像Ｉ１の画素は、前混合画像の画素と一致し、パノラマ構造の画素の前にある現行画像Ｉ１の画素は、パノラマ構造の画素と一致すると考えられる。つまり、現行画像Ｉ１の各画素は、前混合画像Ｐ０の画素またはパノラマ構造１８の画素と一致する。現行画像Ｉ１の第一領域４１および第二領域４３は、図４に示されるように、第一領域４１の画素が前混合画像の領域の画素と一致し、第二領域４３の画素がパノラマ構造１８の領域の画素と一致する。
【００３０】
工程４４において、エイジストラクチャＡ０は最新化され、エイジストラクチャＡ１になる。そのために、座標系Ｒｘ、Ｒｙの中で同じ座標を有するエイジストラクチャＡ０の値は、第一部４０に属する画素より大きくなる。
【００３１】
前混合画像Ｐ０の第一部４０に重ねられた現行画像Ｉ１の第一部４０の画素に対応する値は２に等しい。空のパノラマ構造１８に重ねられた現行画像Ｉ１の第一部４０の画素に対応する値、および前混合画像Ｐ０の第二部４２に重ねられた画素に対応する値は１に等しい。図５に示されるように、最新のエイジストラクチャＡ１は４６で参照され１に等しい値を有する部分および４８で参照され２に等しい値を有する部分から成る。
【００３２】
工程５０において、計算ブロック８は、現行画像Ｉ１の第一部４０の画素に対応するエイジストラクチャＡ１の値を左から右に走査し、これらの値の何れかが規定の閾値Ｎ（混合値Ｎとも呼ばれる）より大きいかどうかをチェックする。エイジストラクチャＡ１の何れかの値が混合値Ｎよりも大きい場合、計算ブロック８は、第一部４０に対応する位置から、エイジストラクチャＡ１を左から右に、混合値よりも小さく定義された値が見つかるまで走査を続ける。エイジストラクチャＡ１の何れかの値が混合値Ｎより小さいまたはＮに等しい場合、プロセスは工程５２に進む。
【００３３】
工程５２において、計算ブロック８は第一部４０および第一領域４１に属し、混合値Ｎよりも小さいまたはＮに等しい対応値を有する画素を特定する。
【００３４】
工程５４において、計算ブロック８は、現行画像Ｉ１の特定画素に関する成分の加重和、および前混合画像Ｐ０の対応画素に関連する成分の加重和から導き出された成分を計算する。現行画像Ｉ１の第一部４０および第一領域４１に属する各画素に関して、加重和は次の関係式：
【数４】
2009534772.tif 000005
（式中：
‐Ｐ１（ｘ，ｙ）は現行混合画像の画素に関する成分で、その画素は座標系の座標（ｘ，ｙ）に位置し、
‐Ｐ０（ｘ，ｙ）は前混合画像の対応画素に関する成分、
‐Ａ１（ｘ，ｙ）はエイジストラクチャの座標系において座標（ｘ，ｙ）を有する画素に関する値、さらに
‐Ｉ１（ｘ，ｙ）は現行画像の画素に関する成分である。）
から得られる。
【００３５】
本方法のその次の反復に関して、上記の関係式は以下のように一般化される。
【数５】
2009534772.tif 000006
（式中：
‐（ｘ，ｙ）は画素の座標、
‐Ｐｋ（ｘ，ｙ）は現行混合画像の画素に割り当てられた成分、
‐Ｐｋ−１は前混合画像の画素に関する成分、
‐Ａｋは、前混合画像の画素に成分が割り当てられた回数、さらに
‐Ｉｋは現行画像の画素に関する成分である。）
【００３６】
工程５６において、工程５４で得られた成分が前混合画像Ｐ０に割り当てられ、図６に示されるように、現行混合画像の部分５８の画素に関する成分が得られる。
【００３７】
工程６０において、現行画像Ｉ１の第二部４２および第二領域４３に属する各画素について、計算ブロック８は、パノラマ構造１８の対応画素に現行画像Ｉ１の画素に関する成分を割り当て、現行混合画像Ｐ１の部分６２の画素に関する成分が得られる（図６）。
【００３８】
工程６３において、現行画像Ｉ１の第二部４２および第一領域４１に属する各画素について、計算ブロック８は、前混合画像Ｐ０の対応画素に現行画像Ｉ１の画素に関する成分を割り当て、現行混合画像Ｐ１の部分６４の画素に関する成分が得られる（図６）。
【００３９】
工程６５において、現行画像Ｉ１の第一部４０および第二領域４３に属する各画素について、計算ブロック８は、パノラマ構造１８の対応画素に現行画像Ｉ１の画素に関する成分を割り当て、現行混合画像Ｐ１の部分６６の画素に関する成分が得られる（図６）。
【００４０】
工程６７において、計算ブロック１２は、方法の反復毎にパノラマ構造１８で統合、記憶された全ての画像が最終パノラマ画像３が有すべき幅Ｌと等しいかまたはそれより大きいかどうかをチェックする。記憶された画像の幅がパノラマ画像３の幅Ｌより小さい場合、プロセスは工程６８の最中に工程３０に戻る。そうでない場合、プロセスは工程７０に進む（画像Ｉｋがなくなった場合にもこの工程に進む）。
【００４１】
工程７０において、切断ブロック２０は、輝度成分およびクロミナンス成分に関し、座標系Ｒｘ、Ｒｙにおいて最も小さな縦座標ｙおよび最も大きな縦座標ｙを有する画素を探し、生成画像３の上下境界を切断して長方形の写真を得る。
【００４２】
プロセスが新たな反復のために工程３０に戻るとき、計算ブロック８は工程６８でカウンタを増やす。規定回数を反復した後、第一部４０および第二部４２の大きさは、規定の目的に応じて変更される。例えば、混合領域４０は、パノラマ画像３の１／４の幅が生成されるまでは画像の左３／４に対応し、パノラマ画像３の３／４の幅が生成された後には画像の左１／４にまで次第に縮小する。（第二複製部はそれに応じて拡大していく。）別の実施例において、第一部４０および第二部４２の大きさは一定である。改良型の装置では、エイジストラクチャは幅Ｌの画素一列のみから成る。（パノラマ画像の一列の全ての画素は同一のエイジを有すると考えられる。）この場合、ベクトルＵの縦座標ｙは考慮されない。こうすることで、必要メモリを大幅に削減し、パノラマ画像の上下部のみにしか悪影響を与えずにすむ。この上下部は工程７０において切断される。
【００４３】
明らかに、ハードウェアもしくはソフトウェア、または両方のアイテムを用いて上記の機能を実行する方法は多くある。この点について、図面は非常に概略的で本発明の一実施例しか示さない。このように、図１および図２は異なるブロックとして異なる機能を示すが、これはハードウェアまたはソフトウェアの単一アイテムが複数の機能を果たすことを決して排除しない。さらに、ハードウェアもしくはソフトウェアまたは両方のアイテムのアセンブリが機能を実行させるということも排除しない。
【００４４】
ここで前に述べた内容により、詳細な説明が、図面を参照しながら本発明を制限するよりむしろ例解することが明らかになる。添付した請求項の範囲に入る代替装置、代替方法は多くある。請求項中の引用符号は、請求項を制限するものとして解釈されるべきではない。単語“ｃｏｍｐｒｉｓｉｎｇ”は、請求項中に挙げられた要素または工程以外の要素または工程が存在することを排除しない。要素または工程の前に付く単語“ａ”または“ａｎ”は、これらの要素または工程が複数存在することを排除しない。
【図面の簡単な説明】
【００４５】
【図１】動画像列からパノラマ画像を生成する本発明による装置を示す概略ブロック図である。
【図２】本発明による図１の装置で実行されるような方法で、動画像列からパノラマ画像を生成する方法を示す工程図である。
【図３】画像位置をパノラマ構造に示す概略図である。
【図４】現行画像を示す概略図である。
【図５】パノラマ構造内で統合された動画像列の画像数を画素単位で記憶するエイジストラクチャを示す概略図である。
【図６】パノラマ構造内で統合、記憶された第一および第二画像を示す概略図である。
【図１】
2009534772.tif 000008
【図２】
2009534772.tif 000009
【図３】
2009534772.tif 000010
【図４】
2009534772.tif 000011
【図５】
2009534772.tif 000012
【図６】
2009534772.tif 000013
【国際調査報告】
2009534772.tif 000014
2009534772.tif 000015
2009534772.tif 000016