(57)【特許請求の範囲】
【請求項１】
第１画像と第２画像との中間画像を合成する中間画像合成方法であって、
第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および
各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップ、を備え、
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップ、
を備えていることを特徴とする画像合成方法。
【請求項２】
第１画像と第２画像との中間画像を合成する中間画像合成方法であって、
第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、
第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および
各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップ、を備え、        
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップ、
を備えていることを特徴とする画像合成方法。
【請求項３】
画素値調合係数が、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される請求項２に記載の画像合成方法。
【請求項４】
画素値調合係数が、内分比に基づいて算出される請求項２および３のいずれかに記載の画像合成方法。
【請求項５】
第１画像と第２画像との中間画像を合成する中間画像合成装置であって、
第１画像と第２画像との間の幾何変換係数を算出する第１手段、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、および
各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３手段、
を備え、
第１手段は、
第１画像と第２画像との重なり部を抽出する手段、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段、
を備えていることを特徴とする画像合成装置。
【請求項６】
第１画像と第２画像との中間画像を合成する中間画像合成装置であって、
第１画像と第２画像との間の幾何変換係数を算出する第１手段、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、
第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３手段、および
各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４手段、を備え、
第１手段は、
第１画像と第２画像との重なり部を抽出する手段、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段、
を備えていることを特徴とする画像合成装置。
【請求項７】
画素値調合係数が、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される請求項６に記載の画像合成装置。
【請求項８】
画素値調合係数が、内分比に基づいて算出される請求項６および７のいずれかに記載の画像合成装置。
【請求項９】
第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および
各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップをコンピュータに実行させ、
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップ、
を備えていることを特徴とする中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、
第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、  
第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および
各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップをコンピュータに実行させ、
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および
上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップ、
を備えていることを特徴とする中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
画素値調合係数が、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される請求項１０に記載の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
画素値調合係数が、内分比に基づいて算出される請求項１０および１１のいずれかに記載の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００３】
（１）Ｌｕｃａｓ−Ｋａｎａｄｅ法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるＬｕｃａｓ−Ｋａｎａｄｅ法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００４】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の詳細については、文献：  Ｂ．Ｌｕｃａｓ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，”Ａｎ  Ｉｔｅｒａｔｉｖｅ  Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｓｔｅｒｅｏ  Ｖｉｓｉｏｎ，”Ｉｎ  Ｓｅｖｅｎｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ−８１），  ｐｐ．  ６７４−９７９，  １９８１を参照のこと。
【０００５】
以下に、Ｌｕｃａｓ−Ｋａｎａｄｅ法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００６】
【数１】
0003548071.tif 000002
【０００７】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。Ｌｕｃａｓ  とＫａｎａｄｅ（  金出）  は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００８】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ０  （ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ１  （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【０００９】
【数２】
0003548071.tif 000003
【００１０】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１１】
【数３】
0003548071.tif 000004
【００１２】
ここで、ｇ（ｐ）は、Ｉ１  （ｐ）の一次微分である。
【００１３】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１４】
【数４】
0003548071.tif 000005
【００１５】
故にオプティカルフローｖは次式５で求められる。
【００１６】
【数５】
0003548071.tif 000006
【００１７】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１８】
【数６】
0003548071.tif 000007
【００１９】
（２）階層的推定法
Ｌｕｃａｓ−Ｋａｎａｄｅ法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２０】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２１】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２２】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２３】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２４】
ところで、周辺環境を画像に記録し、表示するために動画像が利用されるが、データ量が多いという問題がある。また、動画像は撮像された順にしか表示できないため、対話的な表示方法ができない。そこで、遠隔地の実画像を蓄積し、その３次元空間をウォークスルーするような人工現実感システムが開発されている。
【００２５】
これは、複数の静止画を蓄積し、ユーザの位置とその視線方向に応じて画像を提示するものである。しかしながら、従来の技術では、視線を徐々に変えた際に、動作が不連続になるという問題がある。なぜなら、画像を提示する際に、ユーザの位置とその視線方向に応じて、幾何学的に最近傍の静止画像を選択するため、画像の切り替え時に静止画像間で差異が生じ、結果として、ユーザは不連続にウォークスルーしている印象を受ける。
【００２６】
この差異を少なくするために、密に静止画像を撮像すると、データ量が増える。あるいは、その差異を目立たなくするために、ユーザの位置や視線方向に応じて提示する画像の画素値を各静止画像の重みを変えて、単純に合成することが考えられるが、撮像された対象物が二重に表示されるなど、合成精度が良くない。
【００２７】
【発明が解決しようとする課題】
この発明の目的は、２つの静止画像の中間画像を精度良く合成することができる中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体を提供することにある。
【００２８】
【課題を解決するための手段】
この発明による第１の中間画像合成方法は、第１画像と第２画像との中間画像を合成する中間画像合成方法であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップを備えていることを特徴とする。
【００２９】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００３０】
この発明による第２の中間画像合成方法は、第１画像と第２画像との中間画像を合成する中間画像合成方法であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップを備えていることを特徴とする。
【００３１】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００３２】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００３３】
この発明による第１の中間画像合成装置は、第１画像と第２画像との中間画像を合成する中間画像合成装置であって、第１画像と第２画像との間の幾何変換係数を算出する第１手段、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３手段を備えていることを特徴とする。
【００３４】
第１手段としては、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段を備えているものが用いられる。
【００３５】
この発明による第２の中間画像合成装置は、第１画像と第２画像との中間画像を合成する中間画像合成装置であって、第１画像と第２画像との間の幾何変換係数を算出する第１手段、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２手段、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３手段、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４手段を備えていることを特徴とする。
【００３６】
第１手段としては、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出する手段を備えているものが用いられる。
【００３７】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００３８】
この発明による第１の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、および各画像を中間画像に変換するための幾何変換係数にもとづいて、第１画像と第２画像との中間画像を生成する第３ステップをコンピュータに実行させるための中間画像合成プログラムを記録していることを特徴とする。
【００３９】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００４０】
この発明による第２の中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、第１画像と第２画像との中間画像を合成する中間画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像と第２画像との間の幾何変換係数を算出する第１ステップ、第１画像と第２画像との間の幾何変換係数と所与の内分比とに基づいて、各画像を中間画像に変換するための幾何変換係数をそれぞれ求める第２ステップ、第１画像と第２画像との重なり部の画素値を調合するための画素値調合係数を算出する第３ステップ、および各画像を中間画像に変換するための幾何変換係数および画素値調合係数に基づいて、第１画像と第２画像との中間画像を生成する第４ステップをコンピュータに実行させるための中間画像合成プログラムを記録していることを特徴とする。
【００４１】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、および上記追跡結果に基づいて、第１画像と第２画像との間の幾何変換係数を算出するステップを備えている。
【００４２】
画素値調合係数は、たとえば、中間画像合成後の各画像の重心から画素値調合対象画素までの距離に基づいて算出される。画素値調合係数は、たとえば、内分比に基づいて算出される。
【００４３】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。
【００４４】
中間画像の合成方法を説明する前に、中間画像の合成方法において採用されるオプティカルフロー推定方法について説明しておく。
【００４５】
〔１〕オプティカルフロー推定方法についての説明。
【００４６】
この実施例で採用されるオプティカルフロー推定方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてＬｕｃａｓ−Ｋａｎａｄｅ法が用いられている。
【００４７】
この実施例で採用されるオプティカルフロー推定方法の特徴は、階層構造化したＬｕｃａｓ−Ｋａｎａｄｅ法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００４８】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の長所の一つは、追跡結果が信頼性を持つことである。Ｔｏｍａｓｉと  Ｋａｎａｄｅ  とは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した（Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，”Ｓｈａｐｅ  ａｎｄ  Ｍｏｔｉｏｎ  ｆｒｏｍ  Ｉｍａｇｅ  Ｓｔｒｅａｍｓ：  ａ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ−Ｐａｒｔ  ３  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｐｏｉｎｔ  Ｆｅａｔｕｒｅｓ  ，”ＣＭＵ−ＣＳ−９１−１３２，  Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，  １９９１．）  。
【００４９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００５０】
【数７】
0003548071.tif 000008
【００５１】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λｍｉｎ  と、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００５２】
【数８】
0003548071.tif 000009
【００５３】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００５４】
図５にフローベクトルの膨張処理の様子を示す。
【００５５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００５６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００５７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００５８】
【数９】
0003548071.tif 000010
【００５９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００６０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００６１】
〔２〕中間画像合成装置の説明
【００６２】
以下、図７または図８に示すように、第１画像Ａ１と第２画像Ａ２とから、中間画像Ａ１２を生成するための中間画像合成装置について説明する。
【００６３】
図７の第１画像Ａ１と第２画像Ａ２とは、ユーザ（撮像者）の位置を固定して、ユーザの視線方向のみを変化させた場合に得られた画像である。図８の第１画像Ａ１と第２画像Ａ２とは、ユーザ（撮像者）の視線方向を固定して、ユーザの位置を視線方向に対して平行に前進または後退させることにより得られた画像である。
【００６４】
図９は、中間画像合成装置の構成を示している。
【００６５】
パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６６】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、中間画像合成プログラムが格納されている。中間画像合成プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、中間画像を合成するための２つの静止画像が予め格納されているものとする。
【００６７】
図１０は、中間画像合成プログラムが起動せしめられた場合にＣＰＵ１１によって行われる中間画像合成処理手順を示している。
【００６８】
（Ｉ）  まず、ユーザによって指定された２枚の画像（第１画像Ａ１及び第２画像Ａ２）がメモリ１２に読み込まれる（ステップ１）。
【００６９】
（ＩＩ）次に、第１画像Ａ１と第２画像Ａ２との重なり部の抽出処理が行われる（ステップ２）。この重なり部の抽出処理は、たとえば、ＳＳＤ法（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ
Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関法に基づいて行われる。
【００７０】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１  ，Ｉ２  が生成される。２枚の低解像度画像Ｉ１  ，Ｉ２  の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【００７１】
【数１０】
0003548071.tif 000011
【００７２】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１  ，Ｉ２  が生成される。２枚の低解像度画像Ｉ１  ，Ｉ２  の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【００７３】
【数１１】
0003548071.tif 000012
【００７４】
式１１において、Ｉ１  ￣、Ｉ２  ￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ１  、σ２  は、第１画像Ｉ１  を固定させ、第２画像Ｉ２  をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００７５】
（ＩＩＩ）  次に、特徴点抽出処理が行われる（ステップ３）。つまり、第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λｍｉｎ  （式８参照）の高い部分が特徴点として抽出される。
【００７６】
（ＩＶ）次に、特徴点追跡処理が行われる（ステップ４）。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【００７７】
具体的には、まず、〔１〕で説明したオプティカルフロー推定方法で、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【００７８】
（Ｖ）  次に、上記ステップ４で求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内の各画素を第１画像Ａ１に変換するための幾何変換行列（幾何変換係数）Ｈ２１と、第１画像Ａ１内の各画素を第２画像Ａ２に変換するための幾何変換行列（幾何変換係数）Ｈ１２とを算出する（ステップ５）。
【００７９】
幾何変換行列としては、平面射影変換行列、アフィン変換行列等が用いられる。第１の画像Ａ１上の点Ｉ１  と、点Ｉ１  に対応する第２の画像Ａ２上の点Ｉ２  との関係は、幾何変換行列Ｈ２１、Ｈ１２を用いて、次式１２で表される。
【００８０】
【数１２】
0003548071.tif 000013
【００８１】
ここで、＝は、射影的に等しいことを表す。また、Ｈ１２は、Ｈ２１の逆行列である。
【００８２】
平面射影変換行列は次の数式１３で表される。
【００８３】
【数１３】
0003548071.tif 000014
【００８４】
平面射影変換行列Ｈの未知パラメータ数は、８個であるので、４組以上の対応点があれば、最小２乗法によりこの行列Ｈを求めることができる。
【００８５】
アフィン変換行列は次の数式１４で表される。
【００８６】
【数１４】
0003548071.tif 000015
【００８７】
アフィン変換行列の未知パラメータ数は、６個であるので、３組以上の対応点があれば、最小２乗法によりこの行列Ｈを求めることができる。
【００８８】
（ＶＩ）  次に、第１画像および第２画像を中間画像に変換するため変換行列（幾何変換係数）を算出する（ステップ６）。
【００８９】
まず、第１画像Ｉ１  を中間画像Ｉｉ  に変換するための変換行列Ｈ１ｉを、パーソナルコンピュータ１０に入力された内分比ｘ：ｙを用いて次式１５により算出する。内分比ｘ：ｙは、キーボード２３上の矢印キーの操作、マウス２２の操作、あるいは位置移動や視線変化を抽出する他の装置からパーソナルコンピュータ１０に入力される。
【００９０】
【数１５】
0003548071.tif 000016
【００９１】
次に、第２画像Ｉ２  を中間画像Ｉｉ  に変換するための変換行列Ｈ２ｉを、変換行列Ｈ１ｉを用いて次式１６により算出する。
【００９２】
【数１６】
0003548071.tif 000017
【００９３】
なお、まず、次式１７により、第２画像Ｉ２  を中間画像Ｉｉ  に変換するための変換行列Ｈ２ｉを求めた後、次式１８により、第１画像Ｉ１  を中間画像Ｉｉ  に変換するための変換行列Ｈ１ｉを求めてもよい。
【００９４】
【数１７】
0003548071.tif 000018
【００９５】
【数１８】
0003548071.tif 000019
【００９６】
この段階では、中間画像への変換は行なわないが、第１画像Ｉ１  の中間画像Ｉ１’への変換式は次式１９で表され、第２画像Ｉ２  の中間画像Ｉ２’への変換式は次式２０で表される。
【００９７】
【数１９】
0003548071.tif 000020
【００９８】
【数２０】
0003548071.tif 000021
【００９９】
（ＶＩＩ）  次に、画素値調合の重み（画素値調合係数）を算出する（ステップ７）。
【０１００】
カメラを移動させて複数の画像を撮像した場合、自動露出調整機能が動作することにより、画像間の明るさが異なってしまう。そこで、次式２１に示すように、中間画像Ｉｉ  の画素値Ｐｉ  を、第１画像Ｉ１  の画素値Ｐ１  と、第２画像Ｉ２  の画素値Ｐ２  との単なる画素値の平均で算出することが考えられるが、このようにすると、つなぎ目が目立ってしまう。
【０１０１】
【数２１】
0003548071.tif 000022
【０１０２】
そこで、第１画像と第２画像とが重なる領域では、各画像の画素値を調合する処理を後処理として行なう。画素値調合処理は、両画像の重なり領域の画素値を画像間で滑らかに変化させることにより、明るさの差異を目立たなくさせる処理である。また、この処理は、同時に、幾何学変換による合成誤差も目立たなくさせることができる。
【０１０３】
この実施の形態では、人工現実感システムにおけるユーザの視線や位置が変化する方向に応じて、以下の２つの画素値調合方法のいずれかが自動的に選択される。一方の画素値調合方法は各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する方法であり、他方の画素値調合方法は画像間の内分比に基づいて両画像の重なり領域の画素値を調合する方法である。
【０１０４】
（ａ）各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する方法
【０１０５】
図７に示すように、第１画像Ａ１と第２画像Ａ２とが、ユーザ（撮像者）の位置を固定して、ユーザの視線方向のみを変化させた場合に得られた画像である場合には、各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する。
【０１０６】
まず、第１画像Ｉ１  および第２画像Ｉ２  の重心の位置Ｇ１  、Ｇ２  をそれぞれ求める。第１画像Ｉ１  の重心位置Ｇ１  の中間画像上での位置Ｇ１’を、上記式１９に基づいて求める。同様に、第２画像Ｉ２  の重心位置Ｇ２  の中間画像上での位置Ｇ２’を、上記式２０に基づいて求める。
【０１０７】
次に、第１画像Ｉ１  の４頂点（４隅）の中間画像上での位置を上記式１９に基づいてそれぞれ求める。同様に、第２画像Ｉ２  の４頂点の中間画像上での位置を上記式２０に基づいてそれぞれ求める。これにより、中間画像上における第１画像Ｉ１’の４頂点の位置および第２画像Ｉ２’の４頂点の位置が分かるので、中間画像上において第１画像Ｉ１’と第２画像Ｉ２’との重なり領域を抽出する。
【０１０８】
中間画像での第１画像Ｉ１’と第２画像Ｉ２’との重なり領域内の各画素（画素値調合対象画素）から第１画像Ｉ１’と第２画像Ｉ２’のそれぞれの画像の重心位置Ｇ１’、Ｇ２’までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。
【０１０９】
つまり、中間画像に幾何学変換された第１画像Ｉ１’と第２画像Ｉ２’との重なり領域内の画素値調合対象画素の座標から、中間画像に幾何学変換された第１画像Ｉ１’の重心位置Ｇ１’までのユークリッド距離をｄ１  、中間画像に幾何学変換された第２画像Ｉ２’の重心位置Ｇ２’までのユークリッド距離をｄ２  とすると、画素値調合対象画素における第１画像Ｉ１’の画素値に対する重みｗ１  および第２画像Ｉ２’の画素値に対する重みｗ２  は、次式２２で表される。
【０１１０】
【数２２】
0003548071.tif 000023
【０１１１】
各画素値調合対象画素に対して式２２に基づいて重みｗ１  およびｗ２  を算出し、画素値調合対象画素に対する重みｗ１  およびｗ２  のテーブル（重みテーブル）を作成する。
【０１１２】
（ｂ）画像間の内分比に基づいて両画像の重なり領域の画素値を調合する方法
一方、図８に示すように、第１画像Ａ１と第２画像Ａ２とが、ユーザ（撮像者）の視線方向を固定して、ユーザの位置を視線方向に対して平行に前進または後退させることにより得られた画像である場合には、画像間の内分比（ｘ：ｙ）に基づいて両画像の重なり領域の画素値を調合する。
【０１１３】
まず、第１画像Ｉ１  の４頂点の中間画像上での位置を上記式１９に基づいてそれぞれ求める。同様に、第２画像Ｉ２  の４頂点の中間画像上での位置を上記式２０に基づいてそれぞれ求める。これにより、中間画像上における第１画像Ｉ１’の４頂点の位置および第２画像Ｉ２’の４頂点の位置が分かるので、中間画像上において第１画像Ｉ１’と第２画像Ｉ２’との重なり領域を抽出する。
【０１１４】
中間画像に幾何学変換された第１画像Ｉ１’と第２画像Ｉ２’との重なり領域内の各画素（各画素値調合対象画素）における第１画像Ｉ１’の画素値に対する重みｗ１  および第２画像Ｉ２’の画素値に対する重みｗ２  を、次式２３によって求め、各画素値調合対象画素に対する重みｗ１  およびｗ２  のテーブル（重みテーブル）を作成する。
【０１１５】
【数２３】
0003548071.tif 000024
【０１１６】
（ＶＩＩＩ）    次に、中間画像を合成する（ステップ８）。
【０１１７】
まず、上記式１９を用いて第１画像Ｉ１  を中間画像の座標系に描画する。同様に、上記式２０を用いて第２画像Ｉ２  を中間画像の座標系に描画する。
【０１１８】
この際、ステップ７で得られた重みテーブルに基づいて、中間画像に幾何学変換された第１画像Ｉ１’と第２画像Ｉ２’の重なり領域の画素値Ｐ１  ’、Ｐ２  ’を画素調合する。すなわち、次式２４により、各画素値調合対象画素の画素値Ｐｉ  を算出する。
【０１１９】
【数２４】
0003548071.tif 000025
【０１２０】
【発明の効果】
この発明によれば、２つの静止画像の中間画像を精度良く合成することができるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】第１画像、第２画像およびこれらの中間合成画像の一例を示す模式図である。
【図８】第１画像、第２画像およびこれらの中間合成画像の他の例を示す模式図である。
【図９】中間画像合成装置の構成を示すブロック図である。
【図１０】中間画像合成処理手順を示すフローチャートである。
【符号の説明】
１０  パーソナルコンピュータ
１１  ＣＰＵ
１２  メモリ
１３  ハードディスク
１４  ディスクドライブ
【図１】
0003548071.tif 000026
【図２】
0003548071.tif 000027
【図３】
0003548071.tif 000028
【図４】
0003548071.tif 000029
【図５】
0003548071.tif 000030
【図６】
0003548071.tif 000031
【図７】
0003548071.tif 000032
【図８】
0003548071.tif 000033
【図９】
0003548071.tif 000034
【図１０】
0003548071.tif 000035