(57)【要約】  ２つの写真画像の、大きな、パノラマ画像をデバイス内で作り出すことに適合された無線デバイス又はカメラ付き電話デバイス、与えられる該２つの画像は共通重なり領域を有する。２つの画像が異なる回転又は視点である場合でさえも、パノラマ画像は、作り出されることが可能である。デバイスは、パノラマ画像を作り出す前に、何らかの回転の相違を補正する。
2010516003.tif 000002
【特許請求の範囲】
【請求項１】
重なり領域を有する左画像と右画像とを一緒につなぎ合わせるように、及びつなぎ合わせる前に前記左画像と前記右画像との間の何らかの回転の差異を自動的に補正して、大きなパノラマ画像を作り出すように動作する、プロセッサ；及び
前記プロセッサに接続されたメモリ、
を具備する、無線デバイス。
【請求項２】
前記プロセッサは、第２の画像中の理想的なつなぎ合わせ位置を自動的に見つけて、第１の画像をつなぎ合わせるように；前記理想的なつなぎ合わせ位置に関連して前記第１の画像との回転の差異に関して前記第２の画像を補正するように；新たな回転した理想的な位置を形成するように；及び前記第１の画像を前記第２の画像につなぎ合わせて、前記新たな回転した理想的な位置を使用して前記大きなパノラマ画像を作り出すように、さらに動作する、請求項１のデバイス。
【請求項３】
前記プロセッサは、前記第１の画像の前記共通重なり領域中のタイルの制約されたエリア・アレイ内でゴール・タイルを自動的に見つけるように；所定の縮小係数により前記第２の画像を縮小して、縮小した共通重なり領域を有する縮小した第２の画像を形成するように；前記縮小した共通重なり領域の候補タイルのアレイ内で理想的な開始タイルを見つけるように；及び前記理想的な開始タイルから所定の半径のところで前記第２の画像の前記共通重なり領域内のサーチを開始するように、さらに動作する、ここにおいて、前記サーチは、前記第２の画像中で前記理想的なつなぎ合わせ位置を見つけるために使用される、請求項２のデバイス。
【請求項４】
前記プロセッサは、前記第１の画像のタイルの前記制約されたエリア・アレイ内で、どのタイルが、隣接する複数のタイルの中で最も特徴的であり、そしてルーマ（luma）とクロマ（chroma）の最も一様な分布を有するヒストグラムを有するかを判断して、前記ゴール・タイルとして設定するように、さらに動作する、請求項３のデバイス。
【請求項５】
前記プロセッサは、前記縮小した共通重なり領域の前記候補タイルのアレイ内で、前記ゴール・タイルに対するそれぞれ個々の候補タイルに関するルーマのヒストグラム及び絶対差異の合計（ＳＡＤ）の比較に基づいて、どのタイルが、前記ゴール・タイルと最も良く一致するかを判断して、前記理想的な開始タイルとして設定するように、さらに動作する、請求項４のデバイス。
【請求項６】
前記プロセッサは、前記理想的な開始タイルから前記所定の半径のところにある候補タイルのアレイ内の候補タイルのセットを系統的に精査して、水平線（Ｈ）タイルについての現在の最小コストを見つけ、そして前記所定の半径について現在の今までに見つけられた最小コスト（ＬＣＥＦ）タイルを追跡するように；前記所定の半径に関する前記現在のＨタイルから前記所定の半径のところにある前記候補タイルのアレイ内で候補タイルの新たなセットを系統的に精査して、水平線（ＮＨ）タイルについて新たな最小コストを決定し、そして前記現在のＬＣＥＦタイルを追跡するように；前記ＮＨタイルに関係するコストがオーバーシュート値で掛け算された前記ＬＣＥＦタイルに関係するコストよりも大きいかどうかを判断するように；前記ＮＨタイルが大きいと判断されるとき、前記所定の半径を縮小して新たな縮小した半径を生成するように；前記縮小した半径が最終半径でない限り、前記縮小した半径に設定された前記所定の半径を使用して前記現在のＬＣＥＦタイルから前記候補タイルの新たなセットを精査することを繰り返すように；及び前記ＮＨタイルが大きくないと判断されるとき、前記ＮＨタイルが前記現在のＨタイルに設定され、前記候補タイルの新たなセットを精査することを繰り返すように、さらに動作する、請求項５のデバイス。
【請求項７】
前記プロセッサが、前記候補タイルのアレイ内の前記候補タイルのセットを精査するように動作するとき、前記プロセッサは、前記ゴール・タイルのゴール・ヒストグラム・アレイを作り出すように；前記理想的な開始タイルから前記所定の半径のところにある各候補タイルに関して、候補ヒストグラム・アレイを作り出すように；それぞれ個々の１つの候補タイルに関する前記候補ヒストグラム・アレイから前記ゴール・ヒストグラム・アレイを引き算して、前記所定の半径のところにある前記それぞれ個々の１つの候補タイルに関するヒストグラム差異の結果を作り出すように；前記所定の半径のところにある前記候補タイルを用いて前記ゴール・タイルのＳＡＤ結果を前記所定の半径のところにある前記それぞれ個々の１つの候補タイルに対して決定するように；前記ヒストグラム差異の結果を重み付けして、重み付けされたヒストグラム差異の結果を形成するように；前記ＳＡＤ結果を重み付けして、重み付けされたＳＡＤ結果を形成するように；及び前記それぞれ個々の１つの候補タイルに関する前記重み付けされたヒストグラム差異の結果と前記重み付けされたＳＡＤ結果を一緒に足し算して、前記それぞれ個々の１つの候補タイルに関係するコストを形成するように、さらに動作する、請求項６のデバイス。
【請求項８】
前記プロセッサが、前記候補タイルのアレイの新たなセットを精査するように動作するとき、前記プロセッサは、前記現在のＨタイルから前記所定の半径のところにある各候補タイルに関して、候補ヒストグラム・アレイを作り出すように；前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記候補ヒストグラム・アレイから前記ゴール・ヒストグラム・アレイを引き算して、前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関するヒストグラム差異の結果を作り出すように；前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記現在のＨタイルに関係する前記候補タイルを用いて前記ゴール・タイルのＳＡＤ結果を決定するように；前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記ヒストグラム差異の結果を重み付けして、重み付けされたヒストグラム差異の結果を形成するように；前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記ＳＡＤ結果を重み付けして、重み付けされたＳＡＤ結果を形成するように；及び前記それぞれ個々の１つの候補タイルに関する前記重み付けされたヒストグラム差異の結果と前記重み付けされたＳＡＤ結果を一緒に足し算して、前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関係するコストを形成するように、さらに動作する、請求項７のデバイス。
【請求項９】
前記ゴール・ヒストグラム・アレイ及び前記候補ヒストグラム・アレイのそれぞれは、明るさ又はルーマ（Ｙ）に関する値、青（Ｃｒ）の量と赤（Ｃｒ）の量、及び色相、彩度とピクセルの値（ＨＳＶ空間）として複数の共通Ｈｕｅ、を具備する、請求項８のデバイス。
【請求項１０】
前記プロセッサは、前記理想的なつなぎ合わせ位置に関係するタイルの円形フットプリントをある角度の範囲にわたり所定の大きさの角度を回転するように；各回転における絶対差異の合計を使用して前記ゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定するように；及び前記角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけるように、動作する、請求項２のデバイス。
【請求項１１】
前記回転が所定の下限より小さい場合に、前記プロセッサは、前記回転差異に関して前記第２の画像の補正を飛ばすように動作する、請求項１０のデバイス。
【請求項１２】
前記プロセッサは、継ぎ目をつなぎ合わせるためのつなぎ合わせパターンを選択するように；及び前記第１の画像と前記第２の画像との間の前記継ぎ目を調整するように、動作する、請求項１のデバイス。
【請求項１３】
前記プロセッサは、肌の色調を判断して、前記パノラマ画像中で顔の上でつなぎ合わせることを排除するように、さらに動作する、請求項１のデバイス。
【請求項１４】
前記無線デバイスは、カメラ付き電話機である、請求項１のデバイス。
【請求項１５】
重なり領域を有する左画像と右画像とを一緒につなぎ合わせるように、及びつなぎ合わせる前に前記左画像と前記右画像との間の何らかの回転の差異を自動的に補正して、大きなパノラマ画像を作り出すように、動作するプロセッサ；及び
前記プロセッサに接続されたメモリ、
を具備する、集積回路。
【請求項１６】
前記プロセッサは、第２の画像中の理想的なつなぎ合わせ位置を自動的に見つけて、第１の画像をつなぎ合わせるように；前記理想的なつなぎ合わせ位置に関連して前記第１の画像との回転の差異に関して前記第２の画像を補正するように；新たな回転した理想的な位置を形成するように；及び前記第１の画像を前記第２の画像につなぎ合わせて、前記新たな回転した理想的な位置を使用して前記大きなパノラマ画像を生成するように、さらに動作する、請求項１５の回路。
【請求項１７】
前記プロセッサは、前記第１の画像の前記共通重なり領域においてタイルの制約されたエリア・アレイ内でゴール・タイルを自動的に見つけるように；所定の縮小係数により前記第２の画像を縮小して、縮小した共通重なり領域を有する縮小した第２の画像を形成するように；前記縮小した共通重なり領域の候補タイルのアレイ内で理想的な開始タイルを見つけるように；及び前記理想的な開始タイルから所定の半径のところで前記第２の画像の前記共通重なり領域内のサーチを開始するように、さらに動作する、ここにおいて、前記サーチは、前記第２の画像中の前記理想的なつなぎ合わせ位置を見つけるために使用される、請求項１６の回路。
【請求項１８】
前記プロセッサは、前記理想的なつなぎ合わせ位置に関係するタイルの円形フットプリントをある角度の範囲にわたり所定の大きさの角度を回転するように；各回転における絶対差異の合計を使用して前記ゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定するように；及び前記角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけるように、動作する、請求項１６の回路。
【請求項１９】
前記回転が所定の下限より小さい場合に、前記プロセッサは、前記回転差異に関して前記第２の画像の補正を飛ばすように動作する、請求項１８の回路。
【請求項２０】
前記プロセッサは、継ぎ目をつなぎ合わせるためのつなぎ合わせパターンを選択するように；及び前記第１の画像と前記第２の画像との間の前記継ぎ目を調整するように、動作する、請求項１５の回路。
【請求項２１】
前記プロセッサは、肌の色調を判断して、前記パノラマ画像中で顔の上でつなぎ合わせることを排除するようにさらに動作する、請求項１５の回路。
【請求項２２】
共通重なり領域を有する第１の選択された画像と第２の選択された画像との間の、所定の限度を超える回転の差異を自動的に補正するように、前記回転の差異が前記所定の限度より小さいときには、計算したつなぎ合わせ位置のところで前記第２の画像に前記第１の画像をつなぎ合わせて、大きなパノラマ画像を作るように、及び前記回転の差異が前記所定の限度を超えるときには、回転したつなぎ合わせ位置のところで回転した第２の画像に前記第１の画像をつなぎ合わせるように、動作するビデオ処理ユニット；及び
前記ビデオ処理ユニットに接続されたメモリ・ユニット、
を具備する、プロセッサ。
【請求項２３】
前記ビデオ処理ユニットは、前記計算したつなぎ合わせ位置に関係するタイルの円形フットプリントをある角度の範囲にわたり所定の大きさの角度を回転するように；各回転における絶対差異の合計を使用して前記第１の画像中のゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定するように；及び前記角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけるように、動作する、請求項２２のプロセッサ。
【請求項２４】
前記ビデオ処理ユニットは、継ぎ目をつなぎ合わせるためのつなぎ合わせパターンを選択するように；及び前記第１の画像と前記第２の画像との間の前記継ぎ目を調整するように、動作する、請求項２２のプロセッサ。
【請求項２５】
前記ビデオ処理ユニットは、肌の色調を判断して、前記パノラマ画像中で顔の上でつなぎ合わせることを排除するようにさらに動作する、請求項２２のプロセッサ。
【請求項２６】
機械に行わせるための命令を有する機械読取り可能な媒体を含むコンピュータ・プログラム製品、前記命令は前記機械に：
第２の画像中の理想的なつなぎ合わせ位置を自動的に見つけて、第１の画像をつなぎあわせるようにさせ、ここで、前記第１の画像と前記第２の画像は、共通重なり領域を有する；
前記理想的なつなぎ合わせ位置に関連して前記第１の画像と前記第２の画像との間の回転の差異に関して前記第２の画像を自動的に補正して、新たな回転した理想的な位置を形成するようにさせ；及び
前記第２の画像に前記第１の画像を自動的につなぎ合わせて、前記新たな回転した理想的な位置を使用して大きなパノラマ画像を生成するようにさせる、
ための命令である、コンピュータ・プログラム製品。
【請求項２７】
前記機械に、
前記第１の画像の前記共通重なり領域においてタイルの制約されたエリア・アレイ内でゴール・タイルを自動的に見つけるようにさせ；
所定の縮小係数により前記第２の画像を自動的に縮小して、縮小した共通重なり領域を有する縮小した第２の画像を形成するようにさせ；
前記縮小した共通重なり領域の候補タイルのアレイ内で理想的な開始タイルを見つけるようにさせ；及び
前記理想的な開始タイルから所定の半径のところで前記第２の画像の前記共通重なり領域内のサーチを開始するようにさせる、ここにおいて、前記サーチは、前記第２の画像中で前記理想的なつなぎ合わせ位置を見つけるために使用される、
ための命令をさらに具備する、請求項２６のコンピュータ・プログラム製品。
【請求項２８】
前記機械に前記ゴール・タイルを見つけるようにさせるための前記命令は、前記機械に：
前記第１の画像のタイルの前記制約されたエリア・アレイ内で、どのタイルが、隣接する複数のタイルの中で最も特徴的であり、そしてルーマ（luma）とクロマ（chroma）の最も一様な分布を有するヒストグラムを有するかを決定して、前記ゴール・タイルとして設定するようにさせる、
ための命令を具備する、請求項２７のコンピュータ・プログラム製品。
【請求項２９】
前記機械に前記理想的な開始タイルを見つけるようにさせるための前記命令は、前記機械に：
前記縮小した共通重なり領域の前記候補タイルのアレイ内で、前記ゴール・タイルに対するそれぞれ個々の候補タイルに関するルーマのヒストグラム及び絶対差異の合計（ＳＡＤ）の比較に基づいて、どのタイルが、前記ゴール・タイルと最も良く一致するかを判断して、前記理想的な開始タイルとして設定するようにさせる、
ための命令を具備する、請求項２８のコンピュータ・プログラム製品。
【請求項３０】
前記機械に前記理想的なつなぎ合わせ位置を見つけるようにさせるための前記命令は、前記機械に：
前記理想的な開始タイルから前記所定の半径のところにある候補タイルのアレイ内の候補タイルのセットを前記サーチの期間に系統的に精査して、水平線（Ｈ）タイルについて現在の最小コストを見つけ、そして前記所定の半径に関して現在の今までに見つけられた最小コスト（ＬＣＥＦ）タイルを追跡するようにさせ；
前記所定の半径に関する前記現在のＨタイルから前記所定の半径のところにある前記候補タイルのアレイ内の候補タイルの新たなセットを系統的に精査して、水平線（ＮＨ）タイルについて新たな最小コストを決定し、そして前記現在のＬＣＥＦタイルを追跡するようにさせ；
前記ＮＨタイルに関係するコストがオーバーシュート値で掛け算された前記ＬＣＥＦタイルに関係するコストよりも大きいかどうかを判断するようにさせ；
前記ＮＨタイルが大きいと判断されるとき、前記所定の半径を縮小して新たな縮小した半径を生成するようにさせ；
前記縮小した半径が最終半径でない限り、前記縮小した半径に設定された前記所定の半径を使用して前記現在のＬＣＥＦタイルから前記候補タイルの新たなセットを精査するように動作する前記プログラム命令を繰り返すようにさせ；及び
前記ＮＨタイルが大きくないと判断されるとき、前記ＮＨタイルが前記現在のＨタイルに設定される前記候補タイルの新たなセットを精査するように動作する前記プログラム命令を繰り返すようにさせる、
ための命令を具備する、請求項２９のコンピュータ・プログラム製品。
【請求項３１】
前記機械に前記候補タイルのセットを精査するようにさせるための前記命令は、前記機械に：
前記ゴール・タイルのゴール・ヒストグラム・アレイを作り出すようにさせ；
前記理想的な開始タイルから前記所定の半径のところにある各候補タイルに関して、候補ヒストグラム・アレイを作り出すようにさせ；
それぞれ個々の１つの候補タイルに関する前記候補ヒストグラム・アレイから前記ゴール・ヒストグラム・アレイを引き算して、前記所定の半径のところにある前記それぞれ個々の１つの候補タイルに関するヒストグラム差異の結果を作り出すようにさせ；
前記所定の半径のところにある前記それぞれ個々の１つの候補タイルに関して、前記所定の半径のところにある前記候補タイルを用いて前記ゴール・タイルのＳＡＤ結果を決定するようにさせ；
前記ヒストグラム差異の結果を重み付けして、重み付けされたヒストグラム差異の結果を形成するようにさせ；
前記ＳＡＤ結果を重み付けして、重み付けされたＳＡＤ結果を形成するようにさせ；及び
前記それぞれ個々の１つの候補タイルに関する前記重み付けされたヒストグラム差異の結果と前記重み付けされたＳＡＤ結果を一緒に足し算して、前記それぞれ個々の１つの候補タイルに関係するコストを形成するようにさせる、
ための命令を具備する、請求項３０のコンピュータ・プログラム製品。
【請求項３２】
前記機械に前記候補タイルの新たなセットを精査するようにさせるための前記命令は、前記機械に：
前記現在のＨタイルから前記所定の半径のところにある各候補タイルに関して、候補ヒストグラム・アレイを作り出すようにさせ；
前記現在のＨタイルに関係するそれぞれ個々の１つの候補タイルに関して、前記候補ヒストグラム・アレイから前記ゴール・ヒストグラム・アレイを引き算して、前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関するヒストグラム差異の結果を作り出すようにさせ；
前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記現在のＨタイルに関係する前記候補タイルを用いて前記ゴール・タイルのＳＡＤ結果を決定するようにさせ；
前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記ヒストグラム差異の結果を重み付けして、重み付けされたヒストグラム差異の結果を形成するようにさせ；
前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関して、前記ＳＡＤ結果を重み付けして、重み付けされたＳＡＤ結果を形成するようにさせ；及び
前記それぞれ個々の１つの候補タイルに関する前記重み付けされたヒストグラム差異の結果と前記重み付けされたＳＡＤ結果を一緒に足し算して、前記現在のＨタイルに関係する前記それぞれ個々の１つの候補タイルに関係する前記コストを形成するようにさせる、
ための命令を具備する、請求項３１のコンピュータ・プログラム製品。
【請求項３３】
前記ゴール・ヒストグラム・アレイ及び前記候補ヒストグラム・アレイのそれぞれは、明るさ又はルーマ（Ｙ）に関する値、青（Ｃｒ）の量と赤（Ｃｒ）の量、及び色相、彩度とピクセルの値（ＨＳＶ空間）として複数の共通Ｈｕｅ、を具備する、請求項３２のコンピュータ・プログラム製品。
【請求項３４】
前記機械に補正するようにさせるための前記プログラム命令は、前記機械に：
前記理想的なつなぎ合わせ位置に関係するタイルの円形フットプリントを所定の大きさの角度を回転するようにさせ；
ある回転における絶対差異の合計を使用して前記ゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定するようにさせ；
所定の増分だけ前記所定の大きさの角度を増加させるようさせ；
前記所定の角度の範囲を超えてしまうまで、回転し、決定しそして増加するように動作する前記プログラム命令を繰り返すようにさせ；及び
前記所定の角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけるようにさせる、
ための命令を具備する、請求項２６のコンピュータ・プログラム製品。
【請求項３５】
前記回転が所定の下限より小さい場合に、前記機械に補正するようにさせるための前記命令は、飛ばされる、請求項３４のコンピュータ・プログラム製品。
【請求項３６】
前記機械につなぎ合わせるようにさせるための前記命令は、前記機械に前記第１の画像と前記第２の画像との間の継ぎ目を調整するようにさせるための命令を具備する、請求項２６のコンピュータ・プログラム製品。
【請求項３７】
前記機械につなぎ合わせるようにさせるための前記命令は、前記機械につなぎ合わせパターンを選択するようにさせるための命令を具備する、請求項２６のコンピュータ・プログラム製品。
【請求項３８】
前記機械につなぎ合わせるようにさせるための前記命令は、前記機械に前記パノラマ画像中の顔の上の継ぎ目を排除するようにさせるための命令を具備する、請求項３７のコンピュータ・プログラム製品。
【請求項３９】
共通重なり領域を有する第１の選択された画像と第２の選択された画像との間の、所定の限度を超える回転の差異を自動的に補正するように、前記回転の差異が前記所定の限度より小さいときに、計算したつなぎ合わせ位置のところで前記第２の画像に前記第１の画像をつなぎ合わせて、大きなパノラマ画像を作り出すように、及び前記回転の差異が前記所定の限度を超えるときには、回転したつなぎ合わせ位置のところで回転した第２の画像に前記第１の画像をつなぎ合わせるように、動作するビデオ処理ユニット；及び
前記ビデオ処理ユニットに接続されたメモリ、
を具備する、無線デバイス。
【請求項４０】
前記ビデオ処理ユニットは、前記計算したつなぎ合わせ位置に関係するタイルの円形フットプリントをある角度の範囲にわたり所定の大きさの角度を回転するように；各回転における絶対差異の合計を使用して前記第１の画像中のゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定するように；及び前記角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけるように、動作する、請求項３９のデバイス。
【請求項４１】
前記ビデオ処理ユニットは、継ぎ目をつなぎ合わせるためのつなぎ合わせパターンを選択するように；及び前記第１の画像と前記第２の画像との間の前記継ぎ目を調整するように、動作する、請求項４０のデバイス。
【請求項４２】
前記ビデオ処理ユニットは、肌の色調を判断して、前記パノラマ画像中で顔の上でつなぎ合わせることを排除するように動作する、請求項４１のデバイス。
【請求項４３】
第２の画像中の理想的なつなぎ合わせ位置を自動的に見つけて、そこに第１の画像をつなぎ合わせること、ここで、前記第１の画像と前記第２の画像は、共通重なり領域を有する；
前記理想的なつなぎ合わせ位置に関連して前記第１の画像と前記第２の画像との間の回転の差異に関して前記第２の画像を自動的に補正して、新たな回転した理想的な位置を形成すること；及び
前記新たな回転した理想的な位置を使用して前記第２の画像に前記第１の画像を自動的につなぎ合わせて、パノラマ画像を生成すること、
を具備する方法。
【請求項４４】
前記見つける工程の前に：
前記第１の画像の前記共通重なり領域においてタイルの制約されたエリア・アレイ内でゴール・タイルを自動的に見つけること；
所定の縮小係数により前記第２の画像を自動的に縮小して、縮小した共通重なり領域を有する縮小した第２の画像を形成すること；
前記縮小した共通重なり領域の候補タイルのアレイ内で理想的な開始タイルを見つけること；及び
前記理想的な開始タイルから所定の半径のところで前記第２の画像の前記共通重なり領域内のサーチを開始すること、ここで、前記サーチは、前記第２の画像中の前記理想的なつなぎ合わせ位置を見つけるための前記見つける工程において使用される、
をさらに具備する、請求項４３の方法。
【請求項４５】
前記ゴール・タイルを前記見つける工程は、
前記第１の画像のタイルの前記制約されたエリア・アレイ内で、どのタイルが、隣接する複数のタイルの中で最も特徴的であり、そしてルーマ（luma）とクロマ（chroma）の最も一様な分布を有するヒストグラムを有するかを判断して、前記ゴール・タイルとして設定すること、
を具備する、請求項４４の方法。
【請求項４６】
前記理想的な開始タイルを前記見つける工程は、
前記ゴール・タイルに対するそれぞれ個々の候補タイルに関するルーマのヒストグラム及び絶対差異の合計（ＳＡＤ）の比較に基づいて、前記縮小した共通重なり領域の前記候補タイルのアレイ内で、どのタイルが、前記ゴール・タイルと最も良く一致するかを判断して、前記理想的な開始タイルとして設定すること、
を具備する、請求項４５の方法。
【請求項４７】
前記補正する工程は：
前記理想的なつなぎ合わせ位置に関係するタイルの円形フットプリントを所定の大きさの角度回転させること；
ある回転における絶対差異の合計を使用して前記ゴール・タイルと比較するときに、前記タイルの前記円形フットプリントに関係するコストを決定すること；
所定の増分だけ前記所定の大きさの角度を増加させること；
所定の角度の範囲を超えてしまうまで、前記回転する工程、前記決定する工程及び前記増加させる工程を繰り返すこと；及び
前記所定の角度の範囲を超えてしまったとき、どの１つの回転が最小コストを有するかを見つけること、
を具備する、請求項４４の方法。
【請求項４８】
前記回転が所定の下限より小さいかどうかを判断して、前記回転が小さいと判断されるときには、前記補正する工程を飛ばすこと、
をさらに具備する、請求項４７の方法。
【請求項４９】
前記つなぎ合わせる工程は、
つなぎ合わせパターンを選択すること、
を具備する、請求項４８の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、一般に画像処理に係わり、そして特に、パノラマ画像を形成するための技術に関する。
【背景技術】
【０００２】
現在、パノラマ画像は、カメラ・デバイス又はカメラ付き電話デバイス中では作り出すことができない。その代りに、ある共通重なり領域を有する個々のディジタル画像からパノラマ画像を作り出す時には、パノラマ画像を作り出すためのソフトウェアを使用することが可能であるパーソナル・コンピュータ（ＰＣ：personal computer）へ写真をロードすることが必要である。このソフトウェアは、限られた電源、メモリ及び処理能力を有するカメラ・デバイスにおいて使用するためには適していない。
【０００３】
その上、パノラマ画像を作り出すための複数の現在の方法は、非常に長時間を必要とし、そして使いやすくない。多くの場合、パノラマ画像を作り出すために使用される２つの画像は、回転オフセットがある。そのように、パノラマ画像は、作り出すことができない、又は作り出されたとしても、それは見た目には魅力的でない。例えば、図４のパノラマ画像は、画像図３Ａと図３Ｂに対して従来プロセスを使用して作り出された。従来プロセスが図３Ａと図３Ｂの２つの画像を併合させることが可能であるが、継目は斜めでありそして悪い場所にある。
【０００４】
それゆえ、カメラ・デバイス又はカメラ付き電話デバイスを使用してパノラマ画像を自動的に作り出す技術に関するこの分野における必要性があり、そして個々の画像間の何らかの回転の相違を補正するために特別な配慮を用いてそのように自動的に行う必要性がある。
【発明の概要】
【０００５】
２つの個々の画像間の何らかの回転の相違を補正するために特別な配慮を自動的に用い、カメラ・デバイスを使用してパノラマ画像を自動的に作り出す技術が、本明細書に記述される。１つの実施形態では、重なり領域を有する左画像と右画像とを一緒につなぎ合わせるように動作するプロセッサを有する無線デバイスが、提供される。本プロセスは、しかも、つなぎ合わせる前の左画像と右画像間の任意の回転の相違を自動的に補正して、大きなパノラマ画像を作り出す。前記プロセッサに接続されたメモリが、含まれる。
【０００６】
別の１つの態様では、プロセッサは、共通重なり領域を有する第１の選択された画像と第２の選択された画像との間の、所定の限度を超える回転の差異を自動的に補正するように動作するビデオ処理ユニットを有する。前記ビデオ処理ユニットは、前記回転の差異が前記所定の限度より小さいときに、計算したつなぎ合わせ位置のところで前記第２の画像に前記第１の画像をつなぎ合わせて、大きなパノラマ画像を作るように動作する。前記ビデオ処理ユニットは、前記回転の差異が前記所定の限度を超えるときには、回転したつなぎ合わせ位置のところで回転した第２の画像に前記第１の画像をつなぎ合わせるように動作する。メモリ・ユニットは、前記ビデオ処理ユニットに接続される。
【０００７】
別の１つの態様では、コンピュータ・プログラム製品は、機械に、第２の画像中で理想的なつなぎ合わせ位置を自動的に見つけて、第１の画像をつなぎあわせるようにさせるための命令を有する機械読取り可能な媒体を含む、ここで、前記第１の画像と前記第２の画像は共通重なり領域を有する。前記命令は、しかも機械に、前記理想的なつなぎ合わせ位置に関連して前記第１の画像と前記第２の画像との間の回転の差異に関して前記第２の画像を自動的に補正して、新たな回転した理想的な位置を形成するようにさせる。それに加えて、前記命令は、機械に、前記第２の画像に前記第１の画像を自動的につなぎ合わせて、前記新たな回転した理想的な位置を使用して大きなパノラマ画像を生成するようにさせる。
【０００８】
本発明の様々な態様及び実施形態が、下記にさらに詳細に記述される。
【図面の簡単な説明】
【０００９】
【図１Ａ】左写真画像と右写真画像の一部が重なる場面の１組の左写真画像と右写真画像を図示する。
【図１Ｂ】左写真画像と右写真画像の一部が重なる場面の１組の左写真画像と右写真画像を図示する。
【図２】無線デバイスを図示する。
【図３Ａ】左写真画像と右写真画像の一部が重なるグループ写真の左写真画像と右写真画像を図示する。
【図３Ｂ】左写真画像と右写真画像の一部が重なるグループ写真の左写真画像と右写真画像を図示する。
【図４】従来プロセスを使用して図３Ａと図３Ｂの左写真画像と右写真画像を表現する単一画像を図示する。
【図５】パノラマ画像を作り出す本プロセスを使用して図３Ａと図３Ｂの左写真画像と右写真画像を表現する単一画像を図示する。
【図６Ａ】パノラマ画像を作り出すプロセスのフローチャートを図示する。
【図６Ｂ】パノラマ画像を作り出すプロセスのフローチャートを図示する。
【図７】つなぎ合わせられようとしている左写真画像と右写真画像の写真画像のうちの一方の重なり領域の中で“最も興味深い”タイルを見つけそしてマークするプロセスのフローチャートを図示する。
【図８】マークされた重なりエリアＬｏｖｅｒｌａｐを有する図１Ａの左写真画像を図示する。
【図９】図１Ｂの右写真画像を縮小し、そしてその中のタイル又は点ｔｓｔａｒｔを見つけるプロセスのフローチャートを図示する。
【図１０】縮小された重なり領域中のマークされたタイル又は点ｔｓｔａｒｔを有する図１Ｂの右写真画像を図示する。
【図１１Ａ】指定されたｃｔｇｏａｌ、ｃｔｓｔａｒｔ、とｃｔｅｎｄＰｏｓを有する図１Ａと図１Ｂの左写真画像と右写真画像を図示する。
【図１１Ｂ】指定されたｃｔｇｏａｌ、ｃｔｓｔａｒｔ、とｃｔｅｎｄＰｏｓを有する図１Ａと図１Ｂの左写真画像と右写真画像を図示する。
【図１２】互いにオフセットしている又は回転している２つの重ねられている四角形タイルを図示する。
【図１３】変形Ａ＊発見的学習サーチ（Modified A* Heuristic Search）を始めるように示された開始点を有するＲｏｖｅｒｌａｐのアレイを図示する。
【図１４】変形Ａ＊発見的学習サーチにおいて第１の半径を使用するサーチによる図１３のＲｏｖｅｒｌａｐのアレイを図示する。
【図１５】変形Ａ＊発見的学習サーチにおいて第１の半径を使用してサーチを拡張する図１４のＲｏｖｅｒｌａｐのアレイを図示する。
【図１６】変形Ａ＊発見的学習サーチにおいてＯＶＥＲＳＨＯＯＴしきい値を超える第１の半径を使用してサーチをさらに拡張する図１５のＲｏｖｅｒｌａｐのアレイを図示する。
【図１７】変形Ａ＊発見的学習サーチにおいて第２の半径を使用する第２のサーチによる図１６のＲｏｖｅｒｌａｐのアレイを図示する。
【図１８】変形Ａ＊発見的学習サーチにおいて第３の半径を使用する第３のサーチによる図１７のＲｏｖｅｒｌａｐのアレイを図示する。
【図１９】変形Ａ＊発見的学習サーチにおいて第３の半径を使用してサーチを拡張する図１８のＲｏｖｅｒｌａｐのアレイを図示する。
【図２０】変形Ａ＊発見的学習サーチにおいて第３の半径を使用してサーチをさらに拡張する図１９のＲｏｖｅｒｌａｐのアレイを図示する。
【図２１】変形Ａ＊発見的学習サーチにおいてサブ−タイリング・サーチを使用する第４のサーチによる図２０のＲｏｖｅｒｌａｐのアレイを図示する。
【図２２】変形Ａ＊発見的学習サーチを使用したサーチにおいて拡張の順番に対するコスト関数ｆ（ｔ）のグラフを図示する。
【図２３Ａ】指定されたｔｇｏａｌ、ｔｅｎｄＰｏｓとｔｅｎｄＲｏｔを有する図１Ａと図１Ｂの左写真画像と右写真画像を図示する。
【図２３Ｂ】指定されたｔｇｏａｌ、ｔｅｎｄＰｏｓとｔｅｎｄＲｏｔを有する図１Ａと図１Ｂの左写真画像と右写真画像を図示する。
【図２４】複数の回転における図２３ＢのｔｅｎｄＰｏｓの重ねられているタイルを図示する。
【図２５Ａ】指定されたｔｇｏａｌを有する図８の左写真画像を図示する。
【図２５Ｂ】指定されたｔｅｎｄＰｏｓとｔｍａｔｃｈを有する図１Ｂの回転した右写真画像を図示する。
【図２６Ａ】ｔｇｏａｌタイルを図示する。
【図２６Ｂ】ｔｓｔａｒｔタイルを図示する。
【図２６Ｃ】ｔｅｎｄＰｏｓタイルを図示する。
【図２６Ｄ】ｔｅｎｄＲｏｔタイルを図示する。
【図２６Ｅ】ｔｍａｔｃｈタイルを図示する。
【図２７】右写真画像に関する位置合わせ回転を計算するためのプロセスのフローチャートを図示する。
【図２８】右写真画像に左写真をつなぎ合わせるためのプロセスのフローチャートを図示する。
【図２９】ヒストグラム・アレイの一般的なブロック図を図示する。
【図３０】パノラマ画像を作り出すプロセスを使用した図１Ａと図１Ｂの左写真画像と右写真画像を表すパノラマ画像を図示する。
【図３１Ａ】左写真画像と右写真画像の一部が重なりそして互いに回転してオフセットしているレストランにおける場面の左写真画像と右写真画像を図示する。
【図３１Ｂ】左写真画像と右写真画像の一部が重なりそして互いに回転してオフセットしているレストランにおける場面の左写真画像と右写真画像を図示する。
【図３２】パノラマ画像を作り出すプロセスを使用して図３１Ａと図３１Ｂの左写真画像と右写真画像を表すパノラマ画像を図示する。
【図３３】つなぎ合わせモジュールを図示する。
【詳細な説明】
【００１０】
本開示の態様及び実施形態は、図面とともに考慮されるときに、下記の詳細な説明からより明らかになるであろう、図面では、類似の参照符号は、対応するように全体を通して識別する。
【００１１】
用語“具体例の（exemplary）”は、“例、事例、又は例示として働くこと”を意味するように本明細書中では使用される。“具体例の“として本明細書中に記載されるいずれかの実施形態又は設計が、他の実施形態又は設計に対して好ましい又は優位であるとして必ずしも解釈される必要はない。
【００１２】
本明細書中で説明される技術は、無線通信、コンピュータの使用、ネットワーキング、個人電子機器、等、のために使用されることができる。無線通信に関する技術の具体例の使用が、下記に説明される。
【００１３】
図２は、無線通信システムにおける無線デバイス１０のある実施形態のブロック図を示す。無線デバイス１０は、セルラ電話機又はカメラ付き電話機、端末、ハンドセット、個人ディジタル補助装置（ＰＤＡ：personal digital assistant）、又はある別のデバイス、であり得る。無線通信システムは、符号分割多元接続（ＣＤＭＡ：code division multiple access）システム、移動体通信のためのグローバル・システム（ＧＳＭ：global system for mobile communications）システム、又はある別のシステム、であり得る。
【００１４】
無線デバイス１０は、受信パス及び送信パスを介して双方向通信を提供することが可能である。受信パスにおいて、基地局により送信された信号は、アンテナ１２により受信され、そして受信機（ＲＣＶＲ）１４に与えられる。受信機１４は、受信した信号を調整しそしてディジタル化し、そしてさらなる処理のためにディジタル部２０へサンプルを与える。送信パスにおいて、送信機（ＴＭＴＲ）１６は、ディジタル部２０から送信されようとしているデータを受け取り、そのデータを処理しそして調整し、そして変調された信号を生成する、それは基地局へアンテナ１２を介して送信される。
【００１５】
ディジタル部２０は、例えば、モデム・プロセッサ２２、ビデオ・プロセッサ２４、コントローラ／プロセッサ２６、ディスプレイ・プロセッサ２８、ＡＲＭ／ＤＳＰ３２、グラフィックス処理ユニット（ＧＰＵ：graphics processing unit）３４、内部メモリ３６、及び外部バス・インターフェース（ＥＢＩ：external bus interface）３８のような、様々な処理ユニット、インターフェース・ユニット及びメモリ・ユニットを含む。モデム・プロセッサ２２は、データ送信及び受信に関する処理（例えば、エンコーディング、変調、復調、及びデコーディング）を実行する。ビデオ・プロセッサ２４は、ビデオ・アプリケーション、例えば、カムコーダ、ビデオ再生、及びテレビ会議、のためのビデオ・コンテント（例えば、静止画像、動画ビデオ、及び動画テキスト）について処理を実行する。コントローラ／プロセッサ２６は、ディジタル部２０内の様々な処理ユニット及びインターフェース・ユニットの動作を管理することができる。ディスプレイ・プロセッサ２８は、ディスプレイ・ユニット３０上でのビデオ、グラフィックス、及びテキストの表示を容易にするための処理を実行する。ＡＲＭ／ＤＳＰ３２は、無線デバイス１０のための様々なタイプの処理を実行することができる。グラフィックス処理ユニット３４は、グラフィックス処理を実行する。
【００１６】
本明細書中に説明される技術は、ディジタル部２０中のプロセッサのうちのいずれか、例えば、ビデオ・プロセッサ３４、に対して使用されることができる。内部メモリ３６は、ディジタル部２０内の様々なユニットのためのデータ及び／又は命令を記憶する。ＥＢＩ３８は、ディジタル部２０（例えば、内部メモリ３６）と主メモリ４０との間のデータの伝達を容易にする。
【００１７】
ディジタル部２０は、１又はそれより多くのＤＳＰ、マイクロプロセッサ、ＲＩＳＣ、等、により実装されることができる。ディジタル部２０は、同様に、１又はそれより多くの用途特定集積回路（ＡＳＩＣ：application specific integrated circuit）又は集積回路（ＩＣ：integrated circuit）上に製作されることができる。
【００１８】
本明細書中に記述される技術は、様々なハードウェア・ユニットにおいて実装されることができる。例えば、本技術は、ＡＳＩＣ、ＤＳＰ、ＲＩＳＣ、ＡＲＭ、ディジタル信号処理デバイス（ＤＳＰＤ：digital signal processing device）、プログラマブル論理デバイス（ＰＬＤ：programmable logic device）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：field programmable gate array）、プロセッサ、コントローラ、マイクロ−コントローラ、マイクロプロセッサ、及び他の電子ユニット、において実装されることができる。
【００１９】
無線デバイス１０は、パノラマ処理ソフトウェアをさらに具備し、それは図６Ａ−図６Ｂに示される、２つの写真画像をつなぎ合わせて、１つのパノラマ画像を作り出すためのプロセス（一般に１００として示される）を実行するために、内部メモリ３６又は別のコンピュータ読取り可能な媒体中に記憶される。その上、内部メモリ３６は、パノラマ処理ソフトウェアを使用する自動処理のためにユーザによって選択されることが可能な、図１Ａ、図１Ｂ、図３Ａ、図３Ｂ、図３１Ａ、図３１Ｂに示されるような、静止画像、写真画像又はその中のビデオ・クリップを記憶することができる。実行においてパノラマ処理ソフトウェアは、ある共通の重なり領域があるように与えられ、異なる回転さえある異なる視点（perspective）からの場面を撮った２つの写真画像を一緒に継ぎ目なく合成することが可能である。
【００２０】
図６Ａ、図６Ｂは、パノラマ画像を作り出すプロセス１００のフローチャートを図示する。プロセス１００は、２つの写真画像（図１Ａと図１Ｂ）を一緒につなぎ合わせる。２つの写真画像（図１Ａと図１Ｂ）は、説明目的のために、図８では左写真画像Ｌ及び図１０では右写真画像Ｒとして表示され、共通重なり領域が存在するように与えられる。プロセス１００は、ステップＳ１０２において始まり、そこでは、「最も興味深い」四角形タイルが左写真画像Ｌの共通重なり領域の密なエリア（tight area）中に見つけられそしてマークされる。具体例の実施形態では、四角形タイルは１２８ｘ１２８ピクセル・タイルである。左写真画像Ｌ中の重なる密なエリアは、Ｌｏｖｅｒｌａｐとして表わされる。ステップＳ１０２において実行されるプロセスは、図７に関連して下記に詳細に記述される。
【００２１】
左画像と右画像に関連して本明細書中で説明されるプロセスの記述は、逆にされることが可能である。例えば、左画像に関連する操作及び計算は、右画像上で実行されることが可能である。同様に、右画像に関連する操作及び計算は、左画像上で実行されることが可能である。さらに、左画像と右画像の部分は、生成されるパノラマ画像の左側と右側を形成する。これゆえ、左側と右側は、共通重なり領域を有する場面の上部画像と底部画像で置き換えられることができる。
【００２２】
ステップＳ１０２は、ステップＳ１０４に続き、そこでは、図１０に最も良く見られるように、右写真画像Ｒは、全体で４Ｘ（１／４）縮小のために２Ｘ（１／２）に２次元で縮小される。同様に、右画像中の共通重なり領域は、同じ倍率により縮小される。右写真画像Ｒのサイズは、外周の周りの点線で示される。縮小された重なりエリアＲｏｖｅｒｌａｐは、一般に右画像Ｒ中の共通重なり領域であり、そして候補四角形又はピクセル・タイルのアレイである。各候補四角形又はピクセル・タイルは、エリアＬｏｖｅｒｌａｐ中の四角形と本質的に同じサイズである。縮小された重なりエリアＲｏｖｅｒｌａｐは、候補四角形タイルの３ｘ４アレイ２５として示される。右写真画像Ｒが４分の１に縮小された後で、開始タイルは、タイルｔｇｏａｌに最も良く一致するタイルの絶対差異の合計（ＳＡＤ：sum of absolute difference）及びヒストグラムから導出される類似の（最小の）コスト関数ｆ（ｔ）を有する縮小された重なりエリアＲｏｖｅｒｌａｐ中に見つけられる。タイルｔｇｏａｌに最も良く一致する四角形開始タイルは、３０として表わされたタイルである。
【００２３】
その後、四角形タイル３０の中心は、ｔｓｔａｒｔとマークされる。中心ｔｓｔａｒｔは、「スイート・スポット（sweet spot）」すなわち、ステップＳ１０６において変形Ａ＊発見的学習サーチ（Modified A* Heuristic Search）を開始するための理想的な開始スポット又はタイルである。ステップＳ１０６では、タイルｔｇｏａｌに一致する重なりエリアＲｏｖｅｒｌａｐ中の完全なすなわち理想的なつなぎ合わせタイルを見つけるために、サーチが実行される。ステップＳ１０６では、四角形タイルｔｇｏａｌの境界内部の円形フットプリント（footprint）４０（以降「円形タイル」）は、２つの写真画像間の回転及び照明の違いにより生じる不測の事態を回避するために、画像Ｌと画像Ｒ中の画像色相（image hue）を比較するために使用される。ステップＳ１０６は、ステップＳ１０８に続き、そこでは、一致が変形Ａ＊発見的学習サーチの間に見つけられたかどうかの判断が行われる。判断が「ＹＥＳ」である場合には、（一致が見つけられたことを意味する）ステップＳ１０８は、ステップＳ１１０に続き、そこでは、回転の大きさ（度で）すなわち画像Ｌ中のタイルｔｇｏａｌに一致させるために画像Ｒ中の一致させるタイルの位置合わせ回転が、計算される。しかしながら、ステップＳ１０８における判断が「ＮＯ」である場合には、（一致しないことを意味する）、ステップＳ１０８はステップＳ１０６に戻って、変形Ａ＊発見的学習サーチを継続する。
【００２４】
ステップＳ１１０に戻って、ステップＳ１１０は、ステップＳ１１１（破線で示される）に続き、そこでは、位置合わせ回転の絶対値が３度（３°）以下（＜＝）であるかどうかの判断が行われる。判断が「ＮＯ」である場合には、ステップＳ１１１は、ステップＳ１１２に続き、そこでは、右写真画像ＲはステップＳ１１０において計算された度数だけ回転される。回転した右写真画像Ｒは、Ｒｒｏｔａｔｅｄとして表わされる（図２５Ｂ）。しかしながら、ステップＳ１１１における判断が「ＹＥＳ」である場合には、ステップＳ１１１は、ステップＳ１１８に続いて、右画像の回転を飛ばす。これは、位置合わせ回転の大きさが小さい又は無視できるとき、計算を省略するために、回転処理が飛ばされることを認める最適化の特徴である。ステップＳ１１１の破線は、そのステップがオプションであることを示す。
【００２５】
ステップＳ１１２は、ステップＳ１１４に続く。ステップＳ１１４では、サーチは、一致する完全なすなわち理想的なつなぎ合わせタイルの新たな位置を見つけるために再び実行される。しかしながら、理想的なつなぎ合わせタイルの全体の四角形のフットプリントが使用される。サーチは、ＳＡＤ−のみの関数を使用する。ステップＳ１１４は、ステップＳ１１６に続き、そこでは、ある位置が見つかったかどうかの判断が行われる。判断が「ＹＥＳ」である場合には（位置が見つけられたことを意味する）、ステップＳ１１６はステップＳ１１に続き、そこでは、左写真画像Ｌは、（位置合わせ回転が３°未満である場合には）右写真画像Ｒと、又は回転した写真画像Ｒｒｏｔａｔｅｄと、一緒につなぎ合わされて、より大きなパノラマ画像（図３０）を作り出す。
【００２６】
ここで図７を参照して、「最も興味深い」四角形タイルｔｇｏａｌを見つけそしてマークするプロセスであるステップＳ１０２のフローチャートが、示されている。同様に図８を具体的に参照して、右写真画像Ｒと重なる左写真画像Ｌ中のＬｏｖｅｒｌａｐとして表わされた所定の密なエリアは、ステップＳ１３２において決定され、そしてステップＳ１３３において四角形タイルのアレイ２０へと分割される。具体例の実施形態では、所定の密なエリアＬｏｖｅｒｌａｐは、サイズを制約される。
【００２７】
エリアＬｏｖｅｒｌａｐの幅制約は、最も右端から始めて左写真画像Ｌの１／５である。エリアＬｏｖｅｒｌａｐの高さ制約は、左写真画像の高さの７／１０（０．７）である。そのように、左写真画像Ｌの水平の中心線又は水平線から測ったときに、エリアＬｏｖｅｒｌａｐは、上方向に画像Ｌの高さの０．３５そして下方向に画像Ｌの高さの０．３５広がる。言い換えると、エリアＬｏｖｅｒｌａｐは、左写真画像Ｌの上端と下端に完全に広がらず、そして一般に中央線又は水平線の近くに中心を置かれる。認識されるように、幅と高さの制約は、変えることができ、そしてプログラム可能である。
【００２８】
その上、エリアＬｏｖｅｒｌａｐは、各タイルが同じピクセル・サイズを有する複数の四角形タイルへと分割される。ここで、四角形タイルのサイズは、１２８ｘ１２８であるように選択される。エリアＬｏｖｅｒｌａｐ中の四角形タイルの数は、８であり、そのようなタイルが、四角形タイルのアレイ２０の中に配列される。四角形タイルのアレイ２０は、２ｘ４である。アレイ２０中のタイルの数又はサイズは、タイル・サイズ、幅及び高さ制約、等のようなプログラムされたパラメータ、及び／又は画像Ｌと画像Ｒとの間の重なり、の関数である。
【００２９】
再び図７に戻って、ステップＳ１３３は、ステップＳ１３４に続き、そこでは、サーチは、エリアＬｏｖｅｒｌａｐ中の最も特徴的なあるタイルに対して行われ、その結果、ａ）エリアＬｏｖｅｒｌａｐ中でそのタイルのヒストグラムが隣接するものの中で最も特徴的であり、そしてｂ）ヒストグラムはルーマ（Luma）とクロマ（Chroma）の最も一様な分布（すなわち、多数の色）を有する。ステップＳ１３４は、ステップＳ１３６に続き、そこでは、「最も興味深い」タイルがアレイ２０中の隣接するものの全てとの比較で見つけられたかどうかの判断が行われる。ステップＳ１３６における判断が「ＹＥＳ」である場合には、ステップＳ１３６はステップＳ１３８に続き、そこでは、そのタイルは、ｔｇｏａｌにマークされる又は設定される。具体例の実施形態では、タイルｔｇｏａｌは、第１列、第３行にマークされて示される。説明の目的のために、アレイ２０を規定する線は白であり、そしてタイルｔｇｏａｌは黒である。認識されるように、タイルｔｇｏａｌは、多数のディテールと色を有するように見つけられる。
【００３０】
図８は、マークされた重なりエリアＬｏｖｅｒｌａｐを有する図１Ａの左写真画像を図示する。図８において、各四角形（ピクセル）タイルに関して、クロマすなわち色は、３２から２５６の間の範囲を有し、そしてプログラム可能である。ルーマは、ピクセルのグレイ・スケール（明るさ）である。
【００３１】
図９は、図１Ｂの右写真画像を縮小し、そしてその中のタイル又は点ｔｓｔａｒｔを見つけるステップＳ１０４のプロセスのフローチャートを図示する。図１０は、縮小された重なり領域中にマークされたタイル又は点ｔｓｔａｒｔを有する図１Ｂの右写真画像を図示する。ステップＳ１０４のプロセスは、ステップＳ１５２で始まり、そこでは、右写真画像Ｒは、各方向に１／２縮小され、その結果、オリジナルのサイズの１／４又はアスペクト比になり、臨時の右画像２２を形成する。ステップＳ１５２は、ステップＳ１５３に続き、そこでは、臨時の右画像２２中の縮小された重なりエリアＲｏｖｅｒｌａｐ（図１３）が見つけられる。右画像Ｒ中の縮小された重なりエリアＲｏｖｅｒｌａｐは、臨時の右画像２２の幅の１／２より大きくなる（＞）ように選択される。ここでは、幅は、臨時の右画像２２の幅の３／５になるように選択される。高さは、臨時の右画像２２の１００％になるように選択される。これゆえ、縮小された重なりエリアＲｏｖｅｒｌａｐは、臨時の右画像２２の右境界及び下境界まで広がる。
【００３２】
その上、ステップＳ１５３の間に、重なりエリアＲｏｖｅｒｌａｐは、次に、同じサイズの複数の候補四角形タイルへと分割されて、アレイ２５を形成する。エリアＲｏｖｅｒｌａｐ中の候補四角形タイルのサイズは、エリアＬｏｖｅｒｌａｐ中の四角形タイルのサイズに等しい。制約に基づいて、アレイ２５は、３ｘ４アレイに配置された１２個の四角形タイルを有し、全ての候補四角形タイルが左写真画像Ｌに対応する重なり部分又は共通画像部分を有する。
【００３３】
ステップＳ１５３は、ステップＳ１５４に続き、そこでは、エリアＬｏｖｅｒｌａｐ中に前に見つけられたタイルｔｇｏａｌに最も良く似て見える又は一致するエリアＲｏｖｅｒｌａｐ中のタイルのサーチが、式（１）中のコスト関数ｆ（ｔ）を使用して行われる。コスト関数ｆ（ｔ）は、ｔｇｏａｌに最も良く似て見える又は一致するサーチの期間に候補タイルを評価するために２つの基準を有する。２つの基準は、（１）タイルｔｇｏａｌのルーマによりアレイ２５の各候補タイルを比較する候補タイルのヒストグラム、及び（２）タイルｔｇｏａｌと最も良く一致するＳＡＤ、を含む。ＳＡＤを計算するとき、右写真画像ＲのエリアＲｏｖｅｒｌａｐ中の各候補タイルは、左写真画像Ｌ中のエリアＬｏｖｅｒｌａｐのタイルｔｇｏａｌと比較される。次に２つのタイル（エリアＲｏｖｅｒｌａｐ中の候補タイルとＬｏｖｅｒｌａｐのタイルｔｇｏａｌ）間のピクセル毎の又は点毎の引き算が行われる。
【００３４】
比較している２つのタイルが同じである場合には、結果は、ゼロ又は黒になるはずである（２つのタイルが一致していることを意味する）。しかしながら、２つのタイルが全く違う場合には、引き算の結果は、大きな数をもたらすはずである（２つのタイルが一致しないことを意味する）。ＳＡＤ演算は、アレイ２５中の候補タイルのうちのどのタイルがタイルｔｇｏａｌと一致する最も多くの数の色を有するか、そしてどのＳＡＤが最善（最小のＳＡＤ数）であるか、を見つけるための最小化関数に類似している。
【００３５】
ステップＳ１５４は、ステップＳ１５６に続き、そこでは、タイルｔｇｏａｌ（図２６Ａ）に一致するアレイ２５中の最善タイルが見つけられたかどうかの判断が行われる。ここで、タイルｔｇｏａｌに一致するタイルは、３０として表わされる。判断が「ＹＥＳ」である場合には、ステップＳ１５６はステップＳ１５８に続き、そこでは、タイル３０の中心がエリアＲｏｖｅｒｌａｐ中のｔｓｔａｒｔとしてマークされる。しかしながら、判断が「ＮＯ」である場合には、ステップＳ１５４におけるサーチは、続けられる。図８と図１０の視覚検査において、タイルｔｇｏａｌとｔｓｔａｒｔを有するタイル３０が比較的近いことを容易に見つけることができる。
【００３６】
図１１Ａと図１１Ｂは、指定されたｃｔｇｏａｌ、ｃｔｓｔａｒｔ、とｃｔｅｎｄＰｏｓを有する図１Ａと図１Ｂの左写真画像と右写真画像を図示する。変形Ａ＊発見的学習サーチは、エリアＲｏｖｅｒｌａｐ中にｃｔｓｔａｒｔと表わされたその中の円形タイルを使用して四角形タイルｔｓｔａｒｔ（図２６Ｂ）において始められる。図１１ＢのエリアＲｏｖｅｒｌａｐは、縮小された臨時の画像２２の同じエリアＲｏｖｅｒｌａｐであることを、注意すべきである。図１１ＢのエリアＲｏｖｅｒｌａｐは、太い黒の円として示される円形タイルｃｔｓｔａｒｔを有する２５６ｘ２５６である。その円形タイルは、変形Ａ＊発見的学習サーチの終わりにエリアＲｏｖｅｒｌａｐ中のｃｔｅｎｄＰｏｓとして表わされた理想的なつなぎ合わせタイルになるように見つけられ、そして右画像Ｒ中に黒い円として示される。変形Ａ＊発見的学習サーチは、次の方程式（１）で定義されるコスト関数ｆ（ｔ）を計算する  
f(t)=whall*histogramDiffall(t,tgoal)+ws*locationDiff(t,tgoal)    式（１）
ここで、関数histogramDiffall(t,tgoal)は、各候補円形タイルのヒストグラム・アレイをｃｔｇｏａｌのヒストグラム・アレイと比較し；関数locationDiff(t,tgoal)は、各候補円形タイルと円形タイルｃｔｇｏａｌとの間のＳＡＤ結果を決定し；whallは、０と１との間の加重であり；wsは、０と１との間のＳＤＡ結果についての加重であり；そしてwhall足すwsは、１に等しい。whallとwsに関するデフォルトは、０．５であり、その結果、ヒストグラム結果とＳＡＤ結果が等しく取り扱われることができる。それにも拘らず、whall又はwsは、もう一方のものよりも大きく加重されることがある。whall*histogramDiffall(t,tgoal)の成分は、後で述べる４個の下位関数から作られる。
【００３７】
図２９は、ヒストグラム・アレイ２００の一般的なブロック図を図示する。ヒストグラム・アレイ２００は、変形Ａ＊発見的学習サーチにおいて評価中のタイルの色情報に対応する数の集合により構成される。ヒストグラム・アレイ２００は、Ｙ（明るさ又はルーマ）２０２、Ｃｒ（赤）２０４とＣｂ（青）２０６、及び複数の共通Ｈｕｅ（色相）２０８に関する各値を含む。
【００３８】
具体例の実施形態では、ヒストグラム・アレイ２００は、タイル中のルーマ・データ（Ｙ）２０２に対応する第１の値の第１の集合（例えば、２８の値）；タイル中のＣｂ（どれだけ青であるか）２０６に対応する値の第２の集合（例えば、２８の値）；及びタイル中のＣｒ（どれだけ赤であるか）２０４に対応する値の第３の集合（例えば、２８の値）、を有する。Ｙ，ＣｒとＣｂ値２０２，２０４と２０６は、（例えば、３のスケーリング係数により）スケーリングされる０から２５５の範囲を有する。より具体的に、ヒストグラム・アレイ２００は、タイル中の何個のピクセルが０−２５５のＹ，ＣｒとＣｂを有するかに対応するデータにより構成される。
【００３９】
具体例の実施形態では、ヒストグラム・アレイ２００中に存在する１５個のＨｕｅ値２０８がある。Ｈｕｅ２０８は、ＨＳＶ−状の空間における赤、緑、青、シアン、黄色、マゼンタ、．．．、黒、灰色及び白を含むことができる。ＨＳＶ−状の空間は、色相（hue）２０８Ａ、彩度（saturation）２０８Ｂ、及びピクセルの値（value of the pixel）２０８Ｃに対応する。
【００４０】
Ｈｕｅ値２０８は、各ピクセルに対して計算され、色相値は１つのピクセルの色である。例えば、赤、ピンク、と暗赤色は、赤の同じ色相である。緑、暗緑色、明緑色は、緑の色相である。
【００４１】
Ｈｕｅ値２０８は、あるタイルがその中に何らかの赤を有するかどうか、そして照明を気にしないかどうかを示す。そのように、ヒストグラム関数の計算にＨｕｅを加えることにより、照明に起因するいかなる変動も、本質的に削除される。より詳しくは、ヒストグラム関数にＨｕｅを加えることにより、計算は、タイルｔとタイルｔｇｏａｌが照明のためにわずかに異なり得るという事実を排除する。
【００４２】
それゆえ、方程式（１）のコスト関数ｆ（ｔ）を計算する前に、タイルｔｇｏａｌ及び変形Ａ＊発見的学習サーチの期間に評価されるタイル「ｔ」に関するヒストグラム・アレイ２００が、計算される。次に、ｔｇｏａｌとタイル「ｔ」に関する２つのヒストグラム・アレイは、単純に引き算されることができる。ヒストグラム・アレイは、ピクセルが所与のＹ、所与のＣｂ及び所与のＣｒに関して同定されることを可能にする（例えば、画像が黒である場合には、Ｙはゼロであり、そのため全ての１２８ｘ１２８ピクセルは、ゼロのＹを有する）。そのように、ヒストグラムは、ヒストグラム中にスパイク（spike）を示すように配列される。わずかな照明の違いにより生じるスパイクは、ヒストグラム・ピークが全くかけ離れて一致しない配列違いを生じさせる。それゆえ、各ピクセルは、Ｙ，ＣｒとＣｂ値２０２，２０４と２０６を与えられる。
【００４３】
Ｙ，ＣｒとＣｂ値２０２，２０４と２０６に加えて、Ｙ，Ｃｒ，Ｃｂから３つの新たな数が計算される。これらの新たな数は、色相２０８Ａ、彩度２０８Ｂ、及びピクセルの値２０８Ｃを含む。ＨＳＶは、ピクセルの色を評価する別の方法である。そのように、ヒストグラム関数whall*histogramDiffall(t,tgoal)は、方程式（２）により定義される  
wall*histogramDiffall(t,tgoal)＝
wY*histogramYDiffall(t,tgoal)＋
wCb*histogramCbDiffall(t,tgoal)＋
wCr*histogramCrDiffall(t,tgoal)＋
wHue*histogramHueDiffall(t,tgoal)                            式（２）  
ここで、whallは、wY+wCb+wCr+wHueの合計であり、それは０と１との間である。これらの４つのヒストグラム下位関数は、適用されるべき、プログラムされるべき、そして個々に設定されるべき個々の加重を同様に認める。
【００４４】
容易に理解されるように、変形Ａ＊発見的学習サーチは、四角形タイルの代わりに円形タイルを使用する。完全なすなわち理想的なつなぎ合わせタイルｔｅｎｄＰｏｓ（図２６Ｃ）又はその円形対応部分ｃｔｅｎｄＰｏｓを見つける際に使用するためのＨｕｅ／Ｈｉｓｔｏｇｒａｍ／ＳＡＤの組み合わせは、２つの画像間の照明変動の効果を低減する。
【００４５】
上記は、優れた回転に無関係な発見的方法を提供するが、限定された色相は、ピクセル幅にわたるサーチを行うとき十分な精度を提供しない。
【００４６】
図１２は、他のものに対してオフセットしている又は回転している２つの重ねられている四角形タイルを図示する。上の四角形タイルは、左写真画像Ｌからであり、そして下の四角形タイルは、右写真画像Ｒからである。重ねられている視野は、左画像中のｔｇｏａｌを表している円形フットプリント４０を有するタイルと右画像中の類似の又は同じタイルとの間の回転オフセットを例示する。変形Ａ＊発見的学習サーチが２つのタイルの円中心を見るために、一般に２つのタイルが回転でオフセットしているという事実に拘わらず色の同じ数（すなわち、色相、彩度、値）が見つけられる。そのように、回転のオフセットは、２つの本質的に同じタイルに関するある色のピクセルの数を計数するときの要因ではない。
【００４７】
図１３は、変形Ａ＊発見的学習サーチを始めるように示された開始点を有するＲｏｖｅｒｌａｐのアレイを図示する。変形Ａ＊発見的学習サーチのプロセスが、図１３−図２１に関連してここに説明される。サーチは、タイルｔｓｔａｒｔから又は円形対応部分ｃｔｓｔａｒｔから所定の第１の半径のところにある複数の隣接するタイル（候補タイルのセット）を精査し始める。精査されたタイルは、水平線（Ｈ：horizon）タイルについての最小コスト及び今までに見つけられた最小コスト（ＬＣＥＦ：lowest cost ever found）タイルを見つけるためにランク付けされる。変形Ａ＊発見的学習サーチのプロセスは、Ｅタイルと表わされたＨタイルとＬＣＥＦタイルを観測し続ける。ある事例では、ＨタイルとＥタイルは、同じであり得る。しかしながら、人工知能−状のプロセスを使用して、変形Ａ＊発見的学習サーチは、現在の最小コストの水平線上（Ｈ）タイルから同じ所定の第１の半径を使用して新たなセット中の追加の候補タイルを精査して、新たなセットに関するＨタイルを更新し、そしてこれまで精査した全ての候補タイルに関して現在のＬＣＥＦタイルを観測する。精査することは、いずれかの現在のＨタイルに関係するコストが、ＯＶＥＲＳＨＯＯＴ値で掛け算した現在のＬＣＥＦタイル（タイルＥ）に関係するコストよりも大きくなるまで、所定の第１の半径において継続する。現在のＨタイルが大きいと判断されるときには、変形Ａ＊発見的学習サーチは、ＬＣＥＦタイル（タイルＥ）に戻り、そして半径のサイズを縮小する。変形Ａ＊発見的学習サーチは、次に現在のＬＣＥＦタイルから縮小された半径で、現在のＬＣＥＦタイル（タイルＥ）からＲｏｖｅｒｌａｐ中の複数の隣接する（候補タイル）を精査する。サーチは、半径が０に等しくなる（いかなる方向にもただ１つのピクセルしかないことを意味する）まで、同様の方法で継続する。半径が１より小さくなるときには、図２１に最も良く見られるように、サブタイリング精査又はサンプリングが代わりに行われ、その結果、コスト関数は、タイルの代わりにピクセルに基づいて評価される、その理由は、円形タイルが重なり始めるためである。
【００４８】
説明の目的で、平均写真が３メガ−ピクセル（すなわち、２０４８ｘ１５３６）であると仮定する。図１３−図２１中の２０ｘ２８のボックスは、変形Ａ＊発見的学習サーチを論証するために十分なエリアをカバーするように与えられるだけである。認識されるように、エリア２０４８ｘ２５３６は、極端に大きい。Ｒｏｖｅｒｌａｐの右の破線は、エリアが続くことを表す。
【００４９】
ＯＶＥＲＳＨＯＯＴは、精査が良い結果を生成しようとして度を超す前に、精査がＬＣＥＦタイルよりどれだけ大きく続けられるべきであるか、として最も良く説明されることができる。例えば、ＯＶＥＲＳＨＯＯＴは、１０％に設定されることができる。それゆえ、ＯＶＥＲＳＨＯＯＴ値は、１１０％になるはずである。ＯＶＥＲＳＨＯＯＴは、プログラム可能な数である。
【００５０】
図１３では、エリアＲｏｖｅｒｌａｐは、ＣＴ１１と表わされた、四角形内の実線円により示される。円ＣＴ１１は、変形Ａ＊発見的学習サーチを開始するためにエリアＲｏｖｅｒｌａｐ中の理想的な開始スポットであると決定された図１１Ｂのｃｔｓｔａｒｔである。ｃｔｓｔａｒｔとして表わされた円形タイルは、エリアＲｏｖｅｒｌａｐ中の対応する四角形内に示される。四角形タイルエリアＲｏｖｅｒｌａｐは、タイルの幅と高さ（Ｔｗｉｄｔｈ ｘ Ｔｈｅｉｇｈｔ）に対応して１２８ｘ１２８である。図１３では、開始円形タイルｃｔｓｔａｒｔは、同様にＥタイル及びＨタイルとしてマークされる。開始円形タイルｃｔｓｔａｒｔの実線は、そのタイルが新たに開かれたことを示す。
【００５１】
各タイルは、１２８ｘ１２８ピクセルを有し、それは「四角形のエリア」すなわち各タイルの四角形の形状全体にわたり分布する。右写真画像Ｒは、計算された量だけ回転される。それゆえ、各タイルの四角形形状は、円形形状へと変えられる。円形形状内の、すなわち円形タイルを規定するフットプリント内のそれらのピクセルだけが、評価される。これゆえ、四角形タイルの角に対応するそれらのピクセルは、省略される。同様に、ｔｇｏａｌは１２８ｘ１２８であり、そしてｃｔｇｏａｌは、タイルｔｇｏａｌの評価のために使用する円形フットプリントである。
【００５２】
図１４は、変形Ａ＊発見的学習サーチにおいて第１の半径を使用するサーチによる図１３のＲｏｖｅｒｌａｐのアレイを図示する。図１４には、（第１の）半径ＳＲ１を有する隣接タイルが示される。ここでは、半径ＳＲ１は４である。隣接タイルは、変形Ａ＊発見的学習サーチの第１ステージの期間に評価される複数の候補タイルを作り出す。複数の候補タイル（８個の隣接タイル）は、ＣＴ２１，ＣＴ２２，ＣＴ２３，ＣＴ２４，ＣＴ２５，ＣＴ２６，ＣＴ２７及びＣＴ２８と標識を付けられる。これらの円の実線は、タイルが新たに開かれたことを示す。サーチが完了した後で、開始円形タイルｃｔｓｔａｒｔ（ＣＴ１１）は、（斜線で）ハッチングされた円により表わされるように、閉じられ、そして新タイル（タイルＣＴ２６）は、タイルＥとタイルＨの両方として標識を付けられる（ＬＣＥＦと水平線についての最小コストの両方であるように見つけられることを意味する）。
【００５３】
変形Ａ＊発見的学習サーチにおいて、それまでに精査されたタイルの全ての隣接タイルを調べるとき、タイルは、（ソートされたＯＰＥＮ円形タイル・リストを介して）コストの低い順に配列され、（ＣＬＯＳＥＤタイル・リストを介した）循環を避ける。
【００５４】
図１５は、変形Ａ＊発見的学習サーチにおいて第１の半径を使用したサーチを拡張する図１４のＲｏｖｅｒｌａｐのアレイを図示する。図１５では、変形Ａ＊発見的学習サーチは、タイルＣＴ２６が水平線（Ｈ）タイルにおいて最小コストであるため、ＣＴ２６と標識を付けられたタイルから始めて、半径ＳＲ１を有するさらなる候補タイルを精査し続ける又は拡張される。ここで、８個の隣接タイルがある。しかしながら、新たに開かれた隣接タイルは、ＣＴ３１，ＣＴ３２，ＣＴ３３，ＣＴ３４，ＣＴ３５と標識を付けられ、そして実線の円形の線で示される。図１４において前に開かれているそれらの隣接タイルは、点線の円形の線として示され、候補タイルＣＴ２１，ＣＴ２２，ＣＴ２３，ＣＴ２４，ＣＴ２５，ＣＴ２６，ＣＴ２７及びＣＴ２８に対応する。タイルＣＴ３２は、水平線（Ｈ）タイルにおいて最小コストになると判断される。タイルＣＴ１１は、閉じられている。タイルＣＴ２６は、閉じられ、そしてＥと標識を付けられたＬＣＥＦタイルを残す。精査のこのレベルでは、図１４において前に開かれたタイルに関するコストが変化しないため、新たに開かれた隣接タイルＣＴ３１，ＣＴ３２，ＣＴ３３，ＣＴ３４，ＣＴ３５に関するコストだけが、計算される必要がある。
【００５５】
図１６は、変形Ａ＊発見的学習サーチにおいてＯＶＥＲＳＨＯＯＴしきい値を超える第１の半径を使用してサーチをさらに拡張する図１５のＲｏｖｅｒｌａｐのアレイを図示する。図１６において、精査は継続し、新たなＨタイルＣＴ３２から第１の半径を有するタイルの新候補リストが決定される。ここで、新たなＨタイルＣＴ３２から８個の候補があるが、３個だけが新候補タイルであり、ＣＴ４１，ＣＴ４２及びＣＴ４３と標識を付けられ、そして実線の点線で示される。全ての他の前に開かれたタイルは、点線で示される。ＬＣＥＦタイル（タイルＥ）は、タイルＣＴ２６に留まる。候補タイルＣＴ４３は、水平線（Ｈ）タイルにおいて最小コストになると判断され、そしてタイルＣＴ３２は、閉じられる（ハッチングされた円により表わされる）。ＯＶＥＲＳＨＯＯＴを評価するとき、ＨタイルＣＴ４３が、ＯＶＥＲＳＨＯＯＴ値で掛け算した現在のＬＣＥＦタイル（タイルＥ）に関係付けられるコストよりも大きなコストを有することが、判断される。これゆえ、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）に戻り、そして半径は、所定の係数（例えば、０．５の係数）だけ縮小される。現在のＬＣＥＦタイル（タイルＥ）は、同様に閉じられる。
【００５６】
図１７は、変形Ａ＊発見的学習サーチにおいて第２の半径を使用して第２のサーチをする図１６のＲｏｖｅｒｌａｐのアレイを図示する。図１７において、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）から縮小した現在の半径ＳＲ２（例えば、２の半径）のところの候補タイルの新たなセットを見つける。候補タイルの新たなセットは、新たに開かれ、そして実線で示される。この候補タイルの新たなセットは、ＣＴ５１，ＣＴ５２，ＣＴ５３，ＣＴ５４，ＣＴ５５，ＣＴ５６，ＣＴ５７及びＣＴ５８と標識を付けられる。これらの候補タイルに関係するコストが計算される。タイルＣＴ５１は、水平線（Ｈ）タイルにおいて最小コストであると判断される。しかしながら、ＯＶＥＲＳＨＯＯＴを評価するとき、ＨタイルＣＴ５１がＯＶＥＲＳＨＯＯＴ値で掛け算した現在のＬＣＥＦタイルに関係付けられるコストよりも大きなコストを有することが、判断される。これゆえ、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）に戻り、そして現在の半径は、所定の係数（例えば、０．５の係数）だけさらに縮小される。
【００５７】
図１８は、変形Ａ＊発見的学習サーチにおいて第３の半径を使用して第３のサーチをする図１７のＲｏｖｅｒｌａｐのアレイを図示する。図１８において、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）から縮小した現在の半径（例えば、１の半径）のところの候補タイルの新たなセットを見つける。候補タイルの新たなセットは、新たに開かれ、そして実線で示される。この候補タイルの新たなセットは、ＣＴ６１，ＣＴ６２，ＣＴ６３，ＣＴ６４，ＣＴ６５，ＣＴ６６，ＣＴ６７及びＣＴ６８と標識を付けられる。これらの候補タイルのそれぞれに関係するコストが計算される。タイルＣＴ６１は、水平線（Ｈ）タイルにおいて最小コストであると判断される。
【００５８】
図１９は、変形Ａ＊発見的学習サーチにおいて第３の半径を使用したサーチを拡張する図１８のＲｏｖｅｒｌａｐのアレイを図示する。図１９では、この候補タイルの新たなセットＣＴ６１，ＣＴ６２，ＣＴ６３，ＣＴ６４，ＣＴ６５，ＣＴ６６，ＣＴ６７及びＣＴ６８を評価した後で、ＨタイルＣＴ６１が、新たなＬＣＥＦタイル（タイルＥ）であると判断される。これゆえ、前のＬＣＥＦタイルは、閉じられそして最早現在のＬＣＥＦタイルではないため、ハッチングされた円として示されるが、“Ｅ”が削除されている。再び、この現在の半径のところの候補タイルの新たなセットは、候補タイルＣＴ７１とＣＴ７２であると決定される。ここで、水平線（Ｈ）タイルにおける最小コストは、タイルＣＴ７２である。しかしながら、現在のＬＣＥＦタイル（タイルＥ）をトラッキングするとき、新たな現在のＬＣＥＦタイルも、同様にタイルＣＴ７２であると決定される。これゆえ、ＨタイルＣＴ７２からの候補タイルの新たなセットＣＴ８１，ＣＴ８２及びＣＴ８３が、図２０において決定される。
【００５９】
図２０は、変形Ａ＊発見的学習サーチにおいて第３の半径を使用したサーチをさらに拡張する図１９のＲｏｖｅｒｌａｐのアレイを図示する。図２０では、ＯＶＥＲＳＨＯＯＴは、新たなタイルＣＴ８１，ＣＴ８２及びＣＴ８３を使用して評価されるが、ＯＶＥＲＳＨＯＯＴを評価するときに、ＨタイルがＯＶＥＲＳＨＯＯＴ値で掛け算した現在のＬＣＥＦタイルに関係するコストよりも大きいことが、判断される。これゆえ、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）ＣＴ７２に戻り、そして現在の半径は、所定の係数（例えば、０．５の係数）だけさらに縮小される。しかしながら、半径は、ここでは１より小さい。これゆえ、図２１に示されるように、サブタイリング精査が始まる。
【００６０】
図２１は、変形Ａ＊発見的学習サーチにおいてサブ−タイリング・サーチングを使用して第４のサーチをする図２０のＲｏｖｅｒｌａｐのアレイを図示する。図２１では、サブタイリング精査は、重なる円形タイル５０として示される。現在及び最終ＬＣＥＦタイル（タイルＥ）は、ＣＴ７２であり、そして図１１ＢではｃｔｅｎｄＰｏｓと標識を付けられている。図１１Ｂでは、白い円は、図２１の少なくとも重なる円形タイル５０に対応する。現在及び最終ＬＣＥＦタイル（タイルＥ）は、左写真画像を右写真画像につなぎ合わせための、完全な又は理想的なつなぎ合わせスポットである。認識できるように、サブタイリング精査は、全円形タイルに対して前に説明したものと同様な方法で続くはずである。新たなＨタイルは、現在のＥタイルから左上の角にあるサブタイルであり、ＯＶＥＲＳＨＯＯＴに関して同じく評価されるはずである。
【００６１】
サブタイリング精査の期間に、エリアＲｏｖｅｒｌａｐ中の重なる候補タイルは、ピクセル・ベースで、円形タイルｃｔｇｏａｌと比較される。半径は、１つだけのピクセルが残されるまでピクセル・ベースでさらに縮小されることができる。しかしながら、１ピクセルだけ、左へ、下へ、上へ、右へ移動することが、より良いＬＣＥＦタイルをもたらさず、その時点でサーチが停止することを、決定することができる。
【００６２】
図２２は、変形Ａ＊発見的学習サーチ中を使用したサーチにおける拡張の順番に対するコスト関数ｆ（ｔ）のグラフを図示する。変形Ａ＊発見的学習サーチのまとめが、図２２に示されたグラフに関連してここに説明される。コスト関数ｆ（ｔ）は、第１の半径（例えば、４の半径）を有し、曲線上の点として表わされるタイルＡ，ＢとＣ、及び点Ａ，ＢとＣを有する曲線上になるいずれかの他の隣接タイル（候補タイル）に関して計算される。他のタイルに関するコスト関数の評価は、コスト関数ｆ（ｔ）がＯＶＥＲＳＨＯＯＴ＊ｆ（Ｂ）より大きいために停止される、ここで、ｆ（Ｂ）は、現在のＬＣＥＦタイルに関係するコストである。これゆえ、第１の半径を使用するサーチは、停止される。半径は半分に縮小され、そして変形Ａ＊発見的学習サーチは継続する。
【００６３】
縮小した半径（例えば、２の半径）を使用して、コスト関数ｆ（ｔ）は、曲線上の点として表わされるタイルＢ，ＤとＥ、及び点Ｂ，ＤとＥを有する曲線上になるいずれかの他の開かれた隣接タイル（候補タイル）に関して計算される。他のタイルに関するコスト関数の評価は、コスト関数ｆ（Ｅ）がＯＶＥＲＳＨＯＯＴ＊ｆ（Ｄ）より大きいために停止される、ここで、ｆ（Ｄ）は、現在のＬＣＥＦタイルに関係するコストである。これゆえ、第２の半径を使用するサーチは、停止される。第２の半径は半分に縮小され、そして変形Ａ＊発見的学習サーチは継続する。
【００６４】
縮小した半径（例えば、１の半径）を使用して、コスト関数ｆ（ｔ）は、曲線上の点として表わされるタイルＤ，ＦとＧ、及び点Ｄ，ＦとＧを有する曲線上になるいずれかの他の開かれた隣接タイル（候補タイル）に関して計算される。他のタイルに関するコスト関数の評価は、コスト関数ｆ（Ｇ）がＯＶＥＲＳＨＯＯＴ＊ｆ（Ｆ）より大きいために停止される、ここで、ｆ（Ｆ）は、現在のＬＣＥＦタイルに関係するコストである。タイルＦは、最小のコストを有する。
【００６５】
図２３Ａと図２３Ｂは、指定されたｔｇｏａｌ、ｔｅｎｄＰｏｓとｔｅｎｄＲｏｔを有する図１Ａと図１Ｂの左写真画像及び右写真画像を図示する。図２４は、複数の回転における図２３ＢのｔｅｎｄＰｏｓの重ねられたタイルを図示する。図２３Ａ、図２３Ｂと図２４では、タイルｔｇｏａｌ、ｔｅｎｄＲｏｔとｔｅｎｄＰｏｓは、円形タイル対応部分を有する四角形タイルとして示される。
【００６６】
図２７は、右写真画像においてステップＳ１１０（図６Ａ）における位置合わせ回転を計算するためのプロセスのフローチャートを図示する。ｔｅｎｄＰｏｓとして表わされる理想的なつなぎ合わせスポット又はタイルから始めて、円形タイルは、ステップＳ１７０において所定量回転され、そしてタイルｔｇｏａｌに関して円形タイルを用いるＳＡＤのみの関数を使用したコストが、ステップＳ１７２において計算される。ステップＳ１７２は、ステップＳ１７４に続き、そこでは、回転範囲の終わりに到達したかどうかの判断が行われる。判断が「ＮＯ」である場合、ステップＳ１７４はステップＳ１７６に続き、そこでは、回転（度で）は所定量だけ増加される。ステップＳ１７６は、ステップＳ１７０へと環状に戻る。しかしながら、ステップＳ１７４における判断が「ＹＥＳ」である場合、ステップＳ１７４はステップＳ１７８に続く。ステップＳ１７８において、画像Ｒに関する位置合わせ回転が計算される。例えば、最小のＳＡＤに関係する回転（度で）が、位置合わせ回転になるように決定されることができる。その結果、エリアＲｏｖｅｒｌａｐ中でｔｅｎｄＰｏｓと表わされた、理想的なつなぎ合わせスポット又はタイルは、タイルｔｇｏａｌと最も良く一致し、ＳＡＤを計算するときに、位置合わせ回転プロセスは、円形タイル・フォーマットを使用して、ＳＡＤ計算の際に角を削除する。
【００６７】
具体例の実施形態において、円形タイルｃｔｅｎｄＰｏｓは、２１の異なる回転により−１０度から１０度の範囲で回転される。それゆえ、この実施形態において使用される増分は、１°である。しかしながら、別の増分が使用されることができる。図２４は、異なる度数で回転した図２３Ｂのタイル（白で示される）上に重ね合わせられたタイルｔｇｏａｌを図示する。タイルｔｅｎｄＰｏｓの最終的に回転したものは（黒で示される）、ｔｅｎｄＲｏｔ（同様に黒で示される）と標識を付けられている。この実施形態では、位置合わせ回転は、７度になると決定される。これは、左画像と右画像との間の任意の回転の差異を補償する又は補正する。タイルｔｅｎｄＲｏｔは、図２６Ｄに同様に示される。
【００６８】
前に記述したように、回転位置合わせが３°未満である場合、タイルｔｅｎｄＰｏｓは、最終のタイルであり、そして下記に説明されるタイルｔｍａｔｃｈ（図２６Ｅ）として設定されることができる。その後、最善一致タイルがタイルｔｅｎｄＰｏｓである場合には、つなぎ合わせプロセスは、直ちに開始することができ、それは回転位置合わせプロセスに伴うそれらの追加の計算を省略する。つなぎ合わせるとき、左画像Ｌは、タイルｔｇｏａｌとｔｍａｔｃｈとを重ね合わせて（回転されない）右画像Ｒの一番上に置かれる。しかしながら、回転位置合わせが３°以上である場合には、右画像Ｒは、むしろ回転される。
【００６９】
図２５Ａは、指定されたｔｇｏａｌを有する図８の左写真画像を図示する。図２５Ｂは、指定されたｔｅｎｄＰｏｓとｔｍａｔｃｈを有する図１Ｂの回転した右写真画像を図示する。図２５Ａと図２５Ｂでは、右画像Ｒは、位置合わせ回転の量だけ回転され、そしてＲｒｏｔａｔｅｄと標識を付けられる。新たな回転の右画像ＲｒｏｔａｔｅｄのタイルｔｅｎｄＰｏｓ（図２６Ｃ）を使用して、四角形タイルを使用するＳＡＤ−のみコスト関数は、新たな変形Ａ＊発見的学習サーチにおいて使用される。新たな回転におけるタイルｔｅｎｄＰｏｓ（図２６Ｃ）は、現在の（回転した）ＬＣＥＦタイルと標識を付けられることができ、そこからサーチングを始める。現在の（回転した）ＬＣＥＦタイルは、タイルｔｇｏａｌ（図２６Ａ）に最も良く一致する回転した右画像Ｒ中の四角形タイルｔｍａｔｃｈ（図２６Ｅ）に対して新たな変形Ａ＊発見的学習サーチを始める。図２５Ｂでは、四角形タイルｔｍａｔｃｈは、黒として示される。前に説明したように、タイルｔｅｎｄＰｏｓ（図２６Ｃ）が回転されていない場合には、タイルｔｍａｔｃｈは、タイルｔｅｎｄＰｏｓである。このタイルｔｍａｔｃｈは、回転した右画像Ｒｒｏｔａｔｅｄに左画像Ｌをつなぎ合わせるスポットである。
【００７０】
図２８は、右写真画像に左写真をつなぎ合わせるためのプロセスのフローチャートを図示する。図２８では、つなぎ合わせるための理想的な位置は、既知である。図６ＢにおけるステップＳ１１８のプロセスは、ステップＳ１８０で始まり、そこでは、右画像Ｒ又は回転した右画像Ｒｒｏｔａｔｅｄは、出力へ送られる。ステップＳ１８０は、ステップＳ１８２に続き、そこでは、左画像は、右画像Ｒ又は回転した右画像Ｒｒｏｔａｔｅｄの上に重ね合わせられる。ステップＳ１８２は、ステップＳ１８４に続き、そこでは、左画像と右画像との間の継ぎ目を調整しつつ、タイルｔｇｏａｌがタイルｔｍａｔｃｈ上につなぎ合わせられる位置に、左画像Ｌは張り合わせられる。具体例の実施形態では、左画像Ｌの右の１００列が下にあるもの（右画像Ｒ又は回転した右画像Ｒｒｏｔａｔｅｄ）となめらかに調整される、アルファ調整が、使用される。この結果は、図３０に示される、より大きな、パノラマ画像を作り出す。ステップＳ１８４はステップＳ１８６（破線で示される）に続き、そこでは、オプションで、パノラマ画像は切り取られ、黒い長方形の線により示される。
【００７１】
図３３をここで参照して、つなぎ合わせモジュール３００のブロック図が示される。つなぎ合わせモジュール３００は、ステップＳ１８２の機能を実行するための重ね合わせサブ−モジュール３０２、及びステップＳ１８４の機能を実行するための調整サブ−モジュール３０４を含む。つなぎ合わせモジュール３００は、継ぎ目選択サブ−モジュール３０６をさらに含み、それは、肌の色調検出サブ−モジュール３０８及びオブジェクト検出サブ−モジュール３１０を含む。ステップＳ１８４の調整の前に又はその間に、それぞれサブ−モジュール３０８及び３１０による肌の色調検出及びオブジェクト検出は、実行されることができる。切り取りサブ−モジュール３１２は、パノラマ画像を切り取るために与えられる。
【００７２】
継ぎ目は、様々な方式又はパターンでつなぎ合わせられることができる。先ず、直線が、継ぎ目をつなぎ合わせるために継ぎ目パターンとして使用されることができる。あるいは、継ぎ目パターンは、オブジェクト検出サブ−モジュール３１０により検出された場面中の重要なオブジェクト通り切断すること又はつなぎ合わせることを最小にするために波線であり得る。それにも拘わらず、別の継ぎ目パターンが、採用されることができる。継ぎ目パターンは、継ぎ目選択サブ−モジュール３０６により選択され、そして自動的に行われることがある。
【００７３】
その上、具体例の実施形態では、継ぎ目は、図４に示されるように、好ましくはパノラマ画像中の誰かの顔の上になるべきではない。したがって、肌の色調検出アルゴリズムが、肌の色調検出サブ−モジュール３０８により採用され、画像中の誰かの顔の上に継ぎ目を置くことを防止する。サーチにおいて使用するピクセルの色は、肌の色調又は肉色の色調を検出するために使用されることができる。
【００７４】
図３１Ａと図３１Ｂは、左写真画像と右写真画像の一部が重なるレストランにおける場面の左写真画像と右写真画像を図示する。これらの画像は、しかも異なる回転である。プロセス１００を使用して図３１Ａと図３１Ｂの左写真画像と右写真画像を表すレストランの大きなパノラマ画像は、図３２に示される。継ぎ目は、２人の人物の間になり、そして彼らの顔の上にはならない。従来プロセスは、異なる回転の図３１Ａと図３１Ｂの２つの画像を使用してパノラマ画像を作り出すことはできない。そのように、本明細書中に記述される実施形態は、つなぎ合わせることの前に回転の相違を見つけそして補正することにより、回転に無関係である画像つなぎ合わせを提供する。図５には、図３Ａと図３Ｂの左写真画像と右写真画像を使用して本明細書中に記述した具体例の実施形態を使用したレストランのパノラマ画像が示される。図５では、図４に示される従来プロセスが行ったように、継ぎ目は、人物の顔を通って切断していない。
【００７５】
上記の観点から、本明細書中に記述した実施形態は、ある共通重なり領域があるように与えられた、異なる視点又は回転からある場面を撮影した２つの画像を一緒に継ぎ目なく組み立てることが可能な無線デバイス１０を提供する。無線デバイス１０は、しかも、相対的に小さなメモリの増加でカメラ・デバイスにおいてパノラマ画像を作り出すことが可能である。
【００７６】
その上、容易に認識されるように、２つの画像間の回転がしきい値又は下限よりも低い時には、無線デバイス１０は、回転補正を削除することによりパノラマ画像を作り出すためのプロセス１００を最適化することが可能である。さらに、本プロセスは、２つの画像間の照明の違いを補償する。
【００７７】
１又はそれより多くの具体例の実施形態では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのいずれかの組み合わせにおいて実装されることができる。ソフトウェアで実装される場合、機能は、コンピュータ読取り可能な媒体又は機械読取り可能な媒体に、１又はそれより多くの命令又はコードとして記憶されることができる、又はそれを介して送信されることができる。コンピュータ読取り可能な媒体又は機械読取り可能な媒体は、コンピュータ記憶媒体、及び１つの場所から別の場所へコンピュータ・プログラムの伝達を容易にする任意の媒体を含む通信媒体、の両方を含む。記憶媒体は、汎用コンピュータによりアクセスされることが可能ないずれかの利用可能な媒体であり得る。例として、そして限定ではなく、そのようなコンピュータ読取り可能な媒体又は機械読取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、若しくは別の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶デバイス、あるいは、コンピュータによりアクセスされることが可能である命令又はデータ構造の形式で所望のプログラム・コード手段を搬送するため又は記憶するために使用されることが可能である任意の他の媒体、を備えることができる。しかも、いずれかの接続は、適正に名付けられたコンピュータ読取り可能な媒体又は機械読取り可能な媒体である。例えば、ソフトウェアがウェブサイト、サーバ、あるいは、同軸ケーブル、光ファイバ・ケーブル、電線、ディジタル加入者回線（ＤＳＬ：digital subscriber line）、若しくは赤外線、無線、及びマイクロ波のような無線技術を使用する他の遠隔ソース、から送信される場合、同軸ケーブル、光ファイバ・ケーブル、電線、ＤＳＬ、又は赤外線、無線、及びマイクロ波のような無線技術は、媒体の定義に含まれる。本明細書中で使用されるように、ディスク（disk）とディスク（disc）は、コンパクト・ディスク（disc）（ＣＤ）、レーザー・ディスク（disc）、光ディスク（disc）、ディジタル・バーサタイル・ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、及びブルー・レイ・ディスク（disc）を含み、ここで、ディスク（disk）は、通常磁気的にデータを再生する、ところが、ディスク（disc）はレーザーを用いて光学的にデータを再生する。上記の組み合わせは、コンピュータ読取り可能な媒体又は機械読取り可能な媒体の範囲に同様に含まれるべきである。
【００７８】
その上、動作を起こさせるような又は結果を生じさせるような、１つの形式又は別の１つの形式（例えば、プログラム、手順、プロセス、アプリケーション、モジュール、論理回路、及びその他）のソフトウェアについて言えば、公知である。そのような表現は、単に、プロセッサが動作を実行するように又は結果を生成するようにさせるために、処理システムによるソフトウェアの実行を述べる簡単な方法である。
【００７９】
本明細書中に記述された実施形態は、カメラ付き電話デバイス１０、カメラ・デバイス又はカメラを有する他の無線デバイスに関係する。しかしながら、本明細書中に記述したプロセス１００は、パーソナル・コンピュータ（ＰＣ）、ラップトップ、又は他の計算デバイスにより同様に使用されることが可能である。
【００８０】
開示された実施形態のこれまでの説明は、当業者が、本発明を作成する又は使用することを可能にするために提供される。これらの実施形態への様々な変形は、当業者に容易に明白にされるであろう。そして、本明細書中で規定された一般的な原理は、本明細書の精神又は範囲から逸脱することなく別の実施形態に適用されることがでる。それゆえ、本明細書は、ここに記述された実施形態に制限するように意図したものではなく、本明細書中に開示した原理及び新奇な機能と整合する最も広い範囲に適用されるものである。
【図１Ａ】
2010516003.tif 000003
【図１Ｂ】
2010516003.tif 000004
【図２】
2010516003.tif 000005
【図３Ａ】
2010516003.tif 000006
【図３Ｂ】
2010516003.tif 000007
【図４】
2010516003.tif 000008
【図５】
2010516003.tif 000009
【図６Ａ】
2010516003.tif 000010
【図６Ｂ】
2010516003.tif 000011
【図７】
2010516003.tif 000012
【図８】
2010516003.tif 000013
【図９】
2010516003.tif 000014
【図１０】
2010516003.tif 000015
【図１１Ａ】
2010516003.tif 000016
【図１１Ｂ】
2010516003.tif 000017
【図１２】
2010516003.tif 000018
【図１３】
2010516003.tif 000019
【図１４】
2010516003.tif 000020
【図１５】
2010516003.tif 000021
【図１６】
2010516003.tif 000022
【図１７】
2010516003.tif 000023
【図１８】
2010516003.tif 000024
【図１９】
2010516003.tif 000025
【図２０】
2010516003.tif 000026
【図２１】
2010516003.tif 000027
【図２２】
2010516003.tif 000028
【図２３Ａ】
2010516003.tif 000029
【図２３Ｂ】
2010516003.tif 000030
【図２４】
2010516003.tif 000031
【図２５Ａ】
2010516003.tif 000032
【図２５Ｂ】
2010516003.tif 000033
【図２６Ａ】
2010516003.tif 000034
【図２６Ｂ】
2010516003.tif 000035
【図２６Ｃ】
2010516003.tif 000036
【図２６Ｄ】
2010516003.tif 000037
【図２６Ｅ】
2010516003.tif 000038
【図２７】
2010516003.tif 000039
【図２８】
2010516003.tif 000040
【図２９】
2010516003.tif 000041
【図３０】
2010516003.tif 000042
【図３１Ａ】
2010516003.tif 000043
【図３１Ｂ】
2010516003.tif 000044
【図３２】
2010516003.tif 000045
【図３３】
2010516003.tif 000046
【手続補正書】
【提出日】平成21年11月10日(2009.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
前記ゴール・ヒストグラム・アレイ及び前記候補ヒストグラム・アレイのそれぞれは、明るさ又はルーマ（Ｙ）に関する値、青（Ｃｂ）の量と赤（Ｃｒ）の量、及び色相、彩度とピクセルの値（ＨＳＶ空間）として複数の共通Ｈｕｅ、を具備する、請求項８のデバイス。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３３
【補正方法】変更
【補正の内容】
【請求項３３】
前記ゴール・ヒストグラム・アレイ及び前記候補ヒストグラム・アレイのそれぞれは、明るさ又はルーマ（Ｙ）に関する値、青（Ｃｂ）の量と赤（Ｃｒ）の量、及び色相、彩度とピクセルの値（ＨＳＶ空間）として複数の共通Ｈｕｅ、を具備する、請求項３２のコンピュータ・プログラム製品。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
２つの個々の画像間の何らかの回転の相違を補正するために特別な配慮を自動的に用い、カメラ・デバイスを使用してパノラマ画像を自動的に作り出す技術が、本明細書に記述される。１つの実施形態では、重なり領域を有する左画像と右画像とを一緒につなぎ合わせるように動作するプロセッサを有する無線デバイスが、提供される。本プロセッサは、しかも、つなぎ合わせる前の左画像と右画像間の任意の回転の相違を自動的に補正して、大きなパノラマ画像を作り出す。前記プロセッサに接続されたメモリが、含まれる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本明細書中に説明される技術は、ディジタル部２０中のプロセッサのうちのいずれか、例えば、ビデオ・プロセッサ２４、に対して使用されることができる。内部メモリ３６は、ディジタル部２０内の様々なユニットのためのデータ及び／又は命令を記憶する。ＥＢＩ３８は、ディジタル部２０（例えば、内部メモリ３６）と主メモリ４０との間のデータの伝達を容易にする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
Ｙ，ＣｒとＣｂ値２０２，２０４と２０６に加えて、Ｙ，Ｃｒ，Ｃｂから３つの新たな数が計算される。これらの新たな数は、色相２０８Ａ、彩度２０８Ｂ、及びピクセルの値２０８Ｃを含む。ＨＳＶは、ピクセルの色を評価する別の方法である。そのように、ヒストグラム関数whall*histogramDiffall(t,tgoal)は、方程式（２）により定義される  
whall*histogramDiffall(t,tgoal)＝
wY*histogramYDiffall(t,tgoal)＋
wCb*histogramCbDiffall(t,tgoal)＋
wCr*histogramCrDiffall(t,tgoal)＋
wHue*histogramHueDiffall(t,tgoal)                            式（２）  
ここで、whallは、wY+wCb+wCr+wHueの合計であり、それは０と１との間である。これらの４つのヒストグラム下位関数は、適用されるべき、プログラムされるべき、そして個々に設定されるべき個々の加重を同様に認める。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
図１６は、変形Ａ＊発見的学習サーチにおいてＯＶＥＲＳＨＯＯＴしきい値を超える第１の半径を使用してサーチをさらに拡張する図１５のＲｏｖｅｒｌａｐのアレイを図示する。図１６において、精査は継続し、新たなＨタイルＣＴ３２から第１の半径を有するタイルの新候補リストが決定される。ここで、新たなＨタイルＣＴ３２から８個の候補があるが、３個だけが新候補タイルであり、ＣＴ４１，ＣＴ４２及びＣＴ４３と標識を付けられ、そして実線で示される。全ての他の前に開かれたタイルは、点線で示される。ＬＣＥＦタイル（タイルＥ）は、タイルＣＴ２６に留まる。候補タイルＣＴ４３は、水平線（Ｈ）タイルにおいて最小コストになると判断され、そしてタイルＣＴ３２は、閉じられる（ハッチングされた円により表わされる）。ＯＶＥＲＳＨＯＯＴを評価するとき、ＨタイルＣＴ４３が、ＯＶＥＲＳＨＯＯＴ値で掛け算した現在のＬＣＥＦタイル（タイルＥ）に関係付けられるコストよりも大きなコストを有することが、判断される。これゆえ、変形Ａ＊発見的学習サーチは、現在のＬＣＥＦタイル（タイルＥ）に戻り、そして半径は、所定の係数（例えば、０．５の係数）だけ縮小される。現在のＬＣＥＦタイル（タイルＥ）は、同様に閉じられる。
【国際調査報告】
2010516003.tif 000047
2010516003.tif 000048
2010516003.tif 000049