(57)【特許請求の範囲】
【請求項１】
第１映像および第２映像を取得する段階と、
前記各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する段階と、
最上位レベルの映像から最下位レベルの映像まで順次に、前記第１映像及び第２映像のそれぞれに対応して生成された映像ピラミッドにおいて同一レベルにある二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の何れかの方向を最適移動方向として求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階と、
前記取得した各映像を単一チャネルの映像に変換する段階を含む、映像整合方法であって、
前記モーションベクターは、レベル間のサブサンプリング比率をレベル位置に応じて累乗した値によって前記最適移動方向をスケーリングして成るベクトルを、上位レベルのモーションベクターに対して累積的に合成することにより更新されるベクトルである、方法。
【請求項２】
前記単一チャネルの映像は、グレースケール映像である、
請求項１に記載の映像整合方法。
【請求項３】
前記最適移動方向は、輝度に基づく方法と確率に基づく方法うち一つを用いて求められる、
請求項１に記載の映像整合方法。
【請求項４】
前記輝度に基づく方法は、相関関係、正規化された相関関係、およびＳＡＤ（ｓｕｍ  ｏｆ  ｔｈｅ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）うち一つのアルゴリズムを利用する、
請求項３に記載の映像整合方法。
【請求項５】
前記確率に基づく方法は、相互情報、および正規化相互情報のうち一つのアルゴリズムを利用する、
請求項３に記載の映像整合方法。
【請求項６】
前記映像ピラミッドをｎ＋１個生成して最下位レベルから最上位レベルをレベル０、レベル１、…、レベルｎとし、レベルｋで求めた最適移動方向を
【数１】
0005595646.tif 000020
とした時、レベルｎからレベル０まで順次に求めたモーションベクター（Ｖ）は
【数２】
0005595646.tif 000021
である、
請求項１に記載の映像整合方法。
【請求項７】
イメージセンサで第１映像および第２映像を取得する映像取得部と、
前記取得した各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成するピラミッド生成部と、
前記第１映像及び第２映像のそれぞれに対応して生成された映像ピラミッドにおいて同一レベルにある二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の何れかの方向を最適移動方向として求める方向計算部と、
前記最適移動方向に基づいてモーションベクターを更新するモーションベクター計算部と、
前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する映像更新部であって、最上位レベルの映像から最下位レベルの映像まで順次に、前記モーションベクター計算部は前記モーションベクターを更新して、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新して映像を整合する、映像更新部と、
前記取得した各映像を単一チャネルの映像に変換する映像変換部と、を含む映像整合装置であって、
前記モーションベクターは、レベル間のサブサンプリング比率をレベル位置に応じて累乗した値によって前記最適移動方向をスケーリングして成るベクトルを、上位レベルのモーションベクターに対して累積的に合成することにより更新されるベクトルである、映像整合装置。
【請求項８】
前記単一チャネルの映像は、グレースケール映像である、
請求項７に記載の映像整合装置。
【請求項９】
前記最適移動方向は、輝度に基づく方法と確率に基づく方法うち一つを用いて求められる、
請求項７に記載の映像整合装置。
【請求項１０】
前記輝度に基づく方法は、相関関係、正規化された相関関係、およびＳＡＤ（ｓｕｍ  ｏｆ  ｔｈｅ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）うち一つのアルゴリズムを利用する、
請求項９に記載の映像整合装置。
【請求項１１】
前記確率に基づく方法は、相互情報、および正規化相互情報のうち一つのアルゴリズムを利用する、
請求項９に記載の映像整合装置。
【請求項１２】
前記映像ピラミッドをｎ＋１個生成して最下位レベルから最上位レベルをレベル０、レベル１、…、レベルｎとし、レベルｋで求めた最適移動方向を
【数３】
0005595646.tif 000022
とした時、レベルｎからレベルｋまで順次に更新されたモーションベクター（Ｖ）は
【数４】
0005595646.tif 000023
である、
請求項７に記載の映像整合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像整合方法および装置に関するものであって、より詳細には映像ピラミッドを使用して各ピラミッドレベルで目的関数の計算量を減らし、映像整合を速く実行することができ、整合される二つの映像の間に特性の差が大きい場合にも安定した性能を示す映像整合方法および装置に関するものである。
【背景技術】
【０００２】
一般的に映像整合（ａｌｉｇｎｍｅｎｔ、ｒｅｇｉｓｔｒａｔｉｏｎ）とは、互いに異なる二枚の映像あるいはそれ以上の映像で物理的に類似の映像内の領域を幾何学的に一致させる処理をいう。
【０００３】
最近では、単一のイメージセンサから獲得した多重露出基盤のハイダイナミックレンジ映像（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ（ＨＤＲ）  ｉｍａｇｅ）のための整合や手の震えによるモーションデブラーリング（ｍｏｔｉｏｎ  ｄｅｂｌｕｒｒｉｎｇ）のための整合だけではなく、互いに異なる方式（ｍｏｄａｌｉｔｙ）の多数の映像獲得装置から獲得した映像を整合する技術が発展している。互いに異なる方式の多数の映像獲得装置から映像を獲得して映像を整合する一例として、一般カメラ映像と赤外線映像あるいはＣＴとＭＲＩ映像を合成する場合を挙げることができる。
【０００４】
従来の映像整合の方法で、目的関数で使用される値が輝度（ｌｕｍｉｎａｎｃｅ）を基盤とする場合には明るさやモーションブラー（ｍｏｔｉｏｎ  ｂｌｕｒ）などの撮影条件が類似であるという仮定の下でのみ適用が可能であった。しかし、実際において整合の対象となる二つの映像を獲得する時、撮影条件が相異なって映像の特性の差異が大きく生じる場合があるが、この時動きの推定を失敗する場合が生じる。例えばハイダイナミックレンジ（ＨＤＲ）映像を生成するために露出時間を異にした二つの映像を整合した場合、極端な明るさの差異によって非常に明るいか暗い領域ではエッジ（ｅｄｇｅ）情報が失われる場合が生じ、多重露出基盤のモーションデブラーリングをする場合にも各映像間に露出時間の差異によってモーションブラー量の差異が生じ、従来の方法では映像を整合できない場合が生じた。
【０００５】
また、従来の相互情報（ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）、正規化相互情報（ｎｏｒｍａｌｉｚｅｄ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）のような確率基盤方法を用いて映像を整合する方法は、映像特性の差異が大きく生じる場合にも整合の安全性を高めることができるという長所があるが、計算量が多くオンライン上で作動するカメラシステムには使用し難いという問題点があった。
【特許文献１】韓国特許公開第2005-0063991号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は前記した問題点を改善するために考案されたものであり、本発明が成そうとする目的は、ピラミッド映像を用いて各ピラミッドレベルで五回の目的関数の計算だけで映像を整合し、整合速度を向上させて、目的関数を計算する時、既存の確率基盤方法を使用して映像間特性の差異が大きい場合にも安定的に映像を整合できるようにすることにある。
【０００７】
本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解できるであろう。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明の一実施形態による映像整合方法は、第１映像および第２映像を獲得する段階と、前記各映像に対して縦横のサイズを半分に減らすサブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）過程を経て映像ピラミッドを生成する段階、および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階と、を含む。
【０００９】
前記目的を達成するために、本発明の一実施形態による映像整合装置は、イメージセンサで第１映像および第２映像を獲得する映像獲得部と、前記獲得した各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成するピラミッド生成部と、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める方向計算部と、前記最適移動方向に基づいてモーションベクターを更新するモーションベクター計算部、および前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する映像更新部を含み、最上位レベルの映像から最下位レベルの映像まで順次に、前記モーションベクター計算部は前記モーションベクターを更新して、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新して映像を整合する。
【００１０】
実施形態の具体的な事項は詳細な説明および図に含まれている。
【発明の効果】
【００１１】
前記したような本発明の映像整合方法および装置によれば次のような効果が一つあるいはそれ以上ある。
【００１２】
最初にピラミッド映像を用いて各ピラミッドレベルで５回の目的関数の計算だけで映像を整合することができるため、整合の速度を向上させることができるという長所がある。
【００１３】
次に、映像整合のための計算量を減らし、オンライン上で動作するカメラシステムなどでも適用が可能であり、ハードウェア具現が容易であるという長所もある。
【００１４】
最後に、各ピラミッドレベルで５回の目的関数の計算だけでも映像整合が可能であるため、目的関数を計算する時、計算量が多い相互情報、正規化相互情報アルゴリズムなどの確率基盤方法を使用することによって映像間の明るさ、モーションプルロ（ｍｏｔｉｏｎ  ｂｌｕｒ）、方式（ｍｏｄａｌｉｔｙ）などの特性差異が大きい場合にも安定的に映像を整合できるという長所もある。
【発明を実施するための最良の形態】
【００１５】
本発明の利点および特徴、並びにそれらを達成する方法は、添付する図面と共に後述する実施形態を参照することにより明確になる。しかし、本発明の目的は、以下で開示される実施形態に限定されず、相異なる多様な形態によっても達成可能である。したがって、以下の実施形態は単に、本発明の開示を十全たるものとし、当業者に本発明の範囲を認識されるために提供するものである。すなわち、本発明の範囲はあくまで、請求項に記載された発明によってのみ規定される。
【００１６】
以下、本発明の実施形態による映像整合方法および装置を説明するためのブロック図または処理フローチャートに関する図を参考して本発明について説明する。この時、処理フローチャート図の各ブロックとフローチャート図の組み合せはコンピュータプログラムインストラクションによって実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、凡庸コンピュータ、特殊用コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートブロックで説明された機能を行う手段を生成するように機構を作られる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートブロックで説明された機能を実行するための段階を提供することも可能である。
【００１７】
図１は本発明の一実施形態による映像整合方法の順序図である。
【００１８】
本発明の一実施形態による映像整合方法は、映像獲得装置から第１映像および第２映像を獲得する段階（Ｓ１１０）、獲得した各映像を単一チャネルの映像に変換させる段階（Ｓ１２０）、サブサンプリング過程を経て映像ピラミッドを生成する段階（Ｓ１３０）、および最上位レベルの映像から最下位レベルのピラミッド映像まで順次に、同一レベルの二つの映像から最適移動方向を求め（Ｓ１５０、Ｓ２００）、最適移動方向に基づいてモーションベクターを更新し（Ｓ１６０）、更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階（Ｓ１９０、Ｓ２１０）を含む。
【００１９】
先に、イメージセンサを有する映像獲得部５１０から整合を実行する二つの映像（第１映像、第２映像）を獲得する（Ｓ１１０）。
【００２０】
イメージセンサは、被写体で反射された光を電気的なイメージ信号に変換して、映像を生成して出す映像撮像素子部品を称するものであって、その製作工程と応用方式によって大きく電荷結合素子（ＣＣＤ；Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサと金属酸化物半導体（ＣＭＯＳ；Ｃｏｍ−ｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで分類することができる。
【００２１】
後述する内容であるが、本発明では単一映像獲得装置から二つの映像を獲得する場合だけでなく、互いに異なる方式（ｍｏｄａｌｉｔｙ）を有する複数の映像獲得装置から映像を獲得する場合にも安定的に映像整合を実行することができる。例えば、一般カメラから獲得した映像と赤外線カメラから獲得した映像、ＣＴ映像とＭＲＩ映像との間でも整合を安定的に実行することができるため、すべての映像システムに幅広く適用が可能である。したがって、映像整合のための二つの映像を獲得する時、映像獲得装置の種類および数に制限されない。
【００２２】
次に、映像変換部５２０は獲得した二つの映像に対して単一チャネルの映像で映像変換を実行することができる（Ｓ１２０）。単一チャネルの映像の一例としてグレースケール（gray  scale）映像を挙げることができる。または、ＲＧＢチャネルを使用する場合Ｒ、Ｇ、Ｂのうち一つのチャネル値を用いて単一チャネルの映像に変換させることもできるだろう。
【００２３】
獲得した映像を単一チャネルの映像に変換させるので、入力映像は映像獲得装置の方式と関係なくカラー映像だけではなく、白黒映像、赤外線映像、またはＣＴ、ＭＲＩなどの医療映像などすべての種類の映像を用いて整合を実行することができる。
【００２４】
次に、ピラミッド生成部５３０は獲得した二つの映像または獲得した映像を単一チャネルの映像に変換した二つの映像に対してそれぞれの映像ピラミッドを生成する（Ｓ１３０）。
【００２５】
図２は、本発明の一実施形態による縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドの構成を示す図であり、図３は、実際映像で縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドを示す図である。
【００２６】
映像整合において、映像ピラミッドは多くの場合、遠視映像で特定のモーションベクターを抽出しようとするとき、処理しなければならないデータ量が非常にぼう大で長い処理時間が必要とされる問題点を解決するために映像が有している特性を維持しつつ処理される映像のサイズを縮小する方法で広く使用される。
【００２７】
図２および図３のように原本映像と同じサイズの映像をレベル０、映像を段階的に縮小させつつ最も小さいサイズの映像をレベルｎ（図３ではｎ＝５）とし、映像の大きさが小さくなるほど上位レベルの映像とする時、上位レベルに行くほど解像度は低くなり下位レベルに行くほど解像度は高くなる。
【００２８】
本発明においては、一段階上位レベルの映像を生成する時、横および縦のサイズを各々１／２に減らすサブサンプリングを各レベル別に行い映像ピラミッドを生成する。すなわち、上位レベルに行くほどピクセルの数は１／４に減り、映像のサイズも１／４に減る。サブサンプリングの方法で映像を２＊２ピクセルの領域に分けて、各領域の２＊２のうち特定位置のピクセルだけを集めて新たな映像を生成する方法を挙げることができる。したがって、２＊２ピクセル領域のうち、一つのピクセルだけを用いて上位レベルのピラミッド映像を生成するので上位レベルに行くほど面積のサイズは１／４に減り、解像度は落ちる。
【００２９】
また図１を参照すると、最上位レベルから順次に最下位レベルにモーションベクターを更新しつつ映像整合を実行する。
【００３０】
先に、現在レベルを第１映像と第２映像の映像ピラミッドで最も小さいサイズの最上位レベルの映像に設定し（Ｓ１４０）、方向計算部５４０は最上位レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める（Ｓ１５０）。図４は、本発明の一実施形態による最適移動方向の推定に使用される五種類方向を示す図であり、図５と共に五種類方向に対してモーションベクターを求めるための目的関数と設定し、五種類方向に計算された目的関数のうち、最大値に該当する場合を探す。目的関数値のうち最大値を有する方向が五種類方向のうち最適移動方向となる。したがって最上位レベルであるレベルｎで最適移動方向である
【００３１】
【数５】
0005595646.tif 000002
は（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）のうちの一つの値を有する。
【００３２】
最適移動方向を求めるため、五種類方向に目的関数を設定し、映像の類似性を判断する方法で従来の輝度基盤方法または確率基盤方法を使用することができる。輝度基盤方法で既存の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）、正規化された相関関係（ｎｏｒｍａｌｉｚｅｄ  ｃｏｒｒｅｌａｔｉｏｎ）およびＳＡＤ（ｓｕｍ  ｏｆ  ｔｈｅ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。相関関係、正規化された相関関係、ＳＡＤ、相互情報、正規相互情報は既存の公知されたアルゴリズムおよび方法で本明細書ではこれに関する詳しい説明を省略する。
【００３３】
前述した通り、映像整合のために確率基盤方法を使用する場合、映像間の特性差異が大きい場合にも安定的に映像を整合することができるが、計算量が多いという問題点があったが、本発明では各レベル別に５個の目的関数だけを計算すれば良いので確率基盤方法を使用したとしても計算量が多くなく、整合の速度が速いという長所がある。
【００３４】
最上位レベルで最適移動方向を救った後、モーションベクター計算部５５０はこれに基づいてモーションベクターを求める（Ｓ１６０）。最上位レベルで求めた最適移動方向
【００３５】
【数６】
0005595646.tif 000003
から最上位レベルで求めたモーションベクターは
【００３６】
【数７】
0005595646.tif 000004
である。
【００３７】
次に、現在レベルを最上位レベルより一段階低い下位レベル（ｎ−１レベル）のピラミッド映像に設定して（Ｓ１８０）、映像更新部５６０は最上位段階で求めたモーションベクターに基づいて現在レベル（ｎ−１レベル）の第１映像を更新する（Ｓ１９０）。この時、現在レベルの第１映像を更新するためのモーションベクターは
【００３８】
【数８】
0005595646.tif 000005
である。なぜなら、上位レベルは下位レベルに比べて横、縦のサイズが半分に減るが、上位レベルで求めたモーションベクターは次の下位レベルでは２倍で表れるからである。
【００３９】
次に、方向計算部５４０は、ｎ−１レベルの更新された第１映像と既存映像ピラミッドの第２映像から最適移動方向を求める（Ｓ２００）。最適移動方向を求める方法は前述した通りであり、ｎ−１レベルで求めた最適移動方向は、同様に（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）うち一つの値を有する。
【００４０】
次に、レベルｎ−１で求めた最適移動方向
【００４１】
【数９】
0005595646.tif 000006
からモーションベクター計算部５５０はモーションベクターを更新する（Ｓ１６０）。この時、更新されたモーションベクターは
【００４２】
【数１０】
0005595646.tif 000007
である。すなわち、上位レベル（レベルｎ）で求めたモーションベクターを二倍した値
【００４３】
【数１１】
0005595646.tif 000008
に現在レベル（レベルｎ−１）で求めた最適移動方向
【００４４】
【数１２】
0005595646.tif 000009
を加える。同様に、モーションベクターを更新した後、現在レベルを一段階下位レベルであるレベルｎ−２の映像ピラミッドに設定し（Ｓ１８０）、映像更新部５６０は、更新されたモーションベクターに基づいて現在レベルであるレベルｎ−２の第１映像を更新する（Ｓ１９０）。この時、現在レベルの第１映像を更新するためのモーションベクターは
【００４５】
【数１３】
0005595646.tif 000010
である。すなわち、一段階上位レベルで求めたモーションベクターを２倍して、第１映像を更新する。二段階上位レベルであるレベルｎで求めた最適移動方向
【００４６】
【数１４】
0005595646.tif 000011
は、現在レベルであるｎ−２レベルでは映像の動きにおいて２２倍寄与する。なぜなら、レベルｎの映像はレベルｎ−２に比べて映像のサイズが２２ほど小さいからである。同様にレベルｎ−１で求めた最適移動方向
【００４７】
【数１５】
0005595646.tif 000012
は２倍下位レベルであるｎ−２レベルのイメージ更新において２倍を寄与する。レベルｎ−１の映像はレベルｎ−２に比べて映像のサイズが２ほど小さいからである。したがって、レベルｎ−２の映像ピラミッドで第１映像を更新するためのモーションベクターは
【００４８】
【数１６】
0005595646.tif 000013
となる。
【００４９】
また、方向計算部５４０は、更新されたレベルｎ−２の第１映像とｎ−２レベルの第２映像に対して最適移動方向を計算し（Ｓ２００）、モーションベクターを更新する（Ｓ１６０）。このような過程を最下位レベルのピラミッド映像に至るまで順次に繰り返し実行する。
【００５０】
順次に繰り返し実行すれば、現在レベルがレベル１である時、Ｓ１６０で更新されたモーションベクターは
【００５１】
【数１７】
0005595646.tif 000014
となり、レベル０の第１映像を更新するためのモーションベクターは前記モーションベクターの二倍である
【００５２】
【数１８】
0005595646.tif 000015
となる。また、レベル０の更新された第１映像と第２映像で最適移動方向
【００５３】
【数１９】
0005595646.tif 000016
を求め、モーションベクターを更新すればモーションベクターは
【００５４】
【数２０】
0005595646.tif 000017
となる。現在レベルが最下位レベル（Ｓ１７０）であるため、最終的に更新されたモーションベクターに基づいて最下位レベルの第１映像を更新する（Ｓ２１０）。
【００５５】
最終的に最下位レベルの映像を更新するためのモーションベクターは
【００５６】
【数２１】
0005595646.tif 000018
である。このモーションベクターから原本ピラミッド映像の第１映像を更新して映像整合を実行することができる。
【００５７】
図５は、映像ピラミッドの各レベルで求めた最適移動方向（動きベクター）を示す図であり、図６は、本発明の一実施形態による映像ピラミッドの各レベルで求めた最適移動方向から最終的に更新されたモーションベクターを示す図である。
【００５８】
図５を参照すると、前述した通り、各レベルの映像の間に最適移動方向を求めるが最上位レベルｎでは最初原本映像ピラミッドの間で最適移動方向を求める。反面、その他のすべての下位レベルでの最適移動方向は上位レベルで求めたモーションベクターに基づいて更新されたピラミッド映像の第１映像と最初原本映像ピラミッドの第２映像との間で求める点が異なる。最上位レベルのレベルｎでレベル０まで求めた最適移動方向
【００５９】
【数２２】
0005595646.tif 000019
から求めた最終的なモーションベクターは図６のように示される。各ベクターの方向は（１、０）、（−１、０）、（０、０）、（０、１）、および（０、−１）のうちの一つの値を有するため、左右または上下の方向を有し繋がる各ベクターの長さはますます小さくなることが分かる。
【００６０】
図７は、本発明の一実施形態による映像整合装置のブロック図である。
【００６１】
本発明の一実施形態による映像整合装置は映像獲得部５１０、ピラミッド生成部５３０、方向計算部５４０、モーションベクター計算部５５０および映像更新部５６０を含み得る。また、映像変換部５２０をさらに含み得る。
【００６２】
この時、本実施形態で使用される「〜部」という一種のモジュールとして具現されうる。ここで「モジュール」は、ソフトウェアまたはＦｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）のようなハードウェア構成要素を意味し、モジュールはある役割を果たす。しかし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールはアドレッシングできる保存媒体にあるように構成されることもでき、一つまたはそれ以上のプロセッサーを再生させるように構成されることもできる。したがって、一例としてモジュールは、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールのうち、提供される機能はさらに小さい数の構成要素および「〜部」に結合されたり、追加的な構成要素およびモジュールに結合されたり、追加的な構成要素とモジュールでさらに分離することができる。
【００６３】
映像獲得部５１０は、被写体から反射された光エネルギーを検出して、電気的信号に変換するイメージセンサを含むが、二つの映像（第１映像、第２映像）を獲得する。
【００６４】
ピラミッド生成部５３０は、映像獲得部５１０で獲得した第１映像、第２映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する。
【００６５】
方向計算部５４０は、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める。最適移動方向は、輝度基盤方法と確率基盤方法うち一つを用いて求めることができる。輝度基盤方法で既存の相関関係、正規化された相関関係およびＳＡＤ（ｓｕｍ  ｏｆ  ｔｈｅ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。
【００６６】
モーションベクター計算部５５０は、現在レベルで求めた最適移動方向に基づいてモーションベクターを更新する。モーションベクターを更新することは前述したので詳しい説明は省略する。
【００６７】
映像更新部５６０は、モーションベクター計算部で求めたモーションベクターに基づいて次の下位レベルの第１映像を更新する。
【００６８】
この時、モーションベクターの更新と第１映像の更新は最上位レベルで最下位レベルに順次に行われるが、更新されたモーションベクターに基づいて下位レベルの第１映像を更新して、更新された第１映像と原本映像ピラミッドの第２映像からモーションベクターを更新する方法を繰り返して最終的に映像整合のためのモーションベクターを求める。
【００６９】
映像変換部５２０は、映像獲得部で獲得した第１映像、第２映像各々に対してグレースケール変換を実行することができる。
【００７０】
本発明が属する技術分野の通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態で実施されうるということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的ではないと理解しなければならない。本発明の範囲は前記詳細な説明よりは特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈しなければならない。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施形態による映像整合方法の順序図である。
【図２】本発明の一実施形態による縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドの構成を示す図である。
【図３】実際映像で縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドを示す図である。
【図４】本発明の一実施形態による最適移動方向の推定に使用される五種類方向を示す図である。
【図５】映像ピラミッドの各レベルで求めた最適移動方向（動きベクター）を示す図である。
【図６】本発明の一実施形態による映像ピラミッドの各レベルで求めた最適移動方向から最終的に更新されたモーションベクターを示す図である。
【図７】本発明の一実施形態による映像整合装置のブロック図である。
【符号の説明】
【００７２】
５１０    映像獲得部
５２０    映像変換部
５３０    ピラミッド生成部
５４０    方向計算部
５５０    モーションベクター計算部
５６０    映像更新部
【図１】
0005595646.tif 000024
【図２】
0005595646.tif 000025
【図４】
0005595646.tif 000026
【図５】
0005595646.tif 000027
【図６】
0005595646.tif 000028
【図７】
0005595646.tif 000029
【図３】
0005595646.tif 000030