(57)【要約】      （修正有）【課題】ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行う。【解決手段】特徴点情報抽出装置１００は、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部とを備え、前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。【選択図】図１
2014002747.tif 000002
【特許請求の範囲】
【請求項１】
大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、
前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部と、
を備え、
前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成することを特徴とする特徴点情報抽出装置。
【請求項２】
それぞれの部分は互いに重なることを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項３】
第１インタフェースは、第１ソースイメージの水平解像度がバッファメモリの水平容量よりも大きくなる場合、前記生成された少なくとも１つ以上のタイルイメージを前記大容量臨時記憶装置の容量よりも小さい容量を有するバッファメモリに記録することを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項４】
それぞれの部分は、互いに重なることを特徴とする請求項３に記載の特徴点情報抽出装置。
【請求項５】
前記バッファメモリは、ＳＲＡＭメモリまたは前記大容量臨時記憶装置であることを特徴とする請求項４に記載の特徴点情報抽出装置。
【請求項６】
前記第１インタフェースと前記特徴点情報抽出部はＡＲＭ構造に適することを特徴とする請求項３に記載の特徴点情報抽出装置。
【請求項７】
前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）であることを特徴とする請求項３に記載の特徴点情報抽出装置。
【請求項８】
前記第１インタフェース部は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成することを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項９】
第１インタフェース部は、大容量臨時記憶装置に格納されたソースイメージのそれぞれの部分を読み出し、ソースイメージの一部を第１タイルイメージとしてバッファメモリに格納し、
前記バッファメモリは、前記大容量臨時記憶装置と区別され、
前記バッファメモリは、前記大容量臨時記憶装置の水平容量よりも小さい水平容量を有することを特徴とする請求項８に記載の特徴点情報抽出装置。
【請求項１０】
前記特徴点情報抽出部は、前記特徴点情報として前記第１タイルイメージの特徴領域と、前記特徴領域に対応するディスクリプタを抽出することを特徴とする請求項９に記載の特徴点情報抽出装置。
【請求項１１】
前記特徴点情報抽出部は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち少なくとも１つを前記特徴点情報として抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項１２】
前記特徴点情報抽出部は、
前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成し、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成し、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成し、前記生成された候補特徴点のうち前記特徴点情報を抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項１３】
前記特徴点情報抽出部は、前記少なくとも１つ以上の第１オクターブを決定し、前記少なくとも１つ以上のガウスイメージを生成し、前記少なくとも１つ以上のＤｏＧイメージを生成し、前記生成されたＤｏＧイメージから前記候補特徴点を生成し、シフトアルゴリズムによって前記特徴点情報を抽出することを特徴とする請求項１２に記載の特徴点情報抽出装置。
【請求項１４】
前記特徴点情報抽出部は、
前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定し、
前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、
前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
【請求項１５】
少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する第２マスタインタフェース部をさらに備えることを特徴とする請求項１４に記載の特徴点情報抽出装置。
【請求項１６】
前記第１インタフェース部は、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成し、
前記特徴点情報抽出部は、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定することを特徴とする請求項１５に記載の特徴点情報抽出装置。
【請求項１７】
大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す読み出し部と、
前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力するシフトアルゴリズム演算部と、
前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する書き込み部と、
を備え、
前記読み出し部は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出し、
前記シフトアルゴリズム演算部は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成することを特徴とする特徴点情報抽出装置。
【請求項１８】
前記読み出し部は、前記第１ソースイメージの水平解像度を基準として分割して前記少なくとも１つ以上の第１タイルイメージとして読み出し、前記第２ソースイメージの水平解像度を基準にして分割し、前記少なくとも１つ以上の第２タイルイメージとして読み出すことを特徴とする請求項１７に記載の特徴点情報抽出装置。
【請求項１９】
前記読み出し部は、選択された面積で重複領域が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出すことを特徴とする請求項１７に記載の特徴点情報抽出装置。
【請求項２０】
前記書き込み部は、前記重複領域を考慮して前記少なくとも１つ以上の第２タイルイメージを合成して前記第２ソースイメージを生成することを特徴とする請求項１９に記載の特徴点情報抽出装置。
【請求項２１】
第１インタフェース部で、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップと、
特徴点情報抽出部で、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出するステップと、
を含み、
前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する前記ステップは、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成するステップを含むことを特徴とするソース映像の特徴点情報抽出方法。
【請求項２２】
前記生成された第１タイルイメージをバッファメモリに格納するステップは、
前記バッファメモリが前記大容量臨時憶装置よりも小さい容量を有し、第１ソースイメージの水平解像度が前記大容量臨時憶装置の水平容量よりも小さいことを特徴とする請求項２１に記載のソース映像の特徴点情報抽出方法。
【請求項２３】
前記生成された第１タイルをバッファメモリに格納するステップは、ＳＲＡＭメモリであるバッファメモリに格納するステップを含み、
前記大容量臨時憶装置から前記それぞれの部分を読み出すステップは、ＤＲＡＭメモリで動作する大容量臨時憶装置から前記それぞれの部分を読み出すステップを含むことを特徴とする請求項２２に記載のソースイメージの特徴点情報抽出方法。
【請求項２４】
前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）であることを特徴とする請求項２２に記載のソース映像の特徴点情報抽出方法。
【請求項２５】
前記特徴点情報を抽出するステップは、
前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定するステップと、
前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定するステップと、
前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出するステップと、
を含むことを特徴とする請求項２１に記載のソース映像の特徴点情報抽出方法。
【請求項２６】
第２マスタインタフェース部で、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理するステップをさらに含むことを特徴とする請求項２５に記載のソース映像の特徴点情報抽出方法。
【請求項２７】
前記第１インタフェース部で、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップをさらに含み、
前記第２候補特徴点を決定するステップは、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定するステップを含むことを特徴とする請求項２６に記載のソース映像の特徴点情報抽出方法。
【請求項２８】
請求項２１に記載の方法を実行するプログラムが記録されたコンピュータで読み出し可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態は、ソースイメージを少なくとも１つ以上のタイルイメージに分割して読み出すことによって、大容量ソースイメージに対してもシフトコアの処理容量に関係なくシフトアルゴリズムを適用して特徴点情報を抽出する装置及び方法に関する。
【背景技術】
【０００２】
シフト（ＳＩＦＴ：Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）アルゴリズムは映像処理分野で広く用いられる方法として、映像内で特徴点の位置を抽出して特徴点周辺の情報（ｄｅｓｃｒｉｐｔｏｒ）を格納する。
【０００３】
シフトアルゴリズムから生成される特徴点の位置と特徴点周辺の情報を含む特徴点情報は、照明変化（ｉｌｌｕｍｉｎａｔｉｏｎ）、回転（ｒｏｔａｔｉｏｎ）、大きさの変化（ｓｃａｌｉｎｇ）、視点（ｖｉｅｗｐｏｉｎｔ）にも強靭な性質を有する。
【０００４】
これによって、シフトアルゴリズムは、映像処理分野で２つ以上の映像を用いる場合に映像間のマッチングのために用いられている。
【０００５】
すなわち、シフトアルゴリズムは、映像の大きさの変化、回転、照明変化に強靭な特徴点を抽出するため、映像において正確なマッチングが必要な場合に用いられる。
【０００６】
シフトアルゴリズムで特徴点情報を抽出するためには比較的に多くの算出量が必要である。シフトアルゴリズムをハードウェアとして実現し、上位アルゴリズムに対してソフトウェアに実現する処理方式は高画質の大容量映像を処理するために有利である。シフトアルゴリズムそのものもハードウェア及びソフトウェアに分類されて分散処理が可能であるが、高画質の大容量映像を高速処理するためにはハードウェア費用を勘案しても全ての機能をハードウェアに処理することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行うことにある。
【課題を解決するための手段】
【０００８】
一実施形態に係る特徴点情報抽出装置は、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部とを備え、前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。
【０００９】
一実施形態に係るそれぞれの部分は互いに重なってもよい。一実施形態に係る第１インタフェースは、第１ソースイメージの水平解像度がバッファメモリの水平容量よりも大きくなる場合、前記生成された少なくとも１つ以上のタイルイメージを前記大容量臨時記憶装置の容量よりも小さい容量を有するバッファメモリに記録してもよい。
【００１０】
一実施形態に係る前記バッファメモリは、ＳＲＡＭメモリまたは前記大容量臨時記憶装置であってもよい。一実施形態に係る前記第１インタフェースと前記特徴点情報抽出部はＡＲＭ構造に適してもよい。一実施形態に係る前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）であってもよい。
【００１１】
一実施形態に係る前記第１インタフェース部は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成してもよい。
【００１２】
一実施形態に係る第１インタフェース部は、大容量臨時記憶装置に格納されたソースイメージのそれぞれの部分を読み出し、ソースイメージの一部を第１タイルイメージとしてバッファメモリに格納し、前記バッファメモリは、前記大容量臨時記憶装置と区別され、前記バッファメモリは、前記大容量臨時記憶装置の水平容量よりも小さい水平容量を有してもよい。
【００１３】
一実施形態に係る前記特徴点情報抽出部は、前記特徴点情報として前記第１タイルイメージの特徴領域と、前記特徴領域に対応するディスクリプタを抽出してもよい。
【００１４】
一実施形態に係る前記特徴点情報抽出部は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち少なくとも１つを前記特徴点情報として抽出してもよい。
【００１５】
一実施形態に係る前記特徴点情報抽出部は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成し、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成し、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成し、前記生成された候補特徴点のうち前記特徴点情報を抽出してもよい。
【００１６】
一実施形態に係る前記特徴点情報抽出部は、前記少なくとも１つ以上の第１オクターブを決定し、前記少なくとも１つ以上のガウスイメージを生成し、前記少なくとも１つ以上のＤｏＧイメージを生成し、前記生成されたＤｏＧイメージから前記候補特徴点を生成し、シフトアルゴリズムによって前記特徴点情報を抽出してもよい。
【００１７】
一実施形態に係る前記特徴点情報抽出部は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定し、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出してもよい。
【００１８】
一実施形態に係る前記特徴点情報抽出装置は、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する第２マスタインタフェース部をさらに備えてもよい。
【００１９】
一実施形態に係る前記第１インタフェース部は、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成し、前記特徴点情報抽出部は、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定してもよい。
【００２０】
一実施形態に係る特徴点情報抽出装置は、大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す読み出し部と、前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力するシフトアルゴリズム演算部と、前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する書き込み部とを備え、前記読み出し部は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出し、前記シフトアルゴリズム演算部は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成してもよい。
【００２１】
一実施形態に係る前記読み出し部は、前記第１ソースイメージの水平解像度を基準として分割して前記少なくとも１つ以上の第１タイルイメージとして読み出し、前記第２ソースイメージの水平解像度を基準にして分割し、前記少なくとも１つ以上の第２タイルイメージとして読み出してもよい。
【００２２】
一実施形態に係る前記読み出し部は、選択された面積で重複領域が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出してもよい。
【００２３】
一実施形態に係る前記書き込み部は、前記重複領域を考慮して前記少なくとも１つ以上の第２タイルイメージを合成して前記第２ソースイメージを生成してもよい。
【００２４】
一実施形態に係るソース映像の特徴点情報抽出方法は、第１インタフェース部で、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップと、特徴点情報抽出部で、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出するステップとを含み、前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する前記ステップは、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成するステップを含む。
【００２５】
一実施形態に係る前記生成された第１タイルイメージをバッファメモリに格納するステップは、前記バッファメモリが、前記大容量臨時憶装置よりも小さい容量を有し、第１ソースイメージの水平解像度が前記大容量臨時憶装置の水平容量よりも小さくてもよい。
【００２６】
一実施形態に係る前記生成された第１タイルをバッファメモリに格納するステップは、ＳＲＡＭメモリであるバッファメモリに格納するステップを含み、前記大容量臨時憶装置から前記それぞれの部分を読み出すステップは、ＤＲＡＭメモリで動作する大容量臨時憶装置から前記それぞれの部分を読み出すステップを含んでもよい。
【００２７】
一実施形態に係る前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）であってもよい。
【００２８】
一実施形態に係る前記特徴点情報を抽出するステップは、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定するステップと、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定するステップと、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出するステップとを含む。
【００２９】
一実施形態に係るソース映像の特徴点情報抽出方法は、第２マスタインタフェース部で、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理するステップをさらに含んでもよい。
【００３０】
一実施形態に係るソース映像の特徴点情報抽出方法は、前記第１インタフェース部で、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップをさらに含み、前記第２候補特徴点を決定するステップは、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定するステップを含んでもよい。
【発明の効果】
【００３１】
本発明によると、高解像度映像に対するシフトコアを効果的にハードウェア化することで、高付加価値映像処理アルゴリズムをリアルタイムで処理することができる。
【００３２】
また、一実施形態に係る特徴点情報抽出装置及び方法を応用すると、シフトアルゴリズムだけではなく、メモリを大容量に用いる映像処理アルゴリズムでも映像の解像度制約なしでシフトアルゴリズムを処理することができる。
【図面の簡単な説明】
【００３３】
【図１】一実施形態に係る特徴点情報抽出装置を説明する図である。
【図２】一実施形態に係る少なくとも１つ以上のタイルイメージに分割されるソースイメージを説明する図である。
【図３】シフトアルゴリズムを用いて候補特徴点を抽出した少なくとも１つ以上のタイルイメージに対してダウンサイジング（ｄｏｗｎｓｉｚｉｎｇ）後合成して書き込み処理する実施形態を説明する図である。
【図４】一実施形態に係る特徴点情報抽出部を具体的に説明する図である。
【図５】一実施形態に係る特徴点情報抽出部で各オクターブごとに生成するガウス映像及びガウス差値映像を生成することを説明する図である。
【図６】一実施形態に係る特徴点情報抽出装置を説明する図である。
【図７】一実施形態に係るソースイメージを説明する図である。
【図８】図７に示すソースイメージから生成される少なくとも１つ以上のタイルイメージを説明する図である。
【図９】少なくとも１つ以上のタイルイメージを用いてソースイメージから検出された少なくとも１つ以上の特徴点情報を表示する図である。
【図１０】一実施形態に係る特徴点情報抽出方法を説明する図である。
【発明を実施するための形態】
【００３４】
以下、実施形態を添付する図面を参照しながら詳細に説明する。
【００３５】
実施形態の説明において、関連する公知機能または構成に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合にはその詳細な説明を省略する。そして、本明細書で用いられる用語（ｔｅｒｍｉｎｏｌｏｇｙ）は実施形態を適切に表現するために用いられる用語として、ユーザ、運用者の意図または当該技術が属する分野の慣例などによって変わり得る。したがって、用語に対する定義は、本明細書の全般にわたる内容に基づいて下されなければならない。各図面に提示された同一の参照符号は同一の部材を示す。
【００３６】
図１は、一実施形態に係る特徴点情報抽出装置１００を説明する図である。一実施形態に係る特徴点情報抽出装置１００は、大容量臨時記憶装置１１０に格納された第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１マスタインタフェース部１２０、及び前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部１３０を備える。
【００３７】
例えば、一実施形態に係る大容量臨時記憶装置１１０は任意アクセス記憶装置（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）の一種類として、コンピュータなどの機器で記憶装置として頻繁に用いられるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に解釈されてもよい。
【００３８】
また、第１マスタインタフェース部１２０は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。
【００３９】
本明細書では、説明の便宜のために水平解像度に基づいてソースイメージを少なくとも１つ以上のタイルイメージに分割すること、例えば、選定された水平解像度に応じてソースイメージをタイルイメージに分割することについて説明するが、本発明がこれに限定されることはない。
【００４０】
例えば、ソースイメージを分割することは、垂直解像度に基づいたり、垂直解像度と水平解像度の全てに基づいたり、あるいはその他の基準に基づいてもよい。
【００４１】
タイルイメージは、対称的であるか、または同じ属性を有しなくてもよく、ソースイメージの解像度と垂直解像度及び／または水平解像度を比較した場合より小さければよい。例えば、タイリングは、水平または垂直の軸によって分割されるものと限定されない。
【００４２】
前記少なくとも１つ以上のタイルイメージは、前記第１ソースから分割されるイメージに解釈されてもよい。
【００４３】
より具体的には、前記少なくとも１つ以上のタイルイメージは、第１ソースイメージの水平解像度を基準として垂直分割される部分イメージに解釈されてもよい。
【００４４】
言い換えれば、第１マスタインタフェース部１２０は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成する。
【００４５】
第１タイルイメージと第２タイルイメージは、第１ソースイメージのそれぞれの部分のイメージデータを読み出すことによって生成されてもよい。第１タイルイメージと第２タイルイメージのための前記イメージデータは、第１ソースイメージのそれぞれの部分にラスタースキャンによって大容量臨時記憶装置１１０から読み出されてもよい。
【００４６】
一実施形態に係る第１マスタインタフェース１２０は、シフト処理のために各タイルイメージを同じ低容量バッファにシーケンスに応じて格納してもよい。
【００４７】
一実形態に係る前記インタフェースは、ＡＸＩインタフェースを含んでもよい。例えば、ＡＸＩインタフェースは、ＡＭＢＡ（Ａｄｖａｎｃｅｄ  Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ  Ｂｕｓ  Ａｒｃｈｉｔｅｃｔｕｒｅ）によって動作してもよい。
【００４８】
また、特徴点情報抽出部１３０は、ＡＲＭ構造によって特徴点情報を抽出してもよい。
【００４９】
一実形態によると、第２及び／または第３マスタインタフェース部１４０、１５０は、ＡＭＢＡ構造によって類似に動作してもよい。
【００５０】
ＡＲＭ構造は、少なくとも１つ以上のコアを含んでもよい。
【００５１】
ここで、第１マスタインタフェース部１２０は、前記第１タイルイメージ及び前記第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域（ｏｖｅｒｌａｐｐｅｄ  ａｒｅａ）が存在するように生成する。
【００５２】
前記重複領域は、前記第１タイルイメージと前記第２タイルイメージが連続しないため、シフトアルゴリズムによって抽出が困難になる特徴点情報に対しても抽出可能にするためのマージン（ｍａｒｇｉｎ）であると解釈されてもよい。前記抽出される特徴点情報はディスクリプタに解釈されてもよい。
【００５３】
ここで、第３マスタインタフェース部１５０は抽出される特徴点情報、すなわち、ディスクリプタをＤＲＡＭなど外部の大容量ＳＲＡＭバッファ（ＳＰＭ：Ｓｃｒａｔｃｈ  ＰＡＤ  Ｍｅｍｏｒｙ）に格納するためのマスタインタフェースに解釈されてもよい。
【００５４】
ＳＰＭ（Ｓｃｒａｔｃｈ  Ｐａｄ  Ｍｅｍｏｒｙ）は、外部の高容量ＳＲＡＭに解釈されてもよく、低容量ＳＲＡＭであるバッファメモリと区別される。低容量ＳＲＡＭであるバッファメモリはタイルイメージを格納してもよく、ＳＩＦＴ処理のために読み出されてもよい。
【００５５】
特徴点情報抽出装置１００は、第１マスタインタフェース部１２０、特徴点情報抽出部１３０、第２マスタインタフェース部１４０の動作を制御するためのコントローラを備えてもよい。
【００５６】
前記コントローラは、第１マスタインタフェース部１２０、特徴点情報抽出部１３０、第２マスタインタフェース部１４０のいずれか１つの構成に含まれてもよく、特徴点情報抽出装置１００の外部に位置してもよい。
【００５７】
前記少なくとも１つ以上のタイルイメージ、前記第１タイルイメージ、前記第２タイルイメージ、及び前記ソースイメージなどについて図２を参照して詳細に説明する。
【００５８】
図２は、一実施形態に係る少なくとも１つ以上のタイルイメージに分割されるソースイメージ２００を説明する図である。図２に示すように、ソースイメージ２００はＨ１×Ｖ１の解像度の大きさを有する映像に解釈されてもよい。すなわち、ソースイメージ２００の水平解像度はＨ１であり、垂直解像度Ｖ１であってもよい。
【００５９】
一実施形態に係るソースイメージ２００は、第１マスタインタフェース部で第１タイルイメージ２１０と第２タイルイメージ２２０を含む前記少なくとも１つ以上のタイルイメージに分割して読み出される。
【００６０】
ここで、第１タイルイメージ２１０と第２タイルイメージ２２０は、Ｈｏの幅で形成される重複領域２３０で共通のイメージを有する。
【００６１】
言い換えれば、一実施形態に係る第１マスタインタフェース部は、ソースイメージ２００に対してＨｏの幅に形成される重複領域２３０が存在するよう、第１タイルイメージ２１０と第２タイルイメージ２２０を分割してもよい。
【００６２】
同様に一実施形態に係る第１マスタインタフェース部は、他のタイルイメージに対してもＨｏの幅に形成される重複領域２３０が存在するよう、ソースイメージ２００を分割して生成してもよい。
【００６３】
前記第１タイルイメージ２１０と前記第２タイルイメージ２２０は、水平解像度Ｈｓと垂直解像度Ｖ１の大きさを有するイメージとして、ソースイメージ２００の一部分である。
【００６４】
また、Ｈｏの幅に形成される重複領域２３０で、前記第１タイルイメージ２１０と前記第２タイルイメージ２２０との間に共通するイメージを含んでもよい。また、前記第１タイルイメージ２１０は、Ｈｓ−Ｈ０の水平解像度に該当する面積で他のタイルイメージと重ならないイメージを含んでもよい。また、前記第２タイルイメージ２２０は、Ｈｓ−２Ｈ０の水平解像度に該当する面積で他のタイルイメージと重ならないイメージを含んでもよい。
【００６５】
再び図１を参考すると、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち、少なくとも１つを前記特徴点情報として抽出してもよい。
【００６６】
一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージから前記特徴点位置及び前記特徴点位置に対応するディスクリプタを生成するためにシフトアルゴリズムを用いる。
【００６７】
具体的に、一実施形態に係る特徴点情報抽出部１３０は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定してもよい。
【００６８】
また、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成する。
【００６９】
一実施形態に係る特徴点情報抽出部１３０は、数式（１）を用いて前記第１オクターブとガウスフィルタからガウス映像を生成する。
【００７０】
【数１】
2014002747.tif 000003
【００７１】
【数２】
2014002747.tif 000004
はガウス映像であり、
【００７２】
【数３】
2014002747.tif 000005
はガウスフィルタであり、
【００７３】
【数４】
2014002747.tif 000006
は入力される前記少なくとも１つ以上のタイルイメージ、すなわち、第１オクターブであると解釈されてもよい。
【００７４】
ここで、一実施形態に係る特徴点情報抽出部１３０は、前記ガウスフィルタのシグマ値σを変更しながらブラー（ｂｌｕｒ）の程度が変わるように前記少なくとも１つ以上のガウス映像を生成する。
【００７５】
前記ガウスフィルタのシグマ値σは入力映像、すなわち、ソースイメージに対して予め決定した様々な標準偏差係数値に解釈されてもよい。
【００７６】
言い換えれば、一実施形態に係る特徴点情報抽出部１３０は、前記ガウスフィルタのシグマ値σを変更しながら
【００７７】
【数５】
2014002747.tif 000007
を畳み込み演算して
【００７８】
【数６】
2014002747.tif 000008
を生成する。
【００７９】
例えば、前記ガウスフィルタの初期シグマ値σは１．６に決定され、
【００８０】
【数７】
2014002747.tif 000009
倍ずつ前記ガウスフィルタの初期シグマ値σを変更しながら前記少なくとも１つ以上のガウス映像を生成する。
【００８１】
また、一実施形態に係る特徴点情報抽出部１３０は、数式（１）を用いて数式（２）のように
【００８２】
【数８】
2014002747.tif 000010
を生成する。
【００８３】
【数９】
2014002747.tif 000011
数式（２）において、
【００８４】
【数１０】
2014002747.tif 000012
はガウスフィルタであり、
【００８５】
【数１１】
2014002747.tif 000013
は入力されるオクターブの位置情報であり、σはガウス映像のブラーを変更するための情報であると解釈されてもよい。
【００８６】
次に、一実施形態に係る特徴点情報抽出部１３０は、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）映像を生成する。このために、一実施形態に係る特徴点情報抽出部１３０は、数式（３）を用いて前記ガウス差値映像を生成する。すなわち、一実施形態に係る特徴点情報抽出部１３０は、各オクターブを構成している前記生成された少なくとも１つ以上のガウス映像間の差を用いて前記少なくとも１つ以上のガウス差値映像を生成する。
【００８７】
【数１２】
2014002747.tif 000014
【００８８】
【数１３】
2014002747.tif 000015
は入力されるタイルイメージの位置のうち、
【００８９】
【数１４】
2014002747.tif 000016
に識別される位置におけるガウス差値映像に解釈されてもよい。
【００９０】
【数１５】
2014002747.tif 000017
はガウス映像の生成に用いられたガウスフィルタに解釈されてもよい。ここで、
【００９１】
【数１６】
2014002747.tif 000018
はガウスフィルタのシグマ値
【００９２】
【数１７】
2014002747.tif 000019
を有するフィルタと解釈されてもよく、
【００９３】
【数１８】
2014002747.tif 000020
はガウスフィルタのシグマ値σを有するフィルタと解釈されてもよい。
【００９４】
【数１９】
2014002747.tif 000021
によって生成されるガウス映像後に引き続づくガウス映像を生成するためのガウスフィルタに解釈されてもよい。
【００９５】
また、前記
【００９６】
【数２０】
2014002747.tif 000022
は、ガウスフィルタのシグマ値を一定の倍数に増加させることにより生成されるガウス映像のブラーを変更させるための定数として、例えば
【００９７】
【数２１】
2014002747.tif 000023
であってもよい。
【００９８】
【数２２】
2014002747.tif 000024
は入力される前記少なくとも１つ以上のタイルイメージ、すなわち、第１オクターブに解釈されてもよい。
【００９９】
一実施形態に係る特徴点情報抽出部１３０は、数式（１）〜数式（３）を用いて第１オクターブに該当するガウス差値映像を生成してもよい。また、前記生成したガウス差値映像から特徴点に決定される第１候補特徴点を抽出してもよい。一実施形態に係る特徴点情報抽出部１３０は、数式（１）〜数式（３）を用いて第２オクターブに該当するガウス差値映像を生成してもよい。また、前記第２オクターブで生成したガウス差値映像から第２候補特徴点を抽出してもよい。
【０１００】
一実施形態に係る特徴点情報抽出部１３０は、このように選択された回数だけオクターブを相違にして候補特徴点を抽出し、抽出された候補特徴点から特徴点情報を抽出することができる。すなわち、一実施形態に係る特徴点情報抽出部１３０は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定してもよい。
【０１０１】
次に、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上の第１オクターブをダウンサイジングして縮小イメージ（ｒｅｄｕｃｅｄ  ｉｍａｇｅ）を生成してもよい。
【０１０２】
一実施形態に係る特徴点情報抽出部１３０は、前記縮小イメージから生成された第２ソースイメージを分割し、少なくとも１つ以上のタイルイメージに読み出し、前記読み出される少なくとも１つ以上のタイルイメージを第２オクターブとして生成してもよい。
【０１０３】
一実施形態に係る特徴点情報抽出部１３０は、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出してもよい。
【０１０４】
ここで、前記第２オクターブは、前記少なくとも１つ以上の第１オクターブからダウンサイジングした後に生成された縮小イメージのうち、特定縮小イメージが２個ずつ結合して生成される少なくとも１つ以上のタイルイメージであると解釈されてもよい。
【０１０５】
また、第２ソースイメージは、前記第２オクターブに含まれる少なくとも１つ以上のタイルイメージの重複領域を除去し、合成して生成される全体のイメージであると解釈されてもよい。
【０１０６】
言い換えれば、前記第２ソースイメージは、前記第１ソースイメージの水平解像度と垂直解像度を選択された比率で縮小されたイメージであると解釈されてもよい。例えば、前記第２ソースイメージは、前記第１ソースイメージの水平解像度と垂直解像度をそれぞれ１／２倍縮小されたイメージであると解釈されてもよい。
【０１０７】
一実施形態に係る特徴点情報抽出装置１００は、第１ソースイメージからダウンサイジングされた第２ソースイメージを生成するために第２マスタインタフェース部１４０をさらに備える。一実施形態に係る第２マスタインタフェース部１４０は少なくとも１つ以上の第１オクターブをダウンサイジングし、少なくとも１つ以上の縮小イメージを生成する。
【０１０８】
また、一実施形態に係る第２マスタインタフェース部１４０は、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理してもよい。第２マスタインタフェース部１４０が合成する前記第２ソースイメージは、図３を参照して詳細に説明する。
【０１０９】
図３は、シフトアルゴリズムを用いて候補特徴点を抽出した少なくとも１つ以上のタイルイメージに対してダウンサイジングした後に合成し、書き込み処理する実施形態を説明するための図である。
【０１１０】
一実施形態に係る第２マスタインタフェース部１４０は、少なくとも１つ以上の第２オクターブが入力されてもよい。ここで、一実施形態に係る第２マスタインタフェース部１４０は、少なくとも１つ以上の第１オクターブをダウンサイジングし、少なくとも１つ以上の縮小イメージ３１０を生成する。
【０１１１】
前記縮小イメージ３１０は、第１ソースイメージに対するタイルイメージから水平解像度及び垂直解像度が１／２倍の比率で縮小された少なくとも１つ以上のタイルイメージセットであると解釈されてもよい。すなわち、前記縮小イメージ３１０は、水平解像度Ｈｓ’を有し、垂直解像度Ｖ２を有する。
【０１１２】
一実施形態に係る第２マスタインタフェース部１４０は、第１ソースイメージに対する各タイルイメージごとからダウンサイジングして生成される前記縮小イメージ３１０を合成して第２ソースイメージ３２０を生成する。第２ソースイメージ３２０は、第１ソースイメージから水平解像度及び垂直解像度が１／２倍だけ縮小されたものであり、Ｈ１／２になる大きさの水平解像度Ｈ２とＶ１／２になる大きさの垂直解像度Ｖ２に表現されてもよい。
【０１１３】
一実施形態に係る第２マスタインタフェース部１４０は、前記縮小イメージ３１０が他の隣接した縮小イメージと重なる領域、すなわち、重複領域を考慮して第２ソースイメージ３２０を生成する。一実施形態に係る第２マスタインタフェース部１４０は、それぞれの縮小イメージで水平解像度Ｈｏ’に区別される重複領域を削除して合成することによって、重複領域が重複されないようにして第２ソースイメージ３２０を合成してもよい。
【０１１４】
すなわち、一実施形態に係る第２マスタインタフェース部１４０が合成するそれぞれの縮小イメージで、実際の合成に用いられる水平解像度の大きさはＨｓ’−Ｈｏ’に解釈されてもよい。
【０１１５】
一実施形態に係る特徴点情報抽出装置１００で処理可能なラインバッファの容量が第１ソースイメージの水平解像度である場合、すなわち、Ｈｓである場合について説明する。
【０１１６】
一実施形態に係る特徴点情報抽出装置１００で処理可能なラインバッファの容量がＨｓである場合、Ｈｓ＝２Ｈｓ’の関係にしたがって、前記縮小イメージ３１０の２つが合わされたものが第２ソースイメージ３２０のタイルイメージである。
【０１１７】
すなわち、ソースイメージが変わってもタイルイメージに対する水平解像度は同一である。言い換えれば、ソースイメージが変わってもタイルイメージに対する水平解像度はラインバッファの容量を考慮したものであるため、同一である。
【０１１８】
一実施形態に係る第１マスタインタフェース部１２０は、大容量臨時記憶装置１１０に格納された前記第２ソースイメージ３２０から少なくとも１つ以上のタイルイメージを生成する。
【０１１９】
また、一実施形態に係る特徴点情報抽出部１３０は、前記第２ソースイメージ３２０から生成される少なくとも１つ以上のタイルイメージが入力されて前記第２候補特徴点を決定する。
【０１２０】
ここで、前記第２ソースイメージ３２０から生成される少なくとも１つ以上のタイルイメージは第２オクターブに解釈されてもよい。
【０１２１】
また、第２オクターブは、第２イメージソース３２０からラインバッファが処理可能な容量だけ分割されるタイルイメージのセットとして、第１オクターブに含まれる少なくとも１つ以上のタイルイメージと、第２オクターブに含まれる少なくとも１つ以上のタイルイメージの水平解像度の大きさは同一である。
【０１２２】
その後、一実施形態に係る特徴点情報抽出部１３０は、選択された回数だけ繰り返し前記第１候補特徴点及び前記第２候補特徴点を含む候補特徴点を生成し、前記生成した候補特徴点から特徴点情報を抽出してもよい。
【０１２３】
一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち、少なくとも１つを前記特徴点情報として抽出してもよい。
【０１２４】
結局、一実施形態に係る特徴点情報抽出装置１００を利用すると、ソースイメージの解像度に依存することなく、シフトアルゴリズムを処理するハードウェアを提供することができる。
【０１２５】
例えば、ラインバッファが固定された幅、例えば、固定された容量を有する場合にも、特徴点情報抽出装置１００は様々な解像度、例えば、ラインバッファの固定された幅よりも大きい水平解像度を有するイメージから特徴点情報を抽出してもよい。
【０１２６】
例えば、ラインバッファが固定された幅を有する場合にも、高解像度のソースイメージが適するサイズのタイルイメージに分割されてもよい。
【０１２７】
また、一実施形態に係る特徴点情報抽出装置１００を利用すると、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭの容量を大きく拡張しなくても大容量の解像度を有する映像処理が可能である。また、一実施形態に係る特徴点情報抽出装置１００を利用すると、全体映像をＤＲＡＭに格納し、ＳＲＡＭで受容できる容量の映像だけをＤＲＡＭで読み出して繰り返し処理することができる。
【０１２８】
図４は、一実施形態に係る特徴点情報抽出部４００を具体的に説明する図である。
【０１２９】
一実施形態に係る特徴点情報抽出部４００は、コアが処理可能な水平方向の大きさだけソースイメージを少なくとも１つ以上のタイルイメージに分割して読み出し、前記読み出された少なくとも１つ以上のタイルイメージから特徴点情報を生成する。
【０１３０】
そのために、一実施形態に係る特徴点情報抽出部４００は、ガウス映像生成部４１０、ガウス差値映像生成部４２０、候補特徴点位置算出部４３０、データ収集部４４０、特徴点決定部４５０、ディスクリプタ生成部４６０、及びダウンサイザー４７０を備える。
【０１３１】
ガウス映像生成部４１０は、前記ソースイメージから分割された前記少なくとも１つ以上のタイルイメージを第１オクターブとして読み出してガウス映像を生成する。ここで、ガウス映像生成部４１０は、入力される前記少なくとも１つ以上のタイルイメージとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成してもよい。
【０１３２】
前記少なくとも１つ以上のガウス映像は、前記ガウスフィルタのシグマ値を変更しながらイメージに対するブラーの程度が変わるよう、前記少なくとも１つ以上のガウス映像を生成する。
【０１３３】
一実施形態に係るガウス差値映像生成部４２０は、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成する。
【０１３４】
具体的に、一実施形態に係るガウス差値映像生成部４２０は、各オクターブを構成する前記生成された少なくとも１つ以上のガウス映像間の差を用いて前記少なくとも１つ以上のガウス差値映像を生成してもよい。
【０１３５】
一実施形態に係る候補特徴点位置算出部４３０は、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成する。一実施形態に係るデータ収集部４４０は、前記生成されたガウス映像からディスクリプタの生成に必要なデータを取得する。一実施形態に係る特徴点決定部４５０は、候補特徴点位置算出部４３０が生成する候補特徴点内で強靭な特徴点だけを抽出することによって特徴点を抽出する。
【０１３６】
次に、一実施形態に係るディスクリプタ生成部４６０は、データ収集部４４０で取得したディスクリプタ生成に必要なデータと、特徴点決定部４５０で抽出された特徴点を用いて前記ディスクリプタを生成する。ここで、前記生成するディスクリプタは、本明細書で用いられる特徴点情報として解釈されてもよい。
【０１３７】
一実施形態に係るダウンサイザー４７０は、ソースイメージから読み出されるオクターブの大きさを選択された比率に減らし、縮小イメージとして出力してもよい。ここで、前記縮小イメージは、出力後に重複領域を考慮して合成されて第２ソースイメージとしてＤＲＡＭなどの大容量臨時記憶装置に記録されてもよい。
【０１３８】
図５は、一実施形態に係る特徴点情報抽出部１３０で各オクターブごとに生成するガウス映像及びガウス差値映像を生成することを説明する図である。
【０１３９】
ソースイメージは、ラインバッファの容量に基づいて少なくとも１つ以上のタイルイメージに分割されてもよい。このように分割される少なくとも１つ以上のタイルイメージに対するセットは第１オクターブに解釈されてもよい。第１オクターブは、ガウスフィルタとの畳み込みによって少なくとも１つ以上のガウス映像５１０に生成されてもよい。
【０１４０】
少なくとも１つ以上のガウス映像５１０は、第１オクターブに含まれている少なくとも１つ以上のタイルイメージと前記ガウスフィルタとの畳み込みによって生成されてもよい。
【０１４１】
一実施形態で少なくとも１つ以上のガウス映像５１０は、前記ガウスフィルタのシグマσ値を順次変更して第１オクターブと畳み込み演算することによって生成されてもよい。
【０１４２】
具体的に、シグマ値はσを初期値にして、
【０１４３】
【数２３】
2014002747.tif 000025
倍ずつ増加するよう順次変更されてもよい。
【０１４４】
一例として、前記
【０１４５】
【数２４】
2014002747.tif 000026
は、ガウスフィルタのシグマ値を一定の倍数に増加させることによって、生成されるガウス映像のブラーを変更するための定数として、例えば、
【０１４６】
【数２５】
2014002747.tif 000027
であってもよい。
【０１４７】
一実施形態に係る特徴点情報抽出部１３０は、前記第１オクターブで生成された前記ガウス映像５１０から少なくとも１つ以上のガウス差値映像５２０を生成する。
【０１４８】
また、一実施形態に係る特徴点情報抽出部１３０は、ガウス差値映像５２０から第１候補特徴点を抽出してもよい。次に、一実施形態に係る特徴点情報抽出部１３０は、１／２倍縮小された第２ソースイメージから読み出される第２オクターブのガウス映像５３０を生成してもよい。
【０１４９】
同様に、一実施形態に係る特徴点情報抽出部１３０は、前記生成された第２オクターブのガウス映像５３０から少なくとも１つ以上のガウス差値映像５４０を生成してもよい。また、一実施形態に係る特徴点情報抽出部１３０は、前記生成した少なくとも１つ以上のガウス差値映像５４０から第２候補特徴点を抽出してもよい。ここで、一実施形態に係る特徴点情報抽出部１３０は、前記抽出した第１候補特徴点と前記第２候補特徴点から特徴点情報を生成してもよい。
【０１５０】
図６は、一実施形態に係る特徴点情報抽出装置を説明する図である。
【０１５１】
一実施形態に係る特徴点情報抽出装置６００は、読み出し部６２０、シフトアルゴリズム演算部６３０、及び書き込み部６４０を備える。一実施形態に係る読み出し部６２０は、大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す。
【０１５２】
一実施形態に係るシフトアルゴリズム演算部６３０は、前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力する。
【０１５３】
一実施形態に係る書き込み部６４０は、前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込む。
【０１５４】
また、一実施形態に係る読み出し部６２０は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出してもよい。
【０１５５】
また、一実施形態に係るシフトアルゴリズム演算部６３０は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成してもよい。
【０１５６】
シフトアルゴリズムをハードウェアに実現するとき大きい障害要素となる部分は、処理する映像の大きさである。すなわち、シフトアルゴリズムでは、ガウス差値映像、多重のオクターブ、多重のスケールなどに対して演算するため、処理しようとする映像の大きさが大きければ障害となる。ここで、前記オクターブは映像の大きさに対応することができ、前記スケールは前記映像に加えられたガウスフィルタのステップとして解釈されてもよい。
【０１５７】
ここで、一実施形態に係る特徴点情報抽出装置６００の読み出し部６２０は特徴点の位置を抽出するため、大容量臨時記憶装置６１０に格納されているソースイメージを選択された大きさのタイルイメージの形態に読み出してもよい。
【０１５８】
タイルイメージのサイズは、シフトアルゴリズムで使用されるバッファの容量以下のサイズの水平解像度であってもよい。
【０１５９】
ソースイメージの解像度を除いて、全てのタイルイメージの水平解像度は固定される。または、全てのタイルイメージの水平解像度は、ソースイメージの解像度のために選定されたサイズに異なって決定されてもよい。
【０１６０】
すなわち、一実施形態に係る読み出し部６２０は、第１ソースイメージの水平解像度を基準として分割して少なくとも１つ以上の第１タイルイメージとして読み出し、第２ソースイメージの水平解像度を基準として分割して少なくとも１つ以上の第２タイルイメージとして読み出す。
【０１６１】
ソースイメージの解像度は、ソースイメージが少なくとも1つ以上のタイルイメージに分割される前に決定されてもよい。ソースイメージの解像度は、バッファがシフトアルゴリズムを実行している間にバッファの容量以下に決定されてもよい。また、ソースイメージは、常に少なくとも１つ以上のタイルイメージに分割されてもよい。
【０１６２】
ここで、一実施形態に係る読み出し部６２０は、選択された面積で重複領域（ｏｖｅｒｌａｐｐｅｄ  ａｒｅａ）が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出してもよい。
【０１６３】
また、シフトアルゴリズム演算部６３０は、前記読み出されたタイルイメージに対して予め決定した様々な標準偏差係数値のガウスフィルタを適用して様々なガウス映像を生成してもよい。また、シフトアルゴリズム演算部６３０は、前記生成された様々なガウス映像の差を用いてガウス差値映像を生成してもよい。また、シフトアルゴリズム演算部６３０は、前記生成されたガウス差値映像から初期特徴点位置を探し、これから強靭な特徴点のみを抽出することができる。
【０１６４】
前記生成されたガウス映像のうちの１つは映像の大きさを減らして次のオクターブの入力映像として用いられてもよい。
【０１６５】
図７は、一実施形態に係るソースイメージを説明する図である。
【０１６６】
一実施形態に係るソースイメージ７００は、１６００（水平解像度）×１２００（垂直解像度）の大容量映像であってもよい。
【０１６７】
一実施形態に係る特徴点情報抽出装置は、少ないハードウェア費用でソースイメージ７００のような高画質の大容量映像のマルチフレーム後処理を準リアルタイムに処理することができる。
【０１６８】
複数の別個のハードウェア処理要素は、ソースイメージの複数のタイルイメージに対してそれぞれ1つのタイルイメージにアクセスしてもよい。ソースイメージのシフト処理は、それぞれの処理要素によって同時に並列処理されてもよい。
【０１６９】
また、このような処理は、複数のハードウェア処理ユニットまたは単一ハードウェア処理要素を用いて選定された順序に基づいて順次行われてもよい。
【０１７０】
また、一実施形態に係る特徴点情報抽出装置は、ＳＲＡＭで受容できる容量の映像だけをＤＲＡＭからもってきて繰り返し処理する構造として、水平方向分割処理が可能であり、分割処理の繰り返しによって任意の大きさ映像に対してシフトアルゴリズムを適用し、特徴点情報を抽出することができる。
【０１７１】
そのために、一実施形態に係る特徴点情報抽出装置はソースイメージ７００をタイルイメージに分割して読み出してもよい。
【０１７２】
図８は、図７に示すソースイメージ７００から生成される少なくとも１つ以上のタイルイメージ８００を説明する図である。
【０１７３】
少なくとも１つ以上のタイルイメージ８００は、第１タイルイメージ８１０、第２タイルイメージ８２０、及び第３タイルイメージ８３０を備える。
【０１７４】
ソースイメージ７００が１６００×１２００の解像度である場合、第１タイルイメージ８１０、第２タイルイメージ８２０、及び第３タイルイメージ８３０はそれぞれ６６６、６６６、３３３の水平解像度に分割されてもよい。また、ここで、それぞれのタイルイメージ間に重複領域８４０の水平解像度は１３に決定されてもよい。
【０１７５】
シフトコアではソースイメージをタイルイメージ単位に読み出してディスクリプタと縮小イメージを出力してもよい。出力されたディスクリプタは、第３マスタインタフェース部を介して外部の大容量ＳＲＡＭバッファ（ＳＰＭ：Ｓｃｒａｔｃｈ  ＰＡＤ  Ｍｅｍｏｒｙ）に格納されてもよい。
【０１７６】
順次的または並列的にタイルイメージを読み出すことは、ソースイメージ７００に示すように、必ず左側から右側に実行する必要はない。複数のハードウェア処理要素が使用可能であり、複数のハードウェア処理要素の数とソースイメージ７００のタイルイメージの数とが同一である場合、それぞれのハードウェア処理要素はタイルイメージを個別に処理することができる。
【０１７７】
複数のハードウェア処理要素の数がタイルイメージの数よりも少ない場合、少なくとも１つ以上のハードウェア処理要素は互いに異なるタイルイメージに対して順次にシフト処理を行ってもよい。複数のハードウェア処理要素の数がタイルイメージの数よりも多い場合、タイルイメージの数や水平解像度が変更されてもよい。タイルイメージそれぞれの水平解像度、タイルイメージの数、少なくとも１つ以上のハードウェア処理要素を用いたシフト処理を実行する他の方法は同一であってもよい。
【０１７８】
また、出力された縮小イメージは、水平解像度と垂直解像度が全て１／２の大きさずつ減少された映像であるが、ＤＲＡＭに格納されてもよい。映像の解像度に依存しないシフトアルゴリズムを処理するためにソースイメージをタイルイメージの形態に読み出してもよい。全体映像をタイルイメージの形態に読み出すためにシフトコアは数式（４）のようにＲ回繰り返し駆動されてもよい。
【０１７９】
【数２６】
2014002747.tif 000028
ここで、前記Ｈはソースイメージの水平解像度、前記Ｖは前記ソースイメージの垂直解像度、前記Ｈｓはシフトコアが処理される最大水平解像度、前記Ｈｏはフィルタリングのためにタイルイメージ間に重なる領域幅、すなわち、重複領域であると解釈されてもよい。
【０１８０】
ソースイメージで１番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は１〜（Ｈｓ−Ｈｏ）になる。また、前記１番目のタイルイメージに続く２番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は（Ｈｓ−３Ｈｏ）〜（２Ｈｓ−Ｈｏ）に決定されてもよい。
【０１８１】
Ｎ番目のタイルをＤＲＡＭで読み出す水平方向の部分は（（Ｎ−１）×（Ｈｓ−２Ｈｏ）−Ｈｏ）〜（Ｎ×（Ｈｓ−２Ｈｏ）＋Ｈｏ）に決定されてもよい。
【０１８２】
Ｒ番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は（（Ｒ−１）×（Ｈｓ−２Ｈｏ）−Ｈｏ）〜（Ｈ）に一般化されてもよい。ここで、垂直方向は常に１〜Ｖだけ読み出してもよい。
【０１８３】
各タイルイメージはそれぞれの水平範囲に応じてラスタースキャン方式によって垂直方向に読み出されてもよい。タイルイメージの垂直解像度はＶと同一であるか小さくてもよい。
【０１８４】
図９は、少なくとも１つ以上のタイルイメージを用いてソースイメージ９００から検出された少なくとも１つ以上の特徴点情報９１０を表示する図である。
【０１８５】
抽出されたソースイメージ９００内の特徴点情報９１０は、特徴点の位置と前記特徴点周辺の情報に関する情報を含む。このような特徴点情報９１０は、照明変化、回転、大きさの変化、視点にも強靭な性質を有する。これで、映像処理分野で２つ以上の映像を用いる場合、映像間のマッチングのために広く用いられる。
【０１８６】
図１０は、一実施形態に係る特徴点情報抽出方法を説明する図である。一実施形態に係る特徴点情報抽出方法は、大容量臨時記憶装置に格納された第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する（Ｓ１００１）。
【０１８７】
前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力される少なくとも１つ以上のタイルイメージから候補特徴点を決定する（Ｓ１００２）。
【０１８８】
具体的に、一実施形態に係る特徴点情報抽出方法は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定してもよい。
【０１８９】
一実施形態に係る特徴点情報抽出方法は、前記ソースイメージに対して選択された回数だけダウンサイジングを繰り返したかを確認し、ダウンサイジングを再度行うかを判断する（Ｓ１００３）。
【０１９０】
もし、ダウンサイジングする場合、一実施形態に係る特徴点情報抽出方法は、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージを合成して新しいソースイメージに生成する（Ｓ１００４）。
【０１９１】
ここで、一実施形態に係る特徴点情報抽出方法は、前記生成された少なくとも１つ以上の縮小イメージの重複領域を考慮して前記新しいソースイメージに生成してもよい。
【０１９２】
次に、一実施形態に係る特徴点情報抽出方法は、前記ステップＳ１００１において、前記新しいソースイメージから生成される少なくとも１つ以上のタイルイメージを第２オクターブとして生成する。また、一実施形態に係る特徴点情報抽出方法はステップＳ１００２において、前記第２オクターブから第２候補特徴点を決定してもよい。
【０１９３】
選択された回数の間に繰り返された場合、一実施形態に係る特徴点情報抽出方法はステップＳ１００３でダウンサイジングしないように判断する。
【０１９４】
ここで、一実施形態に係る特徴点情報抽出方法は、決定された候補特徴点から最終的に特徴点情報を抽出する（Ｓ１００５）。
【０１９５】
シフトアルゴリズムを適用した従来のハードウェアシステムは、制限された映像の解像度だけで特徴点を抽出することができる。しかし、カメラの性能が向上することによって順次高い解像度の映像が使用され、高解像度に対する映像処理が必須部分となっている。したがって、映像の解像度に依存しないシフトアルゴリズムを処理するハードウェア構造は、高解像度映像処理で重要な要素になり得る。
【０１９６】
一実施形態に係る特徴点情報抽出装置及び方法を用いると、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行うことができる。
【０１９７】
すなわち、一実施形態に係る特徴点情報抽出装置及び方法は、全体映像をＤＲＡＭに格納し、ＳＲＡＭで受容できる容量の映像のみをタイルイメージ単位にＤＲＡＭからもってきて繰り返し処理する構造を用いることができる。
【０１９８】
これによって、高解像度映像に対するシフトコアを効果的にハードウェア化することで、高付加価値映像処理アルゴリズムをリアルタイムで処理することができる。
【０１９９】
また、一実施形態に係る特徴点情報抽出装置及び方法を応用すると、シフトアルゴリズムだけではなく、メモリを大容量に用いる映像処理アルゴリズムでも映像の解像度制約なしでシフトアルゴリズムを処理することができる。
【０２００】
イメージの解像度と関係なく、イメージを処理することは、イメージの解像度がイメージの特徴点情報を抽出することができるか否かを決定しないことを意味する。イメージの解像度がバッファ容量よりも大きい場合にも特徴点情報を抽出することができる。
【０２０１】
一実施形態に係る本発明は、大容量臨時記憶装置に格納ソースイメージの部分イメージ情報を読み出すこと、ソースイメージの部分を読み出して少なくとも１つ以上のタイルイメージを作成すること、それぞれのタイルイメージに対してシフトアルゴリズムを実行すること、第２ソースイメージデータを格納することに基づく。
【０２０２】
図１及び図４に示されたＡＲＭプロセッサシステムは、ソースイメージの互いに異なるタイルイメージのためのシフトアルゴリズムを少なくとも１つ以上のコアで順次または並列的にそれぞれ実行してもよい。
【０２０３】
しかし、本発明の他の実施形態では、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＲＰ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｐｒｏｃｅｓｓｏｒ）のように別のコアを含むプロセッサを用いてもよい。
【０２０４】
代替プロセッサは、大容量イメージの様々なラインを格納するためにフィルタリング構造を選択してもよい。
【０２０５】
例えば、ＤＲＡＭに格納された大きいハードウェアリソースに関するシフト処理を小さなハードウェアリソース、例えば、ＳＲＡＭに実行するために様々なラインを格納してもよい。
【０２０６】
図１及び／または図４に示すように、特徴点情報を抽出するカメラは、一般的な撮影以外にもパノラミックビューや位置情報を取得することのできる機能のある製品であってもよい。
【０２０７】
このようなカメラは、携帯電子イメージ機器や真空掃除機のようなロボットを含んでもよく、さらに、特徴点情報を抽出する装置は、デジタルカメラ、テレビ、携帯電話カメラ、ゲームカメラ、３Ｄモデリングが可能なカメラを含んでもよい。
【０２０８】
本発明の装置は、特徴点情報、ディスプリプタ情報に依存するなど、シフト処理のための装置に限定されることはない。
【０２０９】
シフト処理から得られる特徴点情報はスケール不変（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ）の特徴点情報であってもよい。
【０２１０】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。
【０２１１】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０２１２】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０２１３】
１００：特徴点情報抽出装置
１１０：大容量臨時記憶装置
１２０：第１マスタインタフェース部
１３０：特徴点情報抽出部
１４０：第２マスタインタフェース部
１５０：第３マスタインタフェース部
【図１】
2014002747.tif 000029
【図２】
2014002747.tif 000030
【図３】
2014002747.tif 000031
【図４】
2014002747.tif 000032
【図５】
2014002747.tif 000033
【図６】
2014002747.tif 000034
【図７】
2014002747.tif 000035
【図８】
2014002747.tif 000036
【図９】
2014002747.tif 000037
【図１０】
2014002747.tif 000038