(57)【特許請求の範囲】
【請求項１】
少なくとも一つの画像の複数のビデオ・フレームを含む画像データを処理する方法であって、前記方法は、
前記少なくとも一つの画像の前記複数のビデオ・フレームの内の最初の１つに対応するデータ・ブロックを、複数のサブ・ブロックに分割する工程であって、前記複数のサブ・ブロックは、前記データ・ブロック一部のみをそれぞれ含み、前記複数のサブ・ブロックの内の異なる１つは前記データ・ブロックの異なる一部と対応し、
所定の順序に従って前記サブ・ブロックの少なくとも一つを選択する工程、
前記少なくとも１つの選択したサブ・ブロック中にのみ関心を持った複数の特徴を識別する工程、
関心を持った前記複数の特徴の内の少なくとも一つに関する情報を提供するために、前記少なくとも１つの選択したサブ・ブロックを処理する工程、
前記所定の順序に従って、前記複数のビデオ・フレームの別の一つから異なるサブ・ブロックを選択する工程、
前記異なるサブ・ブロック中の関心を持った複数の特徴を識別する工程、
前記異なるサブ・ブロックから関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、前記異なるサブ・ブロックのみを処理する工程、及び
前記複数のビデオ・フレームのそれぞれの他のものから複数の異なるサブ・ブロックを前記選択し、前記識別し、前記処理する工程を含む方法。
【請求項２】
前記処理する工程が、
前記選択したサブ・ブロックに隣接する一群のサブ・ブロックのそれぞれの一部を選択する工程、及び
前記サブ・ブロックの最初の一つを処理するときに、前記選択したサブ・ブロックに前記選択した一部を含める工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記処理する工程が、前記処理した少なくとも１つの選択したサブ・ブロック中の少なくとも前記関心を持った複数の特徴の位置が、参照画像中の対応する特徴の位置に対応するかどうかを判定する工程を含み、
前記処理する工程が、前記参照画像によって示される場所に対して相対的な前記データ・ブロックの発生源の場所に関する情報を提供し、
前記参照画像は、前記場所のマップ画像に対応し、
前記データ・ブロックの前記発生源は携帯機器と関連するカメラを含む請求項１に記載の方法。
【請求項４】
前記サブ・ブロックは、複数の行及び複数の列からなる行列状に配置され、
前記所定の順序は、前記行の一つを横断する連続的移動又は前記列の一つに沿った連続的移動と異なることを特徴とする請求項１に記載の方法。
【請求項５】
少なくとも一つの画像の複数のビデオ・フレームを含む画像データを処理するデバイスであって、前記デバイスがプロセッサを含み、前記プロセッサが、
前記少なくとも一つの画像の前記複数のビデオ・フレームの内の最初の１つに対応するデータ・ブロックを、複数のサブ・ブロックに分割し、前記複数のサブ・ブロックは、前記データ・ブロック一部のみをそれぞれ含み、前記複数のサブ・ブロックの内の異なる１つは前記データ・ブロックの異なる一部と対応し、
所定の順序に従って前記サブ・ブロックの少なくとも一つを選択し、
前記選択したサブ・ブロック中にのみ関心を持った複数の特徴を識別し、
関心を持った前記複数の特徴の内の少なくとも一つに関する情報を提供するために、選択した前記サブ・ブロックのみを処理し、
前記所定の順序に従って、前記複数のビデオ・フレームの別の一つから異なるサブ・ブロックを選択し、
前記異なるサブ・ブロック中の関心を持った複数の特徴を識別し、
前記異なるサブ・ブロックから関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、前記異なるサブ・ブロックを処理し、及び
前記所定のシーケンスを使用して、前記複数のビデオ・フレームのそれぞれの他のものから複数の異なるサブ・ブロックを選択して処理するデバイス。
【請求項６】
前記プロセッサが、
前記選択したサブ・ブロックに隣接する一群のサブ・ブロックのそれぞれの一部を選択し、及び
前記サブ・ブロックの最初の一つを処理するときに、前記選択したサブ・ブロックに前記選択した一部を含める請求項５に記載のデバイス。
【請求項７】
前記プロセッサが、
前記処理したサブ・ブロック中の少なくとも前記関心を持った複数の特徴の位置が、参照画像中の対応する特徴の位置に対応するかどうかを判定し、
前記処理が、前記参照画像によって示される場所に対して相対的な前記データ・ブロックの発生源の場所に関する情報を提供し、
前記参照画像は、前記場所のマップ画像に対応し、
前記データ・ブロックの前記発生源は携帯機器と関連するカメラを含む請求項５に記載のデバイス。
【請求項８】
前記サブ・ブロックは、複数の行及び複数の列からなる行列状に配置され、
前記所定の順序は、前記行の一つを横断する連続的移動又は前記列の一つに沿った連続的移動と異なることを特徴とする請求項５に記載のデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
画像データを処理することが必要又は有用である様々な状況が想定される。画像データを使用する上での一つの制限となっていることは、典型的処理技術が計算集約的となっており、それにより、画像情報を使用され得る状況が制限され、画像情報が使用できるデバイスが制限される傾向にある。
【０００２】
例えば、位置確認を容易にするために画像データを使用することは有益である。移動局の位置確認は、典型的には、高周波又は遠隔測定情報に基づく。到来技術の時間及び距離は、例えば、携帯電話の基地局からの信号を用いて移動局を位置決めするものとして知られている。しかしながら、その様な技術は、多くの状況下で十分に正確な位置情報を提供しない。いくつかの屋内位置確認が、建造物或いは関心を持った位置に配置されたＷｉ−ＦｉＴＭ  又は  ＢｌｕｅｔｏｏｔｈＴＭアクセスポイントからの信号指紋法に基づく。そのような技術は、しかしながら、殆どの状況下で、位置確認にサブ・メートルの精度を達成できない。提案されている他の技術では、その様な技術よりも良好な結果を提供できるが、特別な設備と追加の費用を要する。 
【０００３】
屋内位置確認技術の状態は、画像情報、キー・ポイント検出及びキー・ポイント照合に基づく。そのような技術は、通常、フル・サイズの画像処理を必要とする、一方、移動局等の種々の携帯デバイスを用いたその様な技術を使用することが出来るためには制限がある。
【発明の概要】
【０００４】
画像データを処理することを説明する例示の方法は、少なくとも一つの画像に対応するデータ・ブロックを複数のサブ・ブロックに分割する工程、所定の順序に従ってサブ・ブロックの少なくとも一つを選択する工程、選択しサブ・ブロック中の関心を持った複数の特徴を識別する工程、及び関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、選択したサブ・ブロックを処理する工程を含む。
【０００５】
上記段落の方法の一つ又はそれ以上の特徴を有する例示の方法では、少なくとも一つの画像が、複数のビデオ・フレームを含み、選択したサブ・ブロックが、複数のビデオ・フレームの内の一つの一部であり、方法が、更に、所定の順序に従って、複数のビデオ・フレームの別の一つから異なるサブ・ブロックを選択する工程、異なるサブ・ブロックから関心を持った複数の特徴を識別する工程、異なるサブ・ブロックから関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、異なるサブ・ブロックを処理する工程、及びビデオ・フレームのそれぞれの他のものから複数の異なるサブ・ブロックを選択し、識別し、処理する工程を含む。
【０００６】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する説明例の方法は、画像領域全体が処理されるまで、所定の順序で複数の異なるサブ・ブロックを選択することを含む。
【０００７】
上記いずれかの段落の方法の一つ又はそれ以上の特徴を有する例示の方法は、次の複数のビデオ・フレームを、所定の順序に従って、選択し、識別し、処理すること繰り返し実行することを含む。
【０００８】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法は、所定の順序に従って、異なる一つのサブ・ブロックを選択し、異なるサブ・ブロック中の関心を持った複数の特徴を識別し、異なる一つのサブ・ブロック中の関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、異なる一つのサブ・ブロックを処理することを含む。
【０００９】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法は、所定の順序に従って、それぞれのサブ・ブロックを選択し、それぞれのサブ・ブロックに対して識別すること、および処理することを実行し、選択されたサブ・ブロックを含むデータ・ブロックはビデオ・フレームの順序における第１のビデオ・フレームを含み、それぞれのサブ・ブロックはビデオ・フレームの順序中の別のビデオ・フレームをそれぞれ含むそれぞれのデータ・ブロックからである。
【００１０】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法は、
選択されたサブ・ブロックに隣接する一群のサブ・ブロックのそれぞれの部分を選択すること、及び、サブ・ブロックの最初の一つを処理するときに、その選択された部分を選択されたサブ・ブロックに含ませることを含む。
【００１１】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法において、その処理は、処理したサブ・ブロック中の少なくとも関心を持った複数の特徴の位置が、参照画像中の対応する特徴の位置に対応するかどうかを判定し、処理が、参照画像によって示される場所に対して相対的なデータ・ブロックの発生源の場所に関する情報を提供することを含む。
【００１２】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法において、参照画像は、その位置のマップ画像に対応し、データ・ブロックの発生源は携帯機器と関連するカメラを含む。
【００１３】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示の方法において、サブ・ブロックは、複数の行及び複数の列からなる行列状に配置され、あらかじめ選択された順序は、行の一つを横断する連続的移動又は列の一つに沿った連続的移動と異なることを特徴とする請求項１に記載の方法。
【００１４】
画像データを処理する例示のデバイスはプロセッサを含み、そのプロセッサが、少なくとも一つの画像に対応するデータ・ブロックを複数のサブ・ブロックに分割し、所定の順序に従ってサブ・ブロックの少なくとも一つを選択し、選択したサブ・ブロック中の関心を持った複数の特徴を識別し、関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、選択したサブ・ブロックを処理する。
【００１５】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、少なくとも一つの画像が、複数のビデオ・フレームを含み、選択したサブ・ブロックが、複数のビデオ・フレームの内の一つの一部であり、
プロセッサが、更に、所定の順序に従って、複数のビデオ・フレームの別の一つから異なるサブ・ブロックを選択し、異なるサブ・ブロック中の関心を持った複数の特徴を識別し、異なるサブ・ブロックから関心を持った複数の特徴の内の少なくとも一つに関する情報を提供するために、異なるサブ・ブロックを処理し、及びビデオ・フレームのそれぞれの他のものから複数の異なるサブ・ブロックを選択し、識別し、処理する工程を実行する。
【００１６】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、全体の画像領域が処理されるまで、プロセッサが所定の順序における複数の異なるサブ・ブロックを選択する。
【００１７】
上記段落のいずれかの方法の一つ又はそれ以上の特徴を有する例示のデバイスにおいて、プロセッサが、複数の次の複数のビデオ・フレームに対し、所定の順序に従って、選択し、識別し、処理することを繰り返して実行する。
【００１８】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、プロセッサが、所定の順序に従って、複数のサブ・ブロック中の異なる１つを選択し、複数のサブ・ブロック中の異なる１つにおける関心を持った複数の特徴を識別し、複数のサブ・ブロック中の異なる１つにおける関心を持った複数の特徴の少なくとも1つに関する情報を提供するために複数のサブ・ブロック中の異なる１つを処理する。
【００１９】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、プロセッサが、所定の順序に従って、それぞれのサブ・ブロックを選択し、それぞれのサブ・ブロックを識別し、処理し、選択されたサブ・ブロックを含むデータ・ブロックがビデオ・フレームの順序における第１のビデオ・フレームを含み、それぞれのサブ・ブロックはビデオ・フレームの順序における別のビデオ・フレームをそれぞれ含むそれぞれのデータ・のブロックからである。
【００２０】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、プロセッサが、選択されたサブ・ブロックに隣接する一群のサブ・ブロックのそれぞれの一部を選択し、サブ・ブロックの最初の一つを処理する時に選択された部分を選択されたサブ・ブロックに含める。
【００２１】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、プロセッサが、処理したサブ・ブロック中の少なくとも関心を持った複数の特徴の位置が参照画像中の対応する特徴の位置に対応するかどうかを判定し、その処理が、参照画像によって示される場所に対して相対的なデータ・ブロックの発生源の場所に関する情報を提供する。
【００２２】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、参照画像はその場所のマップ画像に対応し、データ・ブロックの発生源は携帯機器と関連するカメラを含む。
【００２３】
上記段落のいずれかのデバイスの一つ又はそれ以上の特徴を有する例示のデバイスにおいて、サブ・ブロックは、複数の行及び複数の列からなる行列状に配置され、あらかじめ選択された順序は、行の一つを横断する連続的移動或いは列の一つに沿った連続的移動とも相違する。
【００２４】
少なくとも一つの開示された実施例の種々の特徴及び利点は、下記の詳細な説明から当業者には明らかとなる。その詳細な説明で参照する図面を以下に簡単に説明する。
【図面の簡単な説明】
【００２５】
【図１】少なくとも一つの画像に対応するデータを処理するように構成された本発明の実施例に従って設計された携帯機器を示す概略図である。
【図２】本発明の実施例に従って設計された処理例を概略的に示すフローチャートの図である。
【図３】本発明の実施例に従って複数の一連のビデオ・フレームを処理する技術を示す概略図である。
【図４】本発明の実施例に従って画像データを処理するための特徴を示す概略図である。
【発明を実施するための形態】
【００２６】
図１は、画像データを処理するデバイスを示す概略図である。カメラ２２は本実施例では移動局２４と関連しており、少なくとも一つの画像を撮影する。移動局２４は携帯コンピュータ・デバイス、スマート・フォン或いはＧｏｏｇｌｅ  ＧＬＡＳＳＴＭ等の可視デバイスであってもよい。カメラ２２は、複数の静止画或いは複数の個別画像、ビデオ或いは動画、或いはその両方を撮影するように構成し得る。本願明細書では、用語「画像」は、厳格又は狭い意味に解釈すべきではない。「画像」は、例えば、一瞬の画像であっても良く、動画又はビデオ・データであっても良いからである。
【００２７】
移動局２４は、カメラ２２から得られる画像情報を処理するように構成されたプロセッサ２６を含む。プロセッサ２６は、種々の目的で画像情報を処理するように構成されうる。例えば、対話目的で、プロセッサ２６は、画像情報を処理して、視覚ベースの３次元屋内位置確認等の位置確認を容易にするように構成される。
【００２８】
データ記憶装置２８は、画像処理の目的で、プロセッサ２６に関連付けられ、アクセス可能である。データ記憶装置２８は、種々の異なる位置に関するマップ画像情報等の参照画像情報、種々の位置に関する参照画像、及び特定の状況で必要となる画像処理を達成する目的でプロセッサ２６に有用とされるその他の情報を含めても良い。マップ又は参照画像は、移動局２４と通信する遠隔サーバ３０から取得しても良い。データ記憶装置２８は、必要に応じて又は恒久的に、マップ又は参照画像情報を保持する。
【００２９】
図１は、移動局２４が配置された場所４０を示す。本実施例の場所４０は、少なくとも壁４２，４４及び４６によって取り囲まれた屋内空間である。ドア４８は他の領域（不図示）と場所４０との間のアクセスを提供する。場所４０内の種々のアイテムは、場所４０内での移動局２４の位置と方位とを識別する基準点を与えてもよい。壁４４に掛けられた絵画５０、ドア４８の付近に配置された植物５２、及び複数の家具５４，５６及び５８は、カメラ２２によって撮影される画像に現れ得る場所４０内のアイテムの例である。画像内のこれらのアイテムは、画像データを処理するときに、プロセッサ２６が使用できる関心を持った一つ又はそれ以上の特徴を提供しても良い。基準点となりうるその他の関心を持つ特徴には、ドア４８の縁、及び複数の壁が合わさった角が含まれても良い。
【００３０】
画像ファイルの典型的なサイズ又は画像データ・ブロック内にあるデータ量が与えられると、実施例は、画像情報を正確で効率的な方法で、スマート・フォン等の多くの携帯機器の処理電力と消費電力の制限内に、画像情報を適合させることを可能にする処理技術を含む。
【００３１】
本実施例による処理は、図２中の引用数字６０によって示されるフローチャートによって提供される。６２で、少なくとも一つの画像に対応するデータ・ブロックは、複数のサブ・ブロックに分けられる。６４で、複数のサブ・ブロックのうちの一つが所定の順序に従って選択される。その所定の順序は、全体の画像領域が選択されるまでその順序で異なるサブ・ブロックを選択することによって、結局全体の画像領域をカバーするように、設定されている。
【００３２】
本実施例の処理は、６６で選択されたサブ・ブロック内の関心を持った複数の特徴を識別することを含む。次に、６８で、サブ・ブロックは、処理されて、関心を持った複数の特徴のうちの少なくとも一つについての情報を提供する。全体のデータ・ブロックを一挙に処理するのではなく、所定の順序でサブ・ブロックを処理することによって、本実施例では、促進された画像データ処理を可能とし、かつ各処理フレーム又は予め選択された期間を有する各処理時間で必要とされる計算の負荷を効果的に低減する。
【００３３】
いくつかの実施例では、データ・ブロックは、カメラ２２によって逐次取得された複数のビデオ・フレーム中の少なくとも一つのビデオ・フレームに対応する。このような実施例では、各ビデオ・フレームは図２に示される技術を用いて処理されて、それぞれのビデオ・フレームから少なくとも一つのサブ・ブロックに対して６２乃至６８で示されるステップが実施される。各ビデオ・フレームの処理は、他のビデオ・フレームと比較して異なるサブ・ブロックに対応する異なる画像領域を含んでもよい。所定の順序は、全体の画像領域がカバーされ又は処理されるまで、選択されたサブ・ブロック又は画像領域を含む。
【００３４】
図３は、複数のそれぞれのビデオ・フレームからサブ・ブロックを選択する所定の順序の一例を示す概略図である。第１のビデオ・フレームは８０で示されている。第２のビデオ・フレームは８２で示されている。第３のビデオ・フレームは８４で示されている。プロセッサ２６は、所定の順序に従い、第１のビデオ・フレーム８０から引用数字８６によって示されるサブ・ブロックの一つを選択し、第２のビデオ・フレーム８２から異なるサブ・ブロック８８を選択し、そして第３のビデオ・フレーム８４からもうひとつの異なるサブ・ブロック９０を選択する。プロセッサ２６は、各サブ・ブロック内で関心を持った特徴を識別し、次のビデオ・フレームに進む前に各サブ・ブロックを処理する。その選択、識別及び処理の全てをそれぞれのビデオ・フレームの時間周期又は各フレーム内に実施する。
【００３５】
予め選択した順序に従って、プロセッサ２６は、複数のビデオ・フレームにより表される画像の全体の画像領域をカバーし、又は処理する。図示されたビデオ・フレーム８０乃至８４は、全体の画像領域の処理の一部を示す。プロセッサ２６は、所定の順序の全体のサブ・ブロックの選択、識別及び処理を達成し、次に、再び所定の順序に従って図２に示す処理を繰り返すように構成されている。例えば、４つのサブ・ブロックがあり、プロセッサ２６が各フレームでサブ・ブロック中の１つを処理するのであれば、そこで全体の画像領域（シーン又はスクリーン）は所定の順序に従って４フレーム内で処理される。プロセッサ２６は次の４フレームでもその順序に従って、画像処理が不要となるまで、同様の手法で画像処理を継続する。
【００３６】
図４は、開示された実施例によるサブ・ブロック処理に画像情報を含める技術の概略を示す。データ・ブロック１２０は、少なくとも一つの画像に対応する。データ・ブロック１２０は、９個のサブ・ブロック１２２−１３８に分割される。プロセッサ２６は、ブロック１２０の全体を一挙に処理するのではなく、複数のサブ・ブロックを所定の順序で処理することによってブロック１２０内のデータを処理する。全体の画像領域に９個のサブ・ブロックが分配されると仮定すると、プロセッサ２６は、複数のサブ・ブロック中の別個の一つ一つを９個のフレームに亘って処理することにより、全体の画像を処理する。
【００３７】
サブ・ブロックを処理する所定の順序は、循環する順序であっても良く、全体の画像或いはデータ・ブロック１２０の全体のブロックを徐々に処理する。そのような順序は、画像データ内の関心を持った複数の特徴や複数の基準点をトラッキングすることに関連する困難性を補償するために有用である。その画像データは、移動局２４が場所４０内の異なる位置に移動するに従い、カメラ２２からの変遷する画像から得られたものであっても良い。例えば、図４の実施例におけるサブ・ブロックを処理する順序は１２２、１２６、１３０、１３４、１３８、１２４、１２８、１３２、１３６であっても良い。斯かる例示から明らかなように、この例示の順序は、複数の行或いは複数の列の一つを横切る直線的な順序ではない。
【００３８】
上記のように、均一に分配され処理する順序を用いることにより、全体の画像領域（又はスクリーン）に亘って均一に分配される画像データ内のトラッキングされた基準点（即ち、内座層）を含む位置確認を正確化することが出来る。例示の順序を用いて、一連の追加キー・ポイント操作を、画像データの全体のブロック１２０（又は、画像領域）に徐々に均一に適合することが出来る。
【００３９】
図４には９個のサブ・ブロックが示されているが、特定の状況の必要性又は優先性に従いサブ・ブロックの数を変えることができる。複数の行と複数の列を含むサブ・ブロックの行列状の配置は、ｎ×ｍ行列とすることもできる。ここでｎとｍは２以上の整数である。サブ・ブロックの数と配置とは、実施例の全体の画像のアスペクト比を維持する。サブ・ブロックの数は、１フレームにつき１サブ・ブロック処理することを含む実施例において、全体の画像領域を処理するためのフレーム数がどの程度必要かについて影響を与える。
【００４０】
屋内、３次元、視覚ベースの位置確認に対し、図２のフローチャート６０に要約された技術は、種々の既知のキー・ポイント検知、及びトラッキング・アルゴリズムを取り入れても良い。画像認識を屋内ナビゲーション又は位置確認に適合した種々の提案があり、本願の記載を参照した当業者は如何なる位置確認技術が自らの個々の状況に対して最善であるのか理解するであろう。
【００４１】
説明の都合上、画像中の基準点又は関心を持った特徴は、場所４０内での移動局２４の位置と方位を決定する目的に対するキー・ポイントとみなされる。例えば、場所４０の予め設定された３次元屋内マップは、場所４０に関する複数の画像から抽出された複数の３次元キー・ポイントに基づく。その様な単数又は複数のマップ情報を生成するための技術が知られており、本願記載を参照した当業者は如何なるタイプの基準画像又はマップ情報が自らの個々の状況に対して最善であるのか理解するであろう。例えば、絵画５０の四隅、ドア４８の枠、又は壁４２及び４４の間の交差、又は壁４４及び４６の間の交差は、画像内のキー・ポイント又は関心を持った特徴としても良く、これらは所望の３次元位置確認を達成する目的でトラッキングされる。
【００４２】
データの全体ブロック１２０を同時に処理する場合、キー・ポイントをトラッキングしてモニターし、更に予め生成されたマップ又は参照画像におけるキー・ポイントとの対応を判定するための画像データの処理は、計算的に高くつき、高負荷となる。複数のサブ・ブロックを逐次的方法で使用することにより、データ・ブロック１２０内で処理してモニターするキー・ポイントの数を犠牲にすることなく、演算の複雑化を軽減することが出来る。
【００４３】
画像データのサブ・ブロックを処理する一つの特徴は、サブ・ブロック処理モードが適正かどうか判定する工程を含む。一例において、データの第１ブロックはビデオストリームから抽出される。参照画像又はマップにおける対応するポイントにマッチするキー・ポイントの数は、データのフレーム又はブロックにおけるマッチする内座層の数として判定される。マッチする内座層の数が所定の閾値を超えない場合、画像処理はフル・イメージ・モードで実施される。その他の場合には、例えば、プロセス６０及び図４に概略的に示すサブ・ブロックを用いて実施される。一実施例によると、プロセッサ２６によって用いられるサブ・ブロック処理モードに対するマッチする内座層の数の閾値は、少なくとも１９でなければならない。
【００４４】
一実施例では、外れ値とみなされた不適合キー・ポイントを除去するｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）法等の既知の技術を使用することを含む。キー・ポイント又は関心を持った特徴についての二次元及び三次元のマッチングに基づいて、既知の技術を用いて移動局２４の６自由度の姿勢（ｐｏｓｅ）が判定される。参照画像又はマップからの十分にマッチした３次元キー・ポイント、及びカメラ２２が撮影した画像データ・ブロックからの２次元キー・ポイントに対応する内座層は、画像データの処理中にトラッキングされる一群の内座層に割り当てられる。マッチする内座層の数が所定の閾値を超えた場合、サブ・ブロック処理が継続される。
【００４５】
所定の順序でサブ・ブロックを処理している間、一実施例においては、データ・ブロック１２０又は全体の画像に対して適合された内座層トラッキングに基づく光学的フローを含む。計算的に高くつくことのない既知の光学的フロー技術が、一実施例において使用される。光学的フロー技術が、関心のある複数の特徴を識別し、画像データを処理してそれらの関心のある特徴に関する情報を提供する処理程多くの処理能力は必要としないので、同時に一つのサブ・ブロックを取り扱うのではなく、光学的フロー技術を全体の画像に適合することが出来る。サブ・ブロックは新しいキー・ポイント検出及び追加キー・ポイント動作に使用され、他方、データの全体ブロックは二次元キー・ポイント位置をトラッキングするために使用される。
【００４６】
一実施例において、トラッキングされる内座層は、予め撮影されたビデオ・フレーム又はデータ・ブロックから伝搬される。一例では、対応する予めトラッキングされた内座層２次元座標から、トラッキングされる内座層の２次元座標を推定する既知の光学フロー技術を使用することを含む。３次元マップ又は予め設定された画像におけるキー・ポイント又は内座層の３次元座標は固定されたままである。所定の順序でサブ・ブロックを選択することによって、例えば、上記のような順序を使用して、複数のサブ・ブロックを一つずつ処理することが出来る。各サブ・ブロックの処理は、そのサブ・ブロックから抽出された新しいキー・ポイントを選択することを含む。現在トラッキングされた内座層にキー・ポイントを追加するかどうかの判定がなされる。新しいキー・ポイントは３次元屋内マップ又は予め設定された画像とマッチングしても良い。
【００４７】
移動局２４が場所４０内を移動するにつれて、移動局２４が場所４０の境界に近づく。このような移動によって、カメラ２２が撮影した画像内のトラッキングされた内座層の数は減少する。このような状況下では、予め設定された基準画像又はマップが新しいマップ・データで更新され、新しい場所又は領域をカバーする。その様な更新をする必要があるかどうかを、移動局２４の位置をトラッキングし、そして基準画像又はマップの最新の更新位置と移動局２４の現在の位置との間の距離を把握することによって判定する。このような位置の変更は、全てのビデオ・フレーム又はデータ・ブロック１２０についてモニターされる。適切な時間に、マップの更新がトリガーされ、新しいマップの選択が既知の手法によりなされる。
【００４８】
場所内で移動局２４の６自由度の姿勢が成功裏に一旦判定されると、トラッキングされた内座層の数が所定の閾値以下ではない場合には、画像データはサブ・ブロックモードで処理される。トラッキングされた内座層の数が閾値以上である限り、サブ・ブロックモードが使用される。そうではない場合には、画像処理は、データの全体のブロック１２０を同時に処理するフル・画像モードを用いて実施される。
【００４９】
サブ・ブロックモードは、位置確認精度を劣化させること無く、ビデオ・フレーム又は処理例毎の演算時間を減らす。サブ・ブロックモードで最も時間を浪費する演算は、キー・ポイント検出動作及び追加キー・ポイント動作である。キー・ポイント検出動作は、画像データからキー・ポイントを抽出する動作である。追加キー・ポイント動作は、抽出したキー・ポイントをマップ又は基準画像とマッチングする動作である。それらの動作の各々は、画像のサイズに依存し、データのブロック１２０を複数のサブ・ブロックに分割し、各処理時間又は処理フレームに関係した演算費用を減らすことが出来るようにする。
【００５０】
選択したサブ・ブロックの数は、上記のようにして変えることができる。例えば、キー・ポイント検出動作及び追加キー・ポイント動作に使用される時間の量は、サブ・ブロックのサイズを小さくするに従って、少なくなる傾向がある。サブ・ブロックのサイズを小さくするとフレーム演算時間当たりの時間を全体（ｏｖｅｒａｌｌ）で減らすことが出来る一方、副作用がある。より小さなサブ・ブロックサイズを使用すると、ビデオ・フレーム又は画像の全体をカバーする処理をするために必要となるサブ・ブロックの数が増え、このことは、固定されたフレーム処理速度では、ビデオ・フレーム領域は、結局、低頻度でスキャンされることとなる。低頻度でスキャンすると、トラッキングされた内座層を喪失する可能性が高くなり、時間の経過と共にキー・ポイント・トラッキング・エラーが累積する。トラッキングに失敗した内座層の数が多い場合、サブ・ブロック処理を許容する上述の閾値を用いると、より演算負荷の大きいフル・画像モードに頻繁に切り替えられる。上記の記載に基づいて、当業者は個々の状況に応じた使用について、適正なサブ・ブロックの数を選択することが出来る。
【００５１】
既知のＳＩＦＴアルゴリズム等のキー・ポイント抽出アルゴリズムを用いた場合に、画像のエッジに近いキー・ポイントが検出されない可能性がある。図４に概略的に示すサブ・ブロックを用いると、隣接したサブ・ブロック間の境界に沿ってキー・ポイントを喪失することとなる。図４の例では、その可能性をサブ・ブロックの領域を重複させることによって調整している。例えば、サブ・ブロック１２２は、隣接するサブ・ブロック１２４及び１２８の５０％及びブロック１３０の２５％と共に処理される。他の実施例では、その他のパーセンテージを使用してもよい。サブ・ブロック１２２を処理する場合の処理するビデオ・データの量は、図４における破線１４０及び１４２を検討することによって、評価することが出来る。サブ・ブロック１２４及び１２８は、それぞれ、サブ・ブロック１２２と共通のエッジを共有する。サブ・ブロック１２２の処理の間にそれらのサブ・ブロックの各々の約５０％を含めることによって、それらのサブ・フレーム間の境界に沿ったキー・ポイントの喪失を回避する。
【００５２】
サブ・ブロック１３６は、サブ・ブロック１３０，１３４及び１３８の５０％を含めて処理され、それにより、サブ・ブロック１３６を処理する場合に処理されるデータ・ブロック１２０の領域が破線１４４，１４６及び１４８によって示される境界内にある。
【００５３】
サブ・ブロックの処理を重複させることにより、関心をもったサブ・ブロックの境界に沿ったキー・ポイントの喪失の可能性を回避する。
【００５４】
開示された実施例によるアプローチは、ビデオ・データ処理を促進し、かつ位置確認等の目的で精度を犠牲にすることのない手法により、比較的演算負荷の大きい画像処理をより効率的に取り扱うことを可能とする。開示された実施例によるアプローチは、Ｇｏｏｇｌｅ  ＧＬＡＳＳ等のデバイスに用いる等の現実の応用を容易にするために有用である。例えば、ある個体は場所の画像表示を有し、その場所内の特定の位置に導かれるか、或いはその場所内の複数の異なる特徴に関する関心を持った情報を指摘される。画像データを処理するサブ・ブロック・アプローチにより、イメージ・データ・ブロック全体を同時に移動局が処理することを必要とせずに、移動局が画像処理から有意義で有用な成果を提供することを可能にする。この様に演算負荷を低減することにより、携帯機器を使用した画像処理の可能性は拡張される。
【００５５】
実施例の方法及びデバイスの種々の特徴及び視点は、上記に述べた通りである。本発明の実施例は上記の特徴の全ては含む必要は無い。
【００５６】
上記記載は性質としては例示的であって、制限的ではない。実施例に対する変更及び修正は当業者には明らかであり、斯かる変更等は本発明の本質から必ずしも逸脱するものではない。本発明の法的保護範囲は、本願特許請求の範囲によってのみ決定することが出来る。
【図１】
0006416938.tif 000002
【図２】
0006416938.tif 000003
【図３】
0006416938.tif 000004
【図４】
0006416938.tif 000005