(57)【要約】【課題】局所特徴量の計算ができない領域を無くすことを目的とする。【解決手段】文書画像を入力する画像入力手段と、画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、分離手段で分離された画像領域の縁に局所特徴量の抽出を行うための拡張領域を付加した画像を生成する生成手段と、を有することによって課題を解決する。【選択図】図１
2011076575.tif 000002
【特許請求の範囲】
【請求項１】
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、
前記分離手段で分離された画像領域の縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する生成手段と、
前記生成手段で生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記拡張領域の色を前記文書画像の地色とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記生成手段は、前記拡張領域の色を前記文書画像の下地部分の色とすることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記生成手段は、前記拡張領域の色を白とすることを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記生成手段は、前記拡張領域を付加する領域が定められた一様さを有する場合は、前記拡張領域の色を前記文書画像の下地部分の色とし、前記拡張領域を付加する領域が定められた一様さを有しない場合は、前記拡張領域の色を前記文書画像の地色、又は白とすることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記生成手段は、ぼかし処理に用いられるぼかしフィルタのサイズと、局所特徴量計算領域のサイズと、に基づいて、前記拡張領域の幅を算出することを特徴とする請求項１乃至５何れか１項記載の画像処理装置。
【請求項７】
前記生成手段で生成された前記画像を起点に段階的に縮小を行い、縮小画像を生成する縮小画像生成手段を更に有し、
前記生成手段は、前記縮小画像生成手段で生成される縮小画像の縮小率と、ぼかし処理に用いられるぼかしフィルタのサイズと、局所特徴量計算領域のサイズと、に基づいて、前記拡張領域の幅を算出することを特徴とする請求項１乃至５何れか１項記載の画像処理装置。
【請求項８】
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、
前記分離手段で分離された画像領域に関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記画像領域の画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項９】
前記抽出手段で抽出された局所特徴量と、前記局所特徴量の抽出に係る画像領域と、前記文書画像と、を対応付けて記憶装置に登録する登録手段を更に有することを特徴とする請求項１乃至８何れか１項記載の画像処理装置。
【請求項１０】
前記抽出手段で抽出された局所特徴量に基づき、前記記憶装置に記憶されている局所特徴量を検索し、検索結果として該当する局所特徴量に対応する文書画像を出力する検索手段を更に有することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
画像処理装置が実行する画像処理方法であって、
文書画像を入力する画像入力ステップと、
前記画像入力ステップで入力された文書画像から文字領域と画像領域とを分離する分離ステップと、
前記分離ステップで分離された画像領域の縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する生成ステップと、
前記生成ステップで生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
画像処理装置が実行する画像処理方法であって、
文書画像を入力する画像入力ステップと、
前記画像入力ステップで入力された文書画像から文字領域と画像領域とを分離する分離ステップと、
前記分離ステップで分離された画像領域に関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記画像領域の画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、
前記分離手段で分離された画像領域の縁に局所特徴量の抽出を行うための拡張領域を付加した画像を生成する生成手段と、
前記生成手段で生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出手段として機能させることを特徴とするプログラム。
【請求項１４】
コンピュータを、
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、
前記分離手段で分離された画像領域に関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記画像領域の画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出手段として機能させることを特徴とするプログラム。
【請求項１５】
画像を入力する画像入力手段と、
前記画像入力手段で入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段で抽出されたオブジェクトの縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する生成手段と、
前記生成手段で生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項１６】
画像を入力する画像入力手段と、
前記画像入力手段で入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段で抽出されたオブジェクトに関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記オブジェクトの画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項１７】
前記画像入力手段は、静止画像を入力し、
前記オブジェクト抽出手段は、前記画像入力手段で入力された静止画像からオブジェクトを抽出する、請求項１５又は１６記載の画像処理装置。
【請求項１８】
前記画像入力手段は、動画のフレーム画像を入力し、
前記オブジェクト抽出手段は、前記画像入力手段で入力されたフレーム画像からオブジェクトを抽出する、請求項１５又は１６記載の画像処理装置。
【請求項１９】
画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像からオブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクト抽出ステップで抽出されたオブジェクトの縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する生成ステップと、
前記生成ステップで生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項２０】
画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像からオブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクト抽出ステップで抽出されたオブジェクトに関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記オブジェクトの画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項２１】
コンピュータを、
画像を入力する画像入力手段と、
前記画像入力手段で入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段で抽出されたオブジェクトの縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する生成手段と、
前記生成手段で生成された前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出手段と、
して機能させることを特徴とするプログラム。
【請求項２２】
コンピュータを、
画像を入力する画像入力手段と、
前記画像入力手段で入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段で抽出されたオブジェクトに関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完し、前記オブジェクトの画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出手段と、
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
文書画像中の画像領域に対する検索技術として、文書画像に対して像域分離処理を行い画像領域の全体特徴量を算出しデータベースへ記憶しておき、検索時に指定したクエリ画像を含む文書画像を検索する技術が存在する。
また、画像の局所的な特徴量（局所特徴量）を使って類似画像を検索する方法が提案されている。これらの方法では、まず画像から特徴的な点（局所特徴点）を抽出する。次に、局所特徴点とその近傍の画像情報とから、その局所特徴点に対する特徴量（局所特徴量）を計算する。画像の検索は、局所特徴量同士のマッチングによって行う。
上述のような局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される量として定義することで、画像を回転したり拡大・縮小したりした場合でも検索可能とする方法が提案されている（非特許文献１）。
更に、画像から特徴量を抽出する際の、領域の補正方法に関する提案がある。
この方法では、オペレータにより領域指定部で指定された認識対象領域に含まれる文字列画像を矩形で切り出す。そして領域拡張部が、文字列切り出し部で得られた各文字列画像の中で認識対象領域の上下の境界に接しているものについて本来の文字列全体が含まれる様に文字列画像領域の境界を認識対象領域の外側に拡張する処理が記されている（特許文献１）。
これは、オペレータにより指定された領域が文字認識処理に不都合な場合に、文字切り出し領域に文字が接し無い様に、文字領域を拡張するものである。目的は、濃度ヒストグラム特徴における位置の軸の精度をよくすることでマッチングを精度向上するためのものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０１−０６１８８７号公報
【非特許文献】
【０００４】
【非特許文献１】Ｃ．  Ｓｃｈｍｉｄ  ａｎｄ  Ｒ．  Ｍｏｈｒ，  "Ｌｏｃａｌｇｒａｙ  ｖａｌｕｅ  ｉｎｖａｒｉａｎｔｓ  ｆｏｒ  ｉｍａｇｅ  ｒｅｔｒｉｅｖａｌ，"  ＩＥＥＥ  Ｔｒａｎｓ．  ＰＡＭＩ．，  Ｖｏｌ．１９，  Ｎｏ．５，  ｐｐ５３０−５３４，  １９９７．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
局所特徴量を使った検索システムの多くは、ノイズ耐性を持たせるために、入力画像に対してぼかし処理等のフィルタ処理を施す。フィルタ処理は、一般に、フィルタウインドウと画像とのコンボリューション処理になる。このとき、画像の縁の部分ではフィルタウインドウが画像からはみ出してしまうため正確なフィルタ処理ができない。
また、画像の縁の部分では、局所特徴量の計算も困難である。局所特徴量の計算では、まず、局所特徴点を中心とした小サイズの領域（局所特徴量計算領域）を設定する。その後、局所特徴量計算領域内の画素パターンから局所特徴量を計算する。この場合も、画像の縁部分では局所特徴量計算領域が画像からはみ出してしまう。
この様に、局所特徴量を使った検索システムは局所特徴量の算出に関わる制約を持つ。
この問題に対して、非特許文献１は何ら考慮をしておらず、また、特許文献１に関しても、特徴取得処理のアルゴリズム上の制約から来るマージンのことではなく、また、縮小サイズによりマージンのサイズを変えるという思想も無い。
この問題を放置したままでは、画像周辺部の局所特徴量が計算困難な領域にのみ特徴点が存在する場合では、局所特徴量を用いた類似比較処理による検索が困難になってしまう。
【０００６】
本発明はこのような問題点に鑑みなされたもので、局所特徴量の計算ができない領域を無くすことを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明の画像処理装置は、文書画像を入力する画像入力手段と、前記画像入力手段で入力された文書画像から文字領域と画像領域とを分離する分離手段と、前記分離手段で分離された画像領域の縁に局所特徴量の抽出を行うための拡張領域を付加した画像を生成する生成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、局所特徴量の計算ができない領域を無くすことができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１の画像登録装置の機能構成の一例を示す図である。
【図２】像域分離処理を説明するための図である。
【図３】像域分離処理の一例を示すフローチャートである。
【図４】実施形態１の画像登録処理の一例を示すフローチャートである。
【図５】局所特徴の抽出が可能な領域と困難な領域とを示す図である。
【図６】クリップアート画像を例にした拡張領域の付加を説明するための図である。
【図７】局所特徴量抽出を行うための拡張領域を付加した局所特徴量抽出用の画像の生成処理の一例を示すフローチャートである。
【図８】実施形態１の画像検索装置の機能構成の一例を示す図である。
【図９】実施形態１の画像検索処理の一例を示すフローチャートである。
【図１０】画像登録装置及び画像検索装置等の画像処理装置のハードウェア構成の一例を示す図である。
【図１１】実施形態４の画像登録装置の機能構成の一例を示す図である。
【図１２】実施形態４の画像登録処理の一例を示すフローチャートである。
【図１３】オブジェクト抽出処理の結果の一例を示す図である。
【図１４】実施形態４のオブジェクト抽出処理の一例を示すフローチャートである。
【図１５】実施形態４の画像検索装置の機能構成の一例を示す図である。
【図１６】実施形態４の画像検索処理の一例を示すフローチャートである。
【図１７】オブジェクトが動く場合の動きベクトルの状態図である。
【図１８】画像入力装置が動くベクトルを追尾する場合のベクトルの状態図である。
【図１９】実施形態５のオブジェクト抽出処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
［画像の登録処理］
図１は、実施形態１の画像登録装置の機能構成の一例を示す図である。尚、以下に示す画像登録装置の各機能及びフローチャートに係る処理は、後述するＣＰＵ１００１がＲＡＭ１００３又は外部記憶装置１００６等に記憶されているプログラム等を実行することによって実現される。
画像入力部１０２は、登録文書画像１０１を画像登録装置に入力する。登録文書画像１０１は、画像中に、図２の様に文字の他、写真や線画、図、表等、複数の領域を持つ。像域分離処理部１０３は、文書画像から上記領域を分離・抽出する。より具体的に説明すると像域分離処理部１０３は、図２の左側の文書画像を図２の右側に示す様に、オブジェクト毎の塊として認識し、ブロック毎に文字／図画／写真／線／表等の属性を判定し、異なる属性を持つ領域に分割する。
【００１２】
像域分離処理を、図３を用いて説明する。
先ずＳ４０１にて画像入力部１０２は、文書画像データを後述するＲＡＭ１００３又は外部記憶装置１００６等のメモリに読み込む。Ｓ４０２にて像域分離処理部１０３は、入力画像を白黒に二値化する。そしてＳ４０３にて像域分離処理部１０３は、輪郭線を追跡し、黒画素輪郭で囲まれる画素の塊を抽出する。この様にして得られた黒画素の塊に対して、Ｓ４０６からＳ４１６までのループ処理が実行される。
Ｓ４０４にて像域分離処理部１０３は、属性判定を行っていない画素塊はあるか否かを判定する。像域分離処理部１０３は、属性判定を行っていない画素塊がある場合、処理をＳ４０６に進め、属性判定を行っていない画素塊がない場合、処理をＳ４０５に進める。
Ｓ４０５にて像域分離処理部１０３は、近接する文字の画素塊が整列よくグループ化可能な部分を文字領域へ統合処理し、領域の外接近傍の画素値の平均値から、背景色を推定（又は決定）する処理を行い、図３に示す処理を終了する。
Ｓ４０６からＳ４１６までは、像域分離処理部１０３は、大きさ及び形状で分岐判断処理し、異なる属性を持つ領域へ分類していく。
例えば、像域分離処理部１０３は、Ｓ４０６で縦横比が１に近く、大きさが一定の範囲のものをＳ４０７で文字相当の画素塊と判定する。
像域分離処理部１０３は、Ｓ４０８にて扁平であるかどうかを判断し、扁平であればＳ４０９で画素塊を線領域とする。
また、像域分離処理部１０３は、Ｓ４１０にて画素塊が一定大きさ以上で、かつ、四角系の白画素塊を整列よく内包すると判断すれば、Ｓ４１１で表領域と判断する。
また、像域分離処理部１０３は、Ｓ４１２にて矩形状の画素塊であればＳ４１３にて写真領域、或いはフレーム領域と判断し、それ以外の任意形状の画素塊でＳ４１４にて黒画素の密度が低ければＳ４１５にて線画、そうでなければＳ４１６にて図画領域等とする。
この様にして、像域分離処理部１０３は、文書画像中から属性を伴う領域と、その輪郭近傍の背景色と、を得ることができる。本字実施形態では、不定形画像領域は、簡易化のために画素塊の最外接矩形領域とし、画素塊の外側で、かつ、最外接矩形の内側の画素を背景色の推定に用いる。
【００１３】
１０４から１０７までの各部の処理は、後述する図４〜図７等を用いて説明する。
縮小画像生成部１０５が、各領域に対して複数の縮小画象を生成し、それぞれの縮小画象について局所特徴点抽出部１０６が特徴点抽出処理を行い、局所特徴量算出部１０７が局所特徴量計算処理を行うことにより、縮小画象への検索が可能となる。
尚、本実施形態では、局所特徴量の計算時に、まず局所特徴点周辺の輝度勾配を調査して主方向を決定し、主方向に応じて局所特徴点を中心に局所特徴量計算領域を回転させるものとする。このことで局所特徴量に画像の回転に対する不変性を持たせることができる。本実施形態では、主方向の決定方法として参考文献１に記載されている方法を利用することとする。尚、主方向の決定方法は、ノイズの影響を受けにくい方法であれば参考文献１に記載の方法でなくてもよい。
また、本実施形態では、局所特徴量の算出方法として参考文献２に記載されている方法を利用することとする。尚、局所特徴量の算出方法についても、ノイズの影響を受けにくい局所特徴量を算出可能であれば参考文献２に記載の方法以外の方法で算出してもよい。
（参考文献１）
Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ，  "Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，"    Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０，  ２  （２００４），  ｐｐ．  ９１−１１０．
（参考文献２）
Ｙ．  Ｋｅ  ａｎｄ  Ｒ．  Ｓｕｋｔｈａｎｋａｒ，  "  ＰＣＡ−ＳＩＦＴ：  Ａ  Ｍｏｒｅ  Ｄｉｓｔｉｎｃｔｉｖｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｆｏｒ  Ｌｏｃａｌ  Ｉｍａｇｅ  Ｄｅｓｃｒｉｐｔｏｒｓ，"  Ｐｒｏｃ．  ＣＶＰＲ，  ｐｐ．５０６−５１３，  ２００４．
そして、特徴登録部１０８は、求められた局所特徴量を画像特徴データベース１０９に記憶する。
この際、特徴登録部１０８は、像域分離で得た画像領域と文書画像（登録画像）とを対応付け、画像領域と、画像領域に対する画像属性と、特徴点群の局所特徴量と、を対応付ける。
【００１４】
次に、図４のフローチャート等を用いてより詳細な処理の説明を補足する。図４は、実施形態１の画像登録処理の一例を示すフローチャートである。
Ｓ２０１で画像入力部１０２は、登録文書画像１０１を入力する。Ｓ２０２にて像域分離処理部１０３は、像域分離処理により、画像領域・領域属性情報、領域の背景色を得る。Ｓ２０２の詳細処理は、上述した図のＳ４０２からの処理が対応する。ここで、領域の背景色に関して、領域の近傍の画素値の平均を取ればよく、簡易には文書画像の字の色は通常、白なので、白を用いることができる。
Ｓ２０３にて例えば拡張処理部１０４は、局所特徴未抽出の画像領域があるか否かを判定し、局所特徴未抽出の画像領域がある場合は、処理をＳ２０４に進め、局所特徴未抽出の画像領域がない場合は、処理をＳ２１１に進める。
Ｓ２０４にて、拡張処理部１０４は、着目している（処理対象としている）画像領域が図、線画、クリップアート、円グラフ等、非矩形の画像領域である場合は、処理をＳ２０５に進める。一方、拡張処理部１０４は、着目している画像領域が図、線画、クリップアート、円グラフ等、非矩形の画像領域でない場合は、処理をＳ２０６に進める。
Ｓ２０５にて、拡張処理部１０４は、非矩形の画像領域に対して局所特徴量抽出を行うための拡張領域を付加する。尚、グラフやフレーム、写真等の矩形の画像領域に対して局所特徴量抽出を行うための拡張領域を付加しても問題はない。
Ｓ２０６にて、例えば、拡張処理部１０４は、着目している画像領域から輝度成分を抽出して輝度成分画像を生成する。そして、Ｓ２０７にて縮小画像生成部１０５は、輝度成分画像を段階的に縮小すると共に各縮小画像に対してぼかし処理を施す。この様に生成した各ぼかし画像からＳ２０８にて局所特徴点抽出部１０６が、局所特徴点を抽出し、Ｓ２０９にて局所特徴量算出部１０７が、局所特徴量を算出し、Ｓ２１０にて特徴登録部１０８が、画像領域の画像特徴、領域属性情報を登録する。
尚、本実施形態において、局所特徴点の抽出と、局所特徴量の算出と、を合わせて、局所特徴量抽出と呼ぶことがある。
【００１５】
図５は、局所特徴の抽出が可能な領域と困難な領域とを示す図である。図５において、５０１は、フィルタ処理に起因する正確なフィルタ処理が困難な領域である。５０２は、局所特徴量計算領域に起因する正確な局所特徴量計算が困難な領域である。５０３は、４５度回転した局所特徴量計算領域である。５０４は、特徴抽出可能領域であり、局所特徴はこの特徴抽出可能領域５０４上で抽出される。
尚、局所特徴点の抽出方法として、本実施形態では参考文献３の方法を用いる。
（参考文献３）
Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，  "Ａ  Ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，"  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐａｇｅｓ  １４７‐１５１，  １９８８．
ここで、ぼかし処理は、画像とぼかしフィルタとのコンボリューション処理で実現されるので、局所特徴点抽出部１０６は、ぼかしフィルタの大きさから図５で示した正確なフィルタ処理が困難な領域５０１を特定できる。本実施形態では、ぼかしフィルタとしてガウスフィルタを採用し、パラメータとしてσ＝１．５、３σの範囲のフィルタを用いる。即ち、ぼかしフィルタの大きさは１１画素×１１画素の大きさとなるので、正確なフィルタ処理が困難な領域５０１は、画像の縁から５画素幅の領域となる。
正確なフィルタ処理が困難な領域５０１からは、局所特徴量を計算することができない。局所特徴点抽出部１０６は、特定した正確なフィルタ処理が困難な領域５０１の情報を局所特徴量算出部１０７に渡す。次に、局所特徴量算出部１０７は、局所特徴点抽出部１０６で抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する。尚、局所特徴点の抽出方法及び局所特徴量の算出方法については、非特許文献２、参考文献１をはじめとして様々な方法が提案されており、本実施形態ではこれら既存の方法を利用するものとする。
このとき、局所特徴量計算領域のサイズは予め定められていることと正確なフィルタ処理が困難な領域５０１が確定していることとから、局所特徴点抽出部１０６は、図５で示した局所特徴量計算が困難な領域５０２と特徴抽出可能領域５０４とを特定できる。本実施の形態では、局所特徴量を参考文献２の方法で算出しているので、局所特徴量計算領域のサイズは４１画素×４１画素となる。局所特徴量計算が困難な領域５０２の幅が最大になるのは、局所特徴量計算領域を４５°回転させた場合であり、このときの幅は２９画素となる。本実施の形態では、特徴抽出不可領域は画像の縁から３４画素幅の範囲になる。
【００１６】
図６は、クリップアート画像を例にした拡張領域の付加を説明するための図である。
７０１がオリジナル画像であり、その領域を便宜上、矩形とし、一点鎖線で示す。オリジナル画像に対して掛かっている黒枠７０２が図５に示した５０１と５０２とを合わせた局所特徴量が計算不能な領域である。この領域は、大きさが一定のため、縮小画象でも検索可能とするために画像を縮小して局所特徴量を計算する際には、７０３に示す様に、かなりの領域で局所特徴量の計算が不可能になる。
尚、７０３の例は、１／２縮小の例である。
そこで、拡張処理部１０４は、破線と一点鎖線とで囲まれたロの字型の領域７０４を、局所特徴量抽出を行うための拡張領域として画像領域に追加する。図６の拡張領域は、画像領域の周囲に存在し、画像領域の背景色からなっている。
拡張領域を付加することにより、局所特徴量自身に影響無く、オリジナル画像領域の端に存在する特徴点でも局所特徴量が計算可能となる。
尚、像域分離処理部１０３（又は拡張処理部１０４）は、拡張領域の色として、画像領域の背景色以外でも、文書画像の地色を推定し、推定した地色を用いてもよい。スキャンイメージの場合、紙にトナーやインクが乗って像が出来るので紙の地色が最も高い輝度になる。局所特徴量は、輝度成分画像から濃度勾配で計算されるので、輝度値のみに着目してよい。従って、像域分離処理部１０３は、像が無い部分の画素値のうち、最も輝度の高い画素を得ることにより文書画像の地色を推定することができる。像の外側近傍の画素に限定しておくと、推定に係る処理量を減らすことができる。このことは、電子ドキュメントをラスタライズした画像についても同様である。
この様に、拡張処理部１０４は、局所特徴量を抽出するため、縮小された画像領域に対して、縮小画像生成部１０５が縮小処理を行う度に、局所特徴量抽出を行うための拡張領域を付加する。
他方、縮小画像生成部１０５は、１つの局所特徴量抽出を行うための拡張領域付き画像を起点に段階的に縮小して局所特徴量抽出すると、その都度、拡張領域の付加を行わず処理が簡便となる。
この場合、拡張処理部１０４は、最小の縮小画象領域において局所特徴量抽出を行うための拡張領域が適切に設定すればよい。
例えば、１／２の縮小画象まで検索を可能とするための起点となる局所特徴量抽出を行うための拡張領域付きの画像を考えるとする。
７０４を２倍するとオリジナルの大きさとなるので、拡張処理部１０４が、最初の起点としては７０５の破線と一点鎖線とで囲まれたロの字型領域の様な局所特徴量抽出を行うための拡張領域を予め用意しておけば、よいことになる。因みに、局所特徴量抽出を行うための拡張領域も相似比２倍（面積比４倍）となる。
この様に、拡張処理部１０４は、検索したい最小の縮小率、ぼかしフィルタのサイズ、局所特徴量計算領域サイズから局所特徴量抽出を行うための拡張領域のサイズを決定することができる。
【００１７】
この局所特徴量抽出を行うための拡張領域を付加した局所特徴量抽出用の画像の生成方法を図７に示す。
まず、Ｓ６０１にて拡張処理部１０４は、文書画像から画像領域に相当する部分のイメージを読み込む。
次に、拡張処理部１０４は、設定等された検索したい最小の縮小率、予め定められたぼかしフィルタのサイズ、局所特徴量計算領域サイズ、に基づき、局所特徴量抽出を行うための拡張領域の幅を求める。
検索したい最小の縮小率を１／Ｋとし、ぼかしフィルタのサイズＮ、局所特徴量計算領域サイズを２Ｍ＋１とすれば、拡張処理部１０４は、局所特徴量抽出を行うための拡張領域の幅Ｎ＿ＷＩＤＴＨを、以下に示す（式１）を用いて算出することができる。
Ｎ＿ＷＩＤＴＨ  ＝  Ｋ  ＊  （Ｎ  ＋  Ｍ  ＊  ＣＯＳ４５°）  ・・・  （式１）
上記サイズの画像領域背景色の局所特徴量抽出を行うための拡張領域を画像領域の縁に添付した新たな画像領域を、解析画像とすることにより、１／Ｋ縮小時でも得た特徴点に対する局所特徴量の計算が可能となる。
即ち、元の画像領域のどこに特徴点が生じても局所特徴量を計算することができる。
もちろん、毎回、縮小画象を生成した後に、「Ｎ  ＋  Ｍ  ＊  ＣＯＳ４５°」幅の糊代枠（拡張領域）を付加しても同じ効果が得られる。
Ｓ６０３にて、拡張処理部１０４は、画像領域の縦横サイズに局所特徴量抽出を行うための拡張領域の幅を加算したサイズで、画像領域の外近傍から得た背景色の一様の画像データを生成する。
次に、Ｓ６０４にて、拡張処理部１０４は、上記画像データ上に、画像領域が中央になる様にオーバーレイ合成する。
そして、拡張処理部１０４は、オーバーレイ合成した画像領域の境界近傍にローパスフィルター処理を行う。尚、この処理は、領域の背景色の御判断が有った場合でも、画像領域と局所特徴量抽出を行うための拡張領域の境界でエッジを生じないための保持的な処理であり、必須の処理ではない。
【００１８】
［画像の検索処理］
次に、図８のブロック図と図９のフローチャートとを参照して画像の検索処理の手順及び局所特徴量抽出を行うための拡張領域を説明する。
図８は、実施形態１の画像検索装置の機能構成の一例を示す図である。尚、以下に示す画像検索装置の各機能及びフローチャートに係る処理は、後述するＣＰＵ１００１がＲＡＭ１００３又は外部記憶装置１００６等に記憶されているプログラム等を実行することによって実現される。上述した画像登録装置と画像検索装置は同一の装置であってもよいし、画像特徴データベースを共有可能な異なる装置であってもよい。図９は、実施形態１の画像検索処理の一例を示すフローチャートである。
クエリとなる文書画像８０１は、画像中に図２の様に文字の他、写真や線画、図、表等、複数の領域を持つ。Ｓ９０１にて画像入力部８０２は、後述するＲＡＭ１００３又は外部記憶装置１００６等のメモリへデータを読み込む。
Ｓ９０２にて像域分離処理部８０３は、文書画像から上記領域を分離・抽出する。尚、Ｓ９０２の処理に関しては登録処理と同様なので、詳細な説明は割愛する。像域分離処理部８０３における処理によって、文書画像中から属性を伴う領域と、その輪郭近傍の背景色と、を得ることができる。本字実施形態では、不定形画像領域は簡易化のために画素塊の最外接矩形領域とし、画素塊の外側で、かつ、最外接矩形の内側の画素を背景色の推定に用いるものとする。
Ｓ９０３にて、領域指定部８０４は、ユーザ操作に基づいて、像域分離結果から、検索クエリ、即ち比較元画像となる画像領域を選択する。
【００１９】
Ｓ９０４にて拡張処理部８０５は、選択された画像領域に対して、その属性により局所特徴量抽出を行うための拡張領域を付加するかどうかを判断する。尚、ここでの処理も登録時の処理と同様、拡張処理部８０５は、線画領域及び図領域等の非矩形の画像領域の場合に、Ｓ９０５で拡張領域の付加を行う。
付加する局所特徴量抽出を行うための拡張領域に関して、拡張処理部８０５は、ぼかしフィルタのサイズ、局所特徴量計算領域サイズから、局所特徴量抽出を行うための拡張領域の幅を求める。
ぼかしフィルタのサイズＮ、局所特徴量計算領域サイズを２Ｍ＋１とすれば、拡張処理部８０５は、局所特徴量抽出を行うための拡張領域の幅Ｎ＿ＷＩＤＴＨを、以下に示す（式２）を用いて算出することができる。
Ｎ＿ＷＩＤＴＨ  ＝    Ｎ  ＋  Ｍ  ＊  ＣＯＳ４５°  ・・・  （式２）
このサイズの画像領域背景色の局所特徴量抽出を行うための拡張領域を画像領域の縁に添付した新たな画像領域を、解析画像とすれば、元の画像領域のどこに特徴点が生じても局所特徴量を計算できる。
局所特徴量抽出を行うための拡張領域を付加した局所特徴量抽出用の画像の生成方法は登録時の処理と同様、図７に従う。
Ｓ９０６にて例えば拡張処理部８０５は、画像領域から輝度成分を抽出して輝度成分画像を生成する。Ｓ９０７にて局所特報抽出部８０６は、局所特徴点を抽出し、Ｓ９０８にて局所特徴計算部８０７は、局所特徴量を算出する。
画像特徴データベース８１０（画像特徴データベース１０９）には、画像領域と文書画像（登録画像）とを対応付けたテーブル及び画像領域と画像領域に対する画像属性と特徴点群の局所特徴量とを対応付けたテーブルが格納されている。
Ｓ９０９にて、絞込み部８０９は、像域分離処理による属性判定結果を用い、同じ画像属性の局所特徴量に絞り込む。Ｓ９０９の処理を行うことで画像検索処理の高速化が図れる。尚、絞込み部８０９は、必須の構成ではなく、属性判定結果の誤判定を危惧するならば、Ｓ９０９の処理を必ずしも行なくともよい。つまり、Ｓ９０９の処理を行うか否かを後述する表示装置１００７等を介して設定可能にし、画像検索装置は、この設定に基づいて、Ｓ９０９の処理を行うか否かを判断するようにしてもよい。
Ｓ９１０にて、特徴比較部８０８は、属性判定で絞り込まれた画像領域の局所特徴量と、Ｓ９０８で算出された局所特徴量と、を比較し、合致した画像領域を求める。尚、この処理は非特許文献等に記載の公知の方法を用いればよい。
Ｓ９１１にて、特徴比較部８０８は、Ｓ９１０の比較の結果に基づき、該当する画像領域に対応する文書画像を画像特徴データベース８１０より取得し、検索結果として出力する。
【００２０】
〔装置構成〕
図１０は、画像登録装置及び画像検索装置等の画像処理装置のハードウェア構成の一例を示す図である。
ＣＰＵ１００１は、各種演算・制御を実行する。ＲＯＭ１００２は、装置の立ち上げ時に実行するブートプログラムや各種の固定データを格納する。ＲＡＭ１００３は、ＣＰＵ１００１が実行するための制御プログラムを格納すると共に、ＣＰＵ１００１が各種制御を実行する際の作業領域を提供する。例えば、ＲＡＭ１００３は本実施形態に係るプログラムを格納する他、像域分離処理モジュールや局所特徴量算出モジュールや局所特徴量抽出を行うための拡張領域生成モジュール等を記憶する。また、ＲＡＭ１００３は、画像入力を行う際の画像を一時格納する画像メモリとしても使用する。
キーボード１００４、マウス１００５は、ユーザによる処理モード指定等の各種入力操作環境を提供する。
外部記憶装置１００６は、ハードディスクや磁気ディスク、ＣＤ−ＲＯＭ等で構成され、例えば、画像特徴データベースや画像データを蓄積するスペースとして用いられる。
ＮＩＣ１００８は、画像処理装置とネットワーク上の各機器との通信を可能とする。インターフェース１００９、画像入力装置１０１０は、イメージスキャナやデジタルカメラ等である。また、バス１０１１は、上記の各構成を接続するバスである。
【００２１】
＜実施形態２＞
実施形態１では拡張処理部１０４は、局所特徴量抽出を行うための拡張領域を図、線画、クリップアート等の最外接矩形の回りの口の字型の領域としたが、当然、非定形領域の回りに所定の幅で縁取るような形状にしてもよい。
また、実施形態１では像域分離処理部１０３は、局所特徴量抽出を行うための拡張領域の色を、各画像領域近傍の画素から推定した。しかしながら、像域分離処理部１０３（又は拡張処理部１０４）は、文書画像全体の余白領域・下地部分を解析して、例えば、余白領域又は下地部分の画素値の平均値を求め、前記平均値に基づき色を決定してもよい。
その他、局所特徴量抽出を行うための拡張領域を画像領域外側の文書画像の下地部分を利用するようにしてもよい。より具体的に説明すると、拡張処理部１０４は、像域分離処理の領域の座標値に、局所特徴量抽出を行うための拡張領域を反映させるようにしてもよい。
但し、局所特徴量抽出を行うための拡張領域に当る部分に、画像や文字がかかる可能性が有る。そこで、好ましくは、拡張処理部１０４は、画像領域外部の、局所特徴量抽出を行うための拡張領域に相当する領域が例えば予め定められた一様さを持つかどうか検定を行う。尚、一様さとは、例えば、濃度のバラつきの程度等である。拡張処理部１０４は、拡張領域に相当する領域の画素値に基づき、濃度のバラつきが所定の範囲内であれば一様さをもつと判断し、濃度のバラつきが所定の範囲外であれば一様さを持たないと判断する。尚、この判断は、像域分離処理部１０３が行い、判断結果を拡張処理部１０４に通知する構成としてもよい。尚、局所特徴量は、輝度成分画像から得られるので、濃度のバラつきとしては、拡張処理部１０４は、拡張領域に相当する領域の画素の輝度値の分散値を求め、分散値が小さければバラつきが小さく、大きければバラつきが大きいとし、分散値の閾値を設定する。
一様がある場合に拡張処理部１０４は、画像領域外側の文書画像の下地部分を利用して局所特徴量抽出を行うための拡張領域を生成する。
他方、定められた一様さがない場合には拡張処理部１０４は、実施形態１の様に、画像領域周辺の背景色（文書画像の地色）を用いて、又は白を用いて局所特徴量抽出を行うための拡張領域を生成する。
更に、拡張処理部１０４は、画像領域に関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完することで拡張領域を付加した画像データを生成せずに局所特徴量を抽出するようにしてもよい。
また、実施形態１では、画像処理装置が、１つの局所特徴量抽出を行うための拡張領域付き画像を起点に段階的に縮小して局所特徴量を抽出する例を示した。しかし、画像処理装置は、当然、各段階の縮小画象に対して、ぼかしフィルタのサイズ及び局所特徴量演算領域サイズから局所特徴量抽出を行うための拡張領域の幅を算出し、拡張領域を各段階の縮小画象に対して付加する構成としてもよい。
尚、画像領域の属性情報の単位で、画像領域と含まれる特徴点の局所特徴量とを対応付けて記憶したインデックスを予め準備しておくと、クエリ画像領域の属性と同一の属性の画像領域との比較が簡便となる。更に、類似度の高い画像領域に対応する文書画像ＩＤの逆引きインデックスを作成しておくことにより、効率的にヒットした画像領域を対応する文書画像を照合することが可能となる。
もちろん、画像領域の属性情報をキーにして、速やかにそのキーに対応する画像領域とその局所特徴量とをメモリへロードする仕組みと、上記画像領域に対応する文書画像ＩＤの逆引きインデックスの仕組みと、を組み合わせる構成としてもよい。
【００２２】
＜実施形態３＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００２３】
以上、上述した各実施形態によれば、画像処理装置は、文書画像に対して、像域分離処理で線画や図やクリップアートと判定する画像領域を得ることができる。
これらの画像領域は文書の地色をその色とする、一様な背景を持つ画像オブジェクトそのものと見なせる。
そこで、画像処理装置は、画像領域全体の局所特徴量が計算できる様に、局所特徴量抽出を行うための拡張領域を付加した画像で登録時の特徴抽出も、検索時のクエリの解析も行う。
これにより、例えば線画や図やクリップアート等に関して、局所特徴量計算ができない領域を無くすことができる。
【００２４】
＜実施形態４＞
上述した実施形態では、画像処理装置が、入力された画像に対して像域分離処理を実行し、画像領域を抽出し、画像領域に対して、局所特徴量計算ができない領域を無くす処理を行う例を説明した。しかしながら、以下の実施形態では、画像処理装置が、入力された画像に対してオブジェクト抽出処理を実行し、抽出したオブジェクトに対して、局所特徴量計算ができない領域を無くす処理を行う例を説明する。より具体的に説明すると、本実施形態では、画像処理装置が、静止画に対してオブジェクト抽出処理を実行し、抽出したオブジェクトに対して、局所特徴量計算ができない領域を無くす処理を行う例を説明する。そして、後述する実施形態５では、画像処理装置が、動画に対してオブジェクト抽出処理を実行し、抽出したオブジェクトに対して、局所特徴量計算ができない領域を無くす処理を行う例を説明する。尚、以下の実施形態では、上述した実施形態と異なる点について主に説明を行う。
【００２５】
図１１は、実施形態４の画像登録装置の機能構成の一例を示す図である。尚、以下に示す画像登録装置の各機能及びフローチャートに係る処理は、ＣＰＵ１００１がＲＡＭ１００３又は外部記憶装置１００６等に記憶されているプログラム等を実行することによって実現される。
実施形態１の画像登録装置の機能構成と、実施形態４の画像登録装置の機能構成との主に異なる点は、実施形態１の像域分離処理部１０３が、実施形態４では、オブジェクト抽出処理部１１０３となっているところである。他の機能構成の機能は、ほぼ実施形態１と同様であるため、ここではオブジェクト抽出処理部１１０３の機能等について主に説明を行う。
【００２６】
オブジェクト抽出処理部１１０３は、入力画像からオブジェクトを抽出する。
ここで、オジェクト抽出処理や前景／背景分離処理に関しては、様々な公知資料がある。例えば、マルコフ確率場ＭＲＦ（Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）を用いた領域分割法として、ベイズ決定則を利用した手法が知られている。
ベイズ決定則を利用した手法による領域分割は、例えば、次のような処理により実現できる。まず、確率計算の処理単位をセルと呼ぶ。画素単位で確率を計算する場合、１画素を１つのセルとして扱う。
第１ステップとして、オブジェクト抽出処理部１１０３は、夫々のセルが各領域ラベルになる確率を計算し、求めた確率からセルの領域ラベルを決定する。
第２ステップとして、オブジェクト抽出処理部１１０３は、領域ラベルが変化したセル数を調べ、収束率を計算する。
第３ステップとして、オブジェクト抽出処理部１１０３は、収束率の値からセルの状態が収束していないと判定された場合、第１ステップに戻り、収束した場合には、処理を終了する。同じ領域を構成するセルは、同じ領域ラベルを持つ。
オブジェクト抽出処理部１１０３が、このような収束演算を用いた処理を行うことで、各セルに対して最も確からしい領域ラベルを決定することができる。そして、オブジェクト抽出処理部１１０３は、セルの領域ラベルが安定するまで、状態を繰り返し更新し、最終的なラベル状態を得て、ラベル種類分の分割された領域を得ることができる。
更に、オブジェクト抽出処理部１１０３は、上記セグメントの相対的な位置関係から、背景領域と前景領域とを推定することができる。例えば、通常、前景は背景に囲まれるようなレイアウト、或いは、前景が画像の下や左や右の縁に掛かる等のレイアウトが普通である。
この様な予め設定されているルールに基づき、オブジェクト抽出処理部１１０３は、複数の領域にセグメンテーションした画像から、前景となる画像オブジェクトを決定する。
拡張処理部１０４は、オブジェクト抽出処理部１１０３で抽出された（又は決定された）オブジェクトに対して上述した処理と同様の処理を実行する。
【００２７】
ここで、より詳細にオブジェクト抽出処理部１１０３の処理を図１２〜図１４を用いて説明する。
図１２は、実施形態４の画像登録処理の一例を示すフローチャートである。
Ｓ１２０１で画像入力部１０２は、登録文書画像１０１を入力する。Ｓ１２０２にてオブジェクト抽出処理部１１０３は、オブジェクト抽出処理により、オブジェクト領域を得る。
オブジェクト抽出処理とは、図１３に示す様に、画像をセグメンテーションし、その結果から前景と背景とを推定し、前景のオブジェクトを決定する技術である。図１３は、オブジェクト抽出処理の結果の一例を示す図である。
オブジェクト抽出処理の詳細を、図１４を用いて説明する。図１４は、実施形態４のオブジェクト抽出処理の一例を示すフローチャートである。
Ｓ１４０１にてオブジェクト抽出処理部１１０３は、画像データを読み込む。
Ｓ１４０２にてオブジェクト抽出処理部１１０３は、ランダムに画素を複数選び、初期、領域ラベルを設定する。これは、オブジェクト抽出処理部１１０３が後段で領域ラベルを統合するが、その初期値となるものである。
そして、Ｓ１４０３にてオブジェクト抽出処理部１１０３は、各画素が各領域ラベルになる確率を、マルコフ確率場ＭＲＦを用いて計算し、ベイズ決定則を利用して各画素の領域ラベルを決定する。
Ｓ１４０４ではオブジェクト抽出処理部１１０３は、全画素に対して、領域ラベルが変化した画素の割合を求める。そしてＳ１４０５にてオブジェクト抽出処理部１１０３は、その割合が所定の閾値以上であるかを判断する。
閾値以上の場合、オブジェクト抽出処理部１１０３は、収束していないと判断し、Ｓ１４０３に戻り、再起的にＳ１４０３からＳ１４０５までの処理を収束するまで繰り返す。
【００２８】
Ｓ１４０５で閾値以上と成らなくなった場合、オブジェクト抽出処理部１１０３は、収束したと判断し、セグメンテーションを終了し、次に前景／背景判定処理に移る。
Ｓ１４０６にてオブジェクト抽出処理部１１０３は、各領域ラベルを持つ画素の分布を領域情報にし、領域の包含関係を求めやすい形式にする。次に、Ｓ１４０７にてオブジェクト抽出処理部１１０３は、領域の包含関係を求める。
図１３の例の場合、理想的には空、海、ヨットの３つの領域になるが、海の領域と空の領域とはヨットの領域の周りを囲むような包含関係にあり、空の領域が海の領域よりも画素が多い。
Ｓ１４０８にてオブジェクト抽出処理部１１０３は、最も外側、かつ、画素数が多い領域の画素が全体に占める割合を求める。つまり、図１３の例の場合、オブジェクト抽出処理部１１０３は、空の領域の画素が全体に占める割合を求める。Ｓ１４０９にてオブジェクト抽出処理部１１０３は、Ｓ１４０８で求めた割合が予め定められた閾値以上か否かを判定する。オブジェクト抽出処理部１１０３は、前記割合が前記閾値異常であると判定した場合、Ｓ１４１１に処理を進め、前記割合が前記閾値上でないと判定した場合、Ｓ１４１０に処理を進める。図１３の例の場合で、かつ、閾値が５０％である場合、空の領域は閾値より小さい。したがって、オブジェクト抽出処理部１１０３は、処理をＳ１４１０に進める。
Ｓ１４１０にてオブジェクト抽出処理部１１０３は、最も外側、かつ、２番目に画素が多い領域を、最も外側、かつ、画素数が多い領域に統合する。つまり、図１３の例の場合、オブジェクト抽出処理部１１０３は、空の領域と、海の領域とを統合する。その結果、Ｓ１４０９の判定において、オブジェクト抽出処理部１１０３は、割合が閾値以上であると判定し、Ｓ１４１１に処理を進める。
Ｓ１４１１にてオブジェクト抽出処理部１１０３は、最も外側領域でない領域を前景オブジェクトと決定する。つまり、図１３の例の場合、オブジェクト抽出処理部１１０３は、ヨットの領域を前景オブジェクトと決定する。
図１２のステップＳ１２０３以下の処理は、実施形態１とほぼ同様であるため説明を省略する。
【００２９】
次に、図１５は、実施形態４の画像検索装置の機能構成の一例を示す図である。実施形態１の画像検索装置の機能構成と、実施形態４の画像検索装置の機能構成との主に異なる点は、実施形態１の像域分離処理部８０３が、実施形態４では、オブジェクト抽出処理部１８０３となっているところである。他の機能構成の機能は、ほぼ実施形態１と同様である。オブジェクト抽出処理部１８０３の機能は、オブジェクト抽出処理部１１０３の機能と同一である。尚、以下に示す画像検索装置の各機能及びフローチャートに係る処理は、ＣＰＵ１００１がＲＡＭ１００３又は外部記憶装置１００６等に記憶されているプログラム等を実行することによって実現される。
図１６は、実施形態４の画像検索処理の一例を示すフローチャートである。Ｓ１６０１にて画像入力部８０２は、ＲＡＭ１００３又は外部記憶装置１００６等のメモリへ画像を読み込む。
Ｓ１６０２にてオブジェクト抽出処理部１８０３は、前記画像からオブジェクトを抽出する。オブジェクト抽出処理部１８０３におけるオブジェクト抽出の処理は、オブジェクト抽出処理部１１０３における上述したオブジェクト抽出の処理と同様であるため、ここでは説明を省略する。
Ｓ１６０３以下の処理は、実施形態１の処理とほぼ同様であるため説明を省略する。
【００３０】
以上、本実施形態によれば、画像処理装置は、検索対象となる前景のオブジェクトを抽出し、その周囲に、局所特徴量の抽出を行うための一意・一様の拡張領域を付加する。このことにより、前景のオブジェクトに存在する全ての特徴点を用いて局所特徴量の計算をすることができる。例えば、画像処理装置は、このような処理を登録する画像に対して行い、更に、検索元の画像に対しても同様に行う。
これにより、オブジェクトの背景に依存せず、かつ、局所特徴量の計算ができない領域が前景のオブジェクトに生じないような局所特徴量の抽出が可能となる。
また、検索の面では、画像の縁の部分に存在する特徴点に対する局所特徴量が計算できないことによる検索漏れを低減し、かつ、背景に依存しない前景のオブジェクトが検索可能となる。
つまり、本実施形態によれば、画像処理装置は、画像（静止画像）を入力し、入力した画像からオブジェクトを抽出し、抽出したオブジェクトの縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する。そして、画像処理装置は、生成した前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出する。このことにより、局所特徴量の計算できない領域を無くすことができる。
また、上述した実施形態同様、本実施形態の画像処理装置は、画像（静止画像）を入力し、入力した画像からオブジェクトを抽出し、抽出したオブジェクトに関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完するようにしてもよい。そして、画像処理装置は、前記画像領域の画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出するようにしてもよい。このようにすることによっても、上述したように局所特徴量の計算できない領域を無くすことができる。
【００３１】
＜実施形態５＞
上述したように、本実施形態では、画像処理装置が、動画に対してオブジェクト抽出処理を実行し、抽出したオブジェクトに対して、局所特徴量計算ができない領域を無くす処理を行う例を説明する。より具体的に説明すると、本実施形態では、動画のフレーム画像からオブジェクトを抽出する例を説明する。尚、以下の実施形態では、上述した実施形態と異なる点について主に説明を行う。
【００３２】
例えば、参考文献４には動画に対してフレームの画像特徴量を隣接フレームと比較することにより相関値を求め、その相関値が予め定めた閾値未満の場合にシーンチェンジがあったとする処理が開示されている。
（参考文献４）
特開２０００−２３５６３９号公報
そして、例えば、画像処理装置は、シーンチェンジがあったフレームから予め定められた時間を経過したフレーム画像からオブジェクトを抽出すると、実施形態４と同様の方法で、動画中のオブジェクトの検索も可能となる。
動画中のオブジェクトの抽出に関して、静的なシーンに関しては、画像処理装置は、実施形態４の方法で、画像をセグメンテーションし、前景オブジェクトの抽出を行うことができる。
他方、着目オブジェクトに動きが有る場合、画像処理装置は、動きベクトル情報を用いることにより、静止画よりも確度の高いオブジェクトを抽出することができる。
例えば、画像処理装置は、動きベクトルに関して、ＩＳＯで標準化されたＭＰＥＧにて規定されたものを用いることができる。
より具体的に説明すると、画像処理装置は、動きベクトルが取得できるＩフレームを局所特徴量検出用のフレーム画像とし、Ｐフレーム用の符号データから動きベクトルを取得することができる。
ＭＰＥＧ−２では、フレームをブロック分割した１６ｘ１６のマクロブロック単位で、参照フレームのどのマクロブロックと差分画最小になるかを計算し、動きベクトルを求めることが規定されている。ＭＰＥＧ−２では、差分画最小と成る参照フレームのマクロブロックを８Ｘ８のブロックに４分割し、これに対してＤＣＴを行い、圧縮を行うことが規定されている。
したがって、画像処理装置は、ＭＰＥＧで圧縮された動画に関しては自ら計算することなく、符号データを参照することにより動きベクトルを得ることができる。
【００３３】
例えば、図１７の１７０１はＰフレーム画像であり、１７０２はＩフレーム画像に動きベクトル情報をオーバーレイしたものである。即ち、１７０２のＩフレーム画像を基準に、動きベクトル情報を考慮し、更に逆ＤＣＴを行うと１７０１のＰフレーム画像が得られる。
この場合、背景は動かず、前景オブジェクトが右下へ動いているとして考えられる。
他方、図１８の１１０１はＰフレーム画像であり、１１０２はＩフレーム画像に動きベクトル情報をオーバーレイしたものである。この場合、背景は動かず、前景オブジェクトが動いているとして考えられる。
この場合、動くオブジェクトを補足するためにカメラ（画像入力装置１０１０）を右にパンしていると推定でき、動きベクトルの少ない領域がオブジェクト画像と推定できる。
【００３４】
図１９は、実施形態５のオブジェクト抽出処理の一例を示すフローチャートである。なお、図１９の各ステップの処理は、オブジェクト抽出処理部１１０３及びオブジェクト抽出処理部１８０３で実行されるが、本実施形態では説明の簡略化のため、オブジェクト抽出処理部１１０３が処理を実行するものとして説明を行う。
Ｓ１９０１にてオブジェクト抽出処理部１１０３は、Ｉフレーム画像を読み込む。Ｓ１９０２にてオブジェクト抽出処理部１１０３は、前記Ｉフレームに対応するＰフレーム用の符号データを読み込み、Ｐフレーム画像を作る。当然、オブジェクト抽出処理部１１０３は、動きベクトル情報も読み込んでいる。
Ｓ１９０３にてオブジェクト抽出処理部１１０３は、図１７の動きベクトルのパターンであるかどうかを判断する。オブジェクト抽出処理部１１０３は、所定値以上の大きさで、かつ、方向の類似する動きベクトルでマクロブロックをグルーピングし、そのグループの包含関係を求めることにより、図１７の動きベクトルのパターンであるかどうかを判断することができる。
Ｓ１９０５にてオブジェクト抽出処理部１１０３は、図１８の動きベクトルのパターンであるかどうかも、上記と同様の方法でマクロブロックをグルーピングし、その包含関係を求めることにより判断する。
Ｓ１９０３にて図１７の動きベクトルパターンであると判定した場合、オブジェクト抽出処理部１１０３は、Ｓ１９０４で、動きベクトルが所定値以上のマクロブロックを決定する。
他方、Ｓ１９０３でＮＯとなり、Ｓ１９０５で図１８のパターンと判定した場合、Ｓ１９０６にてオブジェクト抽出処理部１１０３は、動きベクトルが所定値以下のマクロブロックを決定する。
Ｓ１９０７にてオブジェクト抽出処理部１１０３は、前記マクロブロック中の画素と動きベクトル先の画素とを比較する。そして、Ｓ１９０８にてオブジェクト抽出処理部１１０３は、前記比較の結果の差が閾値以下の画素をオブジェクト画像の構成要素候補とする。
更に、Ｓ１９０９にてオブジェクト抽出処理部１１０３は、フレーム画像において、オブジェクト画像候補の輪郭の近傍でエッジを抽出する。そして、Ｓ１９１０にてオブジェクト抽出処理部１１０３は、エッジを含む内側領域をオブジェクト画像とする。
【００３５】
尚、Ｓ１９０９及びＳ１９１０の処理は、省略することもできる。
ところで、Ｓ１９０５でＮｏとなり、図１７のパターンでも図１８のパターンでもないと判断した場合、オブジェクト抽出処理部１１０３は、実施形態４の図１４に示す処理で、静止画用のオブジェクト画像の抽出処理を行う。
上記の処理を行うことにより、オブジェクト抽出処理部１１０３は、動画フレーム中のオブジェクト画像の抽出を行うことができる。
また、動画中のオブジェクト抽出方法に関して、別の方法も存在する。
初期にオブジェクト画像の輪郭を与える条件付とは成るが、ｋａｓｓらによって提案された動的輪郭モデル（Ｓｎａｋｅ）を用いる方法がある。これを用いることで前フレームの結果を次フレームの初期値とすることにより、オブジェクトの移動や変形に追随したオブジェクト画像の切り出しが可能と成る。
（参考文献５）
Ｍ．Ｋａｓｓ，  Ａ．Ｗｉｔｋｉｎ，  ａｎｄ  Ｄ．Ｔｅｒｚｏｐｏｉｌｏｓ，  “Ｓ
ｎａｋｅｓ：  Ａｃｔｉｖｅ  ｃｏｎｔｏｕｒ  ｍｏｄｅｌｓ，”  Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．１，  Ｎｏ．４，  ｐｐ．３２１−３３１，  １９８８．
また、本実施形態の場合、Ｓ１２１０及びＳ１６０９等の処理においては、検索結果を動画中のフレーム画像で返す処理に変更すればよい。
これに伴い、画像特徴データベースに、フレーム画像を中に持つ動画データを対応付けるテーブルを持つと、検索されたフレーム画像に対応する動画の再生が可能となる。
更に、画像処理装置が、画像特徴データベースにおいて、シーンチェンジで区切られた動画区間とフレーム画像とを対応付けておくと、その動画区間の再生も可能となる。
動画からのオブジェクト抽出、フレーム画像と動画データ／動画区間とに対応付けるテーブルの追加、検索結果を動画中のフレーム画像で返す処理を除けば本実施形態の処理は、実施形態４と同様の処理であり、更なる詳細な説明は割愛する。
つまり、本実施形態によれば、画像処理装置は、画像（動画のフレーム画像）を入力し、入力した画像からオブジェクトを抽出し、抽出したオブジェクトの縁に局所特徴量の抽出を行うための拡張領域を付加し、局所特徴量抽出用の画像を生成する。そして、画像処理装置は、生成した前記画像の画素値に基づいて前記画像から局所特徴量を抽出する抽出する。このことにより、局所特徴量の計算できない領域を無くすことができる。
また、上述した実施形態同様、本実施形態の画像処理装置は、画像（動画のフレーム画像）を入力し、入力した画像からオブジェクトを抽出し、抽出したオブジェクトに関して局所特徴量の抽出を行うための拡張領域に相当する画素値を補完するようにしてもよい。そして、画像処理装置は、前記画像領域の画素値と前記補完した画素値とに基づいて、局所特徴量を抽出する抽出するようにしてもよい。このようにすることによっても、上述したように局所特徴量の計算できない領域を無くすことができる。
【００３６】
＜その他の実施形態＞
画像より抽出したオブジェクトが複数の場合、各オブジェクト別に例えば、実施形態４又は実施形態５の方法の処理を行うようにしてもよい。
但し、処理を簡略化するために、全てのオブジェク群を包含する最外接矩形を求め、そのサイズに対して口字型の局所特徴量抽出を行う為の拡張領域を付加するようにしてもよい。
【００３７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した各実施形態を任意に組み合わせて実施してもよい。
【図１】
2011076575.tif 000003
【図２】
2011076575.tif 000004
【図３】
2011076575.tif 000005
【図４】
2011076575.tif 000006
【図５】
2011076575.tif 000007
【図６】
2011076575.tif 000008
【図７】
2011076575.tif 000009
【図８】
2011076575.tif 000010
【図９】
2011076575.tif 000011
【図１０】
2011076575.tif 000012
【図１１】
2011076575.tif 000013
【図１２】
2011076575.tif 000014
【図１３】
2011076575.tif 000015
【図１４】
2011076575.tif 000016
【図１５】
2011076575.tif 000017
【図１６】
2011076575.tif 000018
【図１７】
2011076575.tif 000019
【図１８】
2011076575.tif 000020
【図１９】
2011076575.tif 000021