(57)【特許請求の範囲】
【請求項１】
コンピュータを用いて、コンピュータ上の動画及び静止画ファイルから任意の画像と、一致または類似する画像を検索する画像検索方法であって、
前記コンピュータは、単純図形マッチング処理手段と、インデックス作成処理手段と、インデックス検索処理手段と、被検索用単純図形類似率情報をインデックス化したデータベースである被検索用単純図形類似率情報インデックスとを有し、
前記インデックス作成処理手段が、前記単純図形マッチング処理手段を用いてパターンマッチングを行い、被検索対象の動画、あるいは、静止画データベース中のデータ１件毎に、当該データの画像と、予め設定した直線、円、あるいは多角形の単純図形との類似率を求めて、前記被検索用単純図形類似率情報インデックスに記憶し、
前記インデックス検索処理手段が、前記単純図形マッチング処理手段を用いてパターンマッチングを行い、検索対象の画像と、予め設定した直線、円、あるいは多角形の単純図形との類似率を求めて、各単純図形毎の検索用単純図形類似率情報を作成し、当該作成した検索用単純図形類似率情報と、前記被検索用単純図形類似率情報インデックスに格納された前記被検索用単純図形類似率情報とを比較して前記各単純図形毎の類似率の一致率の平均を求め、当該求めた平均した一致率が、予め設定した規定一致率以上の場合に、被検索対象動画、あるいは、静止画を、一致画像、または類似画像として検索することを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画、あるいは、静止画ファイルから類似画像を検索する画像検索方法に係り、特に、被検索対象データが膨大な中から、画像を検索する場合に有効な技術に関する。
【背景技術】
【０００２】
従来、動画、あるいは、静止画ファイルから類似する画像を検索する場合、個々の被検索対称動画、あるいは、静止画と、検索画像との高度な演算を必要とするパターンマッチングが行われている。
そのため、特に、被検索対象データが膨大な場合、現在のコンピュータ技術では構築不可能なほどの高速なインフラが必要である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、被検索対象データが膨大な場合には、コンピュータシステムを非常に高価なものにすると共に、パターンマッチングだけではなく、検索用のキーワードを付与し、パターンマッチングと併用する等の工夫が必要である。
しかしながら、人間の主観により付与されるキーワードがまちまちとなり、目的の画像が検索されないケースや目的以外の画像が多く検索されるノイズが発生する。
例えば、「山高帽」を検索したい場合、キーワードに「帽子」、「ハット」、「キャップ」などと付与されていると検索されず、逆に、ビンの蓋を探したいときに「キャップ」と入力すると帽子が検索されてしまう。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、被検索対象画像へ別途キーワードを付与することなく、高速なコンピュータシステムでなくても実用的な画像検索方法を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００４】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の課題を解決するために、本発明は、コンピュータを用いて、コンピュータ上の動画及び静止画ファイルから任意の画像と、一致または類似する画像を検索する画像検索方法であって、前記コンピュータは、単純図形マッチング処理手段と、インデックス作成処理手段と、インデックス検索処理手段と、被検索用単純図形類似率情報をインデックス化したデータベースである被検索用単純図形類似率情報インデックスとを有し、前記インデックス作成処理手段が、前記単純図形マッチング処理手段を用いてパターンマッチングを行い、被検索対象の動画、あるいは、静止画データベース中のデータ１件毎に、当該データの画像と、予め設定した直線、円、あるいは多角形の単純図形との類似率を求めて、前記被検索用単純図形類似率情報インデックスに記憶し、前記インデックス検索処理手段が、前記単純図形マッチング処理手段を用いてパターンマッチングを行い、検索対象の画像と、予め設定した直線、円、あるいは多角形の単純図形との類似率を求めて、各単純図形毎の検索用単純図形類似率情報を作成し、当該作成した検索用単純図形類似率情報と、前記被検索用単純図形類似率情報インデックスに格納された前記被検索用単純図形類似率情報とを比較して前記各単純図形毎の類似率の一致率の平均を求め、当該求めた平均した一致率が、予め設定した規定一致率以上の場合に、被検索対象動画、あるいは、静止画を、一致画像、または類似画像として検索する。
【発明の効果】
【０００５】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の画像検索方法によれば、被検索対象画像へ別途キーワードを付与することなく、高速なコンピュータシステムでなくても実用的な画像検索を実行することが可能となる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施例の画像検索方法を実行するコンピュータの構成を示す機能ブロック図である。
同図において、４００はコンピュータ、４１０は画像加工処理手段、４２０は単純図形マッチング処理手段、４３０はインデックス作成処理手段、４４０はインデックス検索処理手段、４５０は被検索用単純図形類似率情報をインデックス化したデータベース（以下、被検索用単純図形類似率情報インデックス）である。
画像加工処理手段４１０は、検索対象画像、あるいは、被検索画像と、単純図形をマッチングしやすくするために画像に加工する。
単純図形マッチング処理手段４２０は、画像加工手段４１０において加工された加工後の画像と単純図形とをパターンマッチングを行う。
インデックス作成処理手段４３０は、単純図形マッチング処理手段４２０においてマッチングした情報を被検索用単純図形類似率情報インデックス４５０に格納する。
インデックス検索処理手段４４０は、被検索用単純図形類似率情報インデックス４５０に格納された検索対象画像を検索する。
【０００７】
図２は、本発明の実施例の画像検索方法が実行される全体システム構成を示す図である。
同図において、３００はコンピュータ、３１０は検索対象画像を紙媒体などから読み込むための検索画像読み取り装置、３１１はすでに検索画像が存在するファイルが格納される外部記憶装置、３２０は被検索画像を紙媒体などから読み込むための被検索画像読み取り装置、３２１はすでに被検索画像が存在するファイルを格納する記憶装置、３３０は画像加工処理手段、３４０は単純図形マッチング処理手段、３５０はインデックス作成処理手段、３６０は被検索用単純図形類似率情報インデックス、３７０はインデックス検索処理手段である。
読み取り装置（３１０，３２０）は、例えば、スキャナー、デジタルカメラ、デジタルビデオカメラで構成される。
また、外部記憶装置（３１１，３２１）は、例えば、フロッピーディスク（ＦＤ）、ハードディスク（ＨＤＤ）で構成される。なお、外部記憶装置（３１１，３２１）に代えて、インターネット上から画像を取り込む手段を設け、インターネット上から画像を取り込むようにしてもよい。
【０００８】
図３は、本発明の実施例の画像検索方法におけるインデックス作成処理の処理手順を示すフローチャートである。
以下、図３を用いて、本実施例の画像検索方法におけるインデックス作成処理の処理手順について説明する。
初めに、画像加工処理手段（３３０，４１０）において、被検索画像と単純図形とをマッチングしやすくするために、被検索画像に加工処理を施す（ステップ５００）。
この加工処理には、シーン抽出、オブジェクト抽出、輪郭抽出が含まれる、但し、本処理は必ずしも必須ではない。
次に、単純図形マッチング処理手段（３４０，４２０）において、単純図形と被検索画像加工後の画像とのパターンマッチングを行い類似率を求め（ステップ５２０）、単純図形とのパターンマッチング結果数値を記憶する（ステップ５３０）。
ステップ５１０と、ステップ５４０により、前述のステップ５２０と、ステップ５３０を、指定された単純図形の数だけ実行したか否かを判断し、指定された単純図形との比較がすべて終了した場合には、単純図形とのパターンマッチング結果数値を被検索用単純図形類似率情報インデックス（３６０，４５０）へ挿入する（ステップ５５０）。
【０００９】
図５は、本発明の実施例の画像検索方法におけるインデックス作成処理の一例を説明するための図である。
同図において、１００は被検索対象動画、１０１はシーン抽出処理、１０２はオブジェクト抽出処理、１０３は輪郭抽出処理、１０４は単純図形マッチング処理、１１０は被検索対象静止画、１２０は単純図形、１３０は単純図形とのパターンマッチング結果数値、１４０は被検索用単純図形類似率情報を格納した被検索用単純図形類似率情報インデックスである。
被検索対象画像からの被検索用単純図形類似率情報インデックス１４０を作成する所定手順について、動画の場合と静止画の場合に分けて説明する。
動画の場合、図１の被検索動画１００より、そのまま全てのフレームをインデックス化すると膨大な量のインデックスが作成されてしまうため、シーン抽出処理１０１により、映像が大きく変化した場面のシーンを検出する。このシーン抽出処理１０１としては、公知な技術を使用する。
【００１０】
次に、オブジェクト抽出処理１０２により、抽出したシーン毎にその画像に写っている物体を抽出する。このオブジェクト抽出処理１０２としては、公知な技術を使用する。なお、抽出されるオブジェクトは複数の場合があるが、その場合には、抽出されたオブジェクトの数だけ以降の処理を行う。
次に、輪郭抽出処理１０３により、抽出したオブジェクトからオブジェクトの輪郭を抽出する。この輪郭抽出処理１０３としては、公知な技術を利用する。
次に、単純図形マッチング処理１０４により、以上の工程により単純図形１２０とのパターンマッチングを行いやすい状態にした画像と、単純図形１２０とのパターンマッチングを行い、類似率として、各々の単純図形とのパターンマッチング結果数値１３０を求め、被検索用単純図形類似率情報インデックス１４０へ求めた単純図形とのパターンマッチング結果数値１３０を追加する。
静止画の場合には、シーン抽出が不要のため、動画の場合のシーン抽出以降の工程を行い同様に類似率を追加する。
この際に利用する単純図形１２０の個数および図形の種類については任意に指定可能とする。指定する単純図形１２０の種類を増やした場合には、検索率が向上するがインデックス作成時間が増加する。単純図形１２０の種類を減らした場合には、インデックス作成時間が減少するが検索率が減少する。
【００１１】
図４は、本発明の実施例の画像検索方法における検索処理の処理手順を示すフローチャートである。
以下、図４を用いて、本実施例の画像検索方法における検索処理の処理手順について説明する。
初めに、画像加工処理手段（３３０，４１０）において、検索画像と単純図形とのパターンマッチングの精度を向上させるために、検索画像に加工処理を施す（ステップ６００）。
この加工処理には、シーン抽出、オブジェクト抽出、輪郭抽出が含まれる、但し、本処理は必ずしも必須ではない。
次に、単純図形マッチング処理手段（３４０，４２０）において、単純図形と検索画像加工後の画像とのパターンマッチングを行い類似率を求め（ステップ６１１）、単純図形とのパターンマッチング結果数値を記憶する（ステップ６１２）。
ステップ６１０と、ステップ６１３により、前述のステップ６１１と、ステップ６１２を、指定された単純図形の数だけ実行したか否かを判断し、指定された単純図形との比較がすべて終了した場合には、検索画像のパターンマッチング結果数値と被検索用単純図形類似率情報インデックスのおのおのの数値を比較し、各々の数値の一致率の平均を求める（ステップ６２１）。
次に、ステップ６２１で求めた平均値が、検索実行時に指定したしきい値以上かどうかを判断し（ステップ６２２）、ステップ６２２において、ステップ６２１で求めた平均値が、検索実行時に指定したしきい値以上の場合には、検索対象とマッチングしたと判断し（ステップ６２３）、当該画像を表示する。
ステップ６２０と、ステップ６２４により、被検索用単純図形類似率情報インデックスとの照合がすべて終了したか判断する。
【００１２】
図６は、本発明の実施例の画像検索方法における検索処理の一例を説明するための図である。
同図において、２００は検索画像、２１０は検索画像と単純図形との検索用単純図形類似率情報を示す。
オブジェクト抽出処理１０２により、検索画像２００から、その画像に写っている物体を抽出する。なお、オブジェクト抽出処理１０２としては、公知の技術を使用する。なお、抽出されるオブジェクトは複数の場合があるが、その場合には、抽出されたオブジェクトの数だけ以降の処理を行う。
次に、輪郭抽出処理１０３により、抽出したオブジェクトからオブジェクトの輪郭を抽出する。この輪郭抽出処理１０３としては、公知な技術を利用する。
次に、単純図形マッチング処理１０４により、以上の工程により単純図形１２０とのパターンマッチングを行いやすい状態にした画像と、単純図形１２０とのパターンマッチングを行い、単純図形とのパターンマッチング結果数値２１０を求め、この数値と、被検索用単純図形類似率情報１４０とのマッチングを行い、一定のしきい値以上のマッチング率になった場合に検索条件に合致したと判断する。
【００１３】
しきい値については、画像検索時に任意に指定できるものとし、しきい値が大きい場合にはより厳密な検索結果となり、しきい値が小さい場合にはよりあいまいな検索結果が求められる。
以上説明したように、本実施例の画像検索方法によれば、予め、被検索対象画像と、単純図形とのパターンマッチング結果を格納したインデックスのデータベースを作成して、被検索対象画像と、いくつかの単純図形との類似率を求めた被検索用単純図形類似率情報をインデックス化し、検索画像と単純図形との検索用類似率情報と、インデックスとを照合するようにしたので、単純な数値のみのマッチングとなりコンピュータ処理が非常に軽微になるため、検索時の処理コストを大幅に低減させることが出来る。
したがって、一般的なコンピュータシステムでも高速に検索可能となるばかりか、別途キーワードを付与した検索を行わなくても高品位な検索結果を得ることが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例の画像検索方法を実行するコンピュータの構成を示す機能ブロック図である。
【図２】本発明の実施例の画像検索方法が実行される全体システム構成を示す図である。
【図３】本発明の実施例の画像検索方法におけるインデックス作成処理の処理手順を示すフローチャートである。
【図４】本発明の実施例の画像検索方法における検索処理の処理手順を示すフローチャートである。
【図５】本発明の実施例の画像検索方法におけるインデックス作成処理の一例を説明するための図である。
【図６】本発明の実施例の画像検索方法における検索処理の一例を説明するための図である。
【符号の説明】
【００１５】
１００  被検索対象動画
１０１  シーン抽出処理
１０２  オブジェクト抽出処理
１０３  輪郭抽出処理
１０４  単純図形マッチング処理
１１０  被検索対象静止画
１２０  単純図形
１３０，２１０  単純図形とのパターンマッチング結果数値
１４０，３６０，４５０  被検索用単純図形類似率情報をインデックス化したデータベース
２００  検索画像
３００，４００  コンピュータ
３１０  検索画像読み取り装置
３１１，３２１  外部記憶装置
３２０  被検索画像読み取り装置
３３０，４１０  画像加工処理手段
３４０，４２０  単純図形マッチング処理手段
３５０，４３０  インデックス作成処理手段
３７０，４４０  インデックス検索処理手段
【図１】
0004768358.tif 000002
【図２】
0004768358.tif 000003
【図３】
0004768358.tif 000004
【図４】
0004768358.tif 000005
【図５】
0004768358.tif 000006
【図６】
0004768358.tif 000007