(57)【要約】【課題】    ＪＰＥＧ２０００のデータ構造を利用し、ノイズ除去処理なしで特徴点を高精度に検出する特徴点検出装置を提供する。また処理の並列化により計算時間を短縮する。  【解決手段】    送受信部１１が、２ＬＬ成分の画像データを受信すると、特徴点候補検出処理部１２１は、２ＬＬ成分の画像データから特徴点候補の検出処理を行う（Ｓ２）。復号処理部１５は、１つのＬＬ成分の画像データを生成する（Ｓ３）。特徴点候補検出処理部１２１は、ＬＬ成分の画像データから特徴点候補の検出処理を行う（Ｓ４）。特徴点決定部１２２は、Ｓ４で検出された特徴点候補と、Ｓ２で検出された特徴点候補とに基づいて、特徴点を決定する（Ｓ５）。復号処理部１５は、原画像データを生成する（Ｓ６）。原画像データに対し、画像領域切り出し処理部１３は透かし入り画像領域の切り出し処理を行う（Ｓ７）。透かし検出処理部１４は透かしを検出する処理を行う（Ｓ８）。  【選択図】    図３
2006013651.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された画像データから特徴点を検出する特徴点検出装置であって、
前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみに基づいて特徴点を検出することを特徴とする、特徴点検出装置。
【請求項２】
階層符号化された画像データから特徴点を検出する特徴点検出装置であって、
前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なるｎ個（ｎ：自然数）の画像データの内、
低域側のｌ（ｌ＜ｎ、ｌ：自然数）個の画像デ−タから得られた第１の特徴点候補を検出する第１の特徴点候補検出手段と、
低域側のｍ（ｌ＜ｍ＜ｎ、ｍ：自然数）個の画像デ−タから得られた第２の特徴点候補を検出する第２の特徴点候補検出手段と、
前記第１の特徴点候補検出手段により検出された前記第１の特徴点候補の座標と、前記第２の特徴点候補検出手段により検出された前記第２の特徴点候補の座標とが一致したとき、当該特徴点候補を前記階層符号化された画像データの特徴点であると決定する特徴点決定手段、とを含む特徴点検出装置。
【請求項３】
階層符号化された画像データから特徴点を検出する特徴点検出装置であって、
前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なるｎ個（ｎ：自然数）の画像データの内、
低域側のｌ（ｌ＜ｎ、ｌ：自然数）個の画像デ−タから得られた第１の特徴点候補を検出する第１の特徴点候補検出手段と、
低域側のｍ（ｌ＜ｍ＜ｎ、ｍ：自然数）個の画像デ−タから得られた第２の特徴点候補を検出する第２の特徴点候補検出手段と、
前記第１の特徴点候補検出手段によって検出された前記第１の特徴点候補の座標値、及び、前記第２の特徴点候補検出手段によって検出された前記第２の特徴点候補の座標値を、原画像サイズにおける座標値に変換する座標変換手段と、
前記座標変換手段により変換された、前記第１の特徴点候補の原画像サイズにおける座標値と、前記座標変換手段により変換された、前記第２の特徴点候補の原画像サイズにおける座標値とが一致したとき、当該座標値を前記階層符号化された画像データの特徴点の座標値であると決定する特徴点決定手段、とを含む特徴点検出装置。
【請求項４】
階層符号化された画像データを受信する受信部と、
前記受信部が受信した前記画像データから特徴点を検出する特徴点検出部とを含み、
前記受信部が、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信したとき、
前記特徴点検出部は、前記受信部による高域側の画像データの受信を待つことなく前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする、画像処理装置。
【請求項５】
階層符号化された画像データから特徴点を検出する特徴点検出方法であって、
前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみから特徴点を検出することを特徴とする、特徴点検出方法。
【請求項６】
階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信する受信ステップと、
前記受信ステップにおいて受信された前記画像データから特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップは、前記複数の画像データの内、高域側の画像デ−タを受信する前に、前記受信ステップにおいて受信された前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする、画像処理方法。
【請求項７】
階層符号化された画像データから特徴点を検出する機能を、コンピュータに実現させることを特徴とした、特徴点検出プログラムであって、
前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみに基づいて特徴点を検出する機能を、コンピュータに実現させることを特徴とした、特徴点検出プログラム。
【請求項８】
階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信する受信ステップと、
前記受信ステップにおいて受信された前記画像データから特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップは、前記複数の画像データの内、高域側の画像デ−タを受信する前に、前記受信ステップにおいて受信された前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバ側のデータ受信処理と並列に特徴点検出処理を実行する特徴点検出装置、及び、そのような特徴点検出装置を含む透かし検出装置、透かし検出システムに関する。
【背景技術】
【０００２】
図１に示すようにデジタルカメラ（カメラ付き携帯電話２でもよい）を用いて電子透かし入り画像３１が印刷された印刷物３を撮影し、サーバ１において透かしの検出を行う透かし検出システム１００がある（例えば、特許文献１）。
【０００３】
そのようなシステムにおいては、透かしの検出率を向上させるため、検出側（サーバ１）にて様々な処理が必要である。その一つとして、電子透かしが埋め込まれている領域を切り出す「画像領域の切り出し処理」がある（例えば、非特許文献１）。
【０００４】
画像領域の切り出しは、通常、撮影画像から検出された特徴点（画像領域の頂点や、画像中のエッジなど）に基づいて行われる。一般的には、図１９に示すように、透かし入り画像の４つのコーナーを検出し、検出されたコーナ位置に基づいて透かし入り画像の画像領域を切り出す、という方式がよく用いられている。
【０００５】
図２０は、このような透かし検出システム１００における処理のタイミングチャートを示したものである。カメラ付き携帯電話２により透かし入り画像３１が印刷された印刷物３が撮影されると、撮影画像データはサーバ１へ一旦送信される。サーバ１は、その撮影画像データを受信したのち、撮影画像データの復号処理、特徴点の検出処理、検出した特徴点を利用した電子透かしが埋め込まれている画像領域の切り出し処理、透かし検出処理を行う。そして、サーバ１で検出された透かし情報は再びカメラ付き携帯電話２に送信される。或いは、検出された透かし情報に基づくサービスデータ（例えば映像コンテンツや音楽コンテンツなど）がカメラ付き携帯電話２に送信される。
【０００６】
ところで、ＪＰＥＧ２０００と呼ばれる、ウェーブレット変換を利用した高品位画像圧縮方式の規格がある。ＪＰＥＧ２０００符号化方式では、パス（サブビットプレーン）を最小単位として符号が構成されている。即ち、符号化された後にパス単位にある優先度を付け、復号時の時間的優先度を制御したりすることができる。優先度としては、Ｌ：レイヤ、Ｒ：空間解像度レベル、Ｐ：位置、Ｃ：色成分の４つがある（非特許文献２）。
【０００７】
図２１及び図２２は、図１９での説明に用いた撮影画像をウェーブレット変換によりステージ分解されたときの様子を示すものである。図２１は、画像信号にアナリシスバンクを適用して、画像を４つの帯域（ＬＬ、ＬＨ、ＨＬ、ＨＨ）に分解（これを「１ステージの分解」という）したときの処理例である。アナリシスバンクとは、信号を２つの帯域に分解する働きがあり、符号化器で使用される。この処理例によれば、最低域（ＬＬ）の画像が他の帯域に比べて多くのエネルギを持ち、原画像に最も近い画質を維持している。ＪＰＥＧ２０００では、この最低域（ＬＬ）に対して更に分解を続ける。図２２は、２ステージ分解の例である（なお、ＪＰＥＧ２０００では５ステージ分解がデフォルトである）。
【０００８】
図２３は、２ステージ分解されたときのＪＰＥＧ２０００形式の画像ファイルのデータ構造を示したものである。この場合、画像ファイルのデータ部は解像度レベルごとに階層化された構造になっている。即ち、解像度に基づいて階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像データが前にあって、高域側の画像データが後ろにある。
【０００９】
このようなデータ構造のＪＰＥＧ２０００画像を送信した場合、まず低域側の画像データが送信され、続いて高域側の画像データが送信されることとなる。
【特許文献１】特表２００２−５４４６３７号公報
【非特許文献１】金谷健一著  「画像理解  −３次元認識の数理−」  第３章
【非特許文献２】「インタフェース」、２００２年１月号、ＣＱ出版社、ｐｐ４６−５８
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、このような透かし検出システム１００では、撮影画像データのサーバ１への送信が全て完了してから、各処理を行っていた。そのためクライアントは、透かし入り画像の送信開始から、透かし抽出結果を取得するまで、長い時間待たされるという問題があった。
【００１１】
本発明は、ＪＰＥＧ２０００のデータ構造を利用して、サーバ側のデータ受信処理と特徴点検出処理を並列に実行することにより、システムにおける処理時間の短縮化を図ることを第１の目的とする。
【００１２】
ところで、電子透かしが埋め込まれている画像領域の切り出し処理においては、特徴点を高精度に検出することが重要である。特徴点（例えば透かし入り画像領域のコーナ）が正しく検出できなければ、透かし入り画像から透かし情報を正しく読み出すことができないからである。
【００１３】
しかし、デジタルカメラ等で撮影された画像には手ぶれや照明の影響によるノイズが載っており、特徴点検出精度の低下を引き起こす。したがって、撮影画像データから高精度に特徴点を検出するためには、ノイズ除去処理も必要な処理の１つである。
【００１４】
一般にノイズ除去処理にはガウシアンフィルタに代表される平滑化フィルタが用いられる。平滑化フィルタは対象画素に近い画素に大きな重みを、対象画素から遠い画素には小さい重みを付けた加重平均をとる。よって、ノイズ除去処理後はエッジがぼやけた、言い換えれば高周波成分がカットされた画像が生成される。
【００１５】
このことより、ＪＰＥＧ２０００における低域の画像とノイズ除去処理後の画像は類似した特性を持つと考えられる。そこで、本発明は、ＪＰＥＧ２０００のデータ構造を利用して、透かし検出率を向上させることも第２の目的とするものである。
【課題を解決するための手段】
【００１６】
請求項１の特徴点検出装置は、階層符号化された画像データから特徴点を検出する特徴点検出装置であって、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみに基づいて特徴点を検出することを特徴とする。
【００１７】
ここで、特徴点とは、例えば画像領域の頂点や、画像中のエッジのことをいう。階層符号化された画像データとは、例えばＪＰＥＧ２０００のように、画像データが解像度に応じて分解された構造になっている画像データのことをいう。
【００１８】
請求項１の特徴点検出装置によれば、高周波成分がカットされた低域成分の画像デ−タに基づいて特徴点を検出するので、特徴点の検出がより正確なものとなる。
【００１９】
請求項２の特徴点検出装置は、階層符号化された画像データから特徴点を検出する特徴点検出装置であって、第１の特徴点候補検出手段と、第２の特徴点候補検出手段と、特徴点決定手段とを含む。第１の特徴点候補検出手段は、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なるｎ個（ｎ：自然数）の画像データの内、低域側のｌ（ｌ＜ｎ、ｌ：自然数）個の画像デ−タから得られた第１の特徴点候補を検出する。第２の特徴点候補検出手段は、前記ｎ個の画像データの内、低域側のｍ（ｌ＜ｍ＜ｎ、ｍ：自然数）個の画像デ−タから得られた第２の特徴点候補を検出する。特徴点決定手段は、前記第１の特徴点候補検出手段により検出された前記第１の特徴点候補の座標と、前記第２の特徴点候補検出手段により検出された前記第２の特徴点候補の座標とが「一致」したとき、当該特徴点候補を前記階層符号化された画像データの特徴点であると決定する。
【００２０】
請求項３の特徴点検出装置は、階層符号化された画像データから特徴点を検出する特徴点検出装置であって、第１の特徴点候補検出手段と、第２の特徴点候補検出手段と、特徴点決定手段とを含む。第１の特徴点候補検出手段は、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なるｎ個（ｎ：自然数）の画像データの内、低域側のｌ（ｌ＜ｎ、ｌ：自然数）個の画像デ−タから得られた第１の特徴点候補を検出する。第２の特徴点候補検出手段は、前記ｎ個の画像データの内、低域側のｍ（ｌ＜ｍ＜ｎ、ｍ：自然数）個の画像デ−タから得られた第２の特徴点候補を検出する。座標変換手段は、前記第１の特徴点候補検出手段によって検出された前記第１の特徴点候補の座標値、及び、前記第２の特徴点候補検出手段によって検出された前記第２の特徴点候補の座標値を、原画像サイズにおける座標値に変換する。特徴点決定手段は、前記座標変換手段により変換された、前記第１の特徴点候補の原画像サイズにおける座標値と、前記座標変換手段により変換された、前記第２の特徴点候補の原画像サイズにおける座標値とが一致したとき、当該座標値を前記階層符号化された画像データの特徴点の座標値であると決定する。
【００２１】
請求項４の画像処理装置は、階層符号化された画像データを受信する受信部と、前記受信部が受信した前記画像データから特徴点を検出する特徴点検出部とを含む。前記受信部が、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信したとき、前記特徴点検出部は、前記受信部による高域側の画像データの受信を待つことなく前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする。
【００２２】
請求項５の特徴点検出方法は、階層符号化された画像データから特徴点を検出する特徴点検出方法であって、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみに基づいて特徴点を検出することを特徴とする。
【００２３】
請求項６の特徴点検出方法は、階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信する受信ステップと、前記受信ステップにおいて受信された前記画像データから特徴点を検出する特徴点検出ステップと、前記特徴点検出ステップは、前記複数の画像データの内、高域側の画像デ−タを受信する前に、前記受信ステップにおいて受信された前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする。
【００２４】
請求項７の特徴点検出プログラムは、階層符号化された画像データから特徴点を検出する機能を、コンピュータに実現させることを特徴とした、特徴点検出プログラムであって、前記階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タのみに基づいて特徴点を検出する機能を、コンピュータに実現させることを特徴とする。
【００２５】
請求項８の画像処理プログラムは、階層符号化された画像データを構成する低域側から高域側までの周波数帯域が異なる複数の画像データの内、低域側の画像デ−タを受信する受信ステップと、前記受信ステップにおいて受信された前記画像データから特徴点を検出する特徴点検出ステップと、前記特徴点検出ステップは、前記複数の画像データの内、高域側の画像デ−タを受信する前に、前記受信ステップにおいて受信された前記低域側の画像デ−タのみから特徴点の検出処理を開始することを特徴とする。
【発明の効果】
【００２６】
本発明の透かし検出システムによれば、クライアント側における、透かし入り画像の送信開始から透かし抽出結果を取得するまでの待ち時間を短縮することができる。また、特徴点を高精度で検出することができるので、透かし検出率を向上させることができる。
【発明を実施するための最良の形態】
【００２７】
再び図１を参照して、本発明が適用される透かし検出システム１００の構成を示す。透かし検出システム１００は、サーバ１、カメラ付き携帯電話２で構成される。カメラ付き携帯電話２は、印刷物３を撮影した画像データ（ＪＰＥＧ２０００形式）を生成し、この画像データをサーバ１へ送信する。
【００２８】
サーバ１は、カメラ付き携帯電話２から送信されてきた画像データから透かし検出を行う。また、サーバ１は、カメラ付き携帯電話２に透かし検出結果を返信する。或いは、サーバ１は、透かし検出結果に応じたサービスデータをカメラ付き携帯電話２に送信する。
【００２９】
通常ＪＰＥＧ２０００形式では５ステージ分解が標準的であるが、本実施形態では説明の簡単化のため、カメラ付き携帯電話２が内蔵するＪＰＥＧ２０００符号化器は、図２２で示したような、２ステージ分解された形式に符号化するものと仮定して以後の説明を行う。即ち、カメラ付き携帯電話２からは、図２３で示したような構造を有する撮影画像データがサーバ１へ送信されてくるものとする。
【００３０】
図２を参照して、本発明が適用される透かし検出システム１００のサーバ１の構成を説明する。
【００３１】
サーバ１は、送受信部１１、特徴点検出処理部１２、画像領域切り出し処理部１３、透かし検出処理部１４、復号処理部１５、画像合成部１６、及び、制御部１７からなる。
【００３２】
送受信部１１は、カメラ付き携帯電話２から送信されてきた撮影画像データを受信したり、カメラ付き携帯電話２へ透かし検出結果データや透かし検出結果に応じたサービスデータを送信したりする。
【００３３】
復号処理部１５は、送受信部１１が受信した符号化画像データを復号化する。ここでいう復号化とは、主として、ステージ分解された画像データを合成することにより画像データを再構成することを指す。この画像データの合成には、例えば、シンセシスバンクと呼ばれるものが使用される。シンセシスバンクとは、２つの帯域信号を１つに合成する働きがあり、復号化器で使用されるものである。
【００３４】
特徴点検出処理部１２は、復号処理部１５により復号化された画像データから透かし入り画像領域を切り出すために用いられる特徴点（例えば、透かし入り画像領域の４コーナ）を検出する処理を行う。
【００３５】
この特徴点検出処理部１２は、特徴点候補検出処理部１２１、特徴点決定部１２２からなる。特徴点候補検出処理部１２１は、ステージ分解された画像データ、或いは復号処理部１５により復号化した画像データから特徴点候補を抽出する。カメラ付き携帯電話２からサーバ１へ送信されてくる画像データが２ステージ分解された符号化画像データであるとした場合、特徴点候補抽出の対象となる前記のステージ分解された画像データとは、図２２或いは図２３でいうところの２ＬＬ成分の画像データである。また、復号処理部１５により復号化した画像データとは、２ＬＬ成分の画像データ、２ＬＨ成分の画像データ、２ＨＬ成分の画像データ、２ＨＨ成分の画像データに基づいて復号処理部１５により再構成されたＬＬ成分の画像データのことである。
【００３６】
特徴点決定部１２２は、特徴点候補検出処理部１２１により検出された特徴点候補から特徴点を決定する。制御部１７は、各種設定を行ったり、サーバ１の各構成を制御する。
【００３７】
画像領域切り出し処理部１３は、復号処理部１５により復号化された撮影画像データから、透かし入り画像領域の切り出し処理を行う。この切り出し処理においては、特徴点検出処理部１２により検出された特徴点が利用される。
【００３８】
透かし検出処理部１４は、画像領域切り出し処理部１３で切り出された画像領域から透かしを検出する処理を行う。
【００３９】
なお、これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４０】
図３は、本発明が適用される透かし検出システム１００における電子透かし検出処理のタイムチャートを示したものである。
【００４１】
カメラ付き携帯電話２により撮影された画像データは、ＤＷＴ（ＤｉｓｃｒｅｔｅＷａｖｅｌｅｔｔ  Ｔｒａｎｓｆｏｒｍ、離散ウェーブレット変換）により符号化され、図２３で示したような解像度により階層化された構造の画像データに変換される。このような画像データを受信する従来のサーバ１は、図４に示すように、画像データの全てを受信してから復号処理、特徴点検出処理等を行っていたので、カメラ付き携帯電話２のユーザにとっては、透かし入り画像の送信から、サーバ１からのレスポンスを得るまでの間、長い時間待たされるという問題があった。
【００４２】
これに対し、本実施形態のサーバ１は、画像データの全てを受信してから復号処理、特徴点検出処理等を行うのではなく、到着した一部の画像データ（例えば２ＬＬ成分の画像データなど）を利用して，随時特徴点候補の検出処理等を行っていくものである。
【００４３】
（ステップＳ１：初期設定処理）
再び図３を参照して、サーバ１の送受信部１１が、ヘッダ部を受信すると、制御部１７はヘッダの内容を解析し、到着したデータがＪＰＥＧ２０００形式の画像データであって、かつ透かし入り画像データであることを認識する（ステップＳ１）。そして、制御部１７は、本実施形態により説明される、透かし検出処理を行うためのプログラムを起動させる。
【００４４】
（ステップＳ２：特徴点候補検出処理）
送受信部１１が、２ＬＬ成分の画像データを受信すると、このデータは特徴点検出処理部１２の特徴点候補検出処理部１２１と、復号処理部１５の両方に転送される。特徴点候補検出処理部１２１は、２ＬＬ成分の画像データから特徴点候補の検出処理を行う（ステップＳ２）。特徴点を画像領域のコーナー点とした場合、例えば図５（ａ）で示すように、複数のコーナー点が２ＬＬ成分の画像データから検出される。この特徴点候補検出処理については後で詳しく述べる。
【００４５】
（ステップＳ３：復号処理）
２ＬＬ成分の画像データに続いて、送受信部１１が、２ＬＨ成分の画像データ、２ＨＬ成分の画像データ、２ＨＨ成分の画像データを受信すると、これらのデータは復号処理部１５に転送される。これらの３つの画像データと、既に転送されてきた２ＬＬ成分の画像データの４つの画像データから、復号処理部１５は、１つのＬＬ成分の画像データを生成する（ステップＳ３）。この復号処理には、シンセシスバンクが用いられる。
【００４６】
なお、上記では、２ＬＨ成分、２ＨＬ成分、２ＨＨ成分の３つ画像データが到着したら復号処理を行うと説明したが、まず２ＬＨ成分の画像データが到着したら、既に復号処理部１５に転送されている２ＬＬ成分の画像データと２ＬＨ成分の画像データにより垂直処理（垂直方向の１次元畳み込み処理）を行ってもよい。続いて、２ＨＬ成分、２ＨＨ成分の画像データが到着したら２ＨＬ成分の画像データと２ＨＨ成分の画像データにより垂直処理を行い、そして垂直処理により得られた２つの画像データを水平処理（水平方向の１次元畳み込み処理）することによりＬＬ成分の画像データを生成するものであっても良い。
【００４７】
（ステップＳ４：特徴点候補検出処理）
復号処理部１５により、ＬＬ成分の画像データが生成されると、特徴点候補検出処理部１２１は、ＬＬ成分の画像データから特徴点候補の検出処理を行う（ステップＳ４）。特徴点を画像領域のコーナー点とした場合、例えば図５（ｂ）で示すように、複数のコーナー点がＬＬ成分の画像データから検出される。この特徴点候補検出処理については後で詳しく述べるが、対象となる画像データが異なること以外は、ステップＳ２での処理と全く同様である。
【００４８】
（ステップＳ５：特徴点決定処理）
特徴点候補検出処理部１２１による特徴点候補検出処理（ステップＳ４）が終了すると、特徴点決定部１２２は、ステップＳ４で検出された特徴点候補と、ステップＳ２で検出された特徴点候補とに基づいて、特徴点を決定する（ステップＳ５）。この特徴点決定処理についても後で詳しく述べる。
【００４９】
（ステップＳ６：復号処理）
送受信部１１が、ＬＨ成分の画像データ、ＨＬ成分の画像データ、ＨＨ成分の画像データを受信すると、これらのデータは復号処理部１５に転送される。これらの３つの画像データと、既に復号処理部１５により生成されたＬＬ成分の画像データの４つの画像データから、復号処理部１５は、原画像データ（符号化される前の画像データ）を生成する（ステップＳ６）。
【００５０】
（ステップＳ７：画像領域切り出し処理）
ステップＳ６で、復号化された原画像データに対し、画像領域切り出し処理部１３は透かし入り画像領域の切り出し処理を行う（ステップＳ７）。この切り出し処理においては、ステップＳ５で決定された特徴点が利用される。
【００５１】
（ステップＳ８：透かし検出処理）
ステップＳ７で切り出された画像領域から、透かし検出処理部１４は透かしを検出する処理を行う。透かし検出処理により検出された情報に基づいて、サーバ１は、ユーザ（カメラ付き携帯電話２のユーザ）が欲するサービス内容（例えば、音楽コンテンツ配信など）を認識し、サーバ１は適切なコンテンツデータをカメラ付き携帯電話２に送信する。
【００５２】
以上が、本実施例の透かし検出システム１００におけるサーバ１の処理の概略である。次に、ステップＳ２及びＳ４の特徴点候補検出処理、およびステップＳ５の特徴点決定処理の詳細について述べる。
【００５３】
（ステップＳ２及びＳ４の特徴点候補検出処理の詳細）
図６から図８を参照して、ステップＳ２及びステップＳ４の特徴点候補検出処理の詳細例について説明する。いま、原画像の画像サイズが、縦１０２４画素、横１２８０画素であると仮定すると、２ＬＬ成分の画像データのサイズは、縦２５６画素、横３２０画素となる。
【００５４】
図６のフローチャートを参照して、特徴点候補検出処理部１２１が行うステップＳ２の処理手順を説明する。ステップＳ２においては、この２ＬＬ成分の画像データに対する特徴点候補検出処理が行われる。ステップＳ２１では、２ＬＬ成分の画像データの全座標点について特徴点検出フィルタによる演算処理が行われる。
【００５５】
ステップＳ２２では、フィルタ演算結果が所定値以上であった点の座標を第１の特徴点候補リストに追加する。この第１の特徴点候補リストとは図７に示されるようなものであり、特徴点候補検出処理部１２１が有する記憶領域内に一時的に記憶されるものとする。本実施例では、Ａ２（８０，４０）、Ｂ２（２４０，４０）、Ｃ２（８０，２００）、Ｄ２（２４０，２００）の４点（図８ａも参照のこと）が特徴点候補として、特徴点候補検出処理部１２１により検出され、これらの特徴点候補が第１の特徴点候補リストに格納される。
【００５６】
なお、ステップＳ５の処理は、特徴点候補検出処理の対象となる画像がＬＬ成分の画像データである点がステップＳ２と異なるだけであって、処理内容はステップＳ２と同様である。図７、図８（ｂ）を参照して、本実施例では、Ａ１（１６０，８０）、Ｂ１（４８０，８０）、Ｃ１（３２０，２８０）、Ｄ１（１６０，４００）、Ｅ１（４８０，４００）の５点が特徴点候補として、特徴点候補検出処理部１２１により検出され、これらの特徴点候補も第１の特徴点候補リストに格納される。
【００５７】
（ステップＳ５の特徴点決定処理の詳細）
図９から図１２を参照して、特徴点決定部１２２が行う、ステップＳ５の特徴点決定処理の詳細例について説明する。ここでは、上記の図６から図８を参照して説明した、ステップＳ２及びステップＳ５の特徴点候補検出処理において検出された特徴点候補に基づいて特徴点決定を行うものとして説明する。
【００５８】
図９のフローチャートを参照して、ステップＳ５の処理手順を説明する。
【００５９】
ステップＳ５１では、図７の第１の特徴点候補リストの全特徴点候補について座標変換処理を行う。即ち、２ＬＬ成分画像データ、及びＬＬ成分画像データにおいて検出された特徴点候補の位置を示す座標を、原画像における位置を示す座標に変換する処理を行う。２ＬＬ成分画像データについては、ｘ座標値、ｙ座標値をそれぞれ４倍する。ＬＬ成分画像データについては、ｘ座標値、ｙ座標値をそれぞれ２倍する。
【００６０】
その演算結果は、ステップＳ５２において、図１０で示すような第２の特徴点候補リストに格納される。第２の特徴点候補リストには、２ＬＬ成分画像データにおける特徴点候補Ａ２、Ｂ２、Ｃ２、Ｄ２の座標に対して座標変換した、Ａ'２、Ｂ'２、Ｃ'２、Ｄ'２の４点の座標値や、ＬＬ成分画像データにおける特徴点候補の座標に対して座標変換した、Ａ'１、Ｂ'１、Ｃ'１、Ｄ'１、Ｅ'１の５点の座標値が格納される。
【００６１】
ステップＳ５３では、第２の特徴点候補リストを参照し、双方の画像データから検出された座標値が一致している特徴点候補を調べる。座標値が一致している特徴点候補は、特徴点であると決定される。第２の特徴点候補リストを参照すると、特徴点候補Ａ'２とＡ'１、Ｂ'２とＢ'１、Ｃ'２とＤ'１、Ｄ'２とＥ'１、の４組の座標値が一致している（図１１も参照のこと）。これら４組の座標値は原画像データにおける特徴点の座標値であるとみなされ、図１２で示す特徴点リストに格納される。
【００６２】
なお、ステップＳ５の処理は、特徴点候補検出処理の対象となる画像がＬＬ成分の画像データである点がステップＳ２と異なるだけであって、処理内容はステップＳ２と同様である。図７、図８（ｂ）を参照して、本実施例では、Ａ１（１６０，８０）、Ｂ１（４８０，８０）、Ｃ１（３２０，２８０）、Ｄ１（１６０，４００）、Ｅ１（４８０，４００）の５点が特徴点候補として、特徴点候補検出処理部１２１により検出され、これらの特徴点候補も第１の特徴点候補リストに格納される。
【００６３】
なお、２ＬＬ成分画像データにおける特徴点候補と、ＬＬ成分画像データにおける特徴点候補とが一致するべきであるにも係わらず、２ＬＬ成分画像データの画像サイズと、ＬＬ成分画像データの画像サイズの違いに起因して、座標変換後の特徴点候補の座標値が若干異なる場合がある。例えば、図１０の第２の特徴点候補リストでは、２ＬＬ成分画像データにおける特徴点候補に関する座標値は４の倍数値しかとらないのに対し、ＬＬ成分画像データにおける特徴点候補に関する座標値は２の倍数値しかとらない。したがって、このような場合は、２ＬＬ成分画像データにおける特徴点候補に関する座標値と、ＬＬ成分画像データにおける特徴点候補に関する座標値の差が２である場合も、２ＬＬ成分画像データにおける特徴点候補の座標と、ＬＬ成分画像データにおける特徴点候補の座標とが一致するものとみなしても良い。
（３ステージ分解された画像データからの特徴点検出処理）
図１３で示すような、３ステージ分解された符号化画像から、特徴点検出を行う場合の一例を、図１４から図１８を参照して説明する。
【００６４】
図１４は、３ＬＬ成分画像データ、２ＬＬ成分画像データ、１ＬＬ成分画像データから、特徴点候補検出部１２１により検出された特徴点候補の座標を示す第１の特徴点候補リストである。３ＬＬ成分画像データからは３点、２ＬＬ成分画像データからは５点、ＬＬ成分画像データからは７点の特徴点候補が検出されている。なお、２ＬＬ成分画像データは、３ＬＬ、３ＬＨ、３ＨＬ、３ＨＨの４つの画像データの合成により再構成されたものである。
【００６５】
図１５は、このような場合に、特徴点決定部１２２が行う特徴点決定処理（ステップＳ５変形例）における処理手順を示すフローチャートである。
【００６６】
ステップＳ６１では、図１４の第１の特徴点候補リストの全特徴点候補について座標変換処理を行う。即ち、３ＬＬ、２ＬＬ、ＬＬ成分画像データにおいて検出された特徴点候補の位置を示す座標値を、原画像における位置を示す座標値に変換する処理を行う。その演算結果は、ステップＳ６２において、図１６で示すような第２の特徴点候補リストに格納される。第２の特徴点候補リストには、３ＬＬ、２ＬＬ、ＬＬ成分画像データにおける特徴点候補の座標に対して座標変換したものの座標値が格納される。
【００６７】
ステップＳ６３では、第２の特徴点候補リストを参照し、同リストに格納されている座標値が一致する画像データの数を計数する。その計数結果は、図１７で示す第３の特徴点候補リストに格納される。例えば、座標値（３２０，１６０）は、３ＬＬ、２ＬＬ、ＬＬの３つの画像データに基づいて検出された座標点候補の座標値であるので、第３の特徴点候補リストには、座標値（３２０，１６０）と、検出画像数３が、特徴点番号１の特徴点候補のデータとして、格納される。
【００６８】
同様にして、座標値（９６０，１６０）は、３ＬＬ、２ＬＬの２つの画像から検出されたので、座標値（９６０，１６０）と、検出画像数２が、特徴点番号２の特徴点候補のデータとして格納される。以下、同様にして、特徴点番号３から１０までの特徴点候補に係るデータが格納される。
【００６９】
ステップＳ６４では、第３の特徴点候補リストが参照され、検出画像数が所定値以上であった特徴点候補を特徴点であると決定する。ここで、検出画像数が２以上であった特徴点候補を特徴点であるとしたとき、特徴点番号１、２、３、４の４つの特徴点候補が特徴点として決定される。決定された特徴点は図１８で示すような特徴点リストに格納される。
【００７０】
（特徴点決定部１２２で決定された特徴点の数が少ない場合の処理）
特徴点決定部１２２で決定された特徴点の数が少ない場合の処理について述べる。例えば、画像領域切り出し処理部１３で行う画像領域切り出し処理に先立って、４つの特徴点を検出しておく必要がある場合において、３つの特徴点しか検出できなかった場合である。このような場合の処理としては、以下のようなものが考えられる。
【００７１】
第１には、図１５のステップＳ６４でいうところの検出画像数を下げることである。これによって、ステップＳ６４において第４の特徴点が決定される可能性が生じる。
【００７２】
第２には、特徴点候補検出処理部１２１が行う特徴点検出処理をやり直すことである。例えば、図６のステップＳ２２の特徴点検出フィルタ処理結果の閾値を下げ、より多くの特徴点候補が第１の特徴点候補リストに追加されるようにすることである。
【００７３】
（特徴点決定部１２２で決定された特徴点の数が多すぎた場合の処理）
特徴点決定部１２２で決定された特徴点の数が多すぎた場合の処理について述べる。例えば、画像領域切り出し処理部１３で行う画像領域切り出し処理に先立って、４つの特徴点を検出しておく必要がある場合において、６つの特徴点を検出してしまった場合である。このような場合の処理としては、以下のようなものが考えられる。
【００７４】
第１には、図１５のステップＳ６４でいうところの検出画像数を上げることである。これによって、ステップＳ６４において第５、第６の特徴点は決定されない可能性が生じる。
【００７５】
第２には、特徴点候補検出処理部１２１が行う特徴点検出処理をやり直すことである。例えば、図６のステップＳ２２の特徴点検出フィルタ処理結果の閾値を上げ、より少ない特徴点候補が第１の特徴点候補リストに追加されるようにすることである。
【００７６】
第３には、特徴点決定部１２２で決定された特徴点の座標値に基づいて、検出された特徴点が適切なものかどうかを推測する処理を行うことである。例えば、画像領域の４つのコーナーを特徴点と定めた場合、特徴点決定部１２２で決定されたｎ個（ｎ：自然数、ｎ＞４）の特徴点候補から任意の４点を選択する。ここで、選択の組み合わせはｎＣ４通りである。選択された４点より形成される図形の形状と画像領域の形状の類似度が最も高い組み合わせを、特徴点と決定することがえられる。
【００７７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００７８】
上記実施例では、特に透かし入り画像領域の切り出し処理のための特徴点（画像領域の四角）検出について詳しく説明したが、本発明は一般的な画像における特徴点検出にも適用できる。
【００７９】
また、上記実施例ではＪＰＥＧ２０００符号化方式による画像データからの特徴点検出について説明したが、本発明は、他の方式による階層符号化された画像データにも適用できる。
【符号の説明】
【００８０】
１  サーバ
１１  送受信部
１２  特徴点検出処理部
１３  画像領域切り出し処理部
１４  透かし検出処理部
１５  復号処理部
１７  制御部
１２１  特徴点候補検出処理部
１２２  特徴点決定部
【図面の簡単な説明】
【００８１】
【図１】透かし検出システム１００を示す図である。
【図２】本発明が適用される透かし検出システム１００のサーバ１の構成である。
【図３】本発明が適用される透かし検出システム１００における電子透かし検出処理のタイムチャートを示したものである。
【図４】従来の透かし検出システムにおける電子透かし検出処理のタイムチャートを示したものである。
【図５】（ａ）２ＬＬ成分画像データから検出される特徴点候補の一例、（ｂ）ＬＬ成分画像データから検出される特徴点候補の一例を示した図である。
【図６】特徴点候補検出処理（ステップＳ２、ステップＳ４）の手順を示すフローチャートである。
【図７】第１の特徴点候補リストである。
【図８】特徴点候補の位置について示した図である。
【図９】特徴点決定処理（ステップＳ５）の手順を示すフローチャートである。
【図１０】第２の特徴点候補リストである。
【図１１】２ＬＬ成分画像データ、ＬＬ成分画像データから検出された特徴点候補の座標値を原画像サイズにおける座標値に変換したときの特徴点候補の位置について示した図である。
【図１２】特徴点リストの図である。
【図１３】３ステージ分解された符号化画像を示す図である。
【図１４】第１の特徴点候補リストの図である。
【図１５】特徴点決定処理（ステップＳ５変形例）の詳細を示すフローチャートである。
【図１６】第２の特徴点候補リストの図である。
【図１７】第３の特徴点候補リストの図である。
【図１８】特徴点リストの図である。
【図１９】画像領域の切り出し処理を説明する図である。
【図２０】従来の透かし検出システム１００におけるタイミングチャートを示したものである。
【図２１】ウェーブレット変換における１ステージ分解を示す図である。
【図２２】ウェーブレット変換における２ステージ分解を示す図である。
【図２３】２ステージ分解されたときのＪＰＥＧ２０００形式の画像ファイルのデータ構造を示したものである。
【図１】
2006013651.tif 000003
【図２】
2006013651.tif 000004
【図３】
2006013651.tif 000005
【図４】
2006013651.tif 000006
【図５】
2006013651.tif 000007
【図６】
2006013651.tif 000008
【図７】
2006013651.tif 000009
【図８】
2006013651.tif 000010
【図９】
2006013651.tif 000011
【図１０】
2006013651.tif 000012
【図１１】
2006013651.tif 000013
【図１２】
2006013651.tif 000014
【図１３】
2006013651.tif 000015
【図１４】
2006013651.tif 000016
【図１５】
2006013651.tif 000017
【図１６】
2006013651.tif 000018
【図１７】
2006013651.tif 000019
【図１８】
2006013651.tif 000020
【図１９】
2006013651.tif 000021
【図２０】
2006013651.tif 000022
【図２１】
2006013651.tif 000023
【図２２】
2006013651.tif 000024
【図２３】
2006013651.tif 000025