(57)【要約】【課題】  クライアントから送信されてきたデジタル画像から電子透かしで埋め込まれた商品識別情報を抽出し、その抽出された情報に基づいてクライアントに商品販売等のサービスを提供するシステムにおいて、画質不十分の撮像画像をサーバへ送信すると当該電子透かしが読み出せない場合があり、サーバへのデータ通信処理、サーバでの電子透かし抽出処理が無駄となる。【解決手段】  商品識別情報用電子透かしとは別に、画質検出用電子透かしを印刷物に埋め込む。該印刷物をカメラ付き携帯電話機２で撮影し、これに内蔵された画質検出部２７で画質検出用電子透かしを抽出し、その抽出に成功した場合にのみ撮影画像をサーバ１へ送信する。これにより、カメラ付き携帯電話機２からサーバ１への無駄なデータ通信処理や、サーバでの無駄な電子透かし抽出処理を回避することができる。【選択図】    図３
2006050010.tif 000002
【特許請求の範囲】
【請求項１】
シート上に設定された画像フレーム中に画像とともに所定の情報を有する電子透かしが印刷された印刷物において、
前記画像を撮像した際の画質を評価するための印刷が前記シート上に施されている、
ことを特徴とする印刷物。
【請求項２】
請求項１において、
前記画像を撮像した際の画質を評価するための画質評価用電子透かしが前記シート上の予め決められた位置に配置されている、
ことを特徴とする印刷物。
【請求項３】
請求項２において、
前記画質評価用電子透かしが前記画像フレームの輪郭近傍位置に配置されている、
ことを特徴とする印刷物。
【請求項４】
請求項３において、
前記画像フレームは多角形の形状を有しており、前記画質評価用電子透かしは、当該多角形の画像フレームの角位置近傍に配置されている、
ことを特徴とする印刷物。
【請求項５】
請求項１ないし４の何れかにおいて、
前記所定の情報とは商品識別情報である、
ことを特徴とする印刷物。
【請求項６】
撮像手段と、
外部装置との間でデータ通信を行う通信手段と、
前記撮像手段によって撮像された撮像画像の画質を検出する画質検出手段と、
該画質検出手段における検出結果に基づいて前記通信手段における通信を制御する制御手段とを有する、
ことを特徴とする携帯端末。
【請求項７】
請求項６において、
前記画質検出手段は、画質評価用の電子透かしがシート上の予め決められた位置に配置されている印刷物を前記撮像手段によって撮像したときに、前記予め決められた配置位置をもとに、撮像画像から前記画質評価用電子透かしを読み取る手段を備え、該読み取り手段における読み取り結果に応じて当該撮像画像の画質を検出する、
ことを特徴とする携帯端末。
【請求項８】
請求項７において、
前記画質評価用電子透かしは、前記シート上に設定された画像フレームの輪郭近傍に配置されており、
前記画質検出手段は、前記画質評価用電子透かしを前記読み取り手段にて読み取った読み取り結果に応じて当該撮像画像の画質を検出する、
ことを特徴とする携帯端末。
【請求項９】
請求項８において、
前記画像フレームは、多角形の形状を有し、前記画質評価用電子透かしは、当該多角形の画像フレームの角位置近傍に配置されており、
前記画質検出手段は、前記画質評価用電子透かしを前記読み取り手段にて読み取った読み取り結果に応じて当該撮像画像の画質を検出する、
ことを特徴とする携帯端末。
【請求項１０】
請求項６ないし９の何れかにおいて、
前記制御手段は、前記画質検出手段における検出結果に応じて、前記撮像手段にて撮像した撮像画像に基づく情報を、前記外部装置に送信するかを制御する、
ことを特徴とする携帯端末。
【請求項１１】
請求項７ないし９の何れかにおいて、
前記画質評価用電子透かしとは別に前記シート上に配置された前記所定の情報を有する電子透かしを抽出する抽出手段をさらに備え、
前記制御手段は、前記画質検出手段における検出結果に応じて、前記抽出手段にて抽出した電子透かしに基づく情報を、前記外部装置に送信するかを制御する、
ことを特徴とする携帯端末。
【請求項１２】
請求項１１において、
前記抽出手段は、前記画質検出手段における検出結果に応じて、電子透かしを抽出するかどうかを決定する、
ことを特徴とする携帯端末。
【請求項１３】
上記請求項１ないし１２の何れか一項に記載された各手段の機能をコンピュータに付与するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷物、携帯端末およびプログラムに関し、特に、外部サーバと通信制御を行うネットワークシステムに用いて好適なものである。
【背景技術】
【０００２】
クライアントから送信されてきたデジタル画像データから、電子透かしで埋め込まれた情報を抽出し、その抽出された情報に基づいてクライアントにサービス（コンテンツのダウンロード、商品の販売などのサービス）を提供するシステムがある（例えば、特許文献１）。
【０００３】
図１は、その一例である商品販売システム１００の構成図である。図１を参照して、商品販売システム１００は、サーバ１、撮像機能および送信機能付携帯端末（カメラ付き携帯電話機）２、及びカタログ（印刷物）３で構成される。印刷物３には、商品を表すイラスト画像７が印刷されている。イラスト画像７と販売対象の商品とは一対一に対応するものである。また、イラスト画像７中には、商品の識別情報（商品ＩＤなど）が、電子透かしにより不可視に埋め込まれている。
【０００４】
このような商品販売システム１００において、クライアントがカメラ付き携帯電話機２により、印刷物３のイラスト画像７を含んだ範囲を撮像すると、カメラ付き携帯電話機２で生成された撮像画像６のデータは、サーバ１へ送信される。サーバ１は、撮像画像６のデータから電子透かしで埋め込まれた商品の識別情報を抽出し、その抽出結果に応じ、クライアントが購入したい商品を判断する。
【０００５】
一般にデジタルカメラ等を用いて印刷画像を撮像してデジタル化すると、撮像画像には、撮像機器のレンズの形状や焦点距離に依存したレンズ歪み、あるいは撮像時の光軸の傾きに起因する透視歪みが生じ、印刷画像と撮像画像の間で画素のずれが現れる。このため、そのままでは印刷画像に埋め込まれた電子透かしを撮像画像から正しく抽出することは困難であり、撮像画像の歪み補正が必要となる。
【０００６】
特許文献２には、画像の周囲に基準枠を付加して印刷し、基準枠の付加された印刷画像を撮像して、基準枠をもとに撮像画像の画像領域の大きさを算出し、撮像画像の歪みを補正する技術が開示されている。
【特許文献１】特表２００２−５４４６３７号公報
【特許文献２】特開２００３−１１０８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上の様に、デジタルカメラで撮像されたイラスト画像に歪み等が生じる可能性が十分考えられるので、従来技術では撮像画像の歪み補正で対応を行っているが、例えば、画質が十分でないような場合には、そのような補正を行っても電子透かしを撮像画像から正しく抽出することが不可能な場合も生じうる。そのような場合、撮像画像をサーバ１へ送信したとしても、サーバ１において撮像画像から埋め込まれた電子透かしが抽出できない場合が発生しうる。この場合には、携帯電話機からサーバへのデータ通信処理、サーバでの電子透かし抽出処理が無駄となってしまう。また、かかる場合には当該サービス提供が不成立であるにもかかわらず、画像送信の際に生じた通信料の負担がクライアント側又はキャリア側に発生するという不具合も生じる。
【０００８】
そこで、本発明は、撮像画像から埋め込まれた電子透かしを抽出できない場合には、携帯電話機からサーバへの無駄なデータ通信処理や、サーバでの無駄な電子透かし抽出処理を行わないような、印刷物、携帯端末を提供するものである。
【課題を解決するための手段】
【０００９】
本発明は、撮像画像の画質を検出し、これをもとにサーバ等の外部装置に対する送信の制御を行うものであり、一つの局面として、識別情報用電子透かしと画質検出用電子透かしの両方を埋め込んだ印刷物を用い、該印刷物を撮像した際に撮像画像から画質検出用電子透かしの抽出を行い、その抽出に成功した場合等において撮像画像をサーバ等の外部装置へ送信することを特徴とする携帯端末、および前記印刷物に関するものである。
【００１０】
請求項１の発明に係る印刷物は、シート上に設定された画像フレーム中に画像とともに所定の情報を有する電子透かしが印刷された印刷物において、前記画像を撮像した際の画質を評価するための印刷が前記シート上に施されていることを特徴とする。
【００１１】
請求項２の発明は前記請求項１に係る印刷物において、前記画像を撮像した際の画質を評価するための画質評価用電子透かしが前記シート上の予め決められた位置に配置されていることを特徴とする。
【００１２】
請求項３の発明は前記請求項２に係る印刷物において、前記画質評価用電子透かしが前記画像フレームの輪郭近傍位置に配置されていることを特徴とする。
【００１３】
請求項４の発明は前記請求項３に係る印刷物において、前記画像フレームは多角形の形状を有しており、前記画質評価用電子透かしは、当該多角形の画像フレームの角位置近傍に配置されていることを特徴とする。
【００１４】
請求項５の発明は前記請求項１ないし４の何れかに係る印刷物において、前記所定の情報とは商品識別情報である、ことを特徴とする。
【００１５】
請求項６の発明に係る携帯端末は、撮像手段と、外部装置との間でデータ通信を行う通信手段と、前記撮像手段によって撮像された撮像画像の画質を検出する画質検出手段と、該画質検出手段における検出結果に基づいて前記通信手段における通信を制御する制御手段とを有することを特徴とする。
【００１６】
請求項７の発明は前記請求項６に係る携帯端末において、前記画質検出手段は、画質評価用の電子透かしがシート上の予め決められた位置に配置されている印刷物を前記撮像手段によって撮像したときに、前記予め決められた配置位置をもとに、撮像画像から前記画質評価用電子透かしを読み取る手段を備え、該読み取り手段における読み取り結果に応じて当該撮像画像の画質を検出することを特徴とする。
【００１７】
請求項８の発明は前記請求項７に係る携帯端末において、前記画質評価用電子透かしは、前記シート上に設定された画像フレームの輪郭近傍に配置されており、前記画質検出手段は、前記画質評価用電子透かしを前記読み取り手段にて読み取った読み取り結果に応じて当該撮像画像の画質を検出することを特徴とする。
【００１８】
請求項９の発明は前記請求項８に係る携帯端末において、前記画像フレームは、多角形の形状を有し、前記画質評価用電子透かしは、当該多角形の画像フレームの角位置近傍に配置されており、前記画質検出手段は、前記画質評価用電子透かしを前記読み取り手段にて読み取った読み取り結果に応じて当該撮像画像の画質を検出することを特徴とする。
【００１９】
請求項１０の発明は前記請求項６ないし９の何れか一項に係る携帯端末において、前記制御手段は、前記画質検出手段における検出結果に応じて、前記撮像手段にて撮像した撮像画像に基づく情報を、前記外部装置に送信するかを制御することを特徴とする。
【００２０】
請求項１１の発明は前記請求項７ないし９の何れか一項に係る携帯端末において、前記画質評価用電子透かしとは別に前記シート上に配置された前記所定の情報を有する電子透かしを抽出する抽出手段をさらに備え、前記制御手段は、前記画質検出手段における検出結果に応じて、前記抽出手段にて抽出した電子透かし情報を、前記外部装置に送信するかを制御することを特徴とする。
【００２１】
請求項１２の発明は前記請求項１１に係る携帯端末において、前記抽出手段は、前記検出手段からの検出結果に基づいて、前記画像内から所定の情報を有する電子透かしを抽出するかどうかを決定することを特徴とする。
【００２２】
請求項１３の発明は、上記請求項１ないし１２の何れか一項に記載された各手段の機能をコンピュータに付与するプログラムである。
【発明の効果】
【００２３】
請求項１によれば、所定の情報を有する電子透かしとともに、画質を評価するための印刷がなされているので、画質を評価するための印刷の撮像状態をもとに、撮像画像が前記電子透かしを抽出し得る画質にあるかを評価することができる。よって、画質を評価するための印刷を用いて、サーバ等の外部装置に対する送信の制御を行うことにより、外部サーバ等に対する無駄な送信を抑止することができる。
【００２４】
さらに、請求項２によれば、所定の情報を有する電子透かしとともに、画質評価用の電子透かしが印刷されているので、画質評価用の電子透かしの撮像状態をもとに、撮像画像が前記所定の情報を有する電子透かしを抽出し得る画質にあるかを評価することができる。よって、画質評価用の電子透かしを用いてサーバ等の外部装置に対する送信の制御を行うことにより、外部サーバ等に対する無駄な送信を抑止することができる。
【００２５】
この場合、たとえば、画質評価用の電子透かしを撮像画像から抽出できない場合に、外部サーバ等に対する送信を中止するようにする。これにより、外部サーバ等への無駄なデータ通信処理や、外部サーバ等での無駄な電子透かし抽出処理を回避することができる。さらに、当該サービスを提供できなかったにもかかわらず、画像送信の際に生じた通信料の負担がクライアント側又はキャリア側に発生する、といったことも生じない。
【００２６】
なお、画像の中心がレンズの中心と一致するような位置関係で撮像を行なった場合には、レンズの中心から遠い位置に配置されているフレーム輪郭部は、レンズ歪みの影響を受け易い。従って、請求項３のように構成すれば、撮像画像の画質が劣化する可能性の高い画像フレーム輪郭近傍にて撮像画像の画質を評価・検出することができるので、撮像画像が本来の電子透かしの抽出に使用し得るかをより精度よく検出することができる。すなわち、画像フレーム輪郭近傍にて画質が良好であると検出されれば、画像フレーム中のどの位置に本来の電子透かしが埋め込まれていても、当該撮像画像をもとに本来の電子透かしを抽出できる可能性が高くなる。このように、請求項３の発明によれば、撮像画像の画質評価をより精度よく行うことができ、これにより、外部サーバ等に対する無駄な送信をより徹底して抑止することができる。
【００２７】
特に、請求項４のように、フレームの角位置付近に画質検出用電子透かしを配置すれば、画質検出精度をより高めることができる。撮像画像の画質は、カメラ等の撮像手段との距離で決まることが多い。これに対し、画像フレームが多角形である場合には、頂点である角のうち何れかの角の位置においてカメラとの距離が最大となる。よって、請求項４のように頂点位置近傍に画質検出用電子透かしを配置すれば、最も画質が悪くなる位置で撮像画像の画質を評価することができる。よって、撮像画像の画質評価精度を顕著に高めることができ、これにより、外部サーバ等に対する無駄な送信をさらに徹底して抑止することができるようになる。
【００２８】
この他、本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００２９】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態につき図面を参照して説明する。本実施形態に係る商品販売システムとして、前記図１の商品販売システム１００を使用する。前記印刷物３を説明する図を図２に、前記カメラ付き携帯電話機２の構成を表すブロック図を図３に、前記サーバ１の構成を表すブロック図を図４に示す。
【００３１】
図２を参照して、印刷物３にはイラスト画像７が印刷されている。イラスト画像７には、当該サービスのための商品ＩＤなどの商品識別情報電子透かし、および画質検出用電子透かしが不可視に埋め込まれている。商品識別情報電子透かしの埋め込み位置等は携帯電話機２には秘密であり、画質検出用電子透かしの埋め込み位置等は携帯電話機２では既知である。
【００３２】
画質検出用電子透かしは、カメラ付き携帯電話機２で撮像されたイラスト画像７を含んだ撮像画像６の画質を検出するために使用されるもので、画質検出用電子透かしが抽出できなかった場合は、撮像画像６の画質が商品識別情報用の電子透かしを抽出できるレベルに無いということを示している。つまり、この検出結果における画質の良否で、商品識別情報電子透かしがサーバ１で抽出できるかどうか判別することができる。なお、画質検出用電子透かしの耐性度と商品識別情報電子透かしの耐性度はほぼ同一であることが望ましい。ただし、ここで言う透かしの耐性度とは、印刷、撮像、補正処理等により生じる画質劣化に対する、透かしが抽出可能な最大の度合いのことである。
【００３３】
なお、イラスト画像７へ電子透かしを埋め込む電子透かし埋め込み装置３０の構成を説明する図を図５に示す。図５を参照して、電子透かし埋め込み装置３０は、画像形成部３１、商品識別情報電子透かしを埋め込む情報透かし埋め込み部３２、画質検出用電子透かしを埋め込む検査透かし埋め込み部３３、印刷部３４から成る。
【００３４】
元となる商品画像等のデジタル画像を画像形成部３１に入力する。画像形成部３１では、デジタル画像に拡大、縮小、切り出しなどを施し、各サービスにおいて定まる固定の画像サイズに加工する。その後、この加工デジタル画像を情報透かし埋め込み部３２へ送出する。情報透かし埋め込み部３２では、当該サービスにおける商品にかかる情報を、必要に応じて暗号化するなどして、電子透かし情報として加工デジタル画像に埋め込み、検査透かし埋め込み部３３へ送出する。検査透かし埋め込み部３３では、さらに画質検出用電子透かしを、情報透かし埋め込み部３２で用いた埋め込み方法と同じ透かし耐性をもつ方法で、所定位置に埋め込む。印刷部３４では、これらの処理を施されたデジタル画像の印刷を行う。なお、図５の例では、情報透かし埋め込み部３２の処理の後に、検査透かし埋め込み部３３の処理が行なわれている。これらの処理は、独立に行なう事ができるので、検査透かし埋め込み部３３の処理を情報透かし埋め込み部３２の処理の前に行なっても良い。
【００３５】
印刷物の対象としては、ポスター、雑誌、布（衣服、旗、幟、垂れ幕等）が考えられる。さらに、印刷物の対象として、ディスプレイ画面も含まれる。この場合には、図５における印刷部３４は、インターネット等を通じてディスプレイ画面へ表示する画像データとして保存する機能を有する「画像データベース」と変更することで、また「印刷物」は「画像表示」と変更することで、印刷物がディスプレイ画面の場合にも対応可能である。
【００３６】
次に、図３を参照して、前記カメラ付き携帯電話機２の構成は、撮像機能部であるＣＣＤカメラ２１、画像処理回路２２、各部動作の処理、判断、制御を行う制御回路２３、表示部であるＬＣＤ２４、サーバ等と外部通信を行う送受信部２５、キー入力などを行う操作部２６、前記画質検査用電子透かしを抽出する画質検出部２７から成る。
【００３７】
ＬＣＤ２４に表示された指示に従い操作部２６のキー入力により、ＣＣＤカメラ２１から撮像画像６が撮像される。画像処理回路２２において、撮像画像６からイラスト画像部分が切り出される。イラスト画像部分は、レンズ歪みや透視歪み、カメラと印刷物との距離などの影響により、一般にオリジナルであるイラスト画像７に対して歪みが大きい。そこで、画像処理回路２２では、電子透かしが抽出可能となるように、イラスト画像部分の歪み補正、色補正、拡大縮小処理等を行い、オリジナルのイラスト画像７に限りなく近付けた補正画像を作成する。
【００３８】
なお、オリジナルイラスト画像７の画像サイズは当該サービスにおいて固定なので、拡大縮小の割合が決定できる。なお、電子透かしを、パッチワーク法などを用いて、各画素間の差分値から抽出できるようにすることなどによって、撮像動作後の、輝度情報や色情報などの絶対的画素値の歪みの影響を考慮しないで済むようにしても構わない。
【００３９】
画質検出部２７では、画質検査用電子透かしの埋め込み位置を特定し、画像処理回路２２からの補正画像から画質検査用電子透かしを抽出する。そして、抽出の可否によって画質の良否の判断を行う。画質が良であれば、送受信部２５を通じてサーバ１へ補正画像を送信する。もし、画質が悪ければ、ＬＣＤ２４を通じて、クライアントに再撮像を促すメッセージ等を表示するなどする。
【００４０】
次に、図４を参照して、前記サーバ１の構成は、カメラ付携帯電話機２と通信を行う送受信部１１、商品識別情報電子透かしを抽出する透かし抽出部１５、商品、サービス情報等を蓄積している情報データベース１６、コンテンツＩＤなど抽出された商品識別情報から情報データベース１６の蓄積情報を読み出す情報データ索引部１７、各部動作の処理、判断、制御を行う制御部１８から成る。
【００４１】
送受信部１１を通じて、カメラ付携帯電話機２から送信された補正画像を受信し、透かし抽出部１５へ送出する。なお、サーバ１では商品識別情報電子透かしの埋め込み位置又は埋め込み方法等が既知である。よって、透かし抽出部１５では、これらの情報から商品識別情報電子透かしを抽出する。また、商品識別情報データは暗号化されていてもよく、その場合は透かし抽出部１５で復号動作も行い、商品識別情報を抽出する。その後、情報データ索引部１７において、情報データベース１６の蓄積情報から当該データを読み出し、顧客にサービスを提供する。
【００４２】
なお、上記のカメラ付き携帯電話機２、サーバ１の各構成を踏まえ、商品販売システム１００におけるカメラ付き携帯電話機２、サーバ１の各動作について、フローチャートを用いて説明する。まず、当該商品販売システム１００において商品購入サービスを受けたい場合には、それに対応したアプリケーションを携帯電話機上で起動させる。これにより当該サービスが開始される。
【００４３】
図６を参照して、カメラ付き携帯電話機２では、まず開始の段階で、サービスの案内などの表示をＬＣＤ２４に表示し、クライアントにカタログ等の撮像をするように促す。その後、ステップＳ１０１へ進む。
【００４４】
ステップＳ１０１においては、クライアントがカメラ付き携帯電話機２のシャッターのキーを押すことで撮像動作が行われる。この後、ステップＳ１０２へ進む。なお、シャッターキーが押されなければ、シャッターキーが押されるまで、前記サービスの案内などの表示を維持したまま、ステップＳ１０１にそのまま留まる。
【００４５】
ステップＳ１０２においては、ＣＣＤカメラから出力された信号から、画像を生成し、メモリに保存する。
【００４６】
ステップＳ１０３においては、エッジ抽出処理などを施して画像の領域（画像フレーム）を判定し、撮像画像から背景を取り除き、イラスト画像部分を取り出す。
【００４７】
ステップＳ１０４においては、イラスト画像上における画質検査用電子透かしの埋め込み位置を特定し、電子透かしの埋め込み方法に応じた処理によって画質検査用電子透かしの抽出を行う。なお、イラスト画像部分は、歪みにより一般にオリジナルイラスト画像７との差異が大きいので、ステップＳ１０４において、前述のように補正を施した画像を画像処理回路２２が作成し、画質検出部２７において画質検査用電子透かしの抽出をする。
【００４８】
ステップＳ１０５においては、ステップＳ１０４で抽出された電子透かしデータが予め設定されたデータにマッチングするかどうかを判定し、ステップＳ１０４において画質検査用電子透かしが正しく抽出されたかの判断を行う。マッチングが成功した場合は、抽出が成功であるとしてステップＳ１０７へ進む。マッチングが失敗した場合は、抽出が失敗であるとしてステップＳ１０６へ進む。
【００４９】
ステップＳ１０６においては、画質検査用電子透かしが正しく抽出されなかったことから、再撮像を促す指示をＬＣＤ２４に表示して、ステップＳ１０１へ戻る。
【００５０】
ステップＳ１０７においては、上述の補正画像に圧縮をかけるなどした後、当該画像データをサーバ１へ送信する。
【００５１】
ステップＳ１０８においては、当該サービス提供において、カメラ付携帯電話機２にかかる作業を終了したので、その旨などの表示をＬＣＤ２４に表示し、カメラ付携帯電話機２における動作を終了する。
【００５２】
次に、サーバ１の動作について説明する。図７を参照して、当該サーバ１側での動作は、カメラ付き携帯電話機２から送信されてきた画像を受信することで開始される。
【００５３】
ステップＳ２０１においては、受信した圧縮補正画像の復号処理など、前処理を行う。
【００５４】
ステップＳ２０２においては、受信した補正画像から商品識別情報電子透かしの抽出を行う。なお、前述のように商品識別情報電子透かしの埋め込み位置はサーバ側では既知である。
【００５５】
ステップＳ２０３においては、電子透かしの抽出が成功したかどうかを、電子透かしのＣＲＣ(Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ)符号などを用いて判定する。抽出が成功の場合はステップＳ２０５へ進む。抽出が失敗の場合はステップＳ２０４へ進む。
【００５６】
ステップＳ２０４においては、商品識別情報電子透かしが正しく抽出されなかったことから、再撮像を促す表示をする旨等をカメラ付携帯電話機２へ指示し、当該サーバ１での動作を終了する。
【００５７】
ステップＳ２０５においては、商品識別情報を基に情報データベースへアクセスし、当該商品の情報を検索する。
【００５８】
ステップＳ２０６においては、クライアントの商品購入処理やサービス、情報の提供等を行い、当該サービス終了の処理を行う。
【００５９】
ステップＳ２０７においては、当該商品購入サービスを正常に終了した旨等を通知する。また、商品識別情報電子透かしが正しく抽出されたことから、成功の旨等をカメラ付携帯電話機２へ通知しても良い。その後、次段の「終了」へ進む。
【００６０】
さて、イラスト画像７における、画質検出用電子透かしの埋め込み位置や、商品識別情報電子透かしと画質検出用電子透かしの埋め込み位置の位置関係などによっては、カメラ付携帯電話機２で画質検出用電子透かしが抽出できなかったり、また、カメラ付携帯電話機２で画質検出用電子透かしが抽出できたとしてもサーバ１で商品識別情報電子透かしが抽出できなかったりする場合も起こりうる。すなわち、イラスト画像７における、商品識別情報電子透かし、および画質検出用電子透かしの埋め込み位置等によって、サーバ１側における当該商品識別情報電子透かしの読み出し成功率が決まる。
【００６１】
そこで、以下において、商品識別情報電子透かし、および画質検出用電子透かしの埋め込み位置について、これらを考慮した形態を示す。以下では、形態１ないし３について述べる。便宜上、画質検出用電子透かしとして１００１０１１０の８ビットデータを用いる。
【００６２】
なお、画質検出用電子透かしおよび商品識別情報電子透かしは、例えば、各々の１ビットの情報をそれぞれ、Ｎ画素×Ｎ画素のブロックに割り当てるようにして埋め込まれている。すなわち、画質検出用電子透かしの場合には、１つのブロックに対し前記８ビットデータ中の1ビットが割り当てられる。ここで、当該１ビットは、１ブロックを構成する全ての画素（N画素×N画素）の画素値データ中にそれぞれ埋め込まれる。なお、当該１ビットについて、複数のブロックを使用してもよい。また、各ブロックの大きさは同一である必要はない。
【００６３】
当該１ビットの埋め込み方は、画質への影響やノイズによる影響を考慮して設定される。例えば、前述のパッチワーク法などを用いて埋め込む。なお、パッチワーク法などを用いてビット情報を埋め込む際に重み付けを行う場合もあるが、例えば、この重みは全ブロックについて同一としてもよく、また、視覚モデルなどを用いて、ブロック毎に異なるように設定しても良い。視覚モデルを用いることで、視覚劣化の少ない透かしの埋め込みが実現できる。
【００６４】
（形態１）
図８を参照して、イラスト画像７には、商品識別情報電子透かしと、画質検出用電子透かしが一つずつ埋め込まれている。このうち、画質検出用電子透かしの埋め込み位置は、上記の如く、カメラ付き携帯電話機２において把握されている。
【００６５】
ところで、画質検出用電子透かしが商品識別情報電子透かしから離れた位置に埋め込まれている場合、両透かしが埋め込まれている画像領域に加えられる歪み量が異なる可能性が高い。そのため、画質検出用電子透かしが抽出できたにも関わらず、商品識別情報電子透かしが抽出できないといった場合が起こりうる。そこで、本形態１では、図８に示すように、画質検出用電子透かしと商品識別情報電子透かしを、秘密性が高い場合であれば商品識別情報電子透かしの位置の秘密性を損なわない程度で、なるべく近い位置に埋め込むようにしている。こうすると、画質検出用電子透かしの埋め込み位置と商品識別情報電子透かしの埋め込み位置における撮像画像の画質に、それほど大きな差異は生じることはない。よって、画質検出用電子透かしが抽出できれば、商品識別情報電子透かしも同様に抽出できると判断できる。
【００６６】
なお、本形態１における撮像およびサーバ１に対する通信時の動作フローは、上述の図６に示す動作フローと同様である。すなわち、ステップＳ１０３にてイラスト画像７が切り出された後、ステップＳ１０４にて、歪補正および色補正が行われ、さらに、補正後の画像について、画質検出用電子透かしの埋め込み位置をもとに電子透かしの抽出処理が行われる。そして、抽出された電子透かし情報が、埋め込み時の情報値、すなわち、１００１０１１０の８ビットデータにマッチングするかを、ステップＳ１０５にて判別し、この判別結果に応じて、補正後の画像データをサーバ１に送信する処理（ステップＳ１０７）と、再撮像をクライアントに要求表示する処理（ステップＳ１０６）の何れかが行われる。
【００６７】
具体的には、抽出した電子透かし情報の各ビット値が、１００１０１１０の８ビットデータの各ビット値に全て一致する場合には、ステップＳ１０７にて、サーバ１への送信を行い、何れか１ビットでも値に誤りがあれば、サーバ１への送信を行わず、ステップＳ１０６にて、クライアントに対する再撮像指示を行う。
【００６８】
（形態２）
図９を参照して、イラスト画像７には、商品識別情報電子透かしと画質検出用電子透かしの組が複数の位置に組み込まれている。ここで、それぞれの商品識別情報電子透かしは一様に同じ情報を保持しており、また、それぞれの画質検出用電子透かしは一様に同じ情報（１００１０１１０の８ビットデータ）を保持している。なお、各組の商品識別情報電子透かしと画質検出用電子透かしは、上記形態１と同様、秘密性が高い場合であれば商品識別情報電子透かしの位置の秘密性を損なわない程度に、互いに接近した位置に埋め込まれている。また、それぞれの画質検出用電子透かしの埋め込み位置は、カメラ付き携帯電話機２において把握されている。
【００６９】
上記形態１のように、商品識別情報電子透かしと画質検出用電子透かしの組が一つのみイラスト画像７に埋め込まれている場合には、カメラの撮像位置、撮像距離、撮像角度によっては画質検出用電子透かしが抽出できずに、何度も撮像せねばならない場合が起こりうる。本形態２では、商品識別情報電子透かしと画質検出用電子透かしの組を複数の位置に組み込むようにすることにより（同図では４組）、上記形態１に比して、カメラ付き携帯電話機２の撮像位置、撮像角度および撮像方向等に依存せず、画質検出用電子透かしの抽出ができる可能性が高まる。つまり、複数の画質検出用電子透かしのうち少なくとも一つが適正に抽出できれば、これと組をなす商品識別情報電子透かしも適正に抽出できる可能性が高い。すなわち、本形態２では、複数の画質検出用電子透かしのうち少なくとも一つが適正に抽出できれば、当該撮像画像中に埋め込まれている商品識別情報電子透かしも適正に抽出できると判定して、サーバ１に対する画像データの送信を実行する。
【００７０】
なお、どの商品識別情報電子透かしがサーバ１で抽出可能であるかをサーバ１に通知する目的で、どの画質検出用電子透かしが適正に抽出できたかをサーバ１に併せて通知するようにしてもよい。例えば、当該画質検出用電子透かしの識別情報等をサーバ１に通知してもよい。こうすることで、サーバ１では、当該画質検出用電子透かしに対応する商品識別情報電子透かしが抽出可能であることが分かり、それに対して選択的に抽出処理を行うことができる。
【００７１】
なお、本形態２における撮像およびサーバ１に対する通信時の動作フローは、基本的に、上述の図６に示す動作フローと同様である。すなわち、ステップＳ１０３にてイラスト画像７が切り出された後、ステップＳ１０４にて、歪補正および色補正が行われ、さらに、補正後の画像について、画質検出用電子透かしの埋め込み位置をもとに電子透かしの抽出処理が行われる。かかる抽出処理は、イラスト画像７上における全ての画質検出用電子透かしの埋め込み位置に対して行われる。
【００７２】
そして、抽出されたそれぞれの電子透かし情報が、埋め込み時の情報値、すなわち、１００１０１１０の８ビットデータにマッチングするかを、ステップＳ１０５にて判別する。かかる判別は、上記形態１と同様、抽出したそれぞれの電子透かし情報の各ビット値が、１００１０１１０の８ビットデータの各ビット値に全て一致するかによって行う。そして、抽出したそれぞれの電子透かし情報のうち少なくとも一つがマッチングしていれば、ステップＳ１０７にて、サーバ１への送信を行い、抽出した全ての電子透かし情報が何れもマッチングしていなければ、サーバ1への送信を行わず、ステップＳ１０６にて、クライアントに対する再撮像指示を行う。
【００７３】
（形態３）
図１０（ａ）を参照して、イラスト画像７には、商品識別情報電子透かしが秘密の位置に１つ埋め込まれ、また、画質検出用電子透かしがイラスト画像７の領域の４つの角位置に埋め込まれている。このうち、画質検出用電子透かしの埋め込み位置は、上記の如く、カメラ付き携帯電話機２において把握されている。
【００７４】
このように、角位置に画質検出用電子透かしを埋め込むことにより、カメラ付き携帯電話機２の撮像条件等によらず、撮像画像の画質評価を適正に行うことができる。つまり、電子透かしを読み取るのに最も悪条件である角位置に配置されている画質検出用電子透かしを全て読み取れたならば、商品識別情報電子透かしが画像内のどの位置に埋め込まれていようとも読み取れる可能性が高いと判断できる。すなわち、こうすることで、画質検出用電子透かしが４つとも抽出できた場合には、イラスト画像７において、それら４つの画質検出用電子透かしの埋め込まれた部分を頂点とする四角形内部では、電子透かし情報の抽出が可能であるということになる。よってこの場合には、サーバ１において商品識別情報電子透かしの抽出に失敗する可能性が低いといえる。
【００７５】
なお、本形態３においては、同図（ｂ）を参照して、画質検出用電子透かしを４つ用いずに、２つだけ用いてイラスト画像７の画像の上方の２つの角にのみ埋め込む形態でもよい。大抵の場合では、イラスト画像７を正面方向から見て（同図の下方から）撮影するケースが多いと考えられるので、ワーストケース、すなわちカメラからの距離が最大となりうるイラスト画像７の画像の上方の２つの角に埋め込まれた電子透かしが抽出できたならば、イラスト画像７のどの位置に埋め込まれている電子透かしも抽出が可能であると判断できる。よって、同図のように画質検出用電子透かしを2つ埋め込んでおけば、通常は、適正に画質評価を行うことができる。
【００７６】
本形態３における撮像およびサーバ１に対する通信時の動作フローは、基本的に、上述の図６に示す動作フローと同様である。すなわち、ステップＳ１０３にてイラスト画像７が切り出された後、ステップＳ１０４にて、歪補正および色補正が行われ、さらに、補正後の画像について、画質検出用電子透かしの埋め込み位置をもとに電子透かしの抽出処理が行われる。かかる抽出処理は、ラスト画像７上における全ての画質検出用電子透かしの埋め込み位置に対して行われる。
【００７７】
そして、抽出されたそれぞれの電子透かし情報が、埋め込み時の情報値、すなわち、１００１０１１０の８ビットデータにマッチングするかを、ステップＳ１０５にて判別する。かかる判別は、上記形態１と同様、抽出したそれぞれの電子透かし情報の各ビット値が、１００１０１１０の８ビットデータの各ビット値に全て一致するかによって行う。そして、抽出したそれぞれの電子透かし情報の全てが埋め込み時のビットデータにマッチングしていれば、ステップＳ１０７にて、サーバ１への送信を行い、何れか一つでもマッチングしていなければ、サーバ１への送信を行わず、ステップＳ１０６にて、クライアントに対する再撮影指示を行う。
【００７８】
ところで、上記では画質検出用電子透かしおよび商品識別情報電子透かしを、Ｎ画素×Ｎ画素のブロックの全画素の画素値の定められたビット位置へ埋め込んだが、ＤＣＴ係数その他の空間周波数領域における係数において定められたビットへ埋め込んでも構わない。ただし、この場合はノイズの影響や原画像への影響を考え、低周波数領域、高周波数領域に電子透かしを埋め込む場合は注意を要する。
【００７９】
次に、上記実施形態にて説明されている画像歪み補正の具体的手法について説明する。図１１を参照して、撮影イラスト画像７０は、前記のように、レンズ歪み、透視歪みなどによりオリジナル画像に対して歪みが生じている。具体的には、台形状歪み、樽状歪み等が複合して生じている。この場合、撮影イラスト画像７０をいくつかのブロックに分割し、各ブロックについて補正を行う事で、全体としての補正を行う。ブロックを多数取り、ブロックの大きさを小さくすることで、線形性を考慮して扱う場合に誤差が少なくなる。
【００８０】
同図では、撮影イラスト画像７０を縦方向に３ブロック、横方向に４ブロックの計１２ブロックに分割している。まず、撮影イラスト画像７０がエッジ検出等により、撮影画像６から分離される。この時、撮影イラスト画像７０の４頂点が求まる（同図中の“△”印）。また、各エッジ上の点を用いて、エッジをスプライン近似することでエッジ７１、７２、７３、７４と、各エッジの長さＬ１、Ｌ２、Ｌ３、Ｌ４を求めることが可能となる。このことから、エッジ７１、７３上の３等分点、エッジ７２、７４上の４等分点が求まる（同図中の“○”印）。
【００８１】
以上の、頂点、３等分点、４等分点は前記の１２ブロックの頂点に属する。また、イラスト画像７０のエッジ、および上述の点の情報を用いてスプライン近似することで、１２のブロックに分けることができ、１２ブロックの各頂点における未判明の点も求まる（同図中の“◎”印）。以上から、各ブロックの補正に使用する情報が求まり、ブロック１〜１２について画素補完等による補正計算を行う。なお、これらの技術は、特願２００３−３９７５０２に詳細に記載されている。
【００８２】
以上、本発明に係る実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。
【００８３】
例えば、上記実施形態では、商品識別情報電子透かしの抽出をサーバ１側で行うようにしたが、この抽出をカメラ付き携帯電話機２側で行い、抽出後の商品識別情報をサーバ１側に送信するようにしても良い。なお、この場合には、カメラ付き携帯電話機２側での商品識別情報電子透かし情報の秘匿性を確保する必要がある場合には、透かしに関する情報等に高度の暗号化処理を施すなどの処置が必要となる。また、たとえば、物理的に秘匿性が保護された回路モジュールであるＴＲＭ（Ｔａｍｐｅｒ−Ｒｅｓｉｓｔａｎｔ−Ｍｏｄｕｌｅ）等を用いて、商品識別情報電子透かし情報の抽出と送信を行うようにし、さらに、ＴＲＭ外部のデータバスなどには絶対に当該秘匿性の高いデータを非暗号化データのままで出力しない、とする措置も必要となってくる。
【００８４】
この場合の、カメラ付き携帯電話機２の構成を図１２に、サーバ１の構成を図１３に示す。透かし抽出部２８がカメラ付き携帯電話機２内に搭載されており、一方、サーバ１内には上記実施形態と異なり透かし抽出機能が搭載されていない。透かし抽出部２８の機能は、透かし抽出部１５と同じであり、商品識別情報電子透かしを抽出する。
【００８５】
この場合、図6の動作フローチャートは、画質検出部２７で画質検査用電子透かしが抽出できたことに応じて、透かし抽出部２８で補正画像から商品識別電子透かしの抽出を行い、抽出が成功した場合は、抽出の結果取得された商品識別情報データを送受信部２５を通じてサーバ１へ送信する、という流れに変更となる。この点で、カメラ付き携帯電話機２の動作は、上記実施形態におけるカメラ付き携帯電話機２と異なる。
【００８６】
一方、サーバ１では、送受信部１１を通じて、カメラ付き携帯電話機２からの商品識別情報データを受信して、該商品識別情報データを用いて情報データ索引部１７において、情報データベース１６の蓄積情報から当該データを読み出し、顧客にサービスを提供する。この点でサーバ１の動作は、上記実施形態におけるサーバ１と異なる。
【００８７】
なお、上記実施形態にて示した構成ないし機能は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラム等によって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されうるところである。
【００８８】
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【図面の簡単な説明】
【００８９】
【図１】実施の形態に係る商品販売システムの構成図である
【図２】実施の形態に係る印刷物を説明する図である
【図３】実施の形態に係るカメラ付き携帯電話機の構成を説明するブロック図である
【図４】実施の形態に係るサーバの構成を説明するブロック図である
【図５】実施の形態に係る電子透かし埋め込み装置の構成を説明するブロック図である
【図６】実施の形態に係るカメラ付き携帯電話機の動作を説明するフローチャートである
【図７】実施の形態に係るサーバの動作を説明するフローチャートである
【図８】実施の形態に係る一形態の印刷物の図である
【図９】実施の形態に係る一形態の印刷物の図である
【図１０】実施の形態に係る一形態の印刷物の図である
【図１１】実施の形態に係る画像歪み補正について説明する図である
【図１２】実施の形態に係る別の形態のカメラ付き携帯電話機の構成を説明するブロック図である
【図１３】実施の形態に係る別の形態のサーバの構成を説明するブロック図である
【符号の説明】
【００９０】
１  サーバ
２  カメラ付き携帯電話機
３  印刷物
７  イラスト画像
１１  送受信部
１５  透かし抽出部
２１  ＣＣＤ
２２  画像処理回路
２５  送受信部
２７  画質検出部
２８  透かし抽出部
３２  情報透かし埋め込み部
３３  検査透かし埋め込み部
１００  商品販売システム
【図１】
2006050010.tif 000003
【図２】
2006050010.tif 000004
【図３】
2006050010.tif 000005
【図４】
2006050010.tif 000006
【図５】
2006050010.tif 000007
【図６】
2006050010.tif 000008
【図７】
2006050010.tif 000009
【図８】
2006050010.tif 000010
【図９】
2006050010.tif 000011
【図１０】
2006050010.tif 000012
【図１１】
2006050010.tif 000013
【図１２】
2006050010.tif 000014
【図１３】
2006050010.tif 000015