(57)【要約】    【課題】  いずれの画像に電子透かしが埋め込まれているかを明確にするとともに、その撮像方向をガイドすることのできる装置を提供する。    【解決手段】  ユーザは、撮像部２によって、電子透かしによって目的データが埋め込まれた絵柄（対象物）１６の含まれた印刷物１２を撮像する。撮像部２によって撮像された画像は、撮像画像表示手段４によって、表示部８に表示される。特徴画像手段６は、目的データが埋め込まれた絵柄の特徴図形を、表示部８に重ねて表示する。これにより、ユーザは、いずれの絵柄に目的データが埋め込まれているかを容易に知ることができ、さらに、撮像画像に重ねて表示された特徴図形に、撮像された絵柄を合わせることで、正しい方向、正しい大きさ、ただし位置において撮像を行うことができる。目的データ抽出手段１０は、このようにして撮像された絵柄から、電子透かしとして埋め込まれた目的データを抽出する。【選択図】  図１
2016082469.tif 000002
【特許請求の範囲】
【請求項１】
電子透かしによって目的データの埋め込まれた対象物を撮像して、目的データを抽出するための撮像抽出装置であって、
前記対象物を撮像するための撮像部と、
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段と、
対象物の撮像画像から目的データを抽出する目的データ抽出手段と、
を備え、
前記特徴画像は回転対称でないことを特徴する撮像抽出装置。
【請求項２】
電子透かしによって目的データの埋め込まれた対象物を撮像して、目的データを抽出するための撮像抽出装置を、コンピュータによって実現するための撮像抽出プログラムであって、コンピュータを
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段と、
対象物の撮像画像から目的データを抽出する目的データ抽出手段として機能させるための撮像抽出プログラムにおいて、
前記特徴画像は回転対称でないことを特徴とする撮像抽出プログラム。
【請求項３】
電子透かしによって目的データの埋め込まれた対象物を撮像するための撮像装置であって、
前記対象物を撮像するための撮像部と、
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段と、
を備え、
前記特徴画像は回転対称でないことを特徴とする撮像装置。
【請求項４】
電子透かしによって目的データの埋め込まれた対象物を撮像するための撮像装置を、コンピュータによって実現するための撮像プログラムであって、コンピュータを
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段として機能させるための撮像プログラムにおいて、
前記特徴画像は回転対称でないことを特徴とする撮像プログラム。
【請求項５】
請求項１〜４の装置またはプログラムにおいて、
前記特徴画像は、さらに、前記対象物の回転対称ではない要素を少なくとも含むことを特徴とする装置またはプログラム。
【請求項６】
請求項１〜５の装置またはプログラムにおいて、
前記特徴画像は、次のいずれかであることを特徴とする装置またはプログラム。
1)対象物の輪郭線
2)対象物が動物の絵である場合、目、鼻または口の輪郭線もしくはこれらの組合せ
3)対象物である絵に重ねて表示された文字、図形または記号もしくはこれらの組合せ
4)対象物と同じ絵であって、透過性のある絵。
【請求項７】
請求項１〜６のいずれかの装置またはプログラムにおいて、
前記撮像画像表示手段は、撮像画像における対象物が前記特徴画像と合致するように、撮像画像を拡大、縮小、回転することを特徴とする装置またはプログラム。
【請求項８】
請求項１〜７のいずれかの装置またはプログラムにおいて、
前記特徴画像表示手段は、撮像された対象物に目的データが埋め込まれていれば、当該対象物の撮像画像に基づいて、特徴画像を生成することを特徴とする装置またはプログラム。
【請求項９】
対象物を撮像するための撮像装置であって、
前記対象物を撮像するための撮像部と、
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段と、
を備え、
前記特徴画像は回転対称でないことを特徴とする撮像抽出装置。
【請求項１０】
対象物を撮像するための撮像装置を、コンピュータによって実現するための撮像プログラムであって、コンピュータを
撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、
前記対象物の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段として機能させるための撮像プログラムにおいて、
前記特徴画像は回転対称でないことを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子透かしなどによって目的データの埋め込まれた対象物を撮像して、目的データを抽出する装置に関するものである。
【背景技術】
【０００２】
電子透かし、ＱＲコード（商標）など、目的とするデータが埋め込まれた対象物を画像として読み取って、目的データを抽出する装置が用いられている。たとえば、カメラ付きのスマートフォンが、このような装置として使用されている。撮像中の画像をディスプレイにて確認しながら、適切な位置、大きさにＱＲコード（商標）などをとらえることで、コード読み取りアプリケーションが目的データを抽出する。
【０００３】
このとき、Ｑコードなどの画像が大きすぎても、小さすぎても読み取りができず、また画面における所定の位置（通常の中央付近）に収まっていなければ正しい読み取りができないという問題がある。しかしながら、ＱＲコード（商標）を適切な位置、大きさにて撮像することは、必ずしも容易ではない。
【０００４】
このような問題を解決するため、たとえば、特許文献１には、図１２Ａ、図１２Ｂに示すように、撮像中の画像にマーカ１０２やマーカ１０４を重ねて表示し、これによって位置合わせを行いやすくしたものが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５０５５４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＱＲコード（商標）は、定められた方向とは違った方向から撮像したとしても（たとえば、９０度回転した状態で撮像したとしても）、ＱＲコード（商標）自体に方向を示すマークが付されているので、画像回転処理によって正確にコード読み取りを行うことができる。
【０００７】
また、読み取り対象であるＱＲコード（商標）は、その特異なデザインから他の絵や文字とは明瞭に区別することができるので、どの場所を読み取ればいいのかも明確である。
【０００８】
しかしながら、電子透かしによって目的とするデータが埋め込まれた画像においては、いずれの画像に目的データ埋め込まれているかを目視で判断することは難しい。このため、それらしい画像を次々と撮像してみないと、目的データがあるかどうか判明しないという問題があった。
【０００９】
また、電子透かしの場合、ＱＲコード（商標）のように、コード自体に方向を示すマークが付されているわけではないので、正しい方向から撮像しなければならないという問題もあった。
【００１０】
この発明は、上記のような問題を解決して、いずれの画像に電子透かしが埋め込まれているかを明確にするとともに、その撮像方向をガイドすることのできる装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る撮像抽出装置または撮像装置の独立して採用可能ないくつかの特徴を以下に示す。
【００１２】
(1)(2)この発明に係る撮像抽出装置は、電子透かしによって目的データの埋め込まれた対象物を撮像して、目的データを抽出するための撮像抽出装置であって、前記対象物を撮像するための撮像部と、撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段と、対象物の撮像画像から目的データを抽出する目的データ抽出手段とを備え、前記特徴画像は回転対称でないことを特徴している。
【００１３】
したがって、いずれの画像に目的データが埋め込まれているかを容易に判断でき、さらに、撮像時にその方向も含めて正しく撮像することが容易となる。
【００１４】
(3)(4)この発明に係る撮像装置は、電子透かしによって目的データの埋め込まれた対象物を撮像するための撮像装置であって、前記対象物を撮像するための撮像部と、撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、前記対象物または前記対象物近傍の画像の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段とを備え、前記特徴画像は回転対称でないことを特徴している。
【００１５】
したがって、いずれの画像に目的データが埋め込まれているかを容易に判断でき、さらに、撮像時にその方向も含めて正しく撮像することが容易となる。
【００１６】
(5)この発明に係る装置は、特徴画像が、さらに、前記対象物の回転対称ではない要素を少なくとも含むことを特徴としている。
【００１７】
したがって、より正確に撮像時の方向を正しいものとすることができる。
【００１８】
(6)この発明に係る装置は、特徴画像は、次のいずれかであることを特徴としている。1)対象物の輪郭線、2)対象物が動物の絵である場合、目、鼻または口の輪郭線もしくはこれらの組合せ、3)対象物である絵に重ねて表示された文字、図形または記号もしくはこれらの組合せ、4)対象物と同じ絵であって、透過性のある絵。
【００１９】
したがって、撮像画像の位置合わせをするための特徴画像を適切に生成することができる。
【００２０】
(7)この発明に係る装置は、撮像画像表示手段が、撮像画像における対象物が前記特徴画像と合致するように、撮像画像を拡大、縮小、回転することを特徴としている。
【００２１】
したがって、ユーザが撮像部を移動させなくとも、撮像画像を特徴画像に合致させることができる。
【００２２】
(8)この発明に係る装置は、特徴画像表示手段が、撮像された対象物に目的データが埋め込まれていれば、当該対象物の撮像画像に基づいて、特徴画像を生成することを特徴としている。
【００２３】
したがって、予め特徴画像を記録しておかなくとも、本件発明を実施することができる。
【００２４】
(9)(10)この発明に係る撮像装置は、対象物を撮像するための撮像装置であって、前記対象物を撮像するための撮像部と、撮像部によって撮像されている撮像画像を表示部に表示させる撮像画像表示手段と、前記対象物の特徴画像を、前記撮像画像に重ねて表示する特徴画像表示手段とを備え、前記特徴画像は回転対称でないことを特徴する撮像装置。
【００２５】
「撮像画像表示手段」は、実施形態においては、ステップＳ１がこれに対応する。
【００２６】
「特徴画像手段」は、実施形態においては、ステップＳ３がこれに対応する。
【００２７】
「目的データ抽出手段」は、実施形態においては、ステップＳ４がこれに対応する。
【００２８】
「目的データが埋め込まれた」とは、人間が感知できる状態もしくは感知できない状態で、目的とするデータが、電子透かしなどによって埋め込まれていることをいう。
【００２９】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００３０】
【図１】この発明の一実施形態による撮像抽出装置の機能ブロック図である
【図２】撮像抽出装置のハードウエア構成である。
【図３】撮像抽出プログラム４６のフローチャートである。
【図４】絵柄５２の印刷された絵本５０の例である。
【図５】タッチパネル３４に表示された特徴画像６４を示す図である。
【図６】撮像画像６６と特徴画像６４の重なりを示す図である。
【図７】表示された内容データの例である。
【図８】内容ＩＤと内容データを対応付けて記録したテーブルの例である。
【図９】他の例による特徴画像６４の例である。
【図１０】他の特徴画像６４の例である。
【図１１】他の実施形態を示す図である。
【図１２】従来のＱＲコード（商標）のためのガイドを示す図である。
【発明を実施するための形態】
【００３１】
１．全体構成
図１に、この発明の一実施形態による撮像抽出装置の機能ブロック図を示す。ユーザは、撮像部２によって、電子透かしによって目的データが埋め込まれた絵柄（対象物）１６の含まれた印刷物１２を撮像する。撮像部２によって撮像された画像は、撮像画像表示手段４によって、表示部８に表示される。
【００３２】
この時、特徴画像手段６は、目的データが埋め込まれた絵柄の特徴画像を、表示部８に重ねて表示する（撮像画像１４を参照）。これにより、ユーザは、いずれの絵柄に目的データが埋め込まれているかを容易に知ることができ、さらに、撮像画像に重ねて表示された特徴画像に、撮像された絵柄を合わせることで、正しい方向、正しい大きさ、ただし位置において撮像を行うことができる。
【００３３】
目的データ抽出手段１０は、このようにして撮像された絵柄から、電子透かしとして埋め込まれた目的データを抽出する。
【００３４】
２．ハードウエア構成
図２に、この発明の一実施形態による撮像抽出装置のハードウエア構成を示す。この実施形態では、カメラ付きスマートフォンを撮像抽出装置としている。ＣＰＵ３０には、メモリ３２、タッチパネル３４（タッチによる入力機能を有するディスプレイ）、不揮発性メモリ３６、通信回路３８、カメラ４０が接続されている。なお、電話機能に関するハードウエアについては省略している。
【００３５】
通信回路３８は、インターネットに接続するための回路である。ハードディスク３６には、オペレーティングシステム４４、撮像抽出プログラム４６が記録されている。撮像抽出プログラム４６は、オペレーティングシステム４４と協働してその機能を発揮する。これらプログラムは、インターネットを介してダウンロードされ、ハードディスク３６にインストールされたものである。
【００３６】
３．撮像抽出処理
図３に、撮像抽出プログラム４６のフローチャートを示す。ＣＰＵ３０は、撮像抽出プログラム４６が起動されると、予めハードディスク３６に記録されている特徴画像をタッチパネル３４に表示する（ステップＳ１）。図５に、スマートフォン６０のタッチパネル３４に表示された特徴画像６４の例を示す。この例では、スマートフォンの画像の特徴を表す画像が表示されている。また、この実施形態では、特徴画像６４は、回転対称にならないような画像としている。これにより、撮像画像を位置合わせする際に、方向も含めて正しく合わせることができる。
【００３７】
ユーザは、スマートフォン６０のカメラ４０によって、図４に示す絵本のページに示されている絵柄５２（対象物）を撮像する。ＣＰＵ３０は、撮像された画像を取得する（ステップＳ２）。さらに、ＣＰＵ３０は、撮像画像６６と特徴画像６４を重ねて表示する（ステップＳ３）。図６に、撮像画像６６に特徴画像６４を重ね合わせて表示する例を示す。特徴画像６４は、タッチパネル３４においての表示位置が固定されている。撮像画像６６は、ユーザによるカメラ４０の向きや距離などの操作によって変化する。ユーザは、撮像画像６６において捉えられている絵柄５２が、特徴画像６４に重なるようにカメラの向きや位置を変更する。
【００３８】
この時、特徴画像６４がタッチパネル３４に表示されているので、どの絵柄を撮像すればよいのかを容易に知ることができる。また、特徴画像６４は、回転対称になっていないので、正しい撮像の方向も知ることができる。加えて、この実施形態では、特徴画像６４を線分で表し、その他の部分は透明（透過性がある）としている。したがって、撮像画像６６を特徴画像６４に重ねる時に、撮像画像６６の確認が容易であり操作を行いやすい。
【００３９】
ＣＰＵ３０は、撮像画像６６に基づいて、これから目的データを抽出する処理を行う（ステップＳ４）。たとえば、人の目には知覚しにくい高周波領域（空間周波数）において目的データを埋め込むなどの手法によって電子透かしを実現することができる。
【００４０】
電子透かしの生成方法としては、画像のノイズ部分に人間の目では識別不可能な透かし情報を埋め込む、類似の画像成分が連続する部分に人間の目では識別不可能な透かし情報を埋め込む、量子化ノイズ成分の一部分に人間の目では識別不可能なノイズ成分から構成された透かし情報を埋め込むなどを用いることができる。あるいは、画像の空間周波数の高い領域に、一定のパターンで画像に対する微量の変更を加えることにより、人間の目では識別が困難な透かし情報を埋め込むといった方法を用いることもできる。画像に対する微量の変更を加える対象としては、画像の輝度情報を用いることができる。
【００４１】
撮像画像６６において絵柄５２が所定の大きさ、所定の方向で捉えられていれば、ＣＰＵ３０は、絵柄５２に電子透かしとして埋め込まれた目的データを抽出することができる。一方。撮像画像６６に絵柄５２が含まれていなかったり、含まれていても小さすぎたり、傾いていたりする場合には、ＣＰＵ３０は、目的データを抽出することができない。
【００４２】
目的データが抽出できない場合、ＣＰＵ３０は、ステップＳ１以下を繰り返し実行する。
【００４３】
目的データが抽出できた場合、ＣＰＵ３０は、予め定められたサーバ装置（図示せず）にアクセスする（ステップＳ６）。このアクセスの際に、抽出した目的データをサーバ装置に送信する。この実施形態では、目的データとして、内容ＩＤを記述するようにしている。
【００４４】
サーバ装置はこれを受けて、当該内容ＩＤに対応して予め記録されている内容データを読み出し、スマートフォン６０に返信する。図８に、サーバ装置に記録されたテーブルを示す。内容ＩＤに対応して、内容データが記述されている。スマートフォン６０から、「００００１」の内容ＩＤが送信されてくれば、内容データ「観覧車が回っているね・・・」を返信することになる。
【００４５】
ＣＰＵ３０は、この内容データを受信して、タッチパネル３４に表示する（ステップＳ７）。このようにして、スマートフォン６０に表示された内容データの例を、図７に示す。母親などが、子供のために絵本を読んでいるときに、母親がその絵の説明をスマートフォン６０にて見ることができる。
【００４６】
４．その他
(1)上記実施形態では、目的データとして内容ＩＤを記述するようにしている。しかし、直接的に内容データを目的データとして埋め込むようにしてもよい。このようにすれば、サーバ装置との通信は行う必要がない。
【００４７】
(2)上記実施形態では、図７に示すようにスマートフォン６０に文字を表示するようにしている。しかし、スマートフォン６０から音声を出すようにしてもよい。たとえば、象の絵に対応して象の鳴き声を音声にて出力するようにしてもよい。この場合も、上記(1)と同じように、内容ＩＤをサーバ装置に送信し、これに対応する音声データをスマートフォン６０で受信してもよいし、音声データ自体を目的データとして埋め込むようにしてもよい。
【００４８】
また、テキストデータをスマートフォン６０の側で音声に変換して、出力するようにしてもよい。
【００４９】
(3)上記実施形態では、絵本を例にとって説明したが、通常の本など印刷物一般に適用することができる。また、印刷物だけでなく、ＴＶ放送の画面や、インターネットにて配信される動画、静止画などにおいて適用することもできる。
【００５０】
(4)上記実施形態では、抽出した目的データに基づいて内容データを取得しこれを表示する用にしている。つまり、目的データは内容データ取得のために用いられている。しかし、抽出した目的データは、その他のアプリケーションに渡すなどして、当該他のアプリケーションが持つ目的を達成するために用いるようにしてもよい。
【００５１】
(5)上記実施形態では、特徴画像として回転対称ではない画像を用いている。これは、対象物（目的データの埋め込まれた画像）をその方向も含めて正しく捉えるためである。さらに詳しく説明すると、特徴画像が回転対称でないというだけでは不十分な場合もある。
【００５２】
たとえば、上記の実施形態において、図９に示すような特徴画像６４を用いたとする。この特徴画像６４は、回転対称ではない。しかし、絵柄５２との関係において、１８０度回転した状態で画像を撮像してしまう可能性がある。絵柄５２において、特徴画像６４の特徴要素６８が、左右において対称に存在するためである。このような場合も考慮するとすれば、特徴画像６４自体が回転対称でないというだけではなく、特徴画像６４は、絵柄５２において回転対称となっていない要素を含むことが必要である。
【００５３】
(6)上記実施形態では、図５に示すような特徴画像６４を用いている。しかし、絵柄５２（対象物である画像）の特徴を示すものであれば、図１０に示すようなものを用いてもよい。また、上記実施形態のように、特徴画像６４として絵柄５２の外形を用いることができるが、外形を含まない特徴画像６４（たとえば、人物の目、鼻、口を表す線画）を用いてもよい。
【００５４】
(7)上記実施形態では、絵柄５２自体に目的データを埋め込んでいる。しかし、絵柄５２自体には目的データを埋め込まず、その背景にある画像に目的データを埋め込むようにしてもよい。これは、例えば、図１１に示すように、目的データを埋め込む画像に局所的特徴が少なく、画像の一部に目的データを埋め込む場合に適している。
【００５５】
ＣＬＯＵＤという文字８０の背景部分の雲の画像に目的データが埋め込まれている。また、ＣＬＯＵＤという文字８２の背景部分の雲の画像にも他の目的データが埋め込まれている。この場合、特徴画像６４は、ＣＬＯＵＤという文字にする。これによって、目的データが埋め込まれている部分を適切に撮像することができる。この場合においても、特徴画像６４は、文字、図形、記号、絵、写真などとすることができる。
【００５６】
(8)上記実施形態では、線図によって特徴画像６４を構成している。しかし、線図ではなく、対象物である画像自体を透過性のある画像とし、特徴画像６４として用いるようにしてもよい。
【００５７】
(7)上記実施形態では、特徴画像６４を一つに固定している。しかし、複数の特徴画像を用意しておき、スワップ操作などによって選択して用いるようにしてもよい。
【００５８】
(8)上記実施形態では、ユーザがスマートフォン６０を移動させて絵柄５２を特徴画像６４に合致するようにしている。しかし、ＣＰＵ３０は、絵柄５２を撮像範囲内に認識すれば、撮像画像を電子的に回転、拡大縮小などして、当該絵柄５２が特徴画像６４に合致するようにしてもよい。
【００５９】
(9)上記実施形態では、予め特徴画像６４を記録し、これを用いている。しかし、撮像した画像中に目的データが埋め込まれていれば、ＣＰＵ３０は、当該画像の特徴を抽出し特徴画像６４を生成するようにしてもよい。
【００６０】
この場合、絵柄５２全体に透かしを施すようにしておけば、透かしが施されている部分が当該絵柄５２であることを認識しやすく、特徴画像６４の生成が容易である。たとえば、透かしが施されている部分５２の外形を線図とすることで、特徴画像得ることが可能である。また、絵柄５２を特定できれば、当該絵柄５２を透明化（画像の透過率を上げる、つまり重ねられた画像が認識できる）することで特徴画像６４を得るようにしてもよい。
【００６１】
このように特徴画像６４を自動的に生成するようにすれば、自由に特徴画像６４を変更することも可能である。本などであれば、最初の頁に、特徴画像６４を生成するための頁（白の背景に絵柄５２のみが表示されているなど、絵柄５２を特定しやすいもの）を設け、ユーザに最初にこれを撮像してもらい、特徴画像６４を生成してもよい。
【００６２】
(10)上記実施形態では、スマートフォン６０を用いているが、デジタルカメラ等を撮像装置、撮像抽出装置として用いるようにしてもよい。
【００６３】
(11)上記実施形態では、撮像抽出装置として説明を行った。しかし、撮像を行い、撮像データを抽出装置などに出力する撮像装置として構築することもできる。
【００６４】
(12)上記実施形態では、その都度、サーバ装置から内容データを取得しているが、対応テーブルを予めスマートフォン６０にダウンロードしておけば、スマートフォン６０だけで内容データを取得することができる（通信環境の悪いところでも使用できる）。
【００６５】
(13)上記実施形態では、埋め込まれた目的データを抽出するための位置合わせとしてこの発明を用いている。しかし、目的データの有無にかかわらず、撮像位置を決めるためにも、本発明の思想を用いることができる。
【図２】
2016082469.tif 000003
【図３】
2016082469.tif 000004
【図７】
2016082469.tif 000005
【図８】
2016082469.tif 000006
【図１０】
2016082469.tif 000007
【図１】
2016082469.tif 000008
【図４】
2016082469.tif 000009
【図５】
2016082469.tif 000010
【図６】
2016082469.tif 000011
【図９】
2016082469.tif 000012
【図１１】
2016082469.tif 000013
【図１２】
2016082469.tif 000014