(57)【要約】【課題】様々な形状の図柄を配置した画像に対して、頑強に多くの情報データを人に気づかれないように埋め込む、ならびに取り出す方法ならびに装置や画像処理システムを提供すること。【解決手段】図柄の素材となる画像に幾何的な変換を施して配置する際に、マスク領域における被覆割合を意図的に操作することにより、任意の情報データ、例えばＵＲＬの文字列コード、を分割してから配置して埋め込む。埋め込まれた情報データを取り出すためには、生成された画像を撮影することによって得られる画像データから、マスク領域に対する図柄の被覆割合を計算して相当する情報データを検出し、さらにブロック領域の配置順等から埋め込まれた全情報データを復号する。【選択図】図１
2009224985.tif 000002
【特許請求の範囲】
【請求項１】
図柄素材を配置して構成される画像に任意の情報データを埋め込むために、設定された局所領域が図柄群に被覆される割合に基づいて、情報データを分割して埋め込む方法。
【請求項２】
請求項１に記載の方法に従って図柄素材を適切に配置して生成される図柄画像と、前記図柄画像を表示装置に映し出した映像、あるいは印刷装置によって出力された印刷物。
【請求項３】
請求項１に記載の方法に従って図柄素材で構成される画像に埋め込まれた情報データを取り出すために、請求項１に記載の方法を用いて作成される、請求項２に記載の表示された映像、あるいは印刷物に印刷された図柄画像を撮像装置によって撮影して取得される画素値のデータから、請求項１に記載の方法で埋め込まれた情報データを保持する矩形領域を検出し、局所領域の図柄の被覆割合に基づいて、請求項１に記載の方法で埋め込まれた情報データを検出する方法。
【請求項４】
請求項３に記載の方法で検出された情報データを、局所領域の配置順に従って組み合わせることにより再構成し、請求項１に記載の方法により埋め込まれた情報データを復号して取り出す方法。
【請求項５】
請求項１に記載の方法を用いて作成される、請求項２に記載の表示された映像、あるいは印刷物に印刷された図柄画像を作成するための情報データ埋め込み装置。
【請求項６】
請求項１に記載の方法を用いて作成される、請求項２に記載の表示された映像、あるいは印刷物に印刷された図柄画像から、撮影装置、および画像処理を行う計算機構を組み合わせて、請求項３に記載の方法と請求項４に記載の方法を用いて埋め込まれている情報データを検出し、任意の情報データを取り出す装置。
【請求項７】
請求項１に記載の方法を用いて作成される、請求項２に記載の図柄画像を適切に配置して生成されるパターン画像と、前記画像を表示装置で映し出した映像、あるいは印刷装置によって出力した印刷物。
【請求項８】
請求項７に記載のパターン画像から情報データを取り出すために、請求項７に記載の表示された映像、あるいは印刷物に印刷されたパターン画像を、撮像装置によって撮影して取得された画素値のデータから、請求項１に記載の方法で埋め込まれた情報データを保持する規則的に配置された局所領域内での図柄領域の被覆割合に基づいて、請求項１に記載の方法で埋め込まれた情報データを検出する方法。
【請求項９】
請求項８に記載の検出された情報データを、局所領域の配置順に従って組み合わせることにより再構成し、請求項１に記載の方法により埋め込まれた情報データを復号して取り出す方法。
【請求項１０】
請求項７に記載の表示された映像、あるいは印刷物に印刷されたパターン画像を作成するための情報データ埋め込み装置。
【請求項１１】
請求項７に記載の表示された映像、あるいは印刷物に印刷されたパターン画像から、撮影装置および画像処理を行う計算機構を組み合わせて、請求項８ならびに請求項９に記載の方法を用いて埋め込まれている情報データを検出し、任意の情報データを取り出す装置。
【請求項１２】
任意の情報データの埋め込みから作成された図柄画像の出力と、埋め込まれている情報データの検出と任意の情報データを再構成して取り出すことを連携して行うことが可能な請求項５ならびに請求項６に記載の装置を組み合わせた画像処理システム。
【請求項１３】
任意の情報データの埋め込みから生成された図柄画像の出力と、埋め込まれている情報データの検出と任意の情報データを再構成して取り出すことを連携して行うことが可能な請求項１０ならびに請求項１１に記載の装置を組み合わせた画像処理システム。
【請求項１４】
任意の情報データの埋め込みから生成された図柄画像の出力と、埋め込まれている情報データの検出と任意の情報データを再構成して取り出すことを連携して行うことが可能な請求項１２ならびに請求項１３に記載の装置を組み合わせた画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、図柄素材を配置した画像に情報データを埋め込む方法ならびに装置と、前記画像を撮像装置で撮影して得られる画素値のデータから、埋め込まれた情報データを取り出す方法ならびに装置に関するものである。
【背景技術】
【０００２】
画像に対して情報データを埋め込む従来技術（例えば、非特許文献１を参照）は、その用途により「電子透かし」や「ステガノグラフィ」と呼ばれている。これらの技術は、画像の画素値データに対して色や周波数領域での変換を施して情報データを埋め込むのが基本的なアプローチである。
【０００３】
一方、印刷した画像を対象とした情報データの埋め込み技術で、２次元バーコードのようにアナログ的な雑音や変形に対する耐性を有する手法として、色情報によるコード化手法（特許文献１）、画像ブロック毎の階調差を用いた手法（非特許文献２）、および冗長コードを導入する手法（特許文献２）等が提案されている。
【０００４】
雑音や変形の混入が不可避であるアナログ過程を経たデータに対して，デジタルデータに対して用いられている既存の電子透かしなどの手法を適用する場合、雑音や変形に対する耐性の確保にはデータの改竄に対して必要とされる耐性よりも多くの冗長性を必要とする。したがって、デジタルデータに対する手法を拡張しただけの従来技術の方法では、数バイト程度の情報データしか埋め込めないという問題がある。
【０００５】
また２次元バーコードはデザイン的な要素を加えることが困難であるので大量に用いると印刷物の見栄えを損なうという欠点がある。
【０００６】
色情報によるコード化手法は、画像の特定領域内において使用割合が最大である色の情報を用いて情報データを埋め込むので、使用する色の選択に制限があり、照明条件の変化によってもたらされるカメラ撮影時の色の変化に対する耐性が無い。
【０００７】
本発明では、図柄と背景の分離が可能な任意の色の組み合わせを使用できるので、色の選択に対する自由度が高く、カメラ撮影時の色変化に対しても耐性がある。
【特許文献１】特開2001-195536号公報
【特許文献２】特開2000-287073号公報
【非特許文献１】画像電子学会編、「電子透かし技術 デジタルコンテンツのセキュリティ」、東京電機大学出版局、２００４年
【非特許文献２】富士通ジャーナル 2005年6月号、“New テクノロジー(1)”、http://jp.fujitsu.com/about/journal/281/newtechnology/
【発明の開示】
【発明が解決しようとする課題】
【０００８】
背景技術で述べたように、印刷や撮影に際して雑音混入や画像の変形等に対する強固な耐性が確保された画像はデザイン的な要素を加えることが困難なため、それらを大量に用いると印刷物の見栄えを損なうというのが従来技術の問題点である。
【０００９】
そこで本発明で解決しようとする課題は、人間が意図的にデザインできる図柄素材を計算によって自動的に配置して生成される画像を用いて、印刷や撮影の際に混入する雑音や歪みに対してこれまでよりも頑健に多くの情報データを埋め込み、および取り出すことを可能とする方法ならびに装置や画像処理システムを提供することである。
【課題を解決するための手段】
【００１０】
本発明では、印刷される図柄画像に対して人に気づかれないように情報データを埋め込み、および取り出す方法と、それらを実装した装置で構成される画像処理システムを実現する。
【００１１】
本発明の課題解決手段によって、図柄画像へ情報データを埋め込む方法について記述する。
【００１２】
素材となる複数または単数の、領域の内部が定義された図柄画像を用意する。
【００１３】
画像を生成する矩形領域を図１（ａ）で表される小領域（以後、ブロック領域と呼ぶ）に分割し、各ブロック領域の内部に互いに重なり部分を持たない、図１（ｂ）で表される閉領域（以後、マスク領域と呼ぶ）を設定する。
【００１４】
次に、埋め込む情報データを各ブロックに対するものに分割し、その値によって各ブロック領域内のマスク領域を、図１（c）のように図柄群に被覆されるもの（以後、図柄内マスク）と、図１（d）のように被覆されないもの（以後、図柄外マスク）に分類する。
【００１５】
複数個の図柄素材を選択しながら幾何変換を用いて、全ての図柄内マスクを被覆すると同時に全ての図柄外マスクを被覆しないように、図柄素材の画像を生成画像領域内に配置する。
【００１６】
情報データを埋め込む画像の領域を検出するための図形を設置する。
【００１７】
この課題解決手段による、情報データ埋め込み方法を実現する装置を図２に示す。情報データ埋め込み装置１１は、ブロック領域マスク割当部１４、分割された埋め込む情報データ１２から計算される図柄内マスクの配置決定部１５、その配置パターンに基づいた図柄素材の選択と変換部１６、および領域検出用の図形設置部１７から構成される。
【００１８】
ブロック領域マスク割当部１４では、画像領域を所定数のブロックに分割し、各ブロック内にマスク領域を設定する。
【００１９】
図柄内マスクの配置パターン決定部１５では、埋め込む情報データを各ブロックが格納できる情報データ量毎に分割したものを参照して、図柄内マスクの配置パターンを構成する。
【００２０】
図柄素材の選択変換部１６では、図柄内マスクの領域との重なりが閾値以上となり図柄外マスクの領域との重なりが閾値以下となるように図柄を配置できる素材画像とアフィン変換を求めて、生成画像領域内に図柄素材の画像を配置する。
【００２１】
領域検出用図形設置部１７では、撮影時に情報データが埋め込まれた図柄画像の領域を検出するための図形を設置する。
【００２２】
この情報データ埋め込み装置１１を用いる事により、図３のような領域検出用図形付きの図柄画像１８がプリンタ等を用いて、紙等の媒体に出力される。
【００２３】
本発明の課題解決手段によって情報データが埋め込まれた画像から、情報データを取り出す手段について記述する。
【００２４】
対象となる画像データから図柄画像の領域を特定する図形を検出する。
【００２５】
検出した図形の幾何情報から情報データが埋め込まれた画像領域を計算し、その値に基づいて画素値を校正し、情報データが埋め込まれているブロック領域に分割してマスク領域を抜き出す。
【００２６】
抜き出した各マスク領域が図柄の内部に含まれている面積割合を計算し、その値が閾値以上のものを被覆されている図柄内マスクとする。
【００２７】
ブロック領域内の図柄内マスクのパターンから、埋め込まれている情報データを復号し、各ブロックで復号された情報データを連結して、埋め込まれた情報データの全体を取り出す。
【００２８】
本発明の課題解決手段によって情報データが埋め込まれた領域検出用の図形付き図柄画像から、埋め込み情報データを取り出す装置を図４に示す。埋め込み情報データ取り出し装置２１は、画像領域の検出校正部２３、ブロックとマスク領域の抜き出し部２４、マスク領域の被覆計算部２５、情報データ復号部２６、および情報データ連結部２７から構成される。
【００２９】
画像領域の検出校正部２３は、情報データを埋め込んだ画像の矩形領域を特定するための図形を検出し、抜き出した領域の形状から画像を基準となる矩形領域に変形した後の画素値に変換する校正処理を施す。
【００３０】
ブロックとマスク領域抜き出し部２４は、校正処理を施した画像をブロック領域に分割し、各ブロック領域に対してマスク領域を抜き出す。
【００３１】
マスク領域の被覆計算部２５では、抜き出された各マスク領域に対して図柄で被覆されている割合を計算し、閾値以上のものを図柄内マスクと見なす。
【００３２】
情報データ復号部２６では、各ブロックに対して求められた図柄内マスクの配置パターンから、対応する情報データの値を求める。
【００３３】
情報データ連結部２７では、各ブロックで求めた情報データをブロックの配置順で連結して、埋め込まれた全情報データを取り出す。
【００３４】
図２と図４で示される装置を組み合わせて、請求項１２、１３、１４で記載される画像処理システムが構成される。
【発明の効果】
【００３５】
本発明の課題解決手段では、図柄素材の大きさ、向き、位置を操作するだけで、情報データを保持した図柄画像が生成できる。結果として、デザイン的な見栄えを損なわない配置規則を用いて情報データ埋め込み画像を生成することができる。
【発明を実施するための最良の形態】
【００３６】
本発明を実施するための最良の形態として、単色の図柄素材を対象とした場合の課題解決手段について以下に記述する。
【００３７】
課題解決手段の情報データ埋め込み方法を、図５に基づいて説明する。また、課題解決手段の情報データ埋め込み方法を実現する装置を図２に、埋め込み情報データの取り出し方法を実現する装置を図４に示す。請求項１２、１３、１４における画像処理システムは、これらの装置を組み合わせて構成される。
【００３８】
図柄画像に情報データを埋め込む方法は、図５のステップ（ａ．１）から同（ａ．４）の手続きで構成される。
【００３９】
図５（ａ．１）では、生成する画像領域を特定数の等形状のブロック領域に分割し、各ブロック領域に対して、互いに交差しない等形状の矩形マスク領域をｎ個配置する。
【００４０】
図５（ａ．２）では、図１に示すように、埋め込む情報データをブロック領域毎にｋビットに分け、その情報データからブロック領域内のｎ個のマスク領域で、例えば図６のように図柄によって被覆されるものを設定する。ただし、誤り訂正符号を用いる場合には、埋め込む情報データを分割する前に符号化を施す。このとき、図柄内マスクの配置パターンは、ｋビットの値が一意に定まるように構成する。例えば、ｋとｎの値が等しい場合には、マスク領域が予め決められた順序でｋビットの情報が１の場合に図柄内マスク、０の場合に図柄外マスクに設定される。あるいは、この逆の関係で設定される。また、ｋの値がｎよりも小さい場合には、同じｋの値に対して複数の図柄内マスクの配置パターンを対応させて、配置パターンの構成に自由度を持たせる。
【００４１】
描画される図柄素材の大きさや数を調整するために、図柄内マスクの画像領域全体での分布を意図的に変換する。例えば、図７に示すように、複数候補ある図柄内マスクの配置パターンを適応的に選択したり、図柄の内外の状態を行または列単位で反転させたりする。ただし反転を用いる場合には、その箇所に関するデータを特定のブロック領域の図柄内マスクの配置パターン等に埋め込む。
【００４２】
図５（ａ．３）では、画像を生成する矩形領域内に上記の手続きで配置された全図柄内マスクを、図８に示すような内部領域が単色で定義された画像である図柄素材を複数個用いて被覆する。ただし、配置した図柄の内部に含まれるマスク領域の面積部分の割合が一定の閾値以上であれば、そのマスク領域は図柄内であると判定する。
【００４３】
ある規則にしたがって図柄素材を一つ選択し、図柄内マスクのみを被覆して図柄外マスクは被覆しない条件を満たす幾何学変換、例えば、平行、拡大縮小、回転移動等の組み合わせであるアフィン変換を求め、前記幾何学変換がデザイン的な要件も満たすものであれば、その図柄素材を画像生成領域に配置する。被覆の条件やデザイン的な要件を満たす変換が求まらない場合は、次の図柄素材の選択に移る。
【００４４】
図柄素材の選択と変換、および配置の手続きを、全図柄内マスクが被覆されるまで繰り返し、最終的に生成された図柄画像の全体を、必要に応じて２次元配列状に繰り返し並べたパターン画像を生成する。
【００４５】
図５（ａ．４）では、撮影時に情報データが埋め込まれた図柄画像の領域を検出するための図形を設置する。あるいは、情報データ埋め込み領域の基準位置を示すブロックに、特定の特徴量を有する図柄を設置する。この図５の手続きを用いる事により、領域検出用の図形付き図柄画像が生成される。
【００４６】
次に、課題解決手段について、情報データの取り出し機構は図９のステップ（ｂ．１）から同（ｂ．５）の手続きで構成される。
【００４７】
図９（ｂ．１）では、撮影した画像（例えば、図３の画像）から情報データ埋め込み領域を特定するための図形、または指定した特徴量を有する図柄を検出し、情報データが埋め込まれた図柄画像の領域を検出する。また、画像の画素値を、撮影した画像領域から基準となる矩形領域に変換する校正処理を実行する。また、図柄の色と背景色を識別するための２値化処理を施す。
【００４８】
図９（ｂ．２）では、各ｋビットの情報データが埋め込まれているブロック領域毎に画像を切り出す。また、ブロック領域中から図５（ａ．１）で設置されたのと同じｎ個のマスク領域を抜き出す。
【００４９】
図９（ｂ．３）では、抜き出した各マスク領域内での図柄の色を有する画素数から計算される図柄の被覆割合が、与えた閾値以上のものを図柄内マスクとする。
【００５０】
図９（ｂ．４）では、ブロック領域内の図柄で被覆されているｎ個のマスク領域の配置関係から、そのブロック領域内に埋め込まれているｋビットの情報データを復号する。ただし、被覆条件の反転を用いている場合には、その箇所に関するデータを特定のブロック領域の図柄内マスク領域の配置関係等から取り出して復号に用いる。ただし、画像領域検出用の特定図柄を基準位置のブロックに配置した場合には、そのブロックに対する情報データの復号処理は実行しない。
【００５１】
図９（ｂ．５）では、各ブロック領域で復号されたｋビットずつの情報データを、ブロック領域の配置順にしたがって連結し、埋め込まれている全情報データを取り出す。ただし、被覆条件の反転を用いている場合には、その箇所に関するデータを埋め込んだブロック領域は連結から除外する。また、画像領域検出用の特定図柄を用いている場合にも、対応するブロック領域は除外する。
【００５２】
誤り訂正のための符号化が施されている場合には、その符号から情報データを復元する。
【実施例】
【００５３】
図３は、本発明の課題解決手段で構成した画像処理システムの情報埋め込み装置を使用した、８×８のブロックに対して２４０ビットの情報を埋め込んだ３２０×３２０画素の枠付き図柄画像である。画像の中心から市街地距離で９画素だけ離れた場所に４個のマスク領域の中心位置を用意し、各マスク領域は６×６画素の大きさに設定して各１ビットのデータを保持させた。また、画像領域検出用の図形は、図１（e）のような線幅が１画素の矩形を囲む線で与えた。
【００５４】
この領域検出用図形付き図柄画像を印刷装置、例えばプリンタでモノクロ印刷し、接写レンズとほぼ平行にして携帯電話のカメラを用いて撮影して得られた画像データに対して、本発明の課題解決手段で構成した画像処理システムの情報取り出し装置を使用して読み出された情報データと元の情報データを比較して誤りビット数を求めた結果を表１に示す。
【００５５】
【表１】
2009224985.tif 000003
【００５６】
上記の表１は、図３（ａ）、同（ｂ）の情報データ埋め込み図柄画像を４３×４３ｍｍ２と８５×８５ｍｍ２の大きさで印刷し、一定の解像度（４８０×６４０画素）で１０回撮影した時の検出結果である。ただし、平均ビット誤り率はビット誤り数／埋め込みビット数とする。この実験結果より、使用する図柄画像によって検出精度が変わり、誤りの無い完全な取り出しは不可能である事が分かる。しかしながら誤り率が２％以下と微量であるので、実用上は一般的な誤り訂正符号を導入することにより、情報データの完全な復元を保障する。
【産業上の利用可能性】
【００５７】
雑誌や新聞等の印刷物を媒介とした画像メディアコンテンツだけでなく、大型の壁紙やクロスへの印刷物、さらにはプロジェクタによってスクリーンに投影した映像までも、対象コンテンツとしてあつかう事ができる。請求項１、請求項２、ならびに請求項７に関しては、情報データを埋め込んだ図柄画像を生成するソフトウェア製品として、請求項３ならびに請求項４に関しては、カメラ画像を用いた情報取り出し手段を提供するソフトウェア製品として、また請求項８ならびに請求項９に関しては包装紙や壁紙などからカメラを用いた情報取り出し手段を提供するソフトウェア製品として、さらに請求項５、請求６、請求項１０、請求項１１、請求１２、請求項１３、および請求項１４に関しては、これらのソフトウェア製品とカメラ、プリンタ、および携帯電話等のハードウェア装置を組み合わせた製品としての産業上の応用が考えられる。
【図面の簡単な説明】
【００５８】
【図１】図柄画像、ブロック領域、およびマスク領域の関係図
【図２】本発明の課題解決手段による情報データ埋め込み装置の構成図
【図３】本発明の課題解決手段によって生成された図柄画像
【図４】本発明の課題解決手段による埋め込み情報データ取り出し装置の構成図
【図５】図柄画像への情報データの埋め込み過程を示した説明図
【図６】各情報データに対して割り当てる図柄内マスクのブロック内配置パターンの例
【図７】図柄内マスクの配置の最適化例
【図８】図柄素材として用いられる画像の例
【図９】図柄画像からの情報データの取り出し過程を示した説明図
【符号の説明】
【００５９】
１１    本発明の解決手段による情報データ埋め込み装置
１２    分割された埋め込み情報データ
１３    図柄素材の画像群
１４    ブロック領域への分割とマスク領域の割当部
１５    図柄内マスクの配置決定部
１６    図柄素材の選択と幾何学変換部
１７    領域検出用の図形設置部
１８    最終的に生成された図柄画像の媒体出力
２１    本発明の解決手段による情報データ取り出し装置
２２    撮影した情報データ埋め込み画像
２３    埋め込み画像領域の検出校正部
２４    画像のブロック分割とマスク領域の抜き出し部
２５    マスク領域の被覆計算部
２６    情報データ復号部
２７    情報データ連結部
２８    取り出された全情報データ
【図１】
2009224985.tif 000004
【図２】
2009224985.tif 000005
【図３】
2009224985.tif 000006
【図４】
2009224985.tif 000007
【図５】
2009224985.tif 000008
【図６】
2009224985.tif 000009
【図７】
2009224985.tif 000010
【図８】
2009224985.tif 000011
【図９】
2009224985.tif 000012