(57)【要約】【課題】  コンテンツとメタデータが分離しにくく、コンテンツを一切劣化させずに、フォーマット変換への耐性を高めることを可能にする。【解決手段】  メタデータを付帯する対象であるデジタルコンテンツの入力を受け付ける手段１１０、コンテンツに付帯するメタデータの入力を受け付ける手段１２０、コンテンツを表す電子データの領域を拡張し、データを補完することによってメタデータを埋め込む外縁データ領域を生成する手段１３０、メタデータを外縁データ領域に埋め込む手段１４０、外縁データ領域にメタデータが付帯されたコンテンツデータを出力する手段１５０を備える。【選択図】図１
2006094460.tif 000002
【特許請求の範囲】
【請求項１】
デジタルコンテンツに、メタデータを付帯するメタデータ付帯装置であって、
メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるコンテンツ入力部と、
コンテンツに付帯するメタデータの入力を受け付けるメタデータ入力部と、
コンテンツを表す電子データの領域を拡張し、データを補完することによってメタデータを埋め込む外縁データ領域を生成する外縁データ補完部と、
入力されたメタデータを前記外縁データ領域に埋め込むメタデータ埋め込み部と、
前記外縁データ領域にメタデータが付帯されたコンテンツデータを出力するコンテンツ出力部と、
を有する事を特徴とするメタデータ付帯装置。
【請求項２】
デジタルコンテンツに、メタデータを付帯するメタデータ付帯装置であって、
メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるコンテンツ入力部と、
コンテンツに付帯するメタデータの入力を受け付けるメタデータ入力部と、
コンテンツを表す電子データの領域を拡張し、データを補完してメタデータを埋め込む外縁データ領域を生成しながら、入力されたメタデータの埋め込みを同時に行う外縁データ補完部と、
前記外縁データ領域にメタデータが付帯したコンテンツデータを出力するコンテンツ出力部と、
を有する事を特徴とするメタデータ付帯装置。
【請求項３】
請求項２記載のメタデータ付帯装置において、
外縁データ補完部は、拡張領域に対して、１ピクセルあるいは複数ピクセルおきにデータを補完していく処理と、間のピクセルについて、前後のピクセル値を参照してメタデータを埋め込む処理とを交互に繰り返すことで、データを補完してメタデータを埋め込む外縁データ領域を生成しながらメタデータの埋め込みを同時に行うことを特徴とするメタデータ付帯装置。
【請求項４】
デジタルコンテンツに、メタデータを付帯するメタデータ付帯方法であって、
メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるコンテンツ入力ステップと、
コンテンツに付帯するメタデータの入力を受け付けるメタデータ入力ステップと、
コンテンツを表す電子データの領域を拡張し、データを補完することによってメタデータを埋め込む外縁データ領域を生成する外縁データ補完ステップと、
入力されたメタデータを前記外縁データ領域に埋め込むメタデータ埋め込みステップと、
前記外縁データ領域にメタデータが付帯されたコンテンツデータを出力するコンテンツ出力ステップと、
を有する事を特徴とするメタデータ付帯方法。
【請求項５】
デジタルコンテンツに、メタデータを付帯するメタデータ付帯方法であって、
メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるコンテンツ入力ステップと、
コンテンツに付帯するメタデータの入力を受け付けるメタデータ入力ステップと、
コンテンツを表す電子データの領域を拡張し、データを補完してメタデータを埋め込む外縁データ領域を生成しながら、入力されたメタデータの埋め込みを同時に行う外縁データ補完ステップと、
前記外縁データ領域にメタデータが付帯したコンテンツデータを出力するコンテンツ出力ステップと、
を有する事を特徴とするメタデータ付帯方法。
【請求項６】
請求項５記載のメタデータ付帯方法において、
外縁データ補完ステップは、拡張領域に対して、１ピクセルあるいは複数ピクセルおきにデータを補完していく処理と、間のピクセルについて、前後のピクセル値を参照してメタデータを埋め込む処理とを交互に繰り返すことで、データを補完してメタデータを埋め込む外縁データ領域を生成しながらメタデータの埋め込みを同時に行うことを特徴とするメタデータ付帯方法。
【請求項７】
請求項４乃至６のいずれか１項に記載のメタデータ付帯方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像などの電子的に記録されたデジタルコンテンツに、そのコンテンツ自体が劣化せず、かつ簡単にはコンテンツとメタデータが分離しないように、コンテンツの作成者や著作権者、使用条件などのメタデータを付帯する技術に関する。
【背景技術】
【０００２】
最近は、パーソナルコンピュータ（以下ＰＣ）が高性能化している一方で、その値段が下がってきている。それにより、−般の人達でも容易に高性能なＰＣを所有・利用することが可能となり、さまざまな創造的なデジタルコンテンツが増えている。そして、これらのデジタルコンテンツをネットワーク上で公開することで、より多くの人が利用したり、著作権者に代わり配信が行われるということが起きている。
【０００３】
ところで、コンテンツとその著作権情報が一緒になって流通されないと著作者としてはデメリットが大きい。そのため、コンテンツに著作権情報などのメタデータを付帯するための技術が必要になってくる。メタデータは「情報に関する情報」などと言われており、あるコンテンツ（情報）に更に付加的な情報を与えるものであり、コンテンツとは別のデータ形態をとっている。例えば、コンテンツの著作権情報や各映像シーンの補足説明、撮影場所・日時、特定プログラム上で動く事を想定したデータ、特定の場所を示すＵＲＬ等のポインタ、などが含まれる。
【０００４】
コンテンツとメタデータを付帯する方法はこれまでも数多く研究され、発表されているが、その付帯の形態から大きく３つに分類することが可能である。一つ目は、コンテンツとメタデータを完全に分離して保持する方法である。例えば、コンテンツ自体にはＵＲＬも何も記述されていないが、コンテンツを配布しているＷｅｂページにはメタデータが記述されている場合などである。二つ目は、コンテンツの冗長領域やフォーマット毎の規定領域にメタデータを記すことで付帯する方法である。例えば、コンテンツのヘッダ部の空き領域ヘメタデータを埋め込むＤＣＤ（流通コンテンツ記述子）や、デジタルカメラで撮った写真に日付や撮影場所といった情報を記録する「Ｅxif」（Ｅxchangeable  Ｉmage  Ｆile  Ｆormat）などがある。三つ目は、コンテンツのデータ部分にメタデータ自体を重畳させることで付帯する方法である。例えば、画像の周波数領域などで人の目に付きにくい場所ヘメタデータを重畳する電子透かしなどがある（例えば、非特許文献１参照）。これらの各方法はそのメタデータの用途等によって適宜適用される。
【０００５】
【非特許文献１】安田浩／安原隆一  監修  「ポイント図解式  コンテンツ流通教科書」（アスキー）ｐｐ．１１４〜１３２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
コンテンツの二次配布・流通を考慮したメタデータ付帯では（ｉ）コンテンツとメタデータとの関連付けがバラバラにならないこと、（ii）コンテンツを劣化させないこと、（iii）二次配布時にフォーマット変換などによってメタデータが失われないこと、の３つの要件が求められる。これらの条件に対して上記３つの方法を照らしてみる。
【０００７】
一つ目の、コンテンツとメタデータを完全に分離して保持する方法は、例えば、コンテンツがｗｅｂ上で配布されている時に、そのｗｅｂページ上にコンテンツについてのメタデータが記載されている場合などである。この方法ならば、コンテンツをそのｗｅｂページから所得した人はそのメタデータを知ることができる。しかし、コンテンツを二次流通などによって所得した人は、そのメタデータがある場所を知ることができないため、メタデータ自体を知ることができない。つまりコンテンツとメタデータが分離してしまう可能性が高い。
【０００８】
二つ目の、コンテンツの冗長領域やフォーマット毎の規定領域にメタデータを記載する方法は、例えば、あるファイルフォーマットのヘッダ内部の空き領域へメタデータを記述したり、ＪＰＥＧの空き領域をデジタルカメラ写真用の規定領域として定義した「Ｅｘｉｆ」などが該当する。しかし、この方法はフォーマット間において、冗長領域や規定領域の対応関係がないため、特定のアプリケーションを介さない限り、フォーマット変換などによって、記載したメタデータが消失してしまう。
【０００９】
三つ目の、コンテンツのデータ部分にメタデータ自体を重畳させることで付帯する方法は、例えば電子透かしやステガノグラフイといった、データの中でも人には気づきにくい領域ヘメタデータを埋め込むことで、コンテンツとメタデータの分離を出来なくした方法である。しかし、この方法では、コンテンツ自体にメタデータを重畳することから、コンテンツの劣化が起こつてしまう。
【００１０】
本発明は、上記の３つの条件を同時に解決するためなされたものであり、その目的は、コンテンツとそれに関連するメタデータを付帯することであり、かつ、付帯時にはコンテンツとメタデータが分離しにくく、コンテンツを一切劣化させずに、フォーマット変換への耐性を高めることである。
【課題を解決するための手段】
【００１１】
本発明は、静止画像や動画像などの電子的に記録されたデジタルコンテンツに、コンテンツの作成者や著作権者、使用条件などのメタデータを付帯するメタデータ付帯装置において、メタデータを付帯する対象であるデジタルコンテンツの入力を受け付ける手段と、コンテンツに付帯するメタデータの入力を受け付ける手段と、メタデータの付帯によって元のコンテンツが劣化しないように、コンテンツを表す電子データの領域を拡張、補完することによってメタデータを埋め込む外縁データ領域を生成する手段と、入力されたメタデータを外縁データ領域に埋め込む手段と、外縁データ領域にメタデータが付帯したコンテンツデータを出力する手段と、入力されたコンテンツ、メタデータおよび各部における処理データを記憶する手段とを有する事を特徴とする。
【００１２】
また、本発明のメタデータ付帯装置は、メタデータを付帯する対象であるデジタルコンテンツの入力を受け付ける手段と、コンテンツに付帯するメタデータの入力を受け付ける手段と、メタデータの付帯によって元のコンテンツが劣化しないように、コンテンツを表す電子データの領域を拡張し、データを補完してメタデータを埋め込む外縁データ領域を生成しながら、該入力されたメタデータの埋め込みも同時に行う手段と、外縁データ領域にメタデータが付帯したコンテンツデータを出力する手段と、入力されたコンテンツ、メタデータおよび各部における処理データを記憶する手段とを有する事を特徴とする。一実施の形態では、拡張領域に対して、１ピクセルあるいは複数ピクセルおきにデータを補完していく処理と、間のピクセルについて、前後のピクセル値を参照してメタデータを埋め込む処理とを交互に繰り返すことで、データを補完してメタデータを埋め込む外縁データ領域を生成しながらメタデータの埋め込みを同時に行う。
【００１３】
また、本発明は、静止画像や動画像などの電子的に記録されたデジタルコンテンツに、コンテンツの作成者や著作権者、使用条件などのメタデータを付帯するメタデータ付帯方法において、メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるステップと、コンテンツに付帯するメタデータの入力を受け付けるステップと、メタデータの付帯によって元のコンテンツが劣化しないように、コンテンツを表す電子データの領域を拡張、補完することによってメタデータを埋め込む外縁データ領域を生成するステップと、入力されたメタデータを外縁データ領域に埋め込むステップと、外縁データ領域にメタデータが付帯したコンテンツデータを出力するステップとを有する事を特徴とする。
【００１４】
また、本発明のメタデータ付帯方法は、メタデータを付帯する対象であるデジタルコンテンツの入力を受け付けるステップと、コンテンツに付帯するメタデータの入力を受け付けるステップと、メタデータの付帯によって元のコンテンツが劣化しないように、コンテンツを表す電子データの領域を拡張し、データを補完してメタデータを埋め込む外縁データ領域を生成しながら、該入力されたメタデータの埋め込みも同時に行うステップと、外縁データ領域にメタデータが付帯したコンテンツデータを出力するステップとを有する事を特徴とする。一実施の形態では、拡張領域に対して、１ピクセルあるいは複数ピクセルおきにデータを補完していく処理と、間のピクセルについて、前後のピクセル値を参照してメタデータを埋め込む処理とを交互に繰り返すことで、データを補完してメタデータを埋め込む外縁データ領域を生成しながらメタデータの埋め込みを同時に行う。
【００１５】
さらに、本発明は、上記メタデータ付帯方法をコンピュータに実行させるためのプログラムを提供することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、コンテンツとそれに関連するメタデータが簡単には分離しにくい状態で、かつコンテンツを一切劣化させることなく付帯することが可能となる。さらに、コンテンツのフォーマット変換などに対しても耐性を持たせたことにより、ファイル容量を軽くするためのフォーマット変換などをユーザが気軽に行えるようになり、ユーザビリティが向上するといえる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明に係わる一実施の形態を詳細に説明する。なお、本実施の形態では、コンテンツデータとして静止画像データを用いて説明するが、本発明はこれに限らないことは云うまでもない。
【実施例１】
【００１８】
図１は実施例１におけるメタデータ付帯装置の構成例である。本メタデータ付帯装置１００は、ユーザからのコンテンツデータの入力を受け付けるコンテンツデータ入力部１１０、コンテンツデータに付帯するメタデータのユーザからの入力を受け付けるメタデータ入力部１２０、メタデータを埋め込む場所を確保するためにコンテンツデータの外縁を補完する外縁データ補完部１３０、メタデータをコンテンツの外縁データ部に埋め込むメタデータ埋め込み部１４０、メタデータが付帯されたコンテンツデータを出力するためのメタデータ出力部１５０、及び、入力されたコンテンツ、メタデータおよび各部における処理データを記憶するデータ記憶部１６０からなる。実際には本メタデータ付帯装置１００はＰＣなどのコンピュータのハードウェア、ソフトウェア資源を利用して構成され、図１では省略したが、例えばＷｅｂブラウザ等も具備されている。
【００１９】
図２に、本実施例１における処理フローチャートを示す。以下、図１、図２により本実施例１を説明する。
コンテンツデータ入力部１１０では、ユーザが指定したＵＲＬやＨＤ（ハードディスク）上の場所から指定のコンテンツを入力し、データ記憶部１６０にそのデータを記憶する（Ｓ１１）。メタデータ入力部１２０では、ユーザがコンテンツに付帯したいメタデータの入力を受け付け、受け付けたメタデータをデータ記憶部１６０に記憶する（Ｓ１２）。
【００２０】
外縁データ補完部１３０では、コンテンツデータの外縁部の補完を行い、メタデータを埋め込む外縁データ領域を生成する（Ｓ１３）。ここで、コンテンツデータの外縁部とは、コンテンツを構成する電子データの内、ヘッダやフッタなどのファイル形式に従った規定データ領域を除いたコンテンツデータ領域を拡張する事により、元々のコンテンツが占めるデータ領域以外にできる余白データ領域の事を言う。
【００２１】
外縁データ補完部１３０は、まず、データ記憶部１６０からユーザが入力したメタデータを取得し、メタデータの容量からメタデータの埋め込みに必要な外縁領域の大きさを算出する。例えば、８ビット（２５６階調）で表されたＶＧＡサイズ画像（６４０ピクセル×４８０ピクセル）に、埋め込み方法としてステガノグラフイを用いて５Ｋバイトのメタデータを埋め込む場合には、長辺側に補完領域を設けて、低ビット側の２ビット分（７，８ビット目）にメタデータを埋め込むとすると、最大で３×２×６４０＝３８４０（ｂｙｔｅ）のデータを埋め込む事が可能であるので、カラーＢＭＰ画像などを用いる場合は２ピクセル分の外縁データを補完する必要がある。白黒のＢＭＰ画像の場合は１／３倍と考えて４ピクセル分の外縁データを補完、白黒ＪＰＥＧ画像の場合は更に１／１０倍と考えて４０ピクセル分の外縁データを補完する必要がある。ただし、外縁領域のサイズの算出は本実施例の計算方法に限定するものではなく、また処理効率を高めるためにあらかじめ余白領域の大きさを固定しても良い。
【００２２】
次に、外縁データ補完部１３０は、算出された必要な外縁領域の大きさに基づいて、コンテンツ領域の外縁部を拡張して余白データ（余白領域）を付加し、画像補完技術を用いてコンテンツデータの外縁部の補完を行い、補完が行われた画像データをデータ記憶部１６０に記憶する。なお、画像補完技術は、例えば参考文献「Ｍarcelo  Ｂertalmio，Ｇuillermo  Ｓapiro，Ｖicent  Ｃaselles，Ｃoloma  Ｂallester“Ｉmage  Ｉnpainting”，Ｃomputer  Ｇraphics，ＳＩＧＧＲＡＰＨ２０００」に記載の方法を用いることができる。
【００２３】
図３は画像補完の具体例を示した図である。図３（ａ）の元画像に対し、まず、メタデータを埋め込むのに必要な大きさの余白領域を付加して、図３（ｂ）の余白領域付加画像を作成し、次に、元画像データの外縁部付近の画像を余白領域に延長することで、元画像と余白領域画像の連続性が保たれるようにして画像の補完を行った図３（ｃ）の補完画像を作成する。図３の実施例においては、外縁部付近の線分を形状に従って曲線状に延長し、線分内を同色に塗り潰す事で画像領域を補完しているが、画像の補完方法については他にも、余白領域に現画像の背景画像と類似したテクスチャを貼る方法や隣接する画素間の比率から補完する画素の情報を決定する方法などがある。本発明はどれか一つの方法に限定されるものではなく、用途や場合に応じて最適な方法を選ぶものである。
【００２４】
メタデータ埋め込み部１４０では、データ記憶部１６０から、外縁データ部を補完したコンテンツデータとユーザが埋め込もうとするメタデータを取得し、外縁データ部にメタデータの埋め込みを行う（Ｓ１４）。
【００２５】
ここでは、メタデータ埋め込み部１４０での埋め込み方法には、ステガノグラフイを用いるとする。ステガノグラフイとは、画像をビットプレーンに分解して、人の認識しにくい領域（例えば８ビットで色表現がされている場合（２５６階調）は、ＬＳＢ（ＬeastＳignificantＢit：最下位ビット）である８ビット目やあるいは７ビット目など）に情報を埋め込む技術のことである。これについては、例えば参考文献「河口英二、野田秀樹、新見道治、“画像を用いたステガノグラフイ”情報処理学会誌，ｖｏ１．４４，Ｎｏ．０３，２００３」に記載されている。
【００２６】
図４にステガノグラフイによる埋め込みの例を示す。元画像の補完データの並びが、図４（ａ）に示すように「ＢＡ  ８Ｆ  ２６  １Ａ  Ａ３  ＣＣ  ４３  ５Ｄ  ９９」であり、埋め込むメタデータが図４（ｃ）に示す「Ｅ６３・・・」で、８ビット目だけにメタデータを埋め込むとすると、埋め込み後のメタデータの並びは、図４（ｂ）に示すように「ＢＢ  ８Ｆ  ２７  １Ａ  Ａ２  ＣＤ  ４３  ５Ｃ  ９８」となる。図４の（ａ）と（ｂ）はデータ的には異なるが、その違いはとても微小なものであるため、人間の視覚的には違いを認識できないため、メタデータが埋め込まれている事を認識できない。
【００２７】
なお、メタデータ埋め込み部１４０での埋め込み方法には電子透かしを用いる方法も考えられる。電子透かしとステガノグラフイはそれぞれ特徴が異なり、画像の利用状況によって、適した埋め込み方法の選択が必要になる。例えば、強いフォーマット変換耐性や補完データ部との強固な付帯が必要な場合には電子透かし、大きな埋め込み容量や小さい処理コストが必要な場合にはステガノグラフイが優れている。また、これらの二つの方法を両方同時に適用することも可能であり、埋め込み容量を更に増やしつつ変換耐性も高めることが可能となる。
【００２８】
コンテンツ出力部１５０では、メタデータが付帯されたコンテンツデータを出力する（Ｓ１５）。出力先は、ＨＤあるいはインターネット上など、利用目的に応じて決まるものである。
【００２９】
以上、実施例１について説明したが、本発明は本実施例の形態のみに依存する話ではなく、他の様々なメディア、映像、音楽などについても適用されるものである。また、外縁部メタデータは画像の一辺のみにあるとは限らず、二辺、三辺、四辺の場合もある。さらに一つのコンテンツに対して外縁データが一つとは限らず、複数の外縁データが幾重にも付帯されている場合もある。また、メタデータが付帯したコンテンツから、該メタデータを読み取ることは、既存のステガノグラフイや電子透かしを読み取る方法を用いることによって可能となる。
【実施例２】
【００３０】
実施例１は画像の補完を行った後にメタデータの埋め込みを行ったが、実施例２は画像の補完とメタデータの埋め込みを同時に行うものである。
図５は実施例２におけるメタデータ付帯装置の構成例である。本メタデータ付帯装置２００は、コンテンツ入力部２１０、メタデータ補完部２３０、コンテンツ出力部２４０、及びデータ記憶２５０からなり、図１に示すメタデータ付帯装置１００とは、外縁データ補完部１３０とメタデータ埋め込み部１４０が統合されて外縁データ補完部２３０一つになった点が相違する。本メタデータ付帯装置１００がＰＣなどのコンピュータのハードウェア、ソフトウェア資源を利用して構成され、Ｗｅｂブラウザ等も具備されていることは、実施例１のメタデータ付帯装置１００と同様である。
【００３１】
図６に、本実施例２における処理フローチャートを示す。以下では実施例１と相違する外縁データ補完部２３０での処理について説明する。
外縁データ補完部２３０では、ユーザが入力しデータ記憶部２５０に蓄えられているコンテンツデータについて、その外緑データ部を補完し、メタデータを埋め込む外縁データ領域を生成しながら、同時に、ユーザが入力しデータ記憶部２５０に記憶されたメタデータの埋め込みを行う（Ｓ２３）。
【００３２】
外縁データ補完部２３０は、まず入力されたメタデータから埋め込みに必要な外縁データ領域の大きさを計算する。次に、外縁データ領域としてメタデータを埋め込めるだけの余白領域を付加する。実施例１では余白領域全てを補完し終わった後に、メタデータの埋め込みを行っていたが、ここでは、補完が行われた領域に対して順次メタデータの埋め込みをおこなっていく。
【００３３】
図７に、実施例１によるメタデータ埋め込み方法と共に、実施例２によるメタデータ埋め込み方法の具体例を示す。実施例２の場合、余白領域を生成したなら（イ）、まず、元コンテンツデータ部分に近い側から画像補完を行っていき、一ピクセル分の補完が終わると（ロ）、その一ピクセルに対してメタデータの埋め込みを行う（ハ）。次にメタデータの埋め込まれた領域の隣りの余白領域について−ピクセル分の画像補完を行い（ニ）、その一ピクセル分に対してまたメタデータの埋め込みを行う（ホ）。余白領域がなくなるまで、画像補完を行いつつ同時にメタデータを埋め込む処理を繰り返し実行する。
【００３４】
なお、図７とは逆に、余白領域に対して先にメタデータを埋め込み、埋め込んだメタデータが消えないように画像を補完していく方法や、画像を補完したデータ自体にそのままメタデータが埋め込まれる方法なども考えられる。
【００３５】
以上、実施例２について説明したが、実施例１と同様に、本発明は本実施例の形態のみに依存する話ではなく、他の様々なメディア、映像、音楽などについても適用されるものである。同様に、外縁部メタデータは画像の一辺のみにあるとは限らず、二辺、三辺、四辺の場合もある。さらに一つのコンテンツに対して外縁データが一つとは限らず、複数の外縁データが幾重にも付帯されている場合もある。また、メタデータが付帯したコンテンツから、該メタデータを読み取ることは、既存のステガノグラフイや電子透かしを読み取る方法を用いることによって可能となる。
【実施例３】
【００３６】
実施例３は、実施例２と同様に画像の補完とメタデータの埋め込みを同時に行うが、ＴextureＳynthesisと呼ばれる画像補完技術を用いて、画像の補完とメタデータの埋め込みを同時に行うものである。
ＴextureＳynthesisとは、画像内の傷や欠損の修復を目的としたものであり、補完すべき画像領域に、サンプル画像または原画像から探索した最も適切と思われる類似したピクセルをコピーすることにより、補完を行う技術である。具体的な処理を以下に示す。まず、補完位置にコピーすべきピクセルを探すための探索窓とよばれるテンプレートを用意する。探索窓の形は、正方形の中心を補完するピクセルと考えた場合（以後、探索窓の中心と呼ぶ）、補完ピクセルより上側のピクセル全てと、探索ピクセルの左側一列分全てを合わせた形とする。図８に探索窓の形の例を示す。
【００３７】
図９はＴextureＳynthesisの具体的な処理イメージを示した図である。まず、補完するピクセルの周囲について、探索窓内の全てのピクセル値を確保する（補完探索窓ピクセル値）。次に、サンプル画像（原画像領域）すべてのピクセルについて、１ピクセルずつ順番に走査（ラスタスキャン）を行い、各ピクセルに対する探索窓ピクセル値と補完探索窓ピクセル値との差分値を求め、差分値が最小であるピクセルを、補完位置にコピーする補完ピクセルとする。上記操作を、欠損領域内の全てのピクセルに対して行う事で、画像補完が完了する。なお、ＴextureＳynthesis画像補完技術は、例えば参考文献「Ｌi−Ｙj  Ｗei，Ｍarc  Ｌevoy，“Ｆast  Ｔexture  Ｓynthesis  using  Ｔree−Ｓtructured  Ｖector  Ｑｕantization”，Ｐrｏceedingｓ  of  ＳＩＧ−ＧＲＡＰＨ２０００（Ｊuly  ２０００），４７９−４８８」に記載されている。
【００３８】
本実施例３では、補完対象領域に対して、ＴextureＳynthesisの画像補完技術を用いて、１ピクセルおきにデータを補完する処理と、間のピクセルについて前後のピクセル値を参照してメタデータを埋め込む処理とを交互に繰り返すことで、画像の補完とメタデータの埋め込みを同時に行うようにする。補完対象領域は、補完する枠画像の両端に、枠を付加する辺の両端の領域のコピーを行い、該コピーした両端の間に挟まれた領域とする。
【００３９】
図１０は実施例３におけるメタデータ付帯装置の構成例である。本メタデータ付帯装置３００は、コンテンツ入力部３１０、メタデータ入力部３２０、端領域コピー部３３０、ＴextureＳynthesis実施部３４０、メタデータによるピクセル補完部３５０、コンテンツ出力部３６０、及びデータ記憶部３７０から成る。ここで、端領域コピー実施部３３０とＴextureＳynthesis実施部３４０とメタデータによるピクセル補完部３５０が、実施例２における外縁データ補完部２３０に対応する。なお、本メタデータ付帯装置３００がＰＣなどのコンピュータのハードウェア、ソフトウェア資源を利用して構成され、Ｗｅｂブラウザ等も具備されていることは、先の実施例１や実施例２と同様である。
【００４０】
図１１に本実施例３における処理フローチャートを示す。以下では実施例２と相違する、端領域コピー実施部３３０と、ＴextureＳynthesis実施部３４０と、メタデータによるピクセル補完部３５０での処理を中心に説明する。
コンテンツ入力部３１０において、メタデータを付与する対象のコンテンツが入力され（Ｓ３１）、メタデータ入力部３２０において、付与するメタデータが入力され（Ｓ３２）、それぞれデータ記憶部３７０に記録されているものとする。端領域コピー実施部３３０では、補完する枠画像の両端に、枠を付加する辺の両端の領域のコピーを行う（Ｓ３３）。
【００４１】
次いで、コピーした両端の間に挟まれた領域について、ＴextureＳynthesis実施部３４０とメタデータによるピクセル補完部３５０が、交互にピクセルの補完を行う。図１２は実施例３における枠補完の処理イメージを示した図である。以下、補完対象の領域の長さをＬ、補完対象のピクセルの横位置をｍ（１≦ｍ≦Ｌ）とし、補完対象の領域の幅をＷ、補完対象のピクセルの縦位置をｎ（１≦ｎ≦Ｗ）として記述する。
【００４２】
まず、ＴextureＳynthesis実施部３４０は、領域の左上端の１ピクセル（ｍ＝１、ｎ＝１）にＴextureＳynthesisによる補完を行い（Ｓ３４）、次のピクセル（ｍ＝ｍ＋１）は補完を行わずに１ピクセル飛ばして、その次のピクセル（ｍ＝ｍ＋２）を同様にＴextureＳynthesisにより補完する（Ｓ３５）。次に、メタデータによるピクセル補完部３５０は、飛ばしたｍ＋１番目のピクセルに対して、左右すなわちｍ番目とｍ＋２番目のピクセル値を参照して、メタデータの埋め込み補完を行う（Ｓ３６）。メタデータの埋め込みは、例えば、次のようにして実施する。メタデータによるピクセル補完部３５０は、データ記憶部３７０に蓄えられているメタデータを順次参照し、埋め込み対象のメタデータのビット値が０であれば、左右のピクセル値に７対３の割合で重み付けを行って加算平均をとった値を補完ピクセルの値とする。メタデータのビット値が１であれば、重み付けの割合を０の場合とは逆の３対７とし、埋め込むメタデータが無い場合には５対５の割合とする。なお、整数値による加算平均を行うためには、左右のピクセル値にある程度の差が必要であり、例えば左右のピクセル値差分値が１０未満である場合にはメタデータの埋め込みは行わないものとし、同様に５対５の割合でピクセル値を計算することにする。図１１のＳ３５、Ｓ３６に相当する処理イメージを図１３に示す。
【００４３】
次に、残りの補完対象ピクセル数（Ｌ−ｍ）による判定を行い（Ｓ３７）、２ピクセル以上残っている（Ｌ−ｍ≧２）時はＳ３５に戻り、ＴextureＳynthesisによる補完とメタデータの埋め込み補完を繰り返す、すなわち、最後にＴextureＳynthesisによる補完を行ったピクセルの次のピクセルを飛ばし、その次のピクセルをＴextureＳynthesisによる補完を行い、飛ばしたピクセルに対して、メタデータの埋め込み補完を行う。１ピクセルだけ残っている（Ｌ−ｍ＝１）時は、そのままｎ列目のそのピクセルに対してＴextureＳynthesis実施部３４０がＴextureＳynthesisによる補完を行って（Ｓ３８）、ｎ列目の処理を終了する。ピクセルが残っていない（Ｌ−ｍ＝０）時は、そのままｎ列目の処理を終了する。ｎ列目の処理が終了したら、補完する幅分（Ｗ）だけ処理が終わったかを判定する（Ｓ３９）。まだであれば、ｎを１加算してＳ３４に戻り、ｎ＋１列目について処理を続ける。
【００４４】
なお、各行の最初のビットへのＴextureＳynthesisによる補完（Ｓ３４）は必ず行わなければならないものではなく、例えば補完対象のピクセルの縦位置ｎが奇数の時はＳ３４を行い、偶数の時はＳ３４を行わないようにする事で、ＴextureＳynthesisによる補完とメタデータによる補完が補完する枠画像に対して市松模様状に行われるようにしても良い。  全ての処理が終了した後に、コンテンツ出力部３６０は、データ記憶部３７０に記録したメタデータ埋め込み後の補完処理済コンテンツを出力する（Ｓ４１）。
【００４５】
原画像の複数の辺にメタデータを埋め込む場合には、元となるコンテンツデータを９０度回転させて同様の処理を行っても良いし、また探索窓の形状を補完の向きに合わせて９０度回転あるいは反転させて同様の処理を行っても良い。これにより複数の辺にメタデータが埋め込まれた補完処理済コンテンツが生成される。
なお、本実施例で用いた探索窓の形は図８に示す形に限定されるものではなく、例えば補完ピクセルを正方形の中心とせずに、正方形の真ん中の行の左端にするなど、探索窓の形を変える事によって、端領域コピー実施部３３０による枠の端領域の補完（Ｓ３３）を行わずに、枠画像を補完することも可能である。
【００４６】
次に、実施例３における、埋め込んだメタデータを読み出すメタデータ読み出し装置について説明する。
図１４は、実施例３のメタデータ読み出し装置の構成例である。本メタデータ読み取り装置４００は、コンテンツ入力部４１０と、枠付加判定部４２０と、メタデータ読み出し部４３０と、枠切り出し部４４０と、メタデータ出力部４５０と、コンテンツ出力部４６０と、データ記憶部４７０から成る。図１５に、本メタデータ読み出し装置４００の処理フロー例を示す。
【００４７】
まず、コンテンツ入力部４１０で、メタデータの読み取りを行うコンテンツの入力を受け付け（Ｓ４１）、データ記憶部３７０に記録する。図１２で示した様に、枠画像を付加してメタデータを埋め込んだ辺は、辺の両端に原画像からのコピー領域が存在するので、枠付加判定部４２０で、画像の４辺全てについて、両端にコピー領域があるかどうかを判定する（Ｓ４２）。辺の両端にコピー領域があれば、メタデータ読み出し部４３０にて、両端のコピー領域を除いた部分について、メタデータの読み出しを行う（Ｓ４３）。
【００４８】
図１６に、Ｓ４３における具体的なメタデータ読み出し操作の処理イメージを示す。Ｓ４２において枠が付加されていると判断された辺では、コピー領域の大きさから、補完した枠画像の幅（Ｗ）と探索窓の大きさが分かる。その後、枠画像領域の左上端（ｍ＝１、ｎ＝１）のピクセルからメタデータの読み出しを開始する、図１６において、ピクセル「Ａ」（ｍ＝１）とその隣りを一つ飛ばしたピクセル「Ｃ」（ｍ＝３）はＴextureＳynthesisによる補完ピクセル、間のピクセル「Ｂ」（ｍ＝２）がメタデータの埋め込み補完ピクセルであるので、メタデータ読み出し部４３０は、「Ａ」と「Ｃ」のピクセル値の平均値を算出し、間にあるピクセル「Ｂ」のピクセル値との大小を比較し、平均値が「Ｂ」のピクセル値より大きければメタデータのビット値を「０」、小さければ「１」、等しければ「埋め込み無し」と判断して、このビット値をデータ記憶部４７０に各辺毎に記憶する。メタデータ読み出し部４３０は、ピクセル「Ｃ」（ｍとする）と１ピクセル飛ばしたピクセル（ｍ＝ｍ＋２）により、同様にして次のメタデータにより補完された間のピクセル（ｍ＝ｍ＋１）からメタデータのビット値を読み出す。これを枠画像の長さＬ、幅Ｗの分だけ繰り返す事で、一辺の枠画像に埋め込まれたメタデータが読み出され、データ記憶部４７０に記録される。
【００４９】
次いで、枠切り出し部４４０はメタデータを読み出した辺を切り取り（Ｓ４４）、画像の残り部分について再びコピー領域の判定を行う（Ｓ４２）。そして、コピー領域が存在すれば、Ｓ４３、Ｓ４４を繰り返す。全ての辺にコピー領域が存在しなければ、枠を付加した辺は存在しないことになり、メタデータ読み取りは終了する。メタデータ出力部４５０は、読み出しを行った辺の順番に対して、逆順で読み出したメタデータを結合することで、埋め込まれたメタデータを復元する（Ｓ４５）。メタデータ出力部４６０は得られたメタデータを、コンテンツ出力部４６０は枠を切り取る事で得られたコンテンツをそれぞれ出力する（Ｓ４６）。
【００５０】
実施例３では、図１２に示した様に枠の端をコピーし、そのコピーした領域を用いて枠の付加を判断しているが、ＪＰＥＧなどの画像圧縮をした場合に、コピー領域は情報量が減少するため、完全に同一なコピー画像を得ることは出来ず、枠付加の判定を誤る可能性がある。そのため、枠付加判定部４２０において、完全に同一のコピー領域を探すのではなく、コピー領域のピクセルの並びを多次元ベクトルと見なし、ベクトルの距離が一定値以下である場合から、枠付加の可能性を判定する方法なども考えられる。
【００５１】
また、本実施例における処理フロー内で、ピクセルを１ピクセルずつ飛ばして（ｍ＝ｍ＋２）、ＴextureＳynthesisによる補完（図１１のＳ３５）とメタデータによる補完（同Ｓ３６）を１ピクセルずつ交互に行っているが、複数ピクセルを飛ばして２ピクセル以上ずつとしても良く、また補完の割合を例えばＴextureＳynthesisによる補完３ピクセルに対し、メタデータによる補完１ピクセルのように変えて、より適切な枠画像の補完が行われるにようにする事も考えられる。
【００５２】
さらに、図１３の処理イメージにおける、左右ピクセル値の加算平均割合も、ＪＰＥＧ圧縮耐性などの必要に応じて変化させる事が望ましい。本実施例ではメタデータのビット値が０の場合は７対３、１の場合は３対７、埋め込みなしの場合は５対５としたが、これらの値はある程度の幅をもたせて、ビット値が０の場合は９対１〜７対３、１の場合は３対７〜１対９、埋め込みなしの場合は６対４〜４対６のように補完するピクセル値を変動させる事が可能である。
【００５３】
また、本実施例では、補完するピクセルの左右のピクセル値に重み付けを行ったが、上下、斜め、飛び越したピクセルなど、複数方向のピクセルの組み合わせによって補完する事も考えられる。さらにＴextureＳynthesisを用いた補完方法を示したが、その他の画像補完技術を用いたり、複数の補完技術の組み合わせによる方法も考えられる。
【００５４】
以上、本発明の実施の形態について説明したが、図１、図５、図１０及び図１４で示した装置構成における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図６、図１１及び図１５で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施例１におけるメタデータ付帯装置の構成例を示す図である。
【図２】実施例１のメタデータ埋め込み処理フローチャートである。
【図３】対象コンテンツヘの外縁データ領域付帯例を示す図である。
【図４】ステガノグラフィによるメタデータ埋め込み例を示す図である。
【図５】本発明の実施例２におけるメタデータ付帯装置の構成例を示す図である。
【図６】実施例２のメタデータ埋め込み処理フローチャートである。
【図７】実施例１と実施例２のメタデータ埋め込み処理イメージを示す図である。
【図８】ＴextureＳynthesisで用いられる探索窓の一例を示す図である。
【図９】ＴextureＳynthesisの処理イメージを示す図である。
【図１０】本発明の実施例３におけるメタデータ付帯装置の構成例を示す図である。
【図１１】実施例３のメタデータ埋め込み処理フローチャートである。
【図１２】実施例３における枠補完の処理イメージを示す図である。
【図１３】実施例３のメタデータ埋め込み処理イメージを示す図である。
【図１４】実施例３のメタデータ読み取り装置の構成例を示す図である。
【図１５】実施例３のメタデータ読み出しの処理フローチャートである。
【図１６】実施例３のメタデータ読み出し操作の処理イメージを示す図である。
【符号の説明】
【００５６】
１００  メタデータ付帯装置
１１０  コンテンツ入力部
１２０  メタデータ入力部
１３０  外縁データ補完部
１４０  メタデータ埋め込み部
１５０  コンテンツ出力部
１６０  データ記憶部
２００  メタデータ付帯装置
２１０  コンテンツ入力部
２２０  メタデータ入力部
２３０  外縁データ補完部
２４０  コンテンツ出力部
２５０  データ記憶部
３００  メタデータ付帯装置
３１０  コンテンツ入力部
３２０  メタデータ入力部
３３０  端領域コピー部
３４０  ＴextureＳynthesis実施部
３５０  メタデータによるピクセル補完部
３６０  コンテンツ出力部
３７０  データ記憶部
【図１】
2006094460.tif 000003
【図２】
2006094460.tif 000004
【図３】
2006094460.tif 000005
【図４】
2006094460.tif 000006
【図５】
2006094460.tif 000007
【図６】
2006094460.tif 000008
【図７】
2006094460.tif 000009
【図８】
2006094460.tif 000010
【図９】
2006094460.tif 000011
【図１０】
2006094460.tif 000012
【図１１】
2006094460.tif 000013
【図１２】
2006094460.tif 000014
【図１３】
2006094460.tif 000015
【図１４】
2006094460.tif 000016
【図１５】
2006094460.tif 000017
【図１６】
2006094460.tif 000018