(57)【要約】      （修正有）【課題】複数種類の透かしデータのビデオデータへの埋め込みが可能であり、かつ、ビデオデータの符号化処理のための時間を短縮可能にする情報処理装置を提供する。【解決手段】情報処理装置の処理部１１は、ビデオデータに含まれる各フレーム画像をスライスＳ１〜Ｓｎの領域ごとに分割する分割部１１４と、スライスＳ１〜Ｓｎの部分画像ごとに透かしデータを埋め込む透かしデータ埋め込み部１１１と、分割部で分割された各部分画像をスライスＳ１〜Ｓｎの領域ごとに符号化する符号化部１１２と、スライスＳ１〜Ｓｎごとに符号化された部分画像のデータを用いて、ビデオデータが符号化された符号化ビデオデータを構成する符号化ビデオデータ構成部１１５とを備える。【選択図】図２
2019208122.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータに含まれる各フレーム画像を領域ごとに分割する分割部と、
前記分割部で分割された部分画像ごとに透かしデータを埋め込む透かしデータ埋め込み部と、
前記分割部で分割された各部分画像を前記領域ごとに符号化する符号化部と、
符号化された前記部分画像のデータを用いて、前記ビデオデータが符号化された符号化ビデオデータを構成する符号化ビデオデータ構成部と、
を備える情報処理装置。
【請求項２】
前記符号化部は、２以上のフレームを含むグループごとに前記部分画像の符号化を行う、
請求項１に記載の情報処理装置。
【請求項３】
各部分画像が透かしデータの埋め込みの可能な画像になるよう、前記グループごとに各部分画像の大きさを変化させる透かし領域決定部をさらに備え、
前記分割部は、前記透かし領域決定部の決定に従って、各フレーム画像を領域ごとに分割する、
請求項２に記載の情報処理装置。
【請求項４】
前記透かし領域決定部は、各部分画像が透かしデータの埋め込みの可能な画像になるよう、前記グループごとに各部分画像の分割数を変化させる、
請求項３に記載の情報処理装置。
【請求項５】
前記透かし領域決定部は、透かしデータの埋め込みに適していない部分画像の場合、当該部分画像への透かしデータの埋め込みを停止させる制御信号を前記透かしデータ埋め込み部に出力し、
前記透かしデータ埋め込み部は、前記制御信号で指定されたフレームの部分画像への透かしデータの埋め込みを行わず、前記分割部から取得した部分画像を前記符号化部に出力する、
請求項３又は４に記載の情報処理装置。
【請求項６】
情報処理装置が、
ビデオデータに含まれる各フレーム画像を領域ごとに分割し、
分割された部分画像ごとに透かしデータを埋め込み、
各部分画像を前記領域ごとに符号化し、
符号化された前記部分画像のデータを用いて、前記ビデオデータが符号化された符号化ビデオデータを構成する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオデータに電子透かしを埋め込む情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ビデオデータに電子透かしを埋め込む方法が提案されている（例えば、特許文献１参照。）。特許文献１の方法は、ｍ個の領域を有するビデオデータをｎセット複製し、複製したビデオデータごとに異なる電子透かしを埋め込み、ｎセットのビデオデータをｍ個の領域ごとに組み合わせてビデオデータを再構成する。これにより、特許文献１の方法は、電子透かしを埋め込む時間を省略し、短時間でｎ×ｍ種類の電子透かしをビデオデータに埋め込むことを可能にする。
【０００３】
ビデオデータを送信する場合、ビデオデータが符号化された符号化ビデオデータを送信する。特許文献１の方法では、領域ごとに再構成した後にビデオデータを符号化するため、映像コンテンツをリアルタイムで配信する場合、再構成したビデオデータをリアルタイムで符号化する必要がある。
【０００４】
一方で、ビデオデータの符号化では、２以上のフレームを含むグループごとにデータの圧縮及び伸長が行われている。本開示では、このグループをＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ぶ。すなわち、本開示におけるＧＯＰは、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）で定められているＧＯＰに限らない。例えば、本開示のＧＯＰは、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告のＨ．２６４やＨ．２６５における、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）フレームから次のＩＤＲフレームの前のフレームで構成されるグループを含む。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許５１６９９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
映像コンテンツのリアルタイムでの配信のためには、電子透かしの埋め込み処理だけでなく、ビデオデータの符号化処理のための時間についても短縮することが望ましい。
【０００７】
そこで、本開示は、複数種類の透かしデータのビデオデータへの埋め込みが可能であり、かつ、ビデオデータの符号化処理のための時間を短縮可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
具体的には、本開示に係る情報処理装置は、
ビデオデータに含まれる各フレーム画像を領域ごとに分割する分割部と、
前記分割部で分割された部分画像ごとに透かしデータを埋め込む透かしデータ埋め込み部と、
前記分割部で分割された各部分画像を前記領域ごとに符号化する符号化部と、
符号化された前記部分画像のデータを用いて、前記ビデオデータが符号化された符号化ビデオデータを構成する符号化ビデオデータ構成部と、
を備える。
【０００９】
具体的には、本開示に係る情報処理方法は、
情報処理装置が、
ビデオデータに含まれる各フレーム画像を領域ごとに分割し、
分割された部分画像ごとに透かしデータを埋め込み、
各部分画像を前記領域ごとに符号化し、
符号化された前記部分画像のデータを用いて、前記ビデオデータが符号化された符号化ビデオデータを構成する。
【００１０】
本開示は、情報処理装置に備わる各機能部としてコンピュータを機能させるか、或いは、本開示に係る情報処理方法に備わる各ステップをコンピュータに実行させる、プログラムを含む。プログラムは、コンピュータ読み取り可能な記録媒体に記憶されていてもよい。
【発明の効果】
【００１１】
本開示によれば、複数種類の透かしデータのビデオデータへの埋め込みが可能であり、かつ、ビデオデータの符号化処理のための時間を短縮可能にすることができる。
【図面の簡単な説明】
【００１２】
【図１】本開示に係るシステム構成の一例を示す。
【図２】第１の実施形態に係る処理部の構成の一例を示す。
【図３】ビデオデータの一例を示す。
【図４】分割の一例を示す。
【図５】符号化ビデオデータの一例を示す。
【図６】透かしデータの第１の埋め込み例を示す。
【図７】透かしデータの第２の埋め込み例を示す。
【図８】透かしデータの第３の埋め込み例を示す。
【図９】第２の実施形態に係る処理部の一例を示す。
【図１０】透かしデータの第４の埋め込み例を示す。
【図１１】透かしデータの第５の埋め込み例を示す。
【図１２】透かしデータを埋め込まないフレームを含む符号化ビデオデータの一例を示す。
【図１３】第４の実施形態に係る処理部の一例を示す。
【図１４】１つの符号化部でスライスごとに生成される符号化ビデオデータの一例を示す。
【図１５】１つの符号化部で部分画像ごとに生成される符号化フレームデータの一例を示す。
【図１６】データ置換部で部分画像を置換後の符号化ビデオデータの一例を示す。
【図１７】透かしデータが埋め込まれた部分画像の一例を示す。
【図１８】第５の実施形態に係る処理部の一例を示す。
【図１９】仮データの埋め込まれた符号化ビデオデータの一例を示す。
【図２０】仮の透かしデータを埋め込んだ場合の映像品質の比較例を示す。
【発明を実施するための形態】
【００１３】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【００１４】
（第１の実施形態）
図１に、本実施形態に係るシステムの一例を示す。本実施形態に係るシステムは、情報処理装置１０が、ビデオデータ格納装置２０に格納されているビデオデータを、ユーザ装置３０＿Ａ及び３０＿Ｂに送信する。
【００１５】
情報処理装置１０は、処理部１１、メモリ１２、送受信部１３を備える。送受信部１３がビデオデータ格納装置２０からビデオデータを受信すると、処理部１１がビデオデータをメモリ１２に格納する。処理部１１は、メモリ１２からビデオデータを読み出し、読み出したビデオデータから符号化ビデオデータを生成し、メモリ１２に格納する。送受信部１３は、メモリ１２に格納されている符号化ビデオデータをユーザ装置３０＿Ａ及び３０＿Ｂに送信する。
【００１６】
図２に、処理部の構成の一例を示す。処理部１１は、透かしデータ埋め込み部１１１と、符号化部１１２と、分割部１１４と、符号化ビデオデータ構成部１１５と、を備える。本実施形態では、処理部１１が、ｎ個の透かしデータ埋め込み部１１１及び符号化部１１２を備える。ここで、「ｎ」は、フレーム画像の分割数であり、１以上の任意の整数でありうる。本実施形態は、コンピュータを、透かしデータ埋め込み部１１１、符号化部１１２、分割部１１４及び符号化ビデオデータ構成部１１５として機能させることで、情報処理装置１０を実現してもよい。
【００１７】
分割部１１４は、メモリ１２からビデオデータを読み出し、ビデオデータに含まれる各フレーム画像を領域ごとに分割する。分割は、例えば、画像の水平方向で分割するスライス、画像の垂直方向で分割するブロック又はこれらの組み合わせである。本実施形態では、分割の一例として、各フレーム画像をｎ個のスライスに分割する場合について説明する。
【００１８】
図３に、ビデオデータの一例を示す。ビデオデータは、シーケンスヘッダ、シーケンスエンド及び複数のフレームＦ１，Ｆ２，・・・を含む。各フレームＦ１，Ｆ２，・・・は、ヘッダ及び画像データを含む。例えば、フレームＦ１は、ヘッダＦＨ１及び画像データＦＰ１を含む。
【００１９】
図４に、分割の一例を示す。ビデオデータに含まれるフレーム画像Ｆ１が、ｎ個のスライスに等分割され、部分画像ＦＳ１１〜ＦＳ１ｎが生成される。他のフレーム画像Ｆ２〜Ｆｋについても同様にｎ等分される。
【００２０】
透かしデータ埋め込み部１１１は、部分画像ごとに透かしデータを埋め込む。例えば、透かしデータ埋め込み部１１１＿Ｓ１が部分画像ＦＳ１１に透かしデータを埋め込み、透かしデータ埋め込み部１１１＿Ｓ２が部分画像ＦＳ１２に透かしデータを埋め込み、透かしデータ埋め込み部１１１＿Ｓｎが部分画像ＦＳ１ｎに透かしデータを埋め込む。このように、本実施形態の透かしデータ埋め込み部１１１は、透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎを備えるため、各部分画像への透かしデータの埋め込みを並列で行うことができる。
【００２１】
ここで、透かしデータ埋め込み部１１１は、分割された部分画像のいずれかに透かしデータを埋め込む。例えば、透かしデータ埋め込み部１１１＿Ｓ１のみが部分画像ＦＳ１１に透かしデータを埋め込む。この場合、透かしデータ埋め込み部１１１＿Ｓ２〜１１１＿Ｓｎは、透かしデータを埋め込まないままの部分画像ＦＳ１２〜ＦＳ１ｎを符号化部１１２に出力する。
【００２２】
また、透かしデータは任意である。例えば、スライスＳ１〜Ｓｎに埋め込まれる透かしデータは、共通であってもよいし、異なっていてもよい。共通のデータとしては、例えば、符号化ビデオデータの送信先の情報が例示できる。異なるデータとしては、透かしデータの埋め込まれているスライスを特定するための情報が例示できる。
【００２３】
符号化部１１２は、透かしデータ埋め込み部１１１から取得した各部分画像を領域ごとに符号化する。例えば、符号化部１１２＿Ｓ１は部分画像ＦＳ１１を符号化し、符号化部１１２＿Ｓｎは部分画像ＦＳ１ｎを符号化する。本実施形態では、符号化部１１２が符号化部１１２＿Ｓ１〜１１２＿Ｓｎを備えるため、各部分画像の符号化を同時に並列で行うことができる。
【００２４】
ここで、符号化方法は、動画の圧縮に用いられる任意の符号化方法を用いることができる。符号化部１１２は、２以上のフレームを含むグループごとに部分画像の符号化を行うことが好ましい。例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告のＨ．２６４やＨ．２６５が例示できる。
【００２５】
例えば、１つのグループに、図４に示すフレームＦ１〜Ｆｋが含まれる場合、符号化部１１２＿Ｓ１は、部分画像ＦＳ１１〜ＦＳｋ１を１グループとして符号化する。符号化部１１２＿Ｓ２〜１１２＿Ｓｎについても同様である。このように、本実施形態では、１つのスライスを他のスライスと独立に符号化し、フレーム間の参照関係がスライスに閉じられる。
【００２６】
符号化ビデオデータ構成部１１５は、符号化された部分画像のデータを用いて、ビデオデータが符号化された符号化ビデオデータを構成し、メモリ１２に格納する。符号化ビデオデータは、２以上のＧＯＰを含む。各ＧＯＰは、ＧＯＰヘッダ及びグループに含まれるフレームＦ１〜Ｆｋを含む。ここで、「ｋ」は、グループに含まれるフレーム数であり、任意の正数をとりうる。「ｋ」は、各ＧＯＰで共通であってもよいし、ＧＯＰごとに異なってもよい。
【００２７】
図５に、符号化ビデオデータの一例を示す。本実施形態では、フレームがスライスに分割されている。このため、グループに含まれるフレームがスライスごとに格納される。例えば、ＧＯＰ＿１はＧＯＰヘッダ及びスライスＳ１，Ｓ２，Ｓ３，・・・，Ｓｎを含む。各スライスは、ヘッダ及びグループに含まれる各フレームの部分画像のデータを含む。例えば、スライスＳ２は、ヘッダＳＨ２及び部分画像ＦＳ１２，ＦＳ２２，・・・，ＦＳｋ２のデータを含む。
【００２８】
ここで、分割部１１４におけるフレーム画像の分割数や各部分画像の領域は任意である。例えば、フレーム画像の分割数や部分画像の領域は、各ＧＯＰで共通であってもよいし、ＧＯＰごとに異なっていてもよい。また、透かしデータ埋め込み部１１１において透かしデータを埋め込む部分画像は任意である。透かしデータ埋め込み部１１１は、ＧＯＰにおける予め定められた位置に配置されているフレーム画像に透かしデータを埋め込むことが好ましい。以下、透かしデータの埋め込みの具体例について説明する。
【００２９】
図６に、透かしデータの第１の埋め込み例を示す。本例では、各スライスＳ１〜Ｓｎにおいて、ＧＯＰの先頭に配置されるＩフレーム（キーフレーム）に透かしデータが埋め込まれる。本実施形態では、部分画像に埋め込む透かしデータが１種のみの場合であっても、１つのＧＯＰにスライスの数ｎに等しいバリエーションの透かしデータを埋め込むことができる。
【００３０】
ここで、透かしデータを埋め込むＧＯＰ内での位置又はその組み合わせは、符号化ビデオデータの送信先ごとに異なることが好ましい。例えば、ユーザ装置３０＿Ａへ送信する符号化ビデオデータには図４に示す部分画像ＦＳ１２に透かしデータを埋め込み、ユーザ装置３０＿Ｂへ送信する符号化ビデオデータには図４に示す部分画像ＦＳ１３に透かしデータを埋め込む。これにより、どの部分画像に透かしデータが埋め込まれているかに基づいて、符号化ビデオデータの送信先を特定することができる。
【００３１】
図７に、透かしデータの第２の埋め込み例を示す。本例では、透かしデータの埋め込まれるスライスＳ１〜ＳｎがフレームＦ１〜Ｆｋごとに異なる。この埋め込み例では、スライスごとに埋め込むフレーム（Ｉ，Ｂ、Ｐ）を変えることができるため、参照フレーム単位のなかに、より多くの情報を埋め込むことができる。透かしデータ埋め込み部１１１は、フレームＦ１〜Ｆｋのいずれかのフレームの部分画像に、符号化ビデオデータの送信先ごとに異なる情報を埋め込むことが好ましい。
【００３２】
図８に、透かしデータの第３の埋め込み例を示す。本例では、スライスがさらにタイルに分割されている例を示す。タイルの分割数は、任意であり、各スライスで同一であってもよいし、スライスごとに異なっていてもよい。本実施形態の符号化部１１２は、フレーム画像における同じ場所に配置されているタイルごとに符号化を行う。例えば、ＧＯＰに含まれる同じ場所に配置されているタイルＳ２Ｔ１が符号化される。
【００３３】
ここで、図６〜図８では、透かしデータを埋め込むスライスがフレームによって予め定められている。本開示は、これに限定されるものではなく、例えば、透かしデータを埋め込むスライスやタイルはランダムであってもよい。
【００３４】
また、部分画像における透かしデータを埋め込む領域は任意である。例えば、透かしデータの埋め込まれる領域は、部分画像の全体であってもよいが、部分画像の予め定められた領域であってもよい。特に、スライスやタイルの境界付近では、透かしデータの埋め込みを行わないことが好ましい。このように、スライスやタイルの境界付近への透かしデータの埋め込みを避けることで、透かしデータの埋め込みによって生じる復号後のビデオデータにおけるスライスやタイルの境界線の出現を防止することができる。
【００３５】
また、部分画像に埋め込まれる透かしの強度は任意である。例えば、透かしの強度は、部分画像内で一定であってもよいが、部分画像における領域に応じて異なってもよい。特に、部分画像におけるスライスやタイルの境界付近での透かしの強さは、スライスやタイルの中心付近に比べて弱いことが好ましい。例えば、スライスやタイルの中心付近からスライスやタイルの境界付近に近づくにしたがって、透かしの強さを順に弱くし、スライスやタイルの境界付近で無くす。このように、スライスやタイルの境界付近での透かしを弱くすることで、透かしデータの埋め込みによって生じる復号後のビデオデータにおけるスライスやタイルの境界線の出現を防止することができる。
【００３６】
スライスやタイルの境界線は必ず生じる現象ではなく、また透かしデータは消えにくいことが好ましい。そのため、スライスやタイルの境界付近への透かしデータの埋め込みを避ける処理は、ビデオデータやＧＯＰごとに設定可能であることが好ましい。これにより、フレーム画像の画像品質の低下を防止することができる。
【００３７】
以上説明したように、本実施形態は、各部分画像への透かしデータの埋め込みを並列で行い、各部分画像の符号化を並列で行う。このため、ビデオデータの符号化処理のための時間を短縮可能にすることができる。ここで、本実施形態は、部分画像ごとに透かしデータの埋め込みを行うため、１種類の透かしデータを用いて、ＧＯＰごとにｎ×ｋとおりの透かしデータを埋め込むことができる。したがって、本実施形態は、複数種類の透かしデータのビデオデータへの埋め込みが可能であり、かつ、ビデオデータの符号化処理のための時間を短縮可能にすることができる。
【００３８】
本実施形態のシステムでは、２台のユーザ装置３０＿Ａ及び３０＿Ｂが備わる例を示すが、本開示に係るシステムに備わるユーザ装置は１台以上であればよい。また、本実施形態のシステムでは、１台のビデオデータ格納装置２０が備わる例を示すが、本開示に係るシステムに備わるビデオデータ格納装置２０は２台以上であってもよい。
【００３９】
また、本実施形態のシステムでは情報処理装置１０がビデオデータ格納装置２０からビデオデータを取得する例を示すが、情報処理装置１０は符号化されたビデオデータをビデオデータ格納装置２０から取得してもよい。この場合、情報処理装置１０は、符号化されたビデオデータを復号化してビデオデータとしてメモリ１２に記憶することが好ましい。
【００４０】
（第２の実施形態）
部分画像によっては、透かしデータの埋め込みに適していない場合がある。例えば、部分画像の全体において、色の濃淡がほとんどない画像などである。そこで、本実施形態は、部分画像に応じて、分割部１１４における動作を変化させる。
【００４１】
図９に、本実施形態に係る処理部１１の一例を示す。処理部１１は、分割部１１４の前段に、透かし領域決定部１１６をさらに備える。透かし領域決定部１１６は、分割部１１４において分割する部分画像の大きさを変化させる。分割部１１４は、フレーム画像を、透かし領域決定部１１６の決定に応じた領域に分割する。
【００４２】
例えば、スライスＳ１〜Ｓｎを均等に分割する図６に示す例において、透かしデータを埋め込むことによってスライスＳ１の部分画像の画像品質が低下する場合、透かし領域決定部１１６は、画像品質の低下が改善するよう、スライスＳ１の部分画像の領域を拡大する。分割部１１４は、透かし領域決定部１１６の決定に従い、図１０に示すように、スライスＳ１の部分画像の領域を拡大するように、各スライスに分割する。
【００４３】
例えば、スライスＳ１〜Ｓｎを均等に分割する図６に示す例において、透かしデータを埋め込むことによってスライスＳ１及びＳ３の部分画像の画像品質が低下する場合、透かし領域決定部１１６は、画像品質の低下が改善するよう、スライスＳ１及びＳ３の部分画像の領域を拡大する。分割部１１４は、透かし領域決定部１１６の決定に従い、図１１に示すように、スライスＳ１及びＳ３の部分画像の領域を拡大するように、各スライスに分割する。
【００４４】
ここで、画像品質が低下するか否かは、ＧＯＰ内の予め定められたフレームの部分画像を用いて判定する。予め定められたフレームは、例えば、ＩフレームなどのＧＯＰ内の一定のフレームや、透かしデータの埋め込まれるフレームである。
【００４５】
また、透かしデータを埋め込むためには、透かしデータに応じて定められるデータ量の画像が必要になる。そこで、透かし領域決定部１１６は、分割部１１４によって分割された各部分画像が透かしデータの埋め込みの可能な画像になるよう、フレーム画像の分割数を変化させてもよい。例えば、スライスＳ１及びＳ３の部分画像の領域を拡大することによって、他のスライスＳ２及びＳ４〜Ｓｎの画像品質が低下する場合、透かし領域決定部１１６は、スライスの分割数をｎからｎ−１に変更する。この場合、分割部１１４は、透かし領域決定部１１６の決定に従い、ｎ−１のスライスに分割する。
【００４６】
また、透かし領域決定部１１６は、部分画像の形状を任意の形状に可変させることで、各部分画像に透かしデータが埋め込み可能になるようにしてもよい。
【００４７】
以上説明したように、本実施形態は、各部分画像を透かしデータの埋め込みに適した画像に変化させる。これにより、本実施形態は、透かしデータの埋め込みによる画像品質の劣化を防ぐことができる。
【００４８】
なお、本実施形態では、符号化部１１２において領域ごとかつＧＯＰごとに符号化するため、部分画像の大きさや分割数はＧＯＰ内で共通である。例えば、透かし領域決定部１１６は、図５に示すＧＯＰ＿１内では、部分画像の大きさや分割数は変化させない。一方、図５に示すＧＯＰ＿１とＧＯＰ＿２とでは、部分画像の大きさや分割数はＧＯＰ内で異なっていてもよい。
【００４９】
また、本実施形態では、透かしデータを埋め込むことによる画像品質の低下の判断を、部分画像ＦＳ１１〜ＦＳ１ｎを用いて行う例を示したが、本開示はこれに限定されない。例えば、透かしデータを埋め込むことによる画像品質の低下の判断は、Ｉフレーム（キーフレーム）、Ｂフレーム若しくはＰフレーム又はこれらの組み合わせなど、ＧＯＰに含まれる１以上の任意のフレームＦ１〜Ｆｋのフレーム画像を用いることができる。
【００５０】
（第３の実施形態）
フレーム画像によっては、透かしデータの埋め込みに適していない場合がある。例えば、フレーム画像の全体において、色の濃淡がほとんどない画像などである。そこで、本実施形態は、フレーム画像に応じて、透かしデータ埋め込み部１１１における動作を変化させる。
【００５１】
図９に、本実施形態に係る処理部１１の一例を示す。例えば、図４に示すフレームＦ２及びＦ５のフレーム画像が透かしデータの埋め込みに適していない場合、透かし領域決定部１１６は、透かしデータ埋め込み部１１１に対してフレームＦ２及びＦ５への透かしデータの埋め込みを停止させる制御信号を出力する。この場合、透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎは、制御信号で指定されたフレームへの透かしデータの埋め込みを行うことなく、部分画像ＦＳ２１〜ＦＳ２ｎ及びＦＳ５１〜ＦＳ５ｎを符号化部１１２＿Ｓ１〜１１２＿Ｓｎに出力する。これにより、図１０及び図１１に示すような、フレームＦ２及びＦ５に透かしデータの埋め込まれていない部分画像が、符号化部１１２＿Ｓ１〜１１２＿Ｓｎに入力される。
【００５２】
フレーム画像のどこにも透かしデータを埋め込まない場合も、分割部１１４は、第１の実施形態と同様に、フレーム画像を分割して透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎに出力する。フレーム画像を分割して透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎは、透かしデータの埋め込みを行うことなく符号化部１１２＿Ｓ１〜１１２＿Ｓｎに出力する。これにより、符号化部１１２＿Ｓ１〜１１２＿Ｓｎは、１つのスライスを他のスライスと独立に符号化する。
【００５３】
なお、図１２に示すように、スライスとタイルを組み合わせた透かしデータの埋め込みについても、同様である。
【００５４】
以上説明したように、本実施形態は、フレーム画像が透かしデータの埋め込みに適していない場合、透かしデータの埋め込みを行うことなく、１つのスライスを他のスライスと独立に符号化する。これにより、本実施形態は、透かしデータの埋め込みによる画像品質の劣化を防ぐことができる。
【００５５】
（第４の実施形態）
図１３に、本実施形態に係る処理部１１の一例を示す。処理部１１は、データ置換部１１３をさらに備え、分割部１１４で分割された部分画像が透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎ及び符号化部１１２＿Ｓ１〜１１２＿Ｓｎの両方に出力される。
【００５６】
符号化部１１２＿Ｓ１〜１１２＿Ｓｎは、分割部１１４で分割された部分画像を符号化する。これにより、符号化部１１２＿Ｓ２において、図１４に示す符号化ビデオデータが生成される。
【００５７】
また、符号化部１１２＿Ｓ１〜１１２＿Ｓｎは、透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎで符号化された部分画像を符号化する。例えば、部分画像ＦＳ１２に透かしデータが埋め込まれている場合、符号化部１１２＿Ｓ２は、透かしデータの埋め込まれている部分画像ＦＳ１２を符号化する。このように、本実施形態では、ＧＯＰ単位ではなく、透かしデータが埋め込まれているフレームを個別に符号化する。これにより、符号化部１１２＿Ｓ２において、図１５に示す符号化フレームデータが生成される。
【００５８】
データ置換部１１３は、符号化ビデオデータに含まれる特定フレームのデータを、符号化フレームデータに含まれる特定フレームのデータに置換する。例えば、データ置換部１１３＿Ｓ２は、図１４に示す符号化ビデオデータ内を検索してヘッダＳＨ２を特定し、図１４に示す部分画像ＦＳ１２を、図１５に示す部分画像ＭＳ１２に置換する。これにより、図１６に示すような、透かしデータの埋め込まれた部分画像ＭＳ１２が含まれる符号化ビデオデータを生成することができる。
【００５９】
ここで、透かしデータ埋め込み部１１１＿Ｓ１〜１１１＿Ｓｎは透かしデータの異なる複数の部分画像を生成することが好ましい。この場合、図１７に示すように、符号化部１１２＿Ｓ２は透かしデータごとに個別の符号化フレームデータを生成する。そして、データ置換部１１３は、ユーザ装置３０＿Ａ及び３０＿Ｂごとに異なる透かしデータの埋め込まれた符号化フレームデータの部分画像を置換する。これにより、本実施形態は、透かしデータの埋め込み及び符号化をリアルタイムではなく事前に行うことができる。このため、本実施形態は、複数種類の透かしデータのビデオデータへの埋め込みが可能であり、かつ、ビデオデータの符号化処理のための時間を短縮可能にすることができる。
【００６０】
（第５の実施形態）
ＧＯＰの一部のフレームに透かしデータを埋め込む場合、透かしデータを埋め込んだ特定フレームの前後に配置されるフレームの符号化後の画像データが透かしデータの有無によって変化する可能性がある。そこで、本実施形態では、符号化ビデオデータに含まれる特定フレームの部分画像に、仮の透かしデータ（以下、仮データと称する。）を埋め込む。
【００６１】
図１８に、本実施形態に係る処理部１１の一例を示す。本実施形態では、図１４に示す部分画像ＦＳ１２に代え、仮データの埋め込まれた部分画像ＴＳ１２がヘッダＳＨ２の後に配置されている。
【００６２】
本実施形態では、符号化部１１２が符号化ビデオデータを生成する前に、透かしデータ埋め込み部１１１が仮データを埋め込む。例えば、透かしデータ埋め込み部１１１＿Ｓ２は、部分画像ＦＳ１２を複製し、一方の部分画像ＦＳ１２に透かしデータを埋め込み、他方の部分画像ＦＳ１２に仮データを埋め込む。そして、符号化部１１２＿Ｓ２は、仮データの埋め込まれたビデオデータをＧＯＰ単位で符号化する。これにより、図１９に示す符号化ビデオデータが生成される。
【００６３】
符号化部１１２＿Ｓ２は、透かしデータの埋め込まれたビデオデータをフレーム単位で符号化する。これにより、図１５に示す符号化ビデオデータが生成される。そして、データ置換部１１３は、部分画像ＴＳ１２を部分画像ＭＳ１２に置換する。
【００６４】
ここで、透かしデータ埋め込み部１１１は、透かしデータと共通の方法を用いて仮データを埋め込む。仮データは、仮の透かしデータであり、透かしデータと同一のデータであってもよいし、異なっていてもよい。例えば、透かしデータ埋め込み部１１１が共通の方法を用いて複数種類の透かしデータを埋め込む場合、複数種類の透かしデータのいずれかを仮データとして用いることができる。
【００６５】
符号化部１１２＿Ｓ１〜１１２＿Ｓｎは、仮データの埋め込まれたビデオデータを符号化して符号化ビデオデータを生成する。このため、図１９に示す符号化ビデオデータは、部分画像ＦＳ１２の前後における部分画像を、透かしデータを埋め込んだ後に符号化された画像データに似せることができる。
【００６６】
図２０に、仮データを埋め込んだ場合の解析例を示す。■が仮データを埋め込んだ実施例のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を示し、黒丸が仮データを埋め込まない比較例のＰＳＮＲを示す。いずれも、ＧＯＰに含まれるフレームが３０フレームであり、Ｉフレームに透かしデータを埋め込んでいる。比較例では、Ｉフレーム付近でのＰＳＮＲすなわち映像品質が劣化するが、実施例ではＩフレーム付近での映像品質の劣化を防げていることが分かる。平均値での比較では、比較例が４０．３であるのに対し、実施例が４１．３であった。
【００６７】
以上説明したように、本実施形態は、符号化ビデオデータに含まれる部分画像に、仮データを埋め込む。これにより、本実施形態は、特定フレームの前後におけるフレームの画像データを、透かしデータを埋め込んだ後に符号化された画像データに似せることができる。したがって、本実施形態は、透かしデータの埋め込み及び符号化を事前に行うことによる部分画像の劣化を軽減することができる。
【産業上の利用可能性】
【００６８】
本開示は情報通信産業に適用することができる。
【符号の説明】
【００６９】
１０：情報処理装置
１１：処理部
１１１、１１１＿Ｓ１、１１１＿Ｓ２、・・・１１１＿Ｓｎ：透かしデータ埋め込み部
１１２、１１２＿Ｓ１、１１２＿Ｓ２、・・・１１２＿Ｓｎ：符号化部
１１３、１１３＿Ｓ１、１１３＿Ｓ２、・・・１１３＿Ｓｎ：データ置換部
１１４：分割部
１１５：符号化ビデオデータ構成部
１１６：透かし領域決定部
１２：メモリ
１３：送受信部
２０：ビデオデータ格納装置
３０＿Ａ，３０＿Ｂ：ユーザ装置
【図１】
2019208122.tif 000003
【図２】
2019208122.tif 000004
【図３】
2019208122.tif 000005
【図４】
2019208122.tif 000006
【図５】
2019208122.tif 000007
【図６】
2019208122.tif 000008
【図７】
2019208122.tif 000009
【図８】
2019208122.tif 000010
【図９】
2019208122.tif 000011
【図１０】
2019208122.tif 000012
【図１１】
2019208122.tif 000013
【図１２】
2019208122.tif 000014
【図１３】
2019208122.tif 000015
【図１４】
2019208122.tif 000016
【図１５】
2019208122.tif 000017
【図１６】
2019208122.tif 000018
【図１７】
2019208122.tif 000019
【図１８】
2019208122.tif 000020
【図１９】
2019208122.tif 000021
【図２０】
2019208122.tif 000022