(57)【要約】【課題】付随情報画像の情報伝達量を増大させることができる映像処理装置および映像処理方法を提供すること。【解決手段】本発明の映像処理装置（２００）は、映像を構成する一連のフレーム画像を取得するフレーム画像取得部（２１０）と、フレーム画像を単位として変化する付随情報画像を、フレーム画像のそれぞれに挿入する付随情報挿入部（２３０）と、画素値が繰り返し変化するフリッカピクセルを、フレーム画像毎に挿入される付随情報画像のそれぞれに挿入するフリッカピクセル挿入部（２４０）と、フリッカピクセルを含む付随情報画像が挿入された一連のフレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行う動画エンコード部（２５０）とを有する。【選択図】図３
2010288092.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する一連のフレーム画像を取得するフレーム画像取得部と、
前記フレーム画像を単位として変化する付随情報画像を、前記フレーム画像のそれぞれに挿入する付随情報挿入部と、
画素値が繰り返し変化するフリッカピクセルを、前記フレーム画像毎に挿入される前記付随情報画像のそれぞれに挿入するフリッカピクセル挿入部と、
前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行う動画エンコード部と、
を有する映像処理装置。
【請求項２】
付随情報を取得し、取得した付随情報を多値データに変換する付随情報取得部、を更に有し、
前記付随情報挿入部は、
前記多値データを構成する値を、前記フレーム画像を単位として、前記フレーム間圧縮における動き補償の単位となる画素ブロックに割り振り、当該画素ブロックの画像に変換した画像を前記付随情報画像として取得する、
請求項１記載の映像処理装置。
【請求項３】
前記付随情報は、前記映像の時間軸に対応して変化する情報であり、
前記付随情報取得部は、
前記付随情報を、前記映像の時間軸上で対応する前記フレーム画像に対応付けて、前記多値データに変換し、
前記付随情報挿入部は、
前記多値データを、その多値データが対応付けられた前記フレーム画像に挿入される前記付随情報画像に変換する、
請求項２記載の映像処理装置。
【請求項４】
前記フレーム間圧縮処理は、静的特性の変化がより小さい前記画素ブロックに対して、より高い圧縮率で画像情報を圧縮する処理である、
請求項３記載の映像処理装置。
【請求項５】
前記静的特性は、前記画素ブロックの画素値の平均を含む、
請求項４記載の映像処理装置。
【請求項６】
画素ブロック毎の前記フリッカピクセルの画素値の平均値が一定となるように、前記フリッカピクセルの画素値を制御するフリッカピクセル平均化部、を更に有する、
請求項５記載の映像処理装置。
【請求項７】
前記フリッカピクセル平均化部は、同一の多値データに対応する区間において、前記画素ブロック毎の画素値の平均値が一定となるように、前記フリッカピクセルの画素値および位置の少なくとも１つを制御する、
請求項６記載の映像処理装置。
【請求項８】
映像を構成する一連のフレーム画像を取得するステップと、
前記フレーム画像を単位として変化する付随情報画像を生成するステップと、
生成された付随情報画像のそれぞれに、画素値が繰り返し変化するフリッカピクセルを挿入するステップと、
前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行うステップと、
を有する映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に付随情報を挿入する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
映像にパターンを重畳することによって、映像に付随情報を挿入することが、従来行われている。具体的には、例えば、位置、形状、輝度、色情報等に関して所定の規則で形成される図形やパターンを、予め映像の送信側と受信側との間で定義しておく。そして、送信側の映像処理装置は、定義に従って付随情報を画像に変換し、生成した画像（以下「付随情報画像」という）を映像に重畳する。一方、受信側の映像処理装置は、定義に従って映像から付随情報画像を抽出し、抽出した付随情報画像から付随情報を復元する。これにより、映像を媒体として付随情報を伝達することができる。
【０００３】
具体的には、例えば、表示の目的とする映像（以下「メイン映像」という）の表示領域以外の映像領域に、時刻情報等の付随情報画像を重畳する技術が、特許文献１に記載されている。また、物流分野等で広く用いられているバーコードのような多値コードのパターン画像を、付随情報画像として採用する技術が、特許文献２に記載されている。
【０００４】
ところで、映像の保存や送信に際して、フレーム間圧縮を伴うエンコード処理を映像に対して行うことが、一般的に行われている。このようなフレーム間圧縮は、例えば、ＭＰＥＧ（motion picture expert group）で規定されるデジタル映像フォーマットにおいて用いられている。
【０００５】
フレーム間圧縮では、映像の劣化を抑えながら情報を切り捨てるための１つの手法として、動き補償と呼ばれるデータ圧縮処理が行われる。動き補償は、フレーム画像を区分した画素ブロックのうち、フレーム間の画素値の変化が大きい画素ブロックの情報量を高く保持し、他の画素ブロックの情報量を削減する処理である。言い換えると、動き補償は、フレーム間の画素値の変化が視認し難く微小であるほど、高い圧縮率で圧縮する処理である。
【０００６】
このように映像は、フレーム間圧縮を行うことにより、映像の劣化を抑えた状態でデータ量を大幅に削減することができ、映像のストリーミング配信等の各種用途への適用が容易となる。
【０００７】
ところが、上述の付随情報画像を映像に挿入する場合、付随情報画像は、フレーム間圧縮によって、情報量の削減の影響を大きく受けるおそれがある。付随情報画像は、情報量の削減の影響で欠落が生じると、受信側で付随情報を正しく復元することができない。
【０００８】
そこで、フレーム間圧縮を考慮して付随情報画像の重畳状態を制御する技術が、例えば特許文献３に記載されている。
【０００９】
図１は、特許文献３記載の情報付加装置の概略を示すブロック図である。情報付加装置１０は、ばらつき度演算部２０、付随情報生成部３０、付随情報挿入部４０、およびエンコード部５０を有する。
【００１０】
付随情報挿入部４０は、入力されたフレーム画像毎に、付随情報生成部３０が生成した付随情報を重畳する。このとき、ばらつき度演算部２０は、入力したフレーム毎、および画素ブロック毎に、画素ブロック内の画像信号のばらつき度を求める。そして、付随情報挿入部４０は、求めたばらつき度に応じて付加情報の重畳の仕方を変える。エンコード部５０は、付随情報画像が重畳された一連のフレーム画像に対して、動画データを得るためのエンコード処理を行う。これにより、映像処理装置１０は、外乱に対する付随情報画像のロバスト性（堅牢性）を向上させ、付随情報の伝達精度を向上させることができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００２−２７１７５９号公報
【特許文献２】特開平８−４４８０９号公報
【特許文献３】特開平１１−９８４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献３記載の技術では、付随情報画像の情報伝達量を増大させることが難しいという課題がある。
【００１３】
理由は以下の通りである。メイン映像の表示領域を確保した状態で付随情報のある時間長さにおける情報伝達量を増やすためには、複数の付随情報を切り替えて表示することが有効である。この場合、付随情報画像は、映像の時間軸に対応して変化する。ところが、上述の通り、フレーム間圧縮処理においては、通常、フレーム間の画素値の変化が微小な画素ブロックは、時間周波数におけるＤＣＴ（離散コサイン変換）係数値等の量子化により、情報量が削減されてしまう。したがって、付随情報画像の画素値の変化が小さいほど、情報の削減が発生する可能性が高くなる。
【００１４】
このようなＤＣＴ係数の量子化による情報の削減は、付随情報画像の画素値の変化を大きくすることによって回避することができる。ところが、画素値の変化を大きくするためには、１つの情報に対応する画素値の幅を大きくしなければならない。すると、付随情報画像の多値分解能が低くなり、１つの付随情報によって伝達することが可能な情報量が小さくなる。
【００１５】
本発明は、かかる点に鑑みてなされたものであり、付随情報画像の情報伝達量を増大させることができる映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の映像処理装置は、映像を構成する一連のフレーム画像を取得するフレーム画像取得部と、前記フレーム画像を単位として変化する付随情報画像を、前記フレーム画像のそれぞれに挿入する付随情報挿入部と、画素値が繰り返し変化するフリッカピクセルを、前記フレーム画像毎に挿入される前記付随情報画像のそれぞれに挿入するフリッカピクセル挿入部と、前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行う動画エンコード部とを有する。
【００１７】
本発明の映像処理方法は、映像を構成する一連のフレーム画像を取得するステップと、前記フレーム画像を単位として変化する付随情報画像を生成するステップと、生成された付随情報画像のそれぞれに、画素値が繰り返し変化するフリッカピクセルを挿入するステップと、前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行うステップとを有する。
【発明の効果】
【００１８】
本発明によれば、フリッカピクセルを付随情報画像に挿入することにより、符号化処理により付随情報画像の情報が削減されるのを防ぐことができ、付随情報画像の情報伝達量を増大させることができる。
【図面の簡単な説明】
【００１９】
【図１】従来の情報付加装置の概略を示すブロック図
【図２】本発明の実施の形態１に係る映像処理装置を含む映像配信システムの構成を示すシステム構成図
【図３】実施の形態１における映像処理装置の構成を示すブロック図
【図４】実施の形態１における映像受信装置の構成を示すブロック図
【図５】実施の形態１における映像処理装置の全体動作を示すフローチャート
【図６】実施の形態１におけるフレーム画像の一例を示す図
【図７】実施の形態１における付随情報画像の生成の様子を模式的に示す図
【図８】実施の形態１における拡張フレーム画像の一例を示す図
【図９】実施の形態１における符号図形の構成の一例を示す図
【図１０】実施の形態１における符号図形でのフリッカピクセルの挿入位置および変化の様子の一例を示す図
【図１１】実施の形態１におけるフリッカピクセルが挿入された符号図形の一例を示す図
【図１２】実施の形態１におけるある拡張フレーム画像の一例を示す図
【図１３】図１２に示す拡張フレーム画像の次の拡張フレーム画像の一例を示す図
【図１４】実施の形態１における映像受信装置の全体動作を示すフローチャート
【図１５】実施の形態１における複数のフリッカピクセルが挿入された符号図形の第１の例を示す図
【図１６】実施の形態１における複数のフリッカピクセルが挿入された符号図形の第２の例を示す図
【図１７】実施の形態１における複数のフリッカピクセルが挿入された符号図形の第３の例を示す図
【図１８】本発明の実施の形態２に係る映像処理装置の構成を示すブロック図
【図１９】実施の形態２における平均化された複数のフリッカピクセルが挿入された符号図形の第１の例を示す図
【図２０】実施の形態２における平均化された複数のフリッカピクセルが挿入された符号図形の第２の例を示す図
【図２１】実施の形態２における平均化された複数のフリッカピクセルが挿入された符号図形の第３の例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図２は、本発明の実施の形態１に係る映像処理装置を含む映像配信システムの構成を示すシステム構成図である。
【００２２】
図２において、映像配信システム１００は、映像の配信を行う側の装置である映像処理装置２００と、映像の配信を受ける側の装置である映像受信装置３００とを有する。映像処理装置２００および映像受信装置３００は、有線または無線によるデジタル通信ネットワークであるネットワーク４００に接続されている。ネットワーク４００には、例えば、同一の構成を有する多数の映像受信装置３００が接続される。なお、映像処理装置２００および映像受信装置３００は、放送網で接続されても良い。
【００２３】
映像処理装置２００は、ビデオカメラ５００によって撮影されたデジタル映像を一連のフレーム画像として取得し、取得したフレーム画像に対して所定のフレーム間圧縮処理を伴う所定のエンコード処理を行って、圧縮映像データを生成する。このとき、映像処理装置２００は、例えば、時計６００によって計測される現在時刻を付随情報として取得し、取得した付随情報を多値データ化した付随情報画像を生成する。そして、映像処理装置２００は、生成した付随情報画像を、フレーム画像のそれぞれに挿入する。さらにこのとき、映像処理装置２００は、画素値が繰り返し変化するフリッカピクセルを、フレーム画像毎に挿入される付随情報画像のそれぞれに挿入する。そして、映像処理装置２００は、生成した圧縮映像データを、ネットワーク４００を介して映像受信装置３００に配信する。
【００２４】
映像受信装置３００は、映像処理装置２００から受信した圧縮映像データに対して、上述の所定のエンコード処理に対応する所定のデコード処理を行い、元の映像を復元する。映像受信装置３００は、復元した映像からメイン映像と付随情報画像とをそれぞれ抽出し、抽出した付随情報画像から元の付随情報を復元する。そして、映像受信装置３００は、復元した映像および付随情報を、出力装置７００へ出力する。
【００２５】
出力装置７００は、例えば、入力される映像を画面表示するとともに、再生中の映像の撮影時刻を示す情報として、テキスト化された付随情報を画面表示する。
【００２６】
このような映像配信システム１００は、配信される映像に付随情報を映像の一部として付加することができるので、付随情報の送受信のための特別な通信処理を行うことなく、付随情報を配信することができる。また、映像配信システム１００は、フレーム画像単位で、付随情報を映像に同期した状態で配信することができる。また、変化するフリッカピクセルを付随情報画像に挿入するので、付随情報画像の画素値の変化を大きくすることができ、フレーム間圧縮処理によって付随情報画像の情報の削減されるのを防ぐことができる。これにより、付随情報画像の多値分解能を高くすることができ、情報伝達量を増大させることができる。
【００２７】
次に、映像処理装置２００の構成および映像受信装置３００の構成について説明する。
【００２８】
図３は、映像処理装置２００の構成を示すブロック図である。
【００２９】
図３に示すように、映像処理装置２００は、フレーム画像取得部２１０、付随情報取得部２２０、付随情報挿入部２３０、フリッカピクセル挿入部２４０、およびエンコード部２５０を有する。
【００３０】
フレーム画像取得部２１０は、ビデオカメラ５００によって撮影された映像を、一連のフレーム画像として取得し、取得したフレーム画像を、付随情報挿入部２３０へ出力する。
【００３１】
付随情報取得部２２０は、時計６００によって計測された時刻情報を、ビデオカメラ５００の撮影映像の付随情報として取得し、取得した付随情報を、付随情報挿入部２３０へ出力する。
【００３２】
付随情報挿入部２３０は、入力された付随情報を、予め定義された所定の変換規則に従って付随情報画像に変換する。付随情報挿入部２３０は、生成した付随情報画像を、入力されたフレーム画像に対して、所定の位置および大きさで挿入する。そして、付随情報挿入部２３０は、付随情報画像を挿入したフレーム画像（以下「拡張フレーム画像」という）を、フリッカピクセル挿入部２４０へ出力する。
【００３３】
ここで、付随情報挿入部２３０における、各フレーム画像の入力と、そのフレーム画像が撮影された時刻に対応する付随情報の入力とは、同期して行われる。したがって、付随情報挿入部２３０によって各フレーム画像に挿入される付随情報は、そのフレーム画像の撮影時刻を示す情報である。また、付随情報は、映像の時間軸上で変化する情報である。付随情報画像および付随情報画像への変換手法の詳細については後述する。
【００３４】
フリッカピクセル挿入部２４０は、入力された拡張フレーム画像の付随情報画像に映像の時間軸上で変化するフリッカピクセルを挿入し、フリッカピクセルが挿入された拡張フレーム画像を、エンコード部２５０へ出力する。より具体的には、フリッカピクセル挿入部２４０は、繰り返し反転するフリッカピクセルを、付随情報画像に挿入する。フリッカピクセルおよびフリッカピクセルの生成手法の詳細については後述する。
【００３５】
エンコード部２５０は、入力された拡張フレーム画像に対して、例えば、ＭＰＥＧ４に準拠したエンコード処理を行って圧縮映像データを生成し、生成した圧縮映像データを、図２に示す映像受信装置３００に送信する。ＭＰＥＧ４（Ｈ．２６４）は、ＭＰＥＧで規定されるデジタル映像フォーマットであり、エンコード処理において、画素ブロック毎の動き補償を伴うフレーム間圧縮処理を行うことが規定された映像フォーマットである。すなわち、エンコード部２５０は、フレーム間処理によるＤＣＴ係数の量子化において、ＤＣＴ係数の値が小さい部分の情報を捨て、画素ブロックのフレーム間での画素値の変化がより小さい情報は削減され、より高い圧縮率で圧縮する。
【００３６】
なお、映像処理装置２００は、図示しないが、各部間のデータ送受、制御、および電源供給のための回路と、外部機器との通信およびデータ入出力のための機器インタフェースと、ユーザ操作を受け付けるための操作インタフェースとを有する。更に、映像処理装置２００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリを有し、ＣＰＵにおける制御プログラムの実行によって上述した各部の機能を実現する。または、映像処理装置２００は、上述した各部の機能を有する電子回路を備えることにより、上述した各部の機能を実現する。
【００３７】
このような構成を有する映像処理装置２００は、フリッカピクセルの挿入によって付随情報画像の画素ブロック毎の画素値に大きな変化を与えることができる。したがって、付随情報画像の部分のデータの圧縮率を低く抑え、付随情報画像のＤＣＴ係数の量子化による情報の削減を回避することができるので、輝度分解能を高くし付随情報の情報量を増やすことできる。
【００３８】
図４は、映像受信装置３００の構成を示すブロック図である。
【００３９】
図４に示すように、映像受信装置３００は、デコード部３１０、フレーム画像抽出部３２０、およびフレーム付随情報抽出部３３０を有する。
【００４０】
デコード部３１０は、図２および図３に示す映像処理装置２００から送られてきた圧縮映像データを受信し、受信した圧縮映像データに対して、ＭＰＥＧ４に準拠したデコード処理を行って拡張フレーム画像を復号する。そして、デコード部３１０は、復号した拡張フレーム画像を、フレーム画像抽出部３２０およびフレーム付随情報抽出部３３０へ出力する。
【００４１】
ここで復号される拡張フレーム画像は、上述のフレーム間圧縮処理により、映像処理装置２００で生成された元の拡張フレーム画像に比べて、情報が削減された画像となっている。特に、フレーム間での画素値の変化が小さい画素ブロックは、ＤＣＴ係数の量子化による情報の削減されるため、人が視認することができない範囲内で、元の画素ブロックの画素値とは大きく異なる値となることがある。
【００４２】
フレーム画像抽出部３２０は、入力された拡張フレーム画像から、付随情報画像を除去した画像をフレーム画像として抽出し、抽出したフレーム画像を、図２に示す出力装置７００へ送信する。このフレーム画像は、映像処理装置２００がビデオカメラ５００から取得したフレーム画像に対応するものである。
【００４３】
フレーム付随情報抽出部３３０は、入力された拡張フレーム画像から、付随情報画像を抽出し、抽出した付随情報画像のうちフリッカピクセルを除いた残りの部分から、付随情報を復元する。そして、フレーム付随情報抽出部３３０は、復元した付随情報を、出力装置７００へ送信する。
【００４４】
フリッカピクセルの位置に関する情報は、例えば、予めフレーム付随情報抽出部３３０に設定されていても良いし、圧縮映像データと共にその都度映像処理装置２００から取得するようにしても良い。
【００４５】
なお、映像受信装置３００は、図示しないが、各部間のデータ送受、制御、および電源供給のための回路と、外部機器との通信とデータ入出力のための機器インタフェースと、ユーザ操作を受け付けるための操作インタフェースとを有する。更に、映像受信装置３００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有し、ＣＰＵにおける制御プログラムの実行によって上述した各部の機能を実現する。または、映像処理装置２００は、上述した各部の機能を有する電子回路を備えることにより、上述した各部の機能を実現する。
【００４６】
このような構成を有する映像受信装置３００は、フリッカピクセルを含む圧縮映像データから、フレーム画像、および付随情報を復元し、これらを個別に出力装置７００に出力することができる。
【００４７】
以下、映像処理装置２００の動作および映像受信装置３００の動作について説明する。
【００４８】
図５は、映像処理装置２００の全体動作を示すフローチャートである。
【００４９】
まず、ステップＳ１１００において、フレーム画像取得部２１０は、ビデオカメラ５００から出力可能な状態になった最新のフレーム画像を入力し、入力したフレーム画像を付随情報挿入部２３０へ出力する。すなわち、付随情報挿入部２３０には、現在撮影中の映像の各フレーム画像が、ほぼリアルタイムで入力される。
【００５０】
図６は、フレーム画像取得部２１０が入力するフレーム画像の一例を示す図である。ここでは、ビデオカメラ５００が監視カメラである場合のフレーム画像の一例を図示する。図６に示すように、フレーム画像８１０には、例えば、被写体として複数の人物８１１が映し出された画像である。
【００５１】
そして、図５のステップＳ１２００において、付随情報取得部２２０は、時計６００から最新の時刻情報を付随情報として取得し、取得した付随情報を、付随情報挿入部２３０へ出力する。すなわち、付随情報挿入部２３０には、現在時刻を示す付随情報が、ほぼリアルタイムで入力される。
【００５２】
そして、ステップＳ１３００において、付随情報挿入部２３０は、入力された付随情報を、予め定義された所定の変換規則に従って付随情報画像に変換する。
【００５３】
ここで、付随情報画像への変換規則の一例について説明する。また、以下、付随情報画像は、輝度値によって情報を表現するものとする。
【００５４】
図７は、付随情報が付随情報画像に変換される様子を模式的に示す図である。
【００５５】
図７に示すように、付随情報挿入部２３０は、例えば、年、月、日、時、分、秒、ミリ秒を示す数値から成る時刻情報である付随情報８２０を取得する。付随情報挿入部２３０は、複数の画素ブロックを一列に並べた形状の図形を、付随情報画像用の図形（以下、この図形を「コード図形」といい、画素ブロックに対応する部分を「画素ブロック領域」という）８３０として予め定義する。付随情報挿入部２３０は、付随情報８２０をバイナリデータとして扱い、このバイナリデータの各ビットを、コード図形８３０を構成する画素ブロック領域８３１に予め対応付けている。また、付随情報挿入部２３０は、付随情報画像の輝度解像度をｎ段階として予め決定している。一例として、ここでは、輝度解像度を１６値として説明する。
【００５６】
付随情報挿入部２３０は、付随情報８２０が文字列である場合、文字列の先頭から１文字ずつをＡＳＣＩＩ（American Standard Code for Information Interchange）コードとして数値化することにより、バイナリデータを生成する。そして、付随情報挿入部２３０は、生成したバイナリデータの各ビットの値を、対応する画素ブロック領域８３１の輝度値に反映させる。より具体的には、付随情報挿入部２３０は、付随情報８２０のバイナリデータから４ビットずつデータ部分を取り出し、取り出したデータ部分を、１６段階の輝度値（０〜１５）に変換する。これにより、付随情報挿入部２３０は、付随情報８２０の内容に対応して多値コード化されたコード図形を、付随情報画像として生成する。
【００５７】
例えば、付随情報８２０が、「２００９／０５／０１  １２：００：００．０００」という文字列である場合を考える。ＡＳＣＩＩコードにおいて、先頭の文字「２」は、１０進数化すると「５０」であり、２進数化すると「００１１００１０」である。したがって、付随情報挿入部２３０は、例えば、２進数化したバイナリデータを上位４ビットの値「００１１」と、下位４ビットの値「００１０」とに分離し、それぞれの値を４倍した値を、輝度値として採用する。これにより、付随情報挿入部２３０は、付随情報８２０を、１０進数「１２」に対応する輝度値を持つ画素ブロック領域８３１と、１０進数「８」に対応する輝度値を持つ画素ブロック領域８３１とを含む付随情報画像に、多値コード化する。
【００５８】
そして、図５のステップＳ１４００において、付随情報挿入部２３０は、生成した付随情報画像を入力されたフレーム画像に挿入して拡張フレーム画像を生成し、生成した拡張フレーム画像を、フリッカピクセル挿入部２４０へ出力する。
【００５９】
図８は、フリッカピクセル挿入部２４０へ入力される拡張フレーム画像の一例を示す図である。
【００６０】
図８に示すように、付随情報挿入部２３０は、入力されたフレーム画像８１０の外側に領域８１２を拡張した範囲を、新たなフレーム画像８１３として扱う。そして、付随情報挿入部２３０は、このフレーム画像８１３のうち、拡張部分に当たる領域８１２に、付随情報画像８４０を重畳して、拡張フレーム画像８４１を生成する。
【００６１】
このとき、付随情報挿入部２３０は、フレーム画像８１３における付随情報画像８４０の位置および大きさを予め設定している。この位置および大きさは、付随情報画像８４０のうち、画素ブロック領域に対応する符号図形８５０が、フレーム間処理において画素ブロックとして扱われる領域と一致するような位置および大きさである。
【００６２】
図９は、符号図形の構成の一例を示す図である。
【００６３】
図９に示すように、符号図形８５０は、例えば、４×４のマトリクス状に配置された画素８５１から成り、正方矩形形状を有する。１つの符号図形８５０内において、１６個全ての画素８５１は、同じ輝度値を持つ。すなわち、符号図形８５０は、設定された輝度値を、冗長性を持ちながら保持する。複数の画素に同じ値を持たせて冗長化することによってデータのロバスト性を確保する手法は一般的なものであるため、ここでの詳細な説明は省略する。
【００６４】
そして、図５のステップＳ１５００において、フリッカピクセル挿入部２４０は、入力された拡張フレーム画像の付随情報画像に対して、符号図形毎に、フリッカピクセルを挿入する。そして、フリッカピクセル挿入部２４０は、フリッカピクセルを挿入した拡張フレーム画像を、エンコード部２５０へ出力する。ここでは、フリッカピクセル挿入部２４０は、フレーム毎に輝度の極大値と極小値とを交互に取るピクセルを、フリッカピクセルとして、各符号図形に挿入する。
【００６５】
図１０は、符号図形におけるフリッカピクセルの挿入位置および変化の様子の一例を示す図である。
【００６６】
図１０（Ａ）および図１０（Ｂ）に示すように、フリッカピクセル挿入部２４０は、例えば、符号図形８５０の左上隅に、フリッカピクセル８５２を挿入する。フリッカピクセル挿入部２４０は、ある拡張フレーム画像（ｎフレーム）ではフリッカピクセル８５２を黒（輝度値が最小）とし、次の拡張フレーム画像（ｎ＋１フレーム）では、同一のフリッカピクセル８５２を白（輝度値が最大）とする。
【００６７】
図１１は、フリッカピクセルが挿入された状態の符号図形の変化の様子の一例を示す図である。フリッカピクセル挿入部２４０は、フリッカピクセル８５２以外の画素（以下「非フリッカピクセル」という）８５３の輝度の変化とは独立して、フリッカピクセル８５２の輝度を反転させる。
【００６８】
フリッカピクセル挿入部２４０は、このようなフリッカピクセル８５２の輝度の反転を、拡張フレーム画像が切り替わる毎に繰り返す。例えば、拡張フレーム画像に、整数の通し番号が割り当てられている場合には、フリッカピクセル挿入部２４０は、偶数フレームに黒のフリッカピクセル８５２を挿入し、奇数フレームに白のフリッカピクセル８５２を挿入する。
【００６９】
このようなフリッカピクセル８５２が挿入されることにより、各符号図形の一部の輝度は、拡張フレーム画像間で大きく変化することになる。
【００７０】
図１２は、エンコード部２５０へ入力されるある拡張フレーム画像の一例を示す図である。図１３は、エンコード部２５０へ入力される次の拡張フレーム画像の一例を示す図である。
【００７１】
図１２に示すように、ある拡張フレーム画像８４１の付随情報画像８４０に挿入されたフリッカピクセル８５２は、黒となる。一方、図１３に示すように、その次の拡張フレーム画像８４１では、付随情報画像８４０の非フリッカピクセル８５３は変化していないが、付随情報画像８４０に挿入されたフリッカピクセル８５２は、白となる。
【００７２】
そして、ステップＳ１６００において、エンコード部２５０は、入力された拡張フレーム画像に対して、エンコード処理を行って圧縮映像データを生成し、生成した圧縮映像データを、図２に示す映像受信装置３００に送信する。
【００７３】
このとき、エンコード部２５０は、上述の通り、輝度値の変化が大きい画素ブロックに対しては、圧縮率を抑える。したがって、フレーム間圧縮処理における付随情報画像の圧縮率は、反転するフリッカピクセルの挿入によって、抑えられることになる。すなわち、フリッカピクセルが挿入されていない状態では圧縮映像データに反映されないような付随情報画像の変化が、より確実に圧縮映像データに反映される。
【００７４】
そして、ステップＳ１７００において、フレーム画像取得部２１０は、映像に対する処理の終了を指示されたか否かを判断し、終了を指示されていない場合には（Ｓ１７００：ＮＯ）、ステップＳ１１００に戻る。この結果、映像処理装置２００は、次のフレーム画像および次の時刻情報に対する処理に移る。一方、フレーム画像取得部２１０は、映像に対する処理の終了を指示された場合には（Ｓ１７００：ＹＥＳ）、一連の処理を終了する。映像に対する処理の終了の指示は、例えば、ユーザ操作による指示、フレーム画像の取得が不能であることを示す信号、および映像配信の停止を示す信号を含む。
【００７５】
このような動作により、映像処理装置２００は、撮影時刻を示す付加情報画像を挿入した映像を、映像受信装置３００に配信することができる。また、映像処理装置２００は、フリッカピクセルの挿入によって、フレーム間圧縮処理のＤＣＴ係数の量子化に伴う付随情報の削減を、より確実に防ぐことができる。
【００７６】
図１４は、映像受信装置３００の全体動作を示すフローチャートである。
【００７７】
まず、ステップＳ２１００において、デコード部３１０は、映像処理装置２００から、１つの拡張フレーム画像の復号に対応する圧縮映像データを受信する。
【００７８】
そして、ステップＳ２２００において、デコード部３１０は、受信した圧縮映像データに対してデコード処理を行って拡張フレーム画像を復号する。更に、デコード部３１０は、復号した拡張フレーム画像を、フレーム画像抽出部３２０およびフレーム付随情報抽出部３３０へ出力する。
【００７９】
ここで、拡張フレーム画像に含まれる付随情報画像には、上述の通りフリッカピクセルが挿入されているため、付加情報画像の変化がより確実に再現される。
【００８０】
そして、ステップＳ２３００において、フレーム画像抽出部３２０は、入力された拡張フレーム画像からフレーム画像を抽出し、抽出したフレーム画像を、出力装置７００へ送信する。
【００８１】
そして、ステップＳ２４００において、フレーム付随情報抽出部３３０は、入力された拡張フレーム画像から付随情報画像を抽出する。
【００８２】
そして、ステップＳ２５００において、フレーム付随情報抽出部３３０は、抽出した付随情報画像から付随情報を復元し、復元した付随情報を、出力装置７００へ送信する。
【００８３】
より具体的には、フレーム付随情報抽出部３３０は、例えば、付随情報画像を画素ブロック領域毎に区分する。次に、フレーム付随情報抽出部３３０は、区分した領域の非フリッカピクセルの平均輝度値を、画素ブロック領域の輝度値として取得する。
【００８４】
なお、フレーム間圧縮処理において、フリッカピクセルの近傍に位置する非フリッカピクセルの輝度値は、フリッカピクセルの輝度変化に影響を受け易い。したがって、フレーム付随情報抽出部３３０は、フリッカピクセルから離れて位置する複数の非フリッカピクセルの平均輝度値を、画素ブロック領域の輝度値として取得しても良い。また、フレーム付随情報抽出部３３０は、フリッカピクセルから離れて位置する非フリッカピクセルを１つ選択し、選択した非フリッカピクセルの輝度値を、画素ブロック領域の輝度値として取得しても良い。
【００８５】
そして、フレーム付随情報抽出部３３０は、取得した画素ブロック領域毎の輝度値を対応するビット値に変換し、変換したビット値を並べることにより、バイナリデータを生成する。更に、フレーム付随情報抽出部３３０は、生成したバイナリデータを、ＡＳＣＩＩコードとして扱うことにより文字列に変換し、変換結果を、付随情報として出力する。
【００８６】
すなわち、フレーム付随情報抽出部３３０は、映像処理装置２００の付随情報挿入部２３０が行った付随情報に対する変換処理と逆の処理を、付随情報画像データに対して行う。
【００８７】
そして、ステップＳ２６００において、デコード部３１０は、圧縮映像データに対する処理の終了を指示されたか否かを判断し、終了を指示されていない場合には（Ｓ２６００：ＮＯ）、ステップＳ２１００に戻る。この結果、映像受信装置３００は、次の拡張フレーム画像に対する処理に移る。一方、デコード部３１０は、圧縮映像データに対する処理の終了を指示された場合には（Ｓ２６００：ＹＥＳ）、一連の処理を終了する。
【００８８】
このような動作により映像受信装置３００は、圧縮映像データから、映像と付随情報とを復元して出力することができる。出力装置７００に入力された映像と付随情報は、例えば、出力装置７００で画面表示されたり、記録媒体に蓄積されたりする。
【００８９】
以上説明したように、本実施の形態に係る映像処理装置２００は、フレーム画像に重畳される付随情報画像に、輝度値が繰り返し変化するフリッカピクセルを挿入するようにした。これにより、映像処理装置２００は、付随情報画像に対して、より大きな輝度変化を持たせることができる。
【００９０】
これにより、映像処理装置２００は、フレーム間圧縮における動き補償による変化量の喪失を画素ブロック単位で防止もしくは軽減できるため、付随情報画像の微細な輝度変化にも追従させて、付随情報を復元することができる。これにより、映像処理装置２００は、付随情報画像の多値化による符号化効率を向上させることができる。言い換えると、映像処理装置２００は、付随情報が含まれる画素ブロックに対して、フレーム間圧縮によるエンコード処理においてもより多くの情報量が割り当てることができる。
【００９１】
この結果、映像処理装置２００は、フリッカピクセルを挿入することにより、付随情報に対応する値の変化量が少ない場合であっても、付随情報画像の多値分解能を向上させることができる。
【００９２】
なお、フリッカピクセルの輝度値は、必ずしも極大および極小である必要はなく、エンコード処理が行われても、復元結果に付随情報の変化が反映されるような値であれば良い。
【００９３】
また、フリッカピクセルの反転の周期は、フレーム画像毎ではなく、任意の周期としても良い。この周期は、付随情報画像の変化の単位よりも長くない周期等、付属情報画像が変化しない区間のそれぞれにおいて少なくとも１回反転するような周期であることが望ましい。
【００９４】
また、付随情報のバイナリデータに対するビット数の分離規則は、４ビット以外の任意のビット数毎の分離を採用しても良い。また、付随情報画像の輝度解像度は、１６以外の任意の数値としても良い。更に、付随情報画像は、輝度値以外の各種の画素値、例えば色相を用いて、情報を表しても良い。更に、付随情報画像の形態は、上述の例に限定されるものではない。
【００９５】
また、画素ブロック領域のサイズは、１つの画素ブロックではなく、複数の画素ブロックに対応していても良い。画素ブロックのサイズは４×４に限られないため、画素ブロック領域のサイズも、４×４の倍数に限られない。
【００９６】
また、ビデオカメラ５００から取得される映像は、例えば、ビデオカメラ５００内部の、フレームメモリ、ＲＡＭ（random access memory）、ＨＤＤ（hard disk drive）等の記録媒体に一時的に保持された映像でも良い。この場合、映像処理装置は、ビデオカメラ５００が映像に付加したタイムコードを、付随情報として取得しても良い。
【００９７】
また、映像処理装置２００が処理の対象とするフレーム画像および付随情報は、映像レコーダやネットワーク４００等、他の場所から取得しても良い。また、フレーム画像の内容および被写体、付随情報の種類も、上述の例に限定されるものではない。
【００９８】
また、付随情報の内容は、時刻情報以外の各種情報とすることができる。例えば、映像がテレビジョン番組である場合の付随情報は、番組情報や、映像に映し出される被写体に関する情報（例えば、種別、状態、および座標）である。
【００９９】
また、付随情報画像は、フレーム画像を拡張した領域に挿入されるのではなく、フレーム画像の一部に上書きされても良い。
【０１００】
また、映像処理装置２００は、符号図形（画素ブロック）の左上以外の位置にフリッカピクセルを挿入しても良い。更に、映像処理装置２００は、符号図形毎に複数のフリッカピクセルを挿入しても良い。
【０１０１】
次に、フリッカピクセルの拡張例について説明する。図１５〜図１７は、符号図形毎に複数のフリッカピクセルを挿入した場合の符号図形の例を示す図であり、図１１に対応するものである。図１５は、左端の縦一列の画素をフリッカピクセルとした場合の符号図形である。図１６は、上端の横一列の画素をフリッカピクセルとした場合の符号図形である。図１７は、上端の横一列と左端の縦一列とをフリッカピクセルとした場合の符号図形である。
【０１０２】
このようにフリッカピクセルを複数にすることは、１つのフリッカピクセルの変化では復元結果に付随情報の変化が反映されないような場合に有効である。なお、複数のフリッカピクセルの配置は、上述の例に限定されるものではない。例えば、図１５〜図１７に示すフリッカピクセルの配置は、上下左右に反転、回転、または平行移動させた配置を採用しても良い。
【０１０３】
（実施の形態２）
本発明の実施の形態２は、対象のブロック毎にフリッカピクセルの輝度値を平均化するようにした映像処理装置について説明する。
【０１０４】
図１８は、本発明の実施の形態２に係る映像処理装置の構成を示すブロック図であり、実施の形態１の図３に対応するものである。図３と同一部分には同一符号を付し、これについての説明を省略する。
【０１０５】
図１８において、映像処理装置２００ａは、実施の形態１の映像処理装置２００の構成に加えて、フリッカピクセル平均化部２６０ａを有する。
【０１０６】
フリッカピクセル平均化部２６０ａは、フリッカピクセル挿入部２４０が付随情報画像に挿入するフリッカピクセルの輝度値を制御する。より具体的には、フリッカピクセル平均化部２６０ａは、各画素ブロックに設けられた複数のフリッカピクセルの平均輝度が画素ブロック内で一定となるように、各フリッカピクセルの輝度値を制御する。
【０１０７】
一般的なＭＰＥＧエンコーダによるエンコード処理では、画素ブロック内に他の画素と輝度が大きく異なる画素が含まれるときに、他の画素の輝度が影響を受けて大きく変化することがある。これは、エンコード処理が、フレーム間圧縮だけでなくフレーム内圧縮を伴うこと、つまり、フレーム内の輝度変化を喪失させる方向に処理が働くことに起因している。
【０１０８】
そこで、フリッカピクセル平均化部２６０ａは、平均輝度が常時一定になるように複数のフリッカピクセルの輝度値を制御することにより、このような現象を防止または緩和する。すなわち、フリッカピクセル平均化部２６０ａの機能により、画素ブロックに対応する符号図形の非フリッカピクセルの輝度が、フリッカピクセルの影響を受けて変動してしまう現象を抑えることができる。
【０１０９】
図１９〜図２１は、符号図形毎に平均化された複数のフリッカピクセルを挿入した場合の符号図形の例を示す図であり、実施の形態１の図１１、図１５〜図１７に対応するものである。図１９は、左端の縦一列および上端の左側の３つの画素からなるＬ字型の領域をフリッカピクセルとした場合の符号図形である。図２０は、上端の横一列の画素をフリッカピクセルとした場合の符号図形である。図２１は、上端の横一列と左端の縦一列とをフリッカピクセルとした場合の符号図形である。
【０１１０】
ここで、フリッカピクセルは、図１９〜図２１に示すように、符号図形毎に偶数であり、半数に分けられたフリッカピクセルのグループの間で、変化が逆になる（半周期ずれて反転する）ことが望ましい。これにより、複数のフリッカピクセル全体の平均輝度を容易に一定とすることができる。
【０１１１】
また、図１９、図２１に示すように、隣接するフリッカピクセル間で変化が逆になることが望ましい。これにより、非フリッカピクセル８５３に対するフリッカピクセルの変化の影響を、更に小さく抑えることができる。
【０１１２】
なお、複数のフリッカピクセルの配置は、上述の例に限定されるものではない。例えば、図１９〜図２１に示すフリッカピクセルの配置は、上下左右に反転、回転、または平行移動させた配置を採用しても良い。
【０１１３】
このように、本実施の形態に係る映像処理装置２００ａは、フリッカピクセルの変化に対して、非フリッカピクセルへの影響を抑えることができ、より情報量の多い付随情報をより正しく伝達することができる。言い換えると、映像処理装置２００ａは、付随情報が含まれる画素ブロックに対するフリッカピクセルの影響を抑えることができるので、再現性が高くより情報量の多い付随情報を、動画データ内に含めることができる。すなわち、映像処理装置２００ａは、フリッカピクセルの挿入により新たに不具合が発生するのを防ぐことができる。また、これにより、映像処理装置２００ａは、付随情報画像の多値分解能を、更に向上させることができる。
【産業上の利用可能性】
【０１１４】
本発明に係る映像処理装置および映像処理方法は、付随情報画像の情報伝達量を増大させることができる映像処理装置および映像処理方法として有用である。
【符号の説明】
【０１１５】
１００  映像配信システム
２００、２００ａ  映像処理装置
２１０  フレーム画像取得部
２２０  付随情報取得部
２３０  付随情報挿入部
２４０  フリッカピクセル挿入部
２５０  エンコード部
２６０ａ  フリッカピクセル平均化部
３００  映像受信装置
３１０  デコード部
３２０  フレーム画像抽出部
３３０  フレーム付随情報抽出部
４００  ネットワーク
５００  ビデオカメラ
６００  時計
７００  出力装置
【図１】
2010288092.tif 000003
【図２】
2010288092.tif 000004
【図３】
2010288092.tif 000005
【図４】
2010288092.tif 000006
【図５】
2010288092.tif 000007
【図６】
2010288092.tif 000008
【図７】
2010288092.tif 000009
【図８】
2010288092.tif 000010
【図９】
2010288092.tif 000011
【図１０】
2010288092.tif 000012
【図１１】
2010288092.tif 000013
【図１２】
2010288092.tif 000014
【図１３】
2010288092.tif 000015
【図１４】
2010288092.tif 000016
【図１５】
2010288092.tif 000017
【図１６】
2010288092.tif 000018
【図１７】
2010288092.tif 000019
【図１８】
2010288092.tif 000020
【図１９】
2010288092.tif 000021
【図２０】
2010288092.tif 000022
【図２１】
2010288092.tif 000023