(57)【要約】【課題】被写体の動きに合わせて自動的に視覚効果を付加する。【解決手段】映像処理装置１２０の映像取得部１５０は、フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得し、デコード部１５４は、取得された映像ストリームをフレーム単位でデコードし、マクロブロック情報取得部１６０は、デコードされたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得し、レイヤ生成部１６２は、マクロブロック情報に基づいて、対応するマクロブロックに視覚効果を付加するか否かを決定し、付加すると決定されたマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成し、レイヤ重畳部１６４は、フレームに効果レイヤを重畳する。【選択図】図１
2012175316.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得する映像取得部と、
取得された前記映像ストリームをフレーム単位でデコードするデコード部と、
デコードされたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得するマクロブロック情報取得部と、
前記マクロブロック情報に基づいて、対応するマクロブロックに視覚効果を付加するか否かを決定し、付加すると決定されたマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成するレイヤ生成部と、
前記フレームに前記効果レイヤを重畳するレイヤ重畳部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記マクロブロック情報には、動きベクトルの大きさが含まれ、前記レイヤ生成部は、前記動きベクトルの大きさに基づいて視覚効果を付加するか否かを決定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記マクロブロック情報には、マクロブロックの大きさ、マクロブロックタイプ、動き補償予測に利用する参照ピクチャの参照方向、動きベクトルの大きさ、動きベクトルの方向のうちの１つ以上のパラメータが含まれ、前記視覚効果映像は前記１つ以上のパラメータに対応付けられていることを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
フレーム毎にマクロブロック単位でエンコードされた映像ストリームを生成する映像生成装置と、前記映像ストリームを加工する映像処理装置とからなる映像処理システムであって、
前記映像生成装置は、
各マクロブロックをそれぞれ１つのドットとし、これらのドットを組み合わせたドット映像を生成するドット映像生成部と、
エンコード時に、前記ドット映像生成部で生成された前記ドット映像のドット部分に対応する各マクロブロックのマクロブロックタイプを、特定のタイプに設定するタイプ設定部と、
を備え、
前記映像処理装置は、
前記映像ストリームを取得する映像取得部と、
取得された前記映像ストリームをフレーム単位でデコードするデコード部と、
デコードされたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得するマクロブロック情報取得部と、
前記マクロブロック情報に特定のタイプが設定されている場合、この特定のタイプが設定されているマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成するレイヤ生成部と、
前記フレームに前記効果レイヤを重畳するレイヤ重畳部と、
を備えることを特徴とする映像処理システム。
【請求項５】
フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得し、
取得した前記映像ストリームをフレーム単位でデコードし、
デコードしたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得し、
前記マクロブロック情報に基づいて、対応するマクロブロックに視覚効果を付加するか否かを決定し、付加すると決定したマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成し、
前記フレームに前記効果レイヤを重畳することを特徴とする映像処理方法。
【請求項６】
フレーム毎にマクロブロック単位でエンコードされた映像ストリームを生成する映像生成装置と、前記映像ストリームを加工する映像処理装置とを用いて映像処理を行う映像処理方法であって、
前記映像生成装置は、
各マクロブロックをそれぞれ１つのドットとし、これらのドットを組み合わせたドット映像を生成し、
エンコード時に、前記ドット映像のドット部分に対応する、各マクロブロックのマクロブロックタイプを、特定のタイプに設定し、
前記映像処理装置は、
前記映像ストリームを取得し、
取得した前記映像ストリームをフレーム単位でデコードし、
デコードしたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得し、
前記マクロブロック情報に特定のタイプが設定されている場合、この特定のタイプが設定されているマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成し、
前記フレームに前記効果レイヤを重畳することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きに合わせた視覚効果を付加する映像処理装置、映像処理システムおよび映像処理方法に関する。
【背景技術】
【０００２】
動画映像が再生されている際、映像中の任意の被写体が何らかの動きを伴っている場合に、その動きに合わせて視覚効果を付加することが望まれる場合がある。
【０００３】
このような映像に視覚効果を付加する手段として、事前にＤＣＴコード化画像を生成し、ユーザによるマクロブロックの選択があると、そのＤＣＴコード化画像を利用する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表１０−５０３３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来は、映像に視覚効果を付加しようと試みると、ユーザは、その動画を目視して、視覚効果を挿入する対象となる動作と映像中の位置を判断し、その動作に合った適切な視覚効果映像を選択して手作業で挿入しなければならなかった。また、視覚効果を付加するには、一旦映像ストリームをデコードした映像データに視覚効果を施して、さらに、再度、エンコードして映像ストリームに戻すといった面倒な作業が必要であった。
【０００６】
本発明は、このような課題に鑑み、被写体の動きに合わせて自動的に視覚効果を付加することが可能な映像処理装置、映像処理システムおよび映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は下記の映像処理装置、映像処理システムおよび映像処理方法を提供するものである。
（１）フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得する映像取得部と、取得された前記映像ストリームをフレーム単位でデコードするデコード部と、デコードされたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得するマクロブロック情報取得部と、前記マクロブロック情報に基づいて、対応するマクロブロックに視覚効果を付加するか否かを決定し、付加すると決定されたマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成するレイヤ生成部と、前記フレームに前記効果レイヤを重畳するレイヤ重畳部と、を備えることを特徴とする映像処理装置。
（２）前記マクロブロック情報には、動きベクトルの大きさが含まれ、前記レイヤ生成部は、前記動きベクトルの大きさに基づいて視覚効果を付加するか否かを決定することを特徴とする上記（１）に記載の映像処理装置。
（３）前記マクロブロック情報には、マクロブロックの大きさ、マクロブロックタイプ、動き補償予測に利用する参照ピクチャの参照方向、動きベクトルの大きさ、動きベクトルの方向のうちの１つ以上のパラメータが含まれ、前記視覚効果映像は前記１つ以上のパラメータに対応付けられていることを特徴とする上記（１）または（２）に記載の映像処理装置。
（４）フレーム毎にマクロブロック単位でエンコードされた映像ストリームを生成する映像生成装置と、前記映像ストリームを加工する映像処理装置とからなる映像処理システムであって、前記映像生成装置は、各マクロブロックをそれぞれ１つのドットとし、これらのドットを組み合わせたドット映像を生成するドット映像生成部と、エンコード時に、前記ドット映像生成部で生成された前記ドット映像のドット部分に対応する各マクロブロックのマクロブロックタイプを、特定のタイプに設定するタイプ設定部と、を備え、前記映像処理装置は、前記映像ストリームを取得する映像取得部と、取得された前記映像ストリームをフレーム単位でデコードするデコード部と、デコードされたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得するマクロブロック情報取得部と、前記マクロブロック情報に特定のタイプが設定されている場合、この特定のタイプが設定されているマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成するレイヤ生成部と、前記フレームに前記効果レイヤを重畳するレイヤ重畳部と、
を備えることを特徴とする映像処理システム。
（５）フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得し、取得した前記映像ストリームをフレーム単位でデコードし、デコードしたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得し、前記マクロブロック情報に基づいて、対応するマクロブロックに視覚効果を付加するか否かを決定し、付加すると決定したマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成し、前記フレームに前記効果レイヤを重畳することを特徴とする映像処理方法。
（６）フレーム毎にマクロブロック単位でエンコードされた映像ストリームを生成する映像生成装置と、前記映像ストリームを加工する映像処理装置とを用いて映像処理を行う映像処理方法であって、前記映像生成装置は、各マクロブロックをそれぞれ１つのドットとし、これらのドットを組み合わせたドット映像を生成し、エンコード時に、前記ドット映像のドット部分に対応する、各マクロブロックのマクロブロックタイプを、特定のタイプに設定し、前記映像処理装置は、前記映像ストリームを取得し、取得した前記映像ストリームをフレーム単位でデコードし、デコードしたフレームの各マクロブロックにそれぞれ付加されているマクロブロック情報を取得し、前記マクロブロック情報に特定のタイプが設定されている場合、この特定のタイプが設定されているマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成し、前記フレームに前記効果レイヤを重畳することを特徴とする映像処理方法。
【発明の効果】
【０００８】
本発明によれば、被写体の動きに合わせて自動的に視覚効果を付加することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における映像処理装置の概略的な機能を示した機能ブロック図である。
【図２】マクロブロックの大きさとタイプを説明するための説明図である。
【図３】映像処理装置における全体的な映像処理を示したフローチャートである。
【図４】視覚効果を更新する所定の時間間隔を説明するための説明図である。
【図５】効果マップ生成処理の流れを示したフローチャートである。
【図６】マクロブロック情報の各パラメータとフラグの関係を示した説明図である。
【図７】効果レイヤ生成処理の流れを示したフローチャートである。
【図８】フラグ値と視覚効果映像との関係を示した説明図である。
【図９】マクロブロックユニットを説明するための説明図である。
【図１０】効果レイヤと映像データとを説明するための説明図である。
【図１１】第２の実施形態における映像処理システムの接続関係を示したブロック図である。
【図１２】映像生成装置の概略的な機能を示した機能ブロック図である。
【図１３】映像生成装置における全体的な映像処理を示したフローチャートである。
【図１４】タイプ設定処理の流れを示したフローチャートである。
【図１５】効果レイヤと映像データとを説明するための説明図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１１】
（第１の実施形態：映像処理装置１２０）
図１は、映像処理装置１２０の概略的な機能を示した機能ブロック図である。図１に示すように、映像処理装置１２０は、映像取得部１５０と、データ保持部１５２と、デコード部１５４と、中央制御部１５６とを含んで構成され、入力された映像ストリームを加工して表示装置１３０に出力する。表示装置１３０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、シネマスクリーン、プロジェクタ（投影機）等で構成され、映像処理装置１２０で加工された映像ストリームを表示する。ここでは、映像処理装置１２０と表示装置１３０とを別体に構成しているが一体的に構成することもできる。以下、映像処理装置１２０の各構成の機能を具体的に説明する。
【００１２】
映像取得部１５０は、外部から、フレーム毎にマクロブロック単位でエンコードされた映像ストリームを取得する。映像ストリームは、例えば、インターレース方式やプログレッシブ方式の場合、１秒間に３０枚（３０ｆｐｓ）または６０枚（６０ｆｐｓ）のフレーム（またはフィールド）で構成される。本実施形態では、映像ストリームにおけるフレーム間で動き補償予測が行われており、各フレームは、そのフレームのみでデータが完結するＩ（Intra）ピクチャと、Ｉピクチャ等の過去の画像のみを利用して予測するＰ（Predictive）ピクチャと、ＩピクチャやＰピクチャといった過去と未来の画像を利用して予測するＢ（Bidirectionally Predictive）ピクチャとからなる。なお、動き補償予測は、例えば１６×１６画素のマクロブロック単位で行われている。
【００１３】
データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、映像取得部１５０で取得された映像ストリームを一時的に保持する。デコード部１５４は、ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４／ＡＶＣなどの所定の符号化方式に基づいて、映像ストリームの各フレームを逆量子化し、逆ＤＣＴ（Discrete Cosine Transform）を施すとともに、フレームに関連付けられた動きベクトルを用いてフレーム間の動き補償予測を行い、フレーム単位でデータが完結した映像データを生成する。
【００１４】
中央制御部１５６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１２０全体を管理および制御する。また、本実施形態において、中央制御部１５６は、マクロブロック情報取得部１６０、レイヤ生成部１６２、レイヤ重畳部１６４としても機能する。
【００１５】
マクロブロック情報取得部１６０は、デコード部１５４から、デコードされたフレームの各マクロブロックそれぞれ付加されているマクロブロック情報を取得する。マクロブロック情報には、マクロブロックの大きさ、マクロブロックタイプ等のマクロブロック自体に関する情報や、動き補償予測に利用する参照ピクチャの参照方向、動きベクトルの大きさ、動きベクトルの方向等の動きベクトルに関する情報が含まれる。ただし、動きベクトルは動き補償予測に用いられるため、そのフレームのみでデータが完結するＩピクチャには基本的に用いられていない。
【００１６】
マクロブロックの大きさを、例えば１６×１６画素とすると、この１６×１６画素のマクロブロックのエンコード時に設定できるマクロブロックタイプは、図２（ａ）の如く、１６×１６画素、１６×８画素、８×１６画素、８×８画素の４種類となる。なお、マクロブロックタイプを８×８画素に設定した場合、１６×１６画素のマクロブロック中に、８×８画素のサブマクロブロックが存在することになる。この場合は、これらのサブマクロブロック毎に更にエンコードする。これら８×８画素のサブマクロブロックのエンコード時に設定できるサブマクロブロックタイプは、図２（ｂ）の如く、８×８画素、８×４画素、４×８画素、４×４画素の４種類となる。
【００１７】
動き補償予測に利用する参照ピクチャの時系列的な存在方向を示す情報である参照方向は、動き補償予測保証符号化対象画像がＰピクチャの場合は、過去の画像であることを示す一方向のみとなる。一方、Ｂピクチャの場合は、過去の画像であることを示す方向と未来の画像であることを示す方向との２つの方向のいずれか、もしくは両方の方向となる。動きベクトルの大きさや方向は、上記マクロブロックやサブマクロブロック毎に設定されうる。
【００１８】
レイヤ生成部１６２は、マクロブロック情報取得部１６０が取得したマクロブロック情報に基づいて、対応するマクロブロック、例えば、マクロブロック情報が関連付けられていたマクロブロックに対して視覚効果を付加するか否かを決定し、効果マップを生成するとともに、その付加すると決定されたマクロブロックに対応する位置に視覚効果映像をそれぞれ配置した効果レイヤを生成する。
【００１９】
レイヤ重畳部１６４は、レイヤ生成部１６２が生成した効果レイヤを対象となるフレーム（ここでは、マクロブロック情報を取得したフレームに対応するデコード後の映像データ）に重畳する。このように効果レイヤが重畳されたフレーム（映像データ）は表示装置１３０に出力される。
【００２０】
（映像処理方法）
図３は、映像処理装置１２０における全体的な映像処理を示したフローチャートである。映像処理装置１２０のマクロブロック情報取得部１６０は、本実施形態における視覚効果を更新するタイミングに到達したか否か判定する（タイミング判定処理：Ｓ２００）。
【００２１】
そして、視覚効果を更新するタイミングに到達していれば（Ｓ２００におけるＹＥＳ）、レイヤ生成部１６２は、マクロブロック情報取得部１６０が取得したマクロブロック情報に基づいて、対応するマクロブロックに対して視覚効果を付加するか否かを決定して効果マップを生成する（効果マップ生成処理：Ｓ２０２）。続いて、レイヤ生成部１６２は、効果マップに従って、マクロブロックに対応する位置に視覚効果映像をそれぞれ施した効果レイヤを生成し（効果レイヤ生成処理：Ｓ２０４）、レイヤ重畳部１６４は、レイヤ生成部１６２が生成した効果レイヤを対象となるフレームに重畳する（Ｓ２０６）。
【００２２】
また、タイミング判定処理Ｓ２００において、視覚効果を更新するタイミングに到達していないと判定されている間（Ｓ２００におけるＮＯ）、視覚効果の更新は行わない。すなわち、既に設定されている視覚効果を維持することとなる。映像処理装置１２０は、このように視覚効果が付加された映像データを表示装置１３０に出力する（Ｓ２０８）。映像処理装置１２０では、デコード部１５４でデコードすべきフレームが終了したか否か判定され（Ｓ２１０）、フレームが終了しない間（Ｓ２１０におけるＮＯ）、タイミング判定処理Ｓ２００からを繰り返し、フレームが終了すると（Ｓ２１０におけるＹＥＳ）、当該映像処理方法を終了する。以下、タイミング判定処理Ｓ２００、効果マップ生成処理Ｓ２０２、効果レイヤ生成処理Ｓ２０４を詳述する。
【００２３】
（タイミング判定処理：Ｓ２００）
マクロブロック情報取得部１６０は、所定の時間間隔で視覚効果を更新するため、所定の時間間隔を計時、またはそれに相当するフレーム数を計数する。ここでは、フレーム数を計数することで所定の時間間隔を計っている。ただし、上述したように、動きベクトルは、ＰピクチャやＢピクチャにしか含まれていないので、動きベクトルを所定の時間間隔で必ず取得するために、所定の時間間隔をＧＯＰ（Group Of Picture）単位（例えば１５フレーム単位）で行う。こうすることで、更新対象となるフレームがＰピクチャまたはＢピクチャに固定される。
【００２４】
図４は、視覚効果を更新する所定の時間間隔を説明するための説明図である。ここでは、映像ストリームがＧＯＰ単位ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ（ピクチャ）の順で時系列に並べられている。例えば、フレームが６０ｆｐｓで入力されている場合に、０．５秒毎に視覚効果を更新しようとすると、３０ｆｐｓ（０．５ｓｅｃ）／１５フレーム（１ＧＯＰ）＝２ＧＯＰとなり、任意のＢピクチャ１７０を開始点とした場合に、マクロブロック情報取得部１６０は、その開始点から２ＧＯＰずつ時間間隔を空けて、Ｂピクチャ１７２のマクロブロック情報を取得すればよいことになる。また、更新頻度を高めるには２ＧＯＰ毎の更新を１ＧＯＰ毎にしたり、更新頻度を低くするためには３ＧＯＰ毎や４ＧＯＰ毎にすることも考えられる。また、動きベクトルの大きさに応じて更新速度を変化させてもよい。例えば、動きベクトルが大きいときに更新速度を高め、小さいときに更新速度を低くすることも可能である。こうすることで、対象物の動きが速い場合に視覚効果を速く更新できるので、ユーザはその動きが速いことを容易に認識することが可能となる。
【００２５】
（効果マップ生成処理：Ｓ２０２）
図５は、効果マップ生成処理Ｓ２０２の流れを示したフローチャートである。マクロブロック情報取得部１６０は、デコード部１５４がデコードしたフレームについて、マクロブロックを順次１つずつ特定し、そのマクロブロックのデコードに用いられたマクロブロック情報を取得する（Ｓ２３０）。
【００２６】
レイヤ生成部１６２は、マクロブロック情報取得部１６０が取得したマクロブロック情報の各パラメータを解析し、対応するマクロブロックに視覚効果を付加するか否かを判定し（Ｓ２３２）、視覚効果を付加すると判定した場合（Ｓ２３２におけるＹＥＳ）、マクロブロック情報の各パラメータに基づいて効果マップにおける該当するマクロブロックに視覚効果に関するフラグを設定する（Ｓ２３４）。視覚効果を付加すると判定しなかった場合（Ｓ２３２におけるＮＯ）、効果マップを更新しない。
【００２７】
視覚効果を付加するか否かの判定は、例えば、動きベクトルの大きさが所定の閾値（例えば、大きさの絶対値が４画素）以上であるか否かによってなされる。したがって、動きベクトルの大きさが４画素以上である全てのマクロブロックで何かしらの視覚効果が付加される。しかし、判定基準は、かかる動きベクトルの大きさに限らず、様々なパラメータと任意の閾値との比較によってなされてもよい。また、マクロブロックが複数のサブマクロブロックから構成されている場合、サブマクロブロックそれぞれに関連付けられた動きベクトルの大きさのうち、少なくとも１つが閾値以上であれば視覚効果を付加するとしてもよいし、いずれもが閾値以上となった場合や、その平均値が閾値以上となった場合に限り視覚効果を付加するとしてもよい。
【００２８】
また、マクロブロック情報の各パラメータとフラグの関係は、例えば、図６のように表すことができる。ここで、マクロブロックの大きさは、縦横の画素数で示され、マクロブロックタイプは、サブマクロブロックの配列態様で示され、参照方向は、前（過去）の画像から予測されたのか後（未来）の画像から予測されたのかで示され、動きベクトルの大きさは、動きベクトルの画素数（絶対値）で示され、動きベクトルの方向は、動きベクトルが、開始点を中心に画面上どの象限に向かっているかで示されている。例えば、マクロブロックタイプが１６×８のサブマクロブロックで構成されていると、図６の表を用いて、ＬＳＢから４ビット目のフラグが設定される。レイヤ生成部１６２は、対象となるマクロブロックが該当する全てのフラグを論理和で加算したフラグ値を、効果マップの該当マクロブロックに関連付ける。
【００２９】
このとき、視覚効果を付加すると判定されたマクロブロックは、動きベクトルの大きさが４画素以上あるので、少なくとも、ＬＳＢから９〜１１ビット目にフラグが立つこととなる。したがって、レイヤ生成部１６２は、フラグ値が０でなければ、視覚効果を付加する対象であると判定できることとなる。
【００３０】
続いて、レイヤ生成部１６２は、フレーム内の全てのマクロブロックに関して視覚効果を付加する判定Ｓ２３２がなされたか判定し（Ｓ２３６）、全て終わってなければ（Ｓ２３６におけるＮＯ）、マクロブロック情報の取得処理Ｓ２３０からを繰り返し、全てのマクロブロックに関して判定が終了すると（Ｓ２３６におけるＹＥＳ）、当該効果マップ生成処理Ｓ２０２を終了してメインルーチンに戻る。
【００３１】
（効果レイヤ生成処理：Ｓ２０４）
図７は、効果レイヤ生成処理Ｓ２０４の流れを示したフローチャートである。レイヤ生成部１６２は、効果マップについて、マクロブロックを順次１つずつ特定し、そのマクロブロックに関連付けられたフラグ値を取得する（Ｓ２６０）。
【００３２】
レイヤ生成部１６２は、対象のマクロブロックに関連付けられたフラグ値が０以外の数値であるか否か、すなわち、視覚効果を付加する対象となっているか否かを判定し（Ｓ２６２）、０以外の数値であれば（Ｓ２６２におけるＹＥＳ）、そのフラグ値に対応した大きさ、形、装飾、色の視覚効果映像を、効果レイヤの該当するマクロブロックに配置する（Ｓ２６４）。フラグ値が０であれば（Ｓ２６２におけるＮＯ）、何らの映像も配置されない。
【００３３】
フラグ値と視覚効果映像との関係は、例えば、図８のように表すことができる。例えば、フラグ値のＬＳＢから４ビット目のフラグが設定されていると（マクロブロックタイプが１６×８のサブマクロブロックで構成されていると）、手裏剣型の視覚効果映像がレイヤ生成部１６２に選択され、そのマクロブロックの動きベクトルの方向に応じて色が決定する。こうして、バリエーションに富んだ視覚効果映像を効果レイヤに自動的に配置することが可能となる。
【００３４】
続いて、レイヤ生成部１６２は、フレーム内の全てのマクロブロックに関してフラグ値が参照されたか否か判定し（Ｓ２６６）、全て終わってなければ（Ｓ２６６におけるＮＯ）、フラグ値の取得処理Ｓ２６０からを繰り返し、全てのマクロブロックに関してフラグ値が参照されると（Ｓ２６６におけるＹＥＳ）、当該効果レイヤ生成処理Ｓ２０４を終了してメインルーチンに戻る。
【００３５】
上記の例では、マクロブロックに関連付けられたフラグ値に対応する視覚効果映像は、原則、そのマクロブロックに配置している。しかし、マクロブロックは大きくとも１６×１６画素であるため、画面の画素数に拘わらずマクロブロックの大きさで視覚効果映像を表示すると、例えば、１９２０×１０８０画素の画面に対して、視覚効果映像が比較的小さく表示され、その形が把握し難くなる場合がある。そこで、図９に示したように、複数のマクロブロック１８０（図９では１０×１０のマクロブロック）でマクロブロックユニット１８２を構成し、そのマクロブロックユニット１８２の全領域を利用して視覚効果映像を表示する。ただし、視覚効果映像を決定するフラグ値は、代表的にマクロブロックユニットの最左上にある代表マクロブロック１８０ａのフラグ値を用いることとする。
【００３６】
このようにして視覚効果映像１９０が付加された図１０（ａ）に示す効果レイヤ１９２は、図１０（ｂ）に示すデコード後の映像データ１９４に重畳されて、図１０（ｃ）のような映像データ１９６となる。したがって、ユーザは、表示装置１３０を通じて図１０（ｃ）のような視覚効果が付加された映像を楽しむことができる。
【００３７】
また、図３のフローチャートでは、マクロブロック情報に基づいて一旦効果マップを生成し、その後、その効果マップに基づいて効果レイヤを生成する実施形態を説明したが、効果マップを省略し、マクロブロック情報に基づいて直接効果レイヤを生成することも可能である。
【００３８】
以上、説明した映像処理装置１２０によって、映像ストリームの各フレームのマクロブロックに予め関連付けられている動きベクトルを用い、マクロブロック情報に含まれる様々なパラメータに応じた、バリエーションに富んだ視覚効果を自動的に付加することができるようになり、視覚効果映像が単調になるのを回避することが可能となる。ここでは、上述した映像効果を付加するため、元となる映像ストリームに予め何らかの加工を施しておく必要がなく、既存のいずれの映像ストリームあっても視覚効果を付加することができる。
【００３９】
また、本実施形態では、映像ストリームをデコードする際、デコード後の映像データに効果レイヤを重畳しているだけなので、映像ストリーム自体の加工、変更を伴わず、元となる映像ストリームが壊れて再生不能になる等の弊害を回避することができる。さらに、効果レイヤは、映像ストリームをデコードする際、一時的に生成されるだけなので、映像ストリームにレイヤ構造をファイルとして関連付ける必要もなく、ファイル容量やデータ保持部１５２の記憶容量を低減することが可能となる。
【００４０】
また、コンピュータを、映像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００４１】
（第２の実施形態：映像処理システム３００）
第１の実施形態では、映像ストリームに予め含まれている動きベクトルを利用し、その動きに合わせて自動的に視覚効果を付加することを目的とした。第２の実施形態では、このような動きベクトルを通じて視覚効果を付加する構成を利用し、映像ストリームの動きベクトルのパラメータを予め加工して、有意な情報を含ませ、それを映像処理装置１２０側に読み取らせることを目的としている。
【００４２】
図１１は、映像処理システム３００の接続関係を示したブロック図である。映像処理システム３００は、映像生成装置３１０と、映像処理装置１２０と、表示装置１３０とを含んで構成される。映像生成装置３１０は、フレーム毎にマクロブロック単位でエンコードされた映像ストリームを生成し、映像処理装置１２０は、生成された映像ストリームを加工して表示装置１３０に表示させる。映像処理装置１２０と、表示装置１３０とは、第１の実施形態における映像処理装置１２０と、表示装置１３０と実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する映像生成装置３１０を主に説明する。
【００４３】
（映像生成装置３１０）
図１２は、映像生成装置３１０の概略的な機能を示した機能ブロック図である。図１２に示すように、映像生成装置３１０は、操作部３５０と、撮像部３５２と、エンコード部３５４と、データ保持部３５６と、ディスプレイ３５８と、中央制御部３６０とを含んで構成される。映像生成装置３１０は、上記の構成を含む、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ゲーム機器等、様々な電子機器に適用できる。
【００４４】
操作部３５０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、ディスプレイ３５８に重畳されたタッチパネル等で構成され、ユーザの操作入力を受け付ける。撮像部３５２は、撮像レンズ３５２ａと、焦点調整に用いられるフォーカスレンズ３５２ｂと、露光調整に用いられる絞り３５２ｃと、撮像レンズ３５２ａを通じて入射した入射光を電気データ（映像ストリーム）に変換する撮像素子３５２ｄと、フォーカスレンズ３５２ｂ、絞り３５２ｃおよび撮像素子３５２ｄをそれぞれ駆動させる駆動部３５２ｅとを含んで構成され、光軸方向に存在する被写体を撮像して映像データ（静止画および動画のいずれのデータも含む）を生成する。
【００４５】
エンコード部３５４は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなどの所定の符号化方式に基づいて、映像データをマクロブロック単位で符号化し、圧縮された映像データである映像ストリームを生成する。データ保持部３５６は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、エンコード部３５４でエンコードされた映像ストリームを保持する。また、データ保持部３５６は、ＤＶＤやＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像ストリームを保持させる装置として構成されてもよい。
【００４６】
ディスプレイ（ビューファインダ）３５８は、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、撮像部３５２を通じて生成された映像ストリームやデータ保持部３５６で保持された映像ストリームを表示する。ユーザは、ディスプレイ３５８に表示された映像を視認しつつ操作部３５０を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００４７】
中央制御部３６０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像生成装置３１０全体を管理および制御する。また、本実施形態において、中央制御部３６０は、ユーザ情報取得部３７０、ドット映像生成部３７２、タイプ設定部３７４としても機能する。
【００４８】
ユーザ情報取得部３７０は、映像処理装置１２０を通じて表示装置１３０に表示する情報を取得する。ドット映像生成部３７２は、ユーザ情報取得部３７０が取得した情報に基づいて、マクロブロック単位をドットに見立てた（各マクロブロックをそれぞれ１つのドットとし、これらのドットを組み合わせた）ドット映像を生成する。タイプ設定部３７４は、エンコード時に、ドット映像生成部３７２で生成された映像のドット部分に対応する各マクロブロックのマクロブロックタイプを、特定のタイプに設定する。そして、マクロブロックの特定のタイプが設定された映像ストリームが映像処理装置１２０に送信されると、映像処理装置１２０のレイヤ生成部１６２は、マクロブロックのマクロブロック情報に特定のタイプが設定されている場合、この特定のタイプが設定されているマクロブロックに対応する位置に視覚効果映像を配置した効果レイヤを生成する。
【００４９】
（映像処理方法）
図１３は、映像生成装置３１０における全体的な映像処理を示したフローチャートである。エンコード部３５４は、撮像部３５２が生成した映像データから、動き補償予測を行うための動きベクトルを計算し、各マクロブロックに動きベクトルを関連付けた映像ストリームを生成する（Ｓ４００）。ただし、動きベクトルを計算する上で、マクロブロックの特定のタイプ（例えば、図２（ｂ）に示す８×８画素のサブマクロブロックにより構成されるマクロブロックタイプ）の利用を制限している。
【００５０】
続いて、ユーザ情報取得部３７０は、操作部３５０を通じてユーザから情報が入力されたか否か判定し（Ｓ４０２）、情報が有れば（Ｓ４０２におけるＹＥＳ）、ドット映像生成部３７２は、ユーザ情報取得部３７０が取得した情報をマクロブロック単位のドットで表し（ドットによるドット映像を生成し）、各マクロブロックにドットの有無を示すドットフラグを関連付ける（Ｓ４０４）。タイプ設定部３７４は、エンコード時において、ドット映像生成部３７２で生成された映像に対応する各マクロブロックのマクロブロックタイプを特定のタイプに更新（設定）する（タイプ設定処理：Ｓ４０６）。
【００５１】
また、ユーザから情報が入力されていなければ（Ｓ４０２におけるＮＯ）、マクロブロック情報の更新は行わない。映像生成装置３１０は、このように動きベクトルのパラメータが加工された映像ストリームをディスプレイ３５８に表示しつつ、データ保持部３５６に保持する（Ｓ４０８）。映像生成装置３１０では、エンコード部３５４でエンコードすべきフレームが終了したか否か判定され（Ｓ４１０）、フレームが終了しない間（Ｓ４１０におけるＮＯ）、エンコード処理Ｓ４００からを繰り返す。フレームが終了すると（Ｓ４１０におけるＹＥＳ）、当該映像処理方法を終了する。以下、タイプ設定処理Ｓ４０６を詳述する。
【００５２】
（タイプ設定処理：Ｓ４０６）
図１４は、タイプ設定処理Ｓ４０６の流れを示したフローチャートである。タイプ設定部３７４は、ドット映像生成部３７２が生成したドット映像について、マクロブロックを順次１つずつ特定し、そのマクロブロックからドットフラグを取得する（Ｓ４３０）。タイプ設定部３７４は、取得したドットフラグが、ドットが有ることを示すフラグか否かを判定し（Ｓ４３２）、ドット有りと判定された場合（Ｓ４３２におけるＹＥＳ）、該当するマクロブロックにおけるマクロブロック情報のマクロブロックタイプを特定のタイプに更新（設定）する（Ｓ４３４）。フラグ有りと判定されなかった場合（Ｓ４３２におけるＮＯ）、マクロブロックタイプは更新されない。
【００５３】
続いて、タイプ設定部３７４は、フレーム内の全てのマクロブロックに関してドットの有無の判定Ｓ４３２がなされたか判定し（Ｓ４３６）、全て終わってなければ（Ｓ４３６におけるＮＯ）、ドットフラグ取得処理Ｓ４３０からを繰り返し、全てのマクロブロックに関して判定が終了すると（Ｓ４３６におけるＹＥＳ）、当該タイプ設定処理Ｓ４０６を終了してメインルーチンに戻る。
【００５４】
（効果レイヤ生成処理：Ｓ２０４）
このようにして生成された映像ストリームを映像処理装置１２０が受信すると、映像処理装置１２０では、第１の実施形態で説明したように、映像ストリームに映像効果を付加する。ただし、第２の実施形態においては、マクロブロック情報に特定のパラメータが設定されていた場合、特定の処理が実行される。
【００５５】
ここでは、図７を用いて説明した効果レイヤ生成処理Ｓ２０４の視覚効果映像配置処理Ｓ２６４において、フラグ値が所定のフラグを含む場合、例えば、ＬＳＢから６ビット目のフラグが設定されている場合（図６参照）、他のフラグの設定状態に拘わらず、所定のフラグを含むマクロブロック全領域を所定の色で塗りつぶす視覚効果映像を該当するマクロブロックに配置する。
【００５６】
結果的に、ドットに見立てた視覚効果映像３９０が付加された図１５（ａ）に示す効果レイヤ３９２（ドット映像に相当）は、図１５（ｂ）に示すデコード後の映像データ３９４に重畳されて、図１５（ｃ）のような映像データ３９６となる。したがって、ユーザは、表示装置１３０を通じて図１５（ｃ）のような情報が付加された映像を視認して、映像とともに、付加された情報を把握することができる。
【００５７】
ここでは、特定のパラメータとして、８×８画素のサブマクロブロックにより構成されるマクロブロックタイプを例示しているが、映像生成装置３１０と映像処理装置１２０とで共通して認識できる他の様々なパラメータを特定のパラメータとして利用することができる。
【００５８】
以上、説明した映像生成装置３１０により、映像ストリームの各フレームのマクロブロックに関連付けられる動きベクトルを利用して、映像ストリームに直接表示されない情報として有意な情報を付加し、それを映像処理装置１２０側で読み取らせることができる。かかる構成により、特定のパラメータを規定した映像生成装置３１０と映像処理装置１２０との間のみで映像ストリームに直接表示されない情報を伝達することができ、ユーザは、特定の映像生成装置３１０と映像処理装置１２０の間のみで、秘匿性の高い情報をやりとりすることが可能となる。
【００５９】
また、ここでは、マクロブロックといった詳細な単位でドットを設定できるので、複数の文字や単色映像といった大きな情報量を一度に伝達することも可能となる。
【００６０】
また、コンピュータを、映像生成装置３１０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。
【００６１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６２】
なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００６３】
本発明は、動きに合わせた視覚効果を付加する映像処理装置、映像処理システムおよび映像処理方法に利用することができる。
【符号の説明】
【００６４】
１２０  …映像処理装置
１５０  …映像取得部
１５４  …デコード部
１６０  …マクロブロック情報取得部
１６２  …レイヤ生成部
１６４  …レイヤ重畳部
３００  …映像処理システム
３１０  …映像生成装置
３５８  …ディスプレイ
３７２  …ドット映像生成部
３７４  …タイプ設定部
【図１】
2012175316.tif 000003
【図２】
2012175316.tif 000004
【図３】
2012175316.tif 000005
【図４】
2012175316.tif 000006
【図５】
2012175316.tif 000007
【図６】
2012175316.tif 000008
【図７】
2012175316.tif 000009
【図８】
2012175316.tif 000010
【図９】
2012175316.tif 000011
【図１０】
2012175316.tif 000012
【図１１】
2012175316.tif 000013
【図１２】
2012175316.tif 000014
【図１３】
2012175316.tif 000015
【図１４】
2012175316.tif 000016
【図１５】
2012175316.tif 000017