(57)【特許請求の範囲】
【請求項１】
各フレームが予め区画された画素ブロック毎に符号化されている動画像データを編集して、画像の一部にマスク処理を施す動画像データ編集装置であって、
入力された動画像データのデータストリームから、前記マスク処理を施す範囲に対応する前記画素ブロックを取り出す画素ブロック取出手段と、
前記データストリーム中の、取り出された前記画素ブロックの位置に、予め符号化された固定パターンデータを挿入する固定パターン挿入手段と、
取り出された前記画素ブロックを、ユーザデータとして前記データストリームに挿入する画素ブロック挿入手段と、
を備えることを特徴とする動画像データ編集装置。
【請求項２】
前記固定パターンデータは、予めフレーム内符号化されていることを特徴とする請求項１に記載の動画像データ編集装置。
【請求項３】
前記データストリームは、フレーム単位に、前記ユーザデータが挿入されるユーザデータ領域を有し、
前記画素ブロック挿入手段は、取り出された前記画素ブロックを、取り出された元のフレーム、あるいはこれと異なるフレームのユーザデータとして前記データストリームに挿入する、
ことを特徴とする請求項１に記載の動画像データ編集装置。
【請求項４】
どのフレームから取り出された前記画素ブロックを、どのフレームに挿入したかを示す挿入位置情報を生成する挿入位置情報生成手段を、さらに備えることを特徴とする請求項３に記載の動画像データ編集装置。
【請求項５】
各フレームが予め区画された画素ブロック毎に符号化され、かつ画像の一部にマスク処理が施された動画像データを再生する、動画像データ再生装置であって、
入力された動画像データのデータストリームから、ユーザデータとして挿入された前記画素ブロックを抽出する画素ブロック抽出手段と、
前記データストリーム中の、前記マスク処理を施された範囲に対応する前記画素ブロックの位置にあるデータに代えて、抽出された前記画素ブロックを挿入してマスク処理前の動画像を復元する動画像復元手段と、
を備えることを特徴とする動画像データ再生装置。
【請求項６】
前記動画像データ再生装置は、前記データストリームとして、前記ユーザデータが挿入されるユーザデータ領域をフレーム単位に有し、かつ各々のユーザデータ領域には、元の動画像の他のフレームから取り出された前記画素ブロックが挿入されたデータストリーム、を入力し、
前記動画像復元手段は、前記画素ブロック抽出手段により抽出された前記画素ブロックを、該画素ブロックが取り出された元のフレームに挿入してマスク処理前の動画像を復元する、
ことを特徴とする請求項５に記載の動画像データ再生装置。
【請求項７】
前記動画像データ再生装置は、どのフレームのユーザデータとして挿入された前記画素ブロックが、どのフレームから取り出された前記画素ブロックであるか、を示す挿入位置情報を、さらに入力し、
前記動画像復元手段は、前記挿入位置情報に基づいて、前記抽出された前記画素ブロックを、該画素ブロックが取り出された元のフレームに挿入する、
ことを特徴とする請求項６に記載の動画像データ再生装置。
【請求項８】
各フレームが予め区画された画素ブロック毎に符号化されている動画像データを編集して、画像の一部にマスク処理を施す動画像データ編集方法であって、
入力された動画像データのデータストリームから、前記マスク処理を施す範囲に対応する前記画素ブロックを取り出し、
前記データストリーム中の、取り出された前記画素ブロックの位置に、予め符号化された固定パターンデータを挿入し、
取り出された前記画素ブロックを、ユーザデータとして前記データストリームに挿入する、
ことを特徴とする動画像データ編集方法。
【請求項９】
前記固定パターンデータは、予めフレーム内符号化されていることを特徴とする請求項８に記載の動画像データ編集方法。
【請求項１０】
各フレームが予め区画された画素ブロック毎に符号化され、かつ画像の一部にマスク処理が施された動画像データを再生する、動画像データ再生方法であって、
入力された動画像データのデータストリームから、ユーザデータとして挿入された前記画素ブロックを抽出し、
前記データストリーム中の、前記マスク処理を施された範囲に対応する前記画素ブロックの位置にあるデータに代えて、抽出された前記画素ブロックを挿入してマスク処理前の動画像を復元する、
ことを特徴とする動画像データ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、符号化された動画像データに特殊視聴効果を施す技術、及びこのような特殊視聴効果を再生時に有効／無効化する技術に関し、より詳しくは、動画像データの符号化標準であるＭＰＥＧ（Moving Picture coding Experts Group）に準拠した動画像データに特殊視聴効果を施す技術、及び特殊視聴効果を再生時に有効／無効化する技術に関する。
【背景技術】
【０００２】
従来より、動画像の上映又は配布に際し、個人情報保護などの様々な目的のため、動画像の一部を隠蔽することが行われている。このような動画像の隠蔽処理（マスク処理）は、例えば、医療系の診断用映像（超音波診断や内視鏡により得られる診断動画）や手術映像を医学教育用などに二次利用する場合に行われる。
図１９は、実際の超音波診断による診断動画像を示す図である。実際の診断動画像８１には、範囲８２に示すように患者を特定するための個人情報が併せて記録される。そして医療現場では、かかる個人情報を目視することにより、診断の基となる診療動画像が実際の患者を撮影したものであることを医師が確認することを可能としている。【０００３】
一方で、医学教育目的のために、このような診断動画像が不特定多数の受講者に対して上映される場合には、画像に映し出されている患者の個人情報保護のために、かかる個人情報部分にマスク処理を施す必要がある。
また、手術映像のように患者の人相や外見が動画像から直接分かる場合には、画像に映し出されている患者が特定できない程度に動画像にマスク処理を施すことが必要となる。【０００４】
【特許文献１】特開昭６４−３６４６０号公報
【特許文献２】特許第３５５２９４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、ビデオテープレコーダなどのアナログ信号形式の動画像保存方式が使用されていた場合には、マスク処理が施されていないマスター動画像データと、このマスター動画像データにマスク処理を施したコピーデータと、をそれぞれ作成して使用用途に応じて使い分けていた。このため１つの動画像データに対して、マスク処理「あり」と「なし」との２通りのデータを管理する必要があり、非常に煩雑なものとなっていた。【０００６】
また、近年の動画像データ圧縮技術の進展により、これら動画像データをディジタル形式で保存することが普及しているが、従来のマスク処理方式では、符号化された動画像データを一度元の動画像信号に復号してから、特殊視聴効果ツール（イフェクトツール）等を用いて、元の動画像信号にマスク処理を施し、再符号化を行う必要があった。したがって動画像データの復号、マスク処理及び再符号化によって、膨大な処理時間が必要となり、さらに動画像の再符号化により生じる画質劣化の問題があった。また、この場合にもマスター動画像データとコピーデータとが発生するため、上記のデータ２元管理の問題は依然として回避されなかった。【０００７】
このように、従来のマスク処理方式では、上記の医師による診療と医療教育目的の視聴のように再生側の条件の相違に応じてマスク処理の有無を変更するには、マスク処理が施された動画像データと施されていない動画像データの２つを用意する他なく、１つの動画像データを再生側の条件の相違に応じて再生態様を変更することはできなかった。【０００８】
上記問題点に鑑みて、本発明は、簡便な手段と労力で、符号化された動画像データの一部にマスク処理を行うことが可能な動画像データ編集装置及び動画像データ編集方法を提供することを目的とする。
さらに本発明は、このようにマスク処理が施された動画像データから、マスク処理前の原動画像を再生する動画像データ再生装置及び動画像データ再生方法を提供することにより、マスク処理済み動画像をそのまま再生する通常の再生器と比べて再生態様を変えることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る動画像データ編集装置及び動画像データ編集方法は、各フレームが予め区画されたマクロブロック毎に符号化されている動画像データを編集して画像の一部にマスク処理を施す際に、入力された動画像データのデータストリームからマスク処理を施す範囲に対応するマクロブロックを取り出し、データストリーム中の、取り出されたマクロブロックの位置に、予め符号化された固定パターンデータを挿入し、取り出されたマクロブロックをユーザデータとしてデータストリームに挿入する。【００１０】
さらに、本発明に係る動画像データ再生装置及び動画像データ再生方法は、各フレームが予め区画されたマクロブロック毎に符号化されかつ画像の一部にマスク処理が施された動画像データを再生する際に、入力された動画像データのデータストリームから、ユーザデータとして挿入されたマクロブロックを抽出し、データストリーム中の、マスク処理を施された範囲に対応するマクロブロックの位置にあるデータに代えて、抽出されたマクロブロックを挿入してマスク処理前の動画像を復元する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明による動画像データ編集装置の基本構成図である。
【図２Ａ】図２Ａは、本発明による動画像データ編集装置がマスク処理の対象とする動画像データの説明図であり、動画像データを構成する複数のフレームの説明図である。
【図２Ｂ】図２Ｂは、図２Ａの各フレームを構成する画素ブロックの説明図である。
【図３】図３は、図２の動画像データのデータストリーム構成の説明図である。
【図４Ａ】図４Ａは、マスク処理を行う前の元の動画像を示す図である。
【図４Ｂ】図４Ｂは、マスク処理後の動画像を示す図である。
【図５】図５は、図１の動画像データ編集装置によるマスク処理の説明図である。
【図６】図６は、本発明による動画像データ再生装置の基本構成図である。
【図７】図７は、図６の動画像データ再生装置によるマスク無効化処理の説明図である。
【図８】図８は、本発明による動画像データ編集装置の実施例の全体構成図である。
【図９Ａ】図９Ａは、ＭＰＥＧ動画像データを構成する複数のピクチャの説明図である。
【図９Ｂ】図９Ｂは、図９Ａの各ピクチャを構成するマクロブロックの説明図である。
【図１０】図１０は、ＭＰＥＧ動画像データのデータストリーム構成の説明図である。
【図１１Ａ】図１１Ａは、マスク処理を行う前の元の超音波診断動画像を示す図である。
【図１１Ｂ】図１１Ｂは、マスク処理後の超音波診断動画像を示す図である。
【図１２】図１２は、図８に示す分析／編集部の第１実施例の構成図である。
【図１３】図１３は、図８の動画像データ編集装置によるマスク処理の第１例の説明図である。
【図１４】図１４は、本発明による動画像データ再生装置の実施例の全体構成図である。
【図１５】図１５は、図１４の動画像データ再生装置によるマスク無効化処理の第１例の説明図である。
【図１６】図１６は、図８の動画像データ編集装置によるマスク処理の第２例の説明図である。
【図１７】図１７は、図１４の動画像データ再生装置によるマスク無効化処理の第２例の説明図である。
【図１８】図１８は、図８に示す分析／編集部の第２実施例の構成図である。
【図１９】図１９は、実際の超音波診断による診断動画像を示す図である。
【符号の説明】
【００１２】
１    動画像データ編集装置
２    動画像データ再生装置
１５    マスク情報生成部
６１    マスク済動画像データ
６２    マスク情報
５１    ビデオカメラ
５３    動画像元データ保存部
５４    表示部
７１、８１    動画像
７２、８２    マスク領域
７３    固定パターンデータ
Ｂ１〜Ｂ６    Ｂピクチャ
ＢＬ１〜ＢＬ５    画素ブロック
ＢＭ１〜ＢＭ４    マクロブロック
Ｆ１〜Ｆ６    フレーム
Ｉ１、Ｉ２    Ｉピクチャ
Ｐ１、Ｐ２    Ｐピクチャ
【発明を実施するための最良の形態】
【００１３】
以下、図１〜図７を参照して本発明の基本構成を説明する。図１は、本発明による動画像データ編集装置の基本構成図である。また、図２は、図１に示す動画像データ編集装置１がマスク処理の対象とする動画像データの説明図であり、ここに図２Ａは動画像データを構成する複数のフレームの説明図であり、図２Ｂは、図２Ａの各フレームを構成する画素ブロックの説明図である。さらに、図３は、図２の動画像データのデータストリーム構成の説明図である。【００１４】
まず、本発明による動画像データ編集装置１がマスク処理の対象とする動画像データの構成を説明する。一般に動画像データは、図２Ａに示すように、時間経過に従って順次表示される複数の画像（フレーム）Ｆ１〜Ｆ６…から構成される。そして各フレームＦ１〜Ｆ６…は、動画像の画像フォーマットに規定される解像度に応じた数の複数の画素から成っている。
動画像データがディジタル信号である場合には、データ量を低減するために、一般に動画像データは符号化されて圧縮される。このとき動画像データの符号化は、その動画像データが準拠する動画像符号化標準に従って行われる。【００１５】
ここで、本発明による動画像データ編集装置１は、動画像データを構成する各フレームが、予め区画された画素ブロック毎に符号化される動画像符号化標準に従う動画像データを対象とする。例えば図２Ｂに示す例では、各フレームがＭ×Ｎピクセルの大きさを有する画素ブロックＢＬ１〜ＢＬ４…を単位として符号化されている。
このような、動画像符号化標準に従う動画像データのデータストリーム構成は、図３のような構成を持つものとして一般化して示すことができる。図３の上段に示すように、データストリームは時間経過に従って順次表示される複数のフレームＦ１〜Ｆ５…を含む構成を有する。そして各フレームＦ１〜Ｆ５…は、図３の下段に示すように、当該フレームを構成する複数の画素ブロックＢＬ１〜ＢＬ５…を、フレーム内におけるそれぞれの配置位置に応じた順序で順次配置して有している。【００１６】
ここで本発明による動画像データ編集装置１が対象とする動画像データは、さらに、データストリームが、少なくともフレーム単位に、ユーザデータを挿入するためのユーザデータ領域を有することを許容する動画像符号化標準に従うものとする。ここにユーザデータとは、動画像データを作成／編集する作成者や編集者が、本来の動画像情報に加えて動画像データに挿入することができる任意の情報をいうものとする。【００１７】
本発明による動画像データ編集装置１は、上記説明した一般的な動画像符号化標準に従う動画像データであれば、これを編集して画像の一部にマスク処理を施すことが可能である。そのために、動画像データ編集装置１は、図１に示すように、入力された動画像データのデータストリームから、マスク処理を施す範囲に対応する画素ブロックを取り出す画素ブロック取出部１１と、この取り出された画素ブロックが位置していたデータストリーム中の元の位置に、予め符号化された固定パターンデータを挿入する固定パターン挿入部１２と、取り出された画素ブロックを、ユーザデータとしてデータストリームのユーザ領域に挿入する画素ブロック挿入部１３と、を備えて構成される。【００１８】
以下、動画像データ編集装置１によるマスク処理を、図４及び図５を参照して説明する。図４Ａはマスク処理を行う前の元の動画像を示す図であり、図４Ｂはマスク処理後の動画像を示す図である。いま、図４Ａに示す動画像７１のうち、破線で囲まれた領域７２を固定パターン（例えば単一色）で塗りつぶしマスク処理を施して隠蔽する場合を想定する。このようなマスク処理を施すことにより図４Ａに示す動画像７１は、図４Ｂに示すマスク済動画像７１のように編集される。【００１９】
まず、図１に示す画素ブロック取出部１１は、図５に示すように、入力された元の動画像データのデータストリームから、マスク領域７２の範囲内に存在する画素ブロックＢＬ２及びＢＬ４を取り出す。
次に、図１に示す固定パターン挿入部１２は、画素ブロックＢＬ２及びＢＬ４が取り出されたデータストリームの、画素ブロックＢＬ２及びＢＬ４が位置していた元の位置のそれぞれに、固定パターンデータ７３を挿入する。この固定パターンデータ７３は、画素ブロックと同じ大きさを有する固定パターンをフレーム内符号化する、あるいはこのような符号化データを模擬的に生成して取得し、予め記憶しておくことが可能である。【００２０】
そして画素ブロック挿入部１３は、取り出された画素ブロックＢＬ２及びＢＬ４を、ユーザデータとしてデータストリームのユーザ領域に挿入する。
このように動画像データ編集装置１によって編集されたマスク処理済動画像データを、通常の再生装置で再生すると、マスク領域７２には固定パターンが表示され、かつユーザデータ部は読み飛ばされるために、図４Ｂに示す動画像７１のようにマスク済動画像が表示されることになる。【００２１】
また動画像データ編集装置１は、動画像データの復号及び再符号化を行うことなくマスク処理を行うため、処理時間が少なく、さらに動画像の再符号化により生じる画質劣化の問題もない。【００２２】
図６は、本発明による動画像データ再生装置の基本構成図である。動画像データ再生装置２は、動画像データ編集装置１によって編集されたマスク処理済動画像データを入力して、マスク処理前の動画像を復元して再生するために使用される。このため、動画像データ再生装置２は、入力された動画像データのデータストリームから、ユーザデータとして挿入された元の画素ブロックを抽出する画素ブロック抽出部２１と、データストリーム中の、マスク領域に対応する画素ブロックの位置にあるデータに代えて、抽出された元の画素ブロックを挿入してマスク処理前の動画像を復元する動画像復元手段２２と、を備えて構成される。【００２３】
以下、動画像データ再生装置２によるマスク無効化処理を、図７を参照して説明する。まず、図６に示す画素ブロック抽出部２１は、図７に示すように、入力された動画像データのマスク領域に本来位置していた元の画素ブロックＢＬ２及びＢＬ４を、データストリームの各フレームのユーザデータ領域から抽出する。
ここで、入力されたデータストリーム中のマスク領域に対応する画素ブロックの位置には、図５に示すように固定パターンデータ７３が挿入されているので、図６に示す動画像復元手段２２は、抽出された元の画素ブロックＢＬ２及びＢＬ４を、図７に示すように、固定パターンデータ７３に代えて挿入することにより、動画像データ編集装置１によるマスク処理前の動画像を復元する。【００２４】
このように復元された動画像データを復号することにより、図４Ｂに示す動画像７１に現れていたマスク処理が無効化され、図４Ａに示す元の動画像７１のような動画像を表示することができる。
したがって、特定の施設、人間や、場所等（上記の診断動画像に例に従って例えると、個人情報部分にマスク処理を施す必要のない医療現場）のみに、本発明による動画像データ再生装置による動画像データの再生を許すこととすれば、これらの特定の施設や人間などにより再生される場合のみマスク処理が無効化され、反対に、不特定多数の施設や人間などが通常の再生装置で再生する場合にはマスク処理が依然有効なままとなる。このようにして、１つの動画像データを再生側の条件の相違に応じて再生態様を変更することが可能となる。【００２５】
以下、図８〜図１８を参照して本発明の実施例を説明する。図８は、本発明による動画像データ編集装置の実施例の全体構成図である。
動画像データ編集装置１は、入力された符号化動画像元データを復号する復号器１４と、復号された動画像データを入力して表示することによりオペレータがこの動画像を見ながらマスク処理に関する指示を行うことを可能とし、かつこの指示を受け付けてこれに基づいてマスク処理に関するマスク情報６２を生成する、本発明に係る挿入位置情報生成手段であるマスク情報生成部１５と、入力された符号化動画像元データを分析し、マスク情報生成部１５が生成したマスク情報６２に基づいて符号化動画像元データにマスク処理を施して、マスク処理済動画像データ６１を出力する分析／編集部１６と、を備えて構成される。【００２６】
動画像データ編集装置１に入力される符号化動画像元データは、例えばビデオカメラ５１により撮像されたアナログビデオ信号を、一般に入手可能な符号器５２に入力してディジタル形式の符号化動画像データを符号化して得られる動画像データとしてよい。そしてこのような符号化動画像元データを、ハードディスクドライブ装置やメモリ装置などの記憶装置やＣＤ−ＲＯＭ、ＤＶＤディスクなどのリムーバブル記録媒体などで実現可能な動画像元データ保存部５３に記憶して、この動画像元データ保存部５３から動画像データ編集装置１に入力されることとしてよい。【００２７】
以下、動画像データ編集装置１が、動画像符号化標準の一つであるＭＰＥＧ形式に準拠した符号化動画像データをマスク処理する場合について説明する。
図９Ａは、ＭＰＥＧ動画像データを構成する複数のピクチャの説明図である。図示するとおりＭＰＥＧ動画像データは、時間経過に従って順次表示されるピクチャと呼ばれる複数のフレームＩ１、Ｂ１〜Ｂ３、Ｐ１、Ｂ４〜Ｂ６、Ｐ２…、Ｉ２…から成り立っている。各ピクチャはその符号化タイプに応じて３つの種類に分けられ、フレーム内符号化画面であるＩピクチャＩ１、Ｉ２…と、前方向予測符号化画面であるＰピクチャＰ１、Ｐ２…と、双方向予測符号化画面であるＢピクチャＢ１〜Ｂ６…と、を含んでいる。なお、以下の実施例において、動画像データを構成し時間経過に従って順次表示される各画像を「ピクチャ」と示すが、このピクチャは図１〜図７を参照して説明した本発明の基本構成に係る動画像データ構造における「フレーム」と同じ意味で使用される。【００２８】
ＭＰＥＧ符号化方式では、Ｐピクチャ及びＢピクチャにおいて動き補償予測符号化を行うために、図９Ｂに示すように、各ピクチャを１６×１６ピクセルの区間に分割して複数のマクロブロックＭＢ１〜ＭＢ４…を構成し、このマクロブロックを単位としてブロックマッチングを行い予測符号化が行われる。また、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれの場合でも、マクロブロックがフレーム内符号化される場合には、このマクロブロックを単位としてＤＣＴ係数の直流成分（ＤＣ成分）の係数の符号化が行われる。【００２９】
図１０は、ＭＰＥＧ動画像データのデータストリーム構成の説明図である。図示するとおりＭＰＥＧ動画像データのデータストリーム構成は、シーケンス層と、ＧＯＰ層と、ピクチャ層と、スライス層と、マクロブロック層とを含んで構成される。
シーケンス層は、１つのビデオプログラム全体の符号化信号を含む層で、シーケンスヘッダで始まり、１つ以上のＧＯＰ（Group of Picture）を含んで構成される。【００３０】
ＧＯＰ層は、Ｉピクチャと、Ｐピクチャ及びＢピクチャのうちの両方又は一方と、から構成され、ＭＰＥＧデータからのランダムアクセスを行うポイントとして用いることができるピクチャ群である。このため各ＧＯＰの最初のピクチャは必ずＩピクチャが挿入されて構成される。各ＧＯＰの先頭には、画像復元時に音声などとの時間あわせを行うためのタイムスタンプ情報を含むＧＯＰヘッダが挿入される。
ピクチャ層は、動画像信号１枚１枚の各画面に対応し、原則としてＩ、Ｐ及びＢピクチャのいずれか一種により構成される。各ピクチャの先頭には、Ｉ、Ｐ及びＢピクチャのいずれかを識別するための情報や、各ピクチャの表示順序を指定する情報を含むピクチャヘッダが挿入される。ピクチャ層は、画面内で横長の領域を示すスライスを１つ以上含んでいる。さらに、各ピクチャ層にはユーザデータを挿入するためのユーザデータ領域を挿入することが可能である。【００３１】
スライス層は、１つ以上のマクロブロックを含んで構成される。画面を複数のスライスで構成することにより、あるスライス層でエラーが発生しても次のスライス層でエラー回復を可能とするため設けられる。また、スライス層の先頭には、このスライス内で使用される量子化特性を表す情報などを含むスライス情報が挿入される。
マクロブロック層は、マクロブロックを構成する複数の８×８ピクセルのブロックから構成される。マクロブロック層の先頭に挿入されるマクロブロック情報には、例えば当該マクロブロックがフレーム内符号化されるか、動き補償符号化されるか等を示す符号化タイプ等の情報が含まれる。【００３２】
図８に戻り、マスク情報生成部１５は、復号器１４によって復号された動画像データをオペレータに表示することが可能なＣＲＴや液晶ディスプレイなどの表示部、オペレータがこの動画像を見ながらマスク処理に関する指示を入力するのに必要なキーボード、マウス、タッチペン、タッチパッド等の入力部と、作成したマスク情報６２を分析／編集部１６に出力する出力インタフェースと、このマスク情報６２を、分析／編集部１６が編集したマスク処理済み動画像データ６１と同時に配布可能な形式にして出力可能なフレキシブルディスクドライブ装置、リムーバブルディスクドライブ装置と、備えるパーソナルコンピュータ等の計算手段により実現することとしてよい。【００３３】
以下、超音波診断動画像の動画像データを編集するオペレータがマスク処理に関する指示を入力する手順を説明する。図１１Ａはマスク処理を行う前の元の超音波診断動画像を示す図であり、図１１Ｂはマスク処理後の超音波診断動画像を示す図である。いま、図１１Ａに示す動画像８１のうち、破線で囲まれた領域８２を固定パターン（例えば赤一色）で塗りつぶしマスク処理を施して隠蔽する場合を想定する。このようなマスク処理を施すことにより図１１Ａに示す動画像８１は、図１１Ｂに示すマスク済動画像８１のように編集される。【００３４】
動画像データを編集するオペレータが、マスク処理を施そうとする動画像８１の領域（マスク領域８２）を指示する場合には、マスク情報生成部１５の表示部に表示される動画像８１を見ながら、例えばマウスを使用して画面上のある範囲を指定して、この動画像８１にマスク処理を施すべきマスク領域８２を指示する。またオペレータは、キーボードから入力することにより、あるいはマスク情報生成部１５上で動作するアプリケーションが表示部に表示するＧＵＩ（graphical user interface）をマウスで操作することにより、マスク領域８２に施そうとするマスクの種類を指示する。
マスク情報生成部１５は、オペレータによる上記のようなマスク処理に関する指示を受け付けると、これらの指示に基づきマスク情報６２を作成する。マスク情報６２の第１例を表１に示す。【００３５】
【表１】
0004312246.tif 000002
【００３６】
表１に示すように、マスク情報生成部１５は、オペレータからの指示に基づいてマスク処理を施すべき各ピクチャ毎に、画面内のマスク領域８２の位置に対応するマクロブロックを指定する。表１のピクチャＩ１に対する指示の例では、画面左上から、水平方向に右へ１０〜１２番目かつ垂直方向に４０〜４１番目のマクロブロックが指定されている。
併せて、マスク領域８２に施そうとするマスクの種類を指示する。そのために、例えば表１の例に示すようにマスクの種類を示す属性値（"red-fill"）を使用してもよい。
このようにマスク情報を構成することにより、オペレータは、表１のピクチャＩ１０１に対する指示に見られるように、１つビデオシーケンスの途中の任意のピクチャで、マスク領域８２の位置を自由に変更することができる。このときマスクの種類を変更することも当然に可能である。【００３７】
図１２は、図８に示す分析／編集部１６の第１実施例の構成図である。分析／編集部１６は、マスク情報生成部１５が生成したマスク情報６２に含まれるマスク領域８２の位置に関する情報（表１の例ではマスク領域８２の位置に対応するマクロブロックの指定情報）に基づいて、入力された動画像の元データのデータストリームから、マスク処理を施す範囲に対応するマクロブロックを取り出すマクロブロック取出部１１と、この取り出されたマクロブロックが位置していたデータストリーム中の元の位置に、マスク情報６２に含まれるマスクの種類に関する情報に基づいて、対応する固定パターンデータを挿入する固定パターン挿入部１２と、取り出されたマクロブロックを、ユーザデータとしてデータストリームのユーザ領域に挿入するマクロブロック挿入部１３と、を備えて構成される。【００３８】
さらに、分析／編集部１６は、固定パターン挿入部１２が挿入する固定パターンデータを記憶しておく固定パターン記憶部１７を備える。固定パターン記憶部１７には、マスクの種類毎に固定パターンデータが記憶され、分析／編集部１６は、固定パターン記憶部１７に記憶された複数種の固定パターンデータの中から、マスク情報６２内のマスクの種類を示す指示に応じてマスク量領域８２に挿入するべき固定パターンデータを選択する。
個々の固定パターンデータの元となる固定パターンは、すでに説明したマクロブロックと同一サイズ（すなわち１６×１６ピクセル）で構成された画像データであり、固定パターン記憶部１７に記憶される固定パターンデータは、これらの固定パターンをフレーム内符号化して得られた符号化画像データである。この固定パターンデータ７３は、実際に固定パターンをフレーム内符号化して作成してもよいし、あるいは模擬的に生成してもよい。【００３９】
なお、この分析／編集部１６は、ワークステーションやパーソナルコンピュータなどで構成される計算手段で実現することが可能であり、分析／編集部１６を構成する各構成要素は、それぞれの機能を実現するソフトウェアモジュールによって実現することとしてもよく、あるいは専用のハードウエア回路によって実現することとしてもよい。【００４０】
以下、動画像データ編集装置１によるマスク処理を、図１３を参照して説明する。
まず、図１２に示すマクロブロック取出部１１は、マスク情報６２に基づいて、入力された元の動画像データのデータストリームのスライス層に含まれる、マスク領域８２の範囲内に存在するマクロブロック（図１３にて「ＭＢ」と記す）の位置を特定して、その位置にあるマクロブロック９３及び９５を取り出す（図１３参照）。【００４１】
次に、図１２に示す固定パターン挿入部１２は、固定パターン記憶部１７に予め記憶されている複数種の固定パターンデータの中から、マスク情報６２に指定されたマスクの種類に対応する固定パターンデータ７３を選択する。そして、データストリームのスライス層の、マクロブロック９３及び９５が位置していた元の位置のそれぞれに、選択された固定パターンデータ７３を挿入する。【００４２】
そしてマクロブロック挿入部１３は、取り出されたマクロブロック９３及び９５を、ユーザデータとして、データストリーム中のピクチャ層毎に設けられたユーザ領域に挿入し、こうして編集されたデータストリームをマスク済動画像データ６１として出力する。
ここで、マスク情報が表１に示す第１例のように作成された場合、後述の表２に示すマスク情報の第２例が含むような、取り出されたマクロブロックをどのピクチャのユーザ領域に挿入するかを指定する情報がマスク情報に含まれないため、マクロブロック挿入部１３は、マクロブロック９３及び９５を、これらのマクロブロックを取り出したピクチャ自身のユーザ領域に挿入する。このとき、取り出したマクロブロック９３及び９５に併せて、これらのマクロブロックが画像中のどの位置に配置されていたかを示す位置情報を、ユーザ領域に挿入してもよい。【００４３】
上記図９を参照して説明したように、各ピクチャの符号化はマクロブロックを単位にして行われている。したがって、予めフレーム内符号化した固定パターンデータを、取り出したマクロブロックに代えて挿入することにより、上述のＭＰＥＧ形式に準拠する全ての再生装置においてエラーを生じることなく、マスク処理済み動画像データを再生することが可能である。
そして、このように編集されたマスク処理済動画像データを、通常の再生装置で再生すると、マスク領域８２には固定パターンが表示され、かつユーザデータ部は読み飛ばされるために、図１１Ｂに示すマスク済動画像８１のように動画像が表示されることになる。【００４４】
図１４は、本発明による動画像データ再生装置の基本構成図である。動画像データ再生装置２は、動画像データ編集装置１によって編集されたマスク済動画像データ６１とマスク情報６２とを入力して、マスク処理前の動画像を復元して再生して表示部５４上に表示するために使用される。
このため、動画像データ再生装置２は、マスク情報６２に基づいて、入力された動画像データ６１のデータストリームから、各ピクチャ層のユーザ領域にユーザデータとして挿入された元のマクロブロックを抽出するマクロブロック抽出部２１と、データストリーム中の各ピクチャのマスク領域に対応するマクロブロックの位置に挿入された固定パターンデータに代えて、抽出された元のマクロブロックを挿入することにより、マスク処理前の動画像を復元する動画像復元手段２２と、を備えて構成される。【００４５】
以下、動画像データ再生装置２によるマスク無効化処理を、図１５を参照して説明する。まず、図１４に示すマクロブロック抽出部２１は、マスク情報６２が与えられる場合には、このマスク情報６２に基づいて、入力された動画像データ６１のいずれのピクチャにマスク処理が施されているかを判断する。
そして、マスク情報６２に基づいて、マスク処理が施されているピクチャのそれぞれについてマスク領域８２を特定し、このマスク領域８２に位置していた元のマクロブロック９３及び９５を、各ピクチャのユーザデータ領域から抽出する（図１５参照）。
入力されたデータストリーム中のマスク領域８２に対応するマクロブロックの位置には、動画像データ編集装置１によって挿入されていた固定パターンデータ７３が挿入されているので、図１４に示す動画像復元手段２２は、抽出された元のマクロブロック９３及び９５をこの固定パターンデータ７３に代えて挿入することにより、マスク処理前の動画像を復元する。【００４６】
また、上述の通り、動画像データ編集装置１が、各ピクチャのユーザデータ領域に、マクロブロック９３及び９５が画像中のどの位置に配置されていたかを示す位置情報を挿入して、マスク処理を行った場合には、動画像データ再生装置２は、マスク情報６２の入力無しにマスク処理前の動画像を復元することが可能である。
このとき、動画像データ再生装置２のマクロブロック抽出部２１は、まず、入力された動画像データ６１に挿入される各ピクチャのそれぞれについて、ユーザデータ領域にマクロブロック情報が含まれるか否かを判断する。そして、マクロブロック情報が含まれる場合には、ユーザデータ領域に挿入されたマクロブロックの位置情報を抽出して、マスク領域８２を特定する。すなわち抽出したマクロブロック９３及び９５を戻すべき挿入位置が、動画像データ６１のいずれの位置であるかを特定する。そして、動画像復元手段２２は、この位置情報に基づいて、抽出された元のマクロブロック９３及び９５を動画像データ中の元の位置に挿入する。【００４７】
また、マスク情報生成部１５は、マスク情報６２を、マスク処理済み動画像データ６１と同時に配布可能な形式にして出力する際に、マスク情報を容易に解読されることがないように暗号化して出力することとしてもよい。【００４８】
以下、各ピクチャから取り出したマクロブロックを、取り出し元のピクチャと異なるピクチャのユーザデータ領域に挿入する場合について説明する。
上述のように、各ピクチャから取り出したマクロブロックを取り出し元と同一ピクチャに挿入する方式では、取り出したマクロブロックの格納場所を容易に特定することが可能であるため、例えば、上記のマスク処理手順を知った悪意あるユーザによってマスク処理を解除されるおそれが生じる。そこで、各ピクチャから取り出したマクロブロックを、取り出し元のピクチャと異なるピクチャのユーザデータ領域に挿入することにより、取り出したマクロブロックの発見を困難にして、予定されていないユーザによるマスク処理の解除を防止する。【００４９】
そのために、マスク情報生成部１５は、オペレータによるマスク処理に関する指示を受け付けると、マスク処理を行うピクチャのそれぞれのマスク領域８２の位置に対応するマクロブロックについて、挿入先となるピクチャを決定し、以下の表２に示すようなマスク情報６２を作成する。マスク情報６２の第２例を表２に示す。【００５０】
【表２】
0004312246.tif 000003
【００５１】
表２に示すように、マスク情報６２の第２例には、マスク領域８２の位置に対応するマクロブロックを収容する場所に関する情報が含まれている。表２の例では、例えば、第１行目に指定されるピクチャＩ１の左上端から水平方向に１０番目、垂直方向に４０番目のマクロブロックは、ピクチャＰ２のピクチャ層に含まれるユーザデータ領域の第１番目のマクロブロックの領域に挿入され、第２行目に指定されるピクチャＩ１の左上端から水平方向に１１番目、垂直方向に４０番目のマクロブロックは、ピクチャＰ１のピクチャ層に含まれるユーザデータ領域の第３番目のマクロブロックの領域に挿入される。
なお、表２では、１つのピクチャのマスク領域８２から取り出される各マクロブロックを、それぞれ異なるピクチャのユーザデータとして挿入する挿入例を示したが、１つのピクチャのマスク領域８２から取り出されるマクロブロックが、取り出したピクチャとは別の１つピクチャのユーザデータとして挿入されることとしてもよい。【００５２】
上記マスク情報６２の第２例に基づくマスク処理を、図１６を参照して説明する。
まず、図１２に示すマクロブロック取出部１１は、マスク情報６２に基づいて、入力された元の動画像データのデータストリームに含まれるピクチャ９１に含まれる、マスク領域８２の範囲内に存在するマクロブロック（図１６にて「ＭＢ」と記す）の位置を特定して、その位置にあるマクロブロック９３及び９５を取り出す（図１６参照）。
次に、図１２に示す固定パターン挿入部１２は、データストリームのピクチャ９１の、マクロブロック９３及び９５が位置していた元の位置のそれぞれに、選択された固定パターンデータ７３を挿入する。【００５３】
そしてマクロブロック挿入部１３は、マスク情報６２においてマクロブロック収容先として指定された、ピクチャ９１と別のピクチャ９７のユーザデータ領域に、取り出されたマクロブロック９３及び９５を挿入する。このときマスク情報６２においてユーザデータ領域中における各マクロブロックの挿入位置や順序が定められている場合には、その位置又は順序に従ってマクロブロックを挿入する。そして、こうして編集されたデータストリームをマスク済動画像データ６１として出力する。【００５４】
以下、図１７を参照して上記マスク情報６２の第２例に基づきマスク処理された動画像データのマスク無効化処理を、説明する。
まず、図１４に示すマクロブロック抽出部２１は、このマスク情報６２に基づいて、入力された動画像データ６１のいずれのピクチャにマスク処理が施されているかを判断する（ここではピクチャ９１にマスク処理が施されていると判断する）。そして、マスク情報６２に基づいて、マスク処理が施されているピクチャ９１のマスク領域８２を特定する。【００５５】
次に、マクロブロック抽出部２１は、このマスク領域８２に位置していた元のマクロブロック９３及び９５を、マスク情報６２においてマスクブロック収容先として指定されたピクチャ９７のユーザデータ領域から抽出する（図１７参照）。
そして、図１４に示す動画像復元手段２２は、抽出された元のマクロブロック９３及び９５を、ピクチャ９１に挿入されている固定パターンデータ７３に代えて、挿入することにより、マスク処理前の動画像を復元する。【００５６】
動画像データには、例えば図１１Ａに示す医療診断動画像データのように、１つの画面中に、画像が動く部分とほとんど画像が静止している部分とを含む場合がある。例えば図１１Ａに示す医療診断動画像では、図の点線で示された領域８２は、個人特定情報などを表示する全く静止した部分である一方、それ以外の領域は診断する臓器の動作を表す動画部分である。【００５７】
マスク領域８２として静止部分（この場合には個人特定情報部分）を指定する場合には、その画像情報の殆どがフレーム内符号化ピクチャであるＩピクチャ内に保存され、フレーム内符号化ピクチャ（動き補償符号化ピクチャ）であるＰピクチャ及びＢピクチャには、画像情報が殆ど含まれない。
したがって、動画像データ編集装置１は、フレーム内符号化ピクチャＩピクチャのみについて、上記マスク処理を施すこととしてもよい。【００５８】
すなわち、動画像データ編集装置１のマクロブロック取出部１１は、マスク領域８２に対応するマクロブロックを、フレーム内符号化ピクチャＩピクチャのみから取り出す。
そして、固定パターン挿入部１２は、データストリーム中のＩピクチャのマクロブロックが位置していた元の位置のそれぞれに、固定パターンデータを挿入する。
その後、マクロブロック挿入部１３は、データストリーム中のピクチャのユーザデータ領域に、取り出されたマクロブロックを挿入することとしてよい。【００５９】
また、動画像データ再生装置２は、フレーム内符号化ピクチャＩピクチャのみについて、元画像を復元することとしてよい。
すなわち、動画像データ再生装置２のマクロブロック抽出部２１は、Ｉピクチャのいずれかにマスク処理が施されているかを判断する。そして、マスク処理が施されている各Ｉピクチャについてマスク領域８２を特定する。
次に、マクロブロック抽出部２１は、このマスク領域８２に位置していたマクロブロックを、データストリーム中のピクチャのユーザデータ領域から抽出する。
そして、動画像復元手段２２は、抽出された元のマクロブロックを、当該Ｉピクチャに挿入されている固定パターンデータに代えて挿入することにより、マスク処理前の動画像を復元することとしてよい。【００６０】
反対に、マスク領域８２として動画部分が指定される場合には、マスク領域８２内の元の画像信号が、その周囲のマクロブロックの動き補償符号化に使用される場合がある。この場合、もし、動画像データ再生装置１が、動画像データ中のマスク領域８２に対応するマクロブロックを固定パターンデータに置換し、その周囲のマクロブロックをそのままの状態にしておくと、その周囲のマクロブロックの画像に乱れが生じる場合がある。【００６１】
したがって、動画像データ再生装置１は、動画像データ中のマスク領域８２に対応するマクロブロックを固定パターンデータに置換する際に、そのマクロブロックの画像信号を動き補償符号化に使用する周囲をフレーム内符号化することが望ましい。このような動画像データ再生装置１の動作に対応する分析／編集部１６を、図１８を参照して説明する。【００６２】
図１８は、図８に示す分析／編集部１６の第２実施例の構成図である。分析／編集部１６は、マスク領域８２に対応するマクロブロックの周囲のマクロブロックをフレーム内符号化する周囲ブロック再符号部１８を備える。
周囲ブロック再符号部１８は、マスク情報６２に含まれるマスク領域８２の位置情報に基づいて、入力される動画像データのうち、マスク領域８２に対応するマクロブロックを動き補償符号化に使用しているマクロブロックを抽出し、このマクロブロックを復号した後に、マクロブロック単位でフレーム内符号化して再度動画像データの元の位置に挿入する。【００６３】
または、周囲ブロック再符号部１８は、マスク領域８２に対応するマクロブロックを動き補償符号化に使用している可能性のある、マスク領域８２に対応するマクロブロックの周囲のマクロブロックを全て抽出し（例えば、マスク領域８２の周囲の動き補償範囲内にある全てのマクロブロックを抽出し）、これらマクロブロックを復号した後に、マクロブロック単位でフレーム内符号化して再度動画像データの元の位置に挿入する。【００６４】
このように、周囲ブロック再符号部１８により、マスク領域８２の周囲のマクロブロックをフレーム内符号化することにより、動画像データ中のマスク領域８２に対応するマクロブロックを固定パターンデータに置換しても、その周囲のマクロブロックの画像に乱れが生じることを防止する。【００６５】
以上、好適な実施例を参照して説明した、本発明に係る動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法は、符号化された動画像データに特殊視聴効果を施す技術、及びこのような特殊視聴効果を再生時に有効／無効化する技術に、広く利用可能であるが。特に、動画像データの符号化標準であるＭＰＥＧに準拠した動画像データに特殊視聴効果を施し、及び特殊視聴効果を再生時に有効／無効化する技術に関する。
このような動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法の具体的な応用例として、上記説明した診療用映像等を医学教育用などに二次利用する場合の他に、例えばディジタル放送サービスなどの分野において、特定の視聴者に対してはマスク処理が施されていない動画を再生可能とし、一般の視聴者にはマスク処理が施された制限付きの動画のみを再生可能とする場合に利用することが可能である。【００６６】
以上、説明のために選択された特定の実施例を参照して本発明を説明したが、これらに対して、本発明の基本的な考え方及び範囲から逸脱することなく、様々な変更を加えることが可能であることは当業者に明らかであり、これら変更例も、当然に本発明の範囲に含まれるものと考えるべきである。
【図１】
0004312246.tif 000004
【図２Ａ】
0004312246.tif 000005
【図２Ｂ】
0004312246.tif 000006
【図３】
0004312246.tif 000007
【図４Ａ】
0004312246.tif 000008
【図４Ｂ】
0004312246.tif 000009
【図５】
0004312246.tif 000010
【図６】
0004312246.tif 000011
【図７】
0004312246.tif 000012
【図８】
0004312246.tif 000013
【図９Ａ】
0004312246.tif 000014
【図９Ｂ】
0004312246.tif 000015
【図１０】
0004312246.tif 000016
【図１２】
0004312246.tif 000017
【図１３】
0004312246.tif 000018
【図１４】
0004312246.tif 000019
【図１５】
0004312246.tif 000020
【図１６】
0004312246.tif 000021
【図１７】
0004312246.tif 000022
【図１８】
0004312246.tif 000023
【図１１Ａ】
0004312246.tif 000024
【図１１Ｂ】
0004312246.tif 000025
【図１９】
0004312246.tif 000026