(57)【要約】【課題】  画像の著作権保護による画像の再生／停止を好適に処理する画像処理装置を提供することである。【解決手段】  少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力し、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断し、前記符号化された画像データの符号化モードを判定し、前記判断結果と前記判定結果とに応じて前記符号化された画像データを復号化する。【選択図】  図４
2005051818.tif 000002
【特許請求の範囲】
【請求項１】
少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、
前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、
前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、
前記判断手段の出力と前記符号化モード判定手段の出力に応じて、前記復号化手段の復号化処理を制御する制御手段とを有し、
前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データまで復号化処理を停止するように制御することを特徴とする画像処理装置。
【請求項２】
少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、
前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、
前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、
前記判断手段の出力と前記符号化モード判定手段の出力に応じて、前記復号化手段の復号化処理を制御する制御手段とを有し、
前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データから復号化処理を再開するように制御することを特徴とする画像処理装置。
【請求項３】
前記インター符号化モードは、少なくとも、前方向予測符号化モード、もしくは、双方向予測符号化モードの何れか一方を含むことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像データは動画像データであることを特徴とする請求項１乃至３記載の画像処理装置。
【請求項５】
前記セキュリティデータは、少なくとも著作権を認証するための符号を含むことを特徴とする請求項１乃至４記載の画像処理装置。
【請求項６】
前記符号化された画像データには、前記符号化モードを識別するための符号を含み、前記符号化モード判定手段は前記符号により符号化モードを判定することを特徴とする請求項１乃至５記載の画像処理装置。
【請求項７】
少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、
前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、
前記判断結果と前記判定結果とに応じて、前記符号化された画像データを復号化する復号化工程とを有し、
前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止することを特徴とする画像処理方法。
【請求項８】
少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、
前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、
前記判断結果と前記判定結果とに応じて、前記符号化された画像データを復号化する復号化工程とを有し、
前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データから復号化処理を再開することを特徴とする画像処理方法。
【請求項９】
請求項７又は８に記載の画像処理方法を実行するコンピュータプログラムを記録したコンピュータ読出可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体に関し、特に画像の著作権保護を行うための画像処理に関するものである。
【背景技術】
【０００２】
近年、動画像符号化技術の標準化が急速に進んでいる。ＭＰＥＧ−１，２やＨ．２６１，Ｈ．２６３（これらの符号化方式はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている）といった符号化の標準が制定されおり、さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ−４の国際標準化作業が進められている。上記符号化技術によって画像のディジタル化が進み、動画像データの蓄積、通信を急速に発展させた。
【０００３】
例えばＭＰＥＧ−４においては、例えばある瞬間の動画シーンを、その構成要素である「人」「自動車」「背景」「音楽」「ビデオ」などのオブジェクト毎の集合体と考え、各オブジェクト毎に適応的な符号化処理を行って動画像データを高能率に符号化する。
【０００４】
ＭＰＥＧ−４のようなマルチオブジェクト符号化技術においては、圧縮符号化された各オブジェクトの組み合わせ方で１つのシーンが表現される。従って、あるＭＰＥＧ−４データに他のＭＰＥＧ−４データからのオブジェクトデータを再利用して別のシーンを容易に表現することが可能である。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心して優良なコンテンツを提供することができない、という問題が生じている。
【０００６】
ＭＰＥＧ−４ではこの問題は深刻である。何故ならば上述したようにＭＰＥＧ−４ではオブジェクト別に符号化され、操作／加工することが可能であるからである。従って、ＭＰＥＧ−４のようなマルチオブジェクト符号化では、オブジェクト単位の知的所有権保護は円滑な各オブジェクト再利用の観点から当然の要求となり、また、その対象が人等であった場合、肖像権の保護も必要となってきている。
【０００７】
そこで、動画像の一部の著作権を保護するために、動画像の一部を再生させないために動画像の復号を一時的に停止させる方法が考えられる。動画像での肖像権や著作権を考えた時、それらが関係する部分の復号を停止させ、関係する部分が終了した後、復号を再開する方式である。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、以下のような問題が発生する。
【０００９】
動画像の符号化方式ではフレーム間相関を利用した符号化が一般的に用いられる。前述のＨ．２６１，Ｈ．２６３やＭＰＥＧ−１，２さらにはＭＰＥＧ−４といった符号化方式が有名である。これらの符号化方式では基本的に時間的に前のフレーム或いは前後のフレームを参照し、動き補償を行って符号化を行っている。
【００１０】
図１４にＨ．２６１，Ｈ．２６３等の再生の様子を示す。Ｉ＊はフレーム内符号化（イントラ（ｉｎｔｒａ）符号化）を行うフレームを、Ｐ＊はフレーム間符号化（インター（ｉｎｔｅｒ）符号化）するフレームを表している。図１４中で時刻は時間の流れる方向、Ｓｅｃｕｒｉｔｙは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。
【００１１】
今、Ｐ４からＰ９の期間に対して著作権の保護（Ｓｅｃｕｒｉｔｙ）する目的で復号が停止されたとする。動画像の復号がＰ３で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、Ｐ４からＰ９の符号化データは廃棄される。そのため、Ｐ１０からの復号を開始すると本来Ｐ１０が参照すべきＰ９は廃棄されているので、Ｐ１０以降の復号処理が正常に行われず、フレーム内符号化が行われているＩ１が復号されるまでのＰ１０からＰ１３のフレームの画像が乱れたり、或いは復号動作が中断してしまう。
【００１２】
また、ＭＰＥＧ−１，２，４符号化方式では時間的に前後から予測を行う両方向動き補償も用いられる。
【００１３】
図１５にその様子を示す。Ｂ＊は両方向（双方向）フレーム間符号化するフレームを表している。図１５中で時刻は時間の流れる方向、Ｓｅｃｕｒｉｔｙは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。Ｂフレームによって画面の符号化処理順序と原画面の順序とは異なっている。
【００１４】
今、Ｂ１０からＰ３の符号化データに対して著作権の保護によって復号が停止されたとする。図１４と同様に正しく動き補償が行われないため、Ｂ３０やＢ３１、Ｂ４０やＢ４１のフレームの画像が復号処理が正常に行われず、画像が乱れたり、復号動作が中断してしまう。
【００１５】
従って、本発明は前記課題を考慮して画像の著作権保護による画像の再生／停止を好適に処理する画像処理装置及び方法並びに画像処理プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００１６】
本発明の画像処理装置は、少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、前記判断手段の出力と前記符号化モード判定手段の出力に応じて、前記復号化手段の復号化処理を制御する制御手段とを有し、前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データまで復号化処理を停止するように制御することを特徴とする。
【００１７】
また、本発明の画像処理装置は、少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、前記判断手段の出力と前記符号化モード判定手段の出力に応じて、前記復号化手段の復号化処理を制御する制御手段とを有し、前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データから復号化処理を再開するように制御することを特徴とする。
【００１８】
また、本発明の画像処理方法は、少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、前記判断結果と前記判定結果とに応じて、前記符号化された画像データを復号化する復号化工程とを有し、前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止することを特徴とする。
【００１９】
また、本発明の画像処理方法は、少なくともイントラ符号化モードとインター符号化モードを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、前記判断結果と前記判定結果とに応じて、前記符号化された画像データを復号化する復号化工程とを有し、前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データから復号化処理を再開することを特徴とする。
【発明の効果】
【００２０】
以上の説明から明らかなように、本発明では、動画像の著作権保護による動画像の停止・再生を好適に処理することができる。これにより、復号時のデコーダの動作においてエラー発生を防ぎ安全かつ確実に動作させるとともに、不適切な動き補償に基づく画像の乱れ等を防ぐことができる。
【発明を実施するための最良の形態】
【００２１】
＜第１実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２２】
図１は、本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【００２３】
図１において、１００１は動画像データを蓄積している記憶装置である。動画像データは各動画像の符号化データと著作権を保護する為の情報を符号化したセキュリティ符号化データとで構成されている。尚、本実施例ではセキュリティ符号化データは、動画像データが送信される前に伝送されるものとする。しかし、この方式に限定されるものではなく、セキュリティ符号化データは、動画像データに時分割多重されて伝送されてもよい。
【００２４】
本実施例では、動画像符号化データがＭＰＥＧ−１符号化方式で符号化されている場合について説明する。尚、ＭＰＥＧ−１符号化方式についてはＩＳＯ／ＩＥＣ１１１７２−２に詳細が記載されているので説明を省略する。更に説明を容易にするためにフレーム単位での符号化がなされているものとし、フレーム内符号化を行うＩフレームとフレーム間相関を用いるＰフレームとから成っているものとする。尚、この動画像データはフレーム内符号化のフレームとフレーム間相関を用いた符号化方式であればどんなものでもよい。もちろんフィールド単位の符号化を用いても構わない。
【００２５】
図２は、セキュリティ符号化データの構成を示す。
【００２６】
図２において、２００１はセキュリティ符号化データの符号長を表すＣｏｄｅＬｅｎｇｔｈ符号、２００２は著作権の認証に必要な情報を表すＩＰｃｏｄｅ符号、２００３は著作権等の保護を開始する時間を示すＳｅｃｕｒｉｔｙＳｔａｒｔＴｉｍｅ符号、２００４は著作権等の保護を解除する時間を示すＳｅｃｕｒｉｔｙＥｎｄＴｉｍｅ符号である。尚、２００２〜２００４の符号はセキュリティをかけたい動画像部分が分割されて複数あればその組み合わせが複数連続する。
【００２７】
図１の説明に戻り、１００２は通信回路であり、ＬＡＮや公衆回線、無線回線、放送電波等で構成されている。１００３は通信インターフェースであり、通信回路１００２から動画像データを受信する。
【００２８】
１００４は上述したセキュリティ符号化データを復号し、認証データと比較して動画像の再生の停止と再生の再開を指示するセキュリティ復号部、１００５は動画像符号化データを復号し、動画像を再生するビデオ復号部、１００６は再生された動画像を表示するモニタである。
【００２９】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【００３０】
不図示の操作者は、まず、記憶装置１００１から再生する動画像データを選択する。選択された動画像データの動画像符号化データとセキュリティ符号化データを読み出し、動画像符号化データをビデオ復号部１００５に、セキュリティ符号化データをセキュリティ復号部１００４に入力する。
【００３１】
図３は、セキュリティ復号部１００４の詳細なブロック図である。
【００３２】
図３において、１５１はセキュリティ符号化データを入力する入力端子、１５２はセキュリティ符号化データを復号し、認証情報、著作権保護を行う時間に関する情報を獲得するセキュリティ復号器、１５３は認証情報を解析し、復号を行うか禁止するかを決定するセキュリティ認証器、１５４は動画像の再生を正しく行うために時刻を発生させるのタイマ、１５５はセキュリティ認証器１５３の決定に従ってビデオ復号部１００５の制御を行う信号を発生させる制御信号発生器、１５６は制御信号発生器１５５で発生した制御信号をビデオ復号部１００５に出力する出力端子である。
【００３３】
上記のように構成されたセキュリティ復号部１００４の復号動作を以下で説明する。
【００３４】
入力端子１５１から入力されたセキュリティ符号化データは、セキュリティ復号器１５２で復号され、図２に示す符号から、ＣｏｄｅＬｅｎｇｔｈ符号を復号し、符号化データの全体量を把握し、著作権保護を行う各部分について、著作権の認証に必要な情報を表すＩＰｃｏｄｅ符号、著作権保護を開始する時間を示すＳｅｃｕｒｉｔｙＳｔａｒｔＴｉｍｅ符号、著作権保護を解除する時間を示すＳｅｃｕｒｉｔｙＥｎｄＴｉｍｅ符号を復号しそれぞれの情報を獲得する。
【００３５】
認証に必要な情報はセキュリティ認証器１５３に入力される。また、制御信号発生器１５５はセキュリティ認証器１５３からの指示が無い場合、ビデオ復号部１００５が動画像データの復号処理を行うように出力端子１５６からビデオ復号部１００５へ制御信号を発生させる。
【００３６】
セキュリティ認証器１５３は予め獲得されているか操作者が入力した認証情報と比較を行い、復号を許可するか否かを判定する。復号処理を許可する場合には制御信号発生器１５５には復号許可を知らせる。この時、すでにビデオ復号部１００５が動画像データの復号を行うように制御信号を発生させている場合は、その制御信号をそのまま維持する。
【００３７】
一方、復号処理を禁止する場合、セキュリティ認証器１５３は復号処理を禁止する信号を制御信号発生器１５５へ出力し、制御信号発生器１５５はセキュリティ復号器１５２から入力された該当する著作権保護を行う時間に関する情報（ＳｅｃｕｒｉｔｙＳｔａｒｔＴｉｍｅ符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を開始する時間と前記時刻が等しくなった時、動画像の復号を停止させる信号を端子１５６から出力する。
【００３８】
また、該当する著作権保護を行う時間に関する情報（ＳｅｃｕｒｉｔｙＥｎｄＴｉｍｅ符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を終了する時間と前記時刻が等しくなった時、動画像の復号を再開させる信号を出力端子１５６から出力する。
【００３９】
ビデオ復号部１００５は、記憶装置１００１から動画像符号化データを、セキュリティ復号部１００４から制御信号を入力する。
【００４０】
図４は、ビデオ復号部１００５の詳細なブロック図である。
【００４１】
図４において、１０１は記憶装置１００１から動画像符号化データを入力する画像データ入力端子、１０２はセキュリティ復号部１００４から制御信号を入力する制御信号入力端子である。
【００４２】
１０３は入力された動画像符号化データを格納するバッファ、１０４はバッファ１０３からＭＰＥＧ−１符号化データを読み出し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、ＤＣＴ変換係数を符号化したデータをそれぞれ分離する分離器である。
【００４３】
１０５は分離されたヘッダ情報を復号するヘッダ復号器であり、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００４４】
１０６は動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得する動き補償復号器、１０７はテクスチャ復号器であり、符号を復号し、量子化係数、ＤＣＴ変換係数の量子化結果等を獲得する。
【００４５】
１０８は逆量子化・ＩＤＣＴ器であり、量子化係数、ＤＣＴ変換係数の量子化結果等を入力し、逆量子化、逆ＤＣＴ変換を行い、画素データまたは動き補償による誤差データを獲得する。
【００４６】
１０９は動き補償結果と前記誤差データを加算する加算器、１１０は動き補償に必要な参照フレームを格納する参照フレームメモリ、１１１は参照フレームメモリ１１０の内容を動きベクトル復号器１０６の結果にしたがって動き補償を行う動き補償器である。
【００４７】
１１３は復号されたフレームの画像を表示するために一時格納する表示フレームメモリ、１１２はヘッダ復号器１０５からフレームの符号化モードを入力し、ＩフレームかＰフレームかを判定するフレームモード判定器である。尚、フレームモード判定器１１２は参照フレームメモリ１１０、表示フレームメモリ１１３等を制御する。１１４はモニタ１００６に動画像データを出力する出力端子である。
【００４８】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００４９】
バッファ１０３は制御信号入力端子１０２からの制御信号が復号可能を指示している場合、動画像符号化データを画像データ入力端子１０１から入力し、その情報を蓄積する。バッファ１０３は制御信号入力端子１０２からの制御信号が復号禁止を指示している場合、動画像符号化データの蓄積は行わず、データを読み捨てる。
【００５０】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００５１】
分離器１０４はバッファ１０３から符号化データを入力し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、ＤＣＴ変換係数を符号化したデータをそれぞれ分離する。ヘッダ復号器１０５は、分離器１０４によって分離されたヘッダ情報から各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００５２】
動き補償復号器１０６は、分離器１０４によって分離された動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Ｐフレームであればこれらの情報を動き補償器１１１に出力し、動き補償を行う。
【００５３】
テクスチャ復号器１０７は、分離器１０４によって分離された符号化データを復号して量子化係数、ＤＣＴ変換係数の量子化結果等を獲得する。その復号された量子化データは逆量子化・ＩＤＣＴ器１０８に入力され、画素データまたは動き補償による誤差データを求める。
【００５４】
前記誤差データは、加算器１０９において動き補償器１１１からの出力データと加算される。動き補償器１１１は、動き補償復号器１０６からフレーム内符号を行うマクロブロックであれば値０を、そうでなければ得られた動きベクトルにしたがって、参照フレームメモリ１１０から動き補償を行い、参照データを加算器１０９へ出力する。
【００５５】
加算器１０９で求められた画素値は参照フレームメモリ１１０及び表示フレームメモリ１１３に格納される。表示フレームメモリ１１３に格納された画像データは出力端子１１４を介してモニタ１００６へ出力され表示される。
【００５６】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００５７】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止する。この結果、出力端子１１４からは最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００５８】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００５９】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００６０】
フレームモード判定器１１２はフレームの符号化モードがＰフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止した状態を維持する。
【００６１】
また、フレームモード判定器１１２はフレームの符号化モードがＩフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を再開する。以後、制御信号が復号禁止になるまで、各部の動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００６２】
上述したような一連の選択動作により復号が再開された場合に、フレーム内符号化を行ったフレームから処理を行うことでフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００６３】
例えば、図５に示したようにＰ４〜Ｐ９までの符号化フレーム期間が著作権の保護（Ｓｅｃｕｒｉｔｙ）により復号が禁止された場合でも、Ｓｅｃｕｒｉｔｙがかかった時点から、そのＳｅｃｕｒｉｔｙがかかる直前のフレームのＰ３のフレームの表示が続き、次のＩ１のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。
【００６４】
また、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００６５】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、通信回路１００２から通信インターフェース１００３を介して入力された動画像データに対しても同様の動作を行うことで、通信のデータに対しても同様の効果がある。
【００６６】
また、図６に示すような出力端子１９９を設け、ヘッダ復号器１０５の情報、例えばフレームの復号時刻に関する情報（例えば、ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅのｔｉｍｅ＿ｃｏｄｅ符号の復号結果、ｐｉｃｔｕｒｅのｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ符号の復号結果）を外部に出力することによって復号再開時の音声等との同期の再構築等を容易にすることも可能である。
【００６７】
＜第２実施例＞
図７は、本発明の第２の実施例としてのビデオ復号部１００５の構成を示すブロック図である。尚、第１の実施例と同様の構成要素については同一番号を付し、その詳細な説明は省略する。
【００６８】
図７において、２０１はＰフレームの動き補償に加えて、Ｂフレームの動き補償である両方向の動き補償を行うことが可能な動き補償器、２０２，２０３は動き補償に必要な参照フレームを格納する参照フレームメモリであり、参照フレームメモリ１１０と同様に機能する。
【００６９】
２０４は表示フレームメモリであり、表示フレームメモリ１１３と同様に動作するが、その入力先が加算器１０９に加え、参照フレームメモリ２０２，２０３も選択される。
【００７０】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００７１】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００７２】
分離器１０４はバッファ１０３から符号化データを入力し、各情報に分離する。ヘッダ復号器１０５、動き補償復号器１０６、テクスチャ復号器１０７に符号を分配する。
【００７３】
動き補償器１０６は各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Ｐ、Ｂフレームであればこれらの情報を動き補償器２０１に入力し、動き補償を行う。Ｐフレームであれば動き補償器２０１は参照フレーム２０２、２０３のうちから最後に更新されたフレームの内容を参照して動き補償を行う。Ｂフレームであれば参照フレーム２０２、２０３を参照し、最後に更新されたフレームの内容を前方予測の参照フレーム、そうでない方を後方予測の参照フレームとして動き補償を行う。
【００７４】
テクスチャ復号器１０７と、逆量子化・ＩＤＣＴ器１０８とによって、画素データまたは動き補償による誤差データを求め、加算器１０９で誤差データと動き補償器２０１の結果を加算する。
【００７５】
加算器１０９で求められた画素値（復号画像）がＩフレームまたはＰフレームであれば、参照フレームメモリ２０２または２０３のうち、時間的に過去に復号されたフレームの内容を格納している参照フレームメモリに格納する。続いてＢフレームが続く場合、ＩフレームまたはＰフレームの復号画像は表示フレームメモリ２０４への格納は行われず、Ｂフレームの復号、表示メモリへの出力が終わった後に前記ＩフレームまたはＰフレームの復号画像を格納した参照フレームメモリ２０２または２０３から表示フレームメモリ１１３への転送が行われる。
【００７６】
また、加算器１０９で求められた画素値（復号画像）がＢフレームであれば、参照フレームメモリ２０２、２０３への書き込みは行われず、表示フレームメモリ２０４への書き込みだけが行われる。
【００７７】
表示フレームメモリ２０４に格納された画像データは出力端子１１４を介してモニタ１００６に出力され表示される。
【００７８】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００７９】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ２０２、参照フレームメモリ２０３、表示フレームメモリ２０４の更新を禁止する。
【００８０】
フレームモード判定器１１２の結果、Ｉフレームの復号後であればそのまま更新を禁止する。Ｐフレームの復号後であれば復号して書き込みが行われた参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。Ｂフレームの復号後であった場合、最後に更新された参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。
【００８１】
この結果、出力端子１１４からは時間的に最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００８２】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００８３】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００８４】
フレームモード判定器１１２はフレームの符号化モードがＰ，Ｂフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ２０２，２０３、表示フレームメモリ２０４の更新を禁止した状態を維持する。
【００８５】
フレームモード判定器１１２はフレームの符号化モードがＩフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ２０２，２０３及び表示フレームメモリ２０４の更新を再開する。そのＩフレームに続くＢフレームの符号化データは復号せず、次に続くＩフレームまたはＰフレーム以降は、制御信号が許可であるので通常の復号、更新を制御信号が復号禁止になるまで、各部の復号動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００８６】
このような一連の選択動作により復号が再開された場合にフレーム内符号化を行ったフレームから処理を行うことでＢフレームを含む動画像においても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００８７】
例えば、図８に示すようにＢ１０〜Ｐ３までの符号化フレーム期間が著作権の保護（Ｓｅｃｕｒｉｔｙ）により復号が禁止された場合でも、その禁止期間によって正常に復号されない前記禁止期間よりも前の画面から前記禁止期間以降の初めに現れるＩ１フレームまで、前記Ｓｅｃｕｒｉｔｙがかかる直前に正常に復号されたＰ１のフレームの表示が続き、Ｉ１のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。乱れの無い画像を操作者に提示できる。
【００８８】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００８９】
＜第３実施例＞
図９は、本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【００９０】
図９において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な必要な記憶領域を提供するメモリである。
【００９１】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバス、３０３は動画像データを蓄積する記憶装置、３０４は通信回路であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。
【００９２】
３０５は通信回路３０４から動画像データを受信する通信インターフェース、３０６は表示する動画像のフレームデータを格納する表示フレームメモリ、３０７は再生された動画像を表示するモニタである。
【００９３】
ここでメモリ３０１のメモリの使用、格納状況を図１０に示す。
【００９４】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、音声や動画像の同期制御のための情報を符号化した符号化データを復号するＳｙｓｔｅｍｓデコーダソフト、著作権等の保護を行うための符号化データを復号するセキュリティデコーダソフト、動画像の復号を行う動画像デコーダソフト、音声等の復号を行うオーディオデコーダソフトが格納されている。また、復号した画像を表示や動き補償時に参照するために格納する画像エリア、各種演算のパラメータ等を格納しておくワーキングエリア存在する。
【００９５】
このような構成において、処理に先立ち、Ｓｙｓｔｅｍｓデコーダを動作させ、動画像と音声の同期等を別途監視させる。記憶装置３０３または通信インターフェース３０５からセキュリティ符号化データ、動画像符号化データ、音声符号化データで構成される動画像データを入力し、メモリ３０１のワークエリアに格納する。尚、動画像符号化データはＭＰＥＧ−１で符号化されたものとして説明を続けるが、動き補償を行う符号化方式であれば構わない。
【００９６】
第３の実施例で使用されるセキュリティ符号化データの構成を図１１に示す。
【００９７】
第３の実施例で使用されるセキュリティ符号化データは、第１の実施例で示した図２の各符号に加え、音声に対する著作権保護か、動画像に対する著作権かを識別する為のＡ／Ｖフラグ２００５が追加されている。
【００９８】
次に、ＣＰＵ３００による復号動作を図１２に示すフローチャートに従って説明する。
【００９９】
まず、Ｓｔｒｅａｍが入力されているか否かをステップＳ０１で判断し、Ｓｔｒｅａｍが入力されている場合はステップＳ０２へ進み、Ｓｔｒｅａｍが入力されていない時はフローを終了する。
【０１００】
ステップＳ０２では、セキュリティデコーダソフトを動作させ、当該動画像データにおいて復号を許可するか否かを判定する。セキュリティデコーダの復号の結果が復号許可であればステップＳ０３へ進み、セキュリティデコーダの復号の結果が禁止となった場合はステップＳ０５へ進む。
【０１０１】
ステップＳ０３では、動画像デコーダソフトを動作させて動画像をＭＰＥＧ−１の復号方式に従って復号し、復号画像をメモリ３０１の画像エリアに格納し、ステップＳ０４へ進み、前記画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップＳ０１に戻る。
【０１０２】
ステップＳ０５では動画像デコーダソフトを停止させる。しかしながら、セキュリティが音声と動画像で個別に設定できることから、同期を確保するため、復号停止中の符号化データの読み出しは同期を取って行われるが、メモリ３０１のワーキングエリアには格納されず、読み捨てられる。
【０１０３】
次に、ステップＳ０６ではセキュリティデコーダから復号再開が指示されたか否かを判断し、再開が指示されていない場合はステップＳ０５に戻り、再開が指示された時はステップＳ０７に進む。
【０１０４】
ステップＳ０７では、セキュリティデコーダから復号再開が指示されたら（ステップＳ０６）、動画像デコーダソフトを停止した状態から動作させるが、最初は各フレームのフレームモードを表すＰＴＹＰＥ符号までをデコードする。
【０１０５】
次に、ステップＳ０８ではＰＴＹＰＥがＩフレームか否かを判断する。Ｉフレーム以外であればステップＳ０７に戻り、次のＰＴＹＰＥ符号をデコードする。ＩフレームであればステップＳ０９に進む。
【０１０６】
ステップＳ０９は、ＰＴＹＰＥ以降の復号を再開し、動画像をＭＰＥＧ−１の復号方式に従って復号し、復号画像はメモリ３０１の画像エリアに格納し、ステップＳ１０に進む。
【０１０７】
ステップＳ１０では、画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップＳ０１に戻る。
【０１０８】
このような一連の選択動作により装置の一部、または全てをソフトウェアで実現することが可能になる。また、音声と動画像と個別に著作権等の保護のためのセキュリティが行えることを示した。
【０１０９】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばデジタルテレビ、デジタルＶＴＲ）からなる装置に適用してもよい。
【０１１０】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１１１】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１１２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【０１１３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１１４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１１５】
また、ＭＰＥＧ−４のマルチオブジェクトについては図１３に示すようにオブジェクトを識別するためのＯｂｊｅｃｔｃｏｄｅ符号２００６を追加し、オブジェクト毎にセキュリティを復号し、ビデオ復号部を複数持ち、各ビデオ復号部で各オブジェクトのＩ−ＶＯＰから復号、表示を行うことによって同様に復号の安全性の確保と画質の劣化を防ぐことができる。
【０１１６】
また、復号の開始をフレーム単位としたが、これに限定されず、フィールド単位や複数のマクロブロックを単位としてももちろん構わない。
【０１１７】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。
【０１１８】
また、上記実施例ではＳｅｃｕｒｉｔｙをかける期間が予め決っていたが、それに限るものではない。例えば、ユーザーがＳｅｃｕｒｉｔｙを解除するパスワードを入力し、そのパスワードの認証をおこなった後、Ｓｅｃｕｒｉｔｙを解除するようにし、Ｓｅｃｕｒｉｔｙを解除するタイミングをユーザーによって決められるようにしてもよい。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例におけるセキュリティ符号化データを説明するための図である。
【図３】本発明の第１の実施例におけるセキュリティ復号部１００４の構成を示す図である。
【図４】本発明の第１の実施例におけるビデオ復号部１００５の構成を示す図である。
【図５】本発明の第１の実施例における復号の様子を説明するための図である。
【図６】本発明の第１の実施例におけるビデオ復号部１００５の別な構成を示す図である。
【図７】本発明の第２の実施例におけるビデオ復号部１００５の構成を示す図である。
【図８】本発明の第２の実施例における復号の様子を説明するための図である。
【図９】本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【図１０】本発明の第３の実施例としてのメモリ３０１の内容を示す図である。
【図１１】本発明の第３の実施例におけるセキュリティ符号化データを説明する。
【図１２】本発明の第３の実施例としての画像処理動作を示すフローチャートである。
【図１３】本発明の実施例におけるＭＰＥＧ−４マルチオブジェクトに対応したセキュリティ符号化データを説明するための図である。
【図１４】従来の復号の様子を説明するための図である。
【図１５】従来の復号の様子を説明するための図である。
【図１】
2005051818.tif 000003
【図２】
2005051818.tif 000004
【図３】
2005051818.tif 000005
【図４】
2005051818.tif 000006
【図５】
2005051818.tif 000007
【図６】
2005051818.tif 000008
【図７】
2005051818.tif 000009
【図８】
2005051818.tif 000010
【図９】
2005051818.tif 000011
【図１０】
2005051818.tif 000012
【図１１】
2005051818.tif 000013
【図１２】
2005051818.tif 000014
【図１３】
2005051818.tif 000015
【図１４】
2005051818.tif 000016
【図１５】
2005051818.tif 000017