(57)【要約】【課題】特定のファイルフォーマットに依存せず、画像の再生、特にフレームのスキップや、早送りといった特殊再生を好適に行なう画像処理装置、画像処理方法及びプログラムを提供することを目的とする。【解決手段】カメラ２で画像データを入力し、前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を符号長メモリ４及び５で生成し、透かし生成器６で前記符号長情報から透かし信号を生成し、透かし挿入器７で前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成し、前記透かし信号が埋め込まれた画像データを記憶装置８に出力する。【選択図】        図１
2004228679.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成手段と、
前記符号長情報から透かし信号を生成する透かし信号生成手段と、
前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み手段と、
前記透かし信号が埋め込まれた画像データを出力する画像データ出力手段を有することを特徴とする画像処理装置。
【請求項２】
透かし信号が埋め込まれた画像データとを入力する入力手段と、
前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出手段と、
前記透かし信号から符号長情報を再生する符号長情報再生手段と、
前記符号長情報に従って特殊再生を行う手段と、
前記フレームデータを出力する画像フレームデータ出力手段を有することを特徴とする画像処理装置。
【請求項３】
前記特殊再生は、高速再生、高速逆方向再生、逆方向再生のいずれかであることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像データは、可変長符号化で符号化されたデータであることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
画像データを入力する入力工程と、
前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成工程と、
前記フレーム制御信号から透かし信号を生成する透かし信号生成工程と、
前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み工程と、
前記透かし信号が埋め込まれた画像データを出力する画像データ出力工程を有することを特徴とする画像処理方法。
【請求項６】
透かし信号が埋め込まれた画像データとを入力する入力工程と、
前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出工程と、
前記透かし信号から符号長情報を再生する符号長情報再生工程と、
前記符号長情報に従って特殊再生を行う工程と、
前記フレームデータを出力する画像フレームデータ出力工程を有することを特徴とする画像処理方法。
【請求項７】
前記特殊再生は、高速再生、高速逆方向再生、逆方向再生のいずれかであることを特徴とする請求項５又は請求項６に記載の画像処理方法。
【請求項８】
前記画像データは、可変長符号化で符号化されたデータであることを特徴とする請求項５〜７の何れか１項に記載の画像処理方法。
【請求項９】
請求項５〜８の何れか１項に記載の画像処理方法の処理手順をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に動画像の特殊再生処理に関するものである。
【０００２】
【従来の技術】
動画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ  ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  ＥｘｐｅｒｔｓＧｒｏｕｐ）やＤｉｇｉｔａｌ  Ｖｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。これらの符号化方式はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている。
【０００３】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータ上で扱ったりするためにファイルフォーマットが策定されている。例えばＭＰＥＧ−４ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのＯＳやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【０００４】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しないか、または変化が知覚できないレベルでデータを埋め込む技術である。従来、画像に対して電子透かしを埋め込む技術として、周波数変換を行う動画像データの生成過程において、周波数変換後に電子透かしデータを挿入している。（例えば、特許文献１参照）また、オーディオデータに関しては、エンコードしたハフマン符号と符号長の等しいハフマン符号から所定のビット位置のビットデータを変えたハフマンコードに置き換えて電子透かしデータを挿入している。（例えば特許文献２参照）
【特許文献１】
特開平１０−２４３３９８（第４−５頁  図１、図２）
【特許文献２】
特開平１１−３４１４５０（第８頁  図６）
【０００５】
【発明が解決しようとする課題】
これらのファイルフォーマットはフレームの同期やフレームの制御に関して各種各様の方式が採用されている。
【０００６】
たとえば、同じＭｏｔｉｏｎ  ＪＰＥＧのファイルでも同期のためのタイムスタンプの付与の方法はＡＶＩファイルフォーマットやＱｕｉｃｋＴｉｍｅファイルフォーマットでは異なる。また、ＭＰＥＧのような動画像符号化方式では可変長符号であり、フレーム毎のデータ量が一定ではない。また、動き補償を行なっている符号化方式では参照フレームが必要なフレームもあり、任意のフレームから簡単に再生することは出来ない。したがって、ランダムアクセスを行なう場合、ファイルフォーマットのヒントトラックにストリーム中でランダムアクセスが可能なフレームの位置情報やそれぞれの符号化モードを格納しておき、ランダムアクセス時にはこの情報を用いて情報の読み出し位置を制御して実現する方法が一般的である。しかしながら、このような方式ではファイルフォーマットを変換した際に、対応する領域が無ければ消失し、別なファイルフォーマットではランダムアクセスを行なうのに非常な困難が伴うことが生じる。また、ビットストリームにこれらの情報を追加することは他のデータとの互換性を損なう危険性をはらんでいる。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ−２であればｕｓｅｒ＿ｄａｔａに追加情報を記載できるが、ＭＰＥＧ−４ではそれに類する領域は存在しない。
【０００７】
従って、本発明は前記課題を考慮して、特定のファイルフォーマットに依存せず、画像の再生、特にフレームのスキップや、早送りといった特殊再生を好適に行なう画像処理装置、画像処理方法及びプログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成手段と、前記符号長情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み手段と、前記透かし信号が埋め込まれた画像データを出力する画像データ出力手段を有することを特徴とする。
【０００９】
また、本発明の画像処理装置は、透かし信号が埋め込まれた画像データとを入力する入力手段と、前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出手段と、前記透かし信号から符号長情報を再生する符号長情報再生手段と、前記符号長情報に従って特殊再生を行う手段と、前記フレームデータを出力する画像フレームデータ出力手段を有することを特徴とする。
【００１０】
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの１フレームまたは複数のフレーム単位に、特殊再生するための符号長に関する情報を生成する符号長情報生成工程と、前記フレーム制御信号から透かし信号を生成する透かし信号生成工程と、前記透かし信号を前記画像データに埋め込み、透かし信号が埋め込まれた画像データを生成する透かし埋め込み工程と、前記透かし信号が埋め込まれた画像データを出力する画像データ出力工程を有することを特徴とする。
【００１１】
また、本発明の画像処理方法は、透かし信号が埋め込まれた画像データとを入力する入力工程と、前記透かし信号が埋め込まれた画像データから透かし信号を抽出する透かし抽出工程と、前記透かし信号から符号長情報を再生する符号長情報再生工程と、前記符号長情報に従って特殊再生を行う工程と、前記フレームデータを出力する画像フレームデータ出力工程を有することを特徴とする。
【００１２】
【発明の実施の形態】
〈第１の実施例〉
図１は、第１の実施例における画像処理システムの構成を示すブロック図である。
【００１３】
図１において、１は、本発明に基づく画像処理装置である。２は、画像をフレーム単位で連続して入力するカメラである。３は、画像をフレーム単位で符号化する符号化器である。４、５は、フレーム単位で符号化した結果の符号長を格納する符号長メモリである。６は、符号長メモリ４、５の出力から透かしデータを生成する透かし生成器であり、７は、透かしデータを符号化データに埋め込む透かし挿入器である。８は、生成された符号化データを記録する記憶装置である。
【００１４】
上記のように構成された画像符号化システムにおける動画像データの処理動作を以下で説明する。本実施例では、ＪＰＥＧ符号化方式を用い、動画像の符号化方式としてＭｏｔｉｏｎ  ＪＰＥＧデータを用いた場合について説明するが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４でも構わない。
【００１５】
処理に先立ち、各部を初期化する。符号長メモリ４及び符号長メモリ５は０でクリアされる。カメラ２で撮像された画像データは１フレーム単位で符号化器３に入力される。符号化器３は入力された画像データに対してＪＰＥＧ符号化方式で符号化し、その符号化データを保持する。同時に符号長メモリ４の内容を符号長メモリ５に移し、生成された符号化データの符号長を符号長メモリ４に入力する。
【００１６】
透かし生成器６は符号長メモリ４から自フレームの符号長Ｌと符号長メモリ５から前フレームの符号長Ｂを読み出す。これらを例えば、１８ビットの正の整数として扱い、３６ビットの透かしデータを生成する。この符号長は符号化のビットレートやフレームレート等を参考に決めればよい。生成された透かしデータは透かし挿入器７に入力される。
【００１７】
符号化器３から読み出した符号化データに、透かし挿入器７では生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各ブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。例えば、直前の符号が０ラン長が８で値が３であった時、埋め込む値が０であれば、０ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【００１８】
このようにして透かしデータが埋め込まれた符号化データは記憶装置８の所定の位置に蓄積される。
【００１９】
以下、符号化データの蓄積までの処理を簡単な流れを、図９を用いて説明する。
【００２０】
図９は、本第１の実施例における画像処理システムにおける符号化処理を示すフローチャートである。
【００２１】
まず、ステップＳ１にて、装置の初期化を行ない、ステップＳ２にて、処理の終了判断を行なう。ステップＳ３にて、カメラ２から読み込まれるフレームを符号化し、ステップＳ４にて、その符号長を格納する。ステップＳ５にて、符号長から透かしデータを生成し、ステップＳ６にて、符号化データに透かしデータを埋め込み、ステップＳ７にて、記憶装置８に蓄積する。
【００２２】
このような一連の選択動作により、フレームの読み出しに必要な符号長に関する情報を透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００２３】
〈第２の実施例〉
図２は、本第２の実施例における画像処理システムの構成を示すブロック図である。本実施例においてもＭｏｔｉｏｎ  ＪＰＥＧ符号化方式を例にとって説明するが、これに限定されない。
【００２４】
図２において、１１は、本発明に基づく画像処理装置である。１２は、記憶装置であり、符号化データが記録されている。１３は、不図示のユーザが装置の起動、各種条件の設定、再生の指示を行なうための端末である。１４は、記憶装置１２を制御する制御器である。１５は、符号化データから透かしデータを抽出する透かし抽出器である。１６は、抽出された透かしデータから特殊再生に必要な情報を再生する制御情報再生器である。１７、１８は、フレーム単位で符号化された結果の符号長を格納する符号長メモリである。１９は、画像をフレーム単位で復号する復号器である。２０は、復号されて再生された画像データを表示するモニタである。
【００２５】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００２６】
第２の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。端末１３から再生する画像データが選択され、制御器１４に選択されたデータの先頭を読み出せるように記憶装置１２に制御信号を送る。記憶装置１２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００２７】
読み出された符号化データはフレーム単位で画像処理装置１１に入力され、透かし抽出器１５に入力される。透かし抽出器１５では第１の実施例の図１における透かし挿入器７の逆の手順に従って３６ビットの透かしデータを抽出し、制御情報再生器１６に入力する。透かしデータに抽出が終わった符号化データはそのまま復号器１９に入力され、復号処理されて画像データを再生し、モニタ２０で表示する。
【００２８】
制御情報再生器１６は、３６ビットのデータから復号しているフレームの符号長Ｌと前のフレームの符号長Ｂを再生し、符号長Ｌを符号長メモリ１８に、符号長Ｂを符号長メモリ１７に格納する。
【００２９】
制御器１４は、端末１３から指示が無い場合はそのまま記憶装置１２から符号化データの読み出しを継続する。これにより、連続して符号化データの読み出しが行われ、モニタ２０上で動画像が再生される。
【００３０】
端末１３から逆転再生の指示が入力された場合、制御器１４は符号長メモリ１７と符号長メモリ１８から符号長Ｂと符号長Ｌを読み出し、（Ｂ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１２は制御信号により、読み出し位置を変更し、読み出しを開始する。これを繰り返すことにより、連続して１フレーム前の符号化データの読み出しが行われ、モニタ２０上で動画像が逆転再生される。
【００３１】
以下、符号化データの復号までの処理を簡単な流れを、図１０を用いて説明する。
【００３２】
図１０は、本第２の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【００３３】
まずステップＳ１０１にて、装置の初期化を行ない、ステップＳ１０２にて、処理の終了判断を行なう。ステップＳ１０３にて、記憶装置１２の所定の位置から１フレーム分の符号化データを読み込む。ステップＳ１０４にて、符号化データから透かしデータを抽出し、ステップＳ１０５にて、透かしデータを解析して符号長を再生し、ステップＳ１０６にて、その符号長を格納する。ステップＳ１０７にて、符号化データを復号し、再生された画像を表示する。
【００３４】
ステップＳ１０８にて、端末１３から再生の方法の指示、すなわち、そのまま通常どおりに再生するか、逆転再生するかの指示の有無を判断し、通常再生であれば、ステップＳ１０２に戻る。逆転再生であれば、ステップＳ１０９にて、フレームの符号長から新しい読み出し位置への変位を算出し、ステップＳ１１０にて、記憶装置１２の読み出し位置を変更して、ステップＳ１０２に戻る。
【００３５】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生等の処理を行なうことが可能になる。
【００３６】
〈第３の実施例〉
図３は、本第３の実施例における画像処理システムの構成を示すブロック図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００３７】
図３において、１０１は、本発明に基づく画像処理装置である。１０２は、符号化データを記録してある記憶装置である。本実施例においては画像データは符号化されているものとし、ＭＰＥＧ−４符号化方式を例にとって説明するが、これに限定されず、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ  ＪＰＥＧでも構わない。また符号化データはＩＳＯ１４４９６−１に記載されているファイルフォーマット（以後ＭＰ４フォーマットと略す）によって記述されているものとするが、これに限定されない。１０３は、ＭＰ４フォーマットを解釈し、特殊再生に必要な情報がヒントトラックに記述されている場合、ヒントトラックの情報およびフレーム単位の符号化データを分離して後段に出力する分離器である。１０４は、抽出されたヒントトラックの情報を格納するヒントメモリである。１０５は、ヒントメモリを参照してフレーム毎に特殊再生のためにフレームスキップする情報を生成する制御情報生成器である。１０６は、制御情報生成器１０５の出力から透かしデータを生成する透かし生成器である。
【００３８】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００３９】
第３の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。記憶装置１０２から対象となる符号化データを含むファイルデータが読み出され、分離器１０３に入力される。分離器１０３はＭＰ４フォーマットを解釈し、ヒントトラックを抽出し、内容をヒントメモリ１０４に格納する。ヒントトラックの内容は自由であるが、一般にランダムアクセスを容易にするための情報が格納されている。例えば、各ＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）の符号長や符号化モードであったり、ＧＯＶ（Ｇｒｏｕｐ  ｏｆ  ＶＯＰ）の先頭のＶＯＰの位置情報などである。例としてこれらの制御情報をテーブルにした一例を表１に示す。
【００４０】
【表１】
2004228679.tif 000003
【００４１】
表１においてＧＯＶの欄の１はＧＯＶの先頭であることを示し、０はそれ以外を表す。符号化モードの欄の０はＩ−ＶＯＰ（フレーム内符号化）、１はＰ−ＶＯＰ（フレーム間順方向予測符号化）、２はＢ−ＶＯＰ（フレーム間双方向予測符号化）を表す。符号長の単位はバイトである。また、各ＶＯＰの符号化データを分離し、フレーム毎に符号バッファに格納する。
【００４２】
制御情報算出器１０５はヒントメモリ１０４の内容から各ＶＯＰにおいて、特殊再生する場合の制御情報を読み出す。自ＶＯＰの符号長Ｌ、および前のＩ−ＶＯＰの相対位置Ｐ、後のＩ−ＶＯＰの相対位置Ｍを算出する。例えば表１において、該当するＶＯＰがＶＯＰ番号５であれば、符号長Ｌは７０３３、相対位置Ｐは１１３９３（＝６４３２＋９３４＋３０２３＋１００４）、相対位置Ｍは５３６９（＝１３２０＋３０８３＋９６６）となる。
【００４３】
このように算出された符号長Ｌ、相対位置Ｐ、相対位置Ｍは透かし生成器１０６に入力される。各値の最大を表現できるビット数の長さにしたがって、符号長Ｌ、相対位置Ｐ、相対位置Ｍを配置する。例えばすべて１５ビットで収まるとした場合、４５ビットの透かしデータを生成する。生成された透かしデータは透かし挿入器７に入力される。
【００４４】
符号バッファ１０７から読み出した符号化データに、第１の実施例と同様に透かし挿入器７では生成された透かしデータを埋め込み記憶装置８の所定の位置に格納する。
【００４５】
このような一連の選択動作により、ファイル等に記録されているフレームの読み出しに必要な符号長に関する情報を抽出し、透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００４６】
さらにはＭＰＥＧ−４のＶＯＰ符号化データのように任意データを設定できる領域が無くとも各ＶＯＰ単位の制御を行なうためのデータを挿入することが可能になる。
【００４７】
また、本実施例ではＭＰＥＧ−４符号化方式において、スキップの幅をＩ−ＶＯＰの間隔としたが、これに限定されず、例えばＰ−ＶＯＰを対象にしてももちろんかまわない。例えば該当するＶＯＰがＩ−ＶＯＰであった場合、次のＰ−ＶＯＰへの相対位置を埋め込むことにより、細かな高速再生を可能にする情報を提供できる。また、ＧＯＶの先頭の位置までのスキップ量を算定すれば、編集等に有効なことは明らかである。
【００４８】
〈第４実施例〉
図４は、本第４の実施例における画像処理システムの構成を示すブロック図である。本実施例においてもＭＰＥＧ―４符号化方式を例にとって説明するが、これに限定されない。なお、前述の実施例の図２と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００４９】
図４において、１５１は、本発明に基づく画像処理装置である。１５２は、記憶装置であり、符号化データが記録されている。１５３は、記憶装置１５２を制御する制御器である。１５４は、抽出された透かしデータからＶＯＰのスキップに必要な情報を再生する制御情報再生器である。１５５は、前後にスキップするための相対位置を格納するスキップメモリである。１５６は、自ＶＯＰの符号長を格納する符号長メモリである。１５８は、画像をフレーム単位で復号する復号器である。１５７は、スキップメモリ１５５、符号長メモリ１５６、復号器１５８から得られる情報に従って、制御情報テーブルを作成し格納するヒントメモリである。
【００５０】
上記のように構成された画像復号システムにおける動画像データの処理動作を以下で説明する。
【００５１】
第４の実施例において第２の実施例と同様に、動作に先立ち、各部の初期化が行われる。端末１３から再生する画像データが選択され、制御器１５３に選択されたデータの先頭を読み出せるように記憶装置１５２に制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００５２】
読み出された符号化データはフレーム単位で画像処理装置１５１に入力され、透かし抽出器１５に入力される。透かし抽出器１５では第２の実施例と同様に逆の手順に従って４５ビットの透かしデータを抽出し、制御情報再生器１５４に入力する。透かしデータに抽出が終わった符号化データはそのまま復号器１５８に入力され、復号処理されて画像データを再生し、モニタ２０で表示する。
【００５３】
制御情報再生器１５４は、４５ビットのデータから復号しているフレームの符号長Ｌ、および前のＩ−ＶＯＰの相対位置Ｐ、後のＩ−ＶＯＰの相対位置Ｍを生成し、符号長Ｌは符号長メモリ１５６に、相対位置に関する情報はスキップメモリ１５５に格納する。スキップメモリ１５５と符号長メモリ１５６の内容は制御器１５３およびヒントメモリ１５７に入力される。
【００５４】
ヒントメモリ１５７において、表１に示すように各ＶＯＰの符号長を記録し、復号器１５８から符号化モードおよびＧＯＶの先頭か否かの情報を入力して記録する。
【００５５】
制御器１５３は、端末１３から指示が無い場合はそのまま記憶装置１５２から符号化データの読み出しを継続する。これにより、連続して符号化データの読み出しが行われ、モニタ２０上で動画像が再生される。
【００５６】
端末１３から逆転再生の指示が入力された場合、ヒントメモリ１５７から前のＶＯＰすなわち再生するＶＯＰの符号化モードを読み出す。読み出したＶＯＰの符号化モードがＩ−ＶＯＰであれば、スキップメモリ１５５からの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００５７】
読み出したＶＯＰの符号化モードがＰ−ＶＯＰであれば、スキップメモリ１５５からの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻すように制御信号を生成し、記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始して一旦復号する。続いて、再生するＰ−ＶＯＰの前までのＰ−ＶＯＰの位置をヒントメモリ１５７から読み出して、読み出し位置を順次変更するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しと復号を繰り返すことにより、連続して１フレーム前の符号化データの読み出しが行われる。Ｂ−ＶＯＰの場合も同様に前後のＩまたはＰ−ＶＯＰが選られるように制御し、最後に該当するフレームの符号化データを読み出す。
【００５８】
以上のように、記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しと復号を繰り返すことにより、モニタ２０上で動画像が逆転再生される。
【００５９】
端末１３から高速逆転再生の指示が入力された場合、ヒントメモリ１５７から前のＩ−ＶＯＰの相対位置Ｐと符号長メモリ１５６から符号長Ｌを読み出し、（Ｐ＋Ｌ）だけ、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始し、画像を復号する。さらにヒントメモリ１５７から順次Ｉ―ＶＯＰまでの相対位置を算出して読み出し位置を戻して読み出しを開始するように制御信号を送る。これらを繰り返すことにより、モニタ２０上で動画像が高速逆転再生される。
【００６０】
端末１３から高速再生の指示が入力された場合、ヒントメモリ１５７から次のＩ−ＶＯＰの相対位置Ｍを読み出し、読み出し位置を戻して読み出しを開始するように制御信号を送る。記憶装置１５２は制御信号により、読み出し位置を変更し、読み出しを開始し、透かしデータを読み出し、画像を復号する。さらに透かしデータによってスキップメモリ１５５から次Ｉ―ＶＯＰまでの相対位置を算出して読み出し位置を戻して読み出しを開始するように制御信号を送る。これらを繰り返すことにより、モニタ２０上で動画像が高速再生される。
【００６１】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生や高速再生の処理を行なうことが可能になる。
【００６２】
また、本実施例のヒントメモリ１５７の内容はこれに限定されず、スキップメモリの内容を格納してもかまわない。
【００６３】
〈第５実施例〉
図５は、本第５の実施例における画像処理システムの構成を示すブロック図である。発明の第５の実施に係る画像処理装置の構成を示すブロック図である。図５において、３００は、装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。３０２は、種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は、装置の起動、各種条件の設定、再生の指示を行なうための端末である。３０４は、ソフトウェアを蓄積する記憶装置である。３０５は、画像データを蓄積する記憶装置、３０６は、画像を撮像するカメラである。記憶装置３０４及び記憶装置３０５は、システムから切り離して移動できるメディアで構成することも出来る。３０７は、画像を表示するモニタであり、３０８は、通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は、通信回線３０８を介して画像データを送受信する通信インターフェースである。
【００６４】
このような構成において、画像データの符号化処理について説明する。処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。また、本実施例では動画像の入力は、カメラ３０６からとする。
【００６５】
図７は、本第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【００６６】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像を符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェアが格納されている。尚、符号化ソフトウェアはＭｏｔｉｏｎ  ＪＰＥＧで符号化するソフトウェアとして説明をするが、これに限定されない。また、符号化の際に画像を格納する画像エリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードや各フレームのパラメータ等を格納するワーキングエリアが存在する。
【００６７】
次に、ＣＰＵ３００による動画像データの符号化動作を図１１に示すフローチャートに従って説明する。図１１は、本第５の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【００６８】
まず、ステップＳ２０１では、フレームカウンタｆを１にセットする。ステップＳ２０２では、カメラ３０６からの入力が終了したか否かを判定し、終了していなければステップＳ２０３に、終了していればステップＳ２０７に進む。
【００６９】
ステップＳ２０３では、カメラ３０６から画像データを１フレーム分入力し、メモリ３０１の画像エリアに格納し、ステップＳ２０４に進む。ステップＳ２０４では、メモリ３０１上の符号化ソフトウェアを用いてＪＰＥＧ符号化して符号化データをメモリ３０１上の符号エリアに格納し、ステップＳ２０５に進む。ステップＳ２０５では、フレームｆの符号長をワーキングエリアの符号長領域のｆ番地に格納し、ステップＳ２０６に進む。ステップＳ２０６では、フレームカウンタｆの値に１を加算してステップＳ２０２に進む。
【００７０】
ステップＳ２０２でカメラ３０６からの入力が終了し、全てのフレームの符号化が終了したら、ステップＳ２０７に進む。ステップＳ２０７では、フレームカウンタｆを１にセットしステップＳ２０８に進む。ステップＳ２０８では、全てのフレームに対して処理が終了したか否かを判定し、終了していなければステップＳ２０９に、終了していればステップＳ２１３に進む。
【００７１】
ステップＳ２０９では、ワーキングメモリからフレームｆの符号化データを読み出し、ステップＳ２１０に進む。ステップＳ２１０では、ワーキングエリアからフレームｆの符号長と前後３フレームの符号長を読み出す。フレームｆの符号長を符号長Ｌとし、フレームｆの前フレームの符号長を符号長Ｂ、フレームｆから前３フレームの符号長の合計を符号長Ｐ、フレームｆから後３フレームの符号長の合計を符号長Ｍとし、これらを並べ、透かしデータを生成し、ステップＳ２１１に進む。ステップＳ２１１ではメモリ３０１上の透かし埋め込みソフトウェアを用いてフレームｆの符号化データに透かしデータを埋め込み、ステップＳ２１２に進む。ステップＳ２１２では、フレームカウンタｆの値に１を加算してステップＳ２０８に進む。
【００７２】
ステップＳ２０８でメモリ３０１の符号エリアに格納されていた全ての符号化データに透かしデータの埋め込みが終了したら、ステップＳ２１３に進む。ステップＳ２１３では、符号エリアに格納されている透かしデータを埋め込んだ符号化データを記憶装置３０５に出力して所定の位置に書き込んだり、通信インターフェース３０９を解して通信回線３０８に送信したりした後、全ての処理を終了する。
【００７３】
このような一連の選択動作により、特殊再生時に必要な符号長に関する情報を生成し、透かしとして埋め込むことにより、復号側でのフレーム操作を容易に行なえるようにすることが可能である。
【００７４】
また、本実施例においてはスキップするフレーム数を３にし、３倍速の再生を可能にしたが、これに限定されない。また、スキップするフレーム数を複数用いてももちろんかまわない。
【００７５】
〈第６実施例〉
本実施例では画像データの復号処理について説明する。画像データ処理装置の構成は第５実施例の図５を用いる。本説明でもＭｏｔｉｏｎ  ＪＰＥＧ符号化方式を例にとって説明するが本発明は特にこれに限定されることはない。本実施例では第５実施例で生成され、記憶装置３０５に格納された符号化データの復号処理を例にとって説明する。
【００７６】
図５の構成において、処理に先立ち、端末３０３から記憶装置３０５に蓄積されている動画像符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００７７】
図８は、第６の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【００７８】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像を復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェアが格納されている。尚、復号ソフトウェアはＭｏｔｉｏｎ  ＪＰＥＧを復号するソフトウェアとして説明をするが、これに限定されない。
【００７９】
次に、ＣＰＵ３００による動画像データの符号化動作を図１２に示すフローチャートに従って説明する。図１２は、第６の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【００８０】
ステップＳ３０１では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ３０２に、終了していれば全ての処理を終了する。
【００８１】
ステップＳ３０２では、記憶装置３０５からフレームの符号化データを読み出し、ステップＳ３０３に進む。ステップＳ３０３では、メモリ３０１上の透かし抽出ソフトウェアを用いてフレームの符号化データから透かしデータを抽出し、ステップＳ３０４に進む。ステップＳ３０４では透かしデータから、自フレームの符号長Ｌ、前フレームの符号長Ｂ、自フレームから前３フレームまでの合計の符号長Ｐ、自フレームから後３フレームまでの合計符号長Ｍを再生し、メモリ３０１のワーキングエリアに書き込み、ステップＳ３０５に進む。ステップＳ３０５では、符号化データをメモリ３０１上の復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、モニタ３０７に表示し、ステップＳ３０６に進む。
【００８２】
ステップＳ３０６では、端末３０３から再生に関する指示がされているか否かを判定する。指示が無く、正方向の再生を行なうのであれば、ステップＳ３０１に戻り、そうでなければステップＳ３０７に進む。
【００８３】
ステップＳ３０７では、端末３０３から指示された再生方法の種類を判別する。再生方法が、高速逆転再生であればステップＳ３０８に、逆転再生であればステップＳ３０９に、高速再生であればステップＳ３１０に進む。
【００８４】
ステップＳ３０８では、メモリ３０１のワーキングエリアから前３フレームの符号長の合計Ｐとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８５】
Ｓ＝−（Ｌ＋Ｐ）        …（１）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００８６】
ステップＳ３０９では、メモリ３０１のワーキングエリアから前フレームの符号長Ｂとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８７】
Ｓ＝−（Ｌ＋Ｂ）        …（２）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００８８】
ステップＳ３１０では、メモリ３０１のワーキングエリアから後３フレームの符号長の合計Ｍとフレームの符号長Ｌを読み出し、シーク量Ｓを次式に従って算出する。
【００８９】
Ｓ＝Ｍ        …（３）
ステップＳ３１１に進み、記憶装置３０５の読出し位置をシーク量Ｓだけ変更し、ステップＳ３０１に戻る。
【００９０】
このような一連の選択動作により、符号長情報を読み出すことにより、特定のファイルフォーマットに依存せず、逆転再生や高速再生の処理を行なうことが可能になる。
【００９１】
また、本実施例においてはスキップするフレーム数を３にし、３倍速の再生を可能にしたが、これに限定されない。また、スキップするフレーム数を複数用いてももちろんかまわない。
【００９２】
〈その他の実施形態〉
本実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばヒントトラックに再生した符号長情報を記載することはもちろんかまわない。
【００９３】
また、本実施例において透かしデータを符号化データに後から埋め込む方式を例にとって説明したが、これに限定されず、図６に示すように符号化器に入力し、符号化途中のデータ、例えばＤＣＴ係数等に透かしデータを埋め込んでももちろんかまわない。この場合、自フレームの符号長を埋め込む場合は再符号化を行なうことによって可能になる。
【００９４】
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００９５】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
また、特殊再生するための符号長に関する情報を生成し、符号長情報を透かし信号として画像データに埋め込んでいるので、特殊再生時に、各フレームの先頭を読んで特殊再生するフレームを探していく必要がなく、シークする符号長がわかるので高速に特殊再生が可能である。特に、画像データがフレームごとの符号長が異なる可変長符号化で符号化されている場合に効果的である。
【００９８】
【発明の効果】
以上の説明から明らかなように、本発明では、符号長情報を生成し、透かしデータとして符号化データの中に埋め込むことにより、特定のファイルフォーマットに依存せず、画像の再生、特にフレームのスキップや、早送りといった特殊再生を好適に行なうことが可能になる。
【図面の簡単な説明】
【図１】第１の実施例における画像処理システムの構成を示すブロック図である。
【図２】第２の実施例における画像処理システムの構成を示すブロック図である。
【図３】第３の実施例における画像処理システムの構成を示すブロック図である。
【図４】第４の実施例における画像処理システムの構成を示すブロック図である。
【図５】第５の実施例、第６の実施例における画像処理システムの構成を示すブロック図である。
【図６】その他の実施例としての本発明にかかる画像処理システムの構成を示すブロック図である。
【図７】第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図８】第６の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図９】第１の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【図１０】第２の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【図１１】第５の実施例に係る画像処理システムにおける符号化処理を示すフローチャート図である。
【図１２】第６の実施例に係る画像処理システムにおける復号化処理を示すフローチャート図である。
【図１】
2004228679.tif 000004
【図２】
2004228679.tif 000005
【図３】
2004228679.tif 000006
【図４】
2004228679.tif 000007
【図５】
2004228679.tif 000008
【図６】
2004228679.tif 000009
【図７】
2004228679.tif 000010
【図８】
2004228679.tif 000011
【図９】
2004228679.tif 000012
【図１０】
2004228679.tif 000013
【図１１】
2004228679.tif 000014
【図１２】
2004228679.tif 000015