(57)【要約】【課題】物体の動きが滑らかに動くように見える動画像符号化装置を提供する。【解決手段】フレーム画像データを入力しフィールド画像データに変換する画像変換部１と、フィールド画像データを入力し一時保持する画像格納メモリ２と、フィールド画像データのフィールド画像の各ブロック画像データと参照画像データとを入力し動き補償予測を行ない動きベクトルデータと参照ブロック位置データを出力する動き補償予測部４と、動きベクトルデータと参照ブロック位置データを入力し参照ブロック位置データによる参照ブロック位置から動きベクトルデータによる動きベクトルの方向に動きベクトルよりも小さい距離移動した位置に参照画像データのブロック画像データを格納することにより補完画像データを生成する補間画像生成部６と、フィールド画像データおよび補完画像データを符号化する符号化部５とを備えている。【選択図】  図１
2004336534.tif 000002
【特許請求の範囲】
【請求項１】
フィールド画像データを入力し一時保持する画像格納メモリと、この画像格納メモリから前記フィールド画像データのフィールド画像の各ブロック画像データと参照画像データとを入力し動き補償予測を行ない動きベクトルデータと参照ブロック位置データを出力する動き補償予測手段と、前記動きベクトルデータと前記参照ブロック位置データを入力し前記参照ブロック位置データによる参照ブロック位置から前記動きベクトルデータによる動きベクトルの方向に前記動きベクトルよりも小さい距離移動した位置に前記参照画像データのブロック画像データを格納することにより補完画像データを生成する補間画像生成手段と、前記フィールド画像データおよび前記補完画像データを符号化する符号化手段とを備えた動画像符号化装置。
【請求項２】
補間画像生成手段は補完画像データにおける参照ブロック位置にはフィールド画像データのブロック画像データを格納し、参照ブロック位置から動きベクトルに沿って移動した位置の前記補完画像データには前記参照画像データのブロック画像データを格納する請求項１記載の動画像符号化装置。
【請求項３】
動き補償予測部より出力される動きベクトルの移動距離を累積する動きベクトル累積手段を有し、補間画像生成手段は１画像データ分の動きベクトル累積値が一定の閾値を超えた場合に補完画像データを出力する請求項１記載の動画像符号化装置。
【請求項４】
参照画像データに対応したフィールド画像データを複製する画像複製手段と、前記画像複製手段のフィールド画像データの画像格納メモリへの書き込みと補間画像生成手段の補完画像データの前記画像格納メモリへの書き込みを、動きベクトル累積手段から入力した制御信号により切り換える切替手段を有し、前記切替手段は、前記動きベクトル累積手段の動きベクトル累積値が一定の閾値を超えた場合に前記補完画像データを前記画像格納メモリに格納するように切り替える請求項３記載の動画像符号化装置。
【請求項５】
フィールド画像データを入力しフィールド画像間の差分が一定以下の冗長フィールドを検出すると補間画像生成手段に対して補間画像を生成するように指示する冗長フィールド検出手段を有する請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば画像信号を直交変換によって高能率符号化する動画像符号化装置に関するものである。
【０００２】
【従来の発明】
動画像の高能率符号化方式として代表的な方式としてはＭＰＥＧ方式がある。符号化される動画の素材としてフィルム画像が用いられることが多いが、毎秒２４フレームのフィルム画像を符号化する場合、３：２プルダウン方式（例えば非特許文献テレビジョン画像情報工学ハンドブック、テレビジョン学会編、オーム社）により毎秒６０フィールドのビデオ信号に変換後、ＭＰＥＧ方式により符号化を行うことが一般的である。
【０００３】
３：２プルダウン方式により毎秒２４フレームの動画像を毎秒６０フィールドの動画像に変換したのちに高能率符号化する従来の動画像符号化装置の構成と動作を図１３の構成図と図１４の画像データ例を用いて説明する。
【０００４】
まずフレーム画像からフィールド画像への変換のための構成と動作を説明する。
画像変換部１は毎秒２４フレームのフレーム画像データを入力しフィールド画像データに変換し、画像格納メモリ２にフィールド画像を格納する。
【０００５】
例えば、図１４のＦ１はフレーム画像データであり、画像変換部１がフレーム画像データＦ１を入力すると、奇数ラインを含むフィールド画像データＦ１１と偶数ラインを含むフィールド画像Ｆ１２に変換し、画像格納メモリ２に書き込む。
【０００６】
画像複製部９は、画像変換部１よりフィールド画像データＦ１２が画像格納メモリ２に書き込まれると、フィールド画像データＦ１１をコピーしたフィールド画像データＦ１１’をフィールド画像データＦ１２の次のフィールド画像として画像格納メモリ２に書き込む。
【０００７】
このように２フレーム画像データあたり５フィールド画像データが生成され、毎秒２４フレームのフレーム画像データは毎秒６０フィールドのフィールド画像データに変換される。
【０００８】
次に動き補償予測部４の動作を説明する。
【０００９】
図１４において、Ｆ２はフレーム画像データＦ１の次のフレーム画像データであり、Ｆ２１とＦ２２はそれぞれフレーム画像データＦ２に対応したフィールド画像データである。
【００１０】
Ｂ１はフィールド画像データＦ２１の１６×１６画素のブロック画像である。
【００１１】
動き補償予測部４がブロック画像Ｂ１を入力し参照画像データとしてフィールド画像Ｆ１１を入力し、ブロック画像Ｂ１が参照する領域として参照ブロック画像Ｂ２を選択すると、ブロック画像Ｂ１と参照ブロック画像Ｂ２との差分画像データを符号化部５に出力し、ブロック画像Ｂ１と参照ブロック画像Ｂ２のそれぞれの位置（情報）Ｐ１とＰ２の差分を動きベクトルＶ１として符号化部５に出力する。
【００１２】
符号化部５は入力した差分画像データを逆離散コサイン変換部１０１により逆離散コサイン変換し、量子化部１０２により量子化し、可変長符号化部１０３により可変長符号化して出力する。
【００１３】
フィールド画像データを参照画像データとする時は、量子化後のデータを逆量子化部１０４により逆量子化し、逆離散コサイン変換部１０５により逆離散コサイン変換し参照領域の画像データと加算後、参照画像格納メモリ３に格納する。
【００１４】
【非特許文献】
テレビジョン画像情報工学ハンドブック（テレビジョン学会編、オーム社）
【００１５】
【発明が解決しようとしている課題】
しかしながら、従来の動画像符号化装置により毎秒２４フレームのフィルム画像を３：２プルダウン方式により毎秒６０フィールドのビデオ画像に変換して符号化すると、図１４のフィールド画像Ｆ２１のＢ１の領域に位置する物体がフィールド画像Ｆ１１、Ｆ１２、Ｆ１１’では同じ位置Ｐ２にあるのに、フィールド画像Ｆ２１では位置Ｐ１に移動し、Ｆ２２内でまた同じ位置にとどまることになり、視聴者が復号化されたビデオ画像をみるとこの物体の動きはギクシャクするよう見える場合がある。
【００１６】
したがって、この発明の目的は、物体の動きが滑らかに動くように見える動画像符号化装置を提供することである。
【００１７】
【課題を解決するための手段】
請求項１記載の動画像符号化装置は、フィールド画像データを入力し一時保持する画像格納メモリと、この画像格納メモリから前記フィールド画像データのフィールド画像の各ブロック画像データと参照画像データとを入力し動き補償予測を行ない動きベクトルデータと参照ブロック位置データを出力する動き補償予測手段と、前記動きベクトルデータと前記参照ブロック位置データを入力し前記参照ブロック位置データによる参照ブロック位置から前記動きベクトルデータによる動きベクトルの方向に前記動きベクトルよりも小さい距離移動した位置に前記参照画像データのブロック画像データを格納することにより補完画像データを生成する補間画像生成手段と、前記フィールド画像データおよび前記補完画像データを符号化する符号化手段とを備えたものである。
【００１８】
請求項１記載の動画像符号化装置によれば、フィールド画像間の中間となる補間画像が生成されるので、物体のフィールド間の移動動作が小さくなり、視聴者が復号化されたビデオ画像をみるとこの物体の動きは滑らかに動くように見える。
【００１９】
請求項２記載の動画像符号化装置は、請求項１において、補間画像生成手段は補完画像データにおける参照ブロック位置にはフィールド画像データのブロック画像データを格納し、参照ブロック位置から動きベクトルに沿って移動した位置の前記補完画像データには前記参照画像データのブロック画像データを格納するものである。
【００２０】
請求項２記載の動画像符号化装置によれば、請求項１と同様な効果のほか、移動する物体の残画像を消すことができる。
【００２１】
請求項３記載の動画像符号化装置は、請求項１において、動き補償予測部より出力される動きベクトルの移動距離を累積する動きベクトル累積手段を有し、補間画像生成手段は１画像データ分の動きベクトル累積値が一定の閾値を超えた場合に補完画像データを出力するものである。
【００２２】
請求項３記載の動画像符号化装置によれば、請求項１と同様な効果のほか、入力フィールド画像と参照画像との間で画像の動きが少ない場合は補完画像を作成せず、画像の動きが激しい場合は補完画像を作成することができる。
【００２３】
請求項４記載の動画像符号化装置は、請求項３において、参照画像データに対応したフィールド画像データを複製する画像複製手段と、前記画像複製手段のフィールド画像データの画像格納メモリへの書き込みと補間画像生成手段の補完画像データの前記画像格納メモリへの書き込みを、動きベクトル累積手段から入力した制御信号により切り換える切替手段を有し、前記切替手段は、前記動きベクトル累積手段の動きベクトル累積値が一定の閾値を超えた場合に前記補完画像データを前記画像格納メモリに格納するように切り替えるものである。
【００２４】
請求項４記載の動画像符号化装置によれば、請求項３と同様な効果がある。
【００２５】
請求項５記載の動画像符号化装置は、請求項１において、フィールド画像データを入力しフィールド画像間の差分が一定以下の冗長フィールドを検出すると補間画像生成手段に対して補間画像を生成するように指示する冗長フィールド検出手段を有するものである。
【００２６】
請求項５記載の動画像符号化装置によれば、請求項１と同様な効果のほか、冗長フィールド検出手段により冗長フィールドを検出したとき、補完画像を生成することができる。
【００２７】
【発明の実施の形態】
（実施の形態１）
以下、本発明の請求項１記載の第１の実施の形態について図面を用いて説明する。
【００２８】
図１は、本発明の一実施の形態の動画像符号化装置の構成図であり、同図を参照しながら、本実施の形態の構成を説明する。
【００２９】
１はフレーム画像データを入力しフィールド画像データに変換する画像フォーマット変換手段となる画像変換部である。２はフィールド画像データを格納して一時保持画像格納メモリである。３は従来例と同構成の、参照画像データを格納する参照画像格納メモリである。４は参照画像データとフィールド画像データのブロック画像データを入力し、動き補償予測を行い、動きベクトルと参照ブロック位置データである参照ブロック領域の位置データを出力する動き補償予測部である。５は従来例と同構成であって、動き補償予測部４からの差分画像データの入力データを、離散コサイン変換し量子化し可変長符号化する符号化部である。６は動きベクトルと参照ブロック領域の位置データを入力し補間画像を生成する補間画像生成部である。
【００３０】
次に動作を説明する。画像変換部１はフレーム画像データを入力し、奇数ラインを含むフィールド画像データと偶数ラインを含むフィールド画像データに分離して画像格納メモリ２に書き込む。
【００３１】
図２はフレーム画像とフィールド画像の関係を示す図であり、Ｆ１はフレーム画像であり、Ｆ１１はフレーム画像Ｆ１の奇数ラインを含むフィールド画像であり、Ｆ１２は偶数ラインを含むフィールド画像である。
【００３２】
Ｆ２はフレーム画像Ｆ１の次のフレーム画像であり、Ｆ２１はフレーム画像Ｆ２の奇数ラインを含むフィールド画像であり、Ｆ２２は偶数ラインを含むフィールド画像である。
【００３３】
画像格納メモリ２に格納されたフィールド画像データを動き補償予測部４および符号化部５により符号化するとき、４フィールド画像毎に参照画像として参照画像メモリ３に格納する。例えば図２のＦ１１を参照画像とする。
【００３４】
参照画像の２フィールド後のフィールド画像、すなわち図２の例ではＦ２１を符号化するとき補間画像生成部６は図３のフローチャートで示す手順により補間画像を生成する。
【００３５】
まず、動き補償予測部４は符号化対象のフィールド画像Ｆ２１のブロック画像Ｂ１のデータと参照画像データＦ１１を入力し動き補償予測を行なう（ステップＳ１）。
【００３６】
補間画像生成部６は動き補償予測部４から動きベクトルＶ１と参照ブロック画像Ｂ２の領域の位置Ｐ２（Ｐ）のデータを受けとる（ステップＳ２）。つぎに補間画像生成部６は位置Ｐ２（Ｐ）のデータから動きベクトルＶ１の方向に動きベクトルＶ１より小さい距離例えば動きベクトルＶ１の１／２だけ移動した位置Ｐ３（Ｐ′）のデータを求める（ステップＳ３）。つぎに補間画像生成部６は参照画像データＦ１１の参照ブロック画像Ｂ２の領域のデータを補間画像データＦ１３の位置Ｐ３（Ｐ′）のデータが示す位置にコピーする（ステップＳ４）。
【００３７】
もしフィールド画像Ｆ２１のすべてのブロックが終了すれば（ステップＳ５）、生成した補間画像データＦ１３を画像格納メモリ２に書き込む（ステップＳ６）。
画像格納メモリ２に格納された補間画像データＦ１３をフィールド画像Ｆ１２とフィールド画像Ｆ２１の間の画像として符号化する。
【００３８】
このようにして本実施の形態の動画像符号化装置では、フィールド画像Ｆ１１では位置Ｐ２にありフィールド画像Ｆ２１では位置Ｐ１にある物体が、位置Ｐ３にあるフィールド画像Ｆ１３を補間画像として生成することができる。
（実施の形態２）
以下、本発明の請求項２記載の第２の実施の形態について説明する。図４は本実施の形態の構成図である。第１の実施の形態との共通部分に同一符号を付しているので省略し、相違点について説明する。
【００３９】
７は画像選択情報保持メモリであり、フィールド画像データのサイズ分の１ビットデータを格納する。
【００４０】
次に動作を説明する。補間画像生成部６が補間画像を生成する時の動作以外は第１の実施の形態の動作と同じである。
【００４１】
補間画像生成部６が補間画像を生成する時の動作を図５のフローチャートで説明する。ステップＳ１からステップＳ６は第１の実施の形態と同じである。ステップＳ２で取得した位置Ｐ（Ｐ２）のブロック領域からステップＳ３で求めた移動後位置Ｐ′（Ｐ３）のブロック領域との重複領域を除いた領域に対応する画像選択情報保持メモリ７のデータを１にセットする（ステップＳ７）。
【００４２】
図６の画像選択情報保持メモリ７内のデータの例を用いてステップＳ７を説明すると、図６（ａ）でステップＳ２で取得した位置Ｐ（Ｐ２）の領域のブロック画像Ｂ３とするとき、移動後位置Ｐ′（Ｐ３）の領域のブロック画像Ｂ４は図６（ｂ）となり、重複領域を除いた領域は図６（ｃ）の斜線部となる。
【００４３】
ステップＳ７で画像選択情報保持メモリ７で１にセットされた領域に、画像格納メモリ２から符号化中のフィールド画像データの対応する領域を補完画像データにコピーする（ステップＳ８）。
【００４４】
このようにして本実施の形態の動画像符号化装置は、第１の実施の形態の動画像符号化装置と同様にフィールド画像Ｆ１３を作成し、さらに物体の移動により物体が消えた領域に後のフィールド画像Ｆ２１のデータを入れることにより、物体の残画像を消すことができる。
（実施の形態３）
以下、本発明の請求項３記載の第３の実施の形態について説明する。図７は本実施の形態の構成図である。第１の実施の形態との共通部分に同一符号を付しているので省略し、相違点について説明する。
【００４５】
８は動きベクトルを入力し補間画像生成部６へ制御信号を出力する動きベクトル累積部である。
【００４６】
次に動作を説明する。補間画像生成部６が補間画像を生成する時の動作以外は第１の実施の形態の動作と同じである。
【００４７】
補間画像生成部６が補間画像を生成する時の動作を図８のフローチャートで説明する。ステップＳ１からステップＳ６は第１の実施の形態と同じである。
【００４８】
ステップＳ１で動き補償予測部が動きベクトルを出力すると動きベクトル累積部８は入力した動きベクトル値を累積する（ステップＳ９）。ステップＳ５で画像のすべてのブロックの動き補償予測処理が完了すると動きベクトル累積部８は累積したベクトル値と一定の閾値とを比較し制御信号を補間画像生成部６に出力する（ステップＳ１０）。
累積したベクトル値が一定の閾値より大きい時、ステップＳ６を行ない、累積したベクトル値が一定の閾値以下である時、補間画像生成部６は生成した参照画像データを画像格納メモリ２に書き込む（ステップＳ１１）。
【００４９】
このようにして本実施の形態の動画像符号化装置は、入力フィールド画像と参照画像との間で画像の動きが少ない場合は３：２プルダウン方式と同様に画像を複製するが、画像の動きが激しい場合は第１の実施の形態と同様にフィールド画像Ｆ１３を作成することができる。
【００５０】
（実施の形態４）
以下、本発明の請求項４記載の第４の実施の形態について説明する。図９は本実施の形態の構成図である。第１の実施の形態との共通部分に同一符号を付しているので省略し、相違点について説明する。８は第３の実施の形態で説明した動きベクトル累積部である。９は従来例で説明した、画像データの複製を行なう画像複製部である。１０は切替え手段となるスイッチである。
【００５１】
次に動作を説明する。補間画像生成部６が補間画像を生成する時の動作以外は第１の実施の形態の動作と同じである。
【００５２】
補間画像生成部６が補間画像を生成する時の動作を図１０のフローチャートで説明する。ステップＳ１からステップＳ６とステップ９とステップ１０は第３の実施の形態と同じである。
【００５３】
ステップＳ１０で動きベクトル累積部８が累積したベクトル値と一定の閾値とを比較し累積したベクトル値が一定の閾値より大きい時、制御信号をスイッチ１０に出力すると、スイッチ１０の切替えによりステップＳ６を行ない、累積したベクトル値が一定の閾値以下である時、スイッチ１０により画像複製部９を画像格納メモリ２につなぎ、画像複製部９は従来例で説明したように参照画像データに対応したフィールド画像データをコピーする（ステップＳ１２）。
【００５４】
このようにして本実施の形態の動画像符号化装置は、入力フィールド画像と参照画像との間で画像の動きが少ない場合は３：２プルダウン方式と同様に画像を複製するが、画像の動きが激しい場合は第１の実施の形態と同様にフィールド画像Ｆ１３を作成することができる。
（実施の形態５）
以下、本発明の請求項５記載の第５の実施の形態について説明する。
【００５５】
図１１は本実施の形態の構成図である。第１の実施の形態との共通部分に同一符号を付しているので省略し、相違点について説明する。
【００５６】
１１は冗長フィールド検出部である。
【００５７】
次に動作を説明する。冗長フィールド検出部１１が冗長フィールドを検出する動作を図１２のフローチャートで説明する。冗長フィールド検出部１１がフィールド画像を入力すると（ステップＳ１３）、カウンタ（ｃｏｕｎｔｅｒ）を１増やし（ステップＳ１４）、２フィールド過去のフィールド画像データと同じ位置の画素の差分を計測する（ステップＳ１５）。画素の差分の累計値を一定値と比較し（ステップＳ１６）、差分値が一定値より小さければ、カウンタ（ｃｏｕｎｔｅｒ）値を５と比較し（ステップＳ１７）、差分値が一定値以上なら、入力してフィールド画像データを画像格納メモリ２に書き込む（ステップＳ１８）。
【００５８】
もしカウンタ値が５であれば、補間画像生成部６に補間画像生成を指示し（ステップＳ１９）、カウンタ値を０にリセットする（ステップＳ２０）。もしカウンタ値が５でなければ、ステップＳ１８の処理を行なう。
【００５９】
冗長フィールド検出部１１がステップＳ１９により補間画像生成部６に補間画像生成を指示すると、第１の実施の形態と同じ動作を行なう。
【００６０】
なお、カウンタ値の５はフィールド画像数によって決まる。
【００６１】
このようにして本実施の形態の動画像符号化装置は、入力フィールド画像が３：２プルダウン方式により生成された冗長画像を含む場合は第１の実施の形態と同様にフィールド画像Ｆ１３を作成することができる。
【００６２】
以上説明したように、本発明の動画像符号化装置によると、図２のＦ１３で例示されるような補間画像が生成され、物体を含むブロック領域の位置がＦ１１およびＦ１２ではＰ２であり、Ｆ１３ではＰ３であり、Ｆ２１およびＦ２２ではＰ１となり、物体のフィールド間での移動が小さくなり、視聴者が復号化されたビデオ画像をみるとこの物体の動きは滑らかに動くように見える。
【００６３】
【発明の効果】
請求項１記載の動画像符号化装置によれば、フィールド画像間の中間となる補間画像が生成されるので、物体のフィールド間の移動動作が小さくなり、視聴者が復号化されたビデオ画像をみるとこの物体の動きは滑らかに動くように見える。
【００６４】
請求項２記載の動画像符号化装置によれば、請求項１と同様な効果のほか、移動する物体の残画像を消すことができる。
【００６５】
請求項３記載の動画像符号化装置によれば、請求項１と同様な効果のほか、入力フィールド画像と参照画像との間で画像の動きが少ない場合は補完画像を作成せず、画像の動きが激しい場合は補完画像を作成することができる。
【００６６】
請求項４記載の動画像符号化装置によれば、請求項３と同様な効果がある。
【００６７】
請求項５記載の動画像符号化装置によれば、請求項１と同様な効果のほか、冗長フィールド検出手段により冗長フィールドを検出したとき、補完画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】入力されるフレーム画像と本発明による生成される画像の関係を示す説明図である。
【図３】本発明の第１の実施の形態の補間画像生成処理のフローチャートである。
【図４】本発明の第１の実施の形態の構成を示すブロック図である。
【図５】本発明の第２の実施の形態の補間画像生成処理のフローチャートである。
【図６】本発明の第２の実施の形態の画像選択情報保持メモリ内のデータを示す説明図である。
【図７】本発明の第３の実施の形態の構成を示すブロック図である。
【図８】本発明の第３の実施の形態の補間画像生成処理のフローチャートである。
【図９】本発明の第４の実施の形態の構成を示すブロック図である。
【図１０】本発明の第４の実施の形態の補間画像生成処理のフローチャートである。
【図１１】本発明の第５の実施の形態の構成を示すブロック図である。
【図１２】本発明の第５の実施の形態の冗長フィールド検出処理のフローチャートである。
【図１３】従来の動画像符号化装置の構成を示すブロック図である。
【図１４】３：２プルダウン方式を説明するためのフレーム画像とフィールド画像の関係を示す説明図である。
【符号の説明】
１                画像変換部
２                画像格納メモリ
３                参照画像格納メモリ
４                動き補償予測部
５                符号化部
６                補間画像生成部
７                画像選択情報保持メモリ
８                動きベクトル累積部
９                画像複製部
１０            スイッチ
１１              冗長フィールド検出部
Ｆ１              フレーム画像
Ｆ２              フレーム画像Ｆ１の次のフレーム画像
Ｆ１１              フレーム画像Ｆ１の奇数ラインフィールド画像
Ｆ１２              フレーム画像Ｆ１の偶数ラインフィールド画像
Ｆ２１              フレーム画像Ｆ２の奇数ラインフィールド画像
Ｆ２２              フレーム画像Ｆ２の偶数ラインフィールド画像
Ｐ１      位置
Ｐ２      位置
Ｐ３      位置
Ｂ１      ブロック画像
Ｂ２      参照ブロック画像
Ｖ１      動きベクトル
【図１】
2004336534.tif 000003
【図２】
2004336534.tif 000004
【図３】
2004336534.tif 000005
【図４】
2004336534.tif 000006
【図５】
2004336534.tif 000007
【図６】
2004336534.tif 000008
【図７】
2004336534.tif 000009
【図８】
2004336534.tif 000010
【図９】
2004336534.tif 000011
【図１０】
2004336534.tif 000012
【図１１】
2004336534.tif 000013
【図１２】
2004336534.tif 000014
【図１３】
2004336534.tif 000015
【図１４】
2004336534.tif 000016