(57)【要約】【課題】従来より短い処理時間で動画像を符号化する動画符号化装置、動画符号化方法及びプログラムを提供することを目的とする。【解決手段】動き検出部１０２で注目ブロックと相関の高い参照ブロックを符号化済みの参照画像から検出している間に、離散コサイン変換部１０６で注目ブロックを入力してイントラ符号化を開始し、インター／イントラ判定部１０３で注目ブロックと参照ブロックとの相関から注目ブロックに対してインター符号化とイントラ符号化のどちらを選択するかを判定し、イントラ符号化を選択すると判定された場合は、注目ブロックを符号化処理した処理データを出力し、インター符号化を選択すると判定された場合は、離散コサイン変換部１０６で注目ブロックと参照ブロックとの差分を入力してインター符号化を行う。【選択図】        図１
2004289601.tif 000002
【特許請求の範囲】
【請求項１】
動画像を画面内でｍ×ｎごとのブロックに分割し、符号化すべき原画面内の注目ブロックに対して符号化済みの参照画像から検出された参照ブロックとの相関を用いるインター符号化と、原画像内の相関を用いるイントラ符号化とを選択的に行う動画像符号化装置であって、
前記注目ブロックと相関の高い参照ブロックを前記符号化済みの参照画像から検出する動き検出手段と、
前記注目ブロックと前記参照ブロックとの相関から、前記注目ブロックに対してインター符号化とイントラ符号化のどちらを選択するかを判定する判定手段と、
前記注目ブロックと前記参照ブロックとの差分、または前記注目ブロックを入力して符号化処理をする符号化処理手段と、
前記動き検出手段が前記参照ブロックを検出している間に、前記符号化処理手段は前記注目ブロックの符号化処理を開始し、
前記判定手段でイントラ符号化を選択すると判定された場合、前記符号化処理手段は前記注目ブロックを符号化処理した処理データを出力し、
前記判定手段でインター符号化を選択すると判定された場合、前記符号化処理手段は前記注目ブロックと前記参照ブロックとの差分の符号化処理することを特徴とする動画像符号化装置。
【請求項２】
前記符号化処理手段は、直交変換手段及び量子化手段を含むことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化処理手段は、直交変換手段、量子化手段及び符号化手段を含むことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
動画像を画面内でｍ×ｎごとのブロックに分割し、符号化すべき原画面内の注目ブロックに対して、符号化済みの参照画像から検出された参照ブロックと差分処理して符号化するインター符号化と前記差分処理することなく符号化するイントラ符号化とを選択的に用いて符号化する動画像符号化方法であって、
前記注目ブロックと相関の高い参照ブロックを前記符号化済みの参照画像から検出する動き検出処理と、
前記注目ブロックと前記参照ブロックとの相関から、前記注目ブロックに対してインター符号化とイントラ符号化のどちらを選択するかを判定する判定処理と、
前記注目ブロックを符号化処理する符号化処理とを有し、
前記符号化処理では、前記動き検出処理の動作している間に、前記注目ブロックのイントラ符号化処理を開始し、前記判定処理でイントラ符号化を選択すると判定された場合、判定前に開始されたイントラ符号化処理の処理データを出力し、前記判定処理でインター符号化を選択すると判定された場合、前記注目ブロックのインター符号化処理を開始することを特徴とする動画像符号化方法。
【請求項５】
請求項４に記載の動画符号化方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を画面内でｍ×ｎごとのブロックに分割し、インター符号化とイントラ符号化とを適応的に選択する動画像符号化装置、動画符号化方法及びプログラムに関するものである。
【０００２】
【従来の技術】
動画像の符号化方式として、例えば国際標準規格であるＭＰＥＧ  （Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）がある。このような動画像の符号化方式では、動画像をフレームまたはフィールド画面内でｍ×ｎごとのブロックに分割し、この分割されたブロックごとに符号化を行なう。
【０００３】
符号化すべき注目ブロックに対して適用する符号化には、注目ブロックと符号化済みの参照画像から検出された参照ブロックとの相関を利用したインター符号化と、原画像内の相関を利用したイントラ符号化がある。
【０００４】
符号化すべき注目ブロックに対してインター符号化とイントラ符号化のどちらを適用するかを適応的に選択して動画像の符号化を行なう従来の手法を図４、図５、図６を用いて説明する。図４は、従来手法における動画像符号化装置を示している。図５は、従来手法における動画像を符号化する際のフローを示している。また、図６は、従来手法における動画像を符号化する際の各処理の順序関係を示している。
【０００５】
まず、動き検出部１０２に注目ブロック１０１と後述するフレームメモリ１１２に蓄えられている符号化済み参照画像を入力して、図５の動き検出Ｓ２０１を行なう。この処理によって入力された注目ブロック１０１と最も相関の高いブロックである参照ブロックが符号化済み参照画像から検出される。
【０００６】
次に、注目ブロック１０１と動き検出部１０２によって検出された参照ブロックをインター／イントラ判定部１０３に入力して、図５のインター／イントラ判定Ｓ２０２を行なう。この処理によって注目ブロック１０１に対してインター符号化とイントラ符号化のどちらを適用するかを判定する。
【０００７】
インター／イントラ判定部１０３において注目ブロック１０１に対してインター符号化を適用すると判定された場合には、選択器１０５で注目ブロック１０１と参照ブロックの差分（図４、Ｂ）を選択して離散コサイン変換部１０６の入力とする。
【０００８】
一方、インター／イントラ判定部１０３において注目ブロック１０１に対してイントラ符号化を適用すると判定された場合には、選択器１０５で注目ブロック１０１（図４、Ａ）を選択して離散コサイン変換部１０６の入力とする。
【０００９】
離散コサイン変換部１０６は与えられた入力に対して図５の離散コサイン変換Ｓ２０６を行ない、その結果を量子化部１０７に入力する。
【００１０】
量子化部１０７は与えられた入力に対して図５の量子化Ｓ２０７を行ない、その結果をエントロピー符号化部１０９に入力する。
【００１１】
エントロピー符号化部１０９は与えられた入力に対して図５のエントロピー符号化Ｓ２０８を行ない、その結果として符号語列を得る。
【００１２】
また、動き検出部１０２で必要となる符号化済み参照画像を得るために次の処理を行なう。まず、量子化部１０７で得られた結果を逆量子化部１１０に入力して逆量子化処理を行なう。次に、逆量子化部１１０で得られた結果を逆離散コサイン変換部１１１に入力して逆離散コサイン変換処理を行ない、その結果得られた画像を符号化済み参照画像としてフレームメモリ１１２に蓄えておく。
【００１３】
従来手法では、図６に示すように動き検出処理が終わり、符号化すべき注目ブロックに対してインター符号化とイントラ符号化のどちらを適用するかを判定した後でないと、その後に続く離散コサイン変換処理、量子化処理、エントロピー符号化処理を行なえない。
【００１４】
【発明が解決しようとする課題】
以上説明したように従来手法では、動き検出の処理が終わり、符号化すべき注目ブロックに対してインター符号化とイントラ符号化のどちらを適用するかを判定した後でないと、その後に続く離散コサイン変換処理、量子化処理、エントロピー符号化処理を行なえなかった。動き検出の処理時間が短い場合には離散コサイン変換処理、量子化処理、エントロピー符号化処理が待たされても問題にならないが、実際には動き検出の処理時間は他の処理に比べて非常に長いために、動画像の符号化の処理時間も長くなってしまう。
【００１５】
本発明は、係る問題点を解決するためになされたもので、従来より短い処理時間で動画像を符号化する動画符号化装置、動画符号化方法及びプログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
係る課題を解決するために、本発明の動画像符号化装置は、動画像を画面内でｍ×ｎごとのブロックに分割し、符号化すべき原画面内の注目ブロックに対して符号化済みの参照画像から検出された参照ブロックとの相関を用いるインター符号化と、原画像内の相関を用いるイントラ符号化とを選択的に行う動画像符号化装置であって、前記注目ブロックと相関の高い参照ブロックを前記符号化済みの参照画像から検出する動き検出手段と、前記注目ブロックと前記参照ブロックとの相関から、前記注目ブロックに対してインター符号化とイントラ符号化のどちらを選択するかを判定する判定手段と、前記注目ブロックと前記参照ブロックとの差分、または前記注目ブロックを入力して符号化処理をする符号化処理手段と、前記動き検出手段が前記参照ブロックを検出している間に、前記符号化処理手段は前記注目ブロックの符号化処理を開始し、前記判定手段でイントラ符号化を選択すると判定された場合、前記符号化処理手段は前記注目ブロックを符号化処理した処理データを出力し、前記判定手段でインター符号化を選択すると判定された場合、前記符号化処理手段は前記注目ブロックと前記参照ブロックとの差分の符号化処理することを特徴とする。
【００１７】
また、係る課題を解決するために、本発明の動画像符号化方法装置は、動画像を画面内でｍ×ｎごとのブロックに分割し、符号化すべき原画面内の注目ブロックに対して、符号化済みの参照画像から検出された参照ブロックと差分処理して符号化するインター符号化と前記差分処理することなく符号化するイントラ符号化とを選択的に用いて符号化する動画像符号化方法であって、前記注目ブロックと相関の高い参照ブロックを前記符号化済みの参照画像から検出する動き検出処理と、前記注目ブロックと前記参照ブロックとの相関から、前記注目ブロックに対してインター符号化とイントラ符号化のどちらを選択するかを判定する判定処理と、前記注目ブロックを符号化処理する符号化処理とを有し、前記符号化処理では、前記動き検出処理の動作している間に、前記注目ブロックのイントラ符号化処理を開始し、前記判定処理でイントラ符号化を選択すると判定された場合、判定前に開始されたイントラ符号化処理の処理データを出力し、前記判定処理でインター符号化を選択すると判定された場合、前記注目ブロックのインター符号化処理を開始することを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明に係る実施形態を詳細に説明する。
【００１９】
（実施例１）
本発明の動画像符号化装置は従来の技術と同様に、動画像をフレームまたはフィールド画面内でｍ×ｎごとのブロックに分割し、この分割されたブロックごとに符号化を行なう。そして、注目ブロックに対して適用する符号化をインター符号化とイントラ符号化から適応的に選択して動画像の符号化を行なう。
【００２０】
本発明の動画像符号化装置を用いて動画像を符号化する手法を図１、図２、図３を用いて説明する。図１は、本発明の手法における動画像符号化装置を示している。図２は、本発明の手法における動画像を符号化する際のフローを示している。また、図３は、本発明の手法における動画像を符号化する際の各処理の順序関係を示している。なお、図１において従来の動画像符号化装置と同じものについては図４と同一の符号をつけている。
【００２１】
まず、動き検出部１０２に注目ブロック１０１とフレームメモリ１１２に蓄えられている符号化済み参照画像を入力して、図２の動き検出Ｓ１０１を行なう。
この処理によって入力された注目ブロック１０１と最も相関の高いブロックである参照ブロックが符号化済み参照画像から検出される。
【００２２】
動き検出部１０２が参照ブロックの検出を行なっている間に、注目ブロック１０１に対してイントラ符号化を適用すると判断されたものとして選択器１０５は図２のＳ１０３で注目ブロック１０１（図１、Ａ）を選択して、離散コサイン変換部１０６の入力とする。そして、離散コサイン変換部１０６によって図２の離散コサイン変換Ｓ１０４を、量子化部１０７によって図２の量子化Ｓ１０５を行なっておき、その結果をバッファ部１０８に蓄えておく。
【００２３】
動き検出部１０２での処理が終わって参照ブロックが検出されると、注目ブロック１０１と検出された参照ブロックをインター／イントラ判定部１０３に入力して、図２のインター／イントラ判定Ｓ１０２を行なう。この処理によって注目ブロック１０１に対してインター符号化とイントラ符号化のどちらを適用するかを判定する。
【００２４】
インター／イントラ判定部１０３が注目ブロック１０１に対してインター符号化を適用すると判定した場合には、選択器１０５は図２のＳ１０８で注目ブロック１０１と参照ブロックとの差分（図１、Ｂ）を選択して、あらためて離散コサイン変換部１０６の入力とする。そして、離散コサイン変換部１０６によって図２の離散コサイン変換Ｓ１０９を、量子化部１０７によって図２の量子化Ｓ１１０を行ない、その結果をバッファ部１０８に入力する。
【００２５】
また、インター／イントラ判定部１０３は、注目ブロック１０１に対してインター符号化を適用すると判定したことを起動部１０４に伝える。そして、離散コサイン変換部１０６による図２の離散コサイン変換Ｓ１０９と量子化部１０７による図２の量子化Ｓ１１０が終了すると、起動部１０４はバッファ部１０８とエントロピー符号化部１０９にエントロピー符号化処理を開始してもよいことを伝える。インター符号化を行なう場合にはバッファ部１０８は量子化部１０７からの入力を蓄えることなくエントロピー符号化部１０９への入力とする。
【００２６】
一方、インター／イントラ判定部１０３が注目ブロック１０１に対してイントラ符号化を適用すると判定した場合には、それを起動部１０４に伝える。このとき、離散コサイン変換部１０６による図２の離散コサイン変換Ｓ１０４と量子化部１０７による図２の量子化Ｓ１０５は既に行なっているので、直ちに起動部１０４はバッファ部１０８とエントロピー符号化部１０９にエントロピー符号化処理を開始してもよいことを伝える。イントラ符号化を行なう場合にはバッファ部１０８が蓄えている結果をエントロピー符号化部１０９への入力とする。
【００２７】
エントロピー符号化部１０９は起動部１０４から処理開始が伝えられると、バッファ部１０８から与えられた入力に対して、図２のエントロピー符号化Ｓ１１２を行ない、その結果として符号語列を得る。
【００２８】
また、動き検出部１０２で必要となる符号化済み参照画像を従来手法と同様にして得る。ただし、起動部１０４から処理の開始が伝えられてから、逆量子化部１１０はバッファ部１０８に蓄えられている結果を入力として逆量子化処理を行なう。
【００２９】
本実施例では、動き検出処理の間に、注目ブロックの離散コサイン変換処理と量子化処理を行って、バッファ部に蓄えておいたが、その他の実施例として、注目ブロックの離散コサイン変換処理と量子化処理後、エントロピー符号化処理を行って、バッファ部に蓄えておいてもよい。その際、動き検出処理が終了するまでにエントロピー符号化処理が終了しないときは、イントラ符号化を行う場合にはバッファ部に蓄えることなく、エントロピー符号化処理後、その処理データを出力する。
【００３０】
また、本実施例では、直交変換処理は離散コサイン変換処理で説明したが、これに限定されない。また、符号化はエントロピー符号化で説明したが、これに限定されない。
【００３１】
本発明では、動き検出処理の間に、注目ブロックの符号化処理を開始しておくと、インター／イントラ判定で注目ブロックにイントラ符号化を適用すると判定された場合には、判定前にイントラ符号化処理が開始されているので、従来の手法より短い処理時間で注目ブロックに対して符号化処理を行なうことができる。一方、インター／イントラ判定で注目ブロックにインター符号化を適用すると判定された場合には、従来手法で符号化を行なったときと同程度の処理時間となる。
【００３２】
＜その他の実施形態＞
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００３３】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
【発明の効果】
以上説明したように本発明によれば、動き検出処理の間に注目ブロックのイントラ符号化処理を開始しておくので、イントラ符号化を選択された際の処理時間が短縮され、結果として、動画像の符号化にかかる処理時間が短縮できる。
【図面の簡単な説明】
【図１】本発明における動画像符号化装置を示す図である。
【図２】本発明における動画像を符号化する際のフローを示す図である。
【図３】本発明における動画像を符号化する際の各処理の順序関係を示す図である。
【図４】従来手法における動画像符号化装置を示す図である。
【図５】従来手法における動画像を符号化する際のフローを示す図である。
【図６】従来手法における動画像を符号化する際の各処理の順序関係を示す図である。
【図１】
2004289601.tif 000003
【図２】
2004289601.tif 000004
【図３】
2004289601.tif 000005
【図４】
2004289601.tif 000006
【図５】
2004289601.tif 000007
【図６】
2004289601.tif 000008