(57)【要約】【課題】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が変更された場合でも、画質劣化や処理負担の増加を抑制する。【解決手段】動き検出制御器１２０は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数を画像内容等に応じて変更する。そして、挿入される双方向予測符号化フレームの数を変更した場合には、動き検出制御器１２０は、その変更に応じて各ＶＯＰの動き検出タイミングを制御する。【選択図】        図１
2005101972.tif 000002
【特許請求の範囲】
【請求項１】
参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出手段と、
処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、当該ある処理対象フレームが符号化されるべきタイミングにおいて当該処理対象フレームの前方動き検出が行われるよう制御する
ことを特徴とする動画像符号化装置。
【請求項２】
参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出手段と、
処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、かつ当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出が行われるよう制御する
ことを特徴とする動画像符号化装置。
【請求項３】
参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出手段と、
処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出が行われるよう制御する
ことを特徴とする動画像符号化装置。
【請求項４】
前記動き検出手段は、前方予測用の前方動き検出手段と、後方予測用の後方動き検出手段とを有しており、
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、前記後方動き検出手段による後方動き検出が行われていないタイミングであり、当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで、当該ある処理対象フレームの前方動き動き検出を前記後方動き検出手段によって行われるよう制御する
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、当該ある処理対象フレームよりも時間的に後のフレームに対して後方動き検出を行うタイミングをこれらのフレームの符号化タイミングと同期させる
ことを特徴とする請求項３または４に記載の動画像符号化装置。
【請求項６】
参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出手段と、
処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、
前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した場合、増加後挿入される双方向予測符号化フレームの少なくとも１つに対しては前方動き検出が行われないように制御する
ことを特徴とする動画像符号化装置。
【請求項７】
前記動き検出制御手段は、前記前方動き検出を行わない双方向予測符号化フレームにおける前方動き予測参照フレームが前方予測符号化により符号化されるフレームである場合、当該フレームに対し、当該フレームの復号の際に参照フレームがコピーされない符号化方式による符号化を行わせる
ことを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出を含む動画像の符号化方法であって、
フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、前記後方動き検出が行われていないタイミングであり、かつ当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出を行う
ことを特徴とする動画像符号化方法。
【請求項９】
参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き検出を行う動き検出を含む動画像の符号化方法であって、
フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、当該ある処理対象フレームが符号化されるべきタイミングにおいて当該処理対象フレームの前方動き検出を行う
ことを特徴とする動画像符号化方法。
【請求項１０】
参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出を含む動画像符号化方法であって、
フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出を行う
ことを特徴とする動画像符号化方法。
【請求項１１】
参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出を含む動画像の符号化方法であって、
フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した場合、増加後挿入される双方向予測符号化フレームの少なくとも１つに対しては前方動き検出を行わない
ことを特徴とする動画像符号化方法。
【請求項１２】
前記前方動き検出を行わない双方向予測符号化フレームにおける前方動き予測参照フレームが前方予測符号化により符号化されるフレームである場合、当該フレームに対し、当該フレームの復号の際に参照フレームがコピーされない符号化方式による符号化を行わせる
ことを特徴とする請求項１１に記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
従来より、ＭＰＥＧ（Moving Pictures Experts Group）符号化方式は、ＰＣ（Personal Computer）、ＤＶＤ（Digital Versatile Disc）やＨＤＤ（Hard Disk Drive）内蔵のビデオレコーダ、インターネットの普及により、現在もっとも利用されている動画像符号化方式の１つである。
【０００３】
ＭＰＥＧ符号化方式は、ＤＣＴ（Discrete Cosine Transform）と動き補償予測の２つ技術を柱としている。特に動き補償予測に関しては、入力されたフレームのみで予測を行うフレーム内予測（Ｉフレーム）、過去に入力されたフレームから予測を行う前方向予測（Ｐフレーム）、未来に入力されるフレームと過去に入力されたフレームから予測を行う双方向予測（Ｂフレーム）がある。
【０００４】
一般的には各入力フレームは事前に決められた予測方式に則って符号化される。すなわち、Ｉ→Ｂ→Ｂ→Ｐ→Ｂ→Ｂ→Ｐ…といったように入力されたタイミングによって予測方式が決められ、その入力フレームの性質に応じてＩ、Ｐ、Ｂを動的に切り替えることはなかった。このため、動き予測が当たらないようなフレームをＢフレームとして符号化する場合もあり、符号化効率の低下を招く場合が少なくなかった。
【０００５】
そこで、符号化状況や入力フレームの性質に応じて動的に予測方式を変更させる技術が提案されている（例えば、特許文献１、特許文献２参照）。かかる技術では、符号化状況や入力フレームの性質に応じて動的にＩフレームもしくはＰフレーム間（Ｉ／Ｐフレームの間隔を以降、Ｍと呼ぶ。例えば、ＩＢＢＰＢＢＰ…ならばＭ＝３）に挿入されるＢフレームの数を図９に示すように変更することで、符号化効率を向上させている。すなわち、動きが激しいシーンなど双方向予測を行うことが好ましくないフレームについては、前方向予測を行うように変更（Ｍ＝３からＭ＝１へ変更）するといった具合である。
【０００６】
【特許文献１】特開平１１−９８５１４公報
【特許文献２】特開２００２−９４９４５公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、Ｍを動的に変更する場合、つまりＩフレームまたはＰフレーム間に挿入されるＢフレームの数を変更させた場合に、動き検出のタイミングを制御せず変更前と同様な制御を行うと（例えば、図４に示すように、Ｐ４の動き検出を行うタイミングをＰ５が入力されたタイミングｔ５に行う）、動き検出の対象フレーム（Ｐ４フレーム）が符号化不要となれば事前に行った動き検出の処理が無駄になる場合がある。
【０００８】
また、上記問題を考慮した場合でもＭの値が増加するとき、図５に示すように通常１フレーム符号化する間に多くても２回の動き検出で済むところが、増加分のＢフレームの前方向動き検出も行う必要が生じ、あるタイミング（図５の例ではタイミングｔ１０）に動き検出の処理量が集中し、ジッタが発生しやすいという問題が生じる場合もある。
【０００９】
さらに、動き検出器が２並列で動作することが決められているようなハードウェア符号化器では、増加分のＢフレームの前方向動き検出をすべて行うことができない。
【００１０】
本発明は上記の問題点を鑑みてなされたものであり、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が変更された場合であっても、画質劣化や処理負担の増加を抑制することができる動画像符号化装置および動画像符号化方法を提供するものである。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明の一態様は、参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出手段と、処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、当該ある処理対象フレームが符号化されるべきタイミングにおいて当該処理対象フレームの前方動き検出が行われるよう制御することを特徴とする。
【００１２】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出手段と、処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、かつ当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出が行われるよう制御することを特徴とする。
【００１３】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出手段と、処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出が行われるよう制御することを特徴とする。
【００１４】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出手段と、処理対象フレームと参照フレームとを選択して動き検出手段に供給することで動き検出タイミングを制御する動き検出制御手段とを具備し、前記動き検出制御手段は、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した場合、増加後挿入される双方向予測符号化フレームの少なくとも１つに対しては前方動き検出が行われないように制御することを特徴とする。
【００１５】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出を含む動画像の符号化方法であって、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、前記後方動き予測が行われていないタイミングであり、かつ当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出を行うことを特徴とする。
【００１６】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、処理対象フレームの動き予測を行う動き検出を含む動画像の符号化方法であって、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後である処理対象フレームの前方動き検出を行う場合、当該ある処理対象フレームが符号化されるべきタイミングにおいて当該処理対象フレームの前方動き検出を行うことを特徴とする。
【００１７】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出を含む動画像符号化方法であって、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した後である処理対象フレームの前方動き検出を行う場合、前記動き検出手段による後方動き検出が行われていないタイミングであり、当該ある処理対象フレームを符号化すべきタイミング以前のタイミングで前方動き検出を行うことを特徴とする。
【００１８】
また、本発明の別の態様は、参照フレームと処理対象フレームとに基づいて、参照フレームに近い順序で処理対象フレームの動き予測を行う動き検出を含む動画像の符号化方法であって、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が増加した場合、増加後挿入される双方向予測符号化フレームの少なくとも１つに対しては前方動き検出を行わないことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が変更された場合であっても、画質劣化や処理負担の増加を抑制することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照して、この発明にかかる動画像符号化装置および動画像符号化方法の最良な実施の形態を詳細に説明する。
【００２１】
図１は、本発明の実施の形態にかかる動画像符号化方法を実施する動画像符号化装置の構成を示すブロック図である。本実施の形態における動画像符号化装置１００は、入力される動画像をＭＰＥＧ−４形式にしたがって符号化するものであり、入力された動画像の各ＶＯＰ（Video Object Plane）をＩ−ＶＯＰと、Ｐ−ＶＯＰと、Ｂ−ＶＯＰの３種類のいずれかに符号化する。
【００２２】
ここで、Ｉ−ＶＯＰは動き検出を行わずにイントラ符号化されたＶＯＰである。また、Ｐ−ＶＯＰは時間的に直前、すなわち入力順で直前のＩ−ＶＯＰもしくはＰ−ＶＯＰを参照ＶＯＰとして用いて、前方動き検出を行って前方予測符号化したＶＯＰである。そして、Ｂ−ＶＯＰは時間的に直前と直後のＩ−ＶＯＰもしくはＰ−ＶＯＰを参照ＶＯＰとして用いて、前方動き検出と後方動き検出の両方を行う双方向動き検出を行って双方向予測符号化したＶＯＰである。
【００２３】
このような３種類の符号化を行う動画像符号化装置１００の各部の構成について図１を参照しながら説明する。同図に示すように、この動画像符号化装置１００は、ＶＯＰバッファ１１０と、動き検出制御器１２０と、動き検出器１３０と、符号化器１４０とを備える。
【００２４】
ＶＯＰバッファ１１０は、入力される原画像ＶＯＰ（フレーム）を蓄積する。動き検出器１３０は、動き検出制御器１２０から供給される処理対象ＶＯＰ画像および参照ＶＯＰに基づいて、動き予測を行う。
【００２５】
動き検出制御器１２０は、ＶＯＰバッファ１１０に蓄積されたＶＯＰを選択して取りして動き検出器１３０に供給し、動き検出を行わせる。つまり、動き検出制御器１２０は、どの処理対象ＶＯＰについてどの方向の予測を、どのようなタイミングで行うべきかという動き検出器１３０による動き検出タイミング等を制御する。
【００２６】
本実施の形態における動き検出制御器１２０は、符号化器１４０から供給される符号化難易度などの情報に基づき、符号化状況や入力ＶＯＰの性質に応じて動的に予測方式、つまりＩ−ＶＯＰもしくはＰ−ＶＯＰ間（Ｉ／Ｐ−ＶＯＰの間隔を以降、Ｍと呼ぶ。例えば、ＩＢＢＰＢＢＰ…ならばＭ＝３）に挿入されるＢ−ＶＯＰの数を変更させる。なお、動き検出制御器１２０によるタイミング制御等の詳細は後述する。
【００２７】
符号化器１４０は、上記のように動き検出器１３０によって検出された動き検出情報を符号化し、ＭＰＥＧ−４方式の動画像符号化データとして出力する。すなわち、本実施の形態における動画像符号化装置１００は、ＭＰＥＧ−４形式にしたがった動画像符号化処理を行う装置であり、通常のＭＰＥＧ−４形式の符号化装置と同様、ＤＣＴ（Discrete Cosine Transform）器や量子化器などの公知の構成を有している。そして、符号化器１４０には、図示せぬＤＣＴ器から出力されるＤＣＴ係数が量子化されたものが供給され、かかるＤＣＴ係数も符号化されて動画像符号化データとして出力される。
【００２８】
以上が本実施の形態にかかる動画像符号化装置１００の構成である。以下、当該動画像符号化装置１００によって行われる各ＶＯＰに対する動き検出に関する処理について説明する。
【００２９】
ＭＰＥＧ−４符号化方式では、動画像の各ＶＯＰは必ずしも入力順には符号化されない。例えば、Ｂ−ＶＯＰの符号化は、時間的に直前と直後のＰ−ＶＯＰの符号化が終わってから実行される。図２に例示するように、ＶＯＰの入力順序は・・・→Ｐ０→Ｂ１→Ｂ２→Ｐ３→Ｂ４→Ｂ５→Ｐ６→Ｂ７・・・となっているが符号化順は・・・→Ｐ０→Ｂ-２→Ｂ-１→Ｐ３→Ｂ１→Ｂ２→Ｐ６→Ｂ４・・・となる。したがって、本実施の形態における動画像符号化装置１００においては、動画像の各ＶＯＰは必ずしも入力順には符号化されず、図２に例示するような順序で符号化が行われることになる。
【００３０】
ここで、図３は、この動画像符号化装置１００による動き検出タイミング制御の一例を示す。同図は、原画像を使用して入力ＶＯＰ順に前方向動き検出を、後方向動き検出に関しては入力ＶＯＰと逆順に行ってから符号化を行うタイミング、つまり参照ＶＯＰに近い順に動き検出を行う場合であり、この例では、Ｉ／Ｐ−ＶＯＰ間隔は３（Ｍ＝３）に固定されており、Ｍが変更されない場合の動き検出タイミングの一例を示している。
【００３１】
なお、図３中の左右方向は時間方向である。したがって、図３に示す例では、ＶＯＰ（Ｂ２）が入力されたタイミングｔ２において、処理対象ＶＯＰ（Ｂ１）について参照ＶＯＰを（Ｐ０）とする前方向予測が行われるとともに、処理対象ＶＯＰ（Ｂ−２）について参照ＶＯＰを（Ｐ０）とする後方向予測が行われ、さらにこのタイミングにおいてＶＯＰ（Ｂ−２）が符号化される。また、図中右から左方向への矢印が付されたＶＯＰは、前方向予測が行われる対象ＶＯＰであり、左から右方向への矢印が付されたＶＯＰは、後方向予測が行われる対象ＶＯＰであり、それぞれの対象ＶＯＰの上方にあるＶＯＰが参照ＶＯＰである。
【００３２】
このようにＭが変更されない場合（Ｍ＝３）には、動き検出制御器１２０による制御の下、動き検出器１３０によって図３に示すようなタイミングで各ＶＯＰの動き検出が行われる。例えば、ＶＯＰ（Ｂ２）が入力されるタイミングｔ２になると、動き検出制御器１２０は、前方向予測を行う対象ＶＯＰとしてＢ２、その参照ＶＯＰとしてＰ０、後方向予測を行う対象ＶＯＰとしてＢ−２、その参照ＶＯＰとしてＰ０を選択して動き検出器１３０に供給するといった制御を行う。これにより当該タイミングｔ２において、動き検出器１３０によって、参照ＶＯＰをＰ０とするＶＯＰ（Ｂ２）に対する前方動き検出と、参照ＶＯＰをＰ０とするＶＯＰ（Ｂ−２）に対する後方動き検出とが行われる。
【００３３】
上述したように本実施の形態では、Ｍを任意に変更することが可能であり、例えば、動きが激しくＶＯＰ間の相関が低いシーンではＢ−ＶＯＰの双方向予測を用いずに、Ｉ−ＶＯＰもしくはＰ−ＶＯＰのみで符号化することにより、符号化効率を向上させるといったことが可能となっている。例えば、動き予測に不向きなシーンではＭ＝１とし、動き予測が効果的なシーンではＭ＝３とすればよい（Ｍの値は当然１、３だけでなく任意の値が設定可能であるが、以下図を用いて説明する際はＭ＝１、３としている）。
【００３４】
参照ＶＯＰに近い順に動き検出を行い、かつＭの値を動的に変更すると動き検出の参照ＶＯＰや対象ＶＯＰも動的に変わる。以下、本実施の形態にかかる動画像符号化装置１００において、Ｍの値を変化させた場合、つまりＩ−ＶＯＰもしくはＰ−ＶＯＰ間に挿入されるＢ−ＶＯＰの数を変更させた場合の動き検出タイミング制御について説明する。なお、かかるタイミング制御は、動き検出制御器１２０の制御により実現される。
【００３５】
まず、Ｍの値を小さく変更した場合の動き検出タイミング制御について図４を参照しながら説明する。図４はＭ＝３→１および１→３に変更させた場合の動画像符号化装置１００における動き検出タイミングを示す。
【００３６】
図４に示す例では、本来（Ｍ＝３の場合）、Ｂ−ＶＯＰとなるはずであった４番目と５番目のＶＯＰが、それぞれＰ−ＶＯＰとなるように変更されている（Ｍ＝３→Ｍ＝１）。また、Ｍ＝１であれば、Ｐ−ＶＯＰとなるはずの７番目と８番目のＶＯＰがＢ−ＶＯＰとなるように再度変更されている（Ｍ＝１→Ｍ＝３）。
【００３７】
このような変更がなされた場合、図中破線で示すように、ＶＯＰ（Ｐ３）を参照ＶＯＰ、Ｐ４を処理対象ＶＯＰとして動き検出をするタイミング（Ｍ＝３→１）としては、ＶＯＰ（Ｐ５）が入力されたタイミングｔ５で行うことも可能である。しかし、ＶＯＰスキップが存在するＭＰＥＧ−４では、Ｐ４がＶＯＰスキップする可能性があり、Ｐ５が入力されたタイミングｔ５で動き検出を行ってみたもののＰ４を実際に符号化するタイミングｔ７で符号化を行わないとなれば、この動き検出処理は無駄となる。
【００３８】
そこで、本実施の形態における動画像符号化装置１００では、Ｍの値が減少した場合、動き検出制御器１２０は、Ｐ−ＶＯＰの符号化を行うタイミングと動き検出を行うタイミングとが同時となるよう制御する。これにより、ＶＯＰスキップのために必要のなくなった処理を発生させないようにする。
【００３９】
すなわち、上記例の場合には、動き検出制御器１２０は、Ｐ４を符号化するタイミングｔ７において、ＶＯＰ（Ｐ３）を参照ＶＯＰ、Ｐ４を処理対象ＶＯＰとする動き検出がなされるよう制御する。これによりＰ４をスキップするか否かを、Ｐ３を参照してＰ４を符号化するタイミングｔ７前に判別することができ、スキップする場合にはかかる動き検出を行わないよう制御することができる。これにより無駄な処理が行われることを抑制することができる。
【００４０】
次に、Ｍの値を大きく変更した場合の動き検出タイミング制御について図４〜図７を参照しながら説明する。図４に示す例では、Ｐ６を参照ＶＯＰ、Ｐ９を対象ＶＯＰとして動き検出するタイミング（Ｍ＝１→３）はタイミングｔ１０しかない。つまり、このままでは図４からわかるように、Ｂ７、Ｂ８に関して前方向動き検出を行うことができない。
【００４１】
図５に示すように、タイミングｔ１０において、Ｐ６を参照ＶＯＰとして同時にＢ７、Ｂ８およびＰ９といった３つのＶＯＰ分の動き検出を行えば、Ｂ７、Ｂ８に関しても前方向動き検出を行うことは可能である。しかしながら、この処理はソフトウェアなどで実装された符号化器ならば実現可能であるが、ハードウェアで実装された符号化器では実現困難な場合が多い。
【００４２】
例えば、図６に示すように動き検出手段として前方向用の動き検出器１２、後方向用の動き検出器１３をそれぞれ１つずつ有する構成のハードウェア符号化器を備える装置では、上記のＢ７、Ｂ８といったＶＯＰに対する前方向動き予測を行うことができない。なお、前方向用の動き検出器１２、後方向用の動き検出器１３は、それぞれ１ＶＯＰ符号化する間に１度しか動き検出を実行できない検出器である。また、ソフトウェアで実装された動き検出器であっても、同時に複数の動き検出を行うと処理負担が増加してしまい、ジッタ等の画質劣化の原因となるおそれがある。
【００４３】
そこで、本実施の形態における動画像符号化装置１００では、動き検出器の処理能力に制約がある場合であっても、効率的に当該処理能力を利用するように動き検出タイミングを制御している。より具体的には、図７に示すように、動き検出制御器１２０は、後方向動き予測が行われていないタイミング（ｔ９）において、上記のように前方向動き予測ができなかった処理対象ＶＯＰ（Ｂ７、Ｂ８）の前方向予測を行うよう制御する。
【００４４】
図６に示すように、動き検出手段として前方向用の動き検出器１２、後方向用の動き検出器１３をそれぞれ１つずつ有する構成の場合、後方向用の動き検出器１３のアイドル状態時を利用して、後方向用動き検出器で前方向動き検出を行うのである。より具体的には、動き検出制御器１２０は、後方動き検出が行われていないタイミングｔ９においてＶＯＰバッファ１１０から参照ＶＯＰ（Ｐ６）と対象ＶＯＰ（Ｂ７）を後方向動き検出器１３に供給して動き検出を行わせる。
【００４５】
そして、１ＶＯＰにそれぞれの動き検出器が１度しか処理できない場合にはＢ７、Ｂ８のいずれかについて後方向動き検出器１３が前方向動き検出を行えば、前方向動き検出を行うことができるＶＯＰの数を図５の状態よりも多くすることができる。また、ソフトウェアにより動き検出器を実装する構成であっても、同時に行うべき動き検出処理の数を減少させることができるので、処理負担を低減することができる。
【００４６】
以上説明したように本実施の形態では、符号化状況や入力ＶＯＰの性質に応じて動的にＭを変更させた場合であっても、動き検出制御器１２０がこの変更に応じて動き検出器１３０による動き検出タイミングを制御するようにしたので、当該変更に伴う処理負担増加や動き検出ができなくなってしまうＶＯＰが多数発生するといった不具合を抑制することができる。
【００４７】
（変形例）
なお、本発明は、上述した実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００４８】
（変形例１）
上述した実施の形態では、Ｍが減少した後に、処理対象フレームを符号化すべきタイミングで当該処理対象フレームの前方動き検出を行うよう検出タイミングを制御していたが、Ｍが減少した場合にＰ−ＶＯＰの符号化を行うタイミングを以下の条件を満たすタイミングで行うよう制御するようにしてもよい。
（１）動き検出器１３０による後方動き予測が行われていないタイミング
（２）処理対象ＶＯＰを符号化すべきタイミング以前（符号化タイミングを含む）のタイミング
【００４９】
図４に示す例におけるＰ４を処理対象フレームとした場合について、上記条件を満たすタイミングはＰ６またはＰ７が入力されるタイミングであり、このようなタイミングでＰ４の符号化を行うようにすれば、動き検出器１３０による後方動き検出が行われていないタイミングで前方動き検出を行うことができる。したがって、ソフトウェアにより動き検出器が実装されている装置などにおいては、動き検出による処理負担を低減することができ、ジッタ等に起因して画質が劣化するおそれを低減することができる。
【００５０】
（変形例２）
また、上述した実施の形態では、Ｍが増加した後、後方動き検出がなされていないタイミングで、Ｂ−ＶＯＰの前方動き検出を行うようにしていたが（図７参照）、かかる場合において図９に示すように、Ｂ−ＶＯＰの後方動き検出のタイミングを、これらのＶＯＰを符号化すべきタイミングと同時とするようにしてもよい。
【００５１】
すなわち、上記実施の形態では、１ＶＯＰに前方用および後方用の動き検出器が１度しか処理できない場合にはＢ７、Ｂ８のいずれかについてのみ後方動き検出しかなしえなかった（図７参照）。そこで、図８に示すように、動き検出制御器１２０は、Ｂ７、Ｂ８といったＭの増加により挿入されたＢ−ＶＯＰの後方動き検出タイミングと、これらのＶＯＰを符号化すべきタイミングとが同時になるように制御する。
【００５２】
具体的には、通常Ｂ８、Ｂ７といった順序で行われる後方動き検出のタイミング（図７のｔ１０、ｔ１１参照）を変更し、タイミングｔ１１においてＢ７の後方動き検出が行われ、タイミングｔ１２においてＢ８の後方動き検出が行われるよう制御するのである。このようにすることで、タイミングｔ１０において後方動き検出を行うべきＶＯＰがなくなり、このタイミングにおいてＢ８の前方動き検出を行うことができる。
【００５３】
すなわち、タイミングｔ９でＢ７の前方動き検出、タイミングｔ１０でＢ８の前方動き検出、タイミングｔ１１でＢ７の後方動き検出、タイミングｔ１１でＢ８の後方動き検出を行うことができ、Ｍの増加により挿入されたＢ−ＶＯＰについて前方および後方の動き検出を行うことができる。
【００５４】
これにより、図６に示すように動き検出手段として前方向用の動き検出器１２、後方向用の動き検出器１３をそれぞれ１つずつ有する構成のハードウェア符号化器を備える装置であっても、挿入されるＢ７、Ｂ８といったＶＯＰに対する前方向動き予測を行うことができるようになる。また、ソフトウェアにより動き検出を行う構成の装置であっても、同時に行う動き検出処理数を削減することができ、ジッタ等を抑制することができる等の効果が得られる。
【００５５】
（変形例３）
また、上述した実施の形態では、Ｍが増加した後のＢ−ＶＯＰ（Ｂ７、Ｂ８）については、後方動き検出が行われていないタイミング（図７のタイミングｔ９）で前方動き検出を行うようにすることで、増加挿入されたＢ−ＶＯＰについて前方向検出が極力行われるようにしていた。
【００５６】
しかしながら、図６に示すようなハードウェア構成において、前方向用の動き検出器１２は前方向のみ、後方向用の動き検出器１３は後ろ方向のみの動き検出が可能な構成となっている場合などには、上記実施の形態のような検出タイミング制御を行っても追加挿入されたＢ７、Ｂ８について後方向用の動き検出器１３を利用することができず、後方向動き検出を行うことができない。
【００５７】
このようにＭの増加により挿入されたＢ−ＶＯＰについて前方向動き検出が行えない場合には、前方向動き検出を行わないようにしてもよい。そもそも、ＭＰＥＧ−４形式の符号化におけるＢ−ＶＯＰは常に前後方向の動き検出を行う必要はあるわけではなく、後方向または前方向のみの動き検出を行う場合もある。したがって、上記のようにＭが増加したことによって前方向動き検出ができなくなる場合には前方向動き検出を行わないようにしてもよい。
【００５８】
このように挿入されるＢ−ＶＯＰの少なくとも１つについて前方向動き検出を行わない場合において、それより表示される時間が後のＶＯＰ、つまりＢ−ＶＯＰにおける前方動き予測参照ＶＯＰがＩ−ＶＯＰではなく、前方予測符号化により符号化されるＰ−ＶＯＰである場合には、動き検出制御器１２０は、そのＰ−ＶＯＰのマクロブロックの符号化モードとして「ＮｏｔＣｏｄｅｄ」で符号化することを禁止するよう制御する。つまり、追加挿入されたＢ−ＶＯＰの次のＰ−ＶＯＰについては、参照ＶＯＰと極めて近似する画像である場合であっても、符号化不要とせず、参照画面からコピーするといった復号処理が行われないようにするのである。
【００５９】
このようにすることで、以下の理由により、Ｂ−ＶＯＰの前方向動き検出を行わないことに伴う画質劣化を低減することができる。すなわち、ＭＰＥＧ−４形式では、「ＮｏｔＣｏｄｅｄ」フラグが存在するのは、Ｐ−ＶＯＰであり、Ｂ−ＶＯＰには存在しない。Ｂ−ＶＯＰにおいては、マクロブロックが符号化されるか否かは、直前に符号化を行ったＰ−ＶＯＰ（入力順では直後のＰ−ＶＯＰ）の「ＮｏｔＣｏｄｅｄ」フラグに依存する。
【００６０】
つまり、Ｐ−ＶＯＰのある位置のマクロブロックが「ＮｏｔＣｏｄｅｄ」である場合、同一位置にあるＢ−ＶＯＰのマクロブロックは符号化がスキップされ、復号化するときには当該マクロブロックについては参照画面の同位置のマクロブロックの情報がそのままコピーされて用いられる。
【００６１】
したがって、Ｂ−ＶＯＰのみが参照ＶＯＰに対して変化が大きい場合には、符号化誤差が大きくなってしまう。例えば、Ｉ−ＶＯＰとＰ−ＶＯＰの間に挿入されるＢ−ＶＯＰの画像にフラッシュが映し出されている場合などがある。このような場合、参照ＶＯＰとＢ−ＶＯＰの画像の相関性は低くなるが、フラッシュが映らないＩ−ＶＯＰとＰ−ＶＯＰの相関性が高くなることがあり、その結果Ｐ−ＶＯＰのマクロブロックが「ＮｏｔＣｏｄｅｄ」となってしまうことがある。すると、これを参照するＢ−ＶＯＰについても、上記のように参照ＶＯＰと同位置のマクロブロック情報がそのままコピーされて利用されてしまい、大きな符号化誤差が生じてしまう。
【００６２】
そこで、本変形例では、挿入されるＢ−ＶＯＰの少なくとも１つについて前方向動き検出を行わない場合において、その後のＶＯＰがＰ−ＶＯＰであるときには、当該Ｐ−ＶＯＰとその参照ＶＯＰの相関性の度合いにかかわらず、当該Ｐ−ＶＯＰのマクロブロックの符号化モードとして「ＮｏｔＣｏｄｅｄ」で符号化することを禁止するよう制御する。これにより上述したようなＢ−ＶＯＰのみが参照ＶＯＰに対して変化が大きい場合に生じる符号化誤差の発生を抑制することができ、画質劣化を低減することができるのである。
【００６３】
（変形例４）
また、上述した実施の形態においては、本発明をＭＰＥＧ−４形式にしたがって符号化する動画像符号化装置および方法に適用した場合について説明したが、ＭＰＥＧ−４方式に限定されるものではなく、フレーム内符号化、前方予測符号化または双方向予測符号化といった３種類の符号化を行い、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数を変更することが可能な動画像符号化装置および方法に適用することができる。
【産業上の利用可能性】
【００６４】
以上のように、本発明にかかる動画像符号化装置および方法は、ＭＰＥＧ形式の符号化装置等に有用である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態にかかる動画像符号化装置の構成を示す図である。
【図２】ＭＰＥＧ−４符号化方式の画像の入力順と符号化順序との関係を示す図である。
【図３】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が一定の場合における、前記動画像符号化装置による動き検出タイミングを示す図である。
【図４】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した場合の前記動画像符号化装置による動き検出タイミングを示す図である。
【図５】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後、増加した場合に生じる問題を説明するための図である。
【図６】前記動画像符号化装置の構成要素である動き検出器の構成例を示す図である。
【図７】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後、増加した場合における、前記動画像符号化装置による動き検出タイミングを示す図である。
【図８】フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数が減少した後、増加した場合における、前記動画像符号化装置による動き検出タイミングの変形例を示す図である。
【図９】動画像符号化装置において、フレーム内符号化または前方予測符号化により符号化される２つのフレーム間に挿入される双方向予測符号化フレームの数を動的に変化させる様子を模式的に示す図である。
【符号の説明】
【００６６】
１２  前方向用の動き検出器
１３  後方向用の動き検出器
１００  動画像符号化装置
１１０  ＶＯＰバッファ
１２０  動き検出制御器
１３０  動き検出器
１４０  符号化器
【図１】
2005101972.tif 000003
【図２】
2005101972.tif 000004
【図３】
2005101972.tif 000005
【図４】
2005101972.tif 000006
【図５】
2005101972.tif 000007
【図６】
2005101972.tif 000008
【図７】
2005101972.tif 000009
【図８】
2005101972.tif 000010
【図９】
2005101972.tif 000011