(57)【要約】【課題】画面外領域への拡張を図る際、外部フレームメモリに対する冗長なアクセスを減らして、転送帯域を削減することができる動き補償予測装置を得ることを目的とする。【解決手段】画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、読み出しデータ制御器６が参照画像用メモリ５に格納されている画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、その探索範囲の画像データを参照画像の画像データとして動き補償予測器１に出力する。【選択図】図１
2009284002.tif 000002
【特許請求の範囲】
【請求項１】
動画像の画像データと参照画像の画像データから動き補償用の最適ベクトルを算出する動き補償予測器と、画面サイズとマクロブロックの位置から探索範囲を特定して、上記探索範囲の中に画面外の領域が含まれているか否かを判定する画面外領域判定手段と、上記画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリから上記探索範囲の画像データを読み出して、上記画像データを参照画像用メモリに格納し、上記画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、上記外部フレームメモリから画面外の領域を除く探索範囲の画像データを読み出して、上記画像データを上記参照画像用メモリに格納する画像データ取得手段と、上記画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、上記参照画像用メモリに格納されている画像データを上記参照画像の画像データとして上記動き補償予測器に出力し、上記画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、上記参照画像用メモリに格納されている画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、上記探索範囲の画像データを上記参照画像の画像データとして上記動き補償予測器に出力する画像データ拡張手段とを備えた動き補償予測装置。
【請求項２】
画像データ拡張手段は、画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、参照画像用メモリに格納されている画像データの画面端画素を画面外の領域にコピーすることで、探索範囲の画像データを構築することを特徴とする請求項１記載の動き補償予測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像の画像データと参照画像の画像データから動き補償用の最適ベクトルを算出する動き補償予測装置に関するものである。
【背景技術】
【０００２】
例えば、Ｈ．２６４の規格で定められている動き補償予測では、探索範囲の中に画面外の領域が含まれている場合、画面端の画素を画面外の領域にコピーすることで、画面外領域への拡張を図ることにより、画面外の探索を実現している。
ただし、画像データは、一般的に、データ量が非常に多いため、外部のフレームメモリに格納されることが多い。
したがって、外部フレームメモリから画像データを読み出す際に、画面端の画素を画面外の領域にコピーすることで、画面外領域への拡張を図る場合、何度も外部フレームメモリの同じアドレスにアクセスする必要があり、外部フレームメモリへの転送帯域を圧迫することがある。
【０００３】
なお、以下の特許文献１には、参照画像用メモリを用意して、その参照画像用メモリに拡張部分（画面端の画素がコピーされた画面外の領域）を上書きすることで、画面外領域への拡張を図っている技術が開示されている。
この場合、動き補償予測器が動画像の画像データと参照画像の画像データから動き補償用の最適ベクトルを算出するに際して、拡張部分を参照画像用メモリに上書きする処理と、その参照画像用メモリから拡張部分を読み出して動き補償予測器に出力する処理とが必要となるため、多くの処理時間を要する。
【０００４】
【特許文献１】特開２００６−２８７５８３号公報（段落番号［００１４］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の動き補償予測装置は以上のように構成されているので、探索範囲の中に画面外の領域が含まれている場合、画面端の画素を画面外の領域にコピーすることで、画面外領域への拡張を図れば、画面外の探索を実現することができる。しかし、外部フレームメモリから画像データを読み出す際に、画面端の画素を画面外の領域にコピーすることで、画面外領域への拡張を図る場合、何度も外部フレームメモリの同じアドレスにアクセスする必要があり、外部フレームメモリへの転送帯域を圧迫することがあるなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、画面外領域への拡張を図る際、外部フレームメモリに対する冗長なアクセスを減らして、転送帯域を削減することができる動き補償予測装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る動き補償予測装置は、画面サイズとマクロブロックの位置から探索範囲を特定して、その探索範囲の中に画面外の領域が含まれているか否かを判定する画面外領域判定手段と、画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリから探索範囲の画像データを読み出して、その画像データを参照画像用メモリに格納し、画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、外部フレームメモリから画面外の領域を除く探索範囲の画像データを読み出して、その画像データを参照画像用メモリに格納する画像データ取得手段とを設け、画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、画像データ拡張手段が参照画像用メモリに格納されている画像データを参照画像の画像データとして動き補償予測器に出力し、画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、画像データ拡張手段が参照画像用メモリに格納されている画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、その探索範囲の画像データを参照画像の画像データとして動き補償予測器に出力するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、画面サイズとマクロブロックの位置から探索範囲を特定して、その探索範囲の中に画面外の領域が含まれているか否かを判定する画面外領域判定手段と、画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリから探索範囲の画像データを読み出して、その画像データを参照画像用メモリに格納し、画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、外部フレームメモリから画面外の領域を除く探索範囲の画像データを読み出して、その画像データを参照画像用メモリに格納する画像データ取得手段とを設け、画面外領域判定手段の判定結果が画面外の領域が含まれていない旨を示している場合、画像データ拡張手段が参照画像用メモリに格納されている画像データを参照画像の画像データとして動き補償予測器に出力し、画面外領域判定手段の判定結果が画面外の領域が含まれている旨を示している場合、画像データ拡張手段が参照画像用メモリに格納されている画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、その探索範囲の画像データを参照画像の画像データとして動き補償予測器に出力するように構成したので、画面外領域への拡張を図る際、外部フレームメモリに対する冗長なアクセスを減らして、転送帯域を削減することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による動き補償予測装置を示す構成図であり、図において、動き補償予測器１は動画像の画像データと参照画像の画像データから動き補償用の最適ベクトル（動きベクトル）を算出する処理を実施する。
画面外制御器２は画面サイズとＭＢ位置（マクロブロックの位置）から探索範囲を特定して、その探索範囲の中に画面外の領域が含まれているか否かを判定する処理を実施する。なお、画面外制御器２は画面外領域判定手段を構成している。
【００１０】
外部フレームメモリ３は例えば１画面分の画像データ（例えば、前回入力された動画像の画像データ）を格納しているメモリである。
メモリアドレス生成器４は画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリ３から画面外制御器２により特定された探索範囲の画像データを読み出して、その画像データを参照画像用メモリ５に格納し、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、外部フレームメモリ３から画面外の領域を除く探索範囲の画像データを読み出して、その画像データを参照画像用メモリ５に格納する処理を実施する。
また、メモリアドレス生成器４は読み出しデータ制御器６が参照画像用メモリ５から画像データを読み出す際のメモリアドレスを生成する処理を実施する。
なお、メモリアドレス生成器４は画像データ取得手段を構成している。
【００１１】
読み出しデータ制御器６は画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、メモリアドレス生成器４により生成されたメモリアドレスにアクセスして、参照画像用メモリ５に格納されている画像データを読み出し、その画像データを参照画像の画像データとして動き補償予測器１に出力し、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、メモリアドレス生成器４により生成されたメモリアドレスにアクセスして、参照画像用メモリ５に格納されている画像データを読み出し、その画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、その探索範囲の画像データを参照画像の画像データとして動き補償予測器１に出力する処理を実施する。
なお、メモリアドレス生成器４及び読み出しデータ制御器６から画像データ拡張手段が構成されている。
【００１２】
図２は水平方向のマクロブロックの個数が８個で、垂直方向のマクロブロックの個数が４個の画面サイズの画面において、探索範囲が水平±８で垂直±８である探索例を示す説明図である。
図２では、マクロブロックのサイズが“１６×１６”であり、（水平８、垂直１）の位置に存在するマクロブロックを中心とする探索範囲（水平±８、垂直±８）を探索する例を示している。
【００１３】
図３は（水平８、垂直１）の位置に存在するマクロブロックを中心とする探索範囲（水平±８、垂直±８）を示す拡大図である。
図３の灰色の部分の領域は、画面外の領域であって、画面端の画素がコピーされる領域である。
図４は参照画像用メモリ５の一例を示す説明図である。
図４では、３２ビット・３２ｗｏｒｄのメモリが８個用いられている例を示している。
また、図４の例では、１画素が８ビットであるため、１ｗｏｒｄは４画素である。
【００１４】
図５は図３の探索範囲の画像データが参照画像用メモリ５に格納されている例を示す説明図である。
図５の例では、探索範囲の中心がメモリ（３），メモリ（４），メモリ（５），メモリ（６）のアドレス（８）〜アドレス（２３）の領域であり、水平方向±８・垂直方向±８の探索範囲の画像データを格納している。
図５の例では、図２に示すような探索範囲を想定しているので、灰色の部分の領域が画面外の領域となる。また、灰色の部分の領域については、外部フレームメモリ３から画像データの転送が行われないため（詳細は後述する）、前の処理で使用された画像等の無効データが格納されていることがあるが、そのような無効データが格納されていても動作には影響しない。
【００１５】
次に動作について説明する。
画面外制御器２は、画面サイズとＭＢ位置（マクロブロックの位置）を入力すると、その画面サイズとＭＢ位置から探索範囲を特定して、その探索範囲の中に画面外の領域が含まれているか否かを判定する。
例えば、入力された画面サイズが図２の画面のサイズを示し、入力されたＭＢ位置が（水平８、垂直１）の位置を示す場合、そのＭＢ位置に存在するマクロブロックを中心とする探索範囲（水平±８、垂直±８）は図３のようになり、図３の灰色の部分の領域（画面上側８画素分の領域と画面右側８画素分の領域）が画面外の領域となる。
したがって、この場合には、その探索範囲の中に画面外の領域が含まれていると判定される。
【００１６】
メモリアドレス生成器４は、画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリ３から、画面外制御器２により特定された探索範囲（水平±８、垂直±８）の画像データを読み出して、その画像データを参照画像用メモリ５に格納する。
一方、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合には、図５に示すように、外部フレームメモリ３から、画面外制御器２により特定された探索範囲（水平±８、垂直±８）のうち、画面外の領域を除く（図３の灰色の部分の領域を除く）探索範囲の画像データを読み出して、その画像データを参照画像用メモリ５に格納する。
【００１７】
メモリアドレス生成器４は、画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、参照画像用メモリ５に格納されている全ての画像データを読み出すメモリアドレスを生成する。
読み出しデータ制御器６は、メモリアドレス生成器４により生成されたメモリアドレスにアクセスして、参照画像用メモリ５に格納されている全ての画像データを読み出し、その画像データを参照画像の画像データとして動き補償予測器１に出力する。
【００１８】
メモリアドレス生成器４は、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、参照画像用メモリ５に格納されている画面外の領域を除く（図３の灰色の部分の領域を除く）探索範囲の画像データを読み出すメモリアドレスを生成する。
読み出しデータ制御器６は、メモリアドレス生成器４により生成されたメモリアドレスにアクセスして、参照画像用メモリ５に格納されている画面外の領域を除く探索範囲の画像データの読み出しを行う。
【００１９】
読み出しデータ制御器６は、画面外の領域を除く探索範囲の画像データの読み出しを行うと、その画像データを画面外の領域まで拡張して探索範囲の画像データを構築する。
即ち、読み出しデータ制御器６は、画面外の領域を除く探索範囲の画像データの画面端画素を画面外の領域にコピーすることで、探索範囲の画像データを構築する。
例えば、画面外の領域のうち、画面上側８画素分の領域については、アドレス（８）の画素（図６において、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの符号が付されている画像データの画素）が画面端画素となるので、図７に示すように、この画面端画素を画面上側８画素分の領域にコピーすることで、探索範囲の画像データを構築する。
【００２０】
また、画面外の領域のうち、画面右側８画素分の領域については、メモリ（６）に格納されている画像データの右端の画素（図６〜図８において、Ｆ，Ｆ，Ｆ，Ｆ，Ｆ，Ｆ，Ｆ，Ｆ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｏ，Ｐ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚ，ＡＡ，ＡＢ，ＡＣの符号が付されている画像データの右端の画素）が画面端画素となるので、図８に示すように、この画面端画素を画面右側８画素分の領域にコピーすることで、探索範囲の画像データを構築する。
【００２１】
読み出しデータ制御器６は、上記のようにして、画面外の領域を除く探索範囲の画像データの画面端画素を画面外の領域にコピーすることで、探索範囲の画像データを構築すると、その探索範囲の画像データを参照画像の画像データとして動き補償予測器１に出力する。
【００２２】
動き補償予測器１は、読み出しデータ制御器６から参照画像の画像データを受けると、動画像の画像データと参照画像の画像データから動き補償用の最適ベクトルを算出する。
動き補償用の最適ベクトルの算出処理は公知の技術であるため、ここでは詳細な説明を省略する。
【００２３】
以上で明らかなように、この実施の形態１によれば、画面サイズとマクロブロックの位置から探索範囲を特定して、その探索範囲の中に画面外の領域が含まれているか否かを判定する画面外制御器２と、画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、外部フレームメモリ３から探索範囲の画像データを読み出して、その画像データを参照画像用メモリ５に格納し、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、外部フレームメモリ３から画面外の領域を除く探索範囲の画像データを読み出して、その画像データを参照画像用メモリ５に格納するメモリアドレス生成器４とを設け、画面外制御器２の判定結果が画面外の領域が含まれていない旨を示している場合、読み出しデータ制御器６が参照画像用メモリ５に格納されている画像データを参照画像の画像データとして動き補償予測器１に出力し、画面外制御器２の判定結果が画面外の領域が含まれている旨を示している場合、読み出しデータ制御器６が参照画像用メモリ５に格納されている画像データを画面外の領域まで拡張して探索範囲の画像データを構築し、その探索範囲の画像データを参照画像の画像データとして動き補償予測器１に出力するように構成したので、画面外領域への拡張を図る際、外部フレームメモリ３に対する冗長なアクセスを減らして、転送帯域を削減することができる効果を奏する。
即ち、探索範囲の中に画面外の領域が含まれている場合に、何度も外部フレームメモリ３の同じアドレスにアクセスすることなく、画面外領域への拡張を図ることができるため、転送帯域を削減することができる。
【００２４】
なお、この実施の形態１では、探索範囲が、画面の右上に存在するマクロブロックを中心とする探索範囲である例を示したが、これは一例に過ぎず、他のマクロブロックを中心とする探索範囲であっても、同様の効果を奏することができる。
【図面の簡単な説明】
【００２５】
【図１】この発明の実施の形態１による動き補償予測装置を示す構成図である。
【図２】水平方向のマクロブロックの個数が８個で、垂直方向のマクロブロックの個数が４個の画面サイズの画面において、探索範囲が水平±８で垂直±８である探索例を示す説明図である。
【図３】（水平８、垂直１）の位置に存在するマクロブロックを中心とする探索範囲（水平±８、垂直±８）を示す拡大図である。
【図４】参照画像用メモリ５の一例を示す説明図である。
【図５】図３の探索範囲の画像データが参照画像用メモリ５に格納されている例を示す説明図である。
【図６】画面外の領域を除く探索範囲の画像データの画面端画素を示す説明図である。
【図７】画面外の領域のうち、画面上側８画素分の領域への画像データの拡張を示す説明図である。
【図８】画面外の領域のうち、画面右側８画素分の領域への画像データの拡張を示す説明図である。
【符号の説明】
【００２６】
１  動き補償予測器、２  画面外制御器（画面外領域判定手段）、３  外部フレームメモリ、４  メモリアドレス生成器（画像データ取得手段、画像データ拡張手段）、５  参照画像用メモリ、６  読み出しデータ制御器（画像データ拡張手段）。
【図１】
2009284002.tif 000003
【図２】
2009284002.tif 000004
【図３】
2009284002.tif 000005
【図４】
2009284002.tif 000006
【図５】
2009284002.tif 000007
【図６】
2009284002.tif 000008
【図７】
2009284002.tif 000009
【図８】
2009284002.tif 000010