(57)【特許請求の範囲】
【請求項１】
入力される入力画像を画面内予測もしくは画面間予測によって符号化する映像符号化部と、
前記映像符号化部における前記符号化において使用される使用データを、記録内容保持のためのリフレッシュを必要とする揮発性メモリである外部メモリに記録し、前記外部メモリをリフレッシュするメモリコントローラと、
を有し、
前記映像符号化部は、
前記外部メモリとの間で前記使用データの転送を行わない空き時間に前記外部メモリのリフレッシュを行うことが可能か否かを判定する帯域判定手段と、
前記帯域判定手段において前記外部メモリのリフレッシュを行うことができないと判定された場合に、前記使用データが前記外部メモリのリフレッシュサイクル以内に前記符号化において使用されるように前記画面内予測もしくは前記画面間予測における参照関係を設定する参照画面選択手段と、を有し、さらに、
前記メモリコントローラは、前記帯域判定手段において前記外部メモリのリフレッシュを行うことが可能であると判定された場合には、前記空き時間内に前記外部メモリのリフレッシュを行うことを特徴とする映像符号化装置。
【請求項２】
前記帯域判定手段は、前記入力画像を構成する画素のうち、前記入力画像の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、前記算出値が前記所定値未満である場合には前記外部メモリのリフレッシュを行うことが可能であると判定し、前記算出値が前記所定値以上である場合には前記外部メモリのリフレッシュを行うことができないと判定することを特徴とする請求項１に記載の映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する映像符号化装置に関し、特に、ＤＲＡＭ（Dynamic  Random  Access  Memory）を使用した外部メモリに、予測符号化技術における再構成画像やストリームをバッファリングする映像符号化装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤ（Digital  Versatile  Disc）などの大容量記憶媒体と大画面映像表示機器の利用などにより、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスや表示デバイスの高解像度化と共に、動画符号化技術において高解像度で符号化する技術も必要不可欠となっている。
【０００３】
たとえば高解像度かつ高画質な符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣ（Advanced  Video  Coding）がある。符号化処理とは、入力画像である原画像を、より少ないデータ量のストリームに変換する処理である。Ｈ．２６４／ＡＶＣ符号化方式では、画面内予測（フレーム内予測）や画面間予測（フレーム間予測）等の予測技術を用いた符号化を行う。
【０００４】
ところで、Ｈ．２６４／ＡＶＣ符号化で用いられる予測方式には、主に画面内予測と画面間予測の二つの予測方式がある。さらに、画面内予測では、予測の単位となるブロックのサイズや予測方向の組み合わせに応じて複数の予測方式が用意されている。画面間予測においても、予測の単位となるブロックのサイズに応じて複数の予測方式が用意されている。Ｈ．２６４／ＡＶＣでは、目標とする画質や符号量に応じてこれらの予測方式を動的に選択することで、高画質かつ高圧縮な符号化方式を実現している。
【０００５】
ここで、図９を用いて、Ｈ．２６４／ＡＶＣ符号化の概要について説明する。図９は、Ｈ．２６４／ＡＶＣ符号化処理を行う従来の映像符号化装置の構成を示す図である。
【０００６】
画面内予測を用いた符号化処理では、モード選択部９３０が画面内予測部９１０側を選択する。そして、画面内予測部９１０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て原画像９０からストリーム９１を得る。また、画面間予測を用いた符号化処理では、モード選択部９３０が画面間予測部９２０側を選択する。そして、画面間予測部９２０、直交変換部９４０、量子化部９５０、および可変長符号化部９８０を経て、原画像９０からストリーム９１を得る。
【０００７】
次に、Ｈ．２６４／ＡＶＣ符号化における各処理の内容を説明する。
【０００８】
画面内予測部９１０は、原画像９０、および、逆直交変換部９７０から出力される復元差分画像９７とモード選択部９３０によって出力される予測画像９５とが足し合わされて構成される再構成画像９２が入力される。そして、原画像９０と、再構成画像９２とから、画面内予測処理により適切な画面内予測モードを選択し、画面内予測モードのモード情報を表す画面内予測情報Ｄ８１、予測結果である画面内予測画像９３、および、原画像９０と画面内予測画像９３との差分を表す画面内予測誤差Ｄ８２を生成する。
【０００９】
画面間予測部９２０は、入力される原画像９０とその前後（過去または未来）の原画像９０とから生成された再構成画像９２の入力を受け付け、画面間予測情報Ｄ８３、画面間予測画像９４、および、原画像９０と画面間予測画像９４との差分を表す画面間予測誤差Ｄ８４を生成する。
【００１０】
符号化制御部９９０は、画面内予測部９１０から入力される画面内予測誤差Ｄ８２、画面間予測部９２０から入力される画面間予測誤差Ｄ８４、および可変長符号化部９８０から入力される符号量情報Ｄ８６（後述）から、モード選択アルゴリズムに従い、画面内予測および画面間予測のいずれかの符号化モードを決定する。そして、決定した符号化モードを示すモード選択情報Ｄ８７をモード選択部９３０に出力する。また、レート制御アルゴリズムに従い、量子化係数Ｄ８８を決定し、量子化部９５０に出力する。
【００１１】
なお、モード選択アルゴリズムおよびレート制御アルゴリズムは、ストリーム９１の符号量および画質に大きな影響を与える為、符号化対象となる原画像９０の内容や映像符号化の用途によって様々な方式が存在している。
【００１２】
モード選択部９３０は、符号化制御部９９０から入力されたモード選択情報Ｄ８７に従い、画面内予測部９１０が選択されている場合は画面内予測画像９３を、画面間予測部９２０が選択されている場合は画面間予測画像９４を、予測画像９５として出力する。
【００１３】
直交変換部９４０は、原画像９０と予測画像９５との差分である差分画像９６から、直交変換処理によって周波数成分Ｄ８９を生成する。
【００１４】
量子化部９５０は、符号化制御部９９０から入力される量子化係数Ｄ８８と、直交変換部９４０から入力される周波数成分Ｄ８９とから量子化処理を行い、情報量を削減した量子化値Ｄ９０を出力する。
【００１５】
逆量子化部９６０は、量子化値Ｄ９０に対して逆量子化処理を行い、復元周波数成分Ｄ９１を生成する。
【００１６】
逆直交変換部９７０は、復元周波数成分Ｄ９１に対して逆直交変換処理を行い、復元差分画像９７を生成する。そして、生成された復元差分画像９７と、モード選択部９３０によって出力された予測画像９５とが足し合わされて、再構成画像９２として記憶される。
【００１７】
可変長符号化部９８０は、量子化値Ｄ９０と、画面内予測情報Ｄ８１もしくは画面間予測情報Ｄ８３を、より少ないデータ量のデータ列に符号化し、ストリーム９１として出力する。また、符号量情報Ｄ８６を符号化制御部９９０に出力する。符号量情報Ｄ８６は可変長符号化後のストリーム９１の符号量を示す情報である。
【００１８】
なお、Ｈ．２６４／ＡＶＣ符号化では、１６×１６の画素値で構成されるマクロブロック（以下、適宜「ＭＢ」と称する）を処理単位として符号化動作が行われる。処理画面中においてＭＢの処理対象となる領域は、処理画面の左上からラスタスキャン順に画面全体を一定間隔ごとに移動する。
【００１９】
ここで、映像符号化処理を実装する場合、一般に再構成画像９２やストリーム９１などの大容量データは外部メモリに書き出される。この外部メモリには、主に大容量かつ低コストなＤＲＡＭが利用されている。ＤＲＡＭは、キャパシタに電荷を付加することで情報を記録する記録方式のメモリである。
【００２０】
従って、ＤＲＡＭではキャパシタは電荷が付加されてから一定時間で失われてしまい、記録された情報が消失してしまう可能性がある。そこで、ＤＲＡＭには各キャパシタの値を読み出し再度上書きするリフレッシュと言う動作モードが用意されている。
【００２１】
また、ＤＲＡＭではキャパシタから電荷を読み出す際にもキャパシタに蓄えられていた電荷は失われてしまうため、読み出しと同時に自動的に読み出した情報を再書き込みする機能が備わっている。これにより、ＤＲＡＭ上に記録した情報は、キャパシタの電荷が失われる前に読み出すか、リフレッシュ動作を実行することで、消失を防ぐことができる。
【００２２】
しかし、リフレッシュ動作中は、ＤＲＡＭへのアクセスが出来なくなる。そのため、リフレッシュを行うことで、ＤＲＡＭの転送帯域が低下してしまうと言う問題があった。このような問題に対して、例えば、特許文献１のような技術が提案されている。特許文献１は、３次元コンピュータグラフィックスを行う画像処理装置に関するものである。
【００２３】
特許文献１に記載の画像処理装置では、リフレッシュ中のＤＲＡＭへのアクセス禁止による影響でデータ転送速度が低下してしまうという問題を、データ転送を行わない水平帰線期間中にリフレッシュを行う方法によって解決している。また、この方法によって、定常動作中のメモリ帯域を削減することなくＤＲＡＭ内のデータ消失を防ぎ、高速な画像処理を実現している。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開平６−２５１１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
このように、特許文献１に記載の画像処理装置では、ＤＲＡＭへのアクセスを行わない期間中にリフレッシュを行うことで、定常動作中のメモリ帯域を削減することなくＤＲＡＭ上のデータ消失を防ぎ高速な画像処理を実現している。
【００２６】
また、その一方で、水平帰線期間や垂直帰線期間のサイクル数が短くなるような、より大きな画面サイズで符号化を行いたいと言う要望がある。
【００２７】
しかしながら、特許文献１に開示のリフレッシュ方法は、水平帰線期間というＤＲＡＭへのアクセスを行わない期間があるために実現できる技術である。そのため、画面サイズがより大きいためにフレームレートを一定とすると水平帰線期間および垂直帰線期間が相対的に小さくなる場合や、帰線期間中に音声データの転送などの理由によりＤＲＡＭへのアクセスを行う為にデータ転送を行わない空き時間が少ない場合は、リフレッシュを行う時間を確保できず、ＤＲＡＭ上のデータ消失の問題を解決できなかった。
【００２８】
そこで、本発明はこれらの課題に鑑みて、映像符号化装置においてリフレッシュを行う十分な時間が確保できないより大きな画面サイズの映像を符号化する場合においても、ＤＲＡＭ上のデータ消失を防止し、データの破綻を防止することが可能な映像符号化装置を提供することを目的としている。
【課題を解決するための手段】
【００２９】
上記課題を解決するために、本発明は、入力される入力画像を画面内予測もしくは画面間予測によって符号化する映像符号化部と、前記映像符号化部における前記符号化において使用される使用データを、記録内容保持のためのリフレッシュを必要とする揮発性メモリである外部メモリに記録し、前記外部メモリをリフレッシュするメモリコントローラと、を有し、前記映像符号化部は、前記外部メモリとの間で前記使用データの転送を行わない空き時間に前記外部メモリのリフレッシュを行うことが可能か否かを判定する帯域判定手段と、前記帯域判定手段において前記外部メモリのリフレッシュを行うことができないと判定された場合に、前記使用データが前記外部メモリのリフレッシュサイクル以内に前記符号化において使用されるように前記画面内予測もしくは前記画面間予測における参照関係を設定する参照画面選択手段と、を有し、さらに、メモリコントローラは、前記帯域判定手段において前記外部メモリのリフレッシュを行うことが可能であると判定された場合には、前記空き時間内に前記外部メモリのリフレッシュを行うことを特徴とする映像符号化装置を提案する。
【００３０】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【００３１】
また、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できる画面サイズの映像の場合には、外部メモリのリフレッシュを行って符号化を行うことができる。
【００３２】
また、前記帯域判定手段は、前記入力画像を構成する画素のうち、前記入力画像の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、前記算出値が前記所定値未満である場合には前記外部メモリのリフレッシュを行うことが可能であると判定し、前記算出値が前記所定値以上である場合には前記外部メモリのリフレッシュを行うことができないと判定するようになっていてもよい。
【００３３】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【発明の効果】
【００３４】
本発明によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【図面の簡単な説明】
【００３５】
【図１】第１の実施形態に係る映像符号化装置の構成例を示すブロック図である。
【図２】第１の実施形態に係る映像符号化部１１０の構成例を示すブロック図である。
【図３】第１の実施形態に係る符号化制御部２００の構成例を示すブロック図である。
【図４】第１の実施形態に係る帯域判定部３１０の構成例を示すブロック図である。
【図５−１】リフレッシュが必要となる参照関係の一例を示す図である。
【図５−２】リフレッシュが不要となる参照関係の一例を示す図である。
【図６】符号量制御部３３０において実行されるレート制御の概念を説明する図である。
【図７】１ＭＢ処理時間内にメモリコントローラ２９０が外部メモリ１２０に発行可能なコマンド列を示した図である。
【図８】第２の実施形態に係る帯域判定部３１０の構成例を示すブロック図である。
【図９】従来の映像符号化装置の構成を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００３７】
［第１の実施形態］
（映像符号化装置の構成）
以下に、本実施形態に係る映像符号化装置の構成を説明する。図１は、本実施形態に関る映像符号化装置の構成例を示すブロック図である。
【００３８】
図１に示される映像符号化装置１は、映像符号化部１１０と、外部メモリ１２０と、映像符号化部１１０と外部メモリ１２０とを接続するメモリバス１３０とを含んで構成される。
【００３９】
映像符号化部１１０は、映像符号化装置１の外部からの原画像１０と符号化設定情報Ｓ１との入力を受け付け、ストリーム１１を出力する。符号化設定情報Ｓ１は、映像符号化部１１０の動作を制御するための情報である。また、符号化設定情報Ｓ１は、符号量制御設定情報Ｄ２５やモード選択設定情報Ｄ２４や参照画面設定情報Ｄ２３、映像情報Ｄ２１を含むものである。
【００４０】
外部メモリ１２０は、記録内容保持のためのリフレッシュを必要とする揮発性メモリである。本実施形態においては、外部メモリ１２０は、ＤＲＡＭによって実装されるものとする。外部メモリ１２０は、後述するように、メモリバス１３０を経由して、映像符号化部１１０から出力される再構成画像１２、画面間予測画像１４、ストリーム１１などをバッファリングする。
【００４１】
なお、映像符号化装置１は、図示しないＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）等のメモリ、ハードディスク等の記憶装置、ネットワークインターフェイス等の一般的なコンピュータの構成と同様の構成により実現される。また、映像符号化装置１の各構成の機能は、例えば、ＣＰＵがハードディスク等に記憶されているプログラムを読み出して実行することにより、もしくは、例えば、ＦＰＧＡ（Field  Programmable  Gate  Array）においてシーケンサロジックをカスタム設計することに実現される機能である。
【００４２】
（映像符号化部１１０の構成）
以下、映像符号化部１１０の各構成について説明する。図２は、映像符号化部１１０の構成例を示す図である。
【００４３】
映像符号化部１１０は、符号化制御部２００、画面内予測部２１０、画面間予測部２２０、モード選択部２３０、直交変換部２４０、量子化部２５０、逆量子化部２６０、逆直交変換部２７０、可変長符号化部２８０、メモリコントローラ２９０を含んで構成される。
【００４４】
ここで、符号化制御部２００とメモリコントローラ２９０以外の構成については、図９に示される従来の映像符号化装置の各構成と同様の機能を有する。以下の説明においては、従来技術と同様部分については適宜、説明を簡略化する。
【００４５】
画面内予測部２１０は、原画像１０と再構成画像１２との入力を受け付け、複数の画面内予測モードを評価する。そして、最も予測符号量が小さかった画面内予測モードにおける画面内予測符号量Ｄ２を符号化制御部２００に、その画面内予測モードＤ１を可変長符号化部２８０に、画面内予測画像１３をモード選択部２３０に出力する。
【００４６】
画面間予測部２２０は、メモリコントローラ２９０から再構成画像１２が、映像符号化部１１０の外部から原画像１０が入力される。そして、複数の画面間予測モードを評価する。その結果、最も予測符号量の小さかった画面間予測モードにおける画面間予測符号量Ｄ４を符号化制御部２００に、その画面間予測モードＤ３を可変長符号化部２８０に、画面間予測画像１４をメモリコントローラ２９０に出力する。
【００４７】
モード選択部２３０は、画面内予測部２１０からは画面内予測画像１３が、メモリコントローラ２９０からは画面間予測画像１４が、符号化制御部２００からはモード選択信号Ｄ７が入力される。モード選択信号Ｄ７は、図９におけるモード選択情報Ｄ８７と同様の情報である。そして、モード選択部２３０は、モード選択信号Ｄ７に従って、画面内予測画像１３もしくは画面間予測画像１４を予測画像１５として出力する。
【００４８】
直交変換部２４０は、予測画像１５と原画像１０との差分となる差分画像１６に対して直交変換処理を行い、周波数成分Ｄ９を出力する。
【００４９】
量子化部２５０は、符号化制御部２００からは量子化パラメータＤ８が、直交変換部２４０からは周波数成分Ｄ９が入力される。量子化パラメータＤ８は、図９における量子化係数Ｄ８８と同様の情報である。そして量子化部２５０は、量子化パラメータＤ８と周波数成分Ｄ９とから量子化を行い、量子化値Ｄ１０を出力する
可変長符号化部２８０は、量子化部２５０からは量子化値Ｄ１０が、画面内予測部２１０からは画面内予測モードＤ１が、画面間予測部２２０からは画面間予測モードＤ３が入力される。そして、可変長符号化を行い、ストリーム１１をメモリコントローラ２９０に、符号量情報Ｄ６を符号化制御部２００に、出力する。符号量情報Ｄ６は、図９の符号量情報Ｄ８６と同様の情報である。
【００５０】
逆量子化部２６０は、量子化部２５０から量子化値Ｄ１０が入力され、逆量子化して復元周波数成分Ｄ１１を出力する。
【００５１】
逆直交変換部２７０は、逆量子化部２６０から復元周波数成分Ｄ１１が入力され、復元差分画像１７を出力する。
【００５２】
また、逆直交変換部２７０から出力された復元差分画像１７と、モード選択部２３０から出力された予測画像１５は、それらの和を取って再構成画像１２とされる。
【００５３】
メモリコントローラ２９０は、再構成画像１２と、画面間予測部２２０から出力される画面間予測画像１４とを、メモリバス１３０経由で外部メモリ１２０に書き込む。また、可変長符号化部２８０から出力されるストリーム１１をメモリバス１３０経由で外部に出力する。また、データ転送が行われない空き時間には外部メモリ１２０に対してリフレッシュコマンドを発行する。
【００５４】
その後、メモリコントローラ２９０は、符号化制御部２００から参照関係設定情報Ｄ１２が入力される。そして、映像符号化処理の進捗に合わせて、画面間予測部２２０には再構成画像１２を、モード選択部２３０には画面間予測画像１４を、映像符号化部１１０の外部にはストリーム１１を、外部メモリ１２０から、それぞれ読み出す。参照関係設定情報Ｄ１２については、後に詳述する。
【００５５】
符号化制御部２００は、映像符号化部１１０の外部からは符号化設定情報Ｓ１が、画面内予測部２１０からは画面内予測符号量Ｄ２が、画面間予測部２２０からは画面間予測符号量Ｄ４が、可変長符号化部２８０からは符号量情報Ｄ６が入力される。また、符号化制御部２００は、参照関係設定情報Ｄ１２、モード選択信号Ｄ７、および量子化パラメータＤ８を出力する。符号化制御部２００の構成については、後に詳述する。
【００５６】
（符号化制御部２００の構成）
以下、符号化制御部２００に関して詳細に説明する。図３は、本実施形態に係る符号化制御部２００の構成例を示す図である。
【００５７】
符号化制御部２００は、帯域判定部３１０、参照画面選択部３２０、符号量制御部３３０、モード選択部３４０、設定レジスタ３５０を含んで構成される。
【００５８】
帯域判定部３１０は、外部メモリ１２０と符号化制御部２００との間で映像符号化部１１０における符号化において使用される使用データの転送を行わない空き時間に外部メモリ１２０のリフレッシュを行うことが可能か否かを判定する。
【００５９】
具体的には、例えば、設定レジスタ３５０から出力される映像情報Ｄ２１から、メモリコントローラ２９０と外部メモリ１２０との間で使用される帯域（すなわち、データ転送率）を、後述する帯域判定アルゴリズムを用いて算出する。この算出された帯域に基づいて、外部メモリ１２０のリフレッシュを行うだけの空き時間がある場合は帯域判定信号Ｄ２２を“１”、リフレッシュを行うだけの空き時間が無い場合は帯域判定信号Ｄ２２を“０”として出力する。
【００６０】
また、帯域判定部３１０は、原画像１０を構成する画素のうち、原画像１０の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、算出値が所定値未満である場合には外部メモリ１２０のリフレッシュを行うことが可能であると判定し、算出値が所定値以上である場合には外部メモリ１２０のリフレッシュを行うことができないと判定するようになっていてもよい。
【００６１】
また、帯域判定部３１０は、原画像１０を構成する画素のうち、原画像１０の横の画素数と縦の画素数とに基づいて算出された算出値と所定値との比較に加えて、原画像１０の画素ビット深度、もしくは原画像１０の輝度成分および色差成分とにも基づいて、外部メモリ１２０のリフレッシュを行うことが可能か否かを判定するようになっていてもよい。
【００６２】
帯域判定部３１０における処理については、後に詳述する。
【００６３】
参照画面選択部３２０は、帯域判定部３１０からは帯域判定信号Ｄ２２が、設定レジスタ３５０からは参照画面設定情報Ｄ２３が入力され、参照関係設定情報Ｄ１２を出力する。
【００６４】
参照画面選択部３２０は、帯域判定部３１０において外部メモリ１２０のリフレッシュを行うことができないと判定された場合に、映像符号化部１１０における符号化において使用される使用データが外部メモリ１２０のリフレッシュサイクル以内に符号化において使用されるように、画面内予測もしくは画面間予測における参照関係を設定する。
【００６５】
参照画面選択部３２０における処理については、後に詳述する。
【００６６】
なお、メモリコントローラ２９０は、帯域判定部３１０において外部メモリ１２０のリフレッシュを行うことが可能であると判定された場合には、データの転送を行わない空き時間内に外部メモリ１２０のリフレッシュを行う。
【００６７】
モード選択部３４０は、画面内予測部２１０と画面間予測部２２０からは、それぞれ画面内予測符号量Ｄ２と画面間予測符号量Ｄ４が、設定レジスタ３５０からはモード選択設定情報Ｄ２４が入力され、モード選択信号Ｄ７を出力する。モード選択信号Ｄ７は、図９におけるモード選択情報Ｄ８７と同様の情報であり、モード選択部３４０における処理は、従来の一般的な映像符号化装置における処理と同様である。
【００６８】
符号量制御部３３０は、可変長符号化部２８０から符号量情報Ｄ６が、設定レジスタ３５０から符号量制御設定情報Ｄ２５が、帯域判定部３１０から帯域判定信号Ｄ２２が入力され、量子化パラメータＤ８を出力する。量子化パラメータＤ８は、図９における量子化係数Ｄ８８と同様の情報であり、符号量制御部３３０における処理は、従来の一般的な映像符号化装置における処理と同様である。
【００６９】
具体的には、符号量制御部３３０は、画面内予測もしくは画面間予測によって生成される予測画像１５と原画像１０との差分である差分画像１６の周波数成分に対して実行される量子化部２５０における量子化処理に関するレート制御を行う。また、符号量制御部３３０は、帯域判定部３１０において外部メモリ１２０のリフレッシュを行うことができないと判定された場合には、目標ビットレートと外部メモリ１２０のリフレッシュサイクルとに基づいてレート制御を行う。
【００７０】
符号量制御部３３０における処理については、後に詳述する。
【００７１】
設定レジスタ３５０は、映像符号化部１１０の外部から入力される符号化設定情報Ｓ１を記録し、モード選択設定情報Ｄ２４、映像情報Ｄ２１、参照画面設定情報Ｄ２３、符号量制御設定情報Ｄ２５を出力する。具体的には、設定レジスタ３５０は、符号化設定情報Ｓ１について、種類ごとの設定情報に分類し、モード選択設定情報Ｄ２４、映像情報Ｄ２１、参照画面設定情報Ｄ２３、符号量制御設定情報Ｄ２５を出力する。
【００７２】
（帯域判定アルゴリズム）
ここで、帯域判定部３１０で用いられる帯域判定アルゴリズムの概念について、具体例を挙げて説明する。
【００７３】
本実施形態においては、前提条件を以下の通りとする。すなわち、映像符号化装置１は、原画像１０が画面横１２８０画素、画面縦７２０画素、フレームレートが６０のプログレッシブ映像である場合に、水平帰線期間および垂直帰線期間内に１フレーム当たり４０００回のリフレッシュコマンドを発行するだけの空き時間を確保しているとする。
【００７４】
一方で、使用している外部メモリ１２０は、データを保持し続けるためにはリフレッシュサイクルである６４ｍｓ（マイクロ秒。以下同様。）の間に８１９２回以上のリフレッシュコマンドの発行が必要であるとする。また、１ＭＢ（マクロブロック。以下同様。）処理サイクル中にリフレッシュコマンドは最大８回発行可能であるとする。
【００７５】
以上の条件の元で、映像符号化装置１に入力される映像の画面が、横１９２０画素、縦１０８８画素、フレームレートが３０のインタレース映像となった場合の帯域判定方法を以下に示す。
【００７６】
まず、外部メモリ１２０のデータを保持しながら、画面横１２８０画素、画面縦７２０画素、フレームレートが６０のプログレッシブ映像から、処理マクロブロック数をどれだけ増やすことが可能であるかを示すリフレッシュ許容増加マクロブロック数を計算する。
【００７７】
リフレッシュ許容増加マクロブロック数は、以下の計算式によって求められる。
７２０ｐ空き時間ＭＢ処理回数−必要リフレッシュ回数／１ＭＢ当たりのリフレッシュコマンド発行可能回数（式（１））
ここで、「７２０ｐ空き時間ＭＢ処理回数」は、本例のプログレッシブ映像において１秒間のうちＭＢ処理を行っていない水平帰線期間および垂直帰線期間の間に処理可能なマクロブロックの総数である。よって、リフレッシュ許容増加マクロブロック数は、４０００×６０／８−８１９２×１０００／６４／８＝３００００−１６０００＝１４０００ＭＢ、となる。
【００７８】
次に、外部メモリ１２０のデータを保持しながら許容できる１フレーム当たりの処理マクロブロック数（以下、許容処理ＭＢ数という）を計算する。許容処理ＭＢ数は、以下の計算式によって求められる。（なお、マクロブロックは、１６×１６の画素値で構成される。）
７２０ｐＭＢ処理数＋リフレッシュ許容増加マクロブロック数（式（２））
ここで、「７２０ｐＭＢ処理数」は、本例のプログレッシブ映像において１秒間に処理されるマクロブロックの総数である。また、リフレッシュ許容増加マクロブロック数は、前述したように、１４００００ＭＢである。よって、許容処理ＭＢ数の上限値（以下、リフレッシュ許容マクロブロック数上限値という）は、１２８０／１６×７２０／１６×６０＋１４０００＝２１６０００＋１４０００＝２３００００ＭＢ（式（３））、となる。
【００７９】
次に、画面横１９２０画素、画面縦１０８８画素、フレームレートが３０のインタレース映像では、７２０ｉＭＢ処理数（本例のインタレース映像において１秒間に処理されるマクロブロックの総数）は、１９２０／１６×１０８８／１６×６０／２＝２４４８００と計算される。
【００８０】
ここで、リフレッシュ許容マクロブロック数上限値は、前述したように、２３００００ＭＢであり、２４４８００ＭＢはこれを上回るＭＢ数となる。よって、横１９２０画素、縦１０８８画素、ピクチャーレートが６０（フレームレートが３０）のインタレース映像はリフレッシュが出来ないという判定となる。よって、この場合は、帯域判定信号Ｄ２２として“０”の値が帯域判定部３１０から出力される。
【００８１】
（帯域判定部３１０）
以下、前述の帯域判定アルゴリズムが実装された帯域判定部３１０の構成について説明する。図４は、本実施形態に係る帯域判定部３１０の構成例を示す図である。
【００８２】
帯域判定部３１０は、映像の画面横ＭＢ数３２、画面縦ＭＢ数３３、フィールドレート３１からなる映像情報Ｄ２１が入力される。そして、前述の帯域判定アルゴリズムに従った判定を行い、帯域判定信号Ｄ２２を出力する。
【００８３】
なお、インタレース映像での画面縦ＭＢ数３３は、プログレッシブ映像での同じ画面サイズの画面縦ＭＢ数３３の半分の値になっているものとする。
【００８４】
図４の乗算器３１１０は、上記式（２）に従って、画面横ＭＢ数３２と、画面縦ＭＢ数３３と、フィールドレート３１の３つの値を乗算し、乗算した結果を許容処理ＭＢ数Ｄ３１として出力する。
【００８５】
比較器３１２０は、出力された許容処理ＭＢ数Ｄ３１と、リフレッシュ許容マクロブロック数上限値３４とを比較して、許容処理ＭＢ数Ｄ３１がリフレッシュ許容マクロブロック数上限値３４よりも小さければ“１”を、許容処理ＭＢ数Ｄ３１がリフレッシュ許容マクロブロック数上限値３４以上であれば“０”を帯域判定信号Ｄ２２として帯域判定部３１０外部に出力する。なお、リフレッシュ許容マクロブロック数上限値３４には、例えば、前述の式（３）で求められる定数値“２３００００”が割り当てられる。
【００８６】
（参照画面選択部３２０）
以下に、参照画面選択部３２０の構成を説明する。
【００８７】
参照画面選択部３２０は、帯域判定部３１０からは帯域判定信号Ｄ２２が、設定レジスタ３５０からは参照画面設定情報Ｄ２３が入力され、参照関係設定情報Ｄ１２を出力する。
【００８８】
具体的には、帯域判定信号Ｄ２２の値が“１”の場合は、参照関係設定情報Ｄ１２には、設定レジスタ３５０から入力された参照画面設定情報Ｄ２３に従った参照関係が設定される。帯域判定信号Ｄ２２の値が“０”の場合は、参照関係設定情報Ｄ１２には、リフレッシュが不要となるような参照関係が設定される。
【００８９】
図５−１は、リフレッシュを必要とする参照関係の一例を示す図である。図５−１に示した参照関係では、トップフィールドとＧＯＰ（Group  Of  Pictures）先頭のフレームのボトムフィールドは常にＧＯＰ先頭のフレームのトップフィールドを、ボトムフィールドは常にＧＯＰ先頭のフレームのボトムフィールドを参照する関係となる。
図５−２は、リフレッシュが不要となる参照関係の一例を示す図である。図５−２に示される参照関係では、トップフィールドは常に１つ前のフレームのトップフィールドを、ボトムフィールドは常に直前のトップフィールドを参照する関係となる。
【００９０】
フィールドレートが“６０”の場合は１フィールドの処理時間が１６．６ｍｓとなる。そのため、図５−１に示される参照関係では、フィールド番号“４”以降のフィールドでは、参照先がリフレッシュサイクル６４ｍｓ以内に存在するフィールドとはならず、リフレッシュが必要となる。一方で、図５−２に示す参照関係では、参照先は常にリフレッシュサイクル６４ｍｓ以内に存在するフィールドとなり、リフレッシュが不要となる。
【００９１】
すなわち、図５−２に例示するようなリフレッシュが不要となる参照関係を強制的に適用することで、符号化処理に十分な外部メモリ帯域を確保し、データの破綻の無い符号化を行うことができる。
【００９２】
なお、リフレッシュを不要とする場合に適用される参照関係は、図５−２に示される参照関係に限定されるものではない。いずれの再構成画像もリフレッシュサイクル以内に参照されるか上書きされる、もしくはリフレッシュサイクル経過後は参照されない為にリフレッシュの必要が無い、という条件を満たすならば、用途や目的に応じて適切な参照関係を設定することができる。
【００９３】
（符号量制御部３３０）
図６は、符号量制御部３３０において実行されるレート制御の概念を説明する図である。図６に示されるグラフにおいて、縦軸は符号量制御用のバッファ（以下、「符号量制御バッファ」という）の使用量を示し、横軸は時間を示す。すなわち、図６のグラフにおける実線６２０は、時間軸上での符号量制御バッファの使用量をプロットしたものである。また、破線６１０は、符号量制御バッファのサイズ（以下、「符号量制御サイズ」という）を示す線である。
【００９４】
符号量制御部３３０では、図６のグラフに示されるように、一定のビットレートで増加するバッファ使用量（実線６２０）が符号量制御サイズ（破線６１０）をオーバーフローならびにアンダーフローしないようにレート制御が行われる。
【００９５】
また、符号量制御部３３０は、帯域判定信号Ｄ２２の入力を受け付けて、レート制御の符号量制御サイズの値を切り替える。具体的には、帯域判定信号Ｄ２２が“１”の場合は、リフレッシュが可能であるため、通常通り符号量制御サイズは外部からの設定に従いレート制御を行う。
【００９６】
一方、帯域判定信号Ｄ２２が“０”の場合は、リフレッシュが不可能であるため、リフレッシュサイクル以上の期間においてはストリーム１１が外部メモリ１２０内に留まる事がないように、符号量制御サイズは以下の計算式によって求められる値を使用する。なお、「目標ビットレート」とは、映像符号化装置が出力するストリームの時間当たりの目標符号量を意味する。
符号量制御サイズ＝目標ビットレート×リフレッシュサイクル（式（４））
例えば、リフレッシュが不可能で、目標ビットレートが２０Ｍｂｐｓ（メガビット／秒）、リフレッシュサイクルが６４ｍｓの場合は、符号量制御サイズは１６０Ｋｂｙｔｅ（キロバイト）と設定される。
【００９７】
これにより、リフレッシュを行うための空き時間を確保できないような、より大きな画面サイズの映像においても、符号量制御サイズを制限することでストリーム１１がリフレッシュサイクルを超えてバッファ内に留まることがないため、符号化処理に十分な外部メモリ１２０の帯域を確保し、データの破綻の無い符号化を行うことが出来るようになる。
【００９８】
なお、リフレッシュ不可能な映像に適用されるレート制御方式は、前述したレート制御方式に限定されるものではない。映像符号化処理によって生成されるストリーム１１がリフレッシュサイクル以上の期間、外部メモリ１２０内に留まることがない、という条件を満たすならば、用途や目的に応じて適切な方式を採用することが出来る。
【００９９】
［第２の実施形態］
以下、本発明の第２の実施の形態として、映像符号化装置１が画素ビット深度や色差形式（Ｙ、Ｃｂ、Ｃｒ）を選択することを可能とした場合について説明する。
【０１００】
図７は、画素ビット深度と色差形式がそれぞれ、４：２：２／１０ｂｉｔ（ビット）、４：２：２／８ｂｉｔ、４：２：０／１０ｂｉｔとした場合における、１ＭＢ処理時間内にメモリコントローラ２９０が外部メモリ１２０に発行可能なコマンド列を簡略化して示した図である。
【０１０１】
本例においては、以下を前提条件とした。すなわち、１ＭＢ処理時間は２５６サイクル（図７においては「ｃｙｃ」と表記）とした。また、メモリコントローラ２９０が外部メモリ１２０に発行するコマンド（以下、適宜「データ転送コマンド」という）のうち、「ＲｅｆＲＤ」、「ＰｒｅｄＲＤ」、「ＳｔｒＲＤ」は、それぞれ映像符号化に関わるデータの読み込みコマンドである。また、「ＲｅｆＷＴ」、「ＰｒｅＷＴ」、「ＳｔｒＷＴ」は、それぞれ映像符号化に関わるデータの書き込みコマンドである。
【０１０２】
画素ビット深度と色差形式がそれぞれ４：２：２／１０ｂｉｔの場合、各データ転送コマンドの消費サイクルは、簡単のために全て４０サイクルで終了するものとする（図７（ａ））。なお、以下においては、「Ｒｅｆｌｅｓｈ」はリフレッシュコマンドであり、３５サイクル消費するものとする。
【０１０３】
ここで、画素ビット深度が８ｂｉｔの場合や、色差形式が４：２：０の場合などは、画像データのデータ量が減少するため、映像符号化に関わるデータの転送量も減少する。また、画素ビット深度と色差形式がそれぞれ４：２：２／８ｂｉｔの場合は全てのデータ転送コマンドが３２サイクルで、４：２：０／１０ｂｉｔの場合は全てのデータ転送コマンドが３０サイクルで実施可能である（図７（ｂ）、（ｃ））。
【０１０４】
よって、図７に示されるとおり、２５６サイクルの１ＭＢ処理時間において、データ転送を行わない空き時間が生じる（時間Ｔ１、Ｔ２）。メモリコントローラ２９０は、この空き時間を利用して３５サイクルを使用するリフレッシュコマンドの発行が可能になる。
【０１０５】
そこで、本実施形態における帯域判定部３１０では、画面横ＭＢ数と画面縦ＭＢ数とフィールドレートとに加えて、画素ビット深度と色差形式も判定の対象に含めることとする。
【０１０６】
（帯域判定部３１０）
図８は、本実施形態に係る帯域判定部３１０の構成例を示す図である。
【０１０７】
帯域判定部３１０は、画面横ＭＢ数３２、画面縦ＭＢ数３３、フィールドレート３１、画素ビット深度４１、および色差形式４２を含む映像情報Ｄ２１が入力される。そして、前述の帯域判定アルゴリズムに従った判定を行い、帯域判定信号Ｄ２２を出力する。具体的には、以下の通りである。
【０１０８】
なお、インタレース映像での画面縦ＭＢ数３３は、プログレッシブ映像での同じ画面サイズの画面縦ＭＢ数３３の半分の値になっているものとする。
【０１０９】
乗算器３１１０は、上記式（２）に従って、画面横ＭＢ数３２と、画面縦ＭＢ数３３と、フィールドレート３１の３つの値を乗算し、乗算した結果を許容処理ＭＢ数Ｄ３１として出力する。
【０１１０】
比較器３１２０は、出力された許容処理ＭＢ数Ｄ３１と、リフレッシュ許容マクロブロック数上限値３４とを比較して、許容処理ＭＢ数Ｄ３１がリフレッシュ許容マクロブロック数上限値３４よりも小さければ“１”を、リフレッシュ許容マクロブロック数上限値３４以上であれば“０”を処理ＭＢ数判定信号Ｄ４１として出力する。
【０１１１】
比較器３１３０は、画素ビット深度４１が最大画素ビット深度（すなわち、１０ビット）４３と等しいならば“０”を、これよりも小さいならば“１”を画素ビット深度判定信号Ｄ４２として出力する。
【０１１２】
比較器３１４０は、色差形式４２が最大色差形式（すなわち、４：２：２）４４と一致するならば“０”を、一致しないならば“１”を色差形式判定信号Ｄ４３として出力する。
【０１１３】
論理和器３１５０は、処理ＭＢ数判定信号Ｄ４１と、画素ビット深度判定信号Ｄ４２と、色差形式判定信号Ｄ４３の論理和を、帯域判定信号Ｄ２２として出力する。
【０１１４】
これによって、画素ビット深度４１が８ｂｉｔの場合や、色差形式４２が４：２：０の場合などのように、画面サイズが最大サイズでもリフレッシュ可能な空き時間が生じる場合には、リフレッシュコマンドを発行する様に動作を切り替えることができる。
【０１１５】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、前述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【０１１６】
（付記１）
入力される入力画像を画面内予測もしくは画面間予測によって符号化する映像符号化部と、
前記映像符号化部における前記符号化において使用される使用データを、記録内容保持のためのリフレッシュを必要とする揮発性メモリである外部メモリに記録し、前記外部メモリをリフレッシュするメモリコントローラと、
を有し、
前記映像符号化部は、
前記外部メモリとの間で前記使用データの転送を行わない空き時間に前記外部メモリのリフレッシュを行うことが可能か否かを判定する帯域判定手段と、
前記帯域判定手段において前記外部メモリのリフレッシュを行うことができないと判定された場合に、前記使用データが前記外部メモリのリフレッシュサイクル以内に前記符号化において使用されるように前記画面内予測もしくは前記画面間予測における参照関係を設定する参照画面選択手段と、を有し、さらに、
前記メモリコントローラは、前記帯域判定手段において前記外部メモリのリフレッシュを行うことが可能であると判定された場合には、前記空き時間内に前記外部メモリのリフレッシュを行うことを特徴とする映像符号化装置。
【０１１７】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１１８】
また、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できる画面サイズの映像の場合には、外部メモリのリフレッシュを行って符号化を行うことができる。
【０１１９】
（付記２）
前記帯域判定手段は、前記入力画像を構成する画素のうち、前記入力画像の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、前記算出値が前記所定値未満である場合には前記外部メモリのリフレッシュを行うことが可能であると判定し、前記算出値が前記所定値以上である場合には前記外部メモリのリフレッシュを行うことができないと判定することを特徴とする付記１に記載の映像符号化装置。
【０１２０】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１２１】
（付記３）
前記符号化制御手段は、
前記画面内予測もしくは前記画面間予測によって生成される予測画像と前記入力画像との差分である差分画像の周波数成分に対して実行される量子化処理に関するレート制御を行う符号量制御手段をさらに有し、
前記符号量制御手段は、前記帯域判定手段において前記外部メモリのリフレッシュを行うことができないと判定された場合には、目標ビットレートと前記外部メモリのリフレッシュサイクルとに基づいて前記レート制御を行うことを特徴とする付記２に記載の映像符号化装置。
【０１２２】
この構成によれば、量子化処理に関するレート制御を行うことでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１２３】
（付記４）
前記帯域判定手段は、前記算出値と前記所定値との比較に加えて、前記入力画像の画素ビット深度、もしくは前記入力画像の輝度成分および色差成分とにも基づいて、前記外部メモリのリフレッシュを行うことが可能か否かを判定することを特徴とする付記２に記載の映像符号化装置。
【０１２４】
画面サイズが最大サイズでも、画素ビット深度や色差形式によっては、リフレッシュ可能な空き時間が存在する場合がある。よって、画素ビットや色差形式をも帯域判定の対象とすることで、リフレッシュ可能な空き時間が生じる場合には、リフレッシュコマンドを発行する様に動作を切り替えることができる。
【０１２５】
（付記５）
入力される入力画像を画面内予測もしくは画面間予測によって符号化する映像符号化部と、前記映像符号化部における前記符号化において使用される使用データを、記録内容保持のためのリフレッシュを必要とする揮発性メモリである外部メモリに記録し、前記外部メモリをリフレッシュするメモリコントローラと、を有する映像符号化装置において実行される映像符号化方法であって、
前記外部メモリと前記映像符号化部との間で前記使用データの転送を行わない空き時間に前記外部メモリのリフレッシュを行うことが可能か否かを判定する帯域判定ステップと、
前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことができないと判定された場合に、前記使用データが前記外部メモリのリフレッシュサイクル以内に前記符号化において使用されるように前記画面内予測もしくは前記画面間予測における参照関係を設定する参照画面選択ステップと、
前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことが可能であると判定された場合には、前記空き時間内に前記外部メモリのリフレッシュを行うメモリリフレッシュステップと、
を有する映像符号化方法。
【０１２６】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１２７】
また、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できる画面サイズの映像の場合には、外部メモリのリフレッシュを行って符号化を行うことができる。
【０１２８】
（付記６）
前記帯域判定ステップは、前記入力画像を構成する画素のうち、前記入力画像の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、前記算出値が前記所定値未満である場合には前記外部メモリのリフレッシュを行うことが可能であると判定し、前記算出値が前記所定値以上である場合には前記外部メモリのリフレッシュを行うことができないと判定することを特徴とする付記５に記載の映像符号化方法。
【０１２９】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１３０】
（付記７）
前記画面内予測もしくは前記画面間予測によって生成される予測画像と前記入力画像との差分である差分画像の周波数成分に対して実行される量子化処理に関するレート制御を行う符号量制御ステップをさらに有し、
前記符号量制御ステップは、前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことができないと判定された場合には、目標ビットレートと前記外部メモリのリフレッシュサイクルとに基づいて前記レート制御を行うことを特徴とする付記６に記載の映像符号化方法。
【０１３１】
この構成によれば、量子化処理に関するレート制御を行うことでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１３２】
（付記８）
前記帯域判定ステップは、前記算出値と前記所定値との比較に加えて、前記入力画像の画素ビット深度、もしくは前記入力画像の輝度成分および色差成分とにも基づいて、前記外部メモリのリフレッシュを行うことが可能か否かを判定することを特徴とする付記６に記載の映像符号化方法。
【０１３３】
画面サイズが最大サイズでも、画素ビット深度や色差形式によっては、リフレッシュ可能な空き時間が存在する場合がある。よって、画素ビットや色差形式をも帯域判定の対象とすることで、リフレッシュ可能な空き時間が生じる場合には、リフレッシュコマンドを発行する様に動作を切り替えることができる。
【０１３４】
（付記９）
入力される入力画像を画面内予測もしくは画面間予測によって符号化する映像符号化部と、前記映像符号化部における前記符号化において使用される使用データを、記録内容保持のためのリフレッシュを必要とする揮発性メモリである外部メモリに記録し、前記外部メモリをリフレッシュするメモリコントローラと、を有するコンピュータに、
前記外部メモリと前記映像符号化部との間で前記使用データの転送を行わない空き時間に前記外部メモリのリフレッシュを行うことが可能か否かを判定する帯域判定ステップと、
前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことができないと判定された場合に、前記使用データが前記外部メモリのリフレッシュサイクル以内に前記符号化において使用されるように前記画面内予測もしくは前記画面間予測における参照関係を設定する参照画面選択ステップと、
前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことが可能であると判定された場合には、前記空き時間内に前記外部メモリのリフレッシュを行うメモリリフレッシュステップと、
を実行させるため映像符号化プログラム。
【０１３５】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１３６】
また、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できる画面サイズの映像の場合には、外部メモリのリフレッシュを行って符号化を行うことができる。
【０１３７】
（付記１０）
前記帯域判定ステップは、前記入力画像を構成する画素のうち、前記入力画像の横の画素数と縦の画素数とに基づいて算出された算出値と、所定値とを比較し、前記算出値が前記所定値未満である場合には前記外部メモリのリフレッシュを行うことが可能であると判定し、前記算出値が前記所定値以上である場合には前記外部メモリのリフレッシュを行うことができないと判定することを特徴とする付記９に記載の映像符号化プログラム。
【０１３８】
この構成によれば、画面内予測もしくは画面間予測の参照関係に制限を加えることでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１３９】
（付記１１）
前記画面内予測もしくは前記画面間予測によって生成される予測画像と前記入力画像との差分である差分画像の周波数成分に対して実行される量子化処理に関するレート制御を行う符号量制御ステップをさらに有し、
前記符号量制御ステップは、前記帯域判定ステップにおいて前記外部メモリのリフレッシュを行うことができないと判定された場合には、目標ビットレートと前記外部メモリのリフレッシュサイクルとに基づいて前記レート制御を行うことを特徴とする付記１０に記載の映像符号化プログラム。
【０１４０】
この構成によれば、量子化処理に関するレート制御を行うことでリフレッシュが不要となる。これにより、水平帰線期間や垂直帰線期間においてリフレッシュを行うために十分な空き時間が確保できない大きな画面サイズの映像の場合であっても、データの破綻を抑制して符号化を行うことができる。
【０１４１】
（付記１２）
前記帯域判定ステップは、前記算出値と前記所定値との比較に加えて、前記入力画像の画素ビット深度、もしくは前記入力画像の輝度成分および色差成分とにも基づいて、前記外部メモリのリフレッシュを行うことが可能か否かを判定することを特徴とする付記１０に記載の映像符号化プログラム。
【０１４２】
画面サイズが最大サイズでも、画素ビット深度や色差形式によっては、リフレッシュ可能な空き時間が存在する場合がある。よって、画素ビットや色差形式をも帯域判定の対象とすることで、リフレッシュ可能な空き時間が生じる場合には、リフレッシュコマンドを発行する様に動作を切り替えることができる。
【符号の説明】
【０１４３】
１  映像符号化装置
１０  原画像
１１  ストリーム
１２  再構成画像
１３  画面内予測画像
１４  画面間予測画像
１５  予測画像
１６  差分画像
１７  復元差分画像
３１  フィールドレート
３２  画面横ＭＢ数
３３  画面縦ＭＢ数
３４  リフレッシュ許容マクロブロック数上限値
４１  画素ビット深度
４２  色差形式
４３  最大画素ビット深度
４４  最大色差形式
１１０  映像符号化部
１２０  外部メモリ
１３０  メモリバス
２００  符号化制御部
２１０  画面内予測部
２２０  画面間予測部
２３０  モード選択部
２４０  直交変換部
２５０  量子化部
２６０  逆量子化部
２７０  逆直交変換部
２８０  可変長符号化部
２９０  メモリコントローラ
３１０  帯域判定部
３２０  参照画面選択部
３３０  符号量制御部
３４０  モード選択部
３５０  設定レジスタ
３１１０  乗算器
３１２０  比較器
３１３０  比較器
３１４０  比較器
３１５０  論理和器
Ｓ１  符号化設定情報
Ｄ１  画面内予測モード
Ｄ２  画面内予測符号量
Ｄ３  画面間予測モード
Ｄ４  画面間予測符号量
Ｄ６  符号量情報
Ｄ７  モード選択信号
Ｄ８  量子化パラメータ
Ｄ９  周波数成分
Ｄ１０  量子化値
Ｄ１１  復元周波数成分
Ｄ１２  参照関係設定情報
Ｄ２１  映像情報
Ｄ２２  帯域判定信号
Ｄ２３  参照画面設定情報
Ｄ２４  モード選択設定情報
Ｄ２５  符号量制御設定情報
Ｄ３１  許容処理ＭＢ数
Ｄ４１  処理ＭＢ数判定信号
Ｄ４２  画素ビット深度判定信号
Ｄ４３  色差形式判定信号
【図１】
0005603747.tif 000002
【図２】
0005603747.tif 000003
【図３】
0005603747.tif 000004
【図４】
0005603747.tif 000005
【図５−１】
0005603747.tif 000006
【図５−２】
0005603747.tif 000007
【図６】
0005603747.tif 000008
【図７】
0005603747.tif 000009
【図８】
0005603747.tif 000010
【図９】
0005603747.tif 000011