(57)【要約】【課題】  符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段へのアクセスがフレームレートの増大によっても破綻しにくくする。【解決手段】  ＤＲＡＭ１４２に、符号化すべき画像と符号化の際に参照される画像が一時記憶される。フレームレート監視部１４は、撮像部１１０のフレームレートを監視し、そのアップ／ダウンを符号化部１１６に通知する。符号化部１１６は、フレームレートがアップしたとき、フレーム間予測符号化のための動き探索補償部１３４の動き探索範囲を狭くし、フレームレートがダウンしたとき、動き探索補償部１３４の動き探索範囲を拡大する。【選択図】  図１
2014158130.tif 000002
【特許請求の範囲】
【請求項１】
符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、
前記記憶手段から読み出した符号化すべき画像の動きを探索する動き探索手段と、
前記動き探索手段の動き探索結果を使って、前記記憶手段から読み出した符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、
前記画像のフレームレートに従い、前記動き探索手段の動き探索を制御する制御手段
とを有することを特徴とする画像符号化装置。
【請求項２】
前記制御手段は、前記フレームレートの増加に応じて、前記動き探索手段の動き探索の範囲を縮小することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記制御手段は、前記フレームレートの減少に応じて、前記動き探索手段の動き探索の範囲を拡大することを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記動き探索手段がプレ動き探索手段を具備し、
前記制御手段は、前記画像のフレームレートに従い、前記動き探索手段が前記プレ動き探索手段のプレ動き探索を使うかどうかを制御する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記制御手段は、前記フレームレートの増加に応じて、前記プレ動き探索手段のプレ動き探索を使わないように前記動き探索手段を制御することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記制御手段は、前記フレームレートの減少に応じて、前記プレ動き探索手段のプレ動き探索を使うように前記動き探索手段を制御することを特徴とする請求項４又は５に記載の画像符号化装置。
【請求項７】
更に、前記記憶手段のバス帯域を監視するバス帯域監視手段を具備し、
前記制御手段が、前記バス帯域監視手段の出力に従い前記動き探索手段の動き探索を制御する
ことを特徴とする請求項１ないし６の何れか１項に記載の画像符号化装置。
【請求項８】
符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、
直交変換手段及び量子化手段を具備し、前記符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、
前記画像のフレームレートに従い、前記量子化手段の量子化パラメータを制御する制御手段
とを有することを特徴とする画像符号化装置。
【請求項９】
更に、前記記憶手段のバス帯域を監視するバス帯域監視手段を具備し、
前記制御手段が、前記バス帯域監視手段の出力に従い、前記量子化手段の量子化パラメータを制御する
ことを特徴とする請求項８に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変フレームレートの動画に対応する画像符号化装置に関する。
【背景技術】
【０００２】
動画撮影時に、被写体の動きや撮影状況に応じてフレームレートを変化させて撮像することが可能な撮像装置が知られている（特許文献１参照）。記録された動画を所定の表示レートに変換して再生することで、スローモーション再生やハイスピード再生が可能となり、被写体の動きに応じた映像表現が可能となる。
【０００３】
動画圧縮方式として、ＭＰＥＧ２とＨ．２６４／ＡＶＣが広く採用されている。これらの符号化方式で、フレームレートに応じてＧＯＰ（Group of Picture）構造を適応的に変化させる方法が知られている（特許文献２参照）。ＧＯＰは動き補償予測符号化の単位であり、符号化エラーの伝搬を防ぐ機能を果たす。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２９８１１２号公報
【特許文献２】特開２００１−０２５０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、符号化対象の原画像又は動き補償又は予測符号化のための参照画像を一時的に保持するメモリ（通常、ＤＲＡＭ）のバス帯域が、符号化処理の制約要因となる。
【０００６】
特許文献１に記載の技術では、単位時間あたりの符号化すべきフレーム数の増加数によっては、バス帯域を圧迫して符号化処理が破綻してしまうという懸念がある。また、特許文献２に記載の技術では、フレーム数の増加に対して、バス帯域を特に必要とするフレーム間符号化ピクチャであるＢピクチャ数を増加させるので、バス帯域を圧迫して符号化処理が破綻してしまうおそれがある。
【０００７】
ワーストケースを想定したバス帯域を有するメモリを用いることで帯域への余裕度が上がるが、通常の処理に対してかなり余剰なバス帯域を有していることになり、効率的ではない。
【０００８】
本発明は、バス帯域の破綻耐性が強い画像符号化装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像符号化装置は、符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、前記記憶手段から読み出した符号化すべき画像の動きを探索する動き探索手段と、前記動き探索手段の動き探索結果を使って、前記記憶手段から読み出した符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、前記画像のフレームレートに従い、前記動き探索手段の動き探索を制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、フレームレートの変化に対して記憶手段のバス帯域が破綻しにくくなり、より広いフレームレート範囲で効率的な符号化を実現できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】フレームレートによるピクチャ遷移の一例である。
【図３】本実施例の動き探索制御のフローチャートである。
【図４】本実施例による動き探索範囲の変化例である。
【図５】本発明の第２実施例の概略構成ブロック図である。
【図６】図５に示す実施例の動き探索制御のフローチャートである。
【図７】本発明の第３実施例の概略構成ブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図３は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。
【００１４】
撮像部１１０は撮影レンズの光学像を画像信号に変換する撮像素子からなり、撮像部１１０は撮影レンズによる光学像に対応する画像信号をカメラ信号処理部１１２に出力する。また、撮像素子はフレームレート可変であり、撮像部１１０は、撮影状況及び主被写体の情報に応じて、撮像素子からの読み出し周期を撮影中に変更できる。撮像部１１０は現在のフレームレート情報（又は変更後のフレームレート情報）をフレームレート監視部１１４に出力する。
【００１５】
カメラ信号処理部１１２は、撮像部１１０から出力されるアナログ画像信号をデジタル信号に変換し、ガンマ補正等の信号処理を行い、メモリ制御部１４０を介して原画像データとしてＤＲＡＭ１４２に格納する。ＤＲＡＭ１４２は、符号化すべき画像と、その符号化で参照する参照画像を一時記憶する記憶手段である。フレームレート監視部１１４は、撮像部１１０からのフレームレート情報を、符号化部１１６が符号化する際のフレームレート情報として、カメラ信号処理部１１２が出力する原画像データと対応させて出力する。
【００１６】
符号化部１１６は、ＤＲＡＭ１４２の符号化すべき原画像データをフレーム内符号化とフレーム間符号を含む符号化方式で符号化する手段である。より具体的には、原画像データをフレームレート監視部１１４からのフレームレート情報に従うフレームレートで符号化する。
【００１７】
ブロック化部１１８は、カメラ信号処理部１１２からＤＲＡＭ１４２に出力された原画像データを符号化ピクチャ順に読み出し、所定数の画素から構成されるマクロブロックとよばれる単位で画面の水平方向及び垂直方向に分割する。減算器１２０は、ブロック化部１１８から出力される原画像データから予測画像データを減算し、この減算の差分値を画像残差データとして直交変換部１２２に出力する。
【００１８】
直交変換部１２２は、減算器１２０から出力される画像残差データを直交変換（例えば、離散コサイン変換（ＤＣＴ））を行い、変換係数（ＤＣＴ係数）を量子化部１２４に出力する。量子化部１２４は、符号量制御部１２６から設定される量子化パラメータに従い、直交変換部１２２から出力されるＤＣＴ係数を量子化し、エントロピー符号化部１３６に出力する。符号量制御部１２６は、エントロピー符号化部１３６からの発生符号量情報に従い、当該発生符号量が目標符号量に沿うような量子化パラメータを次のブロック用に算出し、量子化部１２４に設定する。
【００１９】
エントロピー符号化部１３６は、量子化部１２４の出力データをエントロピー符号化してストリームデータを生成し、メモリ制御部１４０を介してＤＲＡＭ１４２に格納する。ＤＲＡＭ１４２に格納されたストリームデータは、目標ビットレートに従ったビットレートで符号化データとして外部装置に読み出される。
【００２０】
予測画像データの生成用に、量子化部１２４により量子化されたＤＣＴ係数は、逆量子化部１２８にも供給される。逆量子化部１２８は、量子化部１２４で量子化されたＤＣＴ係数を逆量子化し、ＤＣＴ係数の代表値を出力する。逆直交変換部１３０は、逆量子化部１２８の出力（ＤＣＴ係数の代表値）を逆直交変換する。逆直交変換部１３０は、減算器１２０の出力する画像残差データに対応するローカルデコード値である。加算器１３２は、逆直交変換部１３０の出力に予測画像データを加算する。これにより、画像データが復元される。加算器１３２から出力されるローカルデコード画像データは、メモリ制御部１４０を介してＤＲＡＭ１４２に格納される。
【００２１】
動き探索補償部１３４は、ＤＲＡＭ１４２に格納された原画像データとローカルデコード画像データとから、フレーム内予測による予測画像データ及びフレーム間予測の予測画像データを生成する。具体的には、動き探索補償部１３４は、原画像データの、ローカルデコード画像データに対するマクロブロック毎の動きベクトルを検出し、フレーム間予測の予測画像データを生成する。動き探索補償部１３４はまた、ＤＲＡＭ１４２に格納された原画像データからフレーム内予測による予測画像データを生成する。
【００２２】
メモリ制御部１４０は、各ブロックからのＤＲＡＭ１４２へのアクセスを調停し、ＤＲＡＭ１４２へのデータ書込みとデータ読出しを制御する。ＤＲＡＭ１４２は、上述の通り各画像データの一時的な保存先として用いられる。
【００２３】
図２は、ＭＰＥＧ２におけるＧＯＰ（Group Of Pictures）構成を示す模式図を示す。ＭＰＥＧ２では、各フレーム（又はフィールド）をＩピクチャ、Ｐピクチャ及びＢピクチャの３種類に分類する。Ｉピクチャは、フレーム内符号化されるフレームであり、他のフレームの情報を必要とせずに単独で符号化可能であるが、発生符号量が多い。Ｐピクチャは、時間的に先行するＩピクチャ又はＰピクチャから動き補償予測したフレームとの差分を符号化するフレームであり、Ｉピクチャに比べて符号量を大幅に減らすことが可能である。Ｂピクチャは、時間的に先行するＩ、Ｐピクチャからの動き補償予測と、時間的に後続するＩ、Ｐピクチャからの動き補償予測を併用するフレームであり、Ｐピクチャよりさらに符号量を削減できる。
【００２４】
符号化効率向上の観点では、Ｉピクチャをなるべく使用しないようにすればよいが、そのように構成した場合、ビットエラーにより動き補償予測が不可能となったときに、Ｉピクチャが無い期間、画質劣化から復帰できなくなる。また、記録媒体に記録された符号化データをサーチ再生しようとした場合、他のフレームを参照せずに復号可能なのはＩピクチャだけであり、サーチ再生の画質が不十分となる。そこで、通常、適当な間隔、例えば１５フレーム毎にＩピクチャが配置される。図２（ａ）は、ＭＰＥＧ２の場合の６０フレーム／秒のＧＯＰ構造の一部を示す。図２（ｂ）は、１２０フレーム／秒のＧＯＰ構造の一部を示す。図２（ｃ）は２４０フレーム／秒のＧＯＰ構造の一部を示す。フレームレートが増大すると、同じ時間内で処理するフレーム数が増加し、ＧＯＰ内で処理するＰピクチャとＢピクチャの数も増加する。
【００２５】
図３は、本実施例の動き探索変更処理の動作フローチャートを示す。図４は、本実施例の動き探索変更処理の動作例のシーケンス図を示す。
【００２６】
ステップＳ３００で、フレームレート監視部１１４は、撮像部１１０における撮像フレームレートの変化を監視する。フレームレートの変化を検出しないと（Ｓ３００）、図３に示すフローは、終了する。
【００２７】
フレームレート監視部１１４がフレームレートの変化を検出すると（Ｓ３００）、フレームレート監視部１１４は、フレームレート変化情報を符号化部１１６に供給する。フレームレート変化情報は、撮像部１１０における撮像フレームレートのアップ／ダウンを示す情報とアップ後／ダウン後のフレームレート情報を含む。
【００２８】
ステップＳ３０１で、符号化部１１６は、フレームレート監視部１１４からのフレームレート変化情報がフレームレートのアップを示すかダウンを示すかを判定する。フレームレートのアップの場合、動き探索に伴う処理の増加によってＤＲＡＭ１４２のバス帯域が破綻する可能性があり、ダウンの場合には、ＤＲＡＭ１４２のバス帯域に余裕が出来る可能性がある。そこで、フレームレートのアップの場合（Ｓ３０１）、符号化部１１６は、ステップＳ３０２で、図４に符号４０１，４０３で示すように、動き探索補償部１３４の動き探索範囲を縮小する。他方、ダウンの場合（Ｓ３０１）、符号化部１１６は、ステップＳ３０３で、図４に符号４０２，４０４で示すように、動き探索補償部１３４の動き探索範囲を拡大する。
【００２９】
ステップＳ３０２，Ｓ３０３の後、ステップＳ３０４で、符号化部１１６は、変更後の動き探索範囲でＤＲＡＭ１４２の原画像データを符号化する。
【００３０】
以上説明したように、本実施例では、撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャの枚数が増加した場合でも、バス帯域の破綻を回避でき、符号化処理を継続できる。
【実施例２】
【００３１】
第１実施例ではフレームレートに応じて動き探索範囲を変更したが、縮小画像を用いたプレ動き探索をフレームレートに応じて制御するようにしてもよい。図５は、そのようにした本発明の第２実施例の概略構成ブロック図を示す。図５に示す符号化部５１６では、符号化部１１６に対し、縮小画像生成部５５０及びプレ動き探索部５５２を追加し、動き探索補償部１３４に代えて、後述する動作の動き探索補償部５３４を設けてある。図１に示す構成要素と同じ機能の要素には同じ符号を付してあり、その詳細な説明は省略する。
【００３２】
縮小画像生成部５５０は、カメラ信号処理部１１２からＤＲＡＭ１４２に出力された原画像データを読み出してその縮小画像を生成し、メモリ制御部１４０を介してＤＲＡＭ１４２に格納する。プレ動き探索部５５２は、縮小画像生成部５５０が生成した縮小画像を用いて動き探索を行い、縮小画像による動き探索結果である動きベクトルを生成し、動き探索補償部５３４に出力する。動き探索補償部５３４は、プレ動き探索部５５２から入力された動きベクトルを用いて、ＤＲＡＭ１４２の原画像とローカルデコード画像とからマクロブロック毎の動きベクトルを検出し、フレーム間予測の予測画像データを生成する。
【００３３】
図６は、本実施例のプレ動き探索動作のフローチャートである。
【００３４】
ステップＳ６００で、フレームレート監視部１１４は、撮像部１１０における撮像フレームレートの変化を監視する。フレームレートの変化を検出しないと（Ｓ６００）、図６に示すフローは、終了する。
【００３５】
フレームレート監視部１１４がフレームレートの変化を検出すると（Ｓ３００）、フレームレート監視部１１４は、フレームレート変化情報を符号化部１１６に供給する。フレームレート変化情報は、撮像部１１０における撮像フレームレートのアップ／ダウンを示す情報とアップ後／ダウン後のフレームレート情報を含む。
【００３６】
ステップＳ６０１で、符号化部５１６は、フレームレート監視部１１４からのフレームレート変化情報がフレームレートのアップを示すかダウンを示すかを判定する。フレームレートのアップの場合、プレ動き探索部５５２による縮小画像を使うプレ動き探索によっても、その処理の増加によってＤＲＡＭ１４２のバス帯域が破綻する可能性がある。他方、ダウンの場合、ＤＲＡＭ１４２のバス帯域に余裕が出来る可能性がある。
【００３７】
そこで、フレームレートのアップ（増大）の場合（Ｓ６０１）、符号化部５１６は、ステップＳ６０２で、プレ動き探索部５５２の動作をオフにする。
【００３８】
フレームレートのダウン（減少）の場合（Ｓ６０１）、符号化部５１６は、ステップＳ６０３でプレ動き探索がオンかオフかを調べる。プレ動き探索がオンの場合（Ｓ６０３）、符号化部５１６は、Ｓ６０４でプレ動き探索部５５２による縮小画像を使った動き探索をオンにする。同時に、縮小画像生成部５５０がオフになっている場合は、同時に縮小画像生成部５５０をオンにする。プレ動き探索がオフの場合（Ｓ６０３）、図６に示すフローを終了する。
【００３９】
ステップＳ６０２，Ｓ６０４の後、ステップＳ６０５で、符号化部５１６は、図５を参照して説明したように、ＤＲＡＭ１４２の原画像データを符号化する。
【００４０】
本実施例では、撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャ数が増加しても、プレ動き探索部５５２及び縮小画像生成部５５０を適応的にオン／オフすることで、バス帯域の破綻を回避できる。従って、符号化処理を継続できる。
【実施例３】
【００４１】
図７は、本発明の第３実施例の概略構成ブロック図を示す。図1及び図５と異なる構成要素には異なる符号を付してある。本実施例では、メモリ制御部７４０がＤＲＡＭ１４２のバス帯域の利用度を監視し、監視結果を符号化部７１６に通知するバス帯域監視部７５４を具備する。符号化部７１６は、バス帯域監視手段の監視結果に基づき、動き探索の変更、プレ動き探索及び量子化の何れか又は２以上を制御する。
【００４２】
メモリ制御部７４０のバス帯域監視部７５４は、ＤＲＡＭ１４２のバス帯域を監視し、監視結果としてバス帯域情報を符号化部７１６に出力する。符号化部７１６は、フレームレート監視部１１４からのフレームレート情報とバス帯域監視部７５４からのバス帯域情報とに従い、動き探索補償部５３４の動き探索範囲を制御する。フレームレートが増加した場合に、バス帯域情報が所定の値以上であれば、バス帯域が破綻する可能性がある。逆に、フレームレートが低下した場合に、バス帯域が所定の値以下であれば、ＤＲＡＭ１４２のバス帯域に余裕が生じる。前者に対して、符号化部７１６は、動き探索補償部５３４の動き探索範囲を縮小し、動き探索補償部５３４にプレ動き探索部５５２を使わない動き探索を行うように制御し、又は、量子化部１２４の量子化パラメータ値を大きくする。後者に対しては、符号化部７１６は、動き探索補償部５３４の動き探索範囲を拡大し、動き探索補償部５３４にプレ動き探索部５５２を使って動き探索を行うように制御し、又は、量子化部１２４の量子化パラメータ値を小さくする。
【００４３】
具体的には、符号化部７１６は、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況になると、図１に示す実施例と同様に、動き探索補償部５３４の動き探索範囲を縮小する。他方、フレームレートが低下してバス帯域に余裕が生じると、符号化部７１６は、動き探索補償部５３４の動き探索範囲を拡げる。
【００４４】
符号化部７１６はまた、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況では、縮小画像生成部５５０及びプレ動き探索部５５２をオフにする。そして、動き探索補償部５３４にプレ動き探索部５５２の結果を用いずに動き探索を行わせる。逆にフレームレートが低下してＤＲＡＭ１４２のバス帯域に余裕がある状況では、符号化部７１６は、縮小画像生成部５５０及びプレ動き探索部５５２をオンにし、動き探索補償部５３４にプレ動き探索部５５２の結果を用いた動き探索を行わせる。
【００４５】
符号化部７１６はまた、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況では、量子化部１２４の量子化パラメータ値をより大きくする。逆に、フレームレートが低下してＤＲＡＭ１４２のバス帯域に余裕が生じると、符号化部７１６は、量子化パラメータ値を小さくする。
【００４６】
本実施例では、バス帯域の監視により撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャ数が増加しても、プレ動き探索部５５２及び縮小画像生成部５５０を適応的にオン／オフすることで、バス帯域の破綻を回避できる。従って、符号化処理を継続できる。
【００４７】
以上説明したように、被写体の動きや撮影状況に応じてフレームレートが変化した場合でも、バス帯域監視によりバス帯域の破綻の可能性と余裕度を確度良く確認できる。その結果に従い、プレ動き探索の利用、動き探索範囲及び量子化の１以上を制御するので、バス帯域の破綻させることなく可変フレームレートの動画を符号化処理できる。
【００４８】
本発明は、本発明の技術思想の範囲内において、上記実施例に限定されるものではなく、対象となる回路構成により適時変更されて適用されうる。
【図１】
2014158130.tif 000003
【図２】
2014158130.tif 000004
【図３】
2014158130.tif 000005
【図４】
2014158130.tif 000006
【図５】
2014158130.tif 000007
【図６】
2014158130.tif 000008
【図７】
2014158130.tif 000009