(57)【要約】【課題】映像信号を圧縮符号化する際、ユーザが重要と考えるシーンを簡単に高画質で符号化すること。【解決手段】ユーザが高画質モード選択ボタン（ＯＤ）１２５をオン操作した場合、システムコントロール部１９から圧縮符号化部２０のレート制御部２８に対し高画質モードの指令が出力され、レート制御部２８は量子化部２４および逆量子化部２９に量子化スケールを変更するように指示を出す。すると、量子化部２４および逆量子化部２９は、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートになるように映像信号を量子化する。これにより、コストアップをほとんど生じさせることなく、ユーザにとって重要なシーンを簡単に高画質で符号化することができる。【選択図】図３
2009033604.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を圧縮符号化する圧縮符号化部と、
前記圧縮符号化部によって圧縮符号化された映像信号を記録媒体に記録する記録部と、
ユーザによって操作され高画質モードの指令を出力する操作部と、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように制御する制御部と、
を有する映像信号符号化装置。
【請求項２】
請求項１記載の映像信号符号化装置において、
前記圧縮符号化部は、前記映像信号をＭＰＥＧ方式により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力され、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化する際、前記高画質モードの目標符号化レートは、前記ＭＰＥＧ方式による圧縮符号化の映像信号のシーケンスヘッダに含まれる最大符号化レート以内で変更する映像信号符号化装置。
【請求項３】
請求項１または請求項２記載の映像信号符号化装置において、
前記圧縮符号化部は、前記映像信号をフレーム内予測符号化により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように、前記通常画質モードの場合より前記フレーム内予測符号化の際の画素ブロックサイズを小さくする映像信号符号化装置。
【請求項４】
請求項１または請求項２記載の映像信号符号化装置であって、
前記圧縮符号化部は、前記映像信号をフレーム間予測符号化により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように、前記通常画質モードの場合より前記フレーム間予測符号化の際のベクトル探索部分画像サイズを小さくする映像信号符号化装置。
【請求項５】
映像信号を圧縮符号化するステップと、
ユーザによって操作され高画質モードの指令を出力するステップと、
前記高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートに基づいて前記映像信号を圧縮符号化するステップと、
を有する映像信号符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像信号を圧縮符号化して記録する映像信号符号化装置および方法に関する。
【背景技術】
【０００２】
映像信号を圧縮符号化して記録する際に、例えば、記録媒体の残り容量に対する記録時間の効率より記録画質を優先するため、符号化レートを入力映像信号に応じて変化させる映像信号符号化装置がある。本装置では、入力映像が複雑な場合、平均符号化レートを下回らないように符号化レートを設定すると共に、残りの記録媒体の容量や記録可能時間等を表示パネルに表示している（例えば、特許文献１参照。）。
【特許文献１】特開２００１−１９７４３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上述の従来技術では、比較的記録媒体の残り容量が潤沢にある場合を想定しており、ユーザが特に重要としていない撮影期間に対しても、符号量すなわち記録残量を消費してしまう、という問題があった。
【０００４】
また、符号化レートの上限、または記録開始後の所定時間内の符号化レートを用いる記録可能時間の推測で、正確な記録可能時間をユーザに表示できない問題があった。
【０００５】
そこで、本発明は、映像信号を圧縮符号化する際、ユーザが重要と考えるシーンを簡単に高画質で符号化することができる映像信号符号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明では、映像信号を圧縮符号化する際、高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートに基づいて前記映像信号を圧縮符号化する。ここで、映像信号がＭＰＥＧ方式であり、高画質モードの指令が出力され、通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して映像信号を圧縮符号化する場合、高画質モードの目標符号化レートは、ＭＰＥＧ方式による圧縮符号化の映像信号のシーケンスヘッダに含まれる最大符号化レート以内で変更すると良い。また、映像信号をフレーム内予測符号化により圧縮符号化する場合は、高画質モードの指令が出力された場合、通常画質モードの場合よりフレーム内予測符号化の際の画素ブロックサイズを小さくしても良い。また、映像信号をフレーム間予測符号化により圧縮符号化する場合、高画質モードの指令が出力された場合、通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して映像信号を圧縮符号化するように、通常画質モードの場合よりフレーム間予測符号化の際のベクトル探索部分画像サイズを小さくするようにしても良い。
【発明の効果】
【０００７】
本発明によれば、高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしたので、コストアップをほとんど生じさせることなく、ユーザにとって重要なシーンを簡単に高画質で符号化することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明に係る映像信号符号化装置および方法の実施の形態として、記録媒体に光ディスクや、ＨＤＤ、メモリ、テープ等を用いたビデオカメラを一例として説明する。かかるビデオカメラにおいては、記録する映像、即ち被写体がビデオカメラのユーザにとって貴重なものであることや、非日常的な出来事が生じた場合に使用されることが多いので、保存性と記録画質が重要視されることが多い。特に、符号化方式として、ＭＰＥＧ２やＨ．２６４と呼ばれるような高能率符号化部を用いた場合、入力映像に対する最適符号は大きく変化するために、一般に符号化レートを固定するのでなく、可変させることによって、さらなる高画質化と、長時間記録化を行うことが多い。本実施の形態では、ディジタル方式のビデオカメラについて詳しく説明する。
【０００９】
実施の形態１．
【００１０】
図１は、本発明の映像信号符号化装置の実施の形態１の構成例を示すブロック図である。
【００１１】
図１において、この映像信号符号化装置は、符号化装置としてＭＰＥＧ２方式を用い、入力映像をディジタル変換して記録するビデオカメラを想定しており、記録媒体としてのＨＤＤ１０と、ＣＣＤセンサ１１と、カメラ信号処理ＤＳＰ部１２と、文字発生部１３と、ＬＣＤ制御部１４と、ＬＣＤ表示パネル１５と、操作部である操作ボタン１６と、カメラ制御部１７と、バッファＲＡＭ１８と、制御部としてのシステムコントロール部１９と、システム内部バス１９ａと、圧縮符号化部２０と、を有している。なお、図１では、ＨＤＤ１０に記録された符号化データを復号して再生する復号再生部分の構成は省略しているが、勿論、復号再生部分の構成を有していても勿論よい。
【００１２】
操作部１６は、ユーザが記録や再生のコマンドを実行するためのボタン等であり、タッチパネル式のＬＣＤ表示パネル１５を使用した場合には、ＬＣＤ表示パネル１５が操作部１６を兼ねることになる。
【００１３】
図２は、実施の形態１の映像信号符号化装置を応用したビデオカメラの外観と操作ボタンの配置例を示した図である。
【００１４】
図２（ａ）はＬＣＤ表示パネル１５を開いた状態のビデオカメラの背面、同（ｂ）はビデオカメラ本体１００を閉じた状態のビデオカメラ側面を示している。
【００１５】
そして、ビデオカメラ本体１００には、オン・オフにより撮影および記録の開始または終了をするための撮影操作ボタン（ＲＥＣ）１２１と、ズームボタン（ＺＯＯＭ）１２２と、メニューボタン（ＭＥＮＵ）１２３と、電源ボタン（ＰＯＷＥＲ）１２４の他に、オン・オフにより後述する高画質モードの選択ボタンである高画質モード選択ボタン（ＯＤ）１２５等が設けられている。
【００１６】
また、ＬＣＤ表示パネル１５の表示画面には、撮影映像の上に、操作部１６からの指示などによりカメラ制御部１７を介し文字発生部１３が発生した文字である符号化レートが通常画質モードか、または本実施の形態の特徴である高画質モードかを示す画質モードが表示される。そして、ユーザが被写体を見て一時的に高画質にして記録したい場合に高画質モード選択ボタン（ＯＤ）１２５ボタンを押すと、ＬＣＤ表示パネル１５の表示画面に「高画質モード（ＯＤ）」等のメッセージが表示されると共に、システムコントロール部１９に高画質モードの指示が出力され、量子化部２４が制御される。これにより、図４の特性のように符号化レートが制御され、高画質モード選択ボタン（ＯＤ）１２５ボタンがオンされている間のみ、高画質で記録を行うことができる。
【００１７】
よって、このビデオカメラのユーザは、比較的一般的な被写体を録画していて、急に貴重な被写体に遭遇した場合に、高画質モード選択ボタン（ＯＤ）１２５をオンすることにより、即座に高画質モードに切り替えられることができる。
【００１８】
また、本実施の形態では、システムコントロール部１９の制御により、ＬＣＤ表示パネル１５に撮影する日付と時刻の表示、バッテリの残り容量の表示、記録媒体であるＨＤＤ１０の記録可能な残り時間の表示、記録開始からの経過時間を表示する。ここで残り時間の表示は、標準画質モードにて記録を行った場合、即ち今後、高画質モードをＯＮにしなかった場合の残り時間を表示するようにする。
【００１９】
よって、このビデオカメラのユーザは、例えば、高画質モード選択ボタン（ＯＤ）１２５をオンにしていて高画質モードで録画していて、ＬＣＤ表示パネル１５に表示されるＨＤＤ１０の残り記録可能時間の減少に気がついた場合には、高画質モードをオフ操作することを控えることにより、ＨＤＤ１０の記録時間の残りを節約し、貴重な映像を撮り逃すことを無くすことができる。その結果、この表示により、ユーザはいつでも記録媒体の残量が無くなっていないことを監視できるので、被写体の撮影に集中することが可能となる。
【００２０】
また、高画質モードをＯＮにした時、そのままＯＮにした場合の残り時間の計算も可能であり、これを表示することによりユーザは最も厳しい場合の記録可能時間を知ることができる。つまり、高画質モードＯＦＦ時も表示を切り替えながら両者の記録可能時間を知ることができる。このように最大値か最小値のいずれか一方で計算した残り記録時間のみの表示でもよいが、例えば表示を複数行にわたる表示としてこれらを同時に表示できるようにしてもよい。
【００２１】
記録媒体であるＨＤＤ１０の記録可能な残り時間を表示する場合、上記符号化レートの最大値と最小値だけでは撮影の実用的な使い方と一致しない場合もある。この場合、撮影を開始してからの高画質モードがＯＮされた合計時間とＯＦＦのときの合計時間をカウントしておき、この値を元に下記式１により、撮影中に使用した発生符号量を計算できる。
【００２２】
発生符号量＝[ＨＭｒ[Ｍｂｐｓ]×ＨＭｔ[s]／ (ＨＭｔ[s]＋ＳＭｔ[s])]
＋｛ＳＭｒ[Ｍｂｐｓ]×ＳＭｔ[s]／ (ＨＭｔ[s]＋ＳＭｔ[s])｝            …（式１）
【００２３】
ここで、ＨＭｒ[Ｍｂｐｓ]は標準画質モードの平均符号化レート、ＨＭｔ[s]は標準画質モードでの撮影時間累計である。また、ＳＭｒ[Ｍｂｐｓ]は高画質モードの平均符号化レート、ＳＭｔ[s]は高画質モードでの撮影時間累計である。
【００２４】
システムコントロール部１９は、このようにして求めた発生符号量からＨＤＤ１０の残り記録時間を計算して、ファインダとしてのＬＣＤ表示パネル１５等に表示する。これにより、ユーザの実情にあった表示を容易に出すことができる。なお、上記式１において、両モードの撮影時間の比率として、過去の撮影時のデータを保存したものを使用しても勿論よい。
【００２５】
次に本装置の動作を説明する。
【００２６】
まず、ＣＣＤセンサ１１は、光学レンズ（図示せず）を介し得た被写体画像を光電変換してカメラ信号処理ＤＳＰ部１２へ出力する。その際、ＣＣＤセンサ１１は、光学系における信号レベルの変化をＡＧＣ回路などによって所定の信号レベルに設定した後Ａ／Ｄ変換して、アナログ信号からディジタル信号にして、カメラ信号処理ＤＳＰ部１２へ出力する。
【００２７】
カメラ信号処理ＤＳＰ部１２では、ＣＣＤセンサ１１から入力したデジタル信号を、一般のＹ，Ｕ，Ｖの例えば１６bitのパラレルデータに変換して圧縮符号化部２０へ出力する。また、カメラ信号処理ＤＳＰ部１２は、ＣＣＤセンサ１１に必要な駆動パルスやビデオ出力に必要な同期信号を生成し、各部に供給する。このときカメラ制御部１７は、光学系の状態やＣＣＤセンサ１１から得られた映像情報と、カメラ全体の操作から得られた情報によりカメラ信号処理ＤＳＰ部１２を最適に制御する。また同時に、ジャイロなどを用いた角速度センサなどのアナログ出力を、ＡＤ変換した後にカメラ制御部１７に取り込み、ＣＣＤセンサ１１の駆動パルスを制御する。これにより、ユーザがカメラを持つ手を振った場合のいわゆる手振れの状態でも、比較的安定した画像をカメラ信号処理ＤＳＰ部１２が得るようにコントロールされる。
【００２８】
圧縮符号化部２０では、カメラ信号処理ＤＳＰ部１２からの映像データをＭＰＥＧ２符号化形式により約１／６０程度に圧縮符号化して、システムコントロール部１９の命令に従ってシステム内部バス１９ａに出力される。なお、音声信号は図示されていないが、カメラに内蔵されたマイクより得た信号をＡ／Ｄ変換し、例えば、システムコントロール部１９の中でソフト処理として圧縮される。勿論、音声圧縮符号化用の圧縮符号化部を設けるようにしても勿論よい。そして、音声の圧縮符号化データと、圧縮符号化部２０から出力された映像の圧縮符号化データとがマルチプレクスされて、ＭＰＥＧデータストリームが生成される。
【００２９】
そして、システムコントロール部１９は、ＨＤＤ１０が受ける振動や衝撃による書き込みエラーを回避するため、このＭＰＥＧデータストリームをバッファＲＡＭ１８を介しＨＤＤ１０に記録する。
【００３０】
次に、ＨＤＤ１０から映像データを再生する場合について説明する。
【００３１】
基本的に上述の記録のときとは逆方向に信号が流れる。まず、ＨＤＤ１０から記録データが読み取られる。そして、ＭＰＥＧ２映像ストリームとしてシステム内部バス１９ａに出力される。このとき、記録と同様にＨＤＤ１０が受ける衝撃により読み出し途中でデータ読み取りエラーが発生しても、バッファＲＡＭ１８が数秒間程度のデータ蓄積を行うので、実用上問題なく映像の連続再生ができる。システム内部バス１９ａの映像および音声データは、システムコントロール部１９の命令によりその転送が制御される。
【００３２】
そして、システムコントロール部１９の制御により、元の映像データは圧縮符号化部２０の伸張動作により復元され、記録と同様に１６ｂｉｔパラレル信号でカメラ信号処理ＤＳＰ部１２によりＮＴＳＣ信号に変換された後、ＬＣＤ制御部１４を通りＬＣＤ表示パネル１５に再生画像として表示される。同様にカメラ信号処理ＤＳＰ部１２からはＮＴＳＣビデオ信号が出力されるので、カメラに備えられたビデオ出力端子（図示せず）から外部のＴＶにも表示可能となっている。
【００３３】
次に、圧縮符号化部２０とシステムコントロール部１９とにより、映像データの符号化レートを制御する処理について詳しく説明する。
【００３４】
図３は、図１に示す圧縮符号化部２０の構成例を示すブロック図である。
【００３５】
図３において、圧縮符号化部２０は、画像並換部２１と、減算器２２と、ＤＣＴ部２３と、量子化部２４と、ＶＬＣ部２５と、バッファメモリ部２６と、システムコントロール部１９と、レート制御部２８と、逆量子化部２９と、逆ＤＣＴ部３０と、加算器３１と、第１のフレームメモリ３２と、動き補償部３３と、動き検出部３４と、第２のフレームメモリ３５とを有している。なお、システムコントロール部１９は、図１に示すシステムコントロール部１９と同一である。
【００３６】
次に、図３に示す圧縮符号化部２０の動作を説明する。
【００３７】
まず、カメラ信号処理ＤＳＰ部１２にてディジタル化されたビデオ信号が圧縮符号化部２０へ入力すると、圧縮符号化部２０では、まず、画像並換え部２１はそのビデオ信号を入力して、ＭＰＥＧ２規格の例えばメインプロファイル(Main Profile at Main Level)等の符号化がしやすいように並び替え、フレーム間モードであれば減算器２２や動き検出部３４へ、フレーム内モードであればＤＣＴ部２３へ出力する。
【００３８】
動き検出部３４では、画像並び替え部２１から出力された映像データを入力して動きベクトルを検出し動き補償部３３に出力する。動き補償部３３では、動き検出部３４から得られた動きベクトルによって、時間的に前後する画像を映像の動き量分だけずらせた参照画像と、テンプレートと呼ばれる映像データから抽出した基準画像との差分データを発生し、ＤＣＴ部２３へ出力する。
【００３９】
ＤＣＴ部２３は、映像信号の周波数成分を分解することができ、入力映像に平坦な面積が多い画面が入力されると、低域成分に集中した符号データを出力する。一方、入力映像に細かい部分が多い画面が入力されると、高域成分が沢山発生した符号データを出力する。
【００４０】
量子化部２４は、ＤＣＴ部２３が出力した周波数成分に分解した符号を、特に高周波部分についてディジタル的に間引き、量子化を行う。間引く量を減らして、ＤＣＴ部２３が出力した映像データに近い符号に量子化すれば、入力映像に忠実な高精細な映像が得られる。反対に、間引く間隔を広くすれば、発生する符号量は減少して、圧縮符号化部２０全体の圧縮率は向上するが画質が損なわれるという特徴がある。
【００４１】
ＶＬＣ部２５は、量子化された符号を可変長符号化と呼ばれる法則に従ってデータ圧縮してバッファメモリ部２６へ符号化データとして出力する。この符号化データが、最終的にＨＤＤ１０などの記録媒体に記録される記録データとなる。
【００４２】
このとき、システムコントロール部１９は、圧縮符号化部２０全体にて発生する単位時間当たりのデータの符号量を制御する必要がある。そのため、システムコントロール部１９は、ビデオカメラの画質として妥当な符号化レートに従ってレート制御部２８に指示を送り、量子化部２４のデータ間引き量を制御する。
【００４３】
ＭＰＥＧ２方式を用いたビデオカメラでは、いわゆる複雑な映像、例えば入力映像の動き成分が大きく、ＴＶ信号における水平方向と垂直方向の高周波成分が多いような映像の場合、記録する映像の画質改善を図るために入力される映像に応じてレート制御を動作させ、符号化レートを逐次可変しながら記録することが一般に知られている。このとき、ビデオカメラの画質として適切な符号化レート以上の符号化レートで記録を行う必要がある。
【００４４】
次に、本実施の形態における符号量のレート制御について説明する。
【００４５】
本実施の形態では、ビデオカメラの記録モード選択の中に、高画質モードの専用モードを設けている。
【００４６】
図４は、実施の形態１における標準画質モードと高画質モードとの動作を示すフローチャートである。
【００４７】
まず、本実施の形態では、通常の標準画質モードの平均符号化レート目標値として、例えば記録される映像の動きや複雑さに応じて例えば平均３[Ｍbps]を設定すると共に（ステップＳ４１０）、高画質モードの平均符号化レート目標値として、平均６[Ｍbps]を設定する（ステップＳ４２０）。ここで、どちらのモードでも、バッファメモリ部２６がＶＢＶバッファ（Video Buffering Verifier)としてオーバフローも、アンダーフローもしないようシステムコントロール部１９が制御する。
【００４８】
そして、撮影を開始すると、システムコントロール部１９の制御により、標準画質モードにて記録を行う（ステップＳ４３０）。
【００４９】
その際、ビデオカメラのユーザによって高画質モードボタンが押されなければ（ステップＳ４４０“ＮＯ”）、そのまま撮影が終了（ステップＳ４７０“ＹＥＳ”）するまで、ステップＳ４３０に戻り標準画質モードでデータ記録を続ける。
【００５０】
これに対し、ビデオカメラのユーザによって高画質モードボタンがオンされた場合（ステップＳ４４０“ＹＥＳ”）、ユーザによって高画質モードボタンがオフされるまでの間（ステップＳ４４０“ＮＯ”）、システムコントロール部１９は、通常の符号化レートの通常画質モードから一時的に高画質モードに変更する（ステップＳ４５０）。そして、ユーザによって高画質モードボタンがオフされた場合（ステップＳ４６０“ＹＥＳ”）、ステップＳ４３０により標準画質モードでデータ記録を続ける。
【００５１】
図５は、通常モード記録中に発明における高画質モードをオン、オフした場合の符号化レートの変化を示した図である。
【００５２】
どちらのモードも入力映像の複雑さに応じてレート制御を動作させて記録動作を行う時の符号化レートの変化がある。例えば、高画質モードがオフ時は、平均符号化レートが図５に示す標準画質モードのように、目標符号化レートが３[Ｍbps]になるようにレート制御を行う。つまり、レート制御部２８は、システムコントロール部１９からの指示により、３[Ｍbps]の目標符号化レートを基準にして、入力画像が複雑で動的な場合は、それに応じて符号量を増加する一方、比較的簡素な画像では、符号量を抑えて、平均符号量が３[Ｍbps]になるように符号化を行う。
【００５３】
一方、高画質モード時には、システムコントロール部１９は、平均符号化レートが図５に示す高画質モードのように、目標符号化レートが６[Ｍbps]になるようにレート制御を行う。つまり、レート制御部２８は、システムコントロール部１９からの指示により、６[Ｍbps]の符号化レートを基準に、入力画像が複雑で動的な場合はそれに応じて符号量は増加し、比較的簡素な画像では、符号量を抑える。
【００５４】
このため、撮影開始から撮影終了まで標準画質モードのみで記録した場合と比較し、ユーザにとっての重要なシーンでの画質向上があり、高画質モードのみで記録した場合と比較して、符号量が抑えられるというメリットがある。
【００５５】
また、最大符号化レートと最小符号化レートのみ設定され、映像の内容に比例して符号化レートが増減する画質一定型のＶＢＲと比較しても、記録時間残量判定の精度が向上し、重要なシーンにおける画質確保と符号量の効率化が期待できる。
【００５６】
ここで、本実施の形態では、２つの異なる平均符号化レートの目標値をもつＶＢＲ（Variable Bit Rate）を例に挙げて説明しているが、片方、または両方のモードをＣＢＲ（Constant Bit Rate）としてもよい。例えば、標準画質モードを平均３ＭｂｐｓのＶＢＲとし、高画質モードを６ＭｂｐｓのＣＢＲとしたり、標準画質モードを平均３ＭｂｐｓのＣＢＲとし、高画質モードを６ＭｂｐｓのＣＢＲとすることができる。
【００５７】
ただし、本実施の形態では、ＣＢＲ、ＶＢＲのいずれに設定にした場合においても、ＭＰＥＧ２符号化データのシーケンスヘッダに区別はない。ＣＢＲに設定した場合でも、同一画質モード内でＶＢＲにおけるレート制御の振れ幅を少なくしたものであるとする。
【００５８】
一般的にＭＰＥＧ２では、デコーダ側の仮想バッファ（Video Buffering Verifier）が溢れないよう発生符号量を制御するため、ＭＰＥＧ符号化データのシーケンスヘッダに含まれるビットレートバリューと呼ばれる最大符号化レートが設定されている。そのため、撮影を中断せずシームレスに標準画質モードと高画質モードとの切替えを行うために、本実施の形態では、標準画質モードと高画質モードとでこのビットレートバリューと呼ばれる最大符号化レート共通にして、標準画質モードと高画質モードの目標平均符号化レートをその共通の最大符号化レート内で変更する。これは、ＭＰＥＧ符号化データのシーケンスヘッダに含まれるビットレートバリューとよばれる最大符号化レートである限界パラメータは、１シーケンスに１回しか設定できないため、例えば、高画質モード時の目標平均符号化レートを、標準画質モードのＭＰＥＧ２符号化データのシーケンスヘッダに含まれる最大符号化レートより大きく変更する場合には、最大符号化レートの再設定が必要となり、別のシーケンスとして分割されるため、最低でも０．５秒のブランクが生じるからである。
【００５９】
そのため、本実施の形態では、標準画質モードと高画質モード共通の最大符号化レートとして、例えば、図５における３Ｍｂｐｓの標準画質モードと６Ｍｂｐｓの高画質モード双方の目標平均符号化レートより高い６Ｍｂｐｓ以上の例えば、９Ｍｂｐｓをシーケンスヘッダに設定しておく。
【００６０】
すると、システムコントロール部１９は、標準画質モードと高画質モードそれぞれの目標平均符号化レートでレート制御しても、シーケンスヘッダに設定された最大符号化レート以内での平均符号化レートの制御であるため、シーケンスを切り替えずに、シームレスな再生が可能な符号化を行うことができる。
【００６１】
このように、本実施の形態１によれば、高画質モード選択ボタン（ＯＤ）１２５を設け、ユーザが高画質モード選択ボタン（ＯＤ）１２５をオン操作した場合、システムコントロール部１９から圧縮符号化部２０のレート制御部２８に対し高画質モードの指令が出力され、レート制御部２８は量子化部２４および逆量子化部２９に対し量子化スケール（量子化ステップ）を変更するように指示を出し、量子化部２４および逆量子化部２９は通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートになるように量子化スケールを変更して映像信号を量子化するので、コストアップをほとんど生じさせることなく、ユーザにとって重要なシーンを簡単に高画質で符号化することができる。
【００６２】
また、本実施の形態１では、標準画質モードと高画質モード共通の最大符号化レートして、例えば、図５に示すように標準画質モードと高画質モード双方の平均符号化レートより高い、例えば９ＭｂｐｓをＭＰＥＧのシーケンスヘッダに含まれるビットレートバリューに設定するようにしたので、高画質モード時に平均符号化レートを標準画質モード時より上げても、ビットレートバリューを変更する必要がなくなるので、シーケンスを切り替えずに、シームレスな再生が可能な符号化を行うことができる。
【００６３】
その結果、例えば、ビデオカメラ撮影時に重要なシーンの前後も念のため記録しておきたいとき、重要なシーン以外はできるだけ符号量を節約したいとき有効である。また監視カメラのように重要でないシーンが極めて長時間あるなか、瞬間的に重要なシーンになる場合、高画質モード選択ボタン（ＯＤ）１２５をオン操作することにより、あるいは高画質モード選択ボタン（ＯＤ）１２５をオン操作の代わりに異常音検出や画像解析などにより異常を検出した場合、高画質モードにシームレスに移行できる。
【００６４】
なお、本実施の形態１では、高画質モード選択ボタン（ＯＤ）１２５のオン・オフにより標準画質モードと高画質モードとの２つの画質モードを切替えるように説明したが、本発明では、これに限らず、３つ以上の画質モードを選択できるようにしてもよい。例えば、高画質モードの選択ボタン２１を一回押すと、標準画質モードの３Ｍｂｐｓから高画質モード１の６Ｍｂｐｓになり、もう一度押すと高画質モード２の９Ｍｂｐｓということが考えられる。
【００６５】
また、本実施の形態１では、ＭＰＥＧ２形式に従って映像信号を圧縮記録および記録再生するように説明したが、ＪＰＥＧ形式に従った静止画像信号の圧縮記録および記録再生に同様に適用される。これは、ＪＰＥＧ形式のエンコード動作は、ＭＰＥＧ形式のＩピクチャエンコード動作とほぼ同様な動作であり、圧縮符号化部２０はその回路の一部の動作を切り替えるだけでＪＰＥＧ形式のエンコード動作も可能で、圧縮符号化部２０から出力された静止画像は、例えば、ひとつのファイルとしてＨＤＤ１０に記録される。また、音声データだけを記録することも可能であり、非常に少ないデータ量で効果的に音声を記録することができる。
【００６６】
実施の形態２．
上記実施の形態１では、ＭＰＥＧ２方式の符号化方式を採用した映像信号圧縮符号化装置および方法を一例に説明したが、本実施の形態２では、Ｈ．２６４/ＡＶＣ（Advanced Video Coding）方式を採用した映像信号圧縮符号化装置および方法を一例に説明する。
【００６７】
図６は、Ｈ．２６４／ＡＶＣ符号化方式を採用した実施の形態２における映像信号圧縮符号化装置の構成例を示すブロック図である。
【００６８】
図６において、本実施の形態２の圧縮符号化部２０は、Ｈ．２６４／ＡＶＣ符号化方式を用いているので、図２に示す実施の形態１の圧縮符号化部２０とは異なり、ループ内フィルタ６１、フレーム内予測部６２、フレーム間予測部６３、レート制御部６４、切り替えスイッチ６５という独自の構成を有しており、それ以外の構成要素は、図２に示す実施の形態１の圧縮符号化部２０の構成、そして図１に示す構成と同様である。
【００６９】
次に、本実施の形態２の特有の動作を説明する。
【００７０】
本実施の形態２では、切り替えスイッチ６５がレート制御部６４からの指令により、フレーム内予測（イントラ予測）部６２と、フレーム間予測（動き補償予測）部６３とを切替える。
【００７１】
まず、本実施の形態２の圧縮符号化部２０のフレーム内予測（イントラ予測）部６２にて、隣接ブロックからの画素レベルでの予測によりフレーム内予測を実行する場合から説明する。
【００７２】
Ｈ．２６４／ＡＶＣのフレーム内予測では、輝度信号の場合、４×４画素のブロックに対し９通りの予測モードが定義されている。例えば，予測対象の４×４ 画素ブロックの上側に隣接する復号済みの画素データを用いて、垂直方向の予測を行い、予測画像を生成する。この予測モードは，予測対象の画像領域に垂直方向エッジがある場合に有効な予測モードである。他の予測モードも同様にそれぞれが特定方向のエッジに対して有効な予測モードとなっており，隣接ブロックの復号済み画素を基に予測画像を生成する。また輝度信号の場合は，４×４画素ブロックに対してだけでなく，１６×１６画素ブロックに対しても同様に４通りの予測モードが定義されており、４×４画素のブロックに対し９通りの予測モードと合わせて計１３通りの予測モードが存在する。したがって，これら１３通りのイントラ予測モードの中から最適なイントラ予測モードを選択しイントラ予測符号化に用いる。また色差信号については、８×８ 画素ブロックに対し、４通りの予測モードが定義されており，輝度信号とは独立に予測モードを符号化することが可能である。
【００７３】
このように、Ｈ．２６４/ＡＶＣ符号化方式を採用したフレーム内予測部６２では、多様な予測モードを備えることで自由度が高い設計となっており、フレーム間予測における符号化効率の改善には、エンコーダが適切な予測モードを選択することが必要になる。
【００７４】
そこで、本実施の形態２における映像信号圧縮符号化装置では、高画質モードのときに、レート制御部６４からの指示に基づき、フレーム内予測部６２におけるフレーム内予測の画素ブロックを変更することにより、瞬間的に高画質符号化を行う。
【００７５】
つまり、例えば、標準画質モードでのフレーム内予測の画素ブロックサイズを１６×１６画素ブロックの４の予測モードのみで行い、高画質モードでは、それらに４×４の画素ブロックサイズの９の予測モードを加えフレーム内予測符号化を行う。
【００７６】
これにより、実施の形態２によれば、高画質モードの場合、標準画質モードより画素ブロックサイズを小さくしてフレーム内予測が行われ、標準画質モードでの符号量が減り、高画質モードでの符号量の割り当てが増えることになるので、瞬間的な特定時間帯は高画質モードでフレーム内予測符号化を行うことにより、再生画質を向上させることができる。
【００７７】
また、Ｈ．２６４/ＡＶＣでは，１マクロブロック（１６×１６画素），１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素単位の計７種類のブロックサイズで動き補償を行うことができる。小さなブロックで動き補償を行うことで、単位面積当たりの予測誤差を小さく抑えることができる。その反面、符号化する動きベクトル数が増加し、符号量が増加する可能性もある。
【００７８】
そこで、実施の形態２における画像符号化部２０のフレーム間予測部６３では、高画質モードのとき、レート制御部６４からの指示に基づき、フレーム間予測のベクトル探索部分画像サイズを変更している。
【００７９】
つまり、例えば、標準画質モードでは、フレーム間予測のベクトル探索部分画像サイズを１６×１６画素に制限し、高画質モードでは、１６×１６〜８×８の画素ブロックの７パターンから最適のブロックサイズを選ぶというように、標準画質モードのフレーム間予測のベクトル探索部分画像サイズを大きくする一方、高画質モードのフレーム間予測のベクトル探索部分画像サイズを小さくする。
【００８０】
これにより、実施の形態２によれば、高画質モードの場合、標準画質モードよりベクトル探索部分画像サイズを小さくしてフレーム間予測が行われ、標準画質モードでの符号量が減り、高画質モードでの符号量の割り当てが増えることになるので、瞬間的な特定時間帯は高画質モードでフレーム間予測符号化を行うことにより、再生画質を向上させることができる。
【００８１】
また、Ｈ．２６４/ＡＶＣは符号化効率を高める処理によって演算量が大きく変化することが知れている。例えば、上記処理の画素ブロックの選択パターン数が増えるとそれらパターンの数だけ演算が増加するため、消費電力もそれに比例して増加する。よって一般的に消費電力を考慮して符号化効率を高める処理を制限している場合が多い。そこで、本実施の形態２の高画質モードを符号化効率に応用することで、符号量だけでなく、消費電力も節約することができる。
【００８２】
従って、本実施の形態２によれば、Ｈ．２６４/ＡＶＣ符号化方式を採用し、ユーザが高画質モード選択ボタン（ＯＤ）１２５をオン操作した場合、高画質モードの指令が出力され、フレーム内予測部６２におけるイントラ予測またはフレーム間予測部６３に動き補償予測を通常画質モードと高画質モードとで、フレーム内予測符号化の際の画素ブロックサイズや、フレーム間予測符号化の際のベクトル探索部分画像サイズを変更して、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしたので、上記実施の形態１と同様に、コストアップをほとんど生じさせることなく、またシーケンスにユーザにとって重要なシーンを簡単に高画質で符号化することができる。
【００８３】
なお、本実施の形態２でも、上記実施の形態１と同様に、システムコントロール部１９から圧縮符号化部２０のレート制御部６４に対し高画質モードの指令が出力され、レート制御部６４が量子化部２４および逆量子化部２９に対し量子化スケールを変更するように指示を出し、量子化部２４および逆量子化部２９が通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートになるように量子化スケールを変更して映像信号を量子化して、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしても勿論よい。
【００８４】
また、上記実施の形態１，２の説明では、記録媒体としてＨＤＤ１０を一例に説明したが、本発明では、これに限らず、ＤＶＤ−ＲＡＭ、±Ｒ、±ＲＷ、ＢＤ等の光ディスクや、不揮発性半導体メモリであってもよい。また上記のようにレンズから得られた被写体を撮像するビデオカメラだけでなく、ビデオエンコーダを備える据え置き型の映像レコーダにおいても、本実施の形態１，２を応用すれば重要なシーンの画質を確保しつつ効率的な記録が可能となる。
【図面の簡単な説明】
【００８５】
【図１】本発明の映像信号符号化装置の実施の形態１の構成例を示すブロック図である。
【図２】実施の形態１の映像信号符号化装置を応用したビデオカメラの外観と操作ボタンの配置例を示した図である。
【図３】図１に示す圧縮符号化部２０の構成例を示すブロック図である。
【図４】実施の形態１における標準画質モードと高画質モードとの動作を示すフローチャートである。
【図５】通常モード記録中に発明における高画質モードをオン、オフした場合の符号化レートの変化を示した図である。
【図６】Ｈ．２６４／ＡＶＣ符号化方式を採用した実施の形態２における映像信号圧縮符号化装置の構成例を示すブロック図である。
【符号の説明】
【００８６】
１６  操作ボタン（操作部）
１９  システムコントロール部（制御部）
２０  圧縮符号化部
【図１】
2009033604.tif 000003
【図２】
2009033604.tif 000004
【図３】
2009033604.tif 000005
【図４】
2009033604.tif 000006
【図５】
2009033604.tif 000007
【図６】
2009033604.tif 000008