(57)【要約】【課題】生成符号量が過多であるために画像符号化のシステムが破綻する点である。また逆に、目標とする所定の符号量と比較して生成符号量が不足するために、画質が悪化する点である。【解決手段】撮像素子部１より画像信号が取り込まれ、カメラ信号処理部２において様々な信号処理が実施される。そしてその情報は入力バッファ部４に一時保存され、動画像符号化部で符号化される。そして出力バッファ部１０に一時保存され、その後記録媒体１２へ送られる。評価値制御部１１では、カメラ信号処理部２・量子化部７・可変長符号化部８・出力バッファ部１０の情報から評価値を生成し、カメラ制御部３及び符号化制御部９を制御する。そして、カメラ制御部３はカメラ信号処理部２を、符号化制御部９は量子化部７・可変長符号化部８をそれぞれ制御する。【選択図】図１
2006270297.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記撮像素子を有するカメラ部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部の動作を制御するカメラ制御部と、前記カメラ信号処理部からの画像信号を一時記憶する入力バッファ部と、前記入力バッファ部から読み出した画像信号を符号化処理しかつ少なくとも量子化部と可変長符号化部とを有する動画像符号化部と、前記動画像符号化部における画像情報の符号量を所定の符号量にするための制御を行う符号化制御部と、前記動画像符号化部からの画像信号を一時記憶する出力バッファ部と、前記出力バッファ部からの画像信号を記録する記録媒体と、前記カメラ信号処理部と前記量子化部と前記可変長符号化部と前記出力バッファ部とから評価値を生成する評価値制御部とを備え、前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うことを特徴とする画像記録装置。
【請求項２】
外部入力装置から取り込んだ画像信号を、圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記外部入力装置から取り込んだ画像信号に対して各種信号処理を実施するビデオ信号処理部と、前記ビデオ信号処理部からの画像信号を一時記憶する入力バッファ部と、前記入力バッファ部からの画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記動画像符号化部における画像情報の符号量を設定する所定の符号量にするための制御を行う符号化制御部と、前記符号化制御部からの画像信号を一時記憶する出力バッファ部と、前記出力バッファ部からの画像信号を記録する記録媒体と、前記ビデオ信号処理部と前記量子化部と前記可変長符号化部と前記出力バッファ部とから評価値を生成する評価値制御部とを備え、前記ビデオ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うことを特徴とする画像記録装置。
【請求項３】
撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記撮像素子を有するカメラ部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部の動作を制御するカメラ制御部と、前記カメラ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、前記第１の入力バッファ部からの動画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記第２の入力バッファ部からの画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、前記動画像符号化部及び前記静止画像符号化部に対して画像情報の符号量を設定する制御を行う符号化制御部と、前記動画像符号化部からの動画像を一時記憶する第１の出力バッファ部と、前記静止画像符号化部からの静止画像を一時記憶する第２の出力バッファ部と、前記第１及び第２の出力バッファ部からの動画像及び静止画像を記録可能な記録媒体と、前記カメラ信号処理部と前記量子化部と前記可変長符号化部と第１及び第２の出力バッファ部とから評価値を生成する評価値制御部とを備え、前記カメラ信号処理部及び符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うことを特徴とする画像記録装置。
【請求項４】
外部入力装置から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記外部入力から取り込んだ画像信号を信号処理するビデオ信号処理部と、前記ビデオ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、前記第１の入力バッファ部からの動画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記第２の入力バッファ部からの静止画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、前記動画像符号化部及び前記静止画像符号化部における画像情報の符号量を設定する所定の符号量にするための制御を行う符号化制御部と、前記動画像符号化部からの動画像信号を一時記憶する第１の出力バッファ部と、前記静止画像符号化部からの静止画像信号を一時記憶する第２の出力バッファ部と、前記第１及び第２の出力バッファ部からの動画像信号及び静止画像信号を記録する記録媒体と、前記ビデオ信号処理部と前記量子化部と前記可変長符号化部と前記第１及び第２の出力バッファ部とから評価値を生成する評価値制御部とを備え、前記ビデオ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うことを特徴とする画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子もしくは外部入力装置により取り込んだ、動画像もしくは動画像と静止画像を同時に符号化する画像記録装置に関するものである。
【背景技術】
【０００２】
画像記録装置において、動画像符号化の際に生成符号量が過多であるために、  １．ＣＰＵ負荷が大きくなりＣＰＵがハングアップする
２．ＳＤＲＡＭに代表される各種内部メモリーとＣＰＵとのアクセスバスがオーバーフロー状態になる
３．シリコンメモリーやハードディスクに代表される各種外部記録媒体への書き込み速度が間に合わない（外部記録媒体への出力バッファがオーバーフロー状態になる）
等のシステム全体が破綻するのを防止する必要がある。ユーザー側から見ればその破綻は、システムのフリーズ、記録動画のコマ落ち、動画と共に記録されるはずの音声が記録できていない等の現象として現れる。
【０００３】
また逆に、目標とする所定の符号量に対して生成符号量に余裕がある場合、生成符号量を何らかの方法で上昇させることにより、画質を向上させた方が良いにも関わらず、従来技術では限界があった。その原因として、撮像素子からの入力画像を処理するのは、カメラ信号処理部と動画像符号化部であるが、それらの連携がとれておらず、個別の処理を行っていたことが挙げられる。
【０００４】
この問題の対処法の一つとして、特許文献１の技術がある。その技術は、カメラ部の動作を制御するための評価値を用いて画像圧縮する際の符号化の制御を行う構成としている。またそのビデオカメラ装置は、圧縮された画像情報の符号量の情報を用いて、カメラ部の動作の制御を行う構成としている。更に画像圧縮のための周波数変換部の情報を用いてカメラ部の制御を行う構成としている。
【０００５】
しかしこの技術でも以下の様な問題がある。カメラ部の動作を制御するための評価値を用いて画像圧縮する際の符号化の制御を行うという構成の場合、カメラ制御部においてある時点での生成符号量の情報がない。よって生成符号量制御は量子化係数の制御だけで行うことになる。しかしながら、量子化係数は有限の値であるため、生成符号量の過多が原因でシステムが破綻しそうになり、生成符号量を急激に下げる必要があっても、量子化係数の制御だけでは限界がある。また目標とする所定の符号量に対し生成符号量に余裕がある際も、量子化係数の制御だけでは符号量を上昇させることは可能だが、目標とする所定の符号量近くまで上昇させることができない可能性がある。即ちカメラ制御部にて最適な符号量制御ができない構成となっている。
【０００６】
更に圧縮された画像情報の符号量の情報を用いて、カメラ部の動作の制御を行うという構成の場合、画像符号化部において、ある時点でのカメラ信号処理部の情報がない。例えばある時点でのオートフォーカスのために取得した高周波成分が大きく、所定の最大符号量に対して生成符号量に余裕がない場合、生成符号量を大幅に下げる必要がある。しかし、カメラ信号処理部の情報がないために、符号量をどれだけ低下させてよいのかわからない。また所定の最大符号量に対して生成符号量に余裕はないが、高周波成分が小さいため量子化係数を大幅に大きくして生成符号量を小さくする必要がなくても、符号化制御部においては生成符号量しか情報がないため、量子化係数を大幅に大きくして、画質を悪化させてしまう。画像圧縮のための周波数変換部の情報を用いてカメラ部の制御を行う構成も同様に、画像符号化部において、ある時点でのカメラ制御部の情報がないため上記と同様の問題がある。即ち符号化制御においてカメラ信号処理部の情報がないため、最適な符号量制御ができない構成となっている。
【０００７】
更に記録媒体の転送速度の問題もある。記録媒体を一種類に設定しても、転送速度には個々のバラツキがあり、また記録媒体の種類が異なれば転送速度も大きく異なる。その問題に対しては出力バッファを大きくすることが対処法の一つであるが、副作用としてコストアップとなり、そしてハードが大規模になる。またその対策を行っても時間無制限の記録が出来ず、根本的な対策とはならない。特に静止画像符号化部と動画像符号化部を個別に持ち、同時記録することのできるシステムの場合は、動画像符号化のみの場合と比較して生成符号量が過多になる可能性が高く、システムの破綻防止がより大きな課題となる。
【０００８】
以上よりあらゆる状況においても画像符号化での破綻を確実に防止し、且つ目標とする所定の符号量に対して最適な符号化を実現することができる技術が求められる。
【特許文献１】特開２００３−２１９４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする課題は、従来の画像記録装置において、生成符号量が過多であるために画像符号化のシステムが破綻する点である。また逆に、目標とする所定の符号量と比較して生成符号量が不足するために、画質が悪化する点である。
【課題を解決するための手段】
【００１０】
上記課題を解決するにあたって、本発明の画像記録装置は評価値制御部に、カメラ信号処理部もしくはビデオ信号処理部・画像符号化部・出力バッファ部の情報を同時に利用する構成とした。その情報とは例えば、カメラ信号処理におけるオートフォーカスデータ（高周波成分）や、画像符号化部における量子化係数、生成符号量、出力バッファ内に存在する符号量等である。なお、これらの情報は符号化していく過程で生成する情報であるため、情報生成のための新たなハードウェア及びソフトウェアを追加する必要はない点で有効である。
【００１１】
更に上記の評価値により、カメラ信号処理もしくはビデオ信号処理及び画像符号化部を同時に制御する。その制御項目とは例えば、カメラ信号処理もしくはビデオ信号処理部のローパスフィルタ、輪郭強調、ノイズ除去、更に動画像符号化部の量子化係数やマクロブロックの符号化タイプ選択等である。生成符号量を増減させることができるのは、画像符号化部だけではなく、カメラ信号処理部でも可能である。
【発明の効果】
【００１２】
本発明の画像記録装置は、カメラ信号処理部もしくはビデオ信号処理部、画像符号化部、出力バッファ部の情報を評価値生成に利用し、その評価値からカメラ信号処理部もしくはビデオ信号処理部と画像符号化部を同時に制御する。即ち画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。
【００１３】
即ち本発明によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また出力バッファ部の情報も考慮に入れているため、様々な記録媒体に対応することができ、汎用的なシステム構築が可能である。
【発明を実施するための最良の形態】
【００１４】
本発明の請求項１記載の発明は、撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記撮像素子を有するカメラ部と、前記カメラ部の動作を制御するカメラ制御部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部からの画像信号を一時記憶する入力バッファ部と、前記入力バッファ部から読み出した画像信号を符号化処理しかつ少なくとも量子化部と可変長符号化部とを有する動画像符号化部と、前記動画像符号化部における画像情報の符号量を所定の符号量にするための制御を行う符号化制御部と、前記動画像符号化部からの画像信号を一時記憶する出力バッファ部と、前記出力バッファ部からの画像信号を記録する記録媒体と、前記カメラ信号処理部と前記量子化部と前記可変長符号化部と前記出力バッファ部とから評価値を生成する評価値制御部とを備え、前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。
【００１５】
請求項２に記載の発明は、外部入力装置から取り込んだ画像信号を、圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記外部入力装置から取り込んだ画像信号に対して各種信号処理を実施するビデオ信号処理部と、前記ビデオ信号処理部からの画像信号を一時記憶する入力バッファ部と、前記入力バッファ部からの画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記動画像符号化部における画像情報の符号量を設定する所定の符号量にするための制御を行う符号化制御部と、前記符号化制御部からの画像信号を一時記憶する出力バッファ部と、前記出力バッファ部からの画像信号を記録する記録媒体と、前記ビデオ信号処理部と前記量子化部と前記可変長符号化部と前記出力バッファ部とから評価値を生成する評価値制御部とを備え、前記ビデオ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。
【００１６】
請求項３に記載の発明は、撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記撮像素子を有するカメラ部と、前記カメラ部の動作を制御するカメラ制御部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、前記第１の入力バッファ部からの動画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記第２の入力バッファ部からの画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、前記動画像符号化部及び前記静止画像符号化部に対して画像情報の符号量を設定する制御を行う符号化制御部と、前記動画像符号化部からの動画像を一時記憶する第１の出力バッファ部と、前記静止画像符号化部からの静止画像を一時記憶する第２の出力バッファ部と、前記第１及び第２の出力バッファ部からの動画像及び静止画像を記録可能な記録媒体と、前記カメラ信号処理部と前記量子化部と前記可変長符号化部と第１及び第２の出力バッファ部とから評価値を生成する評価値制御部とを備え、前記カメラ信号処理部及び符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。
【００１７】
請求項４に記載の発明は、外部入力装置から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記外部入力から取り込んだ画像信号を信号処理するビデオ信号処理部と、前記ビデオ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、前記第１の入力バッファ部からの動画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記第２の入力バッファ部からの静止画像信号を符号化処理しかつ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、前記動画像符号化部及び前記静止画像符号化部における画像情報の符号量を設定する所定の符号量にするための制御を行う符号化制御部と、前記動画像符号化部からの動画像信号を一時記憶する第１の出力バッファ部と、前記静止画像符号化部からの静止画像信号を一時記憶する第２の出力バッファ部と、前記第１及び第２の出力バッファ部からの動画像信号及び静止画像信号を記録する記録媒体と、前記ビデオ信号処理部と前記量子化部と前記可変長符号化部と前記第１及び第２の出力バッファ部とから評価値を生成する評価値制御部とを備え、前記ビデオ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。
【００１８】
（実施の形態１）
以下、本発明を実施するための形態を、図面を用いて説明する。図１、図３、図４、図５は本発明の実施の形態１、２、３、４における画像記録装置の実施方法を示したブロック図である。図２は本発明の実施の形態１における評価値による制御パターンの場合分けを表している。
【００１９】
図において、１は入力される光学信号を撮像して電気信号（画像信号）に変換して出力するカメラ部である撮像素子部で、レンズや絞りや撮像素子などから構成され、撮像素子は例えばＣＣＤイメージセンサーなどから構成されるが、これらに限定されるものではない。
【００２０】
２は撮像素子部１からの画像信号に対して各種信号処理を施すカメラ信号処理部で、信号処理の内容としては例えば、撮像素子部１からのアナログ画像信号をデジタル画像信号に変換したり、輪郭強調、ノイズ除去などがあるが、これらに限定されるものではない。
【００２１】
３はカメラ信号処理部２の動作を制御するカメラ制御部で、後述する評価値制御部１１からの指令に基づき動作制御される。
【００２２】
４はカメラ信号処理部２からの画像信号を一時的に記憶する入力バッファ部で、後段の動画像符号化部へデータ入力を行う際に使用するバッファである。
【００２３】
５は入力バッファ部４からの画像信号に対して動き補償を施す動き補償部である。６は動き補償部５からの画像信号に対して周波数変換処理を行う周波数変換部である。７は周波数変換処理部６からの画像信号に対して量子化処理を行う量子化部である。８は量子化部７からの画像信号に対して可変長符号化処理を行う可変長符号化部である。３０は動き補償部５と周波数変換部６と量子化部７と可変長符号化部８とから構成されかつ入力バッファ部４から入力される画像信号を符号化処理する動画像符号化部である。
【００２４】
９は動画像符号化部３０に対して画像信号の符号量を所定の符号量になるように設定するための制御を行う符号化制御部で、本実施の形態では量子化部７と可変長符号化部８に対して制御を行う構成とした。なお、制御の指令は、後述する評価値制御部１１からの指令により行う。
【００２５】
１０は動画像符号化部３０（可変長符号化部８）からの画像信号を一時的に記憶する出力バッファ部で、後述する記録媒体１２に対して画像信号を記録制御を行う際に用いるものである。
【００２６】
１１はカメラ信号処理部２と量子化部７と可変長符号化部８と出力バッファ部１０とからの情報に基づき評価値を生成する評価値制御部で、評価値および評価値生成制御については後述する。
【００２７】
１２は出力バッファ部１０から出力される画像信号を記録する記録媒体で、本実施の形態ではシリコンメモリやハードディスクドライブなどを想定しているが、少なくともデジタル画像信号を記録可能であればこれらに限定されるものではない。
【００２８】
以上のように構成された本実施の形態の画像記録装置について、以下その動作について説明する。
【００２９】
図１において、撮像素子部１により画像信号が取り込まれる。その画像信号をカメラ信号処理部２においてデジタル信号へと変換され、オートフォーカス・オートアイリス・オートホワイトバランス・ローパスフィルタリング・輪郭強調処理・ノイズ除去処理等、様々なカメラ信号処理が実施される。
【００３０】
カメラ信号処理部２にてデジタル信号処理された画像情報は、入力バッファ部４に一時保存される。そして、入力バッファ部４から送られてきた画像情報に対して動き補償部５にて動き補償を行い、周波数変換部６で周波数変換を行う。ここで周波数変換にはＤＣＴやウェーブレット変換といった様々な変換を適用可能とする。量子化部７は周波数変換された情報に対して量子化を行い、可変長符号化部８にて量子化された情報を可変長符号化する。ここで５，６，７，８は合わせて動画像符号化部とする。
【００３１】
可変長符号化部８によって可変長符号化された情報は、記録媒体１２へ入力するために、出力バッファ部１０に一時保存され、その後記録媒体１２へ送られ保存される。なお、この出力バッファ部１０及びそれに付随する記録媒体１２は複数設けてもよい。
【００３２】
一方、評価値制御部１１では、カメラ信号処理部２・量子化部７・可変長符号化部８・出力バッファ部１０の情報から評価値を生成し、カメラ制御部３及び符号化制御部９を制御する。そして、カメラ制御部３はカメラ信号処理部２を、符号化制御部９は量子化部７・可変長符号化部８をそれぞれ制御する。以上の構成を実施の形態１とする。
【００３３】
本実施形態における制御方法の具体例を以下に記述する。
【００３４】
本例では評価値生成のために、カメラ信号処理部のオートフォーカス情報（高周波成分）、動画像符号化部の生成符号量飽和度、出力バッファ部飽和度を選択することとする。動画像符号化におけるこれらの高周波成分・生成符号量飽和度・出力バッファ飽和度が、それぞれ高い・低い場合の符号量制御を定性的に以下の（表１）にまとめた。但しこれはあくまで定性的であり、必ずしも（表１）のような符号量制御を実施しなければいけないわけではないことに注意したい。
【００３５】
【表１】
2006270297.tif 000003
【００３６】
ここで生成符号量飽和度とは所定の最大符号量に対して生成符号量の占める割合である。所定の最大符号量をＭａｘ＿ｂｉｔｒａｔｅ［ｂｉｔ／ｓｅｃ］、ある１秒間に既に生成された符号量をＧｅｎ＿ｂｉｔｒａｔｅ［ｂｉｔ］、目標とする所定のフレーム数をＦｒａｍｅ［ｆｒａｍｅ／ｓｅｃ］、ある１秒間に既に生成されたフレーム数をＧｅｎ＿ｆｒａｍｅ［ｆｒａｍｅ］とすると、符号量飽和度ＢＩＴＲＡＴＥは数式１のように表現することができる。
【００３７】
ＢＩＴＲＡＴＥ  ＝  （Ｍａｘ＿ｂｉｔｒａｔｅ−Ｇｅｎ＿ｂｉｔｒａｔｅ）／（Ｆｒａｍｅ−Ｇｅｎ＿ｆｒａｍｅ）  ・・・（数式１）
また出力バッファ飽和度とは、出力バッファ部の符号容量にしてある時点での出力バッファ部における符号量の割合である。出力バッファ部の符号容量をＡｌｌ＿ｂｕｆ［ｂｉｔ］とし、ある時点での出力バッファ部において存在する符号量をＧｅｎ＿ｂｕｆ［ｂｉｔ］とすると、出力バッファ飽和度ＢＵＦは数式２のように表現することができる。
【００３８】
ＢＵＦ  ＝  Ａｌｌ＿ｂｕｆ／Ｇｅｎ＿ｂｕｆ  ・・・（数式２）
なおこれらの表現方法は一例であり、設定は自由とする。
【００３９】
実際には、それぞれの項目を線形結合して評価値を決定することとする。これを数式３にて表現する。
【００４０】
Ｘ  ＝  ａ＊ＡＦ  ＋  ｂ＊ＢＩＴＲＡＴＥ  ＋  ｃ＊ＢＵＦ  ・・・（数式３）
ここでＡＦはオートフォーカス情報即ち高周波成分である。ＢＩＴＲＡＴＥは生成符号量飽和度である。ＢＵＦは出力バッファ部飽和度である。これらの値が大きいほど符号量を下げる必要がある。また、ａ，ｂ，ｃはそれぞれの重み関数である。そしてある閾値を設定し、ある時間の評価値Ｘが、設定した閾値を超えるか超えないかを判別することにより、符号量の制御方法を変更することとする。また評価値Ｘに対して閾値を複数設けることにより、符号量の制御方法を段階的に設定が可能なシステムとする。このように段階的に設定することにより、より詳細で最適な制御が可能となる。
【００４１】
カメラ信号処理部及び画像符号化部における符号量制御の一例を（表２）に挙げる。
【００４２】
【表２】
2006270297.tif 000004
【００４３】
これらの制御方法について説明していく。「ローパスフィルタリング」は、高周波成分を取り除く処理で、画像符号化部への入力情報を削減し、結果的に生成符号量を下げる処理である。「焦点位置ずらし」は、オートフォーカス制御にて敢えて正規の位置よりレンズ位置をずらすことにより、擬似的ローパスフィルタリングを施す処理である。「輪郭ぼかし」は、アパーチャ処理にてモデルの輪郭をぼかし、擬似的ローパスフィルタリングを施す処理である。「ノイズ除去」は各種ノイズ（主に高周波成分）を取り除く処理で、「ローパスフィルタリング」と同様の結果となる。「輪郭強調」はアパーチャ処理にて輪郭を強調し、結果的に生成符号量を上げる処理である。但しこの際、ノイズ成分も強調してしまうため、コアリング処理やノイズ除去を合わせて利用すると、画質向上に有効である。「量子化係数を上げる」「量子化係数を上げる」は量子化係数を上下させることにより、生成符号量を上下させる処理である。「符号量小さいマクロブロック符号化タイプ選択」「符号量大きいマクロブロック符号化タイプ選択」はマクロブロック符号化タイプを選択することにより、生成符号量を操作することが可能である。マクロブロック符号化タイプには例えばＭＰＥＧにおいて、Ｉピクチャー（ＶＯＰ）の場合はイントラ・イントラ＋Ｑ、Ｐピクチャー（ＶＯＰ）の場合は動き補償コーデッド・ノン動き補償コーデッド・動き補償符号化不要・イントラ・動き補償コーデッド＋Ｑ・ノン動き補償コーデッド＋Ｑ・イントラ＋Ｑ等がある。「強制コマ落ち」は動画像のフレームを意図的にコマ落ちさせることにより、生成符号量を下げることが可能である。「量子化係数変化量の制限解除」は、シーンチェンジが発生するなど、急激な画質劣化を防止するために量子化係数の変化量に制限をかけている場合があり、通常時の記録では画像劣化を防止できるため、その制限は有効であるが、破綻を防ぐためにはその制限をリアルタイムに解除する必要がある。その制御を行うことにより、「量子化係数を上げる」「量子化係数を下げる」をより効果的に利用することが可能となる。
【００４４】
これらの方法は画像符号化において何を重視するか（画質向上やコマ落ち防止等）、ＬＳＩ（ＤＳＰ）が持つ機能及びその性能、システム全体の負荷に依存し、そしてより汎用的なシステムを構築するため選択可能とする。また例えば急峻なローパスフィルタをかけると画像が急激にぼやける、強制コマ落ちを実施すると動画像が滑らかでなくなる等、それぞれの手法には様々な副作用がある。それは評価量の線形結合において、係数を考慮し、そして制御方法を検討、吟味して決定する必要がある。
【００４５】
ここで評価値Ｘに対して閾値を複数設けたことによる、符号量の段階的制御例を挙げておく。図２のように評価量Ｘに対する閾値を３つ設定する場合を考える。Ｘが「ア」未満であれば制御方法「あ」、Ｘが「ア」以上「イ」未満であれば制御方法「い」、Ｘが「イ」以上「ウ」未満であれば制御方法「う」、Ｘが「ウ」以上であれば制御方法「え」とする。Ｘの値が大きいほど、符号量を下げてシステムの破綻を防止する必要がある。逆にＸの値が小さいほど、符号量を上げて画質向上を目指す必要がある。それぞれ制御方法は以下のように選択する。
【００４６】
【表３】
2006270297.tif 000005
【００４７】
各々制御手法の組み合わせにより、様々な制御が可能である。
【００４８】
以上のように本実施の形態によれば、カメラ信号処理部２もしくはビデオ信号処理部１５、動画像符号化部３０、出力バッファ部１０の情報を評価値生成に利用し、その評価値からカメラ信号処理部３もしくはビデオ信号処理部１５と動画像符号化部３０を同時に制御する。即ち、画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。
【００４９】
即ち本実施の形態によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また出力バッファ部１０の情報も考慮に入れているため、様々な記録媒体に対応することができ、汎用的なシステム構築が可能である。
【００５０】
なお、本実施の形態では、撮像素子部から入力される画像信号に対して処理を行う構成としたが、撮像素子に限らず外部入力されるものであっても同様に処理することが可能となる。その構成を図３に示す。
【００５１】
図において、１３は外部から画像信号を入力可能な外部入力部である。１４は外部入力部１３から入力される画像信号に対してローパスフィルタリング・輪郭強調処理・ノイズ除去処理など、様々なビデオ信号処理が実施されるビデオ信号処理部である。１５はビデオ信号処理部１４を動作制御するビデオ制御部である。
【００５２】
４はビデオ信号処理部２からの画像信号を一時的に記憶する入力バッファ部で、後段の動画像符号化部へデータ入力を行う際に使用するバッファである。
【００５３】
５は入力バッファ部４からの画像信号に対して動き補償を施す動き補償部である。６は動き補償部５からの画像信号に対して周波数変換処理を行う周波数変換部である。７は周波数変換処理部６からの画像信号に対して量子化処理を行う量子化部である。８は量子化部７からの画像信号に対して可変長符号化処理を行う可変長符号化部である。３０は動き補償部５と周波数変換部６と量子化部７と可変長符号化部８とから構成されかつ入力バッファ部４から入力される画像信号を符号化処理する動画像符号化部である。
【００５４】
９は動画像符号化部３０に対して画像信号の符号量を所定の符号量になるように設定するための制御を行う符号化制御部で、本実施の形態では量子化部７と可変長符号化部８に対して制御を行う構成とした。なお、制御の指令は、後述する評価値制御部１１からの指令により行う。
【００５５】
１０は動画像符号化部３０（可変長符号化部８）からの画像信号を一時的に記憶する出力バッファ部で、後述する記録媒体１２に対して画像信号を記録制御を行う際に用いるものである。
【００５６】
１１はビデオ信号処理部１４と量子化部７と可変長符号化部８と出力バッファ部１０とからの情報に基づき評価値を生成する評価値制御部で、評価値および評価値生成制御については後述する。
【００５７】
１２は出力バッファ部１０から出力される画像信号を記録する記録媒体で、本実施の形態ではシリコンメモリやハードディスクドライブなどを想定しているが、少なくともデジタル画像信号を記録可能であればこれらに限定されるものではない。
【００５８】
図３において、外部入力装置１３により画像信号が取り込まれる。その画像信号をビデオ信号処理部１４においてデジタル信号へと変換され、ローパスフィルタリング・輪郭強調処理・ノイズ除去処理など、様々なビデオ信号処理が実施される。以降は図１に示す構成に基づく構成と同様に符号化が行われる。
【００５９】
図３に示す構成における制御の考え方は、前述の実施の形態１と同様なので、ここでの制御方法の説明は省略することとする。ただし撮像素子からの入力信号と、外部入力装置からの入力信号は異なるものであるので、評価値制御部における評価値の重み係数や、符号量制御のためのビデオ信号処理部と画像符号化部の方法選択は別途考慮する必要がある。
【００６０】
（実施の形態２）
以下、本発明の実施の形態２の構成について図４を用いて説明する。
【００６１】
図において、４１は入力される光学信号を撮像して電気信号（画像信号）に変換して出力するカメラ部である撮像素子部で、レンズや絞りや撮像素子などから構成され、撮像素子は例えばＣＣＤイメージセンサーなどから構成されるが、これらに限定されるものではない。
【００６２】
４２は撮像素子部４１からの画像信号に対して各種信号処理を施すカメラ信号処理部で、信号処理の内容としては例えば、撮像素子部４１からのアナログ画像信号をデジタル画像信号に変換したり、輪郭強調、ノイズ除去などがあるが、これらに限定されるものではない。
【００６３】
４３はカメラ信号処理部４２の動作を制御するカメラ制御部で、後述する評価値制御部５１からの指令に基づき動作制御される。
【００６４】
４５はカメラ信号処理部４２からの動画像信号を一時的に記憶する入力バッファ部で、後段の動画像符号化部６１へデータ入力を行う際に使用する第１のバッファ部である。
【００６５】
４６は入力バッファ部４５からの画像信号に対して動き補償を施す動き補償部である。４７は動き補償部４６からの画像信号に対して周波数変換処理を行う周波数変換部である。４８は周波数変換処理部４７からの画像信号に対して量子化処理を行う量子化部である。４９は量子化部４８からの画像信号に対して可変長符号化処理を行う可変長符号化部である。６１は動き補償部４６と周波数変換部４７と量子化部４８と可変長符号化部４９とから構成されかつ第１の入力バッファ部４５から入力される画像信号を符号化処理する動画像符号化部である。
【００６６】
４９は動画像符号化部６１及び静止画像符号化部６２に対して画像信号の符号量を所定の符号量になるように設定するための制御を行う符号化制御部で、本実施の形態では量子化部４８及び５８と可変長符号化部４９及び５９に対して制御を行う構成とした。なお、制御の指令は、後述する評価値制御部５１からの指令により行う。
【００６７】
５０は動画像符号化部６１（可変長符号化部４９）からの画像信号（動画像）を一時的に記憶する第１の出力バッファ部で、後述する記録媒体５２に対して画像信号を記録制御を行う際に用いるものである。
【００６８】
５１はカメラ信号処理部４２と量子化部４８と可変長符号化部４９と第１の出力バッファ部５０とからの情報に基づき評価値を生成する評価値制御部で、評価値および評価値生成制御については後述する。
【００６９】
５２は第１の出力バッファ部５０から出力される画像信号を記録する記録媒体で、本実施の形態ではシリコンメモリやハードディスクドライブなどを想定しているが、少なくともデジタル画像信号を記録可能であればこれらに限定されるものではない。
【００７０】
５６はカメラ信号処理部４２からの画像信号を一時記憶する第２の入力バッファ部で、静止画像符号化部６２における静止画像符号化処理の際に使用するものである。
【００７１】
５７は第２の入力バッファ部５６から画像信号に対して周波数変換処理を行う周波数変換部である。５８は周波数変換処理部５７に対して量子化処理を行う量子化部である。５９は量子化処理部５８に対して可変長符号化処理を行う可変長符号化部である。６２は周波数変換処理部５７と量子化処理部５８と可変長符号化処理部５９とから構成される静止画像符号化部である。
【００７２】
６０は静止画像符号化部６２から出力される画像信号（静止画）を記録媒体５２に記録する際に一時記憶する第２の出力バッファ部である。
【００７３】
以上のように構成された本実施の形態の画像記録装置について、以下その動作について説明する。
【００７４】
図４において、撮像素子部４１により画像信号が取り込まれる。その画像信号をカメラ信号処理部４２においてデジタル信号へと変換され、オートフォーカス・オートアイリス・オートホワイトバランス・ローパスフィルタリング・輪郭強調処理・ノイズ除去処理等、様々なカメラ信号処理が実施される。
【００７５】
カメラ信号処理部４２にてデジタル信号処理された画像情報は、第１の入力バッファ部４５に一時保存される。そして、第１の入力バッファ部４５から送られてきた画像情報に対して動き補償部４６にて動き補償を行い、周波数変換部４７で周波数変換を行う。
【００７６】
量子化部４８は周波数変換された情報に対して量子化を行い、可変長符号化部４９にて量子化された情報を可変長符号化する。ここで４６，４７，４８，４９は合わせて動画像符号化部６１とする。
【００７７】
可変長符号化部４９において可変長符号化された情報は、記録媒体５２へ入力するために、第１の出力バッファ部５０に一時保存され、その後記録媒体５２へ送られ保存される。この第１の出力バッファ部５０及びそれに付随する記録媒体５２は複数設けてもよい。
【００７８】
また以上の動画像符号化部６１と並行に、カメラ信号処理部４２にてデジタル信号処理された画像情報は、第２の入力バッファ部５６に一時保存される。そして、第２の入力バッファ部５６から送られてきた画像情報に対して、周波数変換部５７で周波数変換を行う。
【００７９】
量子化部５８は周波数変換された情報に対して量子化を行い、可変長符号化部５９にて量子化された情報を可変長符号化する。ここで５７，５８，５９は合わせて静止画像符号化部とする。
【００８０】
可変長符号化部５９において可変長符号化された情報は、記録媒体５２へ入力するために、第２の出力バッファ部６０に一時保存され、その後記録媒体５２へ送られ保存される。この第２の出力バッファ部６０及びそれに付随する記録媒体５２は複数設けてもよい。
【００８１】
評価値制御部５１では、カメラ信号処理部４２・動画像符号化部６１内の量子化部４８・動画像符号化部６１内の可変長符号化部４９・第１の出力バッファ部５０・静止画像符号化部６２内の量子化部４８・静止画像符号化部６２内の可変長符号化部５９・第２の出力バッファ部６０の情報から評価値を生成し、カメラ制御部４３及び符号化制御部６９を制御する。
【００８２】
そして、カメラ制御部４３はカメラ信号処理部４２を、符号化制御部６９は動画像符号化部６１内の量子化部４８・動画像符号化部６１内の可変長符号化部４９・静止画像符号化部６２内の量子化部５８・静止画像符号化部６２内の可変長符号化部５９をそれぞれ制御する。
【００８３】
本実施の形態では実施の形態１とは異なり、動画像符号化と静止画符号化を同時に実施するため、実施の形態１よりも生成符号量飽和度と出力バッファ飽和度に注意する必要がある。制御方法を判断するための評価値Ｘは、数式４のように表現することができる。
【００８４】
Ｘ  ＝  ａ＊ＡＦ  ＋  ｂ１＊ＭＯＶ＿ＢＩＴＲＡＴＥ  ＋  ｃ１＊ＭＯＶ＿ＢＵＦ  ＋  ｂ２＊ＳＴＬ＿ＢＩＴＲＡＴＥ  ＋  ｃ２＊ＳＴＬ＿ＢＵＦ  ・・・（数式４）
ここで、ＡＦはオートフォーカス情報即ち高周波成分である。ＭＯＶ＿ＢＩＴＲＡＴＥは動画像符号化の生成符号量飽和度である。ＭＯＶ＿ＢＵＦは動画像符号化の出力バッファ部飽和度である。ＳＴＬ＿ＢＩＴＲＡＴＥは静止画像符号化の生成符号量飽和度である。ＳＴＬ＿ＢＵＦは静止画像符号化の出力バッファ部飽和度である。これらの値が大きいほど符号量を下げる必要がある。また、ａ，ｂ１，ｃ１，ｂ２，ｃ２はそれぞれの重み関数である。以下制御方法の選択等の考え方は、実施の形態１と同様なので省略することとする。
【００８５】
以上のように本実施の形態によれば、カメラ信号処理部４２もしくはビデオ信号処理部５４、動画像符号化部６１及び静止画像符号化部６２、第１及び第２の出力バッファ部５０及び６０の情報を評価値生成に利用し、その評価値からカメラ信号処理部４３もしくはビデオ信号処理部５５と動画像符号化部６１及び静止画像符号化部６２を同時に制御する。即ち、画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。
【００８６】
即ち本実施の形態によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また出力バッファ部１０の情報も考慮に入れているため、様々な記録媒体に対応することができ、汎用的なシステム構築が可能である。
【００８７】
なお、本実施の形態では、撮像素子部から入力される画像信号に対して処理を行う構成としたが、撮像素子に限らず外部入力されるものであっても同様に処理することが可能となる。その構成を図５に示す。
【００８８】
図５において、外部入力部５３により画像信号が取り込まれる。その画像信号をビデオ信号処理部５４においてデジタル信号へと変換され、ローパスフィルタリング・輪郭強調処理・ノイズ除去処理など、様々なビデオ信号処理が実施される。以降は前記実施の形態３と同様に符号化が行われる。
【００８９】
図５に示す構成における制御の考え方は実施の形態３と同様なので、ここでの制御方法の説明は省略することとする。ただし撮像素子からの入力信号と、外部入力装置からの入力信号は異なるものであるので、評価値制御部における評価値の重み係数や、符号量制御のためのビデオ信号処理部と画像符号化部の方法選択は別途考慮する必要がある。
【産業上の利用可能性】
【００９０】
本発明の画像記録装置は、カメラ信号処理部もしくはビデオ信号処理部、画像符号化部、出力バッファ部の情報を評価値生成に利用し、その評価値からカメラ信号処理部もしくはビデオ信号処理部と画像符号化部を同時に制御する。即ち画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。
【００９１】
即ち本発明によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また出力バッファ部の情報も考慮に入れているため、様々な記録媒体に対応することができ、汎用的なシステム構築が可能である。
【００９２】
以上よりあらゆる画像記録装置に利用することが可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の形態１における画像記録装置の実施方法を示したブロック図
【図２】本発明の実施の形態１における評価値による制御パターンの場合分けを示す模式図
【図３】本発明の実施の形態２における画像記録装置の実施方法を示したブロック図
【図４】本発明の実施の形態３における画像記録装置の実施方法を示したブロック図
【図５】本発明の実施の形態４における画像記録装置の実施方法を示したブロック図
【符号の説明】
【００９４】
１、４１    撮像素子部
２、４２    カメラ信号処理部
３、４３    カメラ制御部
４    入力バッファ部
５、４６    動き補償部
６、４７、５７    周波数変換部
７、４８、５８    量子化部
８、４９、５９    可変長符号化部
９、６９    符号化制御部
１０    出力バッファ部
１１    評価値制御部
１２    記録媒体部
１３    外部入力装置部
１４    ビデオ信号処理部
１５    ビデオ制御部
４５    第１の入力バッファ部
５０    第１の出力バッファ部
５６    第２の入力バッファ部
６０    第２の出力バッファ部
【図１】
2006270297.tif 000006
【図２】
2006270297.tif 000007
【図３】
2006270297.tif 000008
【図４】
2006270297.tif 000009
【図５】
2006270297.tif 000010