(57)【特許請求の範囲】
【請求項１】
撮像素子に対する集光用のレンズを駆動するレンズ駆動手段と、
撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記レンズ駆動手段を制御するための駆動制御信号を出力する駆動制御手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項２】
前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項１記載の撮像装置。
【請求項４】
撮像により得られた画像信号を基に露光補正処理またはホワイトバランス処理の少なくとも一方を実行する画質補正手段と、
前記画質補正手段による処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記画質補正手段を制御するための補正制御信号を出力する補正制御手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項５】
前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項４記載の撮像装置。
【請求項６】
前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項４記載の撮像装置。
【請求項７】
撮像された画像の明るさに応じてアイリスの開度および撮像画像信号のゲインを制御する露光補正処理を実行する露光補正手段と、
前記露光補正処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記露光補正手段を制御するための補正制御信号を出力する補正制御手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、前記アイリスの開度が最大でかつ前記ゲインの制御値が所定値以上である場合に、前記露光補正処理の状態が不適切と判断して、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項８】
撮像により得られた画像信号を基にホワイトバランス処理を実行するホワイトバランス処理手段と、
前記ホワイトバランス処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記ホワイトバランス処理手段を制御するための補正制御信号を出力する補正制御手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、ホワイトバランスの調整値があらかじめ決められた範囲にあるときに、前記ホワイトバランス処理の状態が不適切と判断して、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項９】
撮像時の手ぶれを検出する手ぶれ検出手段と、
撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出手段の検出結果に基づき撮像方向が変化している場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項１０】
前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出手段の検出結果に基づき撮像方向が変化している場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項９記載の撮像装置。
【請求項１２】
撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
前記圧縮符号化手段を制御する符号化制御手段と、
を有し、
前記符号化制御手段は、前記記録制御信号に基づき、記録開始から一定時間が経過するまでは目標情報量を所定量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように、前記圧縮符号化手段を制御することを特徴とする撮像装置。
【請求項１３】
前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
前記符号化制御手段は、前記記録制御信号に基づき、記録開始から前記一定時間の経過後に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項１２記載の撮像装置。
【請求項１５】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
撮像素子に対する集光用のレンズの駆動を制御するための駆動制御信号を出力するステップと、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、圧縮符号化による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項１６】
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項１５記載の撮像方法。
【請求項１７】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
撮像により得られた画像信号を基に実行される露光補正処理またはホワイトバランス処理の少なくとも一方を制御するための補正制御信号を出力するステップと、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、圧縮符号化処理による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項１８】
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項１７記載の撮像方法。
【請求項１９】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
撮像された画像の明るさに応じてアイリスの開度および撮像画像信号のゲインを調整する露光補正処理を制御するための補正制御信号を出力するステップと、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、前記アイリスの開度が最大でかつ前記ゲインの制御値が所定値以上である場合に、前記露光補正処理の状態が不適切と判断して、圧縮符号化処理による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項２０】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
撮像により得られた画像信号を基に実行されるホワイトバランス処理を制御するための補正制御信号を出力するステップと、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、ホワイトバランスの調整値があらかじめ決められた範囲にあるときに、前記ホワイトバランス処理の状態が不適切と判断して、圧縮符号化処理による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項２１】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
手ぶれを検出するステップと、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出の検出結果に基づき撮像方向が変化している場合に、圧縮符号化による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項２２】
前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出の検出結果に基づき撮像方向が変化している場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項２１記載の撮像方法。
【請求項２３】
撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
前記記録制御信号に基づき、記録開始から一定時間が経過するまでは圧縮符号化による目標情報量を所定量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
を含むことを特徴とする撮像方法。
【請求項２４】
前記記録制御信号に基づき、記録開始から前記一定時間の経過後に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項２３記載の撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮影された画像を圧縮符号化して、画像信号を所定の記録媒体に記録する撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group Phase 2）は、放送やＡＶ機器に用いられる符号化方式であり、画像／音声／データなどの情報圧縮技術として広く用いられている。
【０００３】
ＭＰＥＧ２の標準モデルによる圧縮符号化装置によれば、入力される映像を一度符号化し、その発生情報量などから映像の複雑さや動きを抽出し、その映像の特徴を割出し、特徴に合わせた符号化制御を行うことにより、圧縮伸張後の画質の向上を図ることができる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の動き検出による符号化制御では、実際の撮影状況を考えた場合には、以下のような不都合があった。たとえば、動きの激しいシーンに注目して撮影を行っている場合と、パンニング中のように、非注目のシーンであるにもかかわらず、画像の相関検出結果としては、動きの激しいシーンと同様の複雑度を出力する場合とを区別できない。
【０００５】
このため、記録容量に限りがあるディスクメディアを用いたカメラ一体型ビデオ記録再生装置に、動き検出による符号化制御を行う圧縮符号化装置を適用すると、再生画像を高画質に維持するためには、撮影する全てのシーンに常に最大のビットレートを割り付けることが必要になる。その結果、ディスクメディアへの記録時間が短くなってしまう。
【０００６】
この発明の目的は、撮影される動画像の内容と性質に合わせて目標情報量を補正制御するようにした撮像装置、及び撮像方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、撮像素子に対する集光用のレンズを駆動するレンズ駆動手段と、撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、前記レンズ駆動手段を制御するための駆動制御信号を出力する駆動制御手段と、前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、前記圧縮符号化手段を制御する符号化制御手段とを有し、前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置が提供される。
【０００８】
この発明の撮像装置では、目標情報量を符号化圧縮装置に供給する場合に、記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、レンズ駆動手段に対する駆動制御信号に基づき、集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、記録制御信号により記録開始が指示されてから一定時間が経過するまでは目標情報量を第２目標量以上に増加させ、一定時間の経過後に目標情報量を減少させることにより、実撮影状況を加味した新たな目標情報量を設定できる。
【０００９】
【発明の実施の形態】
以下、この発明の実施の形態について、図面を参照して説明する。
図１は、各種制御マイコン等や符号化圧縮装置が組み込まれたカメラ一体型ビデオ記録再生装置の制御モデルを示すブロック図である。
【００１０】
レンズ系１は、ズームレンズ１ｚ、フォーカスレンズ１ｆとから構成され、このレンズ系１を介して、被写体からの光を撮像装置２に入力している。撮像装置２では、被写体の画像がＲＧＢ（赤、緑、青）の３色に相当する三つの映像信号として取り出される。このとき、レンズ系１は、被写体に対してつねに合焦点に維持されるように位置制御される。撮像装置２からの映像信号は、動画像データとしてＡ／Ｄ変換器３に送られ、Ａ／Ｄ変換器３では動画像データをディジタルデータに変換する。
【００１１】
フィルタ演算器４はディジタルフィルタを用いて構成されており、フィルタ係数を変えることにより、周波数成分の通過帯域特性を制御して、所定の周波数変換が行われる。この動画像データは、符号化圧縮装置１０からビットストリームとして図示しないビデオテープなどの記録媒体に記録される。
【００１２】
手ぶれ検知センサ５は、角速度センサなどにより手ぶれ検出信号を出力するものである。カメラ制御マイコン６ではこの手ぶれ検出信号に基づいて、手ぶれ補正を行って手ぶれによる画質の劣化をなくすようにしている。また、カメラ制御マイコン６は、手ぶれ補正のほか、撮像装置２からの映像入力、それを最適に制御するコントロール出力、及び各種の信号入力に基づいて、撮像装置２における光学系の制御を行っている。さらに、カメラ制御マイコン６はズームレンズ１ｚ、フォーカスレンズ１ｆを駆動することによって、ズーミングなどの制御も行っている。
【００１３】
目標情報量制御マイコン７は、目標ビットレートによって符号化圧縮装置１０を制御することにより、フィルタ演算器４からの動画像データに対して所定の圧縮符号化処理を施し、符号化されたビットストリームを形成するものである。また、フィルタ演算器４に対してはフィルタ係数を指令して、動画像データを符号化に適した解像度のデータに変換するようにしている。
【００１４】
ヒューマンインタフェース制御マイコン８は、ユーザからの操作スイッチ入力等により録画の開始、停止や、録画の経過時間情報などを制御するとともに、ユーザに対する表示を制御するものである。
【００１５】
なお、レンズ系１には、ズームレンズ１ｚ、フォーカスレンズ１ｆの間に露光調整用のアイリス（絞り）９が配置され、カメラ制御マイコン６によって、レンズ系１を介して撮像装置２に入力する被写体からの光量を調整している。
【００１６】
目標情報量制御マイコン７には、後に詳述するように、カメラ制御マイコン６からの情報、例えばビデオカメラのレンズ位置情報、露光調整情報、ホワイトバランス制御情報、及び角速度センサによる手ぶれ検出情報などが入力されている。また、ヒューマンインタフェース制御マイコン８からの情報、例えばビデオカメラの撮影開始、停止などを制御する情報などを加味して、符号化圧縮装置１０に対して撮影シーンに最適な符号化制御を指示することによって、限られた記録容量の記録メディアに最適な画質でより多くの動画を記録するようにしている。
【００１７】
図２は、ディジタル映像信号を圧縮処理するＭＰＥＧ２の標準モデルの構成を示すブロック回路図である。
符号化圧縮装置１０は、フィルタ演算器４を介してＡ／Ｄ変換器３から供給される動画像データに対して、符号化処理を施したビットストリームを出力する。即ち、符号化圧縮装置１０を構成する離散コサイン変換（discrete cosine transform；ＤＣＴ）器１１は、差分計算を行う加算器１２を介して供給される動画像データに対して離散コサイン変換処理を行い、量子化器１３に供給するように構成されている。量子化器１３は、ＤＣＴ器１１からの画像データに対して量子化処理を施し、可変長符号化器１４及び逆量子化器１５に供給する。
【００１８】
逆量子化器１５は、量子化器１３より供給される量子化された画像データに対して、逆量子化処理を施し、逆ＤＣＴ器１６に供給する。逆ＤＣＴ器１６は、逆量子化器１５からの逆量子化された画像データに対して逆ＤＣＴ変換を施した後、動き補償器１７に供給する。動き補償器１７は、画像データに対して動き補償を行い、加算器１２に供給する。
【００１９】
可変長符号化器１４は、量子化器１３からの画像データに対して、可変長符号化処理を行い、出力バッファ１８に供給する。出力バッファ１８は、可変長符号化器１４からの画像データを一旦記憶し、量子化レートを制御するレート制御器１９に供給する。レート制御器１９は、目標情報量制御マイコン７からの圧縮制御信号に基づいて、量子化器１３に対して量子化レートを制御するためのレート制御信号を供給する。
【００２０】
このように構成された符号化圧縮装置１０では、目標情報量制御マイコン７からの目標情報量に合致するように符号化制御が行われ、効率よく高圧縮なビットストリームを出力することができる。しかし前述の通り、従来のカメラ一体型ビデオ記録再生装置では、符号化圧縮装置１０の中で画像の複雑度や特徴抽出を行うだけであったために、実撮影状況を考えた場合、本当に動きの激しいシーンの画像データなのか、それともパンニング中のように、非注目のシーンであるにもかかわらず、動きの激しいシーンと同様の複雑度を持った画像データなのかを区別することができなかった。
【００２１】
この発明のカメラ一体型ビデオ記録再生装置では、目標情報量を符号化圧縮装置１０に供給する場合に、目標情報量制御マイコン７への入力信号、入力情報として、録画モード信号、ズームレンズ位置情報、フォーカス評価値、手ぶれ検出値、アイリス開閉量、カメラ信号ゲイン量、ホワイトバランス制御量などを用いることにより、実撮影状況を加味した新たな目標情報量を設定して、従来の問題点を解決している。すなわち、注目している動きの激しいシーンに対しては、フィルタ演算器４による帯域制限を行わないで、かつ画質を維持するに充分なビットレートを割り付けることが可能である。一方、パンニング中などのように、非注目の画像データが入力している場合には、記録映像の重要度は低いと考えられる。したがって、そのような場合には、少ないビットレートでも画質の破綻を来たさないように、フィルタ演算器４による帯域制限を行い、ビットレートも低く抑えて記録することが有効である。
【００２２】
なお、上述した各種制御マイコン６，７，８は、一つのＩＣやマイコンに内蔵されていても、同様の効果を期待できる。
つぎに、上記カメラ一体型ビデオ記録再生装置の画像圧縮における目標情報量の制御動作について、さらに詳細に説明する。
【００２３】
図３は、目標情報量制御の一例を示すタイミングチャートである。同図（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、同図（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００２４】
図３（ａ）は、録画モード信号の切替え状態を示している。
録画モード信号は、ヒューマンインタフェース制御マイコン８からユーザの操作に基づいて決定されるものである。録画モード信号は、記録モードＲＭとスタンバイモードＳＢＭの２つの動作モードに区別され、記録モードＲＭでは記録メディアに画像信号を記録しているが、スタンバイモードＳＢＭではカメラ画像は出力されているが記録していない。時刻ｔ２でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ７まで録画状態が続いている。その後、時刻ｔ８までスタンバイモードＳＢＭとなり、再び時刻ｔ８から時刻ｔ９まで記録モードＲＭが続いている。
【００２５】
図３（ｂ）は、ズームレンズ位置の変動状態、同図（ｃ）は、フォーカス評価値の変化の様子を示している。
ズームレンズ位置信号は、ユーザの操作に基づいて変更設定されるレンズ位置に対応して、カメラ制御マイコン６から出力される信号である。このレンズ位置は、縦軸方向に望遠（最長焦点距離）から広角（最短焦点距離）までのズームレンジ内で、手動、又は電動で移動可能である。図３（ｂ）のタイミングチャートでは、ズームレンジ内に傾斜したラインによってズーミング中のズームレンズ移動状態が示されている。時刻ｔ３では、ユーザが録画中のレンズ位置を広角から望遠に切替え、時刻ｔ５では再び広角に切り替えている。
【００２６】
フォーカス評価値とは、カメラ制御マイコン６がフォーカスレンズ１ｆを動かした結果、撮像装置２のＣＣＤなどの撮像素子に映し出された映像のコントラストを評価したものであって、正規化された数値として表現されている。ここで、フォーカスレンズの合焦動作とは、この評価値が大きくなる方向に制御することであって、ピントを合わせて、コントラストを上げることによって、映し出される映像は鮮明になる。時刻ｔ１以前のスタンバイモードＳＢＭ時、時刻ｔ３〜ｔ４、及び時刻ｔ５〜ｔ６などのズーミング時は、フォーカス合焦中であるため、フォーカス評価値が最適コントラストを下回っている。
【００２７】
図３（ｄ）に示す目標ビットレートとは、目標情報量制御マイコン７の制御アルゴリズムによって、その各入力信号、入力情報に基づいて決定されたＭＰＥＧ２標準モデルの符号化圧縮装置１０に対するパラメータとして設定されるものである。ＭＰＥＧ２標準モデルでは、出力されるビットストリームの演算結果をこの設定値に近づけるように、その内部演算が変更制御される。
【００２８】
図３（ｅ）に示すフィルタ係数とは、目標情報量制御マイコン７の制御アルゴリズムによって、その各入力信号、入力情報に基づいて決定されたＭＰＥＧ２標準モデルの符号化圧縮装置１０に入力される前の映像信号にフィルタリング処理を行うフィルタ演算器のパラメータである。このフィルタ係数を小さく設定することにより、フィルタ演算における解像度を下げることができる。これにより、目標ビットレートを低下させないでも、出力される映像の情報量を小さくすることができる。
【００２９】
一般に、人間は視線移動中には、通常より視線感度を落とし、必要以上の鮮明な映像を入力していないという特性がある。これは、疲れや不快感を感じないようにするためである。したがって、時刻ｔ３からｔ４などのズーム中や、フォーカス合焦への動作中には、画像に対する注目度が下がっているものと想定することができる。
【００３０】
すなわち、このような撮影状態では、必要以上に解像度の高い、鮮明な映像にする必要はない。そこで、カメラ制御マイコン６から目標情報量制御マイコン７に入力される状態情報に基づいて、図３（ｄ）に示すように目標ビットレートを低めに設定し、図３（ｅ）に示すようにフィルタ係数を小さく設定することにより、ビットストリームの絶対量を減らすようにしている。
【００３１】
また、ズーム直後には、被写体のフレーム（画枠）を変えたために、一般に撮影者の注目度が高くなる。そこで、フォーカス評価値が閾値を超えた時刻ｔ４や時刻ｔ６など、合焦完了直後の録画動作では、目標ビットレートとフィルタ係数が高くなるように設定するとともに、その後の時間経過に応じて平均目標情報量を下げている。これによって、限られた記録容量のメディアに、最適な画質でより多くの動画を記録することができる。
【００３２】
図４は、低照度での目標情報量制御の一例を示すタイミングチャートである。図３と同様、図４（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、図４（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００３３】
図４（ａ）は、録画モードの切替え状態を示している。時刻ｔ１でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ５まで録画状態が続いている。その後、時刻ｔ６までスタンバイモードＳＢＭとなり、再び時刻ｔ６から時刻ｔ８まで録画モードＲＭである。
【００３４】
カメラ一体型ビデオ記録再生装置の場合には、撮影したい映像に注目したところより録画開始とするケースが多い。このことを利用して、連続撮影時間情報をヒューマンインタフェース制御マイコン８から目標情報量制御マイコン７に入力し、時刻ｔ１や時刻ｔ６のような録画スタート直後には比較的多めに目標情報量を割り振るようにしている。
【００３５】
その後、連続して録画を続けた場合、長い時間が経過すると撮影者、及び再生時の視聴者の注目度が下がってくるものと想定される。前述したように、画像に対する注目度が下がってきた場合には、フィルタ演算器４のフィルタ係数を変え、高域の周波数成分を取り除くことで解像度を下げれば、後段の符号化圧縮装置１０での圧縮効率がさらに高まり、低いビットレートでも、映像劣化を抑えることができる。そこで、録画開始から録画モードが一定時間継続した後、例えば時刻ｔ４から平均目標情報量を下げるように目標情報量を制御している。
【００３６】
図４（ｂ）は、被写体の露光情報に基づいて変化するアイリス開閉量の変化を、同図（ｃ）には、カメラ信号ゲイン量の変化の様子を示している。
アイリス開閉量とカメラ信号ゲイン量は、いずれもカメラ制御マイコン６が撮像素子に映し出された映像の信号レベルを検出して決定されるものである。通常のビデオカメラでは、室内の暗いところなどでは、アイリス９が全開となる。また、カメラ信号ゲイン量は、撮像装置２内の図示しないカメラ信号処理回路において、映像信号レベルが適切な信号量となるようゲイン（利得）コントロールされるものである。
【００３７】
通常、ビデオカメラでは、カメラ信号処理回路のゲインを上げると、信号中のノイズ成分も大きくなってしまうので、室内の暗いところなどでは、まずアイリス開閉量を調節により信号レベルをコントロールし、全開となった後に、カメラ信号処理回路のゲインを上げる制御を行っている。アイリス開閉量が全開で、カメラ信号ゲイン量が大きい場合には、低照度の撮影であるといえる。
【００３８】
例えば、録画中の時刻ｔ３でアイリス開閉量が全開であって、カメラ信号ゲイン量が増加してくるような状態では、映像が暗く、Ｓ／Ｎも悪いため、解像度を下げるとともに、ビットレートを低めに設定しても画質に対して悪い印象を与えることは少ない。同様にカメラ制御マイコン６から目標情報量制御マイコン７に情報を入力してビットレートを低くするとともに、映像劣化を抑える。
【００３９】
このようにアイリス９がオープン状態であって、撮像装置２のゲインが上がった低照度の環境下では、これらのカメラ制御マイコン６からの露光補正の情報を利用して、目標情報量を適切に制御することが可能である。
【００４０】
図５は、ホワイトバランス異常や手ぶれ検出時の目標情報量制御の一例を示すタイミングチャートである。図３と同様、図５（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、図５（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００４１】
図５（ａ）は、録画モードの切替え状態を示している。時刻ｔ１でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ２まで録画状態が続いている。その後、時刻ｔ３までスタンバイモードＳＢＭとなり、再び時刻ｔ３から時刻ｔ８まで録画モードが続く。
【００４２】
図５（ｂ）は、ホワイトバランス制御量の変化の様子を示している。
ホワイトバランス制御量とは、カメラ制御マイコン６が撮像素子に映し出された映像信号の色成分を分析して求められるものであって、このホワイトバランス制御によって、ＲＧＢ（赤、緑、青）の３色に相当する三つの映像信号全体の和が白になるように、カメラ信号処理回路の色成分比率が制御される。しかし、被写体の明るさや環境の光源の変化などにより一時的に制御バランスが取れない状態になることがある。この値が大きいほど制御バランスが取れた状態であるが、図５では、時刻ｔ４からｔ５のタイミングに、ホワイトバランス制御の異常状態が生じたことを示している。
【００４３】
ホワイトバランスの情報を利用した場合として、ホワイトバランスの評価値が黒体放射カーブから外れたものは、映像としてはＮＧと判断される。そのため、この映像を高いビットレートで記録する必要は生じない。時刻ｔ３から時刻ｔ８までの録画モード中に、例えば時刻ｔ４でホワイトバランス制御量が異常となった場合には、フィルタ係数を小さくして解像度を下げるとともに、目標ビットレートを低めに設定することが可能である。
【００４４】
図５（ｃ）には、手ぶれ検出値の変化の様子を示している。
手ぶれ検出値とは、ビデオカメラのレンズ系１の近傍に設けられた手ぶれ検知センサ５からの出力信号に基づいて決定されるものであって、カメラ制御マイコン６では正規化された数値として処理されている。この数値が大きいほどレンズの動きが激しいものと認識される。
【００４５】
ビデオカメラにより移動中の被写体やパノラマ画像などを映し出す場合に、カメラを水平に左右方向に大きく動かして、パンニングなどが行われる。このような場合、例えば時刻ｔ６からｔ７に示すように、手ぶれ検出値が閾値を超えた大きな値となる。従来のカメラ制御マイコンでは、静止した風景などのパンニング中でも、時間軸上での画像の相関検出、特徴抽出によって被写体に大きな動きがあるものと認識して、符号化圧縮装置１０に指令される目標情報量を必要以上に上げてしまっていた。
【００４６】
ここでは、手ぶれ検知センサ５の出力によるパンニング中という付加情報をカメラ制御マイコン６から目標情報量制御マイコン７に入力して、目標情報量を必要以上に上げないように制御している。このときも、フィルタ演算器４のフィルタ係数を変え、高域の周波数成分を取り除くことを行えば、後段の符号化圧縮装置１０での圧縮効率がさらに高まり、低いビットレートでも、映像劣化を抑えることができる。
【００４７】
さらに、パンニング中には図３、図４で説明した録画モードの切替えの場合と同様に、画像に対する注目度が下がっているので、必要以上に解像度の高い、鮮明な映像にする必要はない。
【００４８】
以上に説明したように、目標情報量制御マイコン７によって符号化圧縮装置１０から出力されるビットストリームの絶対量を減らすことができ、限られた記録容量のメディアに、快適でかつ適切な画質でより多くの動画を記録することが可能になる。
【００４９】
つぎに、目標情報量制御マイコン１０の入力信号／入力情報に対する制御方法の具体例について説明する。
図６乃至図８は、制御手順の一例を示すフローチャートである。
【００５０】
図６に示すステップＳ１では、電源投入直後に目標情報量制御マイコン７における初期値が設定される。ここで設定される目標情報量の初期値は、目標ビットレートとフィルタ係数の初期値である。
【００５１】
ステップＳ２では、カメラ制御マイコン６からカメラの現在の状態を示す情報が入力される。この情報は、ズームレンズ位置情報、フォーカス評価値、アイリス開閉量、カメラ信号ゲイン量、ホワイトバランス制御量の変化、手ぶれ検出値などである。
【００５２】
ステップＳ３では、ヒューマンインタフェース制御マイコン８からユーザの操作状態を示す情報が入力される。この情報は、録画モード信号、録画開始からの経過時間情報などである。
【００５３】
ステップＳ４では、録画モード信号により記録メディアへの記録中であるかどうかを判定する。記録モードＲＭであれば録画中であるので、ステップＳ５に進み、スタンバイモードＳＢＭであればステップＳ１８に進み、待機する。これはカメラ一体型ビデオ記録再生装置では撮影したい映像に注目したときから、実際の録画を開始するケースが多いからである。
【００５４】
ステップＳ５では、連続撮影時間Ｔ１の測定信号により記録開始からの時間経過を判定する。録画開始直後の場合（Ｔ１≦Ｋ１）は、ステップＳ１２（図７）に進み、録画開始から十分に時間が経過した場合（Ｋ２≦Ｔ１）は、ステップＳ１５（図８）に進む。それ以外の場合（Ｋ１＜Ｔ１＜Ｋ２）は、ステップＳ６に進む。連続して一定時間（＝Ｋ２）以上録画を続けた場合には、撮影者だけでなく再生映像の視聴者にとっても、注目度が低下することが常識として知られている。図４に示すように、連続撮影時間が録画開始からＫ２（＝ｔ４−ｔ１）を超えた時点で、平均目標情報量を下げていくためである。
【００５５】
ステップＳ６では、アイリス開閉量とカメラ信号ゲインから撮影環境が低照度であるかどうかを判定する。アイリス９が全開で、かつカメラ信号ゲイン量が最大である場合（低照度撮影）には、ステップＳ１５（図８）に進む。目標情報量制御マイコン７で露光補正の情報を利用することにより、アイリス９がオープン状態で撮像装置２のゲインが上がった低照度の環境下での撮影が想定されるからである。照度が十分であれば、ステップＳ７に進む。
【００５６】
ステップＳ７では、ホワイトバランス情報によりホワイトバランスが異常であるかどうかを判定する。異常と判断した場合には、ステップＳ１５（図８）に進む。目標情報量制御マイコン７でホワイトバランスの情報を利用することによって、ホワイトバランスの評価値が黒体放射カーブから外れたものは、映像としてはＮＧと判断されるからである。正常であれば、ステップＳ８に進む。
【００５７】
ステップＳ８では、手ぶれ検出値によりカメラがパンニング中であるかどうかを判定する。手ぶれ検出値が一定の値を超えた場合には、パンニング中であるとして、ステップＳ１５（図８）に進む。手ぶれが検出されなかったときは、ステップＳ９に進む。
【００５８】
ステップＳ９では、ズームレンズ位置の変化によりズーミング中であるかどうかを判定する。ズーミング中であれば、ステップＳ１５（図８）に進み、そうでなければステップＳ１０に進む。
【００５９】
ステップＳ１０では、フォーカス評価値の大きさにより合焦動作中であるかどうかを判定する。フォーカス評価値がフォーカス閾値より小さい場合には、合焦動作中であるとして、ステップＳ１５（図８）に進み、そうでなければステップＳ１１に進む。パンニング中、ズーム中、及びフォーカス合焦への動作中には、撮影者等の画像に対する注目度が下がっているからである。とりわけ、パンニング中には従来の時間軸上での画像の相関検出、特徴抽出によると、動きがある画像という判断がなされるので、必要以上に目標情報量を高く設定しないためである。
【００６０】
ステップＳ１１では、ズームレンズ位置の変更後の経過時間Ｔ２を判定する。ズーミング開始直後の場合（Ｔ２≦Ｋ３）は、ステップＳ１２（図７）に進み、それ以外の場合（Ｋ３＜Ｔ２）は、ステップＳ１８に進む。ズーム開始直後の録画に際して、画像に対する注目度が高くなるので、目標情報量を上げることが好ましいからである。その後の時間経過とともに注目度は低下するので、経過時間Ｔ２が所定時間Ｋ３を超えた時点では、平均目標情報量を下げていく。
【００６１】
図７に示すステップＳ１２では、目標ビットレートが最大値となっているかどうかを判断する。最大値であればステップＳ１３に進み、そうでなければステップＳ１４に進む。
【００６２】
ステップＳ１３では、フィルタ係数が最大解像度に設定されているかどうかを判断する。最大値であればステップＳ１８（図６）に進み、そうでなければステップＳ１４に進む。
【００６３】
ステップＳ１４では、目標情報量を変更する。すなわち、目標ビットレートを最大値にするとともに、解像度を増やす方向にフィルタ係数を１ステップだけ増加させてから、ステップＳ１８（図６）に進む。
【００６４】
図８に示すステップＳ１５では、目標ビットレートが最小値となっているかどうかを判断する。最小値であればステップＳ１６に進み、そうでなければステップＳ１７に進む。
【００６５】
ステップＳ１６では、フィルタ係数が最小解像度に設定されているかどうかを判断する。最小値であればステップＳ１８（図６）に進み、そうでなければステップＳ１７に進む。
【００６６】
ステップＳ１７では、目標情報量を変更する。すなわち、目標ビットレートを１ステップだけ減少させるとともに、解像度を減らす方向にフィルタ係数を１ステップだけ減少させてから、ステップＳ１８（図６）に進む。
【００６７】
ステップＳ１８では、一定時間だけ待機し、その後にステップＳ２に戻る。
以上のフローチャートは、電源投入直後から一定時間ごとにループ動作が開始され、電源遮断によって停止するものとする。ループ時間は任意に設定することができるが、ＭＰＥＧ２の標準モデルに対して目標情報量を制御する場合には、１ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）単位以内での目標ビットレートの変更が困難であるため、その整数倍の時間を設定することが望ましい。また、判断ステップ５，１１などの定数Ｋ１〜Ｋ３の大きさは、実際の撮影条件下でのフィールドテストによって決定する。
【００６８】
【発明の効果】
以上に説明したように、この発明の撮像装置及び撮像方法によれば、ＭＰＥＧ２の標準モデルに対してビデオカメラのレンズ駆動、露光調整、ホワイトバランス、及び角速度センサによる手ぶれ検出などの制御情報や、補正する制御マイコンからの情報やビデオカメラの撮影開始、停止などを制御するヒューマンインタフェースマイコンからの情報を加味し、画像信号の記録中における撮影シーンの変化に応じて最適な符号化制御を行うことができ、限られた記録容量のメディアに、最適な画質でより多くの動画を記録できる利点がある。
【図面の簡単な説明】
【図１】この発明のカメラ一体型ビデオ記録再生装置の制御モデルを示すブロック図である。
【図２】ＭＰＥＧ２の標準モデルの構成を示すブロック回路図である。
【図３】目標情報量制御の一例を示すタイミングチャートである。
【図４】低照度での目標情報量制御の一例を示すタイミングチャートである。
【図５】ホワイトバランス異常や手ぶれ検出時の目標情報量制御の一例を示すタイミングチャートである。
【図６】制御手順の一例（その１）を示すフローチャートである。
【図７】制御手順の一例（その２）を示すフローチャートである。
【図８】制御手順の一例（その３）を示すフローチャートである。
【符号の説明】
１…レンズ系、２…撮像装置、３…Ａ／Ｄ変換器、４…フィルタ演算器、５…手ぶれ検知センサ、６…カメラ制御マイコン、７…目標情報量制御マイコン、８…ヒューマンインタフェース制御マイコン、９…アイリス（絞り）、１０…符号化圧縮装置
【図１】
0003849461.tif 000002
【図２】
0003849461.tif 000003
【図３】
0003849461.tif 000004
【図４】
0003849461.tif 000005
【図５】
0003849461.tif 000006
【図６】
0003849461.tif 000007
【図７】
0003849461.tif 000008
【図８】
0003849461.tif 000009