(57)【特許請求の範囲】
【請求項１】
撮像手段と、
複数の撮影モードのうち一つの撮影モードを選択するための選択手段と、
前記撮像手段で得られた動画像信号をフレーム内符号化処理とフレーム間予測符号化処理とを用いて符号化する符号化手段と、
前記符号化手段により得られた符号化動画像データを記録する記録手段とを備え、
前記符号化手段は、前記選択手段により通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くすることを特徴とする撮像装置。
【請求項２】
撮像手段と、
複数の撮影モードのうち一つの撮影モードを選択するための選択手段と、
前記撮像手段で得られた動画像信号をフレーム内符号化処理とフレーム間予測符号化処理とを用いて符号化する符号化手段と、
前記符号化手段により得られた符号化動画像データを記録する記録手段とを備え、
前記符号化手段は、前記選択手段により通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくすることを特徴とする撮像装置。
【請求項３】
撮像手段により得られた動画像信号を処理する画像処理方法であって、
複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化ステップと、
前記符号化ステップにより得られた符号化動画像データを記録する記録ステップとを有し、
前記符号化ステップでは、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くすることを特徴とする画像処理方法。
【請求項４】
撮像手段により得られた動画像信号を処理するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化処理と、
前記符号化処理により得られた符号化動画像データを記録する記録処理とをコンピュータに実行させ、
前記符号化処理では、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くするコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項５】
撮像手段により得られた動画像信号を処理する画像処理方法であって、
複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化ステップと、
前記符号化ステップにより得られた符号化動画像データを記録する記録ステップとを有し、
前記符号化ステップでは、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくすることを特徴とする画像処理方法。
【請求項６】
撮像手段により得られた動画像信号を処理するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化処理と、
前記符号化処理により得られた符号化動画像データを記録する記録処理とをコンピュータに実行させ、
前記符号化処理では、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくするコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置、画像処理方法、及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関し、特に動画像データに圧縮処理して記録媒体に記録するのに用いて好適なものである。
【０００２】
【従来の技術】
図４は、従来の技術を表すブロック図である。４０１は、動画を撮影するビデオカメラ部で、撮影モードを選択設定可能としたモードダイヤル４０３が設けられている。また、５０１は、ビデオカメラ部４０１から送られてくる画像データを、例えばＭＰＥＧ２の画像・音声ストリームに変換して記録媒体に記録する動画像記録部である。
【０００３】
上記モードダイヤル４０３によって選択設定できる撮影モードとしては、フルオート（ノーマル）モード、スポーツモード、スローシャッタモード、セピアモード、白黒モード、赤外モードなどがある。
【０００４】
スポーツモードとは、シャッタを効かせることで、動きの速い被写体をシャープに撮影することが可能となる撮影モードである。スローシャッタモードとは、撮像素子であるＣＣＤに画像データを蓄積することで、暗い場所でも撮影が可能となる撮影モードである。セピアモードとは、撮影画像をセピア色に着色する撮影モードである。白黒モードとは、撮影画像を白黒にする撮影モードである。赤外モードとは、赤外カットフィルタを外すことで、暗い場所でも撮影が可能となる撮影モードである。
【０００５】
これら撮影モードを撮影者がモードダイヤル４０３で選択設定することによって、撮影の意図をビデオカメラ部４０１から出力される画像データに反映させることが可能となる。
【０００６】
【発明が解決しようとする課題】
上記従来例の技術では、撮影モードを選択設定することによって撮影の意図がビデオカメラ部４０１から出力される画像データに反映されるが、動画像記録部５０１での記録処理には反映されず、撮影モードにかかわらず画像データは同じ条件で圧縮処理されることになる。
【０００７】
本発明は、このような問題を解決するために成されたものであり、各種撮影モードに応じて画像データの符号量の割り当てを変化させ、撮影の意図に応じて、画質を向上させたり、記録時間の長時間化を図ったりすることのできる撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の撮像装置は、撮像手段と、複数の撮影モードのうち一つの撮影モードを選択するための選択手段と、前記撮像手段で得られた動画像信号をフレーム内符号化処理とフレーム間予測符号化処理とを用いて符号化する符号化手段と、前記符号化手段により得られた符号化動画像データを記録する記録手段とを備え、前記符号化手段は、前記選択手段により通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くすることを特徴とする。
また、本発明の撮像装置は、撮像手段と、複数の撮影モードのうち一つの撮影モードを選択するための選択手段と、前記撮像手段で得られた動画像信号をフレーム内符号化処理とフレーム間予測符号化処理とを用いて符号化する符号化手段と、前記符号化手段により得られた符号化動画像データを記録する記録手段とを備え、前記符号化手段は、前記選択手段により通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくすることを特徴とする。
また、本発明の画像処理方法は、撮像手段により得られた動画像信号を処理する画像処理方法であって、複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化ステップと、前記符号化ステップにより得られた符号化動画像データを記録する記録ステップとを有し、前記符号化ステップでは、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くすることを特徴とする。
また、本発明のコンピュータ読み取り可能な記憶媒体は、撮像手段により得られた動画像信号を処理するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化処理と、前記符号化処理により得られた符号化動画像データを記録する記録処理とをコンピュータに実行させ、前記符号化処理では、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が速い撮影モードが選択された際には、前記符号化動画像データの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも多くするコンピュータプログラムを記憶したことを特徴とする。
また、本発明の画像処理方法は、撮像手段により得られた動画像信号を処理する画像処理方法であって、複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化ステップと、前記符号化ステップにより得られた符号化動画像データを記録する記録ステップとを有し、前記符号化ステップでは、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくすることを特徴とする。
また、本発明のコンピュータ読み取り可能な記憶媒体は、撮像手段により得られた動画像信号を処理するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、複数の撮影モードから選択された撮影モードに応じて、フレーム内符号化処理とフレーム間予測符号化処理とを用いて、前記撮像手段で得られた動画像信号を符号化する符号化処理と、前記符号化処理により得られた符号化動画像データを記録する記録処理とをコンピュータに実行させ、前記符号化処理では、前記撮影モードとして、通常のシャッタ速度よりもシャッタ速度が遅い撮影モードが選択された際には、前記フレーム間予測符号化されるフレームの符号量の割り当てを通常のシャッタ速度の撮影モードのときよりも少なくするコンピュータプログラムを記憶したことを特徴とする。
【００１７】
上記のように構成した本発明によれば、選択設定された撮影モード、具体的にはノーマルモード、スポーツモード、スローシャッタモード、セピアモード、白黒モード、赤外モード等に応じて、画像データの符号量の割り当てを変化させることで、撮影の意図を画像データに反映させることが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態として、本発明の画像処理装置を含むカメラ一体型画像記録装置を図面に基づいて説明する。
図１は、カメラ一体型画像記録装置を構成するビデオカメラ部１００と動画像記録部２００とを表したブロック図である。
【００１９】
ビデオカメラ部１００において、１０１はレンズ、１０３はＣＣＤ等の撮像素子、１０５はカメラ信号処理回路、１０７はモードダイヤルである。モードダイヤル１０７では、フルオート（ノーマル）モード、スポーツモード、スローシャッタモード、セピアモード、白黒モード、赤外モード等の撮影モードが選択設定可能となっている。
【００２０】
動画像記録部２００において、２０３は画面並び替え回路、２０５は第１スイッチ、２０７はＤＣＴ回路、２０９は量子化回路、２１１は逆量子化回路、２１３は可変長符号化回路、２１５は動き補償予測回路、２１７はＩＤＣＴ回路、２１９は第２スイッチ、２２１は加算器、２２３はバッファ、２２５は記録媒体、２２７は減算器である。さらに、２２９は目標レート設定部、２０１はレート制御部である。
【００２１】
ビデオカメラ部１０１のモードダイヤル１０７では、撮影者によって撮影モードが選択設定される。そして、その選択された撮影モードが、ビデオカメラ部１０１のカメラ信号処理回路１０５だけでなく、動画像記録部２００の目標レート設定部２２９にも伝えられるようになっている。
【００２２】
次に、本実施形態のビデオカメラ部１００と動画像記録部２００との動作について説明する。
被写体を撮影すると、レンズ１０１を通った画像が撮像素子１０３上に結像して画像データに変換され、１フレーム単位でカメラ信号処理回路１０５に入力される。
【００２３】
カメラ信号処理回路１０５では、選択設定された撮影モードに従い、例えばスポーツモードではシャッタ速度を１／２５０秒にセットする等してカメラ信号を処理し、その画像データを色差信号、輝度信号に分けて、１フレーム単位で動画像記録部２００の画面並べ替え回路２０３に出力する。
【００２４】
画面並び替え回路２０３は、複数フレーム分のフレームメモリを持ち、入力されたフレームの順番を入れ替えて出力する。図２には、画面並び替え回路２０３で並び替えるフレームの順番の一例を示す。この図２に示すように、画面並び替え回路２０３に第１フレーム、第２フレーム、第３フレーム…と入力された画像データは、第３フレーム、第１フレーム、第２フレーム…と並び替えられて出力される。
【００２５】
この画面の並び替えは、イントラ符号化及びインター符号化を行うのに必要な並び替えである。イントラ符号化とは、フレーム内のデータのみで符号化するものであり、図３に示すように、Ｉピクチャ（イントラ符号化画像）を生成する符号化である。また、インター符号化とは、フレーム間予測も含めて符号化するものであり、図３に示すように、Ｐピクチャ（前方予測符号化画像）及びＢピクチャ（両方向予測符号化画像）を生成する符号化である。
【００２６】
図１に戻って、動画像記録部２００の動作をイントラ符号化とインター符号化とに分けて説明する。
イントラ符号化する場合、第１スイッチ２０５は図中Ａ側に接続され、また、第２スイッチ２１９は図中Ａ側（オフ位置）に接続される。
画面並び替え回路２０３から出力された画像データは、第１スイッチ２０５を介してＤＣＴ回路２０７に加えられ、直交変換される。ＤＣＴ回路２０７で直交変換された画像データは、量子化回路２０９で量子化され、逆量子化回路２１１と可変長符号化回路２１３とに出力される。
【００２７】
逆量子化回路２１１で逆量子化された画像データは、ＩＤＣＴ回路２１７で逆直交変換される。イントラ符号化においては、第２スイッチ２１９が図中Ａ側に接続されているので、ＩＤＣＴ回路２１７から出力される逆直交変換された画像データは動き補償予測回路２１５にそのまま加えられる。
【００２８】
また、画面並び替え回路２０３から出力された画像データは、動き補償予測回路２１５にも加えられる。
動き補償予測回路２１５は、次のインター符号化のために予測画像データを出力する。
【００２９】
一方、可変長符号化回路２１３で可変長符号化された画像データは、バッファ２２３に加えられ、記録媒体２２５に順次記録される。
【００３０】
インター符号化する場合、第１スイッチ２０５はＢ側に接続され、また、第２スイッチ２１９はＢ側（オン位置）に接続される。
画面並び替え回路２０３から出力された画像データは、減算器２２７に加えられ、動き補償予測回路２１５から出力される予測画像データが減算される。このように減算器２１７で予測画像データを減算することにより、時間軸方向の冗長度を落とし、動いている部分だけを伝送することができる。
【００３１】
減算器２２７から出力される画像データは、第１スイッチ２０５を介してＤＣＴ回路２０７に加えられ、直交変換される。ＤＣＴ回路２０７で直交変換された画像データは、量子化回路２０９で量子化され、逆量子化回路２１１と可変長符号化回路２１３とに出力される。
【００３２】
逆量子化回路２１１で逆量子化された画像データは、ＩＤＣＴ回路２１７で逆直交変換される。インター符号化においては、第２スイッチ２１９が図中Ｂ側に接続されているので、ＩＤＣＴ回路２１７から出力される逆直交変換された画像データと動き補償予測回路２１５から出力される予測画像データとが加算されて復号画像データとなる。この複号画像データは、次の符号化のために動き補償予測回路２１５に加えられる。
【００３３】
また、画面並び替え回路２０３から出力された画像データは、動き補償予測回路２１５にも加えられる。
画面並び替え回路２０３からの画像データ及び復号画像データが加えられる動き補償予測回路２１５は、予測画像データを減算器２２７に、動きベクトルを可変長符号化回路２１３に出力する。
【００３４】
一方、可変長符号化回路２１３で可変長符号化された画像データは、バッファ２２３に加えられ、記録媒体２２５に順次記録される。
【００３５】
ここで、目標レート設定部２２９は、モードダイヤル１０７で選択設定された撮影モードに従い、画像データ全体の目標記録レート並びに画像データのうち色差信号の目標記録レートを決定して、その目標記録レートをレート制御部２０１に伝える。
【００３６】
レート制御部２０１は、バッファ２２３の容量を監視すると共に、上記目標レート設定部２２９で設定された目標記録レートに基づいて量子化回路２０９での量子化を制御する。バッファ２２３の空き容量が所望のビットレートより大きい場合は、量子化回路２０９における次の量子化を細かくすることにより、生成される画像データの量を増やすよう制御する。逆に、バッファ２２３の空き容量が所望のビットレートより小さい場合は、量子化回路２０９における次の量子化を粗くすることにより、生成される画像データの量を減らすよう制御する。
【００３７】
このように量子化回路２０９における量子化を制御することで、バッファ２２３の記録レートをＩピクチャ間にほぼ一定に制御し、記録媒体２２５の総記録容量から定まる目標時間通りになるように画像データを符号化して記録する。なお、記録レートの制御方法としては、ここに述べたＣＣＩＴＴ ＲＭ８に代表される出力バッファの占有率をフィードバックする制御方法の他に、ＭＰＥＧ２ ＴＭ５で採用された方法などがあるが、本提案は以下に述べる目標レートの設定方法に重点があり、記録レートの制御方法についての詳細な説明は省略する。
【００３８】
以下では、各撮影モードに応じた目標記録レート、言い換えれば、目標符号量の割り当ての例を説明する。
スポーツモードでは、シャッタ速度を１／２５０秒程度にセットして画像データを処理するため、時間相関の小さい画像データが動画像記録部２００に加えられることが多く、ノーマルモードに比べて画質が劣化しやすい。
【００３９】
そこで、スポーツモード時に、目標レート設定部２２９は、画像データ全体の目標記録レートをノーマルモード時に比べて高く設定する。すなわち、画像データ全体の符号量の割り当てをノーマルモード時に比べて多くし、符号化に用いる量子化ビット数を多くする。これにより、記録媒体２２５への記録時間がノーマルモード時に比べて短くなるものの、画質の劣化を抑えることができ、シャープに撮影するといった撮影の意図を動画像記録部２００側でも反映させることができる。
【００４０】
スローシャッタモードでは、シャッタ速度を１／８秒程度にセットし、同時に撮像素子１０３で画像データを蓄積するので、フレームレートは下がる。この場合に、ノーマルモード時の目標記録レートのままだと、量子化スケールコードが全体的に下がり、生成される符号量がノーマルモード時と同等になるまで画質を向上させるよう制御されることになる。
【００４１】
そこで、スローシャッタモード時に、目標レート設定部２２９は、画像データ全体の目標記録レートをノーマルモード時に比べて低く設定する。すなわち、画像データ全体の符号量の割り当てをノーマルモード時に比べて少なくし、符号化に用いる量子化ビット数を少なくする。これにより、画質を必要以上に向上させるのではなく、ノーマルモード時に比べて記録媒体２２５への長時間記録を実現するようにしている。
【００４２】
なお、上記のように画像データ全体の符号量を少なくする以外にも、スローシャッタモードでは画像データの時間相関が大きいことから、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビット配分を変化させてもよい。すなわち、画像の更新と同期をとって、Ｉフレームを生成し、ＰフレームやＢフレームの符号量の割り当てをほぼゼロにすることにより全体の発生符号量を下げることもできる。
【００４３】
セピアモードや赤外モードでは、ビデオカメラ部１００から単一色の画像データが出力され、色差信号は解像度が異なるが基本的に輝度信号と相関の高いものが動画像記録部２００に加えられる。したがって、輝度信号と色差信号とのビット配分を変化させ、画像データのうち色差信号の符号量の割り当てを少なくしても、画質の劣化はほとんど問題とならない。
そこで、セピアモードや赤外モード時には、画像データのうち色差信号の符号量の割り当てを少なくする。これにより、ノーマルモード時に比べて記録媒体２２５への長時間記録を実現することができる。
【００４４】
白黒モードでは、色差信号と輝度信号との相関がさらに高くなることから、画像データうち色差信号の符号量の割り当てを必須のものを除きほぼゼロとする。これにより、前述のセピアモード時や赤外モード時に比べてさらなる長時間記録を実現することができる。
【００４５】
なお、セピアモードや赤外モードあるいは白黒モードにおいて、上記のように色差信号の符号量の割り当てを少なくするだけでなく、さらに輝度信号の符号量の割り当てをその分多くするようにしてもよい。この場合は、長時間記録ではなく、画質の向上を図ることが可能である。
【００４６】
輝度信号と色差信号とのビット配分を変化させる手法としては、例えばＭＰＥＧ２においては圧縮時に独自の色差用量子化マトリックスを用いることができるので、量子化ステップの粗い色差用量子化マトリックスを用いることにより、通常は固定されている輝度信号と色差信号との発生比率を変化させることができる。
【００４７】
なお、上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４８】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４９】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５０】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５１】
【発明の効果】
以上説明したように本発明によれば、撮影モード、すなわち、撮影の意図を、画像処理に反映させて、画像データの符号量の割り当てを変化させることができる。したがって、撮影の意図に応じて、画質を向上させたり、記録時間の長時間化を図ったりすることができる。
【図面の簡単な説明】
【図１】実施形態の画像処理装置を含むカメラ一体型画像記録装置を構成するビデオカメラ部１００と動画像記録部２００とを表したブロック図である。
【図２】画面並び替え回路２０３で並び替えるフレームの順番の一例を示す説明図である。
【図３】符号化順序を表す説明図である。
【図４】従来の技術を示すブロック図である。
【符号の説明】
１００      ビデオカメラ部
１０１      レンズ
１０３      撮像素子
１０５      カメラ信号処理回路
１０７      モードダイヤル
２００      動画像記録部
２０１      レート制御部
２０３      画面並び替え回路
２０５      第１スイッチ
２０７      ＤＣＴ回路
２０９      量子化回路
２１１      逆量子化回路
２１３      可変長符号化回路
２１５      動き補償予測回路
２１７      ＩＤＣＴ回路
２１９      第２スイッチ
２２１      加算器
２２３      バッファ
２２５      記録媒体
２２７      減算器
２２９      目標レート設定部
【図１】
0004181705.tif 000002
【図２】
0004181705.tif 000003
【図３】
0004181705.tif 000004
【図４】
0004181705.tif 000005