(57)【要約】 【課題】  シーンに応じて適切な圧縮をリアルタイムに行うことができる動画像圧縮装置および動画像撮像装置を提供する。【解決手段】  フレーム判定部１０９は、入力された第１フレームレートの動画像信号のフレームのうち、一定間隔でピックアップ（抽出）したフレームからなる第２フレームレートの動画像信号をDCT部１１０へ出力する。また、フレーム判定部１０９は、一定間隔で抽出したフレーム以外のフレーム（演算フレーム）からなる動画像信号を差分加算部１１７へ出力する。この動画像信号は、演算フレームの個々のブロックと、動きベクトルによって対応付けられたブロックとの差分を示している。差分加算部１１７はこの差分の絶対値加算を行う。量子化テーブル選択部１１９は、差分加算部１１７による加算の結果（合計値）に基づいて量子化テーブルを選択する。この量子化テーブルは第２フレームレートの動画像信号の量子化に用いられる。【選択図】    図１
2006295521.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートの動画像信号を入力する動画像信号入力手段と、
前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを一定間隔で抽出し、第２のフレームレートの動画像信号を生成する信号生成手段と、
前記第１のフレームレートの動画像信号を用いて、前記第２のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、
前記選択手段によって選択された前記量子化テーブルを用いて、前記第２のフレームレートの動画像信号を圧縮する圧縮手段と、
を有する動画像圧縮装置。
【請求項２】
前記信号生成手段は、前記第１のフレームレートの動画像信号のフレームのうち、一定間隔で抽出したフレームを前記第２のフレームレートの動画像信号として前記圧縮手段へ出力すると共に、前記一定間隔で抽出したフレーム以外のフレームを前記選択手段へ出力することを特徴とする請求項１に記載の動画像圧縮装置。
【請求項３】
前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを構成する画像データを複数の画像ブロックに分割する第１のブロック分割手段と、
参照フレームを構成する画像データを複数の画像ブロックに分割する第２のブロック分割手段と、
圧縮対象のフレームの前記画像ブロックと参照フレームの前記画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを演算する動きベクトル演算手段と、
をさらに有することを特徴とする請求項１に記載の動画像圧縮装置。
【請求項４】
前記選択手段は、
前記動きベクトルによって対応付けられた前記画像ブロック間の差分を１フレーム内で加算し、前記差分の合計を算出する差分加算手段と、
予め記録された量子化テーブルの中から、前記差分加算手段によって算出された前記差分の合計に基づいて、圧縮対象のフレームの圧縮に用いる量子化テーブルを選択する量子化テーブル選択手段と、
を有することを特徴とする請求項３に記載の動画像圧縮装置。
【請求項５】
撮像領域を構成する複数の分割エリアの各々から画像信号を並列に出力する撮像素子と、
前記撮像素子から出力された複数の前記画像信号を合成し、第１のフレームレートの動画像信号として出力する信号合成手段と、
前記第１のフレームレートの動画像信号を入力する動画像信号入力手段と、
前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを一定間隔で抽出し、第２のフレームレートの動画像信号を生成する信号生成手段と、
前記第１のフレームレートの動画像信号を用いて、前記第２のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、
前記選択手段によって選択された前記量子化テーブルを用いて、前記第２のフレームレートの動画像信号を圧縮する圧縮手段と、
を有する動画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を圧縮する動画像圧縮装置に関する。また、本発明は、本動画像圧縮装置および撮像素子を備え、動画像の撮像および圧縮を行う動画像撮像装置にも関する。
【背景技術】
【０００２】
動画の圧縮方法については、以下を目標にして、各種の符号化手法が企画および標準化され、放送や通信のアプリケーションにおいて用いられている。
MPEG-１：１．５Mb/ｓ前後で、許容限度を上回る品質の動画を符号化する。
MPEG-２：１６Mb/ｓ前後で高品質な動画の符号化を行う。
MPEG-４：MPEG-２よりさらに高い高能率性、高度なデータ操作性、コンテンツ、使用環境に対する適応を実現する。
【０００３】
それぞれの圧縮方法において、通常の場合、一度圧縮率を設定すると、色々なシーンにおいても、同じ圧縮率でエンコードが行われる。その結果、冗長な画像が生成される場合もあれば、圧縮のしすぎによって劣化した画像が発生する場合もある。比較的簡単な計算により、歪みが出にくいように圧縮の符号化手法を変化させる方法が特許文献１に記載されている。この方法は、直前のフレームとの画像の差分を求め、差分量の大、中、小に応じて符号化手法を切り換えるものである。
【特許文献１】特開２００４−２６６７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
動画の圧縮においては、前述したように、一度圧縮率が設定されると、どのシーンにおいても同じ圧縮率でエンコードが行われるため、冗長な画像が生成されたり、圧縮のしすぎによって劣化した画像が発生したりする場合があるという問題があった。圧縮率を固定した場合、圧縮率を小さくすれば画質が良くなるが、圧縮率を必要以上に小さくすると、データ量が増え、システム全体の大きなコストアップとなる。また、特許文献１に記載された方法では、簡易な処理により圧縮率を向上させるという点では効果があるが、シーンに応じて圧縮率をきめ細かく決定することができないという問題があった。
【０００５】
また、動画の圧縮においては、圧縮対象のフレームを分割した画像ブロックと、参照フレームを分割した画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを求めるために行う画像ブロック同士の比較演算の計算量が膨大になる。そのため、高速な演算処理が必要となるので、実現コストが高いという問題があった。比較演算の計算量が膨大となるのは、１フレームを構成する画像データを複数のブロックに分割し、各ブロック毎に参照フレームのブロックと比較してフレーム間の動きベクトルを求める必要があり、周囲の一定範囲内でドットをずらしながらブロック間の比較演算を行うためである。
【０００６】
本発明は、上述した問題点に鑑みてなされたものであって、シーンに応じて適切な圧縮をリアルタイムに行うことができる動画像圧縮装置および動画像撮像装置を提供することを第１の目的とする。また、本発明は、動きベクトルを求めるための計算量を低減し、低コストで圧縮を行うことができる動画像圧縮装置および動画像撮像装置を提供することを第２の目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、第１のフレームレートの動画像信号を入力する動画像信号入力手段と、前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを一定間隔で抽出し、第２のフレームレートの動画像信号を生成する信号生成手段と、前記第１のフレームレートの動画像信号を用いて、前記第２のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、前記選択手段によって選択された前記量子化テーブルを用いて、前記第２のフレームレートの動画像信号を圧縮する圧縮手段とを有する動画像圧縮装置である。
【０００８】
請求項２に記載の発明は、請求項１に記載の動画像圧縮装置において、前記信号生成手段は、前記第１のフレームレートの動画像信号のフレームのうち、一定間隔で抽出したフレームを前記第２のフレームレートの動画像信号として前記圧縮手段へ出力すると共に、前記一定間隔で抽出したフレーム以外のフレームを前記選択手段へ出力することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１に記載の動画像圧縮装置において、前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを構成する画像データを複数の画像ブロックに分割する第１のブロック分割手段と、参照フレームを構成する画像データを複数の画像ブロックに分割する第２のブロック分割手段と、圧縮対象のフレームの前記画像ブロックと参照フレームの前記画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを演算する動きベクトル演算手段とをさらに有することを特徴とする。
【００１０】
請求項４に記載の発明は、請求項３に記載の動画像圧縮装置において、前記選択手段は、前記動きベクトルによって対応付けられた前記画像ブロック間の差分を１フレーム内で加算し、前記差分の合計を算出する差分加算手段と、予め記録された量子化テーブルの中から、前記差分加算手段によって算出された前記差分の合計に基づいて、圧縮対象のフレームの圧縮に用いる量子化テーブルを選択する量子化テーブル選択手段とを有することを特徴とする。
【００１１】
請求項５に記載の発明は、撮像領域を構成する複数の分割エリアの各々から画像信号を並列に出力する撮像素子と、前記撮像素子から出力された複数の前記画像信号を合成し、第１のフレームレートの動画像信号として出力する信号合成手段と、前記第１のフレームレートの動画像信号を入力する動画像信号入力手段と、前記動画像信号入力手段から入力された前記第１のフレームレートの動画像信号のフレームを一定間隔で抽出し、第２のフレームレートの動画像信号を生成する信号生成手段と、前記第１のフレームレートの動画像信号を用いて、前記第２のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、前記選択手段によって選択された前記量子化テーブルを用いて、前記第２のフレームレートの動画像信号を圧縮する圧縮手段とを有する動画像撮像装置である。
【発明の効果】
【００１２】
本発明によれば、映像出力のフレームレートよりも高フレームレートである第１フレームレートのフレームを用いて、映像出力となる第２フレームレートのフレームに対する量子化テーブルを選択することによって、シーンに応じた適切な圧縮をリアルタイムに行うことができるという効果が得られる。また、本発明によれば、第１フレームレートのフレームを用いて、圧縮に必要な動きベクトルを求めることによって、圧縮対象のフレームの画像ブロックと参照フレームの画像ブロックのマッチングにおける演算範囲を狭めることができるので、動きベクトルを求めるための計算量を大きく低減し、低コストで圧縮を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態による動画像圧縮装置の構成を示すブロック図である。まず、図中の各構成の機能を説明する。動画像圧縮装置１において、A/D変換部１０１（動画像信号入力手段）は、所定のフレームレート（第１のフレームレート）で入力されたビデオ信号（動画像信号）を標本化・量子化し、デジタルデータに変換する。ビデオメモリ１０２は、A/D変換部１０１から出力された１フレーム分の画像データを記憶する。
【００１４】
ブロック切り出し部１０３（第１のブロック分割手段）は、ビデオメモリ１０２から出力された画像データを構成するフレーム内の画像全体をＮ×Ｍ画素（Ｎ，Ｍは自然数）のブロック（画像ブロック）に切り出す（分割する）。ブロック取り出し部１０４は、ブロック切り出し部１０３およびブロック切り出し部１０５（第２のブロック分割手段）によって切り出されたブロックを順次１ブロック毎に取り出す。ブロック切り出し部１０５は、ビデオメモリ１０６に格納された参照フレーム内の画像全体をＮ×Ｍ画素のブロック（画像ブロック）に切り出す（分割する）。ビデオメモリ１０６は参照フレームの画像データを記憶する。
【００１５】
動き補償予測部１０７（動きベクトル演算手段）は、圧縮対象のフレームと参照フレームとを用いて、ブロック毎に動きベクトルを算出する。動きベクトルの算出の際に、動き補償予測部１０７は、Ｎ×Ｍ画素のブロックに分割された画像フレームを用いて、分割後の各ブロックの周囲の限られた範囲内でブロックマッチングを行い、動きベクトルを求める。図２には、この様子が示されている。画像フレームのブロック分割の様子は、図２に示されるとおりである。動き補償予測部１０７は、例えば図２のブロックＡの座標位置に対応する参照フレーム中のブロックａの同座標位置を中心として、定量ドット（例えば＋−１５ドット）ずつずらした範囲内でブロックマッチングを行う（図３参照）。１ドットずつ順番に位置ずらしを行い、ブロック同士の画素値の絶対値差分が最小になる位置から動きベクトルを求めている。この動きベクトルによって、ブロック毎の対応付けが行われる。
【００１６】
演算部１０８は、画像の差分を求める処理部である。演算部１０８は、ブロック切り出し部１０３によって分割された個々のブロックと、動き補償予測部１０７が求めた動きベクトルによって対応付けられたブロックの間の差分を求める。図２を用いて説明すると、矢印２００が、動き補償予測部１０７によって求められた動きベクトルを示している。この部分は、画素値の差分（ブロックＡ、および動きベクトルにより移動が関連付けられたブロックｂの画素値の差分）が最小となり、移動等により対応付けられるエリアと想定される。演算部１０８は、このようにして求められたエリア間（ブロックＡ、および動きベクトルにより移動が関連付けられたブロックb）の個々の画素値の差分を求め、画素値の差分からなる差分画像の動画像信号をフレーム判定部１０９へ出力する。
【００１７】
フレーム判定部１０９（信号生成手段）はフレームの処理の判定を行う。動画像圧縮装置１に入力された第１フレームレートのフレームは、圧縮率（量子化テーブル）や動きベクトルの算出の目的で使われるフレーム（以降、演算フレームと呼ぶ）を包含し、第２フレームレートのフレームは、映像フレームとして信号出力されるフレームとなる。フレーム判定部１０９は、フレームのシーケンシャル番号に基づいて、処理対象のフレームが映像フレームであるのか、それとも演算フレームであるのか判定する。フレーム判定部１０９は、入力された第１フレームレートの動画像信号のフレームのうち、シーケンシャル番号に基づいて一定間隔でピックアップ（抽出）したフレームを第２フレームレートのフレーム（映像フレーム）と判定し、そのフレームの動画像信号をDCT部１１０へ出力する。また、フレーム判定部１０９は、一定間隔で抽出したフレーム以外のフレームの動画像信号を差分加算部１１７へ出力する。
【００１８】
ここで、第１フレームレートが高フレームレートである場合の映像フレームと演算フレームの処理方法について説明する。図４は、第１フレームレートのフレーム（図４（ｂ）および（ｃ））と、第１フレームレートのフレームから生成された第２フレームレートの映像フレーム（図４（ａ））を示している。図４（ａ）は、一例として、映像フレームが６０コマ／秒であることを示している。図４（ｂ）は１２０コマ／秒の高フレームレートでフレームが生成されている様子を示しており、図４（ｃ）は、図４（ｂ）におけるフレームレート以上の高フレームレートでフレームが生成されている様子を示している。
【００１９】
映像出力レートが図４（ａ）のように６０コマ／秒であるとすると、図４（ｂ）の（１）（３）（５）のフレームが映像フレームとして使用される。フレーム（２）（４）は動きベクトルの算出と、フレーム（３）（５）の圧縮率（量子化テーブル）を求めるのとに使われる。詳説すると、フレーム（２）は、フレーム（１）を参照フレームとした動きベクトルを求めるのに使われる。高フレームレートのフレームを用いると、フレームの周期間隔が短くなるので、移動体があった場合の移動距離は小さくなる。従って、周囲の限られた範囲だけでブロックマッチングを行えばよくなるので、動きベクトルの算出に要する時間は減少する。例えば、フレーム（１）とフレーム（３）との間で動きベクトルを求める場合と、フレーム（１）とフレーム（２）との間、およびフレーム（２）とフレーム（３）との間でそれぞれの動きベクトルを求めることによって、移動距離を少なくした場合とでは、後者の方が計算時間は減少する。
【００２０】
また、フレーム（２）は、動きベクトルによって対応付けられたブロック同士での絶対値差分を算出し、フレーム（３）の圧縮に用いられる量子化テーブルを求めるのにも使用される。この量子化テーブルは、フレーム（３）を、シーンに応じた適正な圧縮率で圧縮するのに役立つ。フレーム（４）も、同様に動きベクトルの算出と、フレーム（５）の圧縮に用いられる量子化テーブルを求めるのとに使用される。
【００２１】
第１フレームレートがさらに高フレームレートの場合を図４（ｃ）に示す。フレーム（１）（４）（７）は映像フレームとして使用され、フレーム（２）（３）（５）（６）は演算フレームとして使用される。フレーム（４）の圧縮率（量子化テーブル）を求めるのに、フレーム（２）またはフレーム（３）を使用することができるが、処理時間が間に合えば、フレーム（２）よりもフレーム（３）を使うことが望ましい。これは、フレーム（１）と（２）を用いるよりも、フレーム（１）と（３）を用いた方が、フレーム（１）と（４）の間の変化量により近いからである。フレーム（３）が入力されたときには、フレーム（１）はビデオメモリ１０６に蓄積されており、フレーム（１）はフレーム（３）と共に量子化テーブルの設定に使われる。フレーム（５）と（６）はいずれもフレーム（７）の圧縮率（量子化テーブル）を求めるのに使用可能であるが、上記と同様に、フレーム（６）とフレーム（４）を用いて量子化テーブルが設定される。
【００２２】
図１に戻り、DCT部１１０および量子化部１１１（圧縮手段）は、映像フレームを処理する処理部である。DCT部１１０は、演算部１０８によって算出された、ブロック毎の差分値を示す差分画像の信号を空間周波数領域の信号に変換する（DCT変換）。この処理は一般的なMPEGの処理と同一であり、文献（「総合マルチメディア選書  ＭＰＥＧ  映像情報メディア学会編」オーム社出版局、平成８年４月２０日発行）の５章（ＭＰＥＧビデオ符号化）に記載されている。
【００２３】
量子化部１１１は、量子化テーブル選択部１１９によって選択された量子化テーブル１２０を用いてDCT係数の量子化を行い、画像圧縮を行う。量子化テーブル１２０は、前述した演算フレームを用いた処理で求められており、動きがあるシーンでは、量子化ステップが細かく刻まれ、圧縮率が小さく、画質が良くなるように設定されている。逆に動きがないシーンでは、量子化ステップの値が大きくなっており、画像の品質に影響ない範囲で、圧縮率が高く設定されている。
【００２４】
また、量子化部１１１は出力のコピーを生成する。コピーの元となった出力およびそのコピーのうちの一方は可変長符号化部１１５およびバッファ１１６を介して、映像出力用の符号化データとして映像出力される。もう一方は、逆量子化部１１２、逆DCT部１１３、および演算部１１４を介してビデオメモリ１０６に格納され、圧縮の際のフレーム間差分を求めるための参照フレームとして利用される。
【００２５】
逆量子化部１１２は、量子化部１１１によって量子化されたフレームの逆量子化（伸張）を行う。逆DCT部１１３は周波数データの復号化を行う。演算部１１４は、演算部１０８がフレーム間の差分を求めた処理と逆の処理を行う処理部であり、逆DCT部１１３から出力された差分のデータと、ブロック切り出し部１０５によって分割されたデータとを加算し、元のフレームデータを復元する。演算部１１４によって復元されたフレームデータはビデオメモリ１０６に蓄積される。このようにして、映像フレームは元の画像データに戻され、フレーム間の動きベクトルを求める際に参照フレームとして利用される。
【００２６】
可変長符号化部１１５は、映像フレームを映像データとして出力する処理部であり、映像フレームの圧縮（符号化）を行う。この可変長符号化部１１５は、出現頻度がより高いデータにより短いコードを割り当てる方法によって、可変長符号化を行う。バッファ１１６は、出力される符号化データのバッファリングを行うための蓄積手段である。バッファ１１６に蓄積された映像データは、順次符号化データとして取り出され、出力される。
【００２７】
差分加算部１１７（差分加算手段）、加算値保存部１１８、量子化テーブル選択部１１９（量子化テーブル選択手段）、および量子化テーブル１２０は、演算フレームの動画像信号を用いた量子化テーブルの選択および設定に関係している。差分加算部１１７には、フレーム判定部１０９によって振り分けられた演算フレームの動画像信号がブロック毎に入力される。この動画像信号は、演算フレームの個々のブロックと、動きベクトルによって対応付けられたブロックとの差分を示している。差分加算部１１７はこの差分の絶対値加算を行う。差分を加算した結果は、各ブロックの差分を加算する毎に加算値保存部１１８に保存される。１フレームを構成する全ブロックの差分が加算された、フレーム全体における合計値は、シーン間での動きの大きさの判断に用いられる。差分加算部１１７は合計値を量子化テーブル選択部１１９へ出力する。
【００２８】
量子化テーブル選択部１１９は、差分加算部１１７による加算の結果（合計値）に基づいて量子化テーブルを選択する。差分加算部１１７から出力された合計値は、被写体の動きに基づいた動画像信号の変化を示している。合計値が大きかった場合（例えば合計値が所定値以上であった場合）には、画像中の動きが大きく、量子化テーブル選択部１１９は、量子化ステップの小さい量子化テーブルを選択する。逆に、合計値が小さかった場合（例えば合計値が所定値未満であった場合）には、画像中の動きが小さく、量子化テーブル選択部１１９は、量子化ステップの大きい量子化テーブルを選択する。これによって、シーンに応じた適切な量子化テーブルが選択される。量子化テーブル選択部１１９は、選択した量子化テーブルを量子化テーブル１２０として、量子化部１１１および逆量子化部１１２に設定する。
【００２９】
次に、本実施形態による動画像圧縮装置１の動作を、図５および図６に示されるフローチャートを用いて説明する。動画像圧縮装置１に入力されたビデオ信号は、A/D変換部１０１によってデジタルデータに変換され、ビデオメモリ１０２に格納される（ステップＳ５０１）。ブロック切り出し部１０３は、ビデオメモリ１０２から出力された画像データをＮ×Ｍ画素のブロックに分割し、ブロック切り出し部１０５は、ビデオメモリ１０６から出力された参照フレームの画像データをＮ×Ｍ画素のブロックに分割する（ステップＳ５０２）。ブロック取り出し部１０４は、ブロック切り出し部１０３によって分割されたブロックを順番に取り出すと共に、ブロック切り出し部１０５によって分割された参照フレームのブロックの中から必要なブロックを取り出す（ステップＳ５０３）。
【００３０】
以後、ブロックの取り出しが終了した場合（ステップＳ５０４においてＹＥＳの場合）には、ステップＳ５１１の処理が行われる。これは、１フレームの最後のブロックの処理が終了したことを意味している。一方、ブロックの取り出しが終了していない場合（ステップＳ５０４においてＮＯの場合）には、ステップＳ５０５の処理が行われる。いずれの処理を行うかは、例えば図示せぬ制御部等によって判断され、各処理に対応した処理部の制御が行われる。
【００３１】
ステップＳ５０５において、動き補償予測部１０７は、取り出されたブロックと参照フレームのブロックとを用いて動きベクトルを求める。図２に示されるように、動き補償予測部１０７は各ブロック毎に、現在の対応する位置を中心としてある範囲を含むエリア内で画素位置をずらしながら、参照フレームとしてビデオメモリ１０６に格納されている画像データとのブロックマッチングを行う。動き補償予測部１０７は画素位置を順次ずらし、ブロックマッチングを行う両者の画素値の絶対値差分が最小になった位置を、ブロックが移動したエリアと捉え、動きベクトルを求める。
【００３２】
続いて、演算部１０８は、上記の動きベクトルによって対応付けられたブロック間の差分値を求める（ステップＳ５０６）。フレーム判定部１０９は、フレームのカウンタ値に基づいて、処理対象のフレームが映像フレームであるか否かを判断し、フレームの振り分けを行う（ステップＳ５０７）。処理対象のフレームが映像フレームであると判断した場合には、フレーム判定部１０９は、演算部１０８によって求められた差分値を示す動画像信号をDCT部１１０へ出力する。DCT部１１０は差分値にDCTを行い、空間周波数領域のDCT係数に変換する（ステップＳ５０８）。
【００３３】
量子化部１１１は、量子化テーブル１２０で指定された量子化ステップを用いてDCT係数を量子化する（ステップＳ５０９）。この量子化ステップのサイズを小さくすると画質は向上するが、データ量が増加し、量子化ステップのサイズを大きくすると、画質が劣化し、データ量は減少するという性質を量子化ステップは有している。ステップＳ５０９以後、処理はステップＳ５０３に戻り、次のブロックが処理される。
【００３４】
一方、ステップＳ５０７において、処理対象のフレームが映像フレームではないと判断された場合、高フレームレートで撮像された演算フレームの処理（ステップＳ５１０）が行われる。ステップＳ５１０において、フレーム判定部１０９は、演算部１０８によって求められた差分値を示す動画像信号を差分加算部１１７へ出力する。差分加算部１１７は差分値を絶対値に変換し、前ブロックまでの加算値に加算する。この加算値は加算値保存部１１８に格納される。以後の処理はステップＳ５０３の処理に戻る。
【００３５】
なお、隣接する映像フレームの間に複数の演算フレームが存在する場合に、各演算フレームにおいてステップＳ５１０の処理が行われるが、以下のようにしてもよい。例えば、処理が次の演算フレームの処理に移った後、加算値保存部１１８に保存されている１つ前の演算フレームの加算値を消去してから次の演算フレームの加算値を書き込むようにすればよい。これによって、図４（ｃ）のフレーム（４）の量子化テーブルが、フレーム（２）ではなくフレーム（３）の差分値の合計に基づいて選択されることになる。あるいは、フレームのシーケンシャル番号に基づいて、予め設定されたシーケンシャル番号を有する演算フレーム以外の演算フレームの差分加算処理をスキップするようにしてもよい。
【００３６】
ステップＳ５１１の処理は、１フレームの最後のブロックの処理が終了した場合の処理である。以後、処理対象のフレームが映像フレームである場合（ステップＳ５１１においてＹＥＳの場合）には、ステップＳ５１２の処理が行われる。また、処理対象のフレームが演算フレームである場合（ステップＳ５１１においてＮＯの場合）には、以後の処理はステップＳ５１４の処理となる。
【００３７】
ステップＳ５１２において、量子化部１１１はフレームのコピーを作成し、元のフレームおよびそのコピーのうち、一方を逆量子化部１１２へ出力し、他方を可変長符号化部１１５へ出力する。以後、映像フレームを処理する２系統の処理が並行して行われる（ステップＳ５１３）。これらの処理が図６（ａ）（ｂ）に示されている。図６（ａ）において、可変長符号化部１１５は、それぞれ出現頻度がより高いデータに対して、より短いデータを割り当てることによって、量子化されたデータを符号化する（ステップＳ６０１）。可変長符号化部１１５は符号化後のデータをバッファ１１６に格納する（ステップＳ６０２）。このデータは符号化データとして出力される。
【００３８】
また、図６（ｂ）においては、動き補償の参照フレームとして映像フレームを後で用いる必要があるため、映像フレームを元の画像フレームに復号化し、ビデオメモリ１０６に格納する処理が行われる。逆量子化部１１２は、量子化テーブル１２０を用いて映像フレームの逆量子化を行い、映像フレームを逆DCT部１１３へ出力する（ステップＳ６０３）。逆DCT部１１３は、逆量子化された映像フレームの逆DCT変換を行い、映像フレームを演算部１１４へ出力する（ステップＳ６０４）。演算部１１４は、逆DCT部１１３から出力された映像フレームに対して、ブロック切り出し部１０５から出力された１フレーム分の差分以外の情報を加算して元の画像フレームに復号化し（ステップＳ６０５）、ビデオメモリ１０６に参照フレームとして格納する（ステップＳ６０６）。
【００３９】
図５に戻り、ステップＳ５１４以後は演算フレームの処理である。差分加算部１１７は、１フレーム分の各ブロックの差分の絶対値を加算した合計値を量子化テーブル選択部１１９へ出力する。量子化テーブル選択部１１９は、この合計値に基づいて、量子化テーブル１２０の選定を行う。合計値が大きい場合は、動きが激しいと想定されるので、量子化テーブル選択部１１９は、量子化ステップの小さい量子化テーブルを選択する。また、合計値が小さい場合は、動きが余りないと想定し、量子化テーブル選択部１１９は、量子化ステップの大きい量子化テーブルを選択する（ステップＳ５１４）。
【００４０】
量子化テーブル選択部１１９は、選択した量子化テーブルを量子化テーブル１２０として、量子化部１１１および逆量子化部１１２に設定する（ステップＳ５１５）。量子化テーブル１２０は、次の映像フレームの量子化および逆量子化に用いられる。なお、量子化テーブルは複数用意されており、差分の絶対値の合計の大きさに応じて、それらの中から量子化ステップの適した量子化テーブルが選択される。
【００４１】
上述したように、本実施形態によれば、映像出力のフレームレートよりも高フレームレートである第１フレームレートのフレームを用いて、映像出力となる第２フレームレートのフレームの圧縮に用いる量子化テーブルを選択することによって、シーンに応じた適切な圧縮をリアルタイムに行うことができる。また、フレーム間の動きが大きくなった場合には、量子化ステップが小さく設定され、その結果、圧縮率が縮小されるので、圧縮のしすぎによる画像の劣化を防ぐことができる。特に、木の葉や、一面に咲き誇った花が風に揺れているシーン等でも、不適切な圧縮率による画像の劣化を大幅に低減することができる。また、フレーム間の動きが小さい場合には、圧縮率が高めに設定されることとなるが、冗長な画像が生成されて、必要以上にデータ量が増えることを避けることができる。
【００４２】
また、本実施形態において、第１フレームレートのフレームのフレーム同士の時間間隔は、第２フレームレートのフレームよりも短く設定される。第１フレームレートのフレームを用いて、圧縮に必要な動きベクトルを求める処理を行うことによって、圧縮対象のフレームの画像ブロックと参照フレームの画像ブロックとの間のマッチングにおける演算範囲を狭めることができるので、動きベクトルを求めるための計算量を大きく低減し、低コストで高精細な画像の圧縮を行うことができる。
【００４３】
次に、本発明の第２の実施形態を説明する。図７は、本実施形態による動画像撮像装置の構成を示すブロック図である。本実施形態による動画像撮像装置は、第１の実施形態による動画像圧縮装置１を備え、撮像素子から画素情報を並列に読み出すことによって、高フレームレートの動画像信号の生成を実現している。以下、既に説明を行った動画像圧縮装置１以外の構成の機能を説明する。撮像レンズ３０は被写体から出射された出射光を集光する。固体撮像装置３１（撮像素子）は、撮像レンズ３０によって集光された出射光を入光し、電気信号に変換して複数の画像信号を出力する。撮像信号処理部３２（信号合成手段）は、固体撮像装置３１から出力された複数の画像信号を合成し、調整を行って、第１フレームレートの映像出力信号（ビデオ信号）として動画像圧縮装置１へ出力する。
【００４４】
図８は、固体撮像装置３１の内部構成を示している。固体撮像装置３１において、撮像領域が複数のエリア（分割エリア）に分割され、各分割エリアから電荷信号が取り出されて、複数の出力信号として並列に出力される。撮像領域は撮像領域Ｉ、ＩＩ、ＩＩＩ、ＩＶに４分割されている。垂直転送CCD３１５および水平転送CCD３１１によって撮像領域Ｉの電荷が読み出され、出力ａとして出力される。垂直転送CCD３１６および水平転送CCD３１２によって撮像領域ＩＩの電荷が読み出され、出力ｂとして出力される。垂直転送CCD３１７および水平転送CCD３１３によって撮像領域ＩＩＩの電荷が読み出され、出力ｃとして出力される。垂直転送CCD３１８および水平転送CCD３１４によって撮像領域ＩＶの電荷が読み出され、出力ｄとして出力される。このように、撮像領域を分割し、並列的に画素信号を読み出すことにより、高フレームレートが実現されている。
【００４５】
ここで、出力ａ〜ｄが得られるが、全て（４つ）の信号出力により、全画素領域から信号が読み出されることになる。撮像信号処理部３２は出力ａ〜ｄを１フレーム単位でバッファリングし、合成して映像出力信号として出力する。この映像出力信号はビデオ入力としてA/D変換部１０１に入力される。A/D変換部１０１以下の処理は第１の実施形態と同様である。なお、本実施形態においては、CCDセンサを備えた撮像素子を用いて説明したが、CMOSセンサを備えた撮像素子を用いてもよい。
【００４６】
上述したように本実施形態によれば、並列読出しを行う撮像素子を用いて画素信号を読み出すことによって、高フレームレートのフレーム取得が可能となり、本発明の動画像撮像装置の実現が容易となる。
【００４７】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１の実施形態による動画像圧縮装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における動きベクトルの算出方法を説明するための参考図である。
【図３】本発明の第１の実施形態における動きベクトルの算出方法を説明するための参考図である。
【図４】本発明の第１の実施形態における映像フレームと演算フレームを説明するための参考図である。
【図５】本発明の第１の実施形態による動画像圧縮装置の動作を示すフローチャートである。
【図６】本発明の第１の実施形態による動画像圧縮装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態による動画像圧縮装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態による固体撮像装置の構成を示す概略構成図である。
【符号の説明】
【００４９】
１・・・動画像圧縮装置、３０・・・撮像レンズ、３１・・・固体撮像装置、３２・・・撮像信号処理部、１０１・・・A/D変換部、１０２，１０６・・・ビデオメモリ、１０３，１０５・・・ブロック切り出し部、１０４・・・ブロック取り出し部、１０７・・・動き補償予測部、１０８，１１４・・・演算部、１０９・・・フレーム判定部、１１０・・・DCT部、１１１・・・量子化部、１１２・・・逆量子化部、１１３・・・逆DCT部、１１５・・・可変長符号化部、１１６・・・バッファ、１１７・・・差分加算部、１１８・・・加算値保存部、１１９・・・量子化テーブル選択部、１２０・・・量子化テーブル、３１１，３１２，３１３，３１４・・・水平転送CCD、３１５，３１６，３１７，３１８・・・垂直転送CCD
【図１】
2006295521.tif 000003
【図２】
2006295521.tif 000004
【図３】
2006295521.tif 000005
【図４】
2006295521.tif 000006
【図５】
2006295521.tif 000007
【図６】
2006295521.tif 000008
【図７】
2006295521.tif 000009
【図８】
2006295521.tif 000010