(57)【特許請求の範囲】
【請求項１】
一駒分の画像を表す画像データに，直交変換係数の算出，上記直交変換係数の量子化および量子化された直交変換係数の符号化を行い符号化データを生成する符号化データ手段ならびに複数駒分の符号化データを記憶する容量をもつ記憶領域に，上記符号化手段によって生成された符号化データを記憶する記憶制御手段を備えた画像データ圧縮装置において，
上記記憶領域に記憶すべき最後の駒を除く駒の符号化データについては生成される符号化データが，上記記憶領域の残領域の残容量を，上記残領域に記憶すべき符号化データによって表される画像の駒数を用いて平均化して得られるデータ量となるように上記符号化手段を制御し，上記記憶領域に記憶すべき最後の駒の符号化データについては，上記記憶領域の残領域の残容量と上記記憶領域の記憶容量とを加算した容量を，上記複数駒＋１駒の駒数を用いて除して得られるデータ量となるように上記符号化手段を制御する符号化制御手段，
を備えていることを特徴とする画像データ圧縮装置。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，一駒分の画像を表す画像データに，直交変換係数の算出，直交変換係数の量子化および量子化された直交変換係数の符号化を行い符号化データを生成し，複数駒分の符号化データを記憶する容量をもつ記憶領域に，生成された符号化データを記憶する画像データ圧縮装置に関する。
【０００２】
【発明の背景】
動画圧縮フォーマットの一例として，モーションＪＰＥＧ（joint photographic experts group）がある。モーションＪＰＥＧは，複数駒の静止画像のそれぞれがＪＰＥＧ圧縮された画像データを伸長して連続的に表示することにより動画のように見せるものである。このような動画圧縮フォーマットにおいては，動画の記録時間をほぼ一定にするために，たとえば，単位時間（１秒）あたりの圧縮後の画像データ量（符号化データ量）をほぼ一定にする必要がある。
【０００３】
しかしながら，それぞれの駒ごとの圧縮率が固定であると，シーンが変わった場合に圧縮後の画像データ量が極端に変化することがある。すると，単位時間あたりの圧縮後の画像データ量をほぼ一定にすることができない。
【０００４】
【発明の開示】
この発明は，圧縮後の画像データ量をほぼ一定にすることを目的とする。
【０００５】
この発明は，一駒分の画像を表す画像データに，直交変換係数の算出，上記直交変換係数の量子化および量子化された直交変換係数の符号化を行い符号化データを生成する符号化データ手段ならびに複数駒分の符号化データを記憶する容量をもつ記憶領域に，上記符号化手段によって生成された符号化データを記憶する記憶制御手段を備えた画像データ圧縮装置において，生成される符号化データが上記記憶領域の残領域の残容量を，上記残領域に記憶すべき符号化データによって表される画像の駒数を用いて平均化して得られるデータ量となるように上記符号化手段を制御する（上記記憶領域に記憶するべき最後の駒については，必ずしも平均化して得られるデータ量となるようにしなくともよい。）符号化制御手段を備えていることを特徴とする。
【０００６】
この発明は，上記画像データ圧縮装置の制御方法も提供している。すなわち，この方法は，一駒分の画像を表す画像データに，直交変換係数の算出，上記直交変換係数の量子化および量子化された直交変換係数の符号化を行い符号化データを生成する符号化データ手段ならびに複数駒分の符号化データを記憶する容量をもつ記憶領域に，上記符号化手段によって生成された符号化データを記憶する記憶制御手段を備えた画像データ圧縮装置において，生成される符号化データが上記記憶領域の残領域の残容量を，上記残領域に記憶すべき符号化データによって表される画像の駒数を用いて平均化して得られるデータ量となるように上記符号化手段を制御することを特徴とする。
【０００７】
この発明によると，上記記憶領域に符号化データが記憶されるときには，上記記憶領域の残領域の残容量を，上記残領域に記憶すべき符号化データによって表される画像の駒数を用いて平均化して得られるデータ量となるように上記符号化手段が制御される。残領域の残容量に応じて，データ量が平均化するように符号化データが生成されるので，シーンが変わった場合であっても符号化データのデータ量が極端に変化することを未然に防止できる。したがって，駒ごとに画質が極端に変化することを未然に防止できる。また，単位時間あたりの符号化データのデータ量もほぼ一定にすることができる。このようにして上記記憶領域に記憶された符号化データは，メモリ・カードなどの保存用の記録媒体に与えられ，記録される。
【０００８】
上記符号化制御手段は，上記記憶領域に記憶すべき最後の駒の符号化データについては，上記記憶領域の残領域の残容量と上記記憶領域の記憶容量とを加算した容量を，上記複数駒＋１駒の駒数を用いて平均化して得られるデータ量となるように上記符号化手段を制御するものでもよい。
【０００９】
また，上記符号化制御手段は，上記記憶領域に記憶される最後の駒の符号化データについては，上記記憶領域の残領域の残容量未満のデータ量となるように上記符号化手段を制御するようにしてもよい。
【００１０】
いずれの場合も最後の駒の符号化データのデータ量は，ほぼ一定量となる。最後の駒の画質が極端に変化してしまうことを未然に防止できる。
【００１１】
上記記憶領域が，上記複数駒分の符号化データを記憶するみかけ上の記憶領域と所定量の符号化データを記憶するマージン記憶領域とを含むものの場合には，上記符号化制御手段は，上記記憶領域に記憶すべき最後の駒の符号化データについては，上記みかけ上の記憶領域の残領域の残容量の２倍の量未満のデータ量となるように上記符号化手段を制御するものとしてもよい。最後の駒については符号化データ量が多くなるので，高画質を保つことが出きる。
【００１２】
【実施例の説明】
図１は，この発明の実施例を示すもので，ディジタル・カメラの電気的構成を示すブロック図である。
【００１３】
ディジタル・カメラの全体の動作は，ＣＰＵ２によって統括される。
【００１４】
ディジタル・カメラには，ムービ撮影モード，スチル撮影モードなどの各種モードを設定するためのモード設定スイッチ，シャッタ・レリーズ・ボタンなどを含むスイッチ１が含まれている。スイッチ１から出力される各種信号は，ＣＰＵ２に入力する。また，ＣＰＵ２には，データを一時的に記憶するキャッシュ・メモリ３が接続されている。
【００１５】
また，ディジタル・カメラには，ＤＭＡＣ（direct memory access controller）５が含まれており，このＤＭＡＣ５により，撮像によって得られた画像データのメモリ６への書き込みおよびメモリ６に書き込まれた画像データの読み取りが制御される。さらに，ディジタル・カメラには，ＳＲＡＭ（static random access memory）４も含まれている。
【００１６】
上述したメモリ６には，一駒分の画像を表す画像データを記憶する３つの領域（読取りデータ記憶領域６Ａから６Ｃ），メモリ・カード16に記録する符号化データ（圧縮済の画像データを符号化データということにする）を一時的に記憶する圧縮データ記憶領域６Ｅおよび６Ｆ（それぞれが15駒分の符号化データを記憶する記憶容量を有している）ならびに後述する量子化において用いられる量子化テーブル６Ｇその他の記憶領域が含まれている。
【００１７】
スイッチ１により，ムービ撮影モードが設定されると，ＣＣＤ８によって１／30秒周期で被写体が撮像され，被写体像を表す映像信号が順次出力される。映像信号は，アナログ／ディジタル変換回路９においてディジタル画像データに変換され，読み取り制御（信号処理）回路10に入力する。読み取り制御回路10において，ガンマ補正，白バランス調整などの所定の信号処理が行われる。
【００１８】
ディジタル画像データは，ＤＭＡＣ５の制御のもとに，バス制御回路７を介してメモリ６に与えられる。メモリ６のうち読み取りデータ記憶領域６Ａ，６Ｂまたは６Ｃに一駒分ずつ順次上書きされていく。
【００１９】
読み取りデータ記憶領域６Ａ，６Ｂまたは６Ｃに書き込まれた画像データは，一駒分ずつ読み取られ，バス制御回路７および表示制御回路12を介してディジタル／アナログ変換回路13に与えられる。ディジタル画像データは，ディジタル／アナログ変換回路13においてアナログ映像信号に変換され，表示装置14に与えられる。表示装置14の表示画面上に撮像した被写体像が表示されることとなる。
【００２０】
ムービ撮影モードが設定されているときに，スイッチ１内のシャッタ・レリーズ・ボタンが押されると，再びシャッタ・レリーズ・ボタンが押されるまでの間に撮像により得られた画像データが圧縮されてメモリ・カード16に記録される。具体的には，ディジタル・カメラにおいて次の動作が行われる。
【００２１】
読み取りデータ記憶領域６Ａ，６Ｂまたは６Ｃに書き込まれた画像データが一駒ずつ順次読み出され，バス制御回路７を介して圧縮符号化回路11に入力する。
【００２２】
図２は，圧縮符号化回路11の詳細を示している。
【００２３】
メモリ６から読み出された画像データは，バッファ・メモリ21を介してＤＣＴ（discrete cosine transform）回路22に与えられ，８画素×８画素のブロックごとにＤＣＴ係数（直交変換係数）が算出される。算出されたＤＣＴ係数は量子化回路23に与えられ，量子化される。量子化回路23における処理は，詳しくは，後述する。量子化されたＤＣＴ係数は，符号化回路24において符号化される。符号化された画像データ（符号化データ）がバッファ・メモリ25を介して圧縮符号化回路11から出力される。
【００２４】
再び，図１を参照して，圧縮符号化回路11から出力した一駒分の符号化データは，バス制御回路７を介してメモリ６に与えられ，圧縮データ記憶領域６Ｅに一時的に記憶される。同様にして次の駒の画像データが圧縮され，圧縮データ記憶領域６Ｅには，15駒分の符号化データが一時的に記憶されることとなる。このように，この実施例によるディジタル・カメラにおいては，一駒一駒の画像がＪＰＥＧにより圧縮されるモーションＪＰＥＧが利用されている。
【００２５】
圧縮データ記憶領域６Ｅに15駒分の符号化データが記憶されると，圧縮データ記憶領域６Ｅから15駒分の符号化データが読み出されバス制御回路７を介してメディア制御回路15に与えられる。メディア制御回路15によって，15駒分の符号化データがメモリ・カード16に記録される。圧縮データ記憶領域６Ｅから符号化データを読み出しているときには，圧縮符号化回路11から出力される符号化データは圧縮データ記憶領域６Ｆに記憶される。
【００２６】
図３は，ディジタル・カメラにおける圧縮処理を示すタイム・チャートである。
【００２７】
ムービ撮影モードが設定されると，上述したように，ＣＣＤ８によって１／30秒周期で被写体が撮像され（１／30秒周期で読み取り信号ＶＩがＣＰＵ２から出力されＣＣＤ８に与えられる），被写体像を表す画像データが得られる。たとえば，時刻ｔ11からｔ12の間で一駒分の画像Ａ11を表す画像データが得られる。得られた画像データは，読取りデータ記憶領域６Ａに与えられ，上述のように記憶される。時刻ｔ12から時刻ｔ14までの間に，読取りデータ記憶領域６Ａから奇数フィールドの画像（Ａ21）を表す画像データが読み出される。上述のように，バス制御回路７および表示制御回路12を介してディジタル／アナログ変換回路13においてアナログ映像信号に変換される。アナログ映像信号が表示装置13に与えられ，奇数フィールドの画像が表示される。時刻ｔ14から時刻ｔ15までの間に，読取りデータ記憶領域６Ａから偶数フィールドの画像（Ａ22）を表す画像データが読み出される。奇数フィールドの場合と同様に表示装置13に，偶数フィールドの画像が表示される。垂直同期信号ＶＤの周期（１／60秒）で奇数フィールドと偶数フィールドとが切り換わり，被写体像が表示されることとなる。
【００２８】
上述したように時刻ｔ11からｔ12の間で一駒分の画像データの読み取りが終了すると，時刻ｔ12からｔ13の間に圧縮符号化回路11において圧縮処理が行われる。圧縮により得られた符号化データが圧縮データ記憶領域６Ｅに記憶される。
【００２９】
図４は，圧縮データ記憶領域６Ｅに符号化データを記憶するシーケンスを示している。
【００３０】
圧縮データ記憶領域６Ｅの記憶容量は上述したように符号化データを約15駒分記憶できるものである（記憶容量Ｍ）。
【００３１】
この実施例のディジタル・カメラにおいては，ムービ撮影モードが設定されているときにシャッタ・レリーズ・ボタンがオンされると，動画用の符号化データの圧縮データ記憶領域６Ｅへのの記憶が開始されるが，シャッタ・レリーズ・ボタンの押下直後の撮像により得られた画像（０駒目の画像）は記憶されずに，次の駒（一駒目）の圧縮に用いられる正規化係数の算出に利用される。また，詳しくは，後述するように，圧縮すべき画像の駒の前の駒の画像の符号化データ量とその圧縮すべき画像の目標符号化データ量とを用いて，圧縮すべき画像の正規化係数が算出される。
【００３２】
この実施例においては，圧縮すべき画像の目標符号化データ量は，圧縮データ記憶領域６Ｅの残領域の容量を，その残領域に記憶させるべき画像の駒数（残枚数）で除した値に設定される。したがって，圧縮データ記憶領域６Ｅに記憶中に撮影シーンが突然に変わったとしても画像の符号化データ量が極端に変化することを未然に防止できる。すなわち，撮影シーンが突然に変わった場合に撮影シーンが変わった前後の画像の画質が極端に変化することを未然に防止できる。
【００３３】
たとえば，図４において，１駒目から（ｎ−１）駒目までの画像を表す符号化データが圧縮データ記憶領域６Ｅに記憶されており，ｎ駒目の画像を表す符号化データを圧縮データ記憶領域６Ｅに記憶するものとする。すると，ｎ駒目の画像の目標符号化データ量は式１となる。
【００３４】
目標符号化データ量＝［圧縮データ記憶領域の記憶容量Ｍ−（ｎ−１）駒目まで符号化データ量の総和］／残枚数・・・式１
【００３５】
図５および図６は，ムービ撮影モードにおける圧縮処理手順を示すフローチャートである。
【００３６】
ムービ撮影モードが設定されている場合において，シャッタ・レリーズ・ボタンがオンされると（ステップ41でＹＥＳ），駒数ｎが０に初期化される（ステップ42）。被写体が撮像され上述したように０駒目の画像を表す映像信号がＣＣＤ８から出力されると（ステップ43），正規化係数αｎが，あらかじめ定められている初期値α０に設定される（ステップ44）。つづいて，式２にしたがって，０駒目の画像を圧縮するための量子化テーブルが算出される（ステップ45）。
【００３７】
［量子化テーブル］＝［デフォルトの量子化テーブル］×α０・・・式２
【００３８】
すると，圧縮符号化回路11において０駒目の画像を表す画像データが圧縮される（ステップ46）。具体的には，上述したように圧縮符号化回路11内のＤＣＴ回路22における直交変換係数の算出，量子化回路23における量子化処理（算出された量子化テーブルが用いられる）および符号化回路24における符号化処理が行われる。
【００３９】
０駒目の画像を表す画像データの圧縮処理が終了すると（ステップ47），被写体が撮像され，ＣＣＤ８から次の駒の画像を表す映像信号が出力される（ステップ48）。映像信号出力が終了すると（ステップ48でＹＥＳ），駒数ｎがインクレメントされる（ステップ49）。
【００４０】
上述したように，圧縮データ記憶領域６Ｅには15駒分の符号化データが一時的に記憶される。駒数ｎが16となると，圧縮データ記憶領域６Ｅに15駒分の符号化データが記憶されたこととなる。駒数ｎが16となり，圧縮データ記憶領域６Ｅに15駒分の画像データがすでに記憶されたかどうかが判断される（ステップ50）。駒数ｎが16となると（ステップ50でＹＥＳ），圧縮データ記憶領域６Ｅにすでに15駒分の画像データが記憶されているから，駒数ｎが０に初期化される（ステップ51）。駒数ｎが16となっていなければ（ステップ50でＮＯ），引き続いて圧縮データ記憶領域６Ｅに（符号化データの）記憶を続行させるためにステップ51の処理はスキップされる。
【００４１】
つづいて，図４を参照して説明したように目標符号化データ量Ｃｔが算出される（ステップ52）。この目標符号化データ量Ｃｔ算出処理について詳しくは後述する。
【００４２】
つづいて，圧縮すべき画像データに用いられる正規化係数αｎが式３にしたがって算出される（ステップ53）。但し，βは定数，Ｃｓは前の駒の符号化量である。
【００４３】
αｎ＝α(n-1)×（Ｃｔ／Ｃｓ）(-1/β)・・・式３
【００４４】
また，量子化テーブルが式４にしたがって算出される（ステップ54）。
【００４５】
［量子化テーブル］＝［デフォルトの量子化テーブル］×αｎ・・・式４
【００４６】
算出された量子化テーブルを用いて，ｎ駒目の画像を表す画像データが圧縮される（ステップ55）。データ圧縮が終了すると（ステップ56でＹＥＳ），再びシャッタ・レリーズ・ボタンが押されたかどうかが判断される（ステップ57）。
【００４７】
シャッタ・レリーズ・ボタンが再び押されると（ステップ57でＹＥＳ），動画記録は終了する。シャッタ・レリーズ・ボタンが再び押されなければ（ステップ57でＮＯ），次の駒の圧縮処理を行うためにステップ48から56までの処理が繰り返される。圧縮データ記憶領域６Ｅ（または６Ｆ）に記憶された符号化データは圧縮データ記憶領域６Ｅ（または６Ｆ）から読出され，上述のように順次メモリ・カードに記録されるのはいうまでもない。
【００４８】
図７は，目標符号化データ量Ｃｔ算出処理（図６ステップ52）の処理手順を示すフローチャートである。
【００４９】
図４を参照して説明したように，ｎ駒目の目標符号化データ量は圧縮データ領域６Ｅまたは６Ｆの残容量を残枚数で除した値とされる（ステップ61）。もっとも符号化データ量が極端に変化することを未然に防止するために目標符号化データ量にも最大符号化データ量を示す規定上限量および最小符号化データ量を示す規定下限量が定められている。算出された目標符号化データ量が規定上限量より多ければ，目標符号化データ量は規定上限量に抑えられる。また，算出された目標符号化データ量が規定下限量未満であれば，目標符号化データ量は規定下限量に上げられる。
【００５０】
圧縮データ記憶領域の残領域の容量を，その残領域に記録すべき画像の残枚数で除すことにより目標符号化データ量を平均化しているので，撮像対象のシーンが変化しても符号化データ量が駒ごとに極端に変化してしまうことを未然に防止できる。
【００５１】
図８および図９は，変形例を示すものである。図８は，圧縮データ記憶領域６Ｅに符号化データを記憶するシーケンスを示し，図９は，目標符号化データ量算出処理手順（図６ステップ52）を示すフローチャートである。
【００５２】
上述した実施例においては，記憶させるべき画像データの目標符号化データ量は，圧縮データ記憶領域６Ｅまたは６Ｆの残領域の容量を残枚数で除した値とされているが，図８および図９に示すものは，15駒目（圧縮データ記憶領域に記憶させるべき画像の最後の駒）の画像の目標符号化データ量については，式５にしたがって算出される。
【００５３】
［15駒目の目標符号化データ量］＝［一方の圧縮データ領域（６Ｅまたは６Ｆ）の残容量＋他方の圧縮データ（６Ｆまたは６Ｅ）領域の記憶容量］／16・・・式５
【００５４】
駒数ｎが14駒目までは（ステップ62でＮＯ），上述したのと同様に一方の圧縮データ記憶領域（６Ｅまたは６Ｆ）の残容量を残枚数で除した値が目標符号化データ量とされる（ステップ64）。
【００５５】
駒数ｎが15駒目となると（ステップ62でＹＥＳ），式５にしたがって目標符号化データ量算出処理が行われる（ステップ63）。最後の15駒目については，一方の圧縮データ記憶領域の残容量と他方の圧縮データ記憶領域の記憶容量との和をそれらの和の領域に記憶すべき画像の駒数（16駒）により除しているので，一方の圧縮データ記憶領域の残容量が少なくなっても15駒目の目標符号化データ量がその残容量に合わせて少なくなることもない。15駒目の画像の符号化データ量が極端に少なくなることを未然に防止できる。すなわち，15駒目の画像の画質が極端に悪くなるということを未然に防止できる。圧縮データ記憶領域の実際の記憶容量は，規定されている記憶容量（みかけ上の記憶容量）Ｍよりも大きい（マージン記憶領域ｍ）。したがって，一方の圧縮データ記憶領域の残容量よりも算出された目標符号化データ量の方が多くなっても，実際には一方の圧縮データ記憶領域に15駒目の符号化データを記憶させることができる。
【００５６】
この場合も，算出された目標値が規定上限値より大きければ規定上限値に制限され，規定下限値よりも小さければ規定下限値に制限される（ステップ65）。
【００５７】
図10および図11は，さらに他の変形例を示すものである。図10は，圧縮データ記憶領域６Ｅに符号化データを記憶するシーケンスを示し，図11は，目標符号化データ量算出処理手順（図６ステップ52）を示すフローチャートである。
【００５８】
この変形例も１駒目から14駒目までは，記憶させるべき画像データの目標符号化データ量は，圧縮記憶領域の残領域の残容量を残枚数で除して得られた値とされるが，15駒目（圧縮データ記憶領域に記憶させるべき画像の最後の駒）の画像の目標符号化データ量については，式６または式７にしたがって算出される。
【００５９】
［15駒目の目標符号化データ量］＝圧縮データ領域の残容量／２・・・式６
【００６０】
［15駒目の目標符号化データ量］＝圧縮データ領域の残容量×1.5・・・式７
【００６１】
駒数ｎが14駒目までは（ステップ71でＮＯ），上述したのと同様に圧縮データ記憶領域６Ｅまたは６Ｆの残容量を残枚数で除した値が目標符号化データ量とされる（ステップ73）。
【００６２】
駒数ｎが15駒目となると（ステップ71でＹＥＳ），式６または式７にしたがって目標符号化データ量算出処理が行われる（ステップ72）。式６にしたがって目標符号化データ量が算出される場合には，最後の駒の符号化データを必ず圧縮データ記憶領域に記憶させることができるようになる。また，式７にしたがって，目標符号化データ量が算出される場合には，画質の高い画像を表す符号化データを記憶させることができるようになる。高画質の記憶ができるので，とくに駒送り再生などに適するようになる。
【図面の簡単な説明】
【図１】ディジタル・カメラの電気的構成を示すブロック図である。
【図２】圧縮符号化回路の電気的構成を示すブロック図である。
【図３】ディジタル・カメラの動作タイム・チャートである。
【図４】符号化データを一時的に記憶するシーケンスである。
【図５】ディジタル・カメラの処理手順を示すフローチャートである。
【図６】ディジタル・カメラの処理手順を示すフローチャートである。
【図７】目標符号化データ量算出処理手順を示すフローチャートである。
【図８】符号化データを一時的に記憶するシーケンスである。
【図９】目標符号化データ量算出処理手順を示すフローチャートである。
【図１０】符号化データを一時的に記憶するシーケンスである。
【図１１】目標符号化データ量算出処理手順を示すフローチャートである。
【符号の説明】
６  メモリ
６Ｅ，６Ｆ  圧縮データ記憶領域
６Ｇ  量子化テーブル記憶領域
11  圧縮符号化回路
22  ＤＣＴ回路
23  量子化回路
24  符号化回路
【図１】
0003958583.tif 000002
【図２】
0003958583.tif 000003
【図３】
0003958583.tif 000004
【図４】
0003958583.tif 000005
【図５】
0003958583.tif 000006
【図６】
0003958583.tif 000007
【図７】
0003958583.tif 000008
【図８】
0003958583.tif 000009
【図９】
0003958583.tif 000010
【図１０】
0003958583.tif 000011
【図１１】
0003958583.tif 000012