(57)【要約】【課題】  複数の異なる撮影条件を周期的に繰り返して撮影する場合の符号化効率を改善する。【解決手段】  撮像素子（１２）は、ｎ個の異なる撮影条件を第１のフレームレートで周期的に繰り返しながら、第１のフレームレートのｎ倍に相当する第２のフレームレートでフレーム画像を出力する。符号化部（１６）のフレーム分配部（１８）は、カメラ信号処理部（１４）からのフレーム画像を撮影条件に応じて、同じ撮影条件のものが同じデータ圧縮回路に供給されるように、データ圧縮回路（２２〜２８）に分配する。各データ圧縮回路（２２〜２８）は、入力するフレーム画像を第１のフレームレートの動画像とみなして圧縮符号化する。【選択図】  図１
2009033586.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる撮影条件を周期的に繰り返しながら、高速レートで画像を撮像する撮像手段と、
前記撮像手段により撮像された画像を、同じ撮影条件のものをまとめてそれぞれ通常レートの動画像として圧縮符号化する符号化手段
とを具備することを特徴とする撮像装置。
【請求項２】
更に、前記符号化手段により符号化された画像データを、前記撮影条件ごとのストリームデータとして記録する記録媒体を具備することを特徴とする請求項１に記載の撮像装置。
【請求項３】
更に、前記撮影条件ごとのストリームデータに対する管理情報を前記記録媒体に記録する手段を具備することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記管理情報は、前記撮影条件ごとのストリームデータの関係と、前記撮影条件を示す情報を含むことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記符号化手段は、フレーム間圧縮処理を含むことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記符号化手段が、複数のデータ圧縮手段と、
前記撮像手段により撮像された画像を、撮影条件に応じて同じ撮影条件の画像が同じデータ圧縮手段に供給されるように、前記複数のデータ圧縮手段に分配する分配手段
とを具備することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項７】
前記複数のデータ圧縮手段のそれぞれは、フレーム間圧縮処理を含むことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数のデータ圧縮手段の内の１つのデータ圧縮手段が、前記画像の圧縮符号化に必要な処理機能を具備し、
残りのデータ圧縮手段は、前記１つのデータ圧縮手段の前記処理機能の結果を利用する
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記処理機能は、フレーム間圧縮処理の動き探索処理であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮影条件が、露出条件、撮影モード及び画像調整パラメータの何れかであることを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
【請求項１１】
前記露出条件は、露出量及び露出量決定方式の少なくとも１つであることを特徴とする請求項１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、より具体的には、複数の異なる撮影条件を周期的に繰り返しながら、動画像を記録する撮像装置に関する。
【背景技術】
【０００２】
複数の異なる撮影条件を周期的に繰り返しながら、動画像を撮影し記録する技術が、知られている。特許文献１には、このような撮影により、Ｍｏｔｉｏｎ  ＪＰＥＧ方式で圧縮記録した動画像を、撮影条件に対応して動画再生する技術が、記載されている。
【特許文献１】特開２００６−３３０３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動画像を記録する場合、そのデータ量が膨大であることから、圧縮符号化して、記録するのが普通である。特に、動画像では、時間的に近接したフレーム間の相関を利用したフレーム間圧縮が広く行われている。
【０００４】
異なる撮影条件を周期的に繰り返しながら撮影した画像では、フレーム間相関が低くなり、圧縮符号化の符号化効率が低下する。特に、撮影条件として露出条件を繰り返し変化させた場合、隣接するフレーム間の相関が著しく失われ、符号化効率を低下させていた。
【０００５】
本発明は、複数の異なる撮影条件を周期的に繰り返しながら撮影する場合の符号化効率を改善した撮像装置を提示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、複数の異なる撮影条件を周期的に繰り返しながら、高速レートで画像を撮像する撮像手段と、前記撮像手段により撮像された画像を、同じ撮影条件のものをまとめてそれぞれ通常レートの動画像として圧縮符号化する符号化手段とを具備することを特徴とする。
【発明の効果】
【０００７】
本発明により、複数の異なる撮影条件で周期的に撮影された画像を、同じ撮影条件のものでまとめて圧縮符号化するので、符号化効率の高い符号化方式を適用可能になる。これにより、符号化効率を改善できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【０００９】
図１は、本発明の一実施例の概略構成ブロック図を示す。撮影レンズ１０は、被写体の光学像を撮像素子１２に入射する。撮影レンズ１０は、撮像素子１２の入射光量を制御する光学絞りを具備する。撮像素子１２は、撮像面に結像した光学像を電気信号に変換する。カメラ信号処理部１４は、撮像素子１２からの画像信号にガンマ変換及び色バランス調整等の周知の処理を施し、所定形式の画像データに変換する。撮影レンズ１０、撮像素子１２及びカメラ信号処理部１４からなる部分が、特許請求の範囲の撮像手段に相当する。
【００１０】
符号化部１６は、カメラ信号処理部１４からの画像データを圧縮する。符号化部１６は、カメラ信号処理部１４からの画像データを同じ撮影条件のフレーム毎に振り分けるフレーム分配部１８と、フレーム分配部１８により振り分けられたフレームを撮影条件毎に圧縮符号化する圧縮処理部２０とからなる。圧縮処理部２０は、本実施例では、４つのデータ圧縮回路２２〜２８からなる。各データ圧縮回路２２〜２８は、入力するフレーム画像を同じ撮影条件のものでまとめて圧縮し、圧縮画像データからなる所定形式のストリームデータを生成する。各データ圧縮回路２２〜２８は、圧縮符号化のためのフレームメモリを具備する。
【００１１】
データ圧縮回路２２〜２８から出力されるストリームデータは、記録媒体３０に記録される。記録媒体３０は、例えば、光ディスク又はハードディスク等からなる。
【００１２】
制御部３２は、撮影レンズ１０、撮像素子１２，カメラ信号処理部１４，符号化部１６及び記録媒体３０を統括的に制御する。
【００１３】
本実施例では、撮像素子１２を通常レート（３０フレーム／秒）の４倍のレート、即ち、１２０フレーム／秒（高速レート）で動作させ、各フレームを互いに異なる４つの撮影条件で繰り返し撮像する。カメラ信号処理部１４及びフレーム分配部１８も、１２０フレーム／秒で動作する。これに対し、データ圧縮回路２２〜２８は、それぞれが通常レート、即ち３０フレーム／秒で動作する。記録媒体３０は、データ圧縮回路２２〜２８から出力される４系統のストリームデータを記録する書き込み能力を具備する。なお、記録媒体３０に書き込まれた４系統のストリームデータは、再生時に伸長（復号）した後、いずれかの系統のストリームデータを選択的に不図示の表示装置にて表示することができる。このときの表示装置の表示レートは３０フレーム／秒であり、個々のストリームデータのフレームレートに対応する。
【００１４】
図２及び図３を参照して、本実施例による撮影フレームの変化の様子を説明する。図２（ａ），（ｂ），（ｃ），（ｄ）は、４つの異なる撮影条件に応じた画像例を示す。撮影条件は例えば、露光量であり、撮影レンズ１０の絞り、撮像素子１２のシャッタ速度、又はカメラ信号処理部１４のゲインで調節可能である。図２（ａ）は最も露光量が多い画像を示し、図２（ｂ）、図２（ｃ）と少なくなり、図２（ｄ）が最も露光量が少ない画像を示す。
【００１５】
本実施例では、通常レートの４倍のレートで撮像素子１２を動作させ、且つ、フレーム毎に４つの異なる撮影条件を順番に繰り返す。図３は、このように撮影されたフレームの変化の様子を示す。図３で、横軸は時間間隔を示す。通常レートのフレーム間に４枚のフレーム画像が撮影される。各フレーム画像のフレーム間隔は１／１２０秒（ｓｅｃ）である。
【００１６】
図３で、フレーム１ａ，２ａ，３ａは、同じ撮影条件Ａで撮影されたフレームである。フレーム１ｂ，２ｂ，３ｂは、同じ撮影条件Ｂで撮影されたフレームである。フレーム１ｃ，２ｃ，３ｃは、同じ撮影条件Ｃで撮影されたフレームである。フレーム１ｄ，２ｄ，３ｄは、同じ撮影条件Ｄで撮影されたフレームである。例えば、撮影条件Ａを最適露出量とし、撮影条件Ｂ，Ｃ，Ｄを順に一定の露出補正量だけ補正した露出値とする。
【００１７】
図３に示すフレーム画像に対する本実施例の符号化動作を説明する。制御部３２は、撮像素子１２を通常レートの４倍のレートで撮影するように制御し、撮影レンズ１０の絞りを通常レートの１周期内に４段階で変化するように制御する。カメラ信号処理部１４は、撮像素子１２からの４倍レートのフレーム画像を処理して、符号化部１６に供給する。
【００１８】
符号化部１６では、フレーム分配部１８が、カメラ信号処理部１４からのフレーム画像データを、撮影条件毎Ａ，Ｂ，Ｃ，Ｄにそれぞれ対応するデータ圧縮回路２２〜２８に分配する。例えば、フレーム分配部１８は、撮影条件Ａのフレーム１ａ，２ａ，３ａの画像データをデータ圧縮回路２２に供給し、撮影条件Ｂのフレーム１ｂ，２ｂ，３ｂの画像データをデータ圧縮回路２４に供給する。フレーム分配部１８は、撮影条件Ｃのフレーム１ｃ，２ｃ，３ｃの画像データをデータ圧縮回路２６に供給し、撮影条件Ｄのフレーム１ｄ，２ｄ，３ｄの画像データをデータ圧縮回路２８に供給する。図４は、各データ圧縮回路２２〜２８で処理されるフレームの様子を示す。
【００１９】
各データ圧縮回路２２〜２８は、入力されたフレーム画像を順次、圧縮処理して、ストリームデータを形成する。例えば、データ圧縮回路２２には、フレーム１ａ，２ａ，３ａの画像データが順に入力する。フレーム１ａ，２ａ，３ａは、撮影された際のフレーム間隔は離れているが、撮影条件、すなわち露出条件は同一である。さらに、フレーム１ａ，２ａ，３ａのフレーム間隔は、通常レートのフレーム間隔に等しいので、通常レートで撮影した画像程度のフレーム間相関が期待可能である。これにより、データ圧縮回路２２は、フレーム１ａ，２ａ，３ａにフレーム間圧縮処理を適用でき、高い符号化効率で圧縮符号化できる。同様のフレーム間相関が、データ圧縮回路２４，２６，２８についても期待できる。この結果、本実施例では、各データ圧縮回路２２〜２８は、フレーム間圧縮を利用する高い符号化効率で入力フレームを圧縮でき、全体として高い符号化効率を実現できる。
【００２０】
各データ圧縮回路２２〜２８の圧縮符号化で生成されたストリームデータは、記録媒体３０に記録される。制御部３２では、これらのストリームデータの関係を記述した管理情報を作成し、記録媒体３０に記録する。図５は、記録媒体３０に記録される情報の模式図を示す。ストリームＡ〜Ｄは、それぞれデータ圧縮回路２２〜２８で圧縮により生成されたストリームである。管理情報には、少なくとも、これら記録されたストリームＡ〜Ｄが、同一の撮像素子１２でほぼ同時に撮影された画像データであることと、各ストリームＡ〜Ｄの撮影条件が記録される。この管理情報によって、あとからこれらのストリームＡ〜Ｄの再生又は編集等が可能となる。例えば、各ストリームＡ〜Ｄが露出条件を変えて撮影した同一の構図の画像である場合、再生時に露出条件を選択できるようになる。或いは、これらのストリームＡ〜Ｄのうち複数を合成して、ダイナミックレンジを広げた動画像として再生することが可能となる。
【００２１】
以上、説明した様に、本実施例によれば、同一の撮影条件であるフレーム画像を、それぞれが独立した動画像であると見なして圧縮符号化してストリームデータを形成し記録することで、全体として高い符号化効率を実現できる。
【００２２】
なお、通常レートの４倍のフレームレートで撮影する場合を説明したが、４倍に限定されない。基本的に、ｎ個の撮影条件を周期的に繰り返す場合、ｎ倍のフレームレートで撮影し、ｎ個のストリームを記録する。
【００２３】
また、本実施例では、複数のデータ圧縮回路２２〜２８を並列に動作させたが、１つのデータ圧縮回路を時分割で動作させてもよい。この時分割動作により、見かけ上、複数のデータ圧縮回路が並列動作しているのと同様の作用を実現できる。
【００２４】
また、フレーム画像は一例であり、フィールド画像に対しても、同様に撮影条件毎にストリームを形成することで、同等の効果が得られることは明らかである。従って、本明細書中で、フレームはフィールドを含むと理解されるべきである。
【００２５】
撮影条件が露出量である例を説明したが、撮影条件は、露出量に限定されない。例えば、撮影条件として露出量決定方式を異ならせてもよい。即ち、露出を決定する際の画像領域として、画面全体、画面の中央部、又は画面の一部といった、異なる範囲を設定する場合であっても良い。また、予め設定された撮影モードを順次、選択する場合でも良い。例えば、スポットライトモードやスポーツモードといった、特定の撮影画面にあわせて設定された撮影モードを選択する場合でも良い。あるいは、カメラ信号処理部１４における画像調整パラメータが異なる場合でも良い。すなわち、コントラストやダイナミックレンジなどのパラメータ設定が異なる場合でも良い。
【実施例２】
【００２６】
図６は、本発明の実施例２の概略構成ブロック図を示す。図１に示す実施例と同じ機能の構成要素には同じ符号を付してある。
【００２７】
本実施例では、符号化部１６ａの圧縮処理部２０ａのデータ圧縮回路２２ａ〜２８ａの機能が、データ圧縮回路２２〜２８とは異なる。図６に示す実施例では、データ圧縮回路２４ａのみが動きベクトル探索機能（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を具備し、他のデータ圧縮回路２２ａ，２６ａ，２８ａは動きベクトル探索機能を持たず、データ圧縮回路２４ａの動きベクトル探索結果を利用する。即ち、フレーム間圧縮に必要な機能（ここでは、動きベクトル探索機能）の一部を１つのデータ圧縮回路２４ａのみに持たせ、残る他のデータ圧縮回路２２ａ，２６ａ，２８ａは、データ圧縮回路２４ａの持つ機能の演算結果を利用するようにした。
【００２８】
符号化部１６ａの動作を説明する。フレーム分配部１８が、カメラ信号処理部１４からの撮影フレームの画像データを、同じ撮影条件のフレーム毎に、圧縮処理部２０ａのデータ圧縮回路２２ａ〜２８ａに振り分ける。データ圧縮回路２４ａのＭＥ部４０が、動きベクトルを探索する。
【００２９】
動き探索処理は、ＭＰＥＧ２及びＭＰＥＧ４などの代表的なフレーム間圧縮方式で採用されている。具体的には、画像をブロック単位に分割し、過去または未来の画像（参照フレーム）から、そのブロックに近似するブロックを探し出し、ブロック間の動き（動きベクトル）、参照フレーム及び参照モードを決定する処理である。フレーム間圧縮では、動き探索処理による動きベクトル、参照フレーム及び参照モードからブロック間差分情報を生成し、圧縮符号化する。
【００３０】
データ圧縮回路２４ａは、内部のＭＥ部４０による動き探索結果を使って、入力フレームを圧縮符号化する。ＭＥ部４０による動き探索結果は他のデータ圧縮回路２２ａ，２６ａ，２８ａに供給される。他のデータ圧縮回路２２ａ，２６ａ，２８ａは、データ圧縮回路２４ａのＭＥ部４０の探索結果、すなわち、動きベクトル、参照フレーム及び参照モードを使い、入力フレームを圧縮符号化する。各データ圧縮回路２２ａ〜２８ａの圧縮符号化で生成されたストリームデータは、実施例１と同様に、記録媒体３０に記録される。
【００３１】
データ圧縮回路２２ａ，２６ａ，２８ａで処理されるフレームは、データ圧縮回路２４ａで処理されるフレームとは撮影時刻が異なり、各データ圧縮回路２２ａ〜２８ａで処理される画像の動きには、違いが生じ得る。しかし、通常のレートよりも高速なフレームレートで撮影しているので、この違いはわずかであり、動きベクトル探索結果も、大きな違いは生じない。従って、データ圧縮回路２４ａでの動き探索結果を共用して圧縮処理を行っても、動きベクトルの違いによる差は少なく、圧縮効率が大きく低下することはない。
【００３２】
動きベクトル探索処理は、一般に処理量が多く、演算処理や回路規模が大きい。本実施例では、これを共用化するので、全体として、回路規模又はコストを削減できる。特に、複数系統のデータ圧縮を独立したハードウェアで並列的に動作させる場合、動きベクトル探索処理のための回路規模と消費電力を大幅に削減できる。
【００３３】
複数のデータ圧縮回路２２ａ〜２８ａを並列に動作させたが、１つのデータ圧縮回路を時分割で動作させてもよい。この時分割動作により、見かけ上、複数のデータ圧縮回路が並列動作しているのと同様の作用を実現できる。撮影条件の繰り返し周期の最初のデータ圧縮処理で動きベクトルを探索し、後続のデータ圧縮処理では、先の動きベクトル探索結果を利用すれば良い。回路規模と消費電力の削減には役立たないが、圧縮符号化処理の短縮又は省略につながり、演算時間を削減できる。
【００３４】
フレーム間圧縮に必要な処理機能として動きベクトル探索を例に説明したが、本発明は、フレーム間圧縮に必要なその他の機能をも同様に扱うことができることは明らかである。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施例１の概略構成ブロック図である。
【図２】露出条件が異なる画像例である。
【図３】４つの異なる撮影条件を周期的に繰り返した場合のフレーム画像例である。
【図４】同じ撮影条件のフレーム毎に圧縮符号化する様子を示す模式図である。
【図５】記録媒体３０に記録されるデータの構成例である。
【図６】本発明の実施例２の概略構成ブロック図である。
【符号の説明】
【００３６】
１０：撮影レンズ
１２：撮像素子
１４：カメラ信号処理部
１６，１６ａ：符号化部
１８：フレーム分配部
２０，２０ａ：圧縮処理部
２２〜２８，２２ａ〜２８ａ：データ圧縮回路
３０：記録媒体
３２：制御部
４０：動きベクトル探索部
【図１】
2009033586.tif 000003
【図２】
2009033586.tif 000004
【図３】
2009033586.tif 000005
【図４】
2009033586.tif 000006
【図５】
2009033586.tif 000007
【図６】
2009033586.tif 000008