(57)【要約】【課題】  圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる撮像装置を提供する。【解決手段】  被写体像を撮像して第１解像度のフレームを第１時間間隔で出力する第１撮像手段１１と、被写体像を撮像して第１解像度より高い第２解像度のフレームを第１時間間隔より長い第２時間間隔で出力する第２撮像手段１２と、第１撮像手段から出力される隣り合うフレーム間での動きベクトルを検出し、該動きベクトルを第１解像度のベクトル分布情報として出力する検出手段９Ａと、第１解像度のベクトル分布情報を第２解像度のベクトル分布情報に変換する変換手段９Ｂと、第２解像度のベクトル分布情報と第２撮像手段から出力されるフレームとを、記憶媒体２２に記録する記録手段２１とを備える。【選択図】      図１
2006074180.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して第１解像度のフレームを第１時間間隔で出力する第１撮像手段と、
前記被写体像を撮像して前記第１解像度より高い第２解像度のフレームを前記第１時間間隔より長い第２時間間隔で出力する第２撮像手段と、
前記第１撮像手段から出力される隣り合うフレーム間での動きベクトルを検出し、該動きベクトルを前記第１解像度のベクトル分布情報として出力する検出手段と、
前記第１解像度のベクトル分布情報を前記第２解像度のベクトル分布情報に変換する変換手段と、
前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとを、記憶媒体に記録する記録手段とを備えた
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１解像度のベクトル分布情報を用いた動き補償後の予測フレームと前記第１撮像手段から出力されるフレームとの差分フレームを生成する生成手段をさらに備え、
前記変換手段は、前記ベクトル分布情報の解像度を変換する処理に加えて、前記生成手段により生成された前記第１解像度の前記差分フレームを前記第２解像度の差分フレームに変換する処理も行い、
前記記録手段は、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとに加えて、前記第２解像度の差分フレームも、前記記録媒体に記録する
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記検出手段は、前記第１撮像手段から出力される各フレームを複数の小ブロックに分割して各々の小ブロックごとに前記動きベクトルを検出し、
前記変換手段は、前記第１解像度のベクトル分布情報の各々の小ブロックごとに変換処理を行うと共に、任意の１つの小ブロックに注目する際、該注目ブロックの前記動きベクトルに該注目ブロックの周囲の前記動きベクトルを加味することで、前記変換処理を行う
ことを特徴とする撮像装置。
【請求項４】
請求項１に記載の撮像装置において、
前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームとをＭＰＥＧ方式で符号化して記録する
ことを特徴とする撮像装置。
【請求項５】
請求項２に記載の撮像装置において、
前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームと前記第２解像度の差分フレームとをＭＰＥＧ方式で符号化して記録する
ことを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記第１撮像手段は、ＡＥ用および/またはＡＦ用の検知手段と兼用であり、
前記第２撮像手段は、静止画撮影用の撮像手段と兼用である
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の動画撮影を行う撮像装置に関する。
【背景技術】
【０００２】
動画撮影を行う撮像装置では、記録時のデータ量を減らすために、撮像素子から順に出力される多数のフレームを様々な方法で圧縮する。圧縮処理を行う内部回路は、同一解像度のフレームを一定時間間隔で取り込み、フレーム内圧縮やフレーム間圧縮の処理を順に施す（例えば特許文献１を参照）。
【特許文献１】特開平９−２３４０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の撮像装置では、同一解像度のフレームを取り込んで圧縮処理を行うため、高精細な動画像を得るために記録解像度を高めようとすると、各フレームの解像度を高めることになり、圧縮処理の最中に取り扱うデータ量が増大して処理速度が遅くなってしまい、結果として撮像フレームレートが遅くなってしまう。
本発明の目的は、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる撮像装置を提供することにある。
【課題を解決するための手段】
【０００４】
請求項１に記載の撮像装置は、被写体像を撮像して第１解像度のフレームを第１時間間隔で出力する第１撮像手段と、前記被写体像を撮像して前記第１解像度より高い第２解像度のフレームを前記第１時間間隔より長い第２時間間隔で出力する第２撮像手段と、前記第１撮像手段から出力される隣り合うフレーム間での動きベクトルを検出し、該動きベクトルを前記第１解像度のベクトル分布情報として出力する検出手段と、前記第１解像度のベクトル分布情報を前記第２解像度のベクトル分布情報に変換する変換手段と、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとを、記憶媒体に記録する記録手段とを備えたものである。
【０００５】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記第１解像度のベクトル分布情報を用いた動き補償後の予測フレームと前記第１撮像手段から出力されるフレームとの差分フレームを生成する生成手段をさらに備え、前記変換手段は、前記ベクトル分布情報の解像度を変換する処理に加えて、前記生成手段により生成された前記第１解像度の前記差分フレームを前記第２解像度の差分フレームに変換する処理も行い、前記記録手段は、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとに加えて、前記第２解像度の差分フレームも、前記記録媒体に記録するものである。
【０００６】
請求項３に記載の発明は、請求項１に記載の撮像装置において、前記検出手段は、前記第１撮像手段から出力される各フレームを複数の小ブロックに分割して各々の小ブロックごとに前記動きベクトルを検出し、前記変換手段は、前記第１解像度のベクトル分布情報の各々の小ブロックごとに変換処理を行うと共に、任意の１つの小ブロックに注目する際、該注目ブロックの前記動きベクトルに該注目ブロックの周囲の前記動きベクトルを加味することで、前記変換処理を行うものである。
【０００７】
請求項４に記載の発明は、請求項１に記載の撮像装置において、前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームとをＭＰＥＧ方式で符号化して記録するものである。
請求項５に記載の発明は、請求項２に記載の撮像装置において、前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームと前記第２解像度の差分フレームとをＭＰＥＧ方式で符号化して記録するものである。
【０００８】
請求項６に記載の発明は、請求項１に記載の撮像装置において、前記第１撮像手段は、ＡＥ用および/またはＡＦ用の検知手段と兼用であり、前記第２撮像手段は、静止画撮影用の撮像手段と兼用である。
【発明の効果】
【０００９】
本発明の撮像装置によれば、フレームレートを低下させることなく、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の撮像装置１０には、図１に示す通り、２つの撮像素子１１,１２が設けられる。撮像素子１１,１２は、例えばＣＣＤ撮像素子である。被写体からの光は、撮影レンズ１３を介して撮像装置１０の内部に入射し、ハーフミラー１４を介して２方向に光路分割された後、一方の透過光がそのまま撮像素子１２に入射すると共に、他方の反射光がミラー１５と補正レンズ１６とを介して撮像素子１１に入射する。撮像素子１１,１２の撮像面には、各々、被写体像が形成される。補正レンズ１６は、撮像素子１１,１２のサイズの違いを補正すると共に、撮影レンズ１３から撮像素子１１,１２までの光路長の違いを補正するための光学系である。
【００１１】
ここで、図２を用いて２つの撮像素子１１,１２の特性（連写速度と解像度）の違いを説明する。
撮像素子１１は、低解像度で高速読み出し可能(例えば秒30コマ)な構成であり、例えば水平方向の有効画素数Ｘ1＝640個,垂直方向の有効画素数Ｙ1＝480個である。撮像素子１１は、その撮像面に形成された被写体像を撮像し、有効画素数Ｘ1,Ｙ1に応じた低解像度のフレームＦ1を時間間隔Ｔ1＝1/30秒で繰り返し出力する。その時間間隔Ｔ1＝1/30秒は、動画撮影に必要な連写速度を満足している。
【００１２】
撮像素子１２は、高解像度で低速読み出し可能(例えば秒６コマ)な構成であり、例えば水平方向の有効画素数Ｘ2＝1280個,垂直方向の有効画素数Ｙ2＝960個である。撮像素子１２は、その撮像面に形成された被写体像を撮像し、有効画素数Ｘ2,Ｙ2に応じた高解像度のフレームＦ2を時間間隔Ｔ2＝1/６秒で繰り返し出力する。その時間間隔Ｔ2＝1/６秒は、動画撮影に必要な連写速度より低速である。
【００１３】
本実施形態では、低解像度の撮像素子１１から５枚のフレームＦ1が出力されるごとに、高解像度の撮像素子１２から１枚のフレームＦ2が出力される。また、高解像度のフレームＦ2が出力されるタイミングで、同時に低解像度のフレームＦ1が出力される。このため、２つの撮像素子１１,１２から出力されるフレームＦ1,Ｆ2を時系列の順に並べると、図３のようになる。時刻ｔ1ではフレームＦ1,Ｆ2が同時に出力され、時刻ｔ2〜ｔ5では低解像度のフレームＦ1のみ出力され、時刻ｔ6では再びフレームＦ1,Ｆ2が同時に出力される。ちなみに、同時刻に出力されたフレームＦ1,Ｆ2には同じ被写体が写り込んでいる。
【００１４】
さらに、本実施形態では、低解像度のフレームＦ1の水平方向の有効画素数Ｘ1＝640個の２倍が、高解像度のフレームＦ2の水平方向の有効画素数Ｘ2＝1280個に相当し、かつ、低解像度のフレームＦ1の垂直方向の有効画素数Ｙ1＝480個の２倍が、高解像度のフレームＦ2の垂直方向の有効画素数Ｙ2＝960個に相当する。このため、図４(ａ),(ｂ)に示す通り、低解像度のフレームＦ1の１画素（図中太実線枠）が、高解像度のフレームＦ2の４画素（図中太実線枠）に対応することになる。なお、高解像度のフレームＦ2の１画素は、点ハッチング領域に相当する。
【００１５】
本実施形態の撮像装置１０には、上記のような特性の異なるの２つの撮像素子１１,１２が設けられる他、図１に示すＡ/Ｄ変換部１７,１８とデータ処理部１９と圧縮部２０と記録部２１とが設けられる。さらに、データ処理部１９は、動き検出部９Ａと解像度変換部９Ｂとで構成される。また、撮像装置１０には、記録部２１を介して外部記憶媒体２２が装着される。外部記憶媒体２２は、撮像装置１０ら取り外し可能なメモリカードなどである。
【００１６】
撮像装置１０の内部回路(１７〜２１)には、撮像素子１１,１２から解像度の異なる２種類のフレーム（つまり低解像度のフレームＦ1と高解像度のフレームＦ2）が取り込まれる。撮像素子１１,１２からのフレームＦ1,Ｆ2は、各々、Ａ/Ｄ変換部１７,１８を介してアナログ信号からデジタル信号に変換され、データ処理部１９,圧縮部２０に出力される。撮像装置１０では、データ処理部１９,圧縮部２０によって所定のデータ処理を行い、外部記憶媒体２２への記録時のデータ量を減らすようにしている。
【００１７】
圧縮部２０におけるデータ処理は、フレーム内圧縮処理である。圧縮部２０は、一定の時間間隔Ｔ2＝1/６秒ごとに高解像度のフレームＦ2を取り込み、フレーム内圧縮の処理を行ったのち、ＭＰＥＧ方式（例えばＭＰＥＧ２など）のＩピクチャ(Intra-Picture)用のデータとして記録部２１に出力する。
一方、データ処理部１９におけるデータ処理は、フレーム間演算処理である。データ処理部１９は、一定の時間間隔Ｔ1＝1/30秒ごとに低解像度の各フレームＦ1を取り込み、フレーム間演算処理を行ったのち、ＭＰＥＧ方式のＰピクチャ(Predictive-Picture)またはＢピクチャ(Bidirectionally predictive-Picture)用のデータ作成のための動きベクトル情報を記録部２１に出力する。
【００１８】
具体的に説明すると、データ処理部１９の動き検出部９Ａでは、低解像度の各フレームＦ1を図５に示すような複数の小ブロック３１に分割する。各々の小ブロック３１には複数の画素が含まれる。そして、各々の小ブロック３１ごとに、隣り合うフレーム間（例えば図３の時刻ｔ1のフレームＦ1と時刻ｔ2のフレームＦ1との間）での動きベクトルＭ1,Ｍ2,…,ＭNを検出する。
【００１９】
これらの動きベクトルＭ1,Ｍ2,…,ＭNは、低解像度のフレームＦ1における小ブロック３１の位置情報と関連づけられている。動き検出部９Ａは、各々の小ブロック３１ごとに動きベクトルＭ1,Ｍ2,…,ＭNを検出し終えると、この動きベクトルＭ1,Ｍ2,…,ＭNを低解像度のベクトル分布情報(図５)として解像度変換部９Ｂに出力する。このような動き検出の処理は、一定の時間間隔Ｔ1＝1/30秒ごとに行われる。
【００２０】
解像度変換部９Ｂは、動き検出部９Ａから入力した低解像度のベクトル分布情報(図５)を高解像度のベクトル分布情報(図６)に変換する処理を行う。高解像度のベクトル分布情報(図６)は、高解像度のフレームＦ2における小ブロック３２の位置情報と、各々の小ブロック３２ごとの動きベクトルＭ1,Ｍ2,…,ＭNとを関連づけたものである。
本実施形態では、高解像度のフレームＦ2における小ブロック３２が、低解像度のフレームＦ1における小ブロック３１と同じ画素数であるとする。この場合、図４の画素対応と同様、低解像度のフレームＦ1における１つの小ブロック３１が、高解像度のフレームＦ2における４個の小ブロック３２に対応することになる。
【００２１】
解像度変換の処理は、低解像度のベクトル分布情報(図５)の各々の小ブロック３１ごとに行われる。例えば図７に示すように、低解像度のフレームＦ1における位置(ｉ,ｊ)の小ブロック３１の動きベクトルＭKに注目する際、その動きベクトルＭKを高解像度のフレームＦ2における同じ位置(ｉ,ｊ)の４個の小ブロック３２に適応させる。なお、ここでは、高解像度のフレームＦ2における座標位置は、縦横各々２ブロックの４つの小ブロック（低解像度のフレームＦ1における小ブロック）を単位として表記している。つまり、４個の小ブロック３２に対して、小ブロック３１と同じ動きベクトルＭKを割り当てる。
【００２２】
同様の変換処理を低解像度のベクトル分布情報(図５)の各々の動きベクトルＭ1,Ｍ2,…,ＭNについて行うことで、図６に示す高解像度のベクトル分布情報を生成することができる。解像度変換部９Ｂは、高解像度のベクトル分布情報(図６)を生成し終えると、これを記録部２１に出力する。このような解像度変換の処理も、一定の時間間隔Ｔ1＝1/30秒ごとに行われる。
【００２３】
記録部２１には、データ処理部１９（つまり動き検出部９Ａと解像度変換部９Ｂ）を介して一定の時間間隔Ｔ1＝1/30秒ごとに高解像度のベクトル分布情報(図６)が入力されると共に、圧縮部２０を介して一定の時間間隔Ｔ2＝1/６秒ごとに高解像度のフレームＦ2が入力される。そして記録部２１は、高解像度のベクトル分布情報(図６)と高解像度のフレームＦ2のデータとを用いてＭＰＥＧ方式で符号化して外部記憶媒体２２に記録する。
【００２４】
ＭＰＥＧ方式においては、以下のように、Ｉピクチャ、Ｐピクチャ、ＢピクチャからなるＧＯＰ（Group of Pictures）を１つの単位として圧縮処理が施される。
ここで、Ｉピクチャは、前後の予測を用いずに、フレーム内符号化が施されるフレームである。撮影している被写体がある程度の動きを伴う場合、画像の動き領域について、算出された動きベクトル分だけずらして、次フレームの画像として予測する、いわゆる動き補償フレーム間予測が行われる。Ｐピクチャにおいては、過去の画像と、算出された動きベクトルを用いて、予測画像が生成される。Ｂピクチャにおいては、時間的に前後両方向の画像と、算出された動きベクトルを用いて、予測画像が生成される。
【００２５】
本実施形態においては、撮像素子１２によりＩピクチャに相当する画像データが得られる。さらに、撮像素子１１による画像データから動きベクトルが算出される。このようにして得られた動きベクトルを用いて、撮像素子１２より得られた高解像度画像データに対して動き補償フレーム間予測を施すことで、Ｐピクチャ、Ｂピクチャに相当する画像を得ることができる。すなわち、撮像素子１２より得られた高解像度画像圧縮データと、撮像素子１１による画像データから算出された動きベクトルとを記録しておけば、Ｉピクチャに相当する画像と、Ｐピクチャ、Ｂピクチャに相当する画像を再生することができる。
【００２６】
上記のように、本実施形態の撮像装置１０では、撮像素子１１,１２から解像度の異なる２種類のフレーム（つまり低解像度のフレームＦ1と高解像度のフレームＦ2）を取り込み、データ処理部１９,圧縮部２０によって所定のフレーム内圧縮やフレーム間圧縮の処理を行い、高解像度のベクトル分布情報(図６)とフレームＦ2とを記録することにより、高精細な動画像を得ることができる。
【００２７】
また、本実施形態の撮像装置１０では、圧縮処理の最中に取り扱うデータのうち、記録解像度のデータは一定の時間間隔Ｔ2＝1/６秒ごとに撮像素子１２から出力されるフレームＦ2のみであり、動きベクトルＭ1,Ｍ2,…,ＭNの検出にはデータ量の少ない低解像度のフレームＦ1を用いている。したがって、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる。
【００２８】
さらに、本実施形態の撮像装置１０では、撮像素子１２から出力される高解像度なフレームＦ2をそのまま高精細な静止画像（連写画像）として切り出して使用することも可能である。
また、本実施形態の撮像装置１０では、撮像素子１１をＡＥ用および/またはＡＦ用のセンサ（検知手段）と兼用にして、撮像素子１２を静止画撮影用の撮像素子と兼用にすることも可能である。この場合、本実施形態の撮像装置１０は、デジタルスチルカメラとしての使用（高精細な静止画撮影）と、デジタルビデオカメラとしての使用（高精細な動画撮影）とで任意に切り換えることができる。
【００２９】
さらに、本実施形態の撮像装置１０では、撮像素子１１のみによる動画撮影（撮影時の消費電力やファイルサイズを抑えた動画撮影）と、上述した本発明による高精細な動画撮影とを任意に切り換えることもでき、撮影用途や状況に合わせた動画撮影が可能となる。
（変形例）
なお、上記した実施形態では、データ処理部１９におけるフレーム間圧縮の際、動きベクトルＭ1,Ｍ2,…,ＭNを検出する例を説明したが、本発明はこれに限定されない。必要に応じて、低解像度のベクトル分布情報(図５)を用いた動き補償後の予測フレームを生成し、この予測フレームと撮像素子１１から出力される低解像度のフレームＦ1との差分フレームを生成する場合にも、本発明を適用できる。
【００３０】
この場合、解像度変換部９Ｂでは、ベクトル分布情報の解像度変換の処理(図５→図６)に加えて、上記した低解像度の差分フレームを高解像度の差分フレームに変換する処理も行う。この変換処理も、図７と同様に行うことができる。つまり、低解像度の差分フレームにおける各々の小ブロック３１の濃度値を、高解像度の差分フレームにおける対応位置の４個の小ブロック３２の濃度値として割り当てればよい。
【００３１】
そして、記録部２１では、データ処理部１９から一定の時間間隔Ｔ1＝1/30秒ごとに入力される高解像度のベクトル分布情報(図６)と、圧縮部２０から一定の時間間隔Ｔ2＝1/６秒ごとに入力される高解像度のフレームＦ2とに加えて、ベクトル分布情報(図６)と共にデータ処理部１９から一定の時間間隔Ｔ1＝1/30秒ごとに入力される高解像度の差分フレームも、ＭＰＥＧ方式で符号化して外部記憶媒体２２に記録する。
【００３２】
また、上記した実施形態では、解像度変換の処理（図７参照）において、低解像度のフレームＦ1における各々の小ブロック３１の動きベクトルＭKを、高解像度のフレームＦ2における対応位置の４個の小ブロック３２の動きベクトルＭKとして割り当てる例を説明したが、本発明はこれに限定されない。図８に示す通り、低解像度のフレームＦ1の任意の１つの小ブロック３１に注目する際、この注目ブロックの動きベクトルＭKに対して、注目ブロックの周囲の動きベクトル(例えばＭA,ＭB,ＭC,ＭD)を加味する（例えば重み付けして加算する）ことで解像度変換の処理を行い、４個の小ブロック３２に異なる(または同じ)動きベクトルＭK1,ＭK2,ＭK3,ＭK4を割り当ててもよい。このような処理を行うことで、高精細な動画像の画質をさらに改善できる。
【００３３】
さらに、上記した実施形態では、撮像素子１２から高解像度のフレームＦ2が出力されるタイミング時刻ｔ1,ｔ6,…（図２,図３参照）で、同時に、撮像素子１１から低解像度のフレームＦ1が出力される例を説明したが、本発明はこれに限定されない。撮像素子１１,１２の撮像タイミングがずれている場合でも本発明を適用できる。この場合、双方の撮像タイミングが既知であれば、これを圧縮処理の演算に加味することで、同様の効果を得ることができる。
【００３４】
また、上記した実施形態では、補正レンズ１６を撮像素子１１とミラー１５との間に配置する例を説明したが、本発明はこれに限定されない。補正レンズ１６の位置は、ハーフミラー１４とミラー１５との間でもよい。
さらに、上記した実施形態では、撮像素子１３から撮像素子１１までの光路をミラー１５によって折り曲げる例を説明したが、ミラー１５を省略してもよい。この場合、ハーフミラー１４の反射光路上に同様の補正レンズと撮像素子１１を配置すればよい。
【図面の簡単な説明】
【００３５】
【図１】本実施形態のデジタルカメラ１０の内部構成を示すブロック図である。
【図２】撮像素子１１,１２の特性（連写速度と解像度）の違いを説明する模式図である。
【図３】撮像素子１１,１２から出力されるフレームＦ1,Ｆ2を時系列に並べた模式図である。
【図４】撮像素子１１,１２から出力されるフレームＦ1,Ｆ2の画素対応を説明する模式図である。
【図５】低解像度のベクトル分布情報を説明する図である。
【図６】高解像度のベクトル分布情報を説明する図である。
【図７】解像度変換を説明する図である。
【図８】解像度変換の変形例を説明する図である。
【符号の説明】
【００３６】
１０  撮像装置
１１，１２  撮像素子
１３  撮影レンズ
１６  補正レンズ
１７，１８  Ａ/Ｄ変換部
１９  データ処理部
２０  圧縮部
９Ａ  動き検出部
９Ｂ  解像度変換部
２１  記録部
２２  外部記憶媒体
３１，３２  小ブロック
【図１】
2006074180.tif 000003
【図２】
2006074180.tif 000004
【図３】
2006074180.tif 000005
【図４】
2006074180.tif 000006
【図５】
2006074180.tif 000007
【図６】
2006074180.tif 000008
【図７】
2006074180.tif 000009
【図８】
2006074180.tif 000010