(57)【要約】【課題】現在の画像と過去の画像を合成し、生成された合成画像の符号化を、安価で、かつ省電力で実現する画像合成符号化方法を提供する。【解決手段】現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップを備えた画像合成符号化方法において、前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用いる。【選択図】図１
2010028641.tif 000002
【特許請求の範囲】
【請求項１】
現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、
前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップと、
を備えた画像合成符号化方法であって、
前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用いる、
ことを特徴とする画像合成符号化方法。
【請求項２】
請求項１記載の画像合成符号化方法であって、
前記符号化ステップにおいて必要となる参照画像のうち、現在の画像と二次元空間上で同一位置の画像データを前記合成ステップにおける過去の画像として現在の画像と所定の合成比率で合成し、合成された合成画像を前記符号化ステップにおいて符号化する、
ことを特徴とする画像合成符号化方法。
【請求項３】
請求項１または２記載の画像合成符号化方法であって、
入力される画像のフレームレートに応じて、前記合成ステップにおいて現在の画像と過去の画像を合成し合成画像を生成する周期と、前記符号化ステップにおいて符号化を行う際に使用する参照画像を更新する周期とを個別に制御する、
ことを特徴とする画像合成符号化方法。
【請求項４】
請求項１または２記載の画像合成符号化方法であって、
前記符号化ステップにおいて検出される動きベクトル情報に基づいて合成画像の動きを検知し、前記符号化ステップにおいて符号化を行う際に使用する参照画像の更新周期を前記検知した動きに基づいて制御する、
ことを特徴とする画像合成符号化方法。
【請求項５】
請求項１〜４のいずれか１つに記載の画像合成符号化方法であって、
現在の画像と過去の画像を合成する領域をあらかじめ設定する領域設定ステップと、
前記合成ステップにおいて現在の画像と過去の画像を所定のブロック単位で順次合成する際に、前記領域設定ステップにおいて設定された領域に属しているか否かを判定する領域判定ステップと、
をさらに備え、
前記領域判定ステップにおいて領域に属していると判定された場合には前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とする、
ことを特徴とする画像合成符号化方法。
【請求項６】
請求項５記載の画像合成符号化方法であって、
前記合成ステップにおいて合成比率を、領域内合成比率と領域外合成比率の２つを設定し、前記領域判定ステップにおいて領域に属していると判定された場合には、現在の画像と過去の画像を前記領域内合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を前記領域外合成比率で合成する、
ことを特徴とする画像合成符号化方法。
【請求項７】
請求項１〜６のいずれか１つに記載の画像合成符号化方法であって、
現在の画像が過去の画像に対して動きがあるか否かを所定のブロック単位で順次判定するために必要となる閾値を設定する閾値設定ステップと、
前記合成ステップにおいて現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを事前に検出する事前動き検出ステップと、
前記事前動き検出ステップの検出結果と前記閾値との比較結果に基づいて、現在の画像と過去の画像を合成するか否かを判定する合成判定ステップと、
をさらに備え、
前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、合成しないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とする、
ことを特徴とする画像合成符号化方法。
【請求項８】
請求項７記載の画像合成符号化方法であって、
前記合成ステップにおいて合成比率を複数設定するとともに、前記閾値設定ステップにおいて複数の閾値を設定し、
前記合成判定ステップにおいては、前記事前動き検出ステップで検出された動きを前記各々の閾値と比較することにより動きの度合いを判定し、現在の画像と過去の画像を合成するか否かをこの動きの度合いに基づいて判定し、
前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を、前記複数の合成比率の中から前記動きの度合いに対応した合成比率で合成する、
ことを特徴とする画像合成符号化方法。
【請求項９】
請求項７または８記載の画像合成符号化方法であって、
前記閾値設定ステップにおいて設定する閾値は動きベクトル値である、
ことを特徴とする画像合成符号化方法。
【請求項１０】
請求項７または８記載の画像合成符号化方法であって、
前記閾値設定ステップにおいて設定する閾値は、現在の画像と過去の画像の相関度を示す差分絶対値和である、
ことを特徴とする画像合成符号化方法。
【請求項１１】
請求項７〜１０のいずれか１つに記載の画像合成符号化方法であって、
前記事前動き検出ステップを、前記符号化ステップにおいて必要となる動き検出ステップと兼用する、
ことを特徴とする画像合成符号化方法。
【請求項１２】
請求項７〜１１のいずれか１つに記載の画像合成符号化方法であって、
前記事前動き検出ステップを、現在の画像と二次元空間上で同一の位置に存在する過去の画像との差分絶対値和を算出する簡易的な動き検出方法を用いて行う、
ことを特徴とする画像合成符号化方法。
【請求項１３】
請求項１〜１２のいずれか１つに記載の画像合成符号化方法であって、
前記合成ステップにおいて設定される合成比率を、輝度成分と色差成分で個別に設定する、
ことを特徴とする画像合成符号化方法。
【請求項１４】
請求項１３記載の画像合成符号化方法であって、
前記合成比率を輝度成分よりも色差成分の方が大きくなるように設定する、
ことを特徴とする画像合成符号化方法。
【請求項１５】
現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、生成された合成画像に対して順次動画像符号化を行う画像合成符号化装置であって、
現在の画像を順次入力する入力端子と、
画像の合成時に必要となる現在の画像を一時的に記憶するフレームメモリと、
符号化時に必要となる参照画像を一時的に記憶する参照画像メモリと、
現在の画像と過去の画像の合成比率を設定する設定端子と、
前記フレームメモリより順次入力される現在の画像と下記符号化手段より入力される過去の画像を前記設定端子により設定された合成比率で合成し、合成画像を順次生成する画像合成手段と、
前記画像合成手段において生成された合成画像を順次入力し、前記参照画像メモリから読み出された参照画像を用いて符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の参照画像として前記参照画像メモリに出力し、参照画像のうち合成画像と二次元空間上で同一の位置に存在する画像データを過去の画像として前記画像合成手段に出力する符号化手段と、
前記符号化手段において符号化されたストリームを出力する出力端子と、
を備える、
ことを特徴とする画像合成符号化装置。
【請求項１６】
請求項１５記載の画像符号化装置であって、
前記フレームメモリと前記参照画像メモリを１つの共有メモリで構成する、
ことを特徴とする画像合成符号化装置。
【請求項１７】
請求項１〜１４のいずれか１つに記載の画像合成符号化方法を実行可能な画像合成符号化部を含み画像処理を行う画像処理回路と、
入力されるアナログの画像信号をデジタルの画像信号に変換して前記画像処理回路に出力する変換回路と、
を備える、
ことを特徴とする撮像システム。
【請求項１８】
請求項１７記載の撮像システムであって、
センサーと、
前記センサーへ光を結像する光学系と、
をさらに備え、
前記センサーは、前記光学系により結像された画像光を電気信号に光電変換して前記変換回路に入力する、
ことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成符号化方法とその装置、およびこれらの技術を搭載した撮像システムに関し、特に、過去の画像と現在の画像を合成して生成された合成画像を順次符号化する技術に関するものである。
【背景技術】
【０００２】
近年、MPEG-2をはじめMPEG-4やH.264といった動画像の高能率符号化技術が盛んに研究され、コンピュータ，通信，民生用AV機器および放送などのさまざまな分野で応用されている。また、プラズマディスプレイや液晶テレビをはじめとした高精細フラットパネルディスプレイが急速に市場に普及していく中、動画像のHDTV化も急速に進み、動画像符号化において扱うデータ量も膨大になってきており、特に、小型バッテリーで動作するムービーやデジタルスチルカメラ等の民生用小型カメラにおいては、これらのデータを高速に、かつ小型・省電力で処理することが可能な動画像符号化技術に関する研究が盛んに行われている。
【０００３】
一方、ムービーやデジタルカメラ等の民生用小型カメラにおいては、動画記録の面白さを市場により一層訴求するため、単に、撮像した画像を記録するだけではなく、ゴルフのスイングや野球のバッティングスイングなどを撮影する際に、動く物体の軌跡が残るように、過去の画像と現在の画像を順次合成しながら動画記録する、といった差別化機能を実現している機種もある。
【０００４】
このように、過去の画像と現在の画像を合成し、生成された合成画像に対して順次動画像符号化を行うことにより動画記録する一般的な方法について、以下に説明する。
【０００５】
図１３は、過去の画像と現在の画像を合成し、生成された合成画像に対して順次動画像符号化を行う一般的な合成画像符号化装置を簡単に示す図である。この合成画像符号化装置１０１は、入力端子２と、記憶部３と、設定端子４と、画像合成部５と、符号化部６と、出力端子７とを備える。
【０００６】
入力端子２には現在の画像が順次入力される。記憶部３は、フレームメモリ３１と、合成画像メモリ３２と、参照画像メモリ３３とを含む。フレームメモリ３１は、画像の合成時に必要となる現在の画像を一時的に記憶する。合成画像メモリ３２は、過去の画像と合成画像を一時的に記憶する。参照画像メモリ３３は、参照画像を一時的に記憶する。設定端子４は、現在の画像と過去の画像の合成比率αを設定する。ここで合成比率αは、合成画像における現在の画像の重み付け比率であり、０≦α≦１である。画像合成部５は、現在の画像８と過去の画像９を設定端子４により設定された合成比率αで合成し、合成画像１０を順次生成し、合成画像メモリ３２に出力する。符号化部６は、合成画像メモリ３２から動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次読み出される画像データ１１を入力して符号化を行い、ストリーム(圧縮データ)を出力する。出力端子７は、符号化部６において符号化されたストリーム(圧縮データ)を出力する。
【０００７】
また、画像合成部５は、図１４に示すように、合成比率設定部５１と、乗算器５２,５３と、加算器５４とを含む。合成比率設定部５１は、設定端子４により設定された合成比率αを乗算器５２に出力し、合成比率(１−α)を乗算器５３に出力する。なお、合成比率(１−α)は、合成画像における過去の画像の重み付け比率である。乗算器５２は、合成比率αと現在の画像８の値を乗算する。乗算器５３は、合成比率(１−α)と過去の画像９の値を乗算する。加算器５４は、乗算器５２の乗算結果と乗算器５３の乗算結果との加算を行い、合成画像１０を生成する。すなわち、合成比率αの値が大きければ大きいほど、合成画像１０における現在の画像８の影響度が大きくなり、小さければ小さいほど、合成画像１０における過去の画像９の影響度が大きくなる。
【０００８】
次に、図１５に示すような画像が順次入力された場合に、合成画像符号化装置１０１を用いて、現在の画像と過去の画像を合成し、合成画像を順次符号化する方法について、図１６のフローチャートを参照しつつ説明する。
【０００９】
まず、画像合成部５における合成比率αを設定端子４より設定し、合成画像メモリ３２の全領域に値０を書き込み合成画像メモリ３２を初期化する(ST1001)。
【００１０】
＜１フレーム目(時刻Ｔ１)の処理＞
次に、図１５(ａ)左に示す現在の画像(入力画像)が時刻Ｔ１に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
【００１１】
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)。これと並行して、合成画像メモリ３２に記憶されている過去の画像(この時点では、初期化された直後なので、すべての画像データが値０)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ９が順次読み出される(ST1004)。そして画像合成部５において画像８,９が順次合成され(ST1005)、合成画像１０が合成画像メモリ３２上の同一領域に順次上書きされ、合成画像メモリ３２に合成画像１０(図１５(ａ)右に示す画像)が一時的に記憶される(ST1006)。
【００１２】
次に、合成画像メモリ３２に一時記憶されている合成画像１１が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で読み出され、符号化部６に順次入力される(ST1007)。符号化部６では、合成画像１１に対してフレーム内予測符号化(Ｉピクチャ符号化)を順次行い、出力端子７よりストリームを出力する(ST1008)。
【００１３】
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。
【００１４】
上記ステップST1002〜ST1009を完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像１１を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)はすべての処理を終了する。
【００１５】
＜２フレーム目(時刻Ｔ２)の処理＞
次に、図１５(ｂ)左に示す現在の画像が時刻Ｔ２に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
【００１６】
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)。これと並行して、合成画像メモリ３２に記憶されている過去の画像(図１５(ａ)右に示す画像)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ９が順次読み出される(ST1004)。そして画像合成部５において画像８,９が順次合成され(ST1005)、合成画像１０が合成画像メモリ３２上の同一領域に順次上書きされ、合成画像メモリ３２に合成画像１０(図１５(ｂ)右に示す画像)が一時的に記憶される(ST1006)。
【００１７】
次に、合成画像メモリ３２に一時記憶されている合成画像１１が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で読み出され、符号化部６に順次入力される(ST1007)。符号化部６では、参照画像メモリ３３より参照画像１２を順次読み出しながら、合成画像１１に対してフレーム間予測符号化(Ｐピクチャ符号化)を順次行い、出力端子７よりストリームを出力する(ST1008)。
【００１８】
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。
【００１９】
上記ステップST1002〜ST1009を完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像１１を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)はすべての処理を終了する。
【００２０】
＜３フレーム目以降(時刻Ｔ３〜Ｔ５)の処理＞
３フレーム目以降のフレームの画像合成と符号化については、上述の２フレーム目(時刻Ｔ２)の場合と同様の処理を行う。これにより、時刻Ｔ５においては図１５(ｅ)右に示すような合成画像１１が最終的に符号化されることになり、時刻Ｔ１〜Ｔ５までのそれぞれの時刻における移動体の軌跡は矢印に示すような形で描かれ、記録した動画像を再生した場合には移動物体の軌跡を各時刻において視覚的に確認できる。
【００２１】
なお、画像を合成し、生成された合成画像に対して符号化を行うといった技術が、特許文献１および特許文献２に開示されている。
【特許文献１】特開2002-044521号公報
【特許文献２】特開2008-113112号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
以上が、現在の画像と過去の画像を合成し、生成された合成画像に対して順次符号化を行う一般的な処理の簡単な説明であるが、このような処理を行うためには、現在の画像８と過去の画像９を合成して生成される合成画像１０を一時的に記憶させておくための合成画像メモリ３２を別途備える必要がある。
【００２３】
また、合成画像メモリ３２をフレームメモリ３１や参照画像メモリ３３と共有化して記憶部３をDRAM等の１つの大容量メモリで構成するような場合は、画像合成や符号化の処理において発生するメモリアクセスが１つのメモリに集中することになり、高速な大容量のDRAMを備える必要があり、小型化と省電力化の実現が困難であった。特に、HDTV解像度を有するような高解像度動画を合成しながら符号化を行うような場合は、上記のような課題はシステムを構成する上で深刻な問題となっていた。
【００２４】
また、合成画像１０を一時的に合成画像メモリ３２に記憶させた上で、符号化時に再度合成画像メモリ３２から合成画像１１を読み出して符号化を行うため、現在の画像が入力されてから符号化が開始されるまでの遅延時間も大きくなるといった課題があった。
【００２５】
なお、特許文献１および特許文献２に開示されているいずれの技術においても、画像を合成するために過去の画像を一時的に記憶させておくためのメモリ領域を別途必要としており、上記課題を解決することは困難である。
【００２６】
上記のような課題を解決するため、本発明は、現在の画像と過去の画像を合成し、生成された合成画像を符号化するといった一連の処理を小型・省電力で実現できる画像合成符号化方法と画像合成符号化装置を提供することを目的としている。
【課題を解決するための手段】
【００２７】
上記目的を達成するために、本発明に係る画像合成符号化方法は、現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップとを備えた画像合成符号化方法であって、前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用いることを特徴とする。
【００２８】
また、本発明に係る画像合成符号化方法は、前記符号化ステップにおいて必要となる参照画像のうち、現在の画像と二次元空間上で同一位置の画像データを前記合成ステップにおける過去の画像として現在の画像と所定の合成比率で合成し、合成された合成画像を前記符号化ステップにおいて符号化することを特徴とする。
【００２９】
また、本発明に係る画像合成符号化方法は、入力される画像のフレームレートに応じて、前記合成ステップにおいて現在の画像と過去の画像を合成し合成画像を生成する周期と、前記符号化ステップにおいて符号化を行う際に使用する参照画像を更新する周期とを個別に制御することを特徴とする。
【００３０】
また、本発明に係る画像合成符号化方法は、前記符号化ステップにおいて検出される動きベクトル情報に基づいて合成画像の動きを検知し、前記符号化ステップにおいて符号化を行う際に使用する参照画像の更新周期を前記検知した動きに基づいて制御することを特徴とする。
【００３１】
また、本発明に係る画像合成符号化方法は、現在の画像と過去の画像を合成する領域をあらかじめ設定する領域設定ステップと、前記合成ステップにおいて現在の画像と過去の画像を所定のブロック単位で順次合成する際に、前記領域設定ステップにおいて設定された領域に属しているか否かを判定する領域判定ステップとをさらに備え、前記領域判定ステップにおいて領域に属していると判定された場合には前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とすることを特徴とする。
【００３２】
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて合成比率を、領域内合成比率と領域外合成比率の２つを設定し、前記領域判定ステップにおいて領域に属していると判定された場合には、現在の画像と過去の画像を前記領域内合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を前記領域外合成比率で合成することを特徴とする。
【００３３】
また、本発明に係る画像合成符号化方法は、現在の画像が過去の画像に対して動きがあるか否かを所定のブロック単位で順次判定するために必要となる閾値を設定する閾値設定ステップと、前記合成ステップにおいて現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを事前に検出する事前動き検出ステップと、前記事前動き検出ステップの検出結果と前記閾値との比較結果に基づいて、現在の画像と過去の画像を合成するか否かを判定する合成判定ステップとをさらに備え、前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、合成しないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とすることを特徴とする。
【００３４】
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて合成比率を複数設定するとともに、前記閾値設定ステップにおいて複数の閾値を設定し、前記合成判定ステップにおいては、前記事前動き検出ステップで検出された動きを前記各々の閾値と比較することにより動きの度合いを判定し、現在の画像と過去の画像を合成するか否かをこの動きの度合いに基づいて判定し、前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を、前記複数の合成比率の中から前記動きの度合いに対応した合成比率で合成することを特徴とする。
【００３５】
また、本発明に係る画像合成符号化方法は、前記閾値設定ステップにおいて設定する閾値は動きベクトル値であることを特徴とする。
【００３６】
また、本発明に係る画像合成符号化方法は、前記閾値設定ステップにおいて設定する閾値は、現在の画像と過去の画像の相関度を示す差分絶対値和であることを特徴とする。
【００３７】
また、本発明に係る画像合成符号化方法は、前記事前動き検出ステップを、前記符号化ステップにおいて必要となる動き検出ステップと兼用することを特徴とする。
【００３８】
また、本発明に係る画像合成符号化方法は、前記事前動き検出ステップを、現在の画像と二次元空間上で同一の位置に存在する過去の画像との差分絶対値和を算出する簡易的な動き検出方法を用いて行うことを特徴とする。
【００３９】
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて設定される合成比率を、輝度成分と色差成分で個別に設定することを特徴とする。
【００４０】
また、本発明に係る画像合成符号化方法は、前記合成比率を輝度成分よりも色差成分の方が大きくなるように設定することを特徴とする。
【００４１】
また、本発明に係る画像合成符号化装置は、現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、生成された合成画像に対して順次動画像符号化を行う画像合成符号化装置であって、現在の画像を順次入力する入力端子と、画像の合成時に必要となる現在の画像を一時的に記憶するフレームメモリと、符号化時に必要となる参照画像を一時的に記憶する参照画像メモリと、現在の画像と過去の画像の合成比率を設定する設定端子と、前記フレームメモリより順次入力される現在の画像と下記符号化手段より入力される過去の画像を前記設定端子により設定された合成比率で合成し、合成画像を順次生成する画像合成手段と、前記画像合成手段において生成された合成画像を順次入力し、前記参照画像メモリから読み出された参照画像を用いて符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の参照画像として前記参照画像メモリに出力し、参照画像のうち合成画像と二次元空間上で同一の位置に存在する画像データを過去の画像として前記画像合成手段に出力する符号化手段と、前記符号化手段において符号化されたストリームを出力する出力端子と、を備えることを特徴とする。
【００４２】
また、本発明に係る画像合成符号化装置は、前記フレームメモリと前記参照画像メモリを１つの共有メモリで構成することを特徴とする。
【００４３】
また、本発明に係る撮像システムは、上記画像合成符号化方法を実行可能な画像合成符号化部を含み画像処理を行う画像処理回路と、入力されるアナログの画像信号をデジタルの画像信号に変換して前記画像処理回路に出力する変換回路と、を備えることを特徴とする。
【００４４】
また、本発明に係る撮像システムは、センサーと、前記センサーへ光を結像する光学系とをさらに備え、前記センサーは、前記光学系により結像された画像光を電気信号に光電変換して前記変換回路に入力することを特徴とする。
【発明の効果】
【００４５】
本発明によれば、符号化において生成される再構成画像(参照画像)を画像合成における過去の画像として用いるため、画像合成のために専用のメモリを別途備える必要がなく、小型化(メモリの小容量化)が実現できる。
【００４６】
また、符号化時に記憶手段から読み出される参照画像を符号化手段と画像合成手段の両方で共通して利用するため、記憶手段へのアクセスが大幅に低減でき、省電力化が実現できる。
【００４７】
また、画像合成手段により生成される合成画像を記憶手段に一時的に記憶させることなく、即時に符号化手段に入力して符号化を行うため、現在の画像が入力されてから符号化が開始されるまでの遅延時間も最小限に抑えることができる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明の実施の形態について、図面を参照して説明する。
【００４９】
(第１の実施形態)
図１は、本発明の第１の実施形態に係る画像合成符号化装置１を示す図であり、図１３に示す従来の画像合成符号化装置１０１と大きく異なる点は、記憶部３における合成画像メモリ３２を必要としない点である。
【００５０】
図１の画像合成符号化装置１は、入力端子２と、記憶部３と、設定端子４と、画像合成部５と、符号化部６と、出力端子７とを備える。
【００５１】
入力端子２には現在の画像が順次入力される。
【００５２】
記憶部３は、フレームメモリ３１と、参照画像メモリ３３とを含む。フレームメモリ３１は、画像の合成時に必要となる現在の画像を一時的に記憶する。参照画像メモリ３３は、符号化時に必要となる参照画像を一時的に記憶する。
【００５３】
設定端子４は、フレームメモリ３１より順次入力される現在の画像８と符号化部６より入力される過去の画像９の合成比率αを設定する。ここで合成比率αは、合成画像における現在の画像の重み付け比率であり、０≦α≦１である。
【００５４】
画像合成部５は、現在の画像８と過去の画像９を設定端子４により設定された合成比率αで合成し、合成画像１０を順次生成する。
【００５５】
符号化部６は、画像合成部５において生成された合成画像１０を動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次入力し、参照画像メモリ３３から読み出された参照画像１２を用いて動画像符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の符号化に必要となる参照画像１３として参照画像メモリ３３に出力し、参照画像１２のうち合成画像１０と二次元空間上で同一の位置に存在する画像データを過去の画像９として画像合成部５に出力する。
【００５６】
出力端子７は、符号化部６において符号化されたストリーム(圧縮データ)を出力する。
【００５７】
以下、図１の画像合成符号化装置１を用いて現在の画像８と過去の画像９を合成し、生成される合成画像１０を順次符号化する手順について図２のフローチャートを用いて説明する。図１６に示す従来の処理手順と大きく異なる点は、符号化部６が符号化時に使用する参照画像メモリ３３に一時記憶されている参照画像１２を過去の画像９として画像合成部５が流用する点(ST104)である。
【００５８】
まず、画像合成部５における合成比率αを設定端子４より設定し、参照画像メモリ３３の全領域に値０を書き込み参照画像メモリ３３を初期化する(ST101)。
【００５９】
＜１フレーム目(時刻Ｔ１)の処理＞
次に、図１５(ａ)左に示す現在の画像が時刻Ｔ１に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
【００６０】
次に、フレームメモリ３１に一時記憶されている現在の画像８が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次読み出される(ST1003)と同時に、参照画像メモリ３３に記憶されている過去の画像(この時点では、初期化された直後なので、すべての画像データが値０)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ１２を符号化部６がマクロブロック単位で順次読み出し、過去の画像９として画像合成部５に出力する(ST104)。
【００６１】
次に、ステップST1003において読み出された現在の画像８とステップST104において読み出された過去の画像９が画像合成部５において順次合成され、合成画像１０が符号化部６に出力される(ST1005)。
【００６２】
次に、符号化部６において、順次入力される合成画像１０に対してフレーム内予測符号化(Ｉピクチャ符号化)を順次行い、出力端子７よりストリームが出力される(ST1008)。
【００６３】
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を順次生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ステップ１００９)。
【００６４】
上記ステップST1002〜ST1009までを完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次の合成画像１０を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)は、すべての処理を終了する。
【００６５】
＜２フレーム目(時刻Ｔ２)の処理＞
次に、図１５(ｂ)左に示す現在の画像が時刻Ｔ２に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
【００６６】
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)と同時に、参照画像メモリ３３に記憶されている過去の画像(図１５(ａ)右に示す画像)のうち、現在の画像８と２次元空間上で同一の領域に位置するマクロブロックを含む周辺マクロブロックの画像データを参照画像１２として読み出し、そのうち現在の画像８と２次元空間上で同一の領域に位置するマクロブロックの画像データを過去の画像９として画像合成部５に出力する(ST104)。
【００６７】
次に、ステップST1003において読み出された現在の画像８とステップST104において読み出された過去の画像９が画像合成部５において順次合成され、合成画像１０が符号化部６に出力される(ST1005)。
【００６８】
次に、符号化部６において、参照画像１２を参照画像として、入力される合成画像１０の動き検出をはじめとしたフレーム間予測符号化(Ｐピクチャ符号化)が順次行われ、出力端子７よりストリームが出力される(ST1008)。
【００６９】
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。なお、このとき、符号化対象フレーム内の後続マクロブロックのフレーム間符号化処理に必要となる参照画像が書き潰されることのないように、参照画像メモリ３３には記憶される。
【００７０】
上記ステップST1002〜ST1009までを完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)は、すべての処理を終了する。
【００７１】
＜３フレーム目以降(時刻Ｔ３〜Ｔ５)の処理＞
３フレーム目以降のフレームの画像合成と符号化については、上述の２フレーム目(時刻Ｔ２)の場合と同様の処理を行う。これにより、時刻Ｔ５においては図１５(ｅ)右に示すような合成画像が最終的に符号化されることになり、時刻Ｔ１〜Ｔ５までのそれぞれの時刻における移動体の軌跡は矢印に示すような形で視覚的に確認することができる。
【００７２】
なお、上述の説明では、説明を簡略化させるためにステップST1002〜ST1009をシーケンシャルに動作させた場合に限定して説明しているが、ハードウェアなどの並列処理可能な方法で実装した場合は、ステップST1002〜ST1009の各処理が実行可能な状態になれば、それぞれ実行されればよく、上述の手順に限定されるものではない。
【００７３】
以上のように、第１の実施形態によれば、現在の画像と過去の画像を合成することにより生成される合成画像を一時的に記憶させておくための合成画像メモリ３２を別途備える必要がなく、小型化(メモリの小容量化)が実現できるとともに、画像合成および符号化といった一連の処理を実現する際に、記憶手段へのアクセスを最小限に抑えることができるため省電力化も同時に実現できる。
【００７４】
(第２の実施形態)
図３は、本発明の第２の実施形態に係る画像合成符号化装置２０１の概略構成を示す図である。図４は、図３に示した符号化部６の内部構成を簡単に示す図である。
【００７５】
第１の実施形態と異なる点は、参照画像メモリ書込み制御部２１(図４)と、外部設定端子２０が追加されている点である。参照画像メモリ書込み制御部２１は、符号化部６において生成される再構成画像１３をフレーム単位で参照画像メモリ３３へ書き込む(参照画像メモリ３３を更新する)か、書き込まない(参照画像メモリ３３を更新しない)かの制御を行う。外部設定端子２０は、参照画像メモリ書込み制御部２１に対して参照画像メモリ３３の更新サイクルを設定する。
【００７６】
第１の実施形態の場合、入力される現在の画像を過去の画像と常に合成し、符号化を行うため、図６(ａ)に示すような時刻Ｔ１から時刻Ｔ９まで移動物体が比較的細かく移動するような画像が入力された場合には、移動体の軌跡も細かく記録されてしまう。このような記録画像を再生した際には、移動体の軌跡そのものが重なり合って視覚的に見苦しくなるといった問題が発生する。特に、近年では、VGA解像度の画像を１秒間に300枚撮像して読み出せるような高速撮像可能なCMOSセンサー等の撮像素子が商品化されており、このような撮像素子で撮像した画像データを合成して記録するような場合は、上記のような課題は顕著に現れる。
【００７７】
第２の実施形態では、上記のような課題を解決することを目的としており、図５のフローチャートを用いて、以下に、具体的な説明をする。なお、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。
【００７８】
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST200において、参照画像メモリ３３における参照画像の更新サイクルを外部設定端子２０より設定する。参照画像の更新サイクルとは、入力画像のフレームレートに対して、過去の画像として参照画像メモリ３３に残しておく画像のフレームレートである。より具体的には、例えば、30fpsのフレームレートで入力される入力画像に対して、過去の画像を15fpsのフレームレートで残しながら合成画像を記録する、といった設定を行う。
【００７９】
次に、第１の実施形態と同様の手順に従って、ステップST1002〜ST1008が実行される。
【００８０】
その後、符号化部６において生成された再構成画像１３を参照画像メモリ３３に書き込む(参照画像メモリ３３を更新する)か否かが判定される(ST201)。参照画像メモリ３３を更新すると判断された場合(ST201でYes)は、再構成画像１３が次フレーム以降の処理に用いられる過去の画像として参照画像メモリ３３に書き込まれる(ST1009)。逆に、参照画像メモリ３３を更新しないと判断された場合(ST201でNo)は、ステップST1010にそのまま進む。
【００８１】
図６を用いて、参照画像メモリ３３の更新処理と符号化される合成画像のイメージについて、簡単に説明する。
【００８２】
まず、図６(ｂ)に示す入力画像が時刻Ｔ１に符号化され、再構成画像１３が参照画像メモリ３３に書き込まれる。
【００８３】
次に、図６(ｃ)に示す入力画像(白丸の球体)が現在の画像として時刻Ｔ２に入力され、同時に順次入力される過去の画像(網掛けの球体)と画像合成されて符号化され、符号化部６において生成される再構成画像１３は、参照画像メモリ３３に書き込まれない。すなわち、時刻Ｔ２において符号化された合成画像は、過去の画像として以降のフレームにおける画像合成および符号化に用いられることはなく、時刻Ｔ２において入力された現在の画像は最終的に移動物体の軌跡として残ることはない。
【００８４】
次に、図６(ｄ)に示す入力画像(白丸の球体)が現在の画像として時刻Ｔ３に入力され、同時に順次入力される過去の画像(網掛けの球体)と画像合成されて符号化され、符号化部６において生成される再構成画像１３が、参照画像メモリ３３に書き込まれる。すなわち、時刻Ｔ３において符号化された合成画像は、過去の画像として以降のフレームにおける画像合成および符号化に用いられ、時刻Ｔ３において入力された現在の画像は最終的に移動物体の軌跡として残る。
【００８５】
以上のように、時刻Ｔ２,Ｔ３における動作を繰り返し時刻Ｔ９まで実行することにより、図６(ｊ)に示すような移動物体の軌跡を時間的に一定間隔で間引きした視覚的にも好ましい合成画像を得ることができる。
【００８６】
(第３の実施形態)
図７は、本発明の第３の実施形態に係る画像合成符号化方法のフローチャートである。第２の実施形態(図５)と異なる点は、符号化部６において順次符号化される際に得られる動きベクトル情報に基づいて合成画像全体の動きの大きさを検知して(ST300)、適応的に参照画像の更新サイクルを変更する制御(ST301)が追加された点である。
【００８７】
第２の実施形態の場合、入力される画像のフレームレートに対して、過去の画像として参照画像メモリ３３に残しておく画像のフレームレートを固定している。したがって、例えば、動きの激しい(移動物体の単位時間当たりの移動距離が大きい)シーンを撮像する場合と、動きの滑らかな(移動物体の単位時間当たりの移動距離が比較的小さい)シーンを撮像する場合とでは、移動物体の軌跡の残り方が大きく異なってくるといった課題が発生する。すなわち、前者の場合は、移動物体の二次元空間上の軌跡の間隔は広くなり、後者の場合は狭くなってしまう。
【００８８】
第３の実施形態では、上記のような課題を解決することを目的としている。以下、図７のフローチャートを用いて具体的な説明をするが、第２の実施形態と同様の処理を行うステップについては詳細な説明は省略する。なお、第３の実施形態に係る画像合成符号化装置の概略構成は第２の実施形態(図３)と同様である。
【００８９】
現在の画像と過去の画像を合成し、生成された合成画像に対してマクロブロック単位で順次符号化を行い、１フレーム分の符号化が完了した時点で、フレーム内の各マクロブロック単位の動きベクトル情報が符号化部６より得られる。この各マクロブロック単位の動きベクトル情報の平均値と所定の閾値とを比較することにより、ステップST200で設定された参照画像の更新サイクルに対して、現在の画像と過去の画像の動きが“大きい”か“小さい”か、あるいは“適している”かについて判断する(ST300)。ステップST300において動きが“大きい”と判断された場合は、それまでに設定されている参照画像の更新サイクルよりも速いサイクルに更新サイクルを変更し、動きが“小さい”と判断された場合は、それまでに設定されている参照画像の更新サイクルよりも遅いサイクルに更新サイクルを変更する(ST301)。また、ステップST300において動きが“適している”と判断された場合は、それまでに設定されている参照画像の更新サイクルを変更しない。
【００９０】
以上のように、第３の実施形態では、符号化によって得られる動きベクトル情報に基づいて、参照画像の更新サイクルを適応的に制御するようにしたため、撮影するシーンに左右されにくい視覚的に好ましい合成画像を得ることができる。
【００９１】
(第４の実施形態)
図８は、本発明の第４の実施形態に係る画像合成符号化方法のフローチャートである。第１の実施形態(図２)と異なる点は、画像合成部５において現在の画像と過去の画像を合成する領域を予め設定するステップ(ST400)と、画像を順次マクロブロック単位で合成する際に合成する領域に属しているか否かを判断するステップ(ST401)が追加された点である。
【００９２】
第１の実施形態の場合、画面全体で予め設定された合成比率で一律に画像が合成されるため、例えば、移動物体が移動する領域(軌跡を残したい領域)については、画像を合成することにより軌跡が残るように記録されて問題ないが、逆に、殆ど動きのない背景などの領域については、画像が微小に動いているような場合に不要に画像を合成することによって画像のエッジ部分等が二重，三重像になってしまい視覚的にも見苦しくなるといった問題が発生する。
【００９３】
第４の実施形態では、上記のような課題を解決することを目的としている。第４の実施形態によれば、例えば、移動物体が移動する領域(軌跡を残したい領域)が画面内の一部の領域に限定できるような場合は、その領域を事前に設定しておくことで、その領域内の画像のみ現在の画像と過去の画像を合成して軌跡を残しながら記録でき、軌跡を残したくない領域(非注目領域)については、現在の画像がそのまま符号化されるように制御することによって、画面全体として視覚的に好ましい合成画像を得ることができる。以下、図８のフローチャートを用いて具体的な説明をするが、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。なお、第４の実施形態に係る画像合成符号化装置の概略構成は第１の実施形態(図１)と同様である。
【００９４】
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST400において、画像合成部５における合成領域を設定端子４より設定する。
【００９５】
次に、ステップST1003およびステップST104において順次読み出される現在の画像と過去の画像が、ステップST400において設定された合成領域に属しているか否かが判定される(ST401)。合成する領域に属している場合(ST401でYes)には、所定の合成比率で現在の画像と過去の画像を合成して、合成画像が符号化部６に出力される(ST1005)。一方、合成する領域に属していない場合(ST401でNo)には、現在の画像と過去の画像を合成せず、現在の画像が符号化対象画像として符号化部６に出力される。
【００９６】
なお、上記の説明では説明を簡略化させるために、画像を合成する領域を１つ設定し、その領域に属するか否かで処理する手順を説明したが、画像を合成する領域を複数設定してもよく、また、複数設定された領域毎に画像の合成比率を個別に設定しても構わない。
【００９７】
また、ステップST1001において合成比率を設定する際に領域内合成比率と領域外合成比率の２つを設定し、ステップST401において領域に属していると判定された場合(ST401でYes)には、現在の画像と過去の画像を上記領域内合成比率で合成し、領域に属していないと判定された場合(ST401でNo)には現在の画像と過去の画像を上記領域外合成比率で合成するようにしても構わない。
【００９８】
以上のように、第４の実施形態では、画像を合成する領域を限定することにより、軌跡を残したい領域のみ効率的に画像を合成できるとともに、画像合成による副作用(画像が微小に動いているような場合に不要に画像を合成することによって発生する画像のエッジ部分等の多重像)を極力抑えることができる。
【００９９】
(第５の実施形態)
図９は、本発明の第５の実施形態に係る画像合成符号化装置５０１の概略構成を示す図である。図１０は、図９に示した符号化部６の内部構成を簡単に示す図である。
【０１００】
第１の実施形態と異なる点は、過去の画像に対して現在の画像に動きがあるか否かを判定するために必要となる閾値を設定する外部設定端子５０２と、符号化部６において過去の画像に対する現在の画像の動きをマクロブロック単位で定量的に算出し、外部設定端子５０２より設定された閾値と算出結果とを比較することにより動きがあるか否かの判定を行い、判定結果５０３を画像合成部５に出力し、画像合成部５はこの判定結果５０３に基づいて現在の画像と過去の画像を合成するか否かを制御するようにした点である。
【０１０１】
第１の実施形態の場合、画面全体で予め設定された合成比率で一律に画像が合成されるため、例えば、移動物体が移動する領域(軌跡を残したい領域)のように比較的動きの大きい領域の場合は、画像を合成することにより軌跡が残るように記録されて問題ないが、逆に、殆ど動きのない背景などの領域については、画像が微小に動いているような場合に不要に画像を合成することによって画像のエッジ部分等が二重，三重像になってしまい視覚的にも見苦しくなるといった問題が発生する。
【０１０２】
第５の実施形態では、上記のような課題を解決することを目的としている。以下、図１１のフローチャートを用いて具体的な説明をするが、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。
【０１０３】
図２に示す第１の実施形態における処理手順と異なる点は、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を設定するステップ(ST500)と、画像合成部５において現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを符号化部６内部の動き検出部６０２により事前に検出するステップ(ST501)と、その結果に基づいて現在の画像と過去の画像を合成するか否かを判断するステップ(ST502)が追加されている点である。
【０１０４】
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST500において、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を外部設定端子５０２より設定する(ST500)。閾値としては、動きベクトルの最小値や、現在の画像と過去の画像の相関度を示す差分絶対値和(SAD)の最小値等を設定すればよい。
【０１０５】
次に、ステップST1003において順次読み出される現在の画像が、ステップST104において順次読み出される過去の画像に対して動きがあるか否かが判定される(ST501)。動きがあるか否かの判定については、動き検出部６０２において過去の画像に対する現在の画像の動き検出が行われ(ST501)、その結果、相関が最も高い位置における動きベクトル値と上記閾値(動きベクトルの最小値)とを比較して(ST502)、上記動きベクトル値が上記閾値以上の場合は“動きがある領域”と判断し(ST502でYes)、ステップST1005において現在の画像８と過去の画像９が合成され、合成画像１０が符号化部６に符号化対象画像として出力される。一方、上記動きベクトル値が上記閾値未満の場合は“動きがない領域”と判断し(ST502でNo)、現在の画像８が符号化部６に符号化対象画像として出力される。
【０１０６】
なお、上記の説明では、ステップST502において、相関が最も高い位置における動きベクトル値と閾値(動きベクトルの最小値)とを比較して動きのある領域か否かの判断を行っているが、相関が最も高い位置における現在の画像と過去の画像の差分絶対値和(SAD)と閾値(SADの最小値)との比較を行うことにより、動きのある領域か否かの判断を行っても構わない。
【０１０７】
また、ステップST501においては、過去の画像に対する現在の画像の動きを検知するために、一般的に広く知られている全探索やOAT(One at a time)等の手法を用いた動き検出を行っても良いが、単に、現在の画像と二次元空間上で同一の位置に存在する過去の画像(動きベクトル＝ゼロ)との差分絶対値和(SAD)を算出するといった簡易的な動き検出を行っても構わない。このようにすることにより、処理量の大きい動き検出処理の大幅な簡略化が図れ、ステップST501およびステップST502の処理に要する時間が大幅に短縮でき、高速化が図れる。
【０１０８】
また、上記の説明では、説明を簡略化するために、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を１つだけ設定する場合について説明したが、閾値は複数設定しても勿論構わない。このような場合は、まず、ステップST1001において合成比率を閾値の個数と同数個設定した上で、ステップST500において複数の閾値を設定する。例えば、ＴＨ１＜ＴＨ２＜ＴＨ３という関係式を満たす閾値(ＴＨ１,ＴＨ２,ＴＨ３)を３つ設定する場合は、合成比率も３つ(α１,α２,α３)設定する。ステップST502においては、ステップST501において算出された動きベクトル(または、差分絶対値和)とこれらの複数の閾値(ＴＨ１,ＴＨ２,ＴＨ３)とをそれぞれ比較して、動きベクトル＜ＴＨ１の場合は“動きがない領域”と判断され(ST502でNo)、現在の画像８が符号化部６に符号化対象画像として出力される。また、ＴＨ１≦動きベクトル＜ＴＨ２の場合は“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α１で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。また、ＴＨ２≦動きベクトル＜ＴＨ３の場合も同様に“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α２で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。また、ＴＨ３＜動きベクトルの場合も同様に“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α３で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。
【０１０９】
以上のように、第５の実施形態によれば、現在の画像と過去の画像を順次合成する前に、動きがあるか否かを事前に判断することで、例えば、移動物体が移動する領域(軌跡を残したい領域)のように比較的動きの大きい領域については、適宜画像を合成し軌跡が残るように制御され、逆に、殆ど動きのない背景などの領域についても、画像が微小に動いているような場合でも不要に画像を合成しないように制御されるため、画像のエッジ部分等が多重像になってしまうといった課題も極力抑えることが可能となる。
【０１１０】
(第６の実施形態)
本発明の第６の実施形態は、上述の第１〜第５の実施形態の変形例である。第１〜第５の実施形態と異なる点は、ステップST1001において設定する合成比率を輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで個別に設定し、ステップST1005において現在の画像と過去の画像を合成する際に輝度成分と色差成分でそれぞれに対応した合成比率で合成する点である。
【０１１１】
第１〜第５の実施形態の場合、輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで共通の合成比率で現在の画像と過去の画像を合成して合成画像を生成するため、色差成分の変化が多いような画像の場合は視覚的に合成画像が見苦しくなるといった課題が発生する。
【０１１２】
これに対して第６の実施形態では、ステップST1001において合成比率を輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで個別に設定する。具体的には、輝度成分における合成比率よりも色差成分における合成比率を高めに設定する。このように設定することにより、輝度成分よりも色差成分の方が合成画像における現在の画像の占める割合が高くなるため、移動物体の過去の軌跡が残りにくくなる。すなわち、画像における輪郭情報などを多く含む輝度成分については、しっかりと過去の軌跡が残るようにすることによって、視覚的にも好ましい合成画像が得られる。
【０１１３】
(第７の実施形態)
図１２は、本発明の第７の実施形態による撮像システム(例えばデジタルスチルカメラやネットワークカメラ等)を示す。この撮像システムは、第１〜第６の実施形態で説明した画像合成符号化方法を利用したシステムである。
【０１１４】
図１２の撮像システムでは、光学系７０を通って入射した画像光はセンサー７１上に結像され、光電変換される。光電変換によって得られた電気信号はA/D変換回路７２によりデジタル値に変換された後、画像処理回路７３に入力される。画像処理回路７３は、第１〜第６の実施形態において示した画像合成符号化方法を実行する画像合成符号化装置１を含む。画像処理回路(画像処理部)７３においては、Y/C処理，エッジ処理，画像の拡大縮小，及びJPEGやMPEG等の画像圧縮／伸張処理，画像圧縮されたストリームの制御等が行われる。画像処理された信号は、記録系／転送系７４においてメディアへの記録又はインターネット等を介して伝送が行われる。記録又は転送された信号は再生系７５により再生される。センサー７１及び画像処理回路７３はタイミング制御回路７６により制御され、光学系７０，記録系／転送系７４，再生系７５及びタイミング制御回路７６は、各々、システム制御回路７７により制御される。
【０１１５】
なお、図１２に示した撮像システムでは、光学系７０からの画像光をセンサー７１で光電変換してA/D変換回路７２に入力するカメラ機器等について説明したが、本発明はこれに限定されず、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にA/D変換回路７２に入力しても良いのは勿論である。
【産業上の利用可能性】
【０１１６】
本発明に係る画像合成符号化方法と画像合成符号化装置は、符号化手段において使用する参照画像を画像合成手段における過去の画像として共通して活用することにより、記憶手段における記憶容量を大幅に削減できるとともに、記憶手段へのアクセスを最小限に抑えることができ、現在の画像と過去の画像を効率よく合成し符号化を実行することができるため、安価で、かつ高速、低消費電力な符号化が要求されるデジタルスチルカメラやムービーをはじめ、監視カメラやネットワークカメラなどに有用である。
【図面の簡単な説明】
【０１１７】
【図１】本発明の第１の実施形態に係る画像合成符号化装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態に係る画像合成符号化装置の構成を示す図である。
【図４】本発明の第２の実施形態に係る符号化部の構成を示す図である。
【図５】本発明の第２の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。
【図６】本発明の第２の実施形態に係る画像合成および参照画像メモリ更新のイメージを示す図である。
【図７】本発明の第３の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。
【図８】本発明の第４の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。
【図９】本発明の第５の実施形態に係る画像合成符号化装置の構成を示す図である。
【図１０】本発明の第５の実施形態に係る符号化部の構成を示す図である。
【図１１】本発明の第５の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。
【図１２】本発明の第７の実施形態に係る撮像システムの構成を示す図である。
【図１３】従来の画像合成符号化装置の構成を示す図である。
【図１４】画像合成部の構成を示す図である。
【図１５】入力画像(現在の画像)と生成される合成画像のイメージを示す図である。
【図１６】従来の画像合成装置を用いた画像合成符号化処理の流れを示すフローチャートである。
【符号の説明】
【０１１８】
１,１０１,２０１,５０１  画像合成符号化装置
２  入力端子
２０  外部設定端子
２１  参照画像メモリ書込み制御部
３  記憶部
３１  フレームメモリ
３２  合成画像メモリ
３３  参照画像メモリ
４  設定端子
５  画像合成部
５１  合成比率設定部
５２,５３  乗算器
５４  加算器
５０２  外部設定端子
５０３  判定結果
６  符号化部
６０１  動き検出用メモリ
６０２  動き検出
６０３  動き補償
６０４  減算器
６０５  ＤＣＴ
６０６  量子化
６０７  可変長符号化
６０８  逆量子化
６０９  逆ＤＣＴ
６１０  加算器
７  出力端子
８  現在の画像
９  過去の画像
１０,１１  合成画像
１２  参照画像
１３  再構成画像
７０  光学系
７１  センサー
７２  Ａ／Ｄ変換回路
７３  画像処理回路
７４  記録系・転送系
７５  再生系
７６  タイミング制御回路
７７  システム制御回路
【図１】
2010028641.tif 000003
【図２】
2010028641.tif 000004
【図３】
2010028641.tif 000005
【図４】
2010028641.tif 000006
【図５】
2010028641.tif 000007
【図６】
2010028641.tif 000008
【図７】
2010028641.tif 000009
【図８】
2010028641.tif 000010
【図９】
2010028641.tif 000011
【図１０】
2010028641.tif 000012
【図１１】
2010028641.tif 000013
【図１２】
2010028641.tif 000014
【図１３】
2010028641.tif 000015
【図１４】
2010028641.tif 000016
【図１５】
2010028641.tif 000017
【図１６】
2010028641.tif 000018