(57)【要約】【課題】特に動画の画像処理に最適で、簡素な構造で低コストの画像処理システムを提供することを課題とする。【解決手段】被写体を撮影するカメラモジュールと、撮影によって得られた画像のフレームデータを受信するＣＰＵと、ＣＰＵに接続されたフレームバッファメモリと、が画像処理システムに設けられている。ＣＰＵは、フレームデータをフレームバッファメモリへ転送し（ステップＳ１）、このフレームデータの露光量が充分か否かを判断する（ステップＳ２）。露光量不充分であると判断した場合に、このフレームデータに連続する次のフレームデータを取り出し、フレームバッファメモリ１６に記憶されたフレームデータに重ね合わせて合成フレームデータを形成する（ステップＳ３）。これにより、絞りや撮影速度等の調整を行わない簡素な構造の画像処理システムを用いても綺麗な動画像を得ることができる。【選択図】　　　　図２
2004088291.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得られた画像のフレームデータが記憶されるフレームバッファメモリと、
前記フレームデータの露光量を判断する判断手段と、
前記判断手段における判断結果に基づき、前記フレームデータに連続する次のフレームデータと、前記フレームバッファメモリに記憶されたフレームデータとを合成して合成フレームデータを形成する合成手段と、
を有することを特徴とする画像処理システム。
【請求項２】
前記合成フレームデータの露光量を前記判断手段で更に判断し、連続する更に次のフレームデータを前記合成フレームデータに重ね合わせることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
重ね合わせるフレームデータの枚数の上限値が設定されていることを特徴とする請求項２に記載の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影した画像のフレームデータを処理する画像処理システムに関し、更に詳細には、特に動画を撮像するのに最適な画像処理システムに関する。
【０００２】
【従来の技術】
連続的に被写体が動く場合では、動画を撮影する動画像撮影装置が多用されている。
【０００３】
この動画像撮影装置には、動画を綺麗に取り込めるように、一般的に、絞りや露出補正の機能、更には撮影速度の調整機能などが設けられている。
【０００４】
しかし、このような機能を設けることにより、動画像撮影装置の構成が複雑になると共に製造コストが高くなるという難点があった。このため、この絞りや撮影速度等の調整機構を有さない簡素な構造であっても動画を綺麗に取り込めるような動画像撮影装置が求められていた。
【０００５】
この対策として、取り込んだ画像データを単に倍増するだけでは、ノイズも倍増され、良好な画像を得ることが困難である。また、特開平０６−１８９１８９号では、画像を合成する手法が提案されているが、Ｓ／Ｎ比の改善を目的としたものであり、対象物である被写体が動いている場合には画像を合成していない。特開平９−１１６８１８号にも画像を合成する手法が提案されているが、同様に、対象物である被写体が動いている場合には画像を合成していない。従って、両者とも、動画像に対しては有効な対策は開示されていない。更に、特開平１１−１００１８３号では回路構成が簡単で精度が高い撮像装置の例が開示されているが、露出補正を行っており、装置構成の更なる簡素化が望まれる。
【０００６】
【発明が解決しようとする課題】
本発明は、上記事実を考慮して、特に動画の画像処理に最適で、簡素な構造で低コストの画像処理システムを提供することを課題とする。
【０００７】
【課題を解決するための手段】
請求項１に係る発明は、撮影によって得られた画像のフレームデータが記憶されるフレームバッファメモリと、前記フレームデータの露光量を判断する判断手段と、前記判断手段における判断結果に基づき、前記フレームデータに連続する次のフレームデータと、前記フレームバッファメモリに記憶されたフレームデータとを合成して合成フレームデータを形成する合成手段と、を有することを特徴とする。
【０００８】
合成データを形成した場合、１秒間あたりのコマ数はフレームデータを重ねた分だけ減少し、このため、ダイナミックレンジの広い画像処理システムとなる。この画像処理システムは、被写体を撮影する撮影部を有するシステムであってもよいし、撮影部を有さずにフレームデータを受信するシステムであってもよい。後者の場合、撮影した画像のフレームデータを蓄積する蓄積部を有する簡易カメラを用い、この簡易カメラから画像のフレームデータを受信させることができ、簡易カメラで撮影しても綺麗な画像を得ることができる。
【０００９】
請求項１に記載の発明により、撮影する際に露光量が不足していた場合（すなわち暗過ぎた場合）、フレームデータを合成して合成画像を得ることができ、絞りや撮影速度等の調整を行わない簡素な構造の画像処理システムを用いても綺麗な画像を得ることができる。この画像処理システムは、特に監視カメラに最適である。なお、特に動画像の場合、重ね合わせによって得られた合成画像を人間が見ても、違和感はあまり感じられない。
【００１０】
請求項２に係る発明は、前記合成フレームデータの露光量を前記判断手段で更に判断し、連続する更に次のフレームデータを前記合成フレームデータに重ね合わせることを特徴とする。
【００１１】
これにより、合成画像の露光量が不足することを回避することができる。
【００１２】
請求項３に係る発明は、重ね合わせるフレームデータの枚数の上限値が設定されていることを特徴とする。
【００１３】
これにより、フレームデータを重ね合わせ過ぎて画質が劣化することを防止できる。
【００１４】
【発明の実施の形態】
以下、実施形態を挙げ、添付図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係るカメラの構成を示すブロック図であり、図２は、本発明の一実施形態に係るカメラの動作特性を示すフローチャート図である。
【００１５】
本発明の一実施形態に係る画像処理システム１０は、動画像を撮影できる装置であって、被写体を画像として取り込むカメラモジュール１２と、カメラモジュール１２から画像のフレームデータ（以下、単にフレームという）を受信するＣＰＵ１４と、を有する。カメラモジュール１２には、撮影によって得られたフレームが蓄積される蓄積部２４が内蔵されており、サンプリング部、Ａ／Ｄ変換機器、信号処理部（何れも図示せず）などで処理されて得られたフレームが蓄積部２４に蓄積される。また、画像処理システム１０は、ＣＰＵ１４に各々接続されたフレームバッファメモリ１６、ワークメモリ２０、及び、ストレージデバイス２２を有する。
【００１６】
蓄積部２４に蓄積されたフレームは、一定時間毎にフレームバッファメモリ１６へ転送される、すなわち、一定時間毎に新しいフレームがフレームバッファメモリ１６に取り出される（ステップＳ１）。
【００１７】
ＣＰＵ１４は、フレームバッファメモリ１６に取り出されたフレームの露光が充分であるか否かを判断する（ステップＳ２）。この判断は、例えば、画像中央部分の明るさで判断してもよいし、最も暗い画像部分の明るさで判断してもよい。なお、露光が充分かどうかの判断は、画像データの値から判断する他に、簡易的には、撮影時の条件を利用して判断することも考えられる。
【００１８】
露光が不足していると判断した場合、次のフレーム（すなわち、このフレームの直後の撮影で得たフレーム）を取り出し、フレームバッファメモリ１６にこのフレームを足し合わせる、すなわち画像を重ね合わせる（ステップＳ３）。そして、再度、露光が充分であるか否かを判断する（ステップＳ２）。露光がまだ不足していると判断した場合、更に次のフレームを取り出し、フレームバッファメモリ１６に足し合わせる（ステップＳ３）。
【００１９】
必要ならばステップＳ２、ステップＳ３を更に複数回繰り返す。なお、繰り返して重ね合わせるフレーム枚数の上限をＣＰＵ１４に設定しておいてもよい。
【００２０】
露光量が充分であると判断した場合、フレームバッファメモリ１６の内容をセーブする（ステップＳ４）。その際、秒間コマ数（重ね合わせたフレーム数に対応）も記録しておく。セーブする際、例えば、テープなどのストレージデバイス２２に出力してもよい。
【００２１】
そして、撮影終了か否かを判断する（ステップＳ５）。撮影終了でないと判断した場合、フレームバッファメモリ１６のメモリ内容を消去し、次のフレーム（すなわち、フレームバッファメモリ１６へ最後に取り込んだフレームの直後に撮影して得られたフレーム）をフレームバッファメモリ１６に取り出して（ステップＳ１）、上記と同様の処理を行う。撮影終了であると判断した場合、処理を終了する。
【００２２】
例えば、図３に示すように、りんご２８が落ちてくる状況を撮像し、露光量が不足していた場合、連続する２枚のフレーム毎に合成フレームデータ（以下、単に合成データという）を形成し、合成データに基づいて合成画像をストレージデバイス２２に出力していく形態が考えられる。
【００２３】
すなわち、フレーム３０Ａ、３０Ｂを重ね合わせて合成データ３２Ｐを形成し、合成データ３２Ｐに基づいて合成画像をストレージデバイス２２に出力する。更に、フレーム３０Ｃ、３０Ｄを重ね合わせて合成データ３２Ｑを形成し、合成データ３２Ｑに基づいて合成画像をストレージデバイス２２に出力する。この処理を順次行っていく。
【００２４】
以上説明したように、本実施形態によれば、絞りや撮影速度の調整機構、露出の自動補正機能等を有さない簡素な構造の画像処理システム１０であっても、露光量が充分な綺麗な画像を得ることができる。なお、カメラモジュール１２は、携帯電話に搭載するような携帯カメラであってもよい。
【００２５】
以上、実施形態を挙げて本発明の実施の形態を説明したが、上記実施形態は一例であり、要旨を逸脱しない範囲内で種々変更して実施できる。また、本発明の権利範囲が上記実施形態に限定されないことは言うまでもない。
【００２６】
【発明の効果】
本発明は上記構成としたので、以下の効果を奏することができる。
【００２７】
請求項１に係る発明によれば、絞りや撮影速度等の調整を行わない簡素な構造の画像処理システムを用いても綺麗な画像を得ることができる。
【００２８】
請求項２に係る発明によれば、合成画像の露光量が不足することを回避することができる。
【００２９】
請求項３に係る発明によれば、フレームデータを重ね合わせ過ぎて画質が劣化することを防止できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラの動作特性を示すフローチャート図である。
【図３】フレームデータ２枚毎に重ね合わせて合成画像を得ることを示す概念図である。
【符号の説明】
１０　画像処理システム
１４　ＣＰＵ（判断手段、合成手段）
１６　フレームバッファメモリ
２２　ストレージデバイス（出力手段）
３０Ａ〜Ｄ　フレーム（フレームデータ）
３２Ｐ、Ｑ　合成データ（合成フレームデータ）
【図１】
2004088291.tif 000003
【図２】
2004088291.tif 000004
【図３】
2004088291.tif 000005