(57)【要約】      （修正有）【課題】動画像としての連続性を確保することができると共に露光不足の解消を行うことができる画像処理装置を提供する。【解決手段】画像処理装置１は、明るさについて加工すべき画像が入力された時点を基準時点として過去に遡って時系列的に画像が記録された過去画像データ記録部２と、加工すべき画像を被加工画像Ｇ１としてその明るさを判定する明るさ判定部３と、明るさ判定部３により被加工画像について明るさが不足していると判定されたときに過去画像データ記録部２から過去画像Ｇ３を読み出して被加工画像の露光不足が解消されるように被加工画像を加工処理する画像データ加工部４とを備えている。【選択図】図１
2015226232.tif 000002
【特許請求の範囲】
【請求項１】
明るさについて加工すべき画像が入力された時点を基準時点として過去に遡って時系列的に画像が記録された過去画像データ記録部と、前記加工すべき画像を被加工画像としてその明るさを判定する明るさ判定部と、該明るさ判定部により前記被加工画像について明るさが不足していると判定されたときに前記過去画像データ記録部から過去画像を読み出して前記被加工画像の露光不足が解消されるように該被加工画像を加工処理する画像データ加工部とを備えていることを特徴とする画像処理装置。
【請求項２】
前記画像データ加工部は、前記明るさ判定部により前記被加工画像の明るさが不足していると判定されたときに、前記過去画像データ記録部から前記被加工画像よりもひとつ前の過去画像を読み出し、前記被加工画像の各画素の輝度データに、前記被加工画像の各画素に対応する当該過去画像の画素の輝度データを加算処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記明るさ判定部は、前記過去画像を用いて加工処理された被加工画像の明るさが不足するか否かを判定し、前記画像データ加工部は前記明るさ判定部により前記加工処理された被加工画像の明るさが不足すると判定されたときに、前記加工処理に用いた過去画像よりも更に一つ前の過去画像を前記過去画像データ記録部から読み出し、前記加工処理された被加工画像の各画素の輝度データに、前記加工処理された被加工画像の各画素に対応する当該過去画像の画素の輝度データを加算処理することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記過去画像データ記録部は、前記基準時点において入力された加工すべき画像のデータを最も新しい過去画像として記録し、前記過去画像データ記録部に記録されている最も古い過去画像を廃棄することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置を備えた動画像再生装置。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置を備えた動画像撮影装置。
【請求項７】
時系列的に連続する過去の画像の画素の輝度データを、露光不足の画像の対応する画素の輝度データに加算して、露光不足の画像についての露光不足を解消する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル式のビデオカメラ等の動画像撮影装置、ビデオプレイヤー等の動画像再生装置、ひいては、デジタルカメラ等の静止画像再生装置等にも応用できる画像処理装置及び露光不足の解消方法に関する。
【背景技術】
【０００２】
従来から、動画撮影装置等を用いた動画撮影では、暗い環境のもとでは、露光時間が短いと、露光不足により暗い画像が得られるため、露光時間を延ばして撮影を行う技術が知られている（例えば、特許文献１参照。）。
【０００３】
しかしながら、露光時間を延ばすと、必然的に撮影時間間隔が長くなり、動画像としての連続性が喪失する。このため、従来の技術では、露光時間を延ばすにも一定の限度があり、この限度を超える場合には露光不足であっても動画像の撮影を行う構成とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記の事情に鑑みて為されたもので、動画像としての連続性を確保することができると共に露光不足の解消を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、明るさについて加工すべき画像が入力された時点を基準時点として過去に遡って時系列的に画像が記録された過去画像データ記録部と、前記加工すべき画像を被加工画像としてその明るさを判定する明るさ判定部と、該明るさ判定部により前記被加工画像について明るさが不足していると判定されたときに前記過去画像データ記録部から過去画像を読み出して前記被加工画像の露光不足が解消されるように該被加工画像を加工処理する画像データ加工部とを備えていることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、現在の画像が露光不足のときには、過去画像データの輝度データを用いて露光不足を解消できるので、露光時間がいわば過去に遡って疑似的に延長とされたと同等の効果を奏し、その結果、動画像としての連続性を損なうことなく露光不足を解消できるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例に係る画像処理装置の回路ブロック図である。
【図２】本発明の実施例に係る画像処理装置のフローチャート図である。
【図３】画素毎の輝度データの加算の一例を模式的に示す説明図である。
【発明を実施するための形態】
【実施例】
【０００８】
（画像処理装置の構成）
図１は本発明の実施例に係る画像処理装置のブロック図を示している。
その図１において、１は本発明の実施例に係る画像処理装置を示している。この画像処理装置１は、過去画像データ記録部２と、明るさ判定部３と、画像データ加工部４とから概略構成されている。
【０００９】
その明るさ判定部３と、画像データ加工部４とは出力画像加工部５を構成している。この出力画像加工部５には、動画像入力デバイス６を介して時系列的に動画像のデータが入力される。
【００１０】
その動画像入力デバイス６には、例えば、公知のビデオカメラ、デジタルカメラ等の動画像撮影装置、ビデオプレイヤー等の動画像再生装置を用いることができる。
【００１１】
過去画像データ記録部２には、明るさについて加工すべき画像が入力された時点を基準時点として過去に遡って時系列的に明るさについての加工処理が施されていない画像のデータが過去画像Ｇ３として記録されている。
【００１２】
明るさ判定部３には、動画像入力デバイス６を介して基準時点において明るさについて加工すべき画像が被加工画像Ｇ１として入力される。その明るさ判定部３は被加工画像Ｇ１の明るさを判定する機能を有する。
【００１３】
画像データ加工部４は、明るさ判定部３により被加工画像Ｇ１について明るさが不足すると判定されたときに、過去画像データ記録部２から過去画像Ｇ３を新しい方から古い方に向かって順に読み出して、明るさについて加工処理されていない被加工画像Ｇ１の露光不足が解消されるように被加工画像Ｇ１を加工処理する機能を有する。
【００１４】
すなわち、画像データ加工部４は、明るさ判定部３により基準時点において被加工画像Ｇ１の明るさが不足すると判定されたときには、過去画像データ記録部２に記録されている過去画像Ｇ３のうち被加工画像Ｇ１よりもひとつ前の過去画像Ｇ３の各画素毎の輝度データを読み出して、この各画素に対応する被加工画像Ｇ１の画素の輝度データに加算する処理を行う機能を有する。
【００１５】
明るさ判定部３は、その過去画像の輝度データを用いて加工処理された被加工画像Ｇ１の明るさが不足するか否かを再度判定する機能も有する。
画像データ加工部４は、明るさ判定部３により被加工画像Ｇ１の明るさが不足すると判定されたときには、再度、その加工処理に用いた過去画像Ｇ３よりも一つ前の古い過去画像Ｇ３の各画素毎の輝度データを過去画像データ記録部２から読み出して、この各画素に対応する被加工画像Ｇ１の各画素の輝度データに加算する処理を行う機能も有する。
【００１６】
出力画像加工部５は、被加工画像Ｇ１の加工処理後に、基準時点において加工すべき画像であって加工処理が行われていない被加工画像Ｇ１を最も新しい過去画像Ｇ３として記録させ、過去画像データ記録部２に記録されている最も古い過去画像Ｇ３を廃棄させる指令を行う機能を有する。
【００１７】
また、出力画像加工部５は、被加工画像Ｇ１の明るさが不足していないと判断されたときには、その被加工画像Ｇ１を後段の回路に出力画像Ｇ２として出力する機能を有する。出力画像Ｇ２は、メモリに記録しても良いし、ディスプレイに表示させても良い。
【００１８】
（本発明の実施例に係る画像処理装置の作用の説明）
以下に、この画像処理装置１の作用を図２に示すフローチャートを用いて説明する。
出力画像加工部５には、動画像入力デバイス６を介して画像データが時系列的に逐次入力される（Ｓ.１）。ついで、出力画像加工部５は画像１枚分の画像データの入力が完了したか否かを判断する（Ｓ.２）。画像データの入力が完了するまで、Ｓ.１、Ｓ.２の処理を繰り返す。
【００１９】
出力画像加工部５は、Ｓ.２において、画像１枚分の画像データが入力が完了したと判断した場合には、その画像データが入力された時点を基準時点として明るさについて加工すべき画像を被加工画像Ｇ１とみなして、明るさ判定部３にその加工処理前の被加工画像Ｇ１の明るさを判定させる（Ｓ.３）。
【００２０】
過去画像データ記録部２には、逐次時系列的に入力された画像データが、明るさについて加工すべき画像が入力された時点を基準時点として過去に遡った過去画像Ｇ３がすでに記録されているものとする。
なお、ここでは、説明の便宜上、過去画像データ記録部２には、現時点において明るさについて被加工画像Ｇ１を基準時点として古い方から新しい方に向かって順番に過去画像Ｇ３が時系列的に記録されているものとして説明する。
【００２１】
その明るさ判定部３は、その被加工画像Ｇ１の輝度データに基づいて明るさを判定する（Ｓ.４）。明るさ判定部３は、例えば、被加工画像Ｇ１の各画素の輝度データの総和を全画素の個数で割った値（平均値）が、その被加工画像の最も明るい画素の輝度データで除算した値の７０％以上のとき、被加工画像Ｇ１は露光不足でないと判断する。
なお、ここで、最も明るい画素の最大値とは、明るさとして表現可能な輝度データの最大値をいう。なお、明るさの判定はこれに限るものではない。
【００２２】
Ｓ.４において、明るさ判定部３により、その明るさについて被加工画像Ｇ１の明るさが不足していないと判断されたときには、出力画像加工部５はその被加工画像Ｇ１の加工処理を行わずに、出力画像Ｇ２として出力する（Ｓ.５）。
【００２３】
出力画像加工部５は、同時に、過去画像データ記録部２に、加工処理されていない被加工画像Ｇ１のデータを最も新しい過去画像Ｇ３として記録し、過去画像データ記録部２に記録されている最も古い過去画像Ｇ３のデータを廃棄する。
【００２４】
出力画像加工部５は、明るさ判定部３により被加工画像Ｇ１の明るさが不足すると判定されたときには、画像データ加工部４に被加工画像Ｇ１について明るさについての加工処理を実行させる。
【００２５】
画像データ加工部４は、加工処理前の被加工画像Ｇ１のときには、過去画像データ記録部２に記録されている過去画像のうち加工処理前の被加工画像Ｇ１よりもひとつ前の過去画像Ｇ３の各画素毎の輝度データを読み出して、この各画素に対応する被加工画像Ｇ１の画素の輝度データに加算する処理を行う（Ｓ.６）。
【００２６】
その輝度データについての加工処理は、例えば、以下のようにして行う。
図３（ａ）に示すように、被加工画像Ｇ１の画素Ｇｉ１、Ｇｉ２、Ｇｉ３の輝度データが例えばグレイスケールで「５０」、「５０」、「６０」であったとする。なお、輝度データのグレイスケールの最大値が「２５５」であったとする。なお、ｉはｉ番目の行の画素を意味し、１、２、３は１列目、２列目、３列目の画素を意味する。
【００２７】
これに対して、その被加工画像Ｇ１よりも一つ手前の過去画像Ｇ３の対応する画素Ｇｉ１、Ｇｉ２、Ｇｉ３の輝度データが、例えば、「４５」、「５０」、「５５」であったとする。
【００２８】
この場合、画像データ加工部４の加算処理により、被加工画像Ｇ１の画素Ｇｉ１、Ｇｉ２、Ｇｉ３の輝度データについて、「９５」、「１００」、「１１５」の輝度データが得られる。いずれかの画素Ｇｉｊの輝度データの総和がグレイスケールで「２５５」を超える場合には、「２５５」に丸め込む。
【００２９】
ついで、Ｓ.３、Ｓ.４に戻って、明るさ判定部３は、再度、過去画像Ｇ３を用いて加工処理された被加工画像Ｇ１の明るさが不足するか否かを判定する。
画像データ加工部４は、明るさ判定部３により加工処理された被加工画像Ｇ１の明るさが不足すると判定されたときには、その加工処理に用いた過去画像Ｇ３よりも一つ前の古い過去画像Ｇ３の各画素毎の輝度データを過去画像データ記録部２から読み出し、この各画素に対応する加工処理された被加工画像Ｇ１の画素の輝度データに加算する処理を行う。
【００３０】
出力画像処理部５は、この明るさ判定部３により明るさが不足していないと判断されるまで、この明るさについての加工処理を繰り返す（Ｓ.３、Ｓ.４、Ｓ.６）。
【００３１】
そして、明るさ判定部３により明るさが不足していないと判定されると、その明るさについての加工処理が行われた被加工画像Ｇ１が出力画像Ｇ２として後段の回路に出力される（Ｓ.５）。
【００３２】
出力画像加工部５は、同時に、過去画像データ記録部２に、加工処理されていない被加工画像Ｇ１のデータを最も新しい過去画像Ｇ３として記録し、過去画像データ記録部２に記録されている最も古い過去画像Ｇ３のデータを廃棄する。
【００３３】
露光不足の画像、すなわち、明るさについて加工すべき画像の各画素の輝度データに所定値を加算して底上げする従来の加工処理では、全体が底上げされるため、コントラスト比が劣化する不具合がある。
【００３４】
一方、従来のゲイン調整加工処理やコントラスト調整加工処理では、加工処理前の輝度データの値が小さいため、階調が低い画像となり、品質の良くない画像となる不具合がある。
【００３５】
また、露光時間を延ばして撮影を行うことにすると、動画像の更新時間間隔が長くなるため、動画像を見た場合に被写体の動きが不自然となる。
これらに対し、この実施例によれば、過去に遡って露光時間を延ばした同等の効果が得られるので、動画像としての連続性を確保することができると共に露光不足の解消を行うことができる。
【００３６】
また、過去の輝度データを現在の輝度データに累積加算することにより階調数が増大するので、質の良い画像となる。
この実施例に係る画像処理装置は、動画像を再生可能な画像再生装置に組み込んでも良いし、動画像を撮影可能な動画像撮影装置に組み込んでも良い。また、静止画像撮影装置においても、複数枚の画像データを連写により過去画像データとして記録して置き、実際に必要とする画像データの加工処理に用いることができる。
【００３７】
なお、実施例においては、一例を具体的に説明するために、各回路の構成、機能を詳細に説明したが、本発明は、これに限られるものではない。
すなわち、本願発明の骨子は、時系列的に隣接する画像間ではその相違が小さいので、得られた画像が露光不足のときには、その露光不足の画像について、その画素の輝度データに過去の画像の対応する画素の輝度データを加算して露光不足を解消するところにある。
【符号の説明】
【００３８】
１…画像処理装置
２…過去画像データ記録部
３…明るさ判定部
４…画像データ加工部
【先行技術文献】
【特許文献】
【００３９】
【特許文献１】特開２００５−２９５２４７号公報（段落「００１４」、「００２３」、「００５０」−「００５２」）
【図１】
2015226232.tif 000003
【図２】
2015226232.tif 000004
【図３】
2015226232.tif 000005