(57)【要約】【課題】画像中で天候によって変化する領域の画像処理を変えることで、画像中の天候によって変化する領域を調整することができる撮像装置を提供する。【解決手段】撮影手段と、撮影時の天候を検出する天候検出手段と、撮影画像から所定の領域を抽出する領域抽出手段と、前記抽出された領域毎に天候によって変化する変化割合を判定する変化割合判定手段と、前記検出された天候と前記変化割合の判定結果に応じた領域毎画像パラメータを生成する領域毎画像パラメータ生成手段と、前記領域抽出手段で抽出した領域に対し、前記領域毎画像パラメータを用いて撮影画像を調整する処理を行う領域毎画像処理手段と、を有する。【選択図】図１
2019029830.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、
撮影時の天候を検出する天候検出手段と、
撮影画像から所定の領域を抽出する領域抽出手段と、
前記抽出された領域毎に天候によって変化する変化割合を判定する変化割合判定手段と、
前記検出された天候と前記変化割合の判定結果に応じた領域毎画像パラメータを生成する領域毎画像パラメータ生成手段と、
前記領域抽出手段で抽出した領域に対し、前記領域毎画像パラメータを用いて撮影画像を調整する処理を行う領域毎画像処理手段と、
を有することを特徴とする撮像装置。
【請求項２】
撮影時の気候を検出する気候検出手段をさらに有し、
前記変化割合判定手段は、前記抽出された領域毎に前記気候と前記天候によって変化する変化割合を判定し、
前記領域毎画像パラメータ生成手段は、前記検出された気候と前記検出された天候と前記変化割合の判定結果に応じた領域毎画像パラメータを生成し、
前記領域毎画像処理手段は、前記領域抽出手段で抽出した領域に対し、前記領域毎画像パラメータを用いて撮影画像を調整する処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記領域毎画像処理手段は、
前記検出された気候と前記検出された天候と、前記変化割合判定手段の判定結果に応じて、領域毎に気候と天候による変化を強調ないし低減する画像処理を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記領域毎画像処理手段は、
予め定められた第２の天候と、前記検出された天候の差異が所定範囲以上の場合には、前記第２の天候に応じた前記領域毎画像パラメータを用いた画像処理を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記検出された天候と前記第２の天候は、空領域に占める雲領域の割合に対応した値であり、
前記領域毎画像処理手段は、前記空領域に占める雲領域の割合に応じて決定された値の差分が所定値以上の場合には、前記第２の天候に応じた前記領域毎画像パラメータを用いた画像処理を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記領域毎画像処理手段は、
前記領域毎画像パラメータに基づき、領域毎に色情報または輝度情報を調整することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記領域毎画像処理手段は、
前記領域毎画像パラメータに基づき、領域毎の色情報または輝度情報を所定の値に置換することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記領域毎画像処理手段は、
前記領域毎に用いる画像パラメータの差異が所定範囲内におさめるように前記領域毎画像パラメータを増減することを含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮影時刻を取得する時刻取得手段をさらに有し、
前記領域毎画像処理手段は、
前記検出された時刻に応じて補正した前記領域毎画像パラメータを用いて画像を調整することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記領域抽出手段は、撮影画像から雲領域、空領域、海領域のうちの少なくとも１つの領域を抽出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記天候検出手段は、
前記撮影手段によって撮影された画像から天候を検出することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影時の位置を検出する位置検出手段と、外部機器と通信する通信手段とをさらに有し、前記天候検出手段は、前記検出された位置を前記通信手段から外部機器に送信し天候を取得することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
撮影時の温度を検出する温度検出手段または撮影時の湿度を検出する湿度手段をさらに有し、
前記天候検出手段は、前記検出された温度または前記検出された湿度を基に天候を検出することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時の天候に基づいて画像処理された画像をユーザに提供するシステムに関し、特に天候によって影響を受ける領域に対して、適切な画像処理を施した画像を提供する撮像装置に関するものである。
【背景技術】
【０００２】
従来、天候などに基づいて画像処理を変更する方法が提案されていた。特許文献１では、位置、撮影方向、撮影時刻、温度、気候、天候などに基づいてシーンを決定し、決定されたシーンの画像基準に満たない場合には、所定の画像補正を行う方法が提案されていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４３５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載された方法では、位置、撮影方向、撮影時刻、温度、気候、天候などに基づいて撮影画像のシーンを決定し、画面全体に所定の画像の補正処理を行うため、気候と天候によって影響を受ける領域毎に異なった処理を行うことができなかった。
【０００５】
そこで、本発明の目的は、画像中で天候によって変化する領域の画像処理を変えることで、画像中の天候によって変化する領域を調整することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る撮像装置は、撮影手段と、撮影時の天候を検出する天候検出手段と、撮影画像から所定の領域を抽出する領域抽出手段と、前記抽出された領域毎に天候によって変化する変化割合を判定する変化割合判定手段と、前記検出された天候と前記変化割合の判定結果に応じた領域毎画像パラメータを生成する領域毎画像パラメータ生成手段と、前記領域抽出手段で抽出した領域に対し、前記領域毎画像パラメータを用いて撮影画像を調整する処理を行う領域毎画像処理手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像中で天候によって変化する領域の画像処理を変えることで、画像中の天候によって変化する領域を調整することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態の画像処理装置を構成するブロック図である。
【図２】第１の実施形態のフローチャートである。
【図３】第１の実施形態の天候取得処理のフローチャートである。
【図４】第１の実施形態の領域抽出処理のフローチャートである。
【図５】第１の実施形態で撮影された画像である。
【図６】第１の実施形態の領域毎の画像処理のパラメータテーブルである。
【図７】第１の実施形態でユーザが天候設定するときのフローチャートである。
【図８】第１の実施形態で領域を置換する画像を説明する図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を添付の図面に基づいて詳細に説明する。
【００１０】
（第１の実施形態）
以下、図１を参照して、本発明の第１の実施形態による画像処理について説明する。図１は、本発明の実施形態にかかわる撮像装置の概略構成を示すブロック図である。本実施形態では、撮影した画像から気候と天候によって影響を受ける領域を抽出し、その領域毎に画像処理を調整することで、撮影時の気候や天候により適した画像を生成する。
【００１１】
本実施形態における撮像装置１００は以下を含む。撮像レンズ１０は、撮影像を光学的に撮像素子１２上に結像させる。撮像素子１２は、その撮影像をアナログの電気信号に変換する。また、撮像素子１２は複数の色フィルタを有する。Ａ／Ｄ変換器１４は、この撮像素子１２から出力されるアナログ信号をデジタル信号に変換する。
【００１２】
領域抽出手段１６は、撮影された画像から所定の領域を抽出する。抽出する領域としては、空（そら）領域、海領域、雲領域、ビル領域、道路領域などがある。
【００１３】
位置検出手段４０は、撮影時の撮像装置１００の位置を検出する。例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位網）を用いて、地球上での位置を取得する。
【００１４】
通信手段４２は、撮像装置１００と外部機器を接続し外部機器から天候などを取得する。通信規格としては、Ｗｉ−Ｆｉに代表される無線通信やＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）に代表される携帯電話通信などを用いるが、これらに限定されるわけではなく別の通信規格を用いてもよい。
【００１５】
温度取得手段４４は、撮影時の撮像装置１００周辺の温度を取得する。湿度取得手段４６は、撮影時の撮像装置１００周辺の湿度を取得する。時刻取得手段４８は、撮影時の時刻を取得する。例えば、撮像装置１００内部に内部時計を有し自律的に取得する。
【００１６】
気候検出手段２０は、撮影時の撮像装置１００周辺の気候を検出する。例えば、位置検出手段４０によって取得した撮像装置１００周辺の位置と、時刻取得手段４８によって取得した時刻から撮影時の撮像装置１００周辺の気候を検出する。
【００１７】
天候検出手段２２は、撮影時の撮像装置１００周辺の天候を検出する。例えば、位置検出手段４０によって取得した撮像装置１００周辺の位置を通信手段４２を介して外部機器に送信することで外部サーバから撮像装置１００周辺の天候を受信してもよい。また、位置検出手段４０によって取得した撮像装置１００周辺の位置と、温度取得手段４４によって取得した温度と、湿度取得手段４６によって取得した湿度を基に撮影時の天候を推測してもよい。
【００１８】
領域毎画像パラメータ生成手段２４は、領域抽出手段１６によって抽出された領域と、気候検出手段２０によって検出された気候と、天候検出手段２２によって検出された天候と、時刻取得手段４８で取得した時刻と、変化割合判定手段２８の判定結果に基づいて領域毎に適応する領域毎画像パラメータを生成する。
【００１９】
画像処理手段２６は、領域毎画像パラメータ生成手段２４によって生成された領域毎画像パラメータと、領域抽出手段１６によって抽出された領域と、画像パラメータ生成手段３０が生成した画像全体パラメータを基に撮影画像に対して領域毎に画像処理を行う。
【００２０】
変化割合判定手段２８は、領域抽出手段１６によって抽出された領域毎に気候と天候によって影響を受ける割合を判定する。
【００２１】
画像全体パラメータ生成手段３０は、変化割合判定手段２８で気候と天候によって影響を受ける割合が低いと判定された領域に適応する画面全体パラメータを生成する。画面全体パラメータとしては、画像全体から検出した色温度に基づきホワイトバランス係数を算出したり、画像内の明るさ分布からコントラスト調整のためのゲイン値などを生成する。
【００２２】
図２は、本実施形態の画像処理について説明するフローチャートである。このフローチャートを用いて、本実施形態の処理を説明する。まず、画像を１枚撮影する（Ｓ２０２）。次に、気候検出手段２０において撮影時の気候を検出する（Ｓ２０４）。気候は、位置検出手段４０で検出された撮像装置１００の位置と、撮影時の時刻を用いて検出する。時刻は、時刻取得手段４８から取得してもよいし、位置検出手段４０としてＧＰＳを用いている場合にはＧＰＳに含まれる時刻から取得してもよい。例えば、気候検出手段２０は、検出した撮影位置が東京付近で、撮影時刻が８月中旬であれば気候は真夏であると検出できる。
【００２３】
次に、天候検出手段２２において撮影時の天候を検出する（Ｓ２０６）。天候検出のフローを、図３を用いて説明する。まず、通信手段４２を介して外部天候サーバにアクセス可能であるか状態であるか判定する（Ｓ３０２）。外部天候サーバにアクセス可能である場合には（Ｓ３０２でＹｅｓ）、通信手段４２を介し、位置検出手段４０で検出した位置と時刻取得手段４８で取得した時刻を外部天候サーバに送信する（Ｓ３０４）。外部天候サーバは、送信された位置と時刻から撮影位置の天候を撮像装置１００に送信する。撮像装置１００は、通信手段４２を介し送信された天候を受信する（Ｓ３０６）。
【００２４】
外部天候サーバにアクセス可能でない場合には（Ｓ３０２でＮｏ）、撮像装置１００で得られる情報から撮影位置の天候を取得する。具体的には、まず撮影された画像から領域抽出手段１６を用いて空（そら）領域を抽出する（Ｓ３１０）。さらに温度取得手段４４で撮像装置１００付近の温度を取得する（Ｓ３１２）。続いて、湿度取得手段４６で撮像装置１００付近の湿度を取得する（Ｓ３１４）。これらの情報を基に、撮像装置１００付近の天候を判定する（Ｓ３１６）。例えば、温度が閾値より高く、かつ湿度が閾値より低く、かつ抽出された空領域の色相が青付近であれば晴れであると判定する。
【００２５】
また、本実施形態では気候検出と天候検出は撮影処理後に実施しているが、気候や天候は秒単位での急激な変化はしないこと、また通信手段４２を介して外部天候サーバにアクセスする際に通信状況によっては時間がかかる場合があることを考慮し、撮影処理前に気候検出と天候検出を行って、撮影後に利用してもよい。
【００２６】
次に、撮影された画像から所定の領域を抽出する（Ｓ２０８）。領域抽出処理について、図４のフローチャートを用いて詳細に説明する。まず、領域抽出手段１６において所定の領域を抽出する（Ｓ４０２）。抽出する領域の種類は、空領域、雲領域、海領域、ビル領域、道路領域などである。例えば、撮影された画像である図５の撮影画像５００から、雲領域５０１、空領域５０２、海領域Ｓ５０３、ビル領域５０４、５０５、いずれにも当てはまらないそれ以外の領域として領域５０６を抽出する。
【００２７】
抽出された領域の中から、変化割合判定手段２８で領域毎に気候と天候によって影響を受ける割合を判定する（Ｓ４０４）。変化割合判定手段２８は、空領域、雲領域、海領域は気候と天候によって影響を受ける割合が高いが、ビル領域や道路領域などは影響が低いと判定する。撮影画像５００においては、雲領域５０１、空領域５０２、海領域５０３は気候や天候によって影響を受ける割合が高いと判定し、それ以外の領域は低いと判定する。影響を受ける割合が高いと判定された領域は、後述する領域毎画像パラメータが適応され、低いと判定された領域は画面全体から算出された画像全体パラメータが適応される。
【００２８】
また、本実施形態では、気候と天候によって影響が受ける割合が高い領域は空領域、雲領域、海領域としているが、この３領域に限定されるわけではなく気候や天候によって変化する領域、例えば草領域や雪領域を抽出対象としてもよい。
【００２９】
続いて、領域毎に適応する領域毎画像パラメータを生成する（Ｓ２１０）。領域毎画像パラメータ生成手段２４は、気候検出手段２０によって検出された気候と、天候検出手段２２によって検出された天候と、領域抽出手段１６で抽出された領域と、時刻取得手段４８によって取得された撮影時の時刻と、変化割合判定手段２８の判定結果に基づき、気候と天候によって影響が受ける割合が高いと判定された領域に適応する領域毎画像パラメータを生成する（Ｓ２１０）。
【００３０】
領域毎画像パラメータは、図６に示したパラメータテーブル６００に基づいて生成される。例えば、抽出された領域が空領域ないし雲領域、かつ検出された気候が夏、かつ検出された天候が晴れの場合には、空領域の彩度を強調して空の青さを強調し、かつ雲領域のコントラストとエッジを強調する。その他の領域、気候、天候の場合においてもパラメータテーブル６００を参照して同様にして領域毎画像パラメータを生成する。
【００３１】
また、時刻取得手段４８によって取得された撮影時の時刻によってパラメータテーブルを変えてもよい。例えば、撮影時の時刻が夕方かつ天候が晴れの場合には、空領域の青を強調するのではなく、夕焼けの赤を強調するパラメータテーブルを用いる。また、気候は特に考慮せず天候のみによって影響を受ける割合が高いと判定された領域に対応する領域毎画像パラメータを生成するように構成してもよい。
【００３２】
さらに、撮影時の天候に合わせて領域毎画像パラメータを調整するだけではなく、撮影時の天候とは別の天候を表現するように領域毎画像パラメータを生成してもよい。その場合の領域毎画像パラメータの生成方法を、図７のフローチャートと撮影画像である図８を用いて説明する。なお、この処理は撮影時の天候とは別の天候を表現するよう場合に、図２のＳ２１０の代わりに実施される処理である。
【００３３】
まず、ユーザにより好ましい天候が設定されているかどうか判定する（Ｓ７０１）。設定されていない場合には（Ｓ７０１でＮｏ）、Ｓ２１０と同様に領域毎画像パラメータを決定する。ユーザにより好ましい天候が設定されている場合には（Ｓ７０１でＹｅｓ）、天候検出手段２２で検出された天候とユーザが設定した天候の差異を判定する。天候は、例えば空領域に占める雲領域の割合に応じて決めた値とし、晴れのときを０、曇りのときを５０、雨のときを１００で表現する。
【００３４】
天候検出手段２２で検出された天候とユーザが設定した天候とを比較し、差異が閾値未満の場合は（Ｓ７０３でＹｅｓ）、Ｓ２１０と同様に領域毎画像パラメータを生成する（Ｓ７０２）。
【００３５】
天候検出手段２２で検出された天候とユーザが設定した天候と比較し差異が閾値以上の場合は（Ｓ７０３でＮｏ）、ユーザが設定した天候と、気候検出手段２０によって検出された気候と、領域抽出手段１６で抽出された領域の種類と、時刻取得手段４８によって取得された撮影時の時刻と、変化割合判定手段２８の判定結果に基づき、領域毎画像パラメータを生成する（Ｓ７０４）。例えば、ユーザによって設定された好ましい天候は晴れであるが、撮影時の天候が曇りであった場合には、領域毎画像パラメータ生成手段２４は、抽出された雲領域を晴れの青色に置換して晴れの空を表現するための領域毎画像パラメータを生成する。
【００３６】
例えば、撮影された画像である図８の画像８００であり、かつユーザの設定した好ましい天候が晴れである場合において、領域抽出手段１６により雲領域８０１、空領域８０４、ビル領域８０５、それ以外の領域８０６を抽出したとする。この場合には、抽出された雲領域８０１を晴れの空を表す青色の領域に置換するための領域毎画像パラメータを生成し、後述する画像処理手段２６で画像８１０を作成する。
【００３７】
画像処理手段２６は、領域抽出手段１６から抽出された領域と、領域毎画像パラメータ生成手段２４から領域毎に適応する領域毎画像パラメータと、画像パラメータ生成手段３０から変化割合判定手段２８で気候と天候によって影響を受ける割合が低いと判定された領域に適応する画像全体パラメータを受け取る。変化割合判定手段２８で気候と天候によって影響を受ける割合が高いと判定された領域は、領域毎画像パラメータ生成手段２４から生成された領域毎画像パラメータに基づき領域毎に画像処理行う。その他の領域は、画像パラメータ生成手段３０から出力された画像全体パラメータに基づき画像処理行う（Ｓ２１２）。
【００３８】
また、前述したようにユーザによって設定された天候に基づいて領域毎パラメータを設定した場合には（Ｓ７０４）、領域抽出手段１６で抽出された領域とその他領域に適応する画像全体パラメータとの差異によって、画面全体で見ると違和感が生じる場合がある。このような違和感を低減させるために、領域毎画像パラメータないしその他領域に適応する画像全体パラメータを増減し、パラメータの差異を減らすように調整する。
【００３９】
例えば、撮影時の天候が曇りであるがユーザによって設定された天候が晴れである場合には、抽出された雲領域を晴天の色温度の高い空の青色に置換すると、画像全体で見たときに違和感が生じる場合がある。その場合には、置換する空の青の彩度を下げるように調整する。
【００４０】
以上、本実施形態では、気候と天候によって影響を受ける領域を抽出し、領域毎に適切な画像処理を施した画像を提供できる。また、色情報や輝度情報の調整だけではなく、気候と天候によって影響を受ける領域を撮影時とは異なる気候と天候の影響を考慮した画像に置換することでユーザにとって好ましい画像を提供することができる。
【００４１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４２】
１０・・・撮像レンズ
１２・・・撮像素子
１４・・・Ａ／Ｄ変換器
１６・・・領域抽出手段
２０・・・気候検出手段
２２・・・天候検出手段
２４・・・領域毎画像パラメータ生成手段
２６・・・画像処理手段
２８・・・変化割合判定手段
３０・・・画像全体パラメータ生成手段
４０・・・位置検出手段
４２・・・通信手段
４４・・・温度取得手段
４６・・・湿度取得手段
４８・・・時刻取得手段
【図１】
2019029830.tif 000003
【図２】
2019029830.tif 000004
【図３】
2019029830.tif 000005
【図４】
2019029830.tif 000006
【図５】
2019029830.tif 000007
【図６】
2019029830.tif 000008
【図７】
2019029830.tif 000009
【図８】
2019029830.tif 000010