(57)【要約】      （修正有）【課題】撮影時の温度感覚を画像に反映し、人の記憶にある印象に近づけることが手間なくできる撮像装置を提供する。【解決手段】画像処理装置は、撮像手段と、撮像手段で撮像した画像データの被写体距離情報を取得する被写体距離情報取得手段と、撮像手段で撮像した画像データの被写体を被写体認識情報として認識する被写体認識手段と、被写体距離情報と被写体認識情報に基づいて画像データへの処理を変更する領域を検出する処理領域検出手段と、撮影時の温度情報を取得する温度情報取得手段と、被写体距離情報と温度情報に基づいて画像処理パラメータを変更する画像処理パラメータ変更手段と、画像データに対して画像処理する画像処理手段と、を有する。画像処理手段は、画像処理パラメータに基づいて、処理領域検出手段で検出した領域に対して画像を調整する処理を行う。【選択図】図４
2019028742.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段で撮像した画像データの被写体距離情報を取得する被写体距離情報取得手段と、
前記撮像手段で撮像した画像データの被写体を被写体認識情報として認識する被写体認識手段と、
前記被写体距離情報と前記被写体認識情報に基づいて前記画像データへの処理を変更する領域を検出する処理領域検出手段と、
撮影時の温度情報を取得する温度情報取得手段と、
前記被写体距離情報と前記温度情報に基づいて画像処理パラメータを変更する画像処理パラメータ変更手段と、
前記画像データに対して画像処理する画像処理手段と、
を有し、
前記画像処理手段は、前記画像処理パラメータに基づいて、前記処理領域検出手段で検出した領域に対して画像を調整する処理を行うことを特徴とする画像処理装置。
【請求項２】
前記被写体距離情報取得手段は、
前記画像データの各画素位置の被写体距離を取得し、二次元の被写体距離マップを、前記被写体距離情報として保持することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体認識手段は、前記画像データの局所的な特徴量に応じて領域分割を行い、領域毎の特徴量によって被写体を認識することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記被写体認識手段は、領域毎に認識した被写体に対してグループ化を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記被写体認識手段のグループは、山、空、海、建物、人物、木、動物、道路、線路、砂浜、地面、乗り物、電柱から構成され、少なくとも１つを認識することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記処理領域検出手段は、前記被写体認識情報に基づいて、処理領域と非処理領域を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記処理領域検出手段は、少なくとも主要被写体、人物、空を非処理領域として判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理領域検出手段は、前記被写体距離情報に基づいて、処理領域と非処理領域を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記処理領域検出手段は、予め定められた被写体距離より遠い領域を処理領域として判定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記温度情報取得手段は、温度センサとして赤外線サーモグラフィを利用することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理パラメータ変更手段は、前記温度情報に基づいて、大気揺らぎ起因の光学的歪みの効果の度合いを変化させるよう前記画像処理パラメータを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理パラメータ変更手段は、前記温度情報が高いほど、前記大気揺らぎ起因の光学的歪みの効果の度合いを強めるよう前記画像処理パラメータを変更することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像処理パラメータ変更手段は、前記距離情報に基づいて、大気揺らぎ起因の光学的歪みの効果の度合いを変化させるよう前記画像処理パラメータを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記画像処理パラメータ変更手段は、前記距離情報が遠いほど、前記大気揺らぎ起因の光学的歪みの効果の度合いを強めるよう画像処理パラメータを変更することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
被写体の道路、線路、砂浜、地面からの鉛直方向の距離（鉛直距離）を検出する鉛直距離情報取得手段を有し、
前記画像処理パラメータ変更手段は、前記被写体の鉛直距離に基づいて、大気揺らぎ起因の光学的歪みの効果の度合いを変化させるよう前記画像処理パラメータを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記画像処理パラメータ変更手段は、前記被写体の前記鉛直距離が近いほど、前記大気揺らぎ起因の光学的歪みの効果の度合いを強めるよう前記画像処理パラメータを変更することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
画像データまたは外部からネットワークを通じて撮影時の天候情報を取得する天候情報取得手段を有し、
前記画像処理パラメータ変更手段は、前記天候情報に基づいて、大気揺らぎ起因の光学的歪みの効果の度合いを変化させるよう前記画像処理パラメータを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記画像処理パラメータ変更手段は、前記天候情報が晴天であるほど、前記大気揺らぎ起因の光学的歪みの効果の度合いを強めるよう前記画像処理パラメータを変更することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
位置情報と日時情報を用いて撮影時の気候情報を取得する気候情報取得手段を有し、
前記画像処理パラメータ変更手段は、前記気候情報に基づいて、大気揺らぎ起因の光学的歪みの効果の度合いを変化させるよう前記画像処理パラメータを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
前記画像処理パラメータ変更手段は、
前記気候情報が夏である場合に、前記大気揺らぎ起因の光学的歪みの効果の度合いを最も強めるよう前記画像処理パラメータを変更することを特徴とする請求項１９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時の温度感覚を画像に反映させる画像処理装置に関するものである。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳ等の撮像素子を用いて画像を取得する撮像装置であるデジタルカメラ等の画像処理装置で、撮影した画像データを後日、見直した場合、その時の雰囲気と異なることがある。この要因のひとつは、人の記憶にある印象は撮影時に体感した温度の影響を受けているが、画像処理には温度が反映されていないことが考えられる。撮影時の温度などの条件を考慮して、画像処理に反映させる手法が特許文献１に提案されている。
【０００３】
特許文献１では、温度のほか、季節や天候、時刻、湿度などの情報に基づいて、画像処理を変更することを提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４３５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、画面一様の画像処理が前提となっており、本来温度によって影響を受けるべきではない領域に対しても、画像処理が変更されてしまう。その結果、撮影時の温度感覚を画像に反映し、人の記憶にある印象に近づけることは難しい。また、後からユーザの手によって編集することも考えられるが、編集作業が手間となり放置してしまう可能性があった。
【０００６】
本発明の目的は、撮影時の温度感覚を画像に反映し、人の記憶にある印象に近づけることが手間なくできる撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る撮像装置は、撮像手段と、前記撮像手段で撮像した画像データの被写体距離情報を取得する被写体距離情報取得手段と、前記撮像手段で撮像した画像データの被写体を被写体認識情報として認識する被写体認識手段と、前記被写体距離情報と前記被写体認識情報に基づいて前記画像データへの処理を変更する領域を検出する処理領域検出手段と、撮影時の温度情報を取得する温度情報取得手段と、前記被写体距離情報と前記温度情報に基づいて画像処理パラメータを変更する画像処理パラメータ変更手段と、前記画像データに対して画像処理する画像処理手段と、を有し、前記画像処理手段は、前記画像処理パラメータに基づいて、前記処理領域検出手段で検出した領域に対して画像を調整する処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影時の温度感覚を画像に反映し、人の記憶にある印象に近づけることが手間なくできる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図
【図２】第１の実施形態に係る大気揺らぎ判定を説明する図
【図３】第１の実施形態に係る処理領域を説明する図
【図４】第１の実施形態に係る処理フローを説明する図
【図５】第２の実施形態に係る撮像装置の構成を示すブロック図
【図６】第２の実施形態に係る大気揺らぎ判定を説明する図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、図面を用いて本発明の第１の実施形態を説明する。なお、本実施形態の画像処理装置を、撮像装置の一部として説明する。また撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、カメラ付き携帯電話等の撮像装置を採用することも可能である。
【００１１】
図１は第１の実施形態に係るデジタルカメラの構成の一例を示すブロック図である。以下、図１について説明する。撮像素子１００は、受光した被写体像を電気信号に変換して画像データを作成するＣＣＤやＣＭＯＳセンサ等の受光素子である。Ａ／Ｄ変換部１０１は、撮像素子１００のアナログ出力信号をデジタル信号に変換する。
【００１２】
画像処理部１０２は、大気揺らぎ付加部１０８のほか、不図示の複数の画像処理部、画像バッファメモリ、画像データの圧縮処理を行う圧縮部、モニタなどに表示する表示制御部、記録媒体に記憶する記憶処理部などから構成される。
【００１３】
被写体認識部１０３は、画像データの局所的な特徴量に応じて画像データの領域分割を行って、領域毎の特徴量によって被写体を認識する。さらに領域毎に認識した被写体をグループ化する。例えば、山や空、海、建物、人物、木、動物、道路、線路、砂浜、地面、乗り物、電柱などをそれぞれのグループとして、領域毎の被写体認識情報として処理領域検出部１０６に通知する。
【００１４】
被写体距離情報取得部１０４は、前記Ａ／Ｄ変換部１０１から入力される画像データの各画素位置の被写体距離を取得し、二次元の被写体距離マップを生成する。被写体距離の取得について、近距離に関しては、位相差検出方式のオートフォーカス制御で算出できる測距情報などが使用できる。一方、遠距離に関しては、本撮影前に、視点の異なる複数画像データを取得し、ステレオマッチングにより算出する方法などが利用できる。被写体距離は、別の手法を用いて算出してもよい。また、二次元の被写体距離マップを画像データと共に不図示の記録メディア等に保存し、あとから本実施形態を実行できるようにしても良い。
【００１５】
温度情報取得部１０５は、赤外線サーモグラフィなどの温度センサであって、画像データの各画素に対応する位置における温度を取得する。処理領域検出部１０６は、被写体認識部１０３と被写体距離情報取得部１０４からの情報に基づいて、大気揺らぎ付加部１０８で処理対象とする領域を検出する。処理対象領域については後述する。
【００１６】
大気揺らぎ判定部１０７は、被写体距離情報取得部１０４と温度情報取得部１０５からの情報に基づいて、画像データの各画素に対応する位置において、大気の揺らぎに起因する光学的歪み（いわゆる陽炎）が生じる度合いＫを判定する。なお、Ｋは０〜１の値で表現されるものとする。一般に陽炎が観測されやすい領域は、被写体距離が遠く、温度が高い。よって、図２に示すように、被写体距離が遠いほど、また温度が高いほどＫの値を大きくする。例えば、被写体距離と温度のそれぞれに対して陽炎の効果の度合いＫ１、Ｋ２を設定しておき、平均を取ることでＫの値とする。
【００１７】
大気揺らぎ付加部１０８は、Ａ／Ｄ変換部１０１から入力される画像データのうち、処理領域検出部１０６で検出される処理領域に対して、前記大気揺らぎ判定部１０７の情報に基づいて、陽炎の効果を付加するよう画像処理を行う。なお、陽炎の効果とは、例えば建物等が撮影された撮影画像では、直線で構成される窓枠等のような被写体が波を打った形状に変化するような効果である。このような効果を生成する画像処理としては、領域内のピクセルを入れ替えるような公知のフィルタ処理を利用できる。処理領域に対してフィルタ処理画像を生成し、さらにαブレンディングなどの手法で元画像と合成する。この際、大気揺らぎ判定部１０７から得られる陽炎の効果の度合いＫを、αブレンディングのα値としてやれば、陽炎が画像に表れる度合いを制御することができる。
【００１８】
ここで、処理領域検出部１０６で検出する処理領域について説明する。処理領域は言い換えれば、大気揺らぎ付加部１０８によって陽炎の効果を付加したい領域である。前述した通り、陽炎は被写体距離が遠い領域で観測されやすい。そのため、被写体距離情報取得部１０４からの被写体距離情報に基づいて、あらかじめ定められた被写体距離Ｔ０を閾値として、Ｔ０よりも遠い被写体距離にある領域を処理対象領域として検出する。
【００１９】
また、陽炎が観測されやすい領域として、図３に示すように、アスファルトの道路や砂浜などの地面の上、飛行機や電車・車などの乗り物の周辺部が挙げられる。その逆に、空は、地面から距離が離れているため陽炎を観測されにくい。また、主要被写体や人物（特に顔）などは、陽炎が発生すると画像としての価値が損なわれてしまう。よって、前記被写体認識部１０３からの被写体情報に基づいて、地面の上や乗り物の周辺部を処理対象として検出し、主要被写体や人物、空は処理対象領域に含めないことが望ましい。
【００２０】
以上に述べたように、1.体距離がある閾値Ｔ０以上であること、2.体が陽炎の観測されやすいものであること、3.が発生しても画像の価値が損なわれないものであること、の３つの条件を共に満たす領域を、処理領域として検出する。
【００２１】
図４に本実施形態での撮影における全体のフローチャートを示す。ステップ４００は、撮影を開始し、前記撮像素子１００からの画像データを前記Ａ／Ｄ変換部１０１を通して各処理部に取り込み、ステップ４０１へ進む。ステップ４０１は、前記温度情報取得部１０５が温度情報を取得し、ステップ４０２へ進む。ステップ４０２は、前記被写体認識部１０３が画像データ全体に対して領域毎の被写体認識情報を取得し、ステップ４０３へ進む。
【００２２】
ステップ４０３は、前記被写体距離情報取得部１０４が画像データ全体に対して被写体距離情報を取得し、ステップ４０４へ進む。ステップ４０４は、前記処理領域検出部１０６が、前記被写体認識情報と前記被写体距離情報に基づいて、前記大気揺らぎ付加部１０８で処理する領域を検出し、ステップ４０５へ進む。
【００２３】
ステップ４０５は、前記大気揺らぎ判定部１０７が、前記被写体距離情報と前記温度情報に基づいて、前記大気揺らぎ付加部１０８で画像に付加する陽炎の効果の度合いを決定し、ステップ４０６へ進む。
【００２４】
ステップ４０６は、前記画像処理部１０２内の前記大気揺らぎ付加部１０８が、前記Ａ／Ｄ変換部１０１を通して得られる画像データのうち、前記処理領域検出部１０６で検出される各領域に対して、前記大気揺らぎ判定部１０７から得られる陽炎の効果の度合いＫに応じて、陽炎の効果を付加する画像処理を行い、ステップ４０７へ進む。なお、前記処理領域検出部１０６で検出されない領域、および、陽炎の効果の度合いＫが０である領域は、陽炎の効果が付加される画像処理は行われないことになる。
【００２５】
ステップ４０７は、画面全体の画像処理を終えたかどうかの判定を行う。処理が終わっていなければ、ステップ４０６に戻って、画像処理を実施する。全ての処理が終わった場合は、本撮影フローを完了させる。
【００２６】
以上説明したように、本発明の撮像装置では、被写体認識情報と被写体距離情報を用いて、陽炎が観測されやすい領域を処理領域として検出し、検出された領域に対して、温度情報に応じた陽炎の効果を付加するように画像処理を行うことで、ユーザの撮影時に記憶した印象に近い画像を得ることができる。
【００２７】
（第２の実施形態）
上述した第１の実施形態では、陽炎の効果の度合いを温度情報および被写体距離情報に基づいて判定した。本実施形態では、温度情報と被写体距離情報に加え、被写体の地面からの距離情報、天気情報、季節情報を用いることで、よりユーザの撮影時に記憶した印象に近い画像を生成できるよう、陽炎の効果の度合いを判定する方法について説明する。
【００２８】
図５は、本発明の第２の実施形態である。なお、図５において、図１の本発明の第１の実施形態と同様の構成要素に対しては、図１と同一の参照符号を付して説明を省略し、本実施形態に特徴的な構成あるいは処理の説明に留める。
【００２９】
鉛直距離情報取得部５０１は、前記被写体認識部１０３および前記被写体距離情報取得部１０４から得られる情報に基づいて、前記Ａ／Ｄ変換部１０１から入力される画像データの各画素位置の道路、線路、砂浜、地面からの鉛直方向の距離（鉛直距離）を取得し、画像データの二次元の鉛直距離マップを生成する。
【００３０】
鉛直距離を取得するために、前記被写体認識部１０３から得られる被写体認識情報から、道路、線路、砂浜、地面を検出する。なお、被写体認識情報の中にそれらの領域が含まれない場合は、鉛直距離情報を正しく取得できない。その場合は、後述する大気揺らぎ判定部１０７で、鉛直距離情報を参照した制御を無効にする。
【００３１】
道路、線路、砂浜、地面の領域を特定後、各画素についてそれらの領域からの鉛直距離を画素数として測定する。ここで、二次元の画像上では、被写体距離が遠くなるほど、同じ鉛直距離でも少ない画素数として測定される。そのため、前記被写体距離情報取得部１０４から得られる被写体距離情報に基づいて、鉛直距離を調整する必要がある。調整は、事前に被写体距離と鉛直距離の関係を計測し、被写体距離に応じて、鉛直距離に調整のための係数を乗算するなどして行えば良い。
【００３２】
天候情報取得部５０２は、撮影時の日時情報とＧＰＳなどから得られる位置情報に基づいて、天候情報を作成する。あるいは、不図示の通信制御部を介して他の情報機器と連携して、天候情報を取得しても良い。なお、天候情報は、撮影時の天気の種別（例えば、雨、雪、晴れ、曇りなど）を含んだ情報である。
【００３３】
気候情報取得部５０３は、撮影時の日時情報とＧＰＳなどから得られる位置情報に基づいて、気候情報を作成する。あるいは、不図示の通信制御部を介して他の情報機器と連携して、気候情報を取得しても良い。なお、気候情報は、撮影時の季節の種別（例えば、春、夏、秋、冬など）を含んだ情報である。
【００３４】
これらの情報から陽炎の効果の度合いを判定する方法について、図６を用いて説明する。陽炎は、被写体の鉛直距離が近いほど観測されやすい。また、天気の良い晴れた日に観測されやすく、曇りや雨の日には観測されにくい。さらに気温が高い夏に観測されやすく、冬には観測されにくい。
【００３５】
よって、大気揺らぎ判定部１０７は、被写体の鉛直距離が近いほど、天気が晴れているほど、季節が夏に近いほど陽炎の効果の度合いを高く判定する。例えば、被写体距離情報、温度情報、鉛直距離情報、天候情報、気候情報のそれぞれに対して陽炎の効果の度合いＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５を設定しておき、平均を取ることでＫの値とする。なお、被写体距離情報と温度情報以外は、必ずしも全ての情報を用いる必要はない。
【００３６】
大気揺らぎ再現部１０８は、大気揺らぎ判定部１０７の情報に基づいて、陽炎の効果を付加するよう画像処理を行う。
【００３７】
以上説明したように、本発明の撮像装置では、陽炎の効果の度合いを被写体距離情報、温度情報、鉛直距離情報、天候情報、気候情報といった複数の情報から判定することで、よりユーザの撮影時に記憶した印象に近い画像を生成することができる。
【符号の説明】
【００３８】
１００  撮像素子
１０１  Ａ／Ｄ変換部
１０２  画像処理部
１０３  被写体認識部
１０４  被写体距離情報取得部
１０５  温度情報取得部
１０６  処理領域検出部
１０７  大気揺らぎ判定部
１０８  大気揺らぎ再現部
５０１  鉛直距離情報取得部
５０２  天候情報取得部
５０３  気候情報取得部
【図１】
2019028742.tif 000003
【図２】
2019028742.tif 000004
【図３】
2019028742.tif 000005
【図４】
2019028742.tif 000006
【図５】
2019028742.tif 000007
【図６】
2019028742.tif 000008