(57)【要約】  本発明は、シーン認識方法および装置に関する。前記シーン認識方法は、画像と前記画像に対応するセンサデータとを取得するステップと、前記画像のシーンが非ハイ・ダイナミック・レンジ(HDR)シーンか判断することを、前記センサデータに従って、実行するステップと、前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するステップと、前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するステップと、を含む。
2015532070.tif 000002
【特許請求の範囲】
【請求項１】
画像と前記画像に対応するセンサデータとを取得するステップと、
前記画像のシーンが非ハイ・ダイナミック・レンジ(HDR)シーンか判断することを、前記センサデータに従って、実行するステップと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するステップと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するステップと、
を含む、シーン認識方法。
【請求項２】
前記画像の画像特徴を抽出するステップは、特に、
前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出する、請求項１に記載の方法。
【請求項３】
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、
画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するステップと、
前記画像が露光不足であるととともに、前記画像の明るい領域のピクセル比が  HDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であり、および／または、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンはHDRシーンである、と判断するステップと、
を含む、請求項２に記載の方法。
【請求項４】
画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、前記判断するステップは、特に、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが  明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する、請求項３に記載の方法。
【請求項５】
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断するステップと、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断するステップと、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断するステップと、
を含む、請求項３または４に記載の方法。
【請求項６】
前記方法は、前記画像の画像特徴を抽出するステップの前に、前記画像についてダウンサンプリング処理を実行するステップをさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
画像と前記画像に対応するセンサデータとを取得するように構成された取得ユニットと、
前記画像のシーンが非HDRシーンか判断することを、前記センサデータに従って、実行するように構成されている第１の判断ユニットと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するように構成されている抽出ユニットと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するように構成されている第２の判断ユニットと、
を備える、シーン認識装置。
【請求項８】
前記抽出ユニットは、
前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出するように、特に、構成されている、請求項７に記載の装置。
【請求項９】
前記第２の判断ユニットは、判定モジュールと判断モジュールとを備え、
前記判定モジュールは、画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するように構成されており、
前記判断モジュールは、画像が露光不足にされているとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および／または、画像が過度露光にされているとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンはHDRシーンである、と判断するように構成されている、
請求項８に記載の装置。
【請求項１０】
前記判定モジュールは、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する、
ように特に構成されている、請求項９に記載の装置。
【請求項１１】
前記判断モジュールは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断し、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断し、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断する、
ようにさらに構成されている、請求項９または１０に記載の装置。
【請求項１２】
前記装置は、
前記抽出ユニットが前記画像の前記画像特徴を抽出する前に、前記画像についてダウンリンクサンプリング処理を実行するように構成されている画像処理ユニットをさらに備える、請求項７から１１のいずれか一項に記載の装置。
【請求項１３】
請求項７から１２のいずれか一項に記載の装置を備える、端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、発明の名称を「シーン認識方法および装置」とし、かつ２０１３年1月２４日に中国特許庁に提出された、中国特許Ｎｏ．２０１３１００２７７２８．９の優先権の利益を主張し、その全てが引用によってここに組み込まれている。
【０００２】
本発明は、画像技術の分野に関するものであり、特に、シーン認識方法および装置に関するものである。
【背景技術】
【０００３】
ハイ・ダイナミックレンジ（High-Dynamic Range, HDR）シーンは、シーンダイナミックレンジが画像のダイナミックレンジよりも大きいシーンである。HDRシーンでは、高品質画像を得るように画像を合成するために、HDR合成アルゴリズムが適用される必要がある。したがって、画像のシーンがHDRシーンであるか否かを正確に判断することは、HDRシーンにおける高品質画像の生成のために必要不可欠な重要性のあるものである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記を考慮して、本発明は、画像のシーンがHDRシーンであるか否かを認識する精度を改良することができるシーン認識方法および装置を提供する。
【課題を解決するための手段】
【０００５】
第１の態様によれば、本発明は、シーン認識方法を提供し、前記方法は、
画像と前記画像に対応するセンサデータとを取得するステップと、
前記画像のシーンが非ハイ・ダイナミックレンジ(HDR)シーンか判断することを、前記センサデータに従って、実行するステップと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するステップと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するステップと、を含む。
【０００６】
前記第１の態様における第１の可能実施形態手法では、前記画像の画像特徴を抽出する前記ステップは、特に、前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出する。
【０００７】
前記第１の態様における前記第１の可能実施形態手法に関連して、第２の可能実施形態手法では、前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、
画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するステップと、
前記画像が露光不足であるととともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であり、および／または、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、 前記画像のシーンはHDRシーンである、と判断するステップと、を含む。
【０００８】
前記第１の態様における第２の可能実施形態手法に関連して、第３の可能実施形態手法では、画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、前記判断するステップは、特に、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、明るい領域のヒストグラム変化量の大きさが明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する。
【０００９】
前記第１の態様における第２の可能実施形態手法に関連して、または、前記第１の態様における第３の可能実施形態手法に関連して、第４の可能実施形態手法では、前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断するステップと、前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断するステップと、前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断するステップと、をさらに含む。
【００１０】
前記第１の態様に関連して、または、前記第１の態様における第１の可能実施形態手法に関連して、または、前記第１の態様における第２の可能実施形態手法に関連して、または、前記第１の態様における第３の可能実施形態手法に関連して、または、前記第１の態様における第４の可能実施形態手法に関連して、第５の可能実施形態手法では、前記画像の画像特徴を抽出するステップの前に、前記画像についてダウンサンプリング処理を実行するステップをさらに含む。
【００１１】
第２の態様によれば、本発明は、シーン認識装置を提供し、前記装置は、
画像と前記画像に対応するセンサデータとを取得するように構成された取得ユニットと、
前記画像のシーンが非HDRシーンか判断することを、前記センサデータに従って、実行するように構成されている第１の判断ユニットと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するように構成されている抽出ユニットと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するように構成されている第２の判断ユニットと、を含む。
【００１２】
前記第２の態様における第１の可能実施形態手法では、前記抽出ユニットは、特に、前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出するように、特に、構成されている。
【００１３】
前記第２の態様における第１の可能実施形態手法に関連して、第２の可能実施形態手法では、前記第２の判断ユニットは、判定モジュールと判断モジュールとを備え、前記判定モジュールは、画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するように構成されており、前記判断モジュールは、画像が露光不足にされているとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および／または、画像が過度露光にされているとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンはHDRシーンである、と判断するように構成されている。
【００１４】
前記第２の態様における第２の可能実施形態手法に関連して、第３の可能実施形態手法では、前記判定モジュールは、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する、ように特に構成されている。
【００１５】
前記第２の態様における第２の可能実施形態手法に関連して、または、前記第２の態様における第３の可能実施形態手法に関連して、第４の可能実施形態手法では、前記判断モジュールは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断し、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断し、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断する、ようにさらに構成されている。
【００１６】
前記第２の態様に関連して、または、前記第２の態様における第１の可能実施形態手法に関連して、または、前記第２の態様における第２の可能実施形態手法に関連して、または、前記第２の態様における第３の可能実施形態手法に関連して、または、前記第２の態様における第４の可能実施形態手法に関連して、第５の可能実施形態手法では、前記装置は、前記抽出ユニットが前記画像の前記画像特徴を抽出する前に、前記画像についてダウンリンクサンプリング処理を実行するように構成されている画像処理ユニットを、さらに備える。
【００１７】
第３の態様によれば、本発明は、端末を提供し、前記端末は、前記第２の態様におけるいずれかの可能実施形態手法に係る装置を備える。
【００１８】
上記の解決手段では、画像のシーンが非HDRシーンであるか否か判断するために、センサデータが使用され、シーンを判断するスピードを効果的に上げることができ、前記判断についてセンサデータに従って実行できないとき、前記画像のシーンを判断するために画像特徴が使用され、前記画像のシーンがHDRシーンであるか否か判断する精度を効果的に向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】図１は本発明の実施形態１に係るシーン認識方法のフローチャートである。
【図２】図２は本発明の実施形態２に係るシーン認識装置の概要構成図である。
【図３】図３は本発明の実施形態３に係る撮影機能を有する端末の概要構成図である。
【発明を実施するための形態】
【００２０】
本発明の目的と、技術的解決手段と、利点とをより明瞭にするために、本発明について、添付図面を参照して詳細に、以下にさらに説明する。明らかに、説明される実施形態は、単なる例示であり、本発明の実施形態の全てではない。創作活動をせずに本発明の実施形態に基づき当業者によって得られる他の全ての実施形態は、本発明の保護範囲の中に入ることとなる。
【００２１】
以下では、本発明の実施形態１で提供されるシーン認識方法を詳細に説明するための一実施例として、図１を使用するとともに、図１は、本発明の実施形態１に係るシーン認識方法のフローチャートである。前記シーン認識方法は、撮影機能を持つ端末によって実行される。図１に示されているように、シーン認識方法は、以下のステップを含む。
【００２２】
ステップＳ１０１：画像に対応する画像データおよびセンサデータを取得する。
【００２３】
前記画像は、前記端末によって撮影されている間、プレビュー画像であり、前記センサデータは、前記プレビュー画像が取得されたとき、センサを使用することで取得されたセンサデータである。前記センサデータは、例えば、センサを使用することで取得される、露光時間、平均輝度、および光感受性（国際標準化機構、ISO）のようなデータである。
【００２４】
ステップＳ１０２：前記センサデータにしたがって、画像のシーンが非HDRシーンか判断する、ことを実行する。
【００２５】
この時に取得された画像のシーンが非HDRシーンか否か、取得されたセンサデータにしたがって、端末が予備的に判断する。取得されたセンサデータが非HDRシーンの基準に適合するとき、前記画像のシーンは非HDRシーンである、と判断され得る。例えば、取得された露光時間が長すぎる場合、取得されたISO値は大きすぎ、または、取得された平均輝度は低すぎる。これは、画像の現在のシーンが夜のシーンであるか、または、僅かに照らされたシーンであることを示すとともに、前記画像の前記シーンが非HDRシーンであることが確認され得る。
【００２６】
ここで、センサデータにしたがって、前記画像のシーンがHDRシーンではないと判断できるのみである、ことに留意すべきであるとともに、前記画像のシーンが非HDRシーンであるか否か判断できないことになり得る、ことに留意すべきである。したがって、前記センサデータにしたがって、前記画像のシーンが非HDRシーンであるか否か判断できないとき、他のステップ処理によって実行される更なる判断方法が必要となる。
【００２７】
ステップＳ１０３：前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出する。
【００２８】
具体的には、各画像が画像ヒストグラムに対応するとともに、暗い領域のピクセル比（low_sum_ratio）、明るい領域のピクセル比（high_sum_ratio）、暗い領域のヒストグラム変化量の大きさ（low_diff_hist）、明るい領域のヒストグラム変化量の大きさ（high_diff_hist）など、前記画像の状態が、前記画像に対応する画像ヒストグラム分布に従って抽出され、これらの抽出された画像特徴に従って、前記画像のシーンがHDRシーンであるか否か、端末が更に判断する。
【００２９】
ステップＳ１０４：画像特徴に従って、画像のシーンがHDRシーンであるか否か判断する。
【００３０】
画像がHDRシーンであるか否か判断するために使用されるしきい値は、端末において予め設定されており、これらのしきい値は、暗い領域のピクセル比のしきい値（sumThreshold_low）、明るい領域のピクセル比のしきい値（sumThreshold_high）、暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）、明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）、
暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）以内であるときの暗い領域のピクセルの最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）、
明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）以内であるときの明るい領域のピクセルの最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF）、HDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）と、HDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）と、を含む、ことに第１に留意すべきである。各種端末の異なる構成に応じた異なる値に、各しきい値を設定することができ、本発明では、しきい値の値は、具体的に限定されない。
【００３１】
上記の予め設定された複数のしきい値に基づき、端末は、抽出された画像特徴に従った判断を実行する。画像が露光不足か、あるいは、画像が過度露光であるか、端末は第１に判断する。
【００３２】
抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像は露光不足である、と判断され得る。
暗い領域のピクセル比（low_sum_ratio）が暗い領域のピクセル比のしきい値（sumThreshold_low）以上である状態と、
暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low)以上であるとともに、暗い領域のピクセル比（low_sum_ratio）が暗い領域のピクセルの最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）以上である状態。
【００３３】
上記の状態の１つに対応するとき、前記画像の輝度ヒストグラム分布は、暗い領域に集中するか、または、暗い領域内に比較的に集中するので、画像は露光不足とされる。
【００３４】
抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像は過度露光である、と判断され得る。
明るい領域のピクセル比（high_sum_ratio）が明るい領域のピクセル比のしきい値（sumThreshold_high）以上である状態と、
明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high)以上であるとともに、明るい領域のピクセル比（high_sum_ratio）が明るい領域のピクセルの最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF）以上である状態。
【００３５】
上記の状態の１つに対応するとき、前記画像の輝度ヒストグラム分布は、明るい領域に集中するか、または、明るい領域内に比較的に集中するので、画像は過度露光とされる。
【００３６】
画像が露光不足であるか否かおよび画像が過度露光であるか否か、が確認された後に、判断処理がさらに実行される。
【００３７】
前記抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像のシーンはHDRシーンである、と判断され得る。
【００３８】
画像が露光不足にされているとともに、明るい領域のピクセル比（high_sum_ratio）がHDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）以上である（以下、「状態１」と呼ぶ）。
【００３９】
画像が過度露光にされているとともに、暗い領域のピクセル比（low_sum_ratio）がHDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）以上である（以下、「状態２」と呼ぶ）。
【００４０】
上記の状態の１つに対応するとき、現在の画像のダイナミックレンジが現実のシーンのダイナミックレンジを十分に表すことができないことを示す。したがって、前記画像のシーンはHDRシーンである。
【００４１】
それでも、状態１に対応した画像特徴のケースと、状態２に対応した画像特徴のケースと、状態１および状態２の両方に対応した画像特徴のケースとの間で、HDRシーンにおいて相違点がある。画像合成のためのより正確なデータを提供するために、HDRシーンは、さらに分類される必要がある。表１に示されているように、表１は、HDRシーンカテゴリを判断するための論理関係表である。
【００４２】
【表１】
2015532070.tif 000003
【００４３】
画像の画像特徴が状態１に対応するとともに、前記画像が過度露光ではないとき、画像のシーンが第１のHDRシーンであると判断されることが、表１から突き止めることができる。画像の画像特徴が状態２に対応するとともに、前記画像が露光不足ではないとき、画像のシーンは第２のHDRシーンであると判断される。画像の画像特徴が状態１および状態２の両方に同時に対応するとき、画像のシーンは第３のHDRシーンであると判断される。画像の画像特徴が状態１および状態２のいずれにも対応しないとき、画像のシーンは非HDRシーンであると判断される。
【００４４】
画像のシーンがHDRシーンであると判断された後、前記HDRシーンのタイプがさらに判断され、例えば、露光および露光の強さのために必要とされる画像フレームの数、HDRシーンにおける画像に実行されるHDR合成のために必要とされる画像フレームの数など、より正確なデータを提供でき、その結果、HDRシーンにおいて撮影された画像の品質を効果的に改善する。
【００４５】
具体的には、画像のシーンが第１のHDRシーンであると判断された後、撮影中にHDR合成が実行されたとき、画像の２つのフレームが前記判断された第１のHDRシーンに従って合成され、画像中に２つのフレームを合成するために、１つのフレームがノーマルに露光され、他のフレームが長時間露光される、ことが表１からさらに突き止めることができる。画像のシーンが第２のHDRシーンであると判断された後、撮影中にHDR合成が実行されるとき、画像の２つのフレームが前記判断された第２のHDRシーンに従って合成され、画像中に２つのフレームを合成するために、１つのフレームがノーマルに合成され、他のフレームが短時間露光される。画像のシーンが第３のHDRシーンであると判断された後、撮影中にHDR合成が実行されるとき、画像の３つのフレームが判断された３つのHDRシーンに従って合成され、画像中に３つのフレームを合成するために、１つのフレームがノーマルに合成され、１つのフレームが短時間露光され、１つのフレームが長時間露光される。さらに、画像のシーンが非HDRシーンであると判断されたとき、撮影中にHDR合成は実行される必要なく、対応する処理は、他のシーンに従って実行される。HDRシーンの各種のタイプをさらに判断することによって、HDRシーンの各種タイプに従って次のHDR合成をするために、フレームの数に対応するとともに、露光の強さに対応するように提供できる。その結果、HDRシーンの各タイプにおいて撮影された画像の品質を改善できる。
【００４６】
望ましくは、画像特徴を抽出するために消費される時間を低減するために、画像の画像特徴が抽出される前に、画像についてダウンリンクサンプリング処理が実行され得る。例えば、画像の実際のピクセルが１９２０×１０８０ピクセルであり、画像特徴が抽出される前に、前記画像のピクセルは６４０×３６０ピクセルに削減される。この方法では、画像特徴が抽出されるとき、時間消費が低減され、その結果、シーン認識がスピードアップする。
【００４７】
本発明の実施形態１で提供されるシーン認識方法を提供することによって、画像が非HDRシーンであるか否かが、画像に対応するセンサデータに従って、第１に判断され、シーン判断処理のスピードを効果的に速めることができ、前記判断がセンサデータに従って実行できないとき、画像特徴が画像のシーンを判断するために使用され、画像のシーンがHDRシーンであるか否かを判断する精度を効果的に改善でき、その結果、HDRシーンにおいて撮影された画像の品質を改善する。
【００４８】
本発明の実施形態２として提供されたシーン認識装置を詳細に説明するために一実施例として図２を以下では使用する。図２は、本発明の実施形態２に係るシーン認識装置の概要構成図である。前記シーン認識装置は、撮影機能を持つ端末内に配置されているとともに、本発明の実施形態１で提供されるシーン認識方法を実行するために使用される。図２で示されているように、シーン認識装置は、取得ユニット２１０と、第１の判断ユニット２２０と、抽出ユニット２３０と、第２の判断ユニット２４０とを含む。
【００４９】
取得ユニット２１０は、画像と前記画像に対応するセンサデータとを取得するように構成されている。
【００５０】
前記画像は、前記端末によって撮影している間、プレビュー画像であり、前記センサデータは、前記プレビュー画像が取得されたときにセンサを使用することで取得されたセンサデータである。前記センサデータは、例えば、露光時間、平均輝度、ISOのようなデータである。
【００５１】
第１の判断ユニット２２０は、前記画像のシーンが非HDRシーンか判断することを、前記センサデータに従って、実行するように構成されている。
【００５２】
第１の判断ユニット２２０は、この時に取得された画像のシーンが非HDRシーンであるか否か、前記取得されたセンサデータに従って、予備的に判断する。取得されたセンサデータが非HDRシーンの基準に適合するとき、前記画像のシーンは非HDRシーンである、と判断され得る。例えば、取得された露光時間が長すぎる場合、取得されたISO値は大きすぎ、または、取得された平均輝度は低すぎる。これは、画像の現在のシーンが夜のシーンであるか、または、僅かに照らされたシーンであることを示すとともに、前記画像の前記シーンが非HDRシーンであることが確認され得る。
【００５３】
ここで、センサデータにしたがって、第１の判断ユニット２２０は、前記画像のシーンがHDRシーンではないと判断できるのみである、ことに留意すべきであるとともに、第１の判断ユニット２２０は、前記画像のシーンが非HDRシーンであるか否か判断できないことになり得る、ことに留意すべきである。したがって、第１の判断ユニット２２０が、前記センサデータにしたがって、前記画像のシーンが非HDRシーンであるか否か判断できないとき、他のユニットによって実行される更なる判断手段が必要となる。
【００５４】
抽出ユニット２３０は、第１の判断ユニット２２０が、前記センサデータにしたがって、前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するように構成されている。
【００５５】
具体的には、各画像が画像ヒストグラムに対応するとともに、暗い領域のピクセル比（low_sum_ratio）、明るい領域のピクセル比（high_sum_ratio）、暗い領域のヒストグラム変化量の大きさ（low_diff_hist）、明るい領域のヒストグラム変化量の大きさ（high_diff_hist）など、前記画像の状態を、抽出ユニット２３０は、前記画像に対応する画像ヒストグラム分布に従って抽出し、第２の判断ユニット２４０は、これらの抽出された画像特徴に従って、前記画像のシーンがHDRシーンであるか否か、更に判断する。
【００５６】
第２の判断ユニット２４０は、前記画像特徴に従って、前記画像がHDRシーンであるか否か判断するように構成されている。
【００５７】
画像がHDRシーンであるか否か判断するために使用されるしきい値は、第２の判断ユニット２４０において予め設定されており、これらのしきい値は、暗い領域のピクセル比のしきい値（sumThreshold_low）、明るい領域のピクセル比のしきい値（sumThreshold_high）、暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）、明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）、暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）以内であるときの暗い領域のピクセルの最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）、明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）以内であるときの明るい領域のピクセルの最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF ）、HDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）と、HDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）と、を含む、ことに第１に留意すべきである。各種端末の異なる構成に応じた異なる値に、各しきい値を設定することができ、本発明では、しきい値の値は、具体的に限定されない。
【００５８】
上記の予め設定された複数のしきい値に基づき、第２の判断ユニット２４０は、抽出された画像特徴に従った判断を実行する。
【００５９】
さらに、第２の判断ユニット２４０は、判定モジュール２４１と判断モジュール２４２とを含む。
【００６０】
第１に、判定モジュール２４１は、画像が露光不足であるか否か、あるいは、画像が過度露光であるか否か、判断する。
【００６１】
抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像は露光不足である、と判断され得る。
暗い領域のピクセル比（low_sum_ratio）が暗い領域のピクセル比のしきい値（sumThreshold_low）以上である状態と、
暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low)以上であるとともに、暗い領域のピクセル比（low_sum_ratio）が暗い領域のピクセルの最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）以上である状態。
【００６２】
抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像は過度露光である、と判断され得る。
明るい領域のピクセル比（high_sum_ratio）が明るい領域のピクセル比のしきい値（sumThreshold_high）以上である状態と、
明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high)以上であるとともに、明るい領域のピクセル比（high_sum_ratio）が明るい領域のピクセルの最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF）以上である状態。
【００６３】
画像が露光不足であるか否かおよび画像が過度露光であるか否か、が確認された後に、判断モジュール２４２が判断処理をさらに実行する。
【００６４】
判断モジュール２４２は、前記抽出された画像特徴が以下の状態の少なくとも１つに対応するとき、前記画像のシーンはHDRシーンである、と判断するように構成されている。
【００６５】
画像が露光不足にされているとともに、明るい領域のピクセル比（high_sum_ratio）がHDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）以上である（以下、「状態１」と呼ぶ）。
【００６６】
画像が過度露光にされているとともに、暗い領域のピクセル比（low_sum_ratio）がHDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）以上である（以下、「状態２」と呼ぶ）。
【００６７】
それでも、状態１に対応した画像特徴のケースと、状態２に対応した画像特徴のケースと、状態１および状態２の両方に対応した画像特徴のケースとの間で、HDRシーンにおいて相違点がある。画像合成のためのより正確なデータを提供するために、HDRシーンは、さらに分類される必要がある。
【００６８】
したがって、判断モジュール２４２は、画像の画像特徴が状態１に対応するとともに、前記画像が過度露光ではないとき、画像のシーンが第１のHDRシーンであると判断し、画像の画像特徴が状態２に対応するとともに、前記画像が露光不足ではないとき、画像のシーンは第２のHDRシーンであると判断し、画像の画像特徴が状態１および状態２の両方に同時に対応するとき、画像のシーンは第３のHDRシーンであると判断し、画像の画像特徴が状態１および状態２のいずれにも対応しないとき、画像のシーンは非HDRシーンであると判断する、ようにさらに構成されている。
【００６９】
画像のシーンがHDRシーンであると判断された後、第２の判断ユニット２４０は、前記HDRシーンのタイプをさらに判断し、例えば、露光および露光の強さのためのフレームの数、HDRシーンにおける画像に実行されるHDR合成のためのフレームの数など、より正確なデータを提供でき、その結果、HDRシーンにおいて撮影された画像の品質を効果的に改善する。
【００７０】
具体的には、判断モジュール２４２によって判断された後、画像が撮影されるとともに合成されたとき、画像のシーンが第１のHDRシーンであると判断モジュール２４２が判断するとき、２つのフレームが前記判断された第１のHDRシーンに従って合成され、ここで、画像中に２つのフレームを合成するために、１つのフレームがノーマルに露光され、他方のフレームは長時間露光される。画像のシーンが第２のHDRシーンであると判断モジュール２４２が判断するとき、画像の２つのフレームが前記判断された第２のHDRシーンに従って合成され、ここで、画像中に２つのフレームを合成するために、１つのフレームがノーマルに露光され、他方のフレームは短時間露光される。判断モジュール２４２が像のシーンが第３のHDRシーンであると判断するとき、３つのフレームが判断された３つのHDRシーンに従って合成され、ここで、画像中に３つのフレームを合成するために、１つのフレームがノーマルに合成され、１つのフレームが短時間露光され、１つのフレームが長時間露光される。
【００７１】
望ましくは、画像特徴を抽出するために消費される時間を低減するために、シーン認識装置は、さらに、画像処理ユニット３５０を含むこととしてもよい。画像処理ユニット２５０は、抽出ユニット２３０が画像の画像特徴を抽出する前に、画像についてダウンリンクサンプリング処理を実行するように構成されている。例えば、画像の実際のピクセルが１９２０×１０８０ピクセルであり、画像特徴が抽出される前に、前記画像のピクセルは６４０×３６０ピクセルに削減される。この方法では、画像特徴が抽出されるとき、時間消費が低減され、その結果、シーン認識がスピードアップする。
【００７２】
本発明の実施形態２で提供されるシーン認識装置を使用することによって、画像が非HDRシーンであるか否かが、画像に対応するセンサデータに従って、第１に判断され、シーン判断処理のスピードを効果的に速めることができ、前記判断がセンサデータに従って実行できないとき、画像特徴が画像のシーンを判断するために使用され、画像のシーンがHDRシーンであるか否かを判断する精度を効果的に改善でき、その結果、HDRシーンにおいて撮影された画像の品質を改善する。
【００７３】
ハードウェアの実現において、上記取得ユニット２１０は、具体的には、カメラおよびセンサを有していることとしてもよい。上記取得ユニット２１０を除いた上記ユニットが、ハードウェア形態で、構成される、または、端末のプロセッサから独立して、構成される、こととしてもよく、また、プロセッサによって実行されて、上記モジュールに対応する動作を実行するように、ソフトウェア形態で、端末のメモリ内に、保存されることとしてもよい。プロセッサは、中央処理装置（CPU）、マイクロプロセッサ、シングルチップマイクロプロセッサなどであり得る。
【００７４】
本発明の実施形態は、本発明の実施形態２で提供されたシーン認識装置を含む、端末をさらに提供し、前記端末は、例えば、携帯電話またはタブレットコンピュータなど、撮影機能を有するものとしてもよい。
【００７５】
図３に示されているように、図３は、本発明の実施形態３に係る撮影機能を有する端末の概要構成図である。前記端末は、カメラ３１０と、センサ３２０と、メモリ３３０と、プロセッサ３４０とを備える。プロセッサ３４０には、カメラ３１０と、センサ３２０と、メモリ３３０と、プロセッサ３４０とが個別に接続されている。もちろん、前記端末は、アンテナ、ベースバンド処理手段、中間無線周波処理手段、入出力手段など、一般的な構成要素をさらに含むこととしてもよく、本発明の実施形態によって限定されない。
【００７６】
カメラ３１０は、画像を取得するように構成されている。センサ３２０は、カメラ３１０によって取得された画像に対応するセンサデータを取得するように構成されている。
【００７７】
メモリ３３０は一グループのプログラムコードを記憶し、プロセッサ３４０はメモリ３３０に記憶された前記プログラムコードを実行するように構成されているとともに、以下の動作を実行するように構成されている。
画像と前記画像に対応するセンサデータとを取得し、
前記画像のシーンが非HDR（non-high-dynamic range:非ハイ・ダイネミック・レンジ）シーンか判断することを、前記センサデータに従って、実行し、
前記センサデータにしたがって、前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出し、
前記画像特徴に従って、前記画像のシーンがHDRシーンであるか否か、判断する。
【００７８】
さらに、前記画像の画像特徴の前記抽出は、具体的には、
前記画像の状態が、前記画像の画像ヒストグラム分布、暗い領域のピクセル比、明るい領域のピクセル比、暗い領域のヒストグラム変化量の大きさ、明るい領域のヒストグラム変化量の大きさ、に従って抽出される。
【００７９】
さらに、前記画像特徴に従って、前記画像のシーンがHDRシーンであるか否か、前記判断するステップは、
前記画像特徴に従って、画像が露光不足であるか否か、判断する、あるいは、画像が過度露光であるか否か、判断するステップと、
前記画像が露光不足であるととともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値より小さいとき、および／または、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、    前記画像のシーンはHDRシーンである、と判断するステップと、を含む。
【００８０】
さらに、画像特徴に従って、画像が露光不足であるか否か、判断するとともに、画像が過度露光であるか否か、判断するステップは、具体的には、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが  明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する。
【００８１】
さらに、画像特徴に従って、前記画像のシーンがHDRシーンであるか否か、前記判断するステップは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける画像の明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断するステップと、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断するステップと、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断するステップと、を含む。
【００８２】
さらに、プロセッサ３４０は、メモリ３３０からプログラムコードを読み出して、下記の動作を実行するように、さらに構成されている。
画像についてダウンサンプリング処理を実行する。
【００８３】
本発明の実施形態３で提出された撮影機能を有する端末を使用することによって、画像に対応するセンサデータに従って、前記画像が非HDRシーンであるか否か、第1に判断され、シーン判断のスピードを効果的に上げることができ、前記判断についての処理が前記センサデータに従って実行できないとき、前記画像特徴が前記画像のシーンを判断するために使用され、前記画像のシーンがHDRシーンであるか否か判断する精度を効果的に改善することができ、その結果、HDRシーンにおいて撮影された画像の品質を改善する。
【００８４】
当業者は、本明細書で説明された実施形態で記載された実施例の組合せにおいて、ユニット、およびアルゴリズムステップが電子的ハードウェア、コンピュータソフトウェアまたはそれらの組合せによって実行され得る、とさらに理解できる。ハードウェアとソフトウェアとの間の互換性について明確に説明するために、上記では、機能に対応する各実施例の構成およびステップが一般的に説明されている。前記機能がハードウェアまたはソフトウェアによって実行されることにかかわらず、特定用途および技術的解決手段の設計拘束条件に依存する。当業者は、各特定用途について説明された機能を実行するために異なる方法を使用できるが、それを実現することは、本発明の範囲の外にある、と考えるべきではない。
【００８５】
本明細書で説明された実施形態の組合せにおいて、方法またはアルゴリズムステップが、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはそれらの組合せによって実施され得る。前記ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、リードオンリメモリ（ＲＯＭ）、電気的プログラム可能ＲＯＭ、電気的消去可能プログラムＲＯＭ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または、当技術分野で知られているあらゆる他の形式の記録媒体、の中に配置することができる。
【００８６】
上記特定の実施手段では、本発明の目的、技術的解決手段および効果がさらに詳細に説明されている。上記詳細な説明は、単なる本発明の特定の実施手段に過ぎず、本発明の保護範囲を限定することを意図していない、と理解されるべきである。本発明の思想及び原理から逸脱しない任意の修正、均等な置換、または改良は、本発明の保護範囲であるべきである。
【符号の説明】
【００８７】
２１０  取得ユニット
２２０  第１の判断ユニット
２３０  抽出ユニット
２４０  第２の判断ユニット
３１０  カメラ
３２０  センサ
３３０  メモリ
３４０  プロセッサ
【図１】
2015532070.tif 000004
【図２】
2015532070.tif 000005
【図３】
2015532070.tif 000006
【手続補正書】
【提出日】平成27年3月19日(2015.3.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
前記画像は、前記端末によって撮影されている間に取得されたプレビュー画像であり、前記センサデータは、前記プレビュー画像が取得されたとき、センサを使用することで取得されたセンサデータである。前記センサデータは、例えば、センサを使用することで取得される、露光時間、平均輝度、および光感受性（国際標準化機構、ISO）のようなデータである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
画像がHDRシーンであるか否か判断するために使用されるしきい値は、端末において予め設定されており、これらのしきい値は、暗い領域のピクセル比のしきい値（sumThreshold_low）、明るい領域のピクセル比のしきい値（sumThreshold_high）、暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）、明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）、暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）以内であるときの暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）、明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）以内であるときの明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF）、HDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）と、HDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）と、を含む、ことに第１に留意すべきである。各種端末の異なる構成に応じた異なる値に、各しきい値を設定することができ、本発明では、しきい値の値は、具体的に限定されない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
前記画像は、前記端末によって撮影している間に取得されたプレビュー画像であり、前記センサデータは、前記プレビュー画像が取得されたときにセンサを使用することで取得されたセンサデータである。前記センサデータは、例えば、露光時間、平均輝度、ISOのようなデータである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
第２の判断ユニット２４０は、前記画像特徴に従って、前記画像のシーンがHDRシーンであるか否か判断するように構成されている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
画像がHDRシーンであるか否か判断するために使用されるしきい値は、第２の判断ユニット２４０において予め設定されており、これらのしきい値は、暗い領域のピクセル比のしきい値（sumThreshold_low）、明るい領域のピクセル比のしきい値（sumThreshold_high）、暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）、明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）、暗い領域のヒストグラム変化量の大きさ（low_diff_hist）が暗い領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_low）以内であるときの暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN_FOR_DIFF）、明るい領域のヒストグラム変化量の大きさ（high_diff_hist）が明るい領域のヒストグラム変化量の大きさのしきい値（DIFFThreshold_high）以内であるときの明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN_FOR_DIFF ）、HDRシーンにおける暗い領域のピクセル比の最小値（HDR_SUM_THRESHOLD_LOW_MIN）と、HDRシーンにおける明るい領域のピクセル比の最小値（HDR_SUM_THRESHOLD_HIGH_MIN）と、を含む、ことに第１に留意すべきである。各種端末の異なる構成に応じた異なる値に、各しきい値を設定することができ、本発明では、しきい値の値は、具体的に限定されない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
望ましくは、画像特徴を抽出するために消費される時間を低減するために、シーン認識装置は、さらに、画像処理ユニット２５０を含むこととしてもよい。画像処理ユニット２５０は、抽出ユニット２３０が画像の画像特徴を抽出する前に、画像についてダウンリンクサンプリング処理を実行するように構成されている。例えば、画像の実際のピクセルが１９２０×１０８０ピクセルであり、画像特徴が抽出される前に、前記画像のピクセルは６４０×３６０ピクセルに削減される。この方法では、画像特徴が抽出されるとき、時間消費が低減され、その結果、シーン認識がスピードアップする。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像と前記画像に対応するセンサデータとを取得するステップと、
前記画像のシーンが非ハイ・ダイナミック・レンジ(HDR)シーンであるか否か、前記センサデータに従って、判断するステップと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するステップと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するステップと、
を含む、シーン認識方法。
【請求項２】
前記画像の画像特徴を抽出するステップは、特に、
前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出する、請求項１に記載の方法。
【請求項３】
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、
画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するステップと、
前記画像が露光不足であるととともに、前記画像の明るい領域のピクセル比が  HDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であり、および／または、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンはHDRシーンである、と判断するステップと、
を含む、請求項２に記載の方法。
【請求項４】
画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、前記判断するステップは、特に、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが  明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する、請求項３に記載の方法。
【請求項５】
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断する前記ステップは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断するステップと、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断するステップと、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断するステップと、
を含む、請求項３または４に記載の方法。
【請求項６】
前記方法は、前記画像の画像特徴を抽出するステップの前に、前記画像についてダウンサンプリング処理を実行するステップをさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
画像と前記画像に対応するセンサデータとを取得するように構成された取得ユニットと、
前記画像のシーンが非HDRシーンであるか否か、前記センサデータに従って、判断するように構成されている第１の判断ユニットと、
前記画像のシーンが非HDRシーンであるか否か判断できないとき、前記画像の画像特徴を抽出するように構成されている抽出ユニットと、
前記画像のシーンがHDRシーンであるか否か、前記画像特徴に従って、判断するように構成されている第２の判断ユニットと、
を備える、シーン認識装置。
【請求項８】
前記抽出ユニットは、
前記画像の画像ヒストグラム分布と、暗い領域のピクセル比と、明るい領域のピクセル比と、暗い領域のヒストグラム変化量の大きさと、明るい領域のヒストグラム変化量の大きさと、に従って抽出するように、特に、構成されている、請求項７に記載の装置。
【請求項９】
前記第２の判断ユニットは、判定モジュールと判断モジュールとを備え、
前記判定モジュールは、画像が露光不足であるか否か、および、画像が過度露光であるか否か、前記画像特徴に従って、判断するように構成されており、
前記判断モジュールは、画像が露光不足にされているとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および／または、画像が過度露光にされているとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンはHDRシーンである、と判断するように構成されている、
請求項８に記載の装置。
【請求項１０】
前記判定モジュールは、
前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は露光不足である、と判断し、
暗い領域のヒストグラム変化量の大きさが暗い領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、暗い領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記暗い領域のピクセル比が暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像は露光不足である、と判断し、
前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定されたしきい値以上であるとき、前記画像は、過度露光である、と判断し、
明るい領域のヒストグラム変化量の大きさが明るい領域のヒストグラム変化量の大きさの予め設定されたしきい値以上であるとともに、明るい領域のヒストグラム変化量の大きさが前記しきい値に達したときに、前記明るい領域のピクセル比が明るい領域のピクセル比の予め設定された最小値以上であるとき、前記画像は、過度露光である、と判断する、
ように特に構成されている、請求項９に記載の装置。
【請求項１１】
前記判断モジュールは、
前記画像が露光不足であり、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が過度露光されていないとき、前記画像のシーンが第１のHDRシーンであると判断し、
前記画像が過度露光であり、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとともに、前記画像が露光不足にされていないとき、前記画像のシーンが第２のHDRシーンであると判断し、
前記画像が露光不足であるとともに、前記画像の明るい領域のピクセル比がHDRシーンにおける明るい領域のピクセル比の予め設定された最小値以上であるとき、および、前記画像が過度露光であるとともに、前記画像の暗い領域のピクセル比がHDRシーンにおける暗い領域のピクセル比の予め設定された最小値以上であるとき、前記画像のシーンが第３のHDRシーンであると判断する、
ようにさらに構成されている、請求項９または１０に記載の装置。
【請求項１２】
前記装置は、
前記抽出ユニットが前記画像の前記画像特徴を抽出する前に、前記画像についてダウンリンクサンプリング処理を実行するように構成されている画像処理ユニットをさらに備える、請求項７から１１のいずれか一項に記載の装置。
【請求項１３】
請求項７から１２のいずれか一項に記載の装置を備える、端末。
【国際調査報告】
2015532070.tif 000007
2015532070.tif 000008
2015532070.tif 000009
2015532070.tif 000010