(57)【要約】  本発明は、パノラマ画像のスカイフィルタ方法及び携帯端末を提供する。前記方法は、幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得するステップと、マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングするステップと、データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得するステップと、テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得するステップと、初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップと、精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップと、を含む。
2021528784.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ画像のスカイフィルタ方法であって、前記方法は、
幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得するステップと、
マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングするステップと、
データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得するステップと、
テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得するステップと、
初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップと、
精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップと、を含む、
ことを特徴とする方法。
【請求項２】
前記マーキングされたマスク画像におけるスカイ領域の画素値は、１にマーキングされ、地面領域の画素値は、０にマーキングされる、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記特徴は、第１の特徴セットと第２の特徴セットを含み、前記第１の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含み、前記第２の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含み、スカイ領域の第１の特徴セットと第２の特徴セットを正のサンプルにマーキングし、地面領域の第１の特徴セットと第２の特徴セットを負のサンプルにマーキングする、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップは、具体的には、
初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップと、
重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得するステップと、
スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップは、具体的には、
画素点（x，y）の重み付け値をｐに設定することであり、ｐは、以下の式を用いて表し、
2021528784.tif 000009
【請求項６】
前記スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップは、具体的には、
two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を統計してS１とし、スカイの最小面積閾値をth1に設定し、以下の判断規則によって区分し、
2021528784.tif 000010
ここで、S１は、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の１/４０であり、
画像下部における地面領域の各連結領域の面積を統計してS２とし、地面の最小面積閾値をth2に設定し、以下の判断規則によって区分し、
2021528784.tif 000011
ここで、S２は、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の１/２であり、
上記区分によってスカイ領域の精確マスク画像を取得し、スカイ領域の検出を完成する、ことである、
ことを特徴とする請求項４に記載の方法。
【請求項７】
前記精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップは、具体的には、
マルチ解像度融合アルゴリズムを用いてパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッドに構築し、前記精確マスク画像をガウスピラミッドに構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現する、ことである、
ことを特徴とする請求項１に記載の方法。
【請求項８】
コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、請求項１〜７の何れかに記載のパノラマ画像のスカイフィルタ方法のステップを実現する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項９】
１つ又は複数のプロセッサーと、
記憶装置と、
１つ又は複数のプログラムと、を含む携帯端末であって、
前記１つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記１つ又は複数のプロセッサーによって実行されるように配置され、前記プロセッサーは、前記プログラムを実行する場合、請求項１〜７の何れかに記載のパノラマ画像のスカイフィルタ方法のステップを実現する、
ことを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に属し、特に、パノラマ画像のスカイフィルタ方法及び携帯端末に関する。
【背景技術】
【０００２】
スカイフィルタ（sky filter）技術は、迫真の自然スカイ効果を作成することができ、画像のスカイ背景を希望するスカイ効果に置き換えさせ、よりリアルな画像感を生じることができる。スカイフィルタ技術の実現効果は、スカイ検出アルゴリズムの正確率と緊密に関連する。
【０００３】
従来の色アプリオリ（a-priori）に基づくスカイ識別アルゴリズムの速度はより速いが、識別の精度はより低い。これは、スカイが異なる時間帯と気象条件の場合、スカイの色が顕著な変化を発生するため、色に基づくスカイ識別アルゴリズムは、スカイの色の変化を適応できない。勾配アプリオリに基づくスカイ識別アルゴリズムは、スカイ領域の勾配変化が緩やかであると仮定する。当該アルゴリズムは、エネルギー関数を構築して最適化することによって、画像に勾配がより平滑な連続領域を得られ、即ち、スカイ領域である。然し、スカイに雲がある場合には、スカイに明らかな勾配変化があり、当該アルゴリズムの仮説は、成り立たない。これにより、勾配に基づくスカイ識別アルゴリズムは、スカイに雲や太陽などの付着物がある場合には適用できない。その原因を求め、上記のアルゴリズムは、スカイを検出する時に、有限なアプリオリ知識を利用する限りに、多様なスカイ変化をカバーすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、パノラマ画像のスカイフィルタ方法、コンピュータ読み取り可能な記録媒体及び携帯端末を提供し、画像におけるスカイを異なるスカイ背景に置き換えさせ、画像と一体になる迫真のスカイを生成し、従来のスカイ検出アルゴリズムの正確率が低い欠陥を高め、より迫真のスカイフィルタの効果を実現することを目的とする。
【０００５】
第１の態様では、本発明は、パノラマ画像のスカイフィルタ方法を提供し、前記方法は、
幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得するステップと、
マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングするステップと、
データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得するステップと、
テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得するステップと、
初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップと、
精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップと、を含む。
【０００６】
オプションで、前記マーキングされたマスク画像におけるスカイ領域の画素値は、１にマーキングされ、地面領域の画素値は、０にマーキングされる。
【０００７】
オプションで、前記特徴は、第１の特徴セットと第２の特徴セットを含み、前記第１の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含み、前記第２の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含み、スカイ領域の第１の特徴セットと第２の特徴セットを正のサンプルにマーキングし、地面領域の第１の特徴セットと第２の特徴セットを負のサンプルにマーキングする。
【０００８】
オプションで、前記初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップは、具体的には、
初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップと、
重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得するステップと、
スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップと、を含む。
【０００９】
オプションで、前記初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップは、具体的には、
画素点（x，y）の重み付け値をｐに設定することであり、ｐは、以下の式を用いて表し、
2021528784.tif 000003
【００１０】
オプションで、前記スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップは、具体的には、
two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を統計してS１とし、スカイの最小面積閾値をth1に設定し、以下の判断規則によって区分し、
2021528784.tif 000004
ここで、S１は、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の１/４０であり、
画像下部における地面領域の各連結領域の面積を統計してS２とし、地面の最小面積閾値をth2に設定し、以下の判断規則によって区分し、
2021528784.tif 000005
ここで、S２は、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の１/２であり、
上記区分によってスカイ領域の精確マスク画像を取得し、スカイ領域の検出を完成する、ことである。
【００１１】
オプションで、前記精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップは、具体的には、
マルチ解像度融合アルゴリズムを用いてパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッドに構築し、前記精確マスク画像をガウスピラミッドに構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現する、ことである。
【００１２】
第２の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、上記のパノラマ画像のスカイフィルタ方法のステップを実現する。
【００１３】
第３の態様では、本発明は、携帯端末を提供し、前記携帯端末は、
１つ又は複数のプロセッサーと、
記憶装置と、
１つ又は複数のプログラムと、を含み、前記１つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記１つ又は複数のプロセッサーによって実行されるように配置され、前記プロセッサーは、前記プログラムを実行する場合、上記のパノラマ画像のスカイフィルタ方法のステップを実現する。
【発明の効果】
【００１４】
本発明は、機械学習アルゴリズムによってパノラマ画像におけるスカイ領域を検出し、スカイを自動的に検出する正確率を高め、また、マルチ解像度融合アルゴリズムを利用してスカイのパノラマテンプレート画像とパノラマ画像を融合して、スカイフィルタの効果を実現する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の第１の実施例によって提供されるパノラマ画像のスカイフィルタ方法のプロセス図である。
【図２】図２は、本発明の第２の実施例によって提供されるパノラマ画像のスカイフィルタ方法のフローチャートである。
【図３】図３は、本発明の第３の実施例によって提供される携帯端末の構造図である。
【発明を実施するための形態】
【００１６】
本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。
【００１７】
本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。
【００１８】
第１の実施例：
図１と図２を参照すると、本発明の第１の実施例によって提供されるパノラマ画像のスカイフィルタ方法は、以下のステップを含む。
【００１９】
S１０１：幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得する。
【００２０】
データセットにおける幾つかのパノラマ画像は、千枚以上を有し、パノラマ画像の寸法は、同じであり、パノラマ画像の数が多いほどよい。データセットにおける各パノラマ画像のスカイ領域は、具体的には、スカイや、雲や、太陽などを含み、地面領域は、スカイ領域以外の領域である。データセットの種類にも、様々なシーンや地形などを含み、例えば、時間的なシーンは、早朝、昼、夕方の各時間帯を含み、異なる気象状態のシーンは、晴れ、曇天、曇り、小雨、スモッグなどを含む。
【００２１】
前記マーキングされたマスク画像におけるスカイ領域の画素値は、１にマーキングされ、地面領域の画素値は、０にマーキングされる。
【００２２】
前記スカイのパノラマテンプレート画像は、予め設定されたスカイのみを含むパノラマ画像であり、スカイフィルタのテンプレートとする。
【００２３】
S１０２：マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングする。
【００２４】
前記特徴は、第１の特徴セットと第２の特徴セットを含む。当該第１の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含む。当該第２の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含む。第１の特徴セットは、独立した特徴であり、第２の特徴セットは、組み合わせた特徴である。スカイ領域の第１の特徴セットと第２の特徴セットを正のサンプルにマーキングし、地面領域の第１の特徴セットと第２の特徴セットを負のサンプルにマーキングする。
【００２５】
S１０３：データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得する。
【００２６】
サポートベクターマシン（support vector machine、SVM）理論は、Vapnikらが１９９５年に初めて提出したフィードフォワードニューラルネットワーク（feedforward neural network）であり、統計学習理論に基づく発展した新しいパターン認識方法で、分類モデルであり、小さなサンプル、非線形性、及び高次元パターン認識の問題を解決する場合に、多くの特有の優位を現す。
【００２７】
S１０４：テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得する。
【００２８】
テストパノラマ画像の特徴を抽出することにおいて、ここでの特徴は、ステップS１０２における第１の特徴セットと第２の特徴セットを含む。前記特徴をトレーニング完成したモデルに入力し、SVM分類機で出力された値が１である画素をスカイの画素にマーキングし、出力された値が０である画素をスカイ以外の画素にマーキングし、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得する。
【００２９】
S１０５：初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得する。
【００３０】
S１０５は、具体的には、以下のステップを含むことができる。
【００３１】
S１０５１：初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングする。
【００３２】
中央値フィルタは、Turkyが１９７１年に提出した、基本的な考え方として、局部領域の画素をグレイ階調でソートし、当該領域におけるグレイ階調の中央値を取得して現在の画素のグレイ階調値とし、フレームWを用いて画像に走査してソートし、画素点（m，n）の箇所の中央値gは、以下の式を用いて表すことができる。
2021528784.tif 000006
【００３３】
S１０５２：重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得する。
【００３４】
S１０５３：スカイと地面における誤分類領域を除去して、精確マスク画像を取得する。
【００３５】
具体的には、two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を統計してS１とし、スカイの最小面積閾値をth1に設定し、以下の判断規則によって区分する。
2021528784.tif 000007
ここで、S１は、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の１/４０である。
【００３６】
画像下部における地面領域の各連結領域の面積を統計してS２とし、地面の最小面積閾値をth2に設定し、以下の判断規則によって区分する。
によって区分する。
2021528784.tif 000008
ここで、S２は、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の１/２である。
【００３７】
上記判断によって、誤分類のスカイ領域を除去して、精確マスク画像を取得することができる。
【００３８】
S１０６：精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現する。
【００３９】
S１０６は、具体的には、
マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッド(Laplacian pyramid)に構築し、前記精確マスク画像をガウスピラミッド（Gaussian Pyramid）に構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現する。ここで、パノラマテンプレート画像とテストパノラマ画像の解像度は、異なるかもしれないが、採用した融合処理方法は、同様である。
【００４０】
第２の実施例：
本発明の第２の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、本発明の第１の実施例で提供されるようなパノラマ画像のスカイフィルタ方法のステップを実現する。
【００４１】
第３の実施例：
図３は、本発明の第３の実施例に提供された携帯端末の構造図を示す。1つの携帯端末１００は、１つ又は複数のプロセッサー１０１、記憶装置１０２、及び１つ又は複数のプログラムを含む。前記プロセッサー１０１と前記記憶装置１０２は、バスによって電気的に接続される。前記１つ又は複数のプログラムは、前記記憶装置１０２に記憶され、且つ、前記１つ又は複数のプロセッサー１０１によって実行されるように配置される。前記プロセッサー１０１は、前記プログラムを実行する場合、本発明の第１の実施例で提供されるようなパノラマ画像のスカイフィルタ方法のステップを実現する。
【００４２】
本発明において、機械学習アルゴリズムによってパノラマ画像におけるスカイ領域を検出し、スカイを自動的に検出する正確率を高め、また、マルチ解像度融合アルゴリズムを利用してスカイのパノラマテンプレート画像とパノラマ画像を融合して、スカイフィルタの効果を実現する。
【００４３】
本発明の実施例において、当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記憶することができ、記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスクを含むことができる。
【００４４】
上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。
【図１】
2021528784.tif 000012
【図２】
2021528784.tif 000013
【図３】
2021528784.tif 000014
【国際調査報告】
2021528784.tif 000015
2021528784.tif 000016
2021528784.tif 000017
2021528784.tif 000018