(57)【要約】  画像処理方法は、画像を取得する取得ステップ（Ｓ１）と、取得された画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップ（Ｓ２）と、取得された画像の複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップ（Ｓ３）と、高周波画像および１以上の色画像を重み付け加算することで合成画像を生成する合成ステップ（Ｓ５）と、生成された合成画像を出力する出力ステップ（Ｓ６）と、を含む。
2020240913.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得ステップと、
取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、
取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、
前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、
生成された前記合成画像を出力する出力ステップと、を含む
画像処理方法。
【請求項２】
前記合成ステップでは、前記画像に含まれる高周波成分が第１閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより小さくする
請求項１に記載の画像処理方法。
【請求項３】
前記合成ステップでは、前記画像に含まれる高周波成分が第２閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより大きくする
請求項１または２に記載の画像処理方法。
【請求項４】
前記合成ステップでは、前記高周波画像と前記１以上の色画像とが重複する第１領域の大きさが第３閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に所定の基準値より小さくする
請求項１から３のいずれか１項に記載の画像処理方法。
【請求項５】
前記合成ステップでは、取得された前記画像のうちの特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に０にする
請求項１から４のいずれか１項に記載の画像処理方法。
【請求項６】
さらに、
出力された前記合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、前記画像に対して所定の画像処理を行う画像処理ステップを含む
請求項１から５のいずれか１項に記載の画像処理方法。
【請求項７】
画像を取得する取得部と、
取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成部と、
取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成部と、
前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を合成する合成部と、
合成された前記合成画像を出力する出力部と、を備える
画像処理装置。
【請求項８】
画像を取得する取得ステップと、
取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、
取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、
前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、
生成された前記合成画像を出力する出力ステップと、を含む
画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理方法、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、圧縮記録された画像データから所定のブロック毎に空間周波数情報と色度情報とを取得して、上記画像データにおける注目画素を識別する画像認識方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３８４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の画像認識方法では、特定の映像シーンにおいて注目画素を識別することは可能であるが、別の映像シーンでは、注目画素以外の領域を誤検出してしまうおそれがある。つまり、従来技術では、人間の姿などの、所定の処理に用いられる被写体の領域を、あらゆる映像シーンで効果的に特定することが難しいという課題がある。【０００５】
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法などを提供する。
【課題を解決するための手段】
【０００６】
本開示における画像処理方法は、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む。【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示における画像処理方法は、画像における被写体の領域である対象領域を効果的に特定することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。
【図２】図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。
【図４】図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。
【図５】図５は、色画像の生成処理の具体例を示すフローチャートである。
【図６】図６は、色相ヒストグラムの一例を示す図である。
【図７】図７は、ビンの選択処理について説明するための色相ヒストグラムの一例を示す図である。
【図８】図８は、背景の除去処理のうちの低周波背景を除去する処理を説明するための図である。
【図９】図９は、背景の除去処理のうちの高周波背景を除去する処理を説明するための図である。
【図１０】図１０は、合成画像の生成処理の具体例を示すフローチャートである。
【図１１】図１１は、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みについて説明するための図である。
【図１２】図１２は、第２シーンと第３シーンとの間の範囲の合成に適用される第２出力重みについて説明するための図である。
【図１３】図１３は、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みについて説明するための図である。
【図１４】図１４は、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みについて説明するための図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
上述したような課題を解決するために、本開示の一態様に係る画像処理方法は、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む。
【００１３】
これによれば、高周波画像および１以上の色画像を合成することで得られた合成画像を、対象領域を示す画像として出力することができる。このため、合成画像を用いることで近景にある被写体の領域である対象領域を効果的に特定することができ、遠景にある被写体の領域および背景領域を対象領域から排除することができる。よって、画像における対象領域を効果的に特定することができる。
【００１４】
また、前記合成ステップでは、前記画像に含まれる高周波成分が第１閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより小さくしてもよい。
【００１５】
例えば、画像に含まれる高周波成分が第１閾値より大きい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に高周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより小さくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
【００１６】
また、前記合成ステップでは、前記画像に含まれる高周波成分が第２閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みを前記１以上の色画像に対する重みより大きくしてもよい。
【００１７】
例えば、画像に含まれる高周波成分が第２閾値より小さい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に低周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより大きくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
【００１８】
また、前記合成ステップでは、前記高周波画像と前記１以上の色画像とが重複する第１領域の大きさが第３閾値より大きい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に所定の基準値より小さくしてもよい。
【００１９】
例えば、高周波画像と１以上の色画像とが重複する第１重複領域の大きさが第３閾値より大きい場合に、取得された画像のシーンを、対象領域が少ないシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に所定の基準値より小さくすることで、近景における被写体の領域を対象領域として残しつつ、背景が対象領域として特定されることを抑制することができる。
【００２０】
また、前記合成ステップでは、取得された前記画像のうちの特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合、前記合成画像の生成における前記高周波画像に対する重みおよび前記１以上の色画像に対する重みを共に０にしてもよい。
【００２１】
例えば、画像のうち特定の色であると判定される画素により構成される第２領域の大きさが第４閾値より小さい場合に、取得された画像のシーンを、被写体が近景にないシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に０にすることで、画像中に対象領域がないことを示す合成画像を出力することができる。
【００２２】
また、さらに、出力された前記合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、前記画像に対して所定の画像処理を行う画像処理ステップを含んでもよい。
【００２３】
画像において効果的に特定された対象領域に対して所定の画像処理を行うことができるため、所定の画像処理を精度よく行うことができる。
【００２４】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００２５】
（実施の形態）
以下、図１〜図１０を用いて、実施の形態を説明する。
【００２６】
［構成および動作］
図１は、本実施の形態に係る表示装置の外観の一例を示す斜視図である。
【００２７】
図１に示されるように、表示装置１００は、表示パネルを含む表示デバイスを筐体内に格納した、一般的なフラットパネルディスプレイの外観を有している。表示装置１００は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。
【００２８】
図２は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。
【００２９】
図２に示されるように、表示装置１００は、チューナ１０１と、デコーダ１０２と、制御回路１０３と、メモリ１０４と、表示デバイス１０５とを備える。制御回路１０３およびメモリ１０４は、画像処理装置１１０を構成している。このように、表示装置１００は、画像処理装置１１０を内蔵する装置である。
【００３０】
チューナ１０１は、図示しないアンテナにより受信した放送波を構成するアナログ信号をデジタル信号である符号化データへ変換し、変換することで得られた符号化データをデコーダ１０２に出力する。
【００３１】
デコーダ１０２は、チューナ１０１から取得した符号化データを復号し、復号することで得られた画像データを制御回路１０３に出力する。画像データは、動画像または静止画像を含む画像を示すデータである。
【００３２】
制御回路１０３は、デコーダ１０２により出力された画像データにより示される画像に対して、所定の画像処理を行う。制御回路１０３は、画像が動画像である場合には、動画像に含まれる複数のピクチャのそれぞれに対して所定の画像処理を行う。制御回路１０３は、画像が静止画像である場合には、静止画像に対して所定の画像処理を行う。制御回路１０３は、画像処理を行うことで得られた画像（「画像処理後の画像」ともいう。）を示す画像データ（「画像処理後の画像データ」ともいう。）を、表示デバイス１０５に出力する。これにより、表示デバイス１０５は、画像処理後の画像を表示させることができる。
【００３３】
なお、デコーダ１０２と制御回路１０３とは、同一の回路で実現されていてもよい。また、制御回路１０３は、所定の制御プログラムを実行するＣＰＵなどの汎用のプロセッサにより実現されていてもよいし、専用回路により実現されていてもよい。つまり、表示装置１００の機能は、ソフトウェアにより実現されていてもよいし、ハードウェアにより実現されていてもよい。
【００３４】
メモリ１０４は、制御プログラムおよび制御プログラムを実行するために利用する各種データを記憶していてもよい。メモリ１０４は、例えば、不揮発性メモリである。
【００３５】
表示デバイス１０５は、制御回路１０３により出力された画像処理後の画像データで示される画像処理後の画像を表示する。表示デバイス１０５は、表示パネルであり、例えば、液晶パネル、有機ＥＬパネルなどにより構成される。
【００３６】
次に、画像処理装置の機能構成について説明する。
【００３７】
図３は、本実施の形態に係る画像処理装置の機能構成の一例を示すブロック図である。図４は、本実施の形態に係る画像処理装置により実行される画像処理方法の一例を示すフローチャートである。
【００３８】
ここでは、画像処理装置１１０の各機能ブロックについて図３を用いて説明するとともに、各機能ブロックで行われる処理の流れについて図４を用いて説明する。
【００３９】
画像処理装置１１０は、取得部１１１と、第１生成部１１２と、第２生成部１１３と、合成部１１４と、記憶部１１５と、出力部１１６とを備える。画像処理装置１１０は、さらに、補正部１１７を備えていてもよい。
【００４０】
取得部１１１は、画像データを取得する（Ｓ１）。取得部１１１は、例えば、表示装置１００のデコーダ１０２から画像データを取得することで画像を取得する。ステップＳ１は、取得ステップの一例である。
【００４１】
第１生成部１１２は、取得された画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する（Ｓ２）。高周波画像は、取得された画像と同じ配列の画素を有する。つまり、高周波画像の縦の画素数×横の画素数は、取得された画像の縦の画素数×横の画素数と同じである。高周波画像の各画素は、画素値が大きいほど高周波の成分を有する画素であることを示す。具体的には、第１生成部１１２は、画像を構成する複数の第１画素のそれぞれについて、当該第１画素を基準（例えば中心）とする７×７の画素のそれぞれが有する複数の輝度値（Ｙ信号値）を用いるハイパスフィルタを適用して、当該第１画素に対応する画素値を算出することにより、高周波画像を生成する。
【００４２】
なお、一の画素に対応する高周波画像の画素値を算出するために、ハイパスフィルタの対象となる複数の画素は、一の画素を中心とする７×７の画素としたが、これに限らずに、一の画素を基準とするａ×ｂの画素としてもよい。ａおよびｂは、一方が１以上の整数であり、他方が２以上の整数である。第１生成部１１２により生成された高周波画像は、合成部１１４に出力される。ステップＳ２は、第１生成ステップの一例である。
【００４３】
第２生成部１１３は、取得された画像の複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する（Ｓ３）。色画像は、取得された画像と同じ配列の画素を有する。つまり、色画像の縦の画素数×横の画素数は、取得された画像の縦の画素数×横の画素数と同じである。色画像の各画素は、画素値が大きいほど、対応する色として判定される色範囲内の色を有する画素に近い画素であることを示す。色画像の生成処理では、第２生成部１１３は、色相ヒストグラムを用いて、画像中における、特定の色としての第１色と、特定の色以外に頻出する第２色および第３色とを特定し、特定された第１色、第２色および第３色のそれぞれについて、当該色を示す画素値を有する画素を抽出することで色画像を生成する。ステップＳ３は、第２生成ステップの一例である。
【００４４】
なお、第２生成部１１３は、上記に限らずに、色相ヒストグラムを用いて、画像中において頻出する第１色、第２色および第３色を特定してもよい。このように、第１色は、予め定められた色とせずに、画像中に頻出する順に基づいて動的に異なる色に決定されてもよい。
【００４５】
なお、特定の色とは、本実施の形態では、ヒトの肌の色である。ヒトの肌の色は、例えば、世界中に存在する全てのヒトの肌の色である。つまり、特定の色として判定される色範囲は、黒色系、白色系、黄色系などの肌の色を全て含む和集合で規定される色相範囲である。
【００４６】
なお、特定の色として判定される色範囲、第２色として判定される色範囲および第３色として判定される色範囲は、それぞれ、色相範囲で規定されることに限らずに、例えば、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、および輝度（Ｌｕｍｉｎａｎｃｅ）の３つの指標を用いて示されるＨＬＳ色空間で定義される範囲で規定されてもよい。この場合の色範囲は、上記のＨＬＳ色空間で定義されることに限らずに、ＨＳＶ色空間などの色相および彩度の２つの指標を少なくとも用いて示される他の色空間で定義されてもよい。なお、特定の色とは、本実施の形態ではヒトを被写体として特定するためにヒトの肌の色としたが、ヒトの肌の色に限らずに、被写体がヒト以外のものである場合ではヒト以外の物体が固有に有している色であってもよい。
【００４７】
色画像の生成処理の具体例について図５〜図７を用いて説明する。図５は、色画像の生成処理の具体例を示すフローチャートである。図６は、色相ヒストグラムの一例を示す図である。図７は、ビンの選択処理について説明するための色相ヒストグラムの一例を示す図である。
【００４８】
図５に示されるように、第２生成部１１３は、取得された画像についての色相ヒストグラムを生成する（Ｓ１１）。第２生成部１１３は、画像を構成する複数の第１画素それぞれが有する第１画素値から当該画素の色相を算出し、所定の色相の範囲毎の画素をカウントすることで色相ヒストグラムを生成する。
【００４９】
色相ヒストグラムは、例えば、図６に示されるように、画素数を度数とし、色相の範囲をビンとするグラフである。色相ヒストグラムは、各色相の範囲における画素の分布を示すグラフである。
【００５０】
本実施の形態では、色相ヒストグラムは、色相の全範囲が３２分割された３２個の色相の範囲にそれぞれ１対１で対応する３２個のビン（Ｂｉｎ）を有する。例えば、色相のヒストグラムにおいて、Ｂｉｎ［０］〜Ｂｉｎ［３］の色相範囲が、特定の色と判定される特定の色相範囲として定められている。なお、特定の色相範囲がＢｉｎ［０］〜Ｂｉｎ［３］の色相範囲であることは、一例であり、上記の範囲に限るものではない。なお、色相ヒストグラムは、図６に示されるような所定の色相の範囲毎に１つのビンを有している構成に限定されるものではなく、色相の１つの値毎に１つのビンを有している構成であってもよい。
【００５１】
次に、第２生成部１１３は、生成された色相ヒストグラムを構成する複数（本実施の形態では３２個）のビンから、特定の色であると判定される１以上の特定のビンを除いた残りの複数のビンのうち、度数が高い順に所定の数のビンを選択する（Ｓ１２）。
【００５２】
ここで、ステップＳ１２におけるビンの選択処理について図７を用いて具体的に説明する。図７の色相ヒストグラムでは、特定の色相範囲であるＢｉｎ［０］〜［３］が除かれている。特定の色相範囲は、なお、特定の色がヒトの肌の色とは異なる色である場合、異なる色に対応する特定の色相範囲が除かれることとなる。ビンの選択処理は、第１色としての特定の色以外の第２色および第３色を、色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する処理である。
【００５３】
第２生成部１１３は、まず、特定の色以外に最も頻出している第２色を選択する。第２生成部１１３は、第２色の選択において、例えば、特定の色相範囲が除かれた色相ヒストグラムのうち、まず、最も度数が高いビン（Ｂｉｎ［Ａ］）を選択する。そして、第２生成部１１３は、選択されたビン（Ｂｉｎ［Ａ］）を基準として所定の数のビンの幅であるビン幅（本実施の形態では３つ分）のビンを第２色のビンとして選択する。なお、ビン幅を規定する所定の数のビンの「所定の数」は、１以上の数である。第２生成部１１３は、図７の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第２色のビンとして選択する。
【００５４】
次に、第２生成部１１３は、第２色とは異なる第３色を選択する場合、第２色のビンとして選択された３つのビンを除く複数のビンのうちで最も度数が高いビン（Ｂｉｎ［Ｂ］）を選択する。そして、第２生成部１１３は、第３色の選択において、選択されたビン（Ｂｉｎ［Ｂ］）を基準として所定のスキップ幅のビンを第３色のビンとして選択する。第２生成部１１３は、図７の例では、最も度数が高いビンとその両隣の２つのビンとを併せた３つのビンを第３色のビンとして選択する。この場合、第３色の選択において選択された３つのビンのうちの１つのビンは、既に第２色の選択において選択された３つのビンのうちの１つと重複している。
【００５５】
このようにして、第２生成部１１３は、特定の色以外に、色相ヒストグラムにおいて頻出している色を頻度が高い順に選択する。本実施の形態では、特定の色以外に第２色および第３色の２色が選択される場合を例にして説明する。なお、次の第２色および第３色とは異なる第４色をさらに選択する場合には、第２色および第３色のビンとして選択された５つのビンを除く複数のビンのうちで最も度数が高いビンを選択することとなる。以下同様の処理が繰り返される。
【００５６】
そして、第２生成部１１３は、特定の色相範囲（つまり第１色相範囲）で示される色を第１色とし、第２色の選択において選択された３つのビンの色相範囲（つまり第２色相範囲）で示される色を第２色とし、第３色の選択において選択された３つのビンの色相範囲（つまり第３色相範囲）で示される色を第３色として決定する（Ｓ１３）。
【００５７】
次に、第２生成部１１３は、各色を決定したときに、決定された色の範囲に含まれる画素値を例えば最大値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を挟んでさらに外側の範囲に含まれる画素値を例えば最小値に設定し、かつ、当該色の範囲の外側の所定の幅の範囲を決定された色の範囲から離れるほど最大値から最小値に向かって小さくなる値に設定するための、色相範囲と画素値との関係を示す関係情報を色毎に生成する（Ｓ１４）。なお、第２生成部１１３は、関係情報の生成において、画素値の最大値の代わりに画素値Ｐ１に設定し、画素値の最小値の代わりに画素値Ｐ１よりも小さい画素値Ｐ２に設定してもよい。また、画素値Ｐ１および画素値Ｐ２は、色毎に異なる値が設定されてもよい。
【００５８】
その後、第２生成部１１３は、取得された画像から、第１色、第２色および第３色の各色について生成された関係情報を用いて、画像に各色の関係情報を適用することで、各色の色画像を生成する（Ｓ１５）。具体的には、第２生成部１１３は、画像を構成する複数の画素のそれぞれについて、当該画素が有する画素値を、当該画素値に基づく色（色相）に当該色の関係情報で対応付けられている画素値に変換することで、色画像を生成する。
【００５９】
図３および図４を用いた説明に戻る。
【００６０】
合成部１１４は、第１生成部１１２により生成された高周波画像と、第２生成部１１３により生成された第１色画像、第２色画像および第３色画像とのそれぞれの画像について、背景を除去する（Ｓ４）。背景の除去処理の具体例について、図８および図９を用いて説明する。図８は、背景の除去処理のうちの低周波背景を除去する処理を説明するための図である。図９は、背景の除去処理のうちの高周波背景を除去する処理を説明するための図である。
【００６１】
図８は、高周波画像を複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックを構成する複数の第１画素がそれぞれ有する複数の第１画素値のうちの最大値と、当該最大値に応じて当該ブロックに割り当てられるオブジェクト重みとの関係を示す図である。図８は、横軸が各ブロックにおける空間周波数の最大値を示し、縦軸が空間周波数の最大値に応じて割り当てられるオブジェクト重みを示す。
【００６２】
図８に示されるように、合成部１１４は、高周波画像の各ブロックについて、各ブロックの最大値と、図８に示される関係で対応関係にあるオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。合成部１１４は、高周波画像に図８の関係を適用することで、各ブロックについて、空間周波数の最大値が閾値Ｔｈｍａｘ１未満であるブロックにはオブジェクト重みＯ１を割り当て、空間周波数の最大値が閾値Ｔｈｍａｘ２以上であるブロックにはオブジェクト重み１０２３を割り当てる。合成部１１４は、各ブロックについて、空間周波数の最大値が閾値Ｔｈｍａｘ１以上閾値Ｔｈｍａｘ２未満であるブロックには、当該最大値が大きいほどオブジェクト重み１０２３に近づき、かつ、当該最大値が小さいほどオブジェクト重みＯ１に近づくようなオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。例えば、空間周波数の最大値が閾値Ｔｈｍａｘ１以上閾値Ｔｈｍａｘ２未満の範囲では、空間周波数の最大値の変化に対してオブジェクト重みは、線形に変化する。これにより、低周波背景を抑制するための、各画素がオブジェクト重みを有する第１重み画像が得られる。
【００６３】
なお、オブジェクト重みＯ１は、例えば、１０２３より小さい値である。
【００６４】
また、空間周波数の最大値が閾値Ｔｈｍａｘ２以上であるブロックに割り当てられるオブジェクト重みは、１０２３に限らずに、２５５などのような他の値であってもよい。
【００６５】
図９は、高周波画像を複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックを構成する複数の第１画素がそれぞれ有する複数の第１画素値の平均値と、当該平均値に応じて当該ブロックに割り当てられるオブジェクト重みとの関係を示す図である。図９は、横軸が各ブロックにおける空間周波数の平均値を示し、縦軸が空間周波数の平均値に応じて割り当てられるオブジェクト重みを示す。
【００６６】
図９に示されるように、合成部１１４は、高周波画像の各ブロックについて、各ブロックの最大値と、図９に示される関係で対応関係にあるオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。合成部１１４は、高周波画像に図９の関係を適用することで、各ブロックについて、空間周波数の平均値が閾値Ｔｈａｖｅ１未満であるブロックにはオブジェクト重みＯ２を割り当て、空間周波数の平均値が閾値Ｔｈａｖｅ２以上であるブロックにはオブジェクト重みＯ３を割り当てる。合成部１１４は、各ブロックについて、空間周波数の平均値が閾値Ｔｈａｖｅ１以上閾値Ｔｈａｖｅ２未満であるブロックには、当該平均値が大きいほどオブジェクト重みＯ３に近づき、かつ、当該平均値が小さいほどオブジェクト重みＯ２に近づくようなオブジェクト重みを特定し、特定されたオブジェクト重みを当該ブロックに割り当てる。例えば、空間周波数の平均値が閾値Ｔｈａｖｅ１以上閾値Ｔｈａｖｅ２未満の範囲では、空間周波数の平均値の変化に対してオブジェクト重みは、線形に変化する。これにより、高周波背景を抑制するための、各画素がオブジェクト重みを有する第２重み画像が得られる。
【００６７】
合成部１１４は、第１重み画像および第２重み画像を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用することで、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれから低周波背景および高周波背景を除去する。合成部１１４は、第１重み画像を構成する複数の画素がそれぞれ有する複数の画素値を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれの画像を構成する複数の画素がそれぞれ有する複数の画素値に乗算することで、第１重み画像を高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用する。同様に、合成部１１４は、第２重み画像を構成する複数の画素がそれぞれ有する複数の画素値を、高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれの画像を構成する複数の画素がそれぞれ有する複数の画素値に乗算することで、第２重み画像を高周波画像と、第１色画像と、第２色画像と、第３色画像とのそれぞれに適用する。
【００６８】
なお、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像に対して、コントラストを強調する処理を行ってもよい。また、合成部１１４は、背景の除去処理を行わなくてもよい。
【００６９】
次に、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算することで合成画像を生成する。以下では、合成部１１４は、背景が除去された後の高周波画像、第１色画像、第２色画像および第３色画像について、処理を実行するものとする。なお、背景の除去が行われない場合には、合成部１１４は、背景の除去が行われていない、高周波画像、第１色画像、第２色画像および第３色画像について、処理を実行することになる。
【００７０】
合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像を用いて、画像のシーンが第１シーン、第２シーン、第３シーンおよび第４シーンのいずれのシーンであるかを判定し、判定されたシーンに応じた重みで重み付け加算することで合成画像を生成する。合成画像の生成処理の具体例について、図１０を用いて説明する。図１０は、合成画像の生成処理の具体例を示すフローチャートである。
【００７１】
図１０に示されるように、合成部１１４は、取得された画像のうち特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さいか否かを判定する（Ｓ２１）。領域ＲＳａの大きさは、第１色画像を構成する全ての画素値の総計に関する値である。領域ＲＳａの大きさは、例えば、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値であってもよい。複数の平均値のそれぞれは、対応するブロックを構成する複数の画素がそれぞれ有する複数の画素値の平均値である。ここで、領域ＲＳａの大きさを算出するために用いられる第１色画像は、背景が除去された後の第１色画像である。なお、領域ＲＳａは、第２領域の一例であり、閾値Ｔｈａは、第４閾値の一例である。
【００７２】
合成部１１４は、領域ＲＳａの大きさが閾値Ｔｈａより小さい場合（Ｓ２１でＹｅｓ）、画像が第１シーンであると判定し、第１の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２２）。具体的には、合成部１１４は、第１の重みとして、高周波画像に適用する重みを重みＷ１１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ１２ａ、Ｗ１２ｂ、Ｗ１２ｃに決定する。
【００７３】
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ１１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ１２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ１２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ１２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ１１、重みＷ１２ａ、重みＷ１２ｂおよび重みＷ１２ｃをそれぞれ０に決定する。
【００７４】
合成部１１４は、領域ＲＳａの大きさが閾値Ｔｈａ以上である場合（Ｓ２１でＮｏ）、取得された画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きいか否かを判定する（Ｓ２３）。画像の高周波成分ＦＨは、高周波画像を構成する全ての画素値の総計に関する値である。画像の高周波成分ＦＨは、例えば、高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値であってもよい。複数の平均値のそれぞれは、対応するブロックを構成する複数の画素がそれぞれ有する複数の画素値の平均値である。閾値Ｔｈｂは、第１閾値の一例である。
【００７５】
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｂより大きい場合（Ｓ２３でＹｅｓ）、高周波画像と、各色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃより大きいか否かを判定する（Ｓ２４）。なお、ステップＳ２４、Ｓ２５の処理は、色画像ごとに独立して行われる。以下では、色画像が第１色画像である場合について説明する。他の第２色画像および第３色画像についても同様の処理が独立して行われる。
【００７６】
ここで、領域ＲＳｂの大きさは、各色画像において異なり、高周波成分を有する画素のうち第１色であると判定される画素の割合、および、第１色と判定される画素のうち高周波成分を有すると判定される画素の割合に関する値である。領域ＲＳｂの大きさは、例えば、第１合計値および第２合計値により表される。第１合計値は、高周波画像を構成する複数のブロックについてそれぞれ算出された複数の平均値を複数の第１平均値とし、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値を複数の第２平均値とした場合、対応するブロック毎について第１平均値に第２平均値を乗じて得られた複数の値の合計値を、複数の第１平均値の合計値で除すことで得られる値である。なお、平均値は、各ブロックにおける複数の画素が有する複数の画素値の平均値である。第２合計値は、対応するブロック毎について第１平均値に第２平均値を乗じて得られた複数の値の合計値を、複数の第２平均値の合計値で除すことで得られる値である。
【００７７】
つまり、合成部１１４は、第１合計値および第２合計値を用いて、ステップＳ２４の判定を行ってもよい。例えば、合成部１１４は、第１合計値が閾値Ｔｈｃ１より大きく、かつ、第２合計値が閾値Ｔｈｃ２より大きい場合に、領域ＲＳｂの大きさが閾値Ｔｈｃより大きいと判定してもよい。
【００７８】
合成部１１４は、領域ＲＳｂの大きさが閾値Ｔｈｃより大きい場合（Ｓ２４でＹｅｓ）、画像が第２シーンであると判定し、第２の重みで高周波画像および第１色画像を重み付け加算する（Ｓ２５）。具体的には、合成部１１４は、第２の重みとして、高周波画像に適用する重みを重みＷ２１に決定し、第１色画像に適用する重みを重みＷ２２ａに決定する。合成部１１４は、第２色画像および第３色画像のそれぞれに対しても第１色画像と同様の処理を行うことにより、第２色画像に適用する重みを重みＷ２２ｂに決定し、第３色画像に適用する重みを重みＷ２２ｃに決定する。
【００７９】
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ２１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ２２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ２２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ２２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ２１、重みＷ２２ａ、重みＷ２２ｂおよび重みＷ２２ｃをそれぞれ所定の基準値より小さい値に決定する。閾値Ｔｈｃは、第３閾値の一例である。なお、第３閾値としての閾値Ｔｈｃは、ステップＳ２４、Ｓ２５の処理対象となる色画像毎に異なる値が設定されていてもよい。
【００８０】
なお、合成部１１４は、ステップＳ２４を色画像毎に行うため、ステップＳ２４でＹｅｓと判定される色画像と、ステップＳ２４でＮｏと判定された色画像とが混在する場合がある。このように、ステップＳ２４の判定結果が色画像毎に異なる場合、ステップＳ２４でＮｏと判定された色画像に適用する重みを後述する第３の重みに決定する。なお、高周波画像に適用される第２の重みＷ２１と、第３の重みＷ３１とは等しいため、ステップＳ２３においてＹｅｓと判定された場合、第２の重みが適用されても、第３の重みが適用されても、高周波画像に適用される重みは変わらない。
【００８１】
合成部１１４は、全ての色画像について、領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合（Ｓ２４でＮｏ）、画像が第３シーンであると判定し、第３の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２６）。具体的には、合成部１１４は、第３の重みとして、高周波画像に適用する重みを重みＷ３１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃに決定する。
【００８２】
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ３１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ３２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ３２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ３２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。例えば、合成部１１４は、重みＷ３１を重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃのそれぞれより小さい値に決定する。なお、重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃは、それぞれ、重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃより小さい値である。
【００８３】
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｂ以下である場合（Ｓ２３でＮｏ）、高周波成分ＦＨが閾値Ｔｈｄより小さいか否かを判定する（Ｓ２７）。閾値Ｔｈｄは、第２閾値の一例である。なお、閾値Ｔｈｄは、閾値Ｔｈｂより小さい値である。
【００８４】
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｄより小さい場合（Ｓ２７でＹｅｓ）、画像が第４シーンであると判定し、第４の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２８）。具体的には、合成部１１４は、第４の重みとして、高周波画像に適用する重みを重みＷ４１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃに決定する。
【００８５】
これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ４１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ４２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ４２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ４２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。例えば、合成部１１４は、重みＷ４１を重みＷ４２より大きい値に決定する。なお、重みＷ４１は、重みＷ２１、Ｗ３１よりも大きい値である。重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃは、それぞれ、重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃと等しい値である。つまり、重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃは、それぞれ、重みＷ３２ａ、Ｗ３２ｂ、Ｗ３２ｃより小さい値である。なお。重みＷ４２ａ、Ｗ４２ｂ、Ｗ４２ｃと重みＷ２２ａ、Ｗ２２ｂ、Ｗ２２ｃとは互いに等しい値であることに限らずに異なる値であってもよい。
【００８６】
合成部１１４は、高周波成分ＦＨが閾値Ｔｈｄ以上の場合（Ｓ２７でＮｏ）、画像が第５シーンであると判定し、第５の重みで高周波画像、第１色画像、第２色画像および第３色画像を重み付け加算する（Ｓ２９）。具体的には、合成部１１４は、第５の重みとして、高周波画像に適用する重みを重みＷ５１に決定し、第１色画像、第２色画像および第３色画像に適用する重みをそれぞれ重みＷ５２ａ、Ｗ５２ｂ、Ｗ５２ｃに決定する。これにより、合成部１１４は、高周波画像の複数の画素値のそれぞれに重みＷ５１を乗算して得られた値と、第１色画像の複数の画素値のそれぞれに重みＷ５２ａを乗算して得られた値と、第２色画像の複数の画素値のそれぞれに重みＷ５２ｂを乗算して得られた値と、第３色画像の複数の画素値のそれぞれに重みＷ５２ｃを乗算して得られた値とを、対応する画素ごとに加算することで、合成画像を生成する。なお、合成部１１４は、高周波画像、第１色画像、第２色画像および第３色画像の重み付け加算において、画素毎に重み付け加算するとしたが、画素毎に限らずに、複数の画素の集合からなるブロック毎に重み付け加算してもよい。合成部１１４は、重み付け加算において、所定の領域毎に重み付け加算すればよい。
【００８７】
出力部１１６は、合成部１１４によるステップＳ２２、Ｓ２５、Ｓ２６、Ｓ２８、Ｓ２９のいずれかの処理で得られた合成画像を出力する（Ｓ６）。なお、出力部１１６は、出力する前に、合成画像において０より大きい画素値を有する画素で示される領域である対象領域の複数の画素値を均一の値にする処理を行ってもよいし、あるいは閾値より大きい画素値を有する画素で示される第３領域の複数の画素値を第３画素値とし、かつ、閾値未満の画素値を有する画素で示される第４領域の複数の画素値を第４画素値とする処理を行ってもよいし、複数の画素値に係数を乗じることでゲインを調整する処理を行ってもよいし、複数の画素値のダイナミックレンジを最大化する処理を行ってもよい。
【００８８】
そして、補正部１１７は、合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値に基づいて、取得部１１１により取得された画像に対して所定の画像処理を行うことで、取得された画像を補正する（Ｓ７）。補正部１１７は、合成画像を構成する複数の第２画素がそれぞれ有する複数の第２画素値を用いて特定された対象領域に対して、所定の画像処理として例えばガンマ補正を行う。補正部１１７は、例えば、対象領域を特定するための閾値よりも大きな第２画素値を有する１以上の第２画素の集合による領域を対象領域として特定する。
【００８９】
なお、取得部１１１と、第１生成部１１２と、第２生成部１１３と、合成部１１４と、出力部１１６と、補正部１１７とは、制御回路１０３により実現される。
【００９０】
なお、第１の重み、第２の重み、第３の重みおよび第４の重みは、記憶部１１５に記憶されている。また、各処理における各閾値は、記憶部１１５に記憶されている。記憶部１１５は、例えば、メモリ１０４により実現される。
【００９１】
［効果等］
以上のように、本実施の形態における画像処理方法は、画像を取得する取得ステップ（Ｓ１）と、取得された画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップ（Ｓ２）と、取得された画像の複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する第１〜第３色画像を生成する第２生成ステップ（Ｓ３）と、高周波画像および第１〜第３色画像を重み付け加算することで合成画像を生成する合成ステップ（Ｓ５）と、生成された合成画像を出力する出力ステップ（Ｓ６）と、を含む。
【００９２】
これによれば、高周波画像および第１〜第３色画像を合成することで得られた合成画像を、対象領域を示す画像として出力することができる。このため、合成画像を用いることで近景にある被写体の領域である対象領域を効果的に特定することができ、遠景にある被写体の領域および背景領域を対象領域から排除することができる。よって、画像における対象領域を効果的に特定することができる。
【００９３】
また、本実施の形態において、合成ステップでは、取得された画像のうちの特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さい場合、合成画像の生成における高周波画像に対する重みおよび第１〜第３色画像に対する重みを共に０にする。例えば、画像のうち特定の色であると判定される画素により構成される領域ＲＳａの大きさが閾値Ｔｈａより小さい場合に、取得された画像のシーンを、被写体が近景にない第１シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび１以上の色画像に対する重みを共に０にすることで、画像中に対象領域がないことを示す合成画像を出力することができる。
【００９４】
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、全ての色画像について、高周波画像と第１〜第３色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合、合成画像の生成における高周波画像に対する重みを第１〜第３色画像に対する重みより小さくする。例えば、画像に含まれる高周波成分が閾値Ｔｈｂより大きく、かつ、全ての色画像について、領域ＲＳｂの大きさが閾値Ｔｈｃ以下である場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に高周波成分が多い第３シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを１以上の色画像に対する重みより小さくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
【００９５】
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、高周波画像と第１〜第３色画像とが重複する領域ＲＳｂの大きさが閾値Ｔｈｃより大きい場合、合成画像の生成における高周波画像に対する重みおよび各色画像に対する重みを共に所定の基準値より小さくする。例えば、画像に含まれる高周波成分ＦＨが閾値Ｔｈｂより大きく、かつ、高周波画像と各色画像とが重複する領域Ｒｓｂの大きさが閾値Ｔｈｃより大きい場合に、取得された画像のシーンを、対象領域が少ない第２シーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みおよび第１〜第３色画像に対する重みを共に所定の基準値より小さくすることで、近景における被写体の領域を対象領域として残しつつ、背景が対象領域として特定されることを抑制することができる。
【００９６】
また、本実施の形態において、合成ステップでは、画像に含まれる高周波成分ＦＨが閾値Ｔｈｄより小さい場合、合成画像の生成における高周波画像に対する重みを第１〜第３色画像に対する重みより大きくする。例えば、画像に含まれる高周波成分ＦＨがＴｈｄ閾値より小さい場合に、取得された画像のシーンを、被写体が近景にあり、かつ、背景に低周波成分が多いシーンであると推定することができる。このため、この場合に、合成画像の生成における高周波画像に対する重みを第１〜第３色画像に対する重みより大きくすることで、背景が対象領域として特定されることを抑制しつつ、近景の被写体が排除されることを抑制することができる。
【００９７】
［変形例］
（１）
上記実施の形態では、第２生成部１１３は、第１〜第３色画像を生成するとしたが、これに限らずに、第１色画像を生成し、第２および第３色画像を生成しなくてもよい。この場合、実施の形態における各色画像に対する処理は、第１色画像のみに行われることとなる。また、第２生成部１１３は、４つ以上の色画像、つまり、第１〜第ｎ色画像（ｎは４以上の整数）を生成してもよい。
【００９８】
（２）
上記実施の形態では、合成部１１４は、画像のシーンが第１シーン、第２シーン、第３シーンおよび第４シーンのそれぞれに対応する第１の重み、第２の重み、第３の重みおよび第４の重みのいずれかに切り替えて、画像を合成するとしたがこれに限らない。例えば、合成部１１４は、第１シーンと他のシーンとの間で、重みが変化するように重みを設定してもよい。
【００９９】
図１１は、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みについて説明するための図である。図１１は、横軸が第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値を示し、縦軸が当該合計値に応じて割り当てられる係数α１を示す。
【０１００】
図１１における関係を用いることで、第１シーンと他のシーンとの間の範囲の合成に適用される第１出力重みは、以下に示す式１で算出される。なお、他のシーンとは、例えば、第２シーン、第３シーンおよび第４シーンのいずれかである。第１出力重みとしては、第１シーンと第２シーンとの間で算出される値と、第１シーンと第３シーンとの間で算出される値と、第１シーンと第４シーンとの間で算出される値との３種類の値が算出されうる。
【０１０１】
第１出力重み＝α１＊他のシーンの重み＋（１−α１）＊第１の重み
・・・（式１）
【０１０２】
ここで、他のシーンの重みとは、他のシーンが第２シーンであれば第２の重みであり、他のシーンが第３シーンであれば第３の重みであり、他のシーンが第４シーンであれば第４の重みである。
【０１０３】
これによれば、第１色画像を構成する複数のブロックについてそれぞれ算出された複数の平均値の合計値が閾値Ｔｈａより小さい場合、第１シーンであると判定されて係数α１は０となり、第１の重みで合成が行われる。一方で、合計値が閾値Ｔｈｅより大きい場合、他のシーンであると判定されて係数α１は１となり、他のシーンの重みで合成が行われる。閾値Ｔｈｅは、閾値Ｔｈａより大きい値である。そして、合計値が閾値Ｔｈａ以上閾値Ｔｈｅ以下の場合、合計値が大きいほど係数α１は１に近づくため、第１の重みよりも他のシーンの重みに近い値で合成が行われる。このように、第１シーンと他のシーンとの境界の範囲においては、第１の重みと他のシーンの重みとの間の値が合成の重みとして採用されてもよい。
【０１０４】
また、同様に、例えば、合成部１１４は、第２シーンと第３シーンとの間で、重みが変化するように重みを設定してもよい。
【０１０５】
図１２および図１３は、第２シーンと第３シーンとの間の範囲の合成に適用される出力重みについて説明するための図である。図１２は、横軸が第１合計値を示し、縦軸が第１合計値に応じて割り当てられる係数α２を示す。図１３は、横軸が第２合計値を示し、縦軸が第２合計値に応じて割り当てられる係数α３を示す。
【０１０６】
図１２における関係を用いることで、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みを算出するための第２出力重みは、以下に示す式２で算出される。
【０１０７】
第２出力重み＝α２＊第２の重み＋（１−α２）＊第３の重み
・・・（式２）
【０１０８】
また、図１３における関係を用いることで、第２シーンと第３シーンとの間の範囲の合成に適用される第３出力重みは、以下に示す式３で算出される。
【０１０９】
第３出力重み＝α３＊第２出力重み＋（１−α３）＊第３の重み
・・・（式３）
【０１１０】
このため、第１合計値が閾値Ｔｈｃ１より大きく、かつ、第２合計値が閾値Ｔｈｃ２より大きい場合、係数α２および係数α３は共に１となり、第２の重みで合成が行われる。一方で、第１合計値が閾値Ｔｈｃ３より小さく、かつ、第２合計値が閾値Ｔｈｃ４より小さい場合、係数α２および係数α３は共に０となり、第３の重みで合成が行われる。閾値Ｔｈｃ１は、閾値Ｔｈｃ３より大きい値であり、閾値Ｔｈｃ２は、閾値Ｔｈｃ４より大きい値である。そして、第１合計値および第２合計値が上記以外の場合には、第１合計値が大きくなるほど、または、第２合計値が大きくなるほど、第３の重みよりも第２の重みに近い値で合成が行われる。このように、第２シーンと第３シーンとの境界の範囲においては、第２の重みと第３の重みとの間の値が合成の重みとして採用されてもよい。
【０１１１】
なお、閾値Ｔｈｃ１〜Ｔｈｃ４のそれぞれは、ステップＳ２４、Ｓ２５の処理対象となる色画像毎に異なる値が設定されていてもよい。
【０１１２】
また、同様に、例えば、合成部１１４は、第４シーンと他のシーンとの間で、重みが変化するように重みを設定してもよい。
【０１１３】
図１４は、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みについて説明するための図である。図１４は、横軸が高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値を示し、縦軸が当該合計値に応じて割り当てられる係数α４を示す。
【０１１４】
図１４における関係を用いることで、第４シーンと他のシーンとの間の範囲の合成に適用される第４出力重みは、以下に示す式４で算出される。なお、他のシーンとは、例えば、第１シーン、第２シーンおよび第３シーンのいずれかである。第４出力重みとしては、第１シーンと第２シーンとの間で算出される値と、第１シーンと第３シーンとの間で算出される値と、第１シーンと第４シーンとの間で算出される値との３種類の値が算出されうる。
【０１１５】
第４出力重み＝α４＊他のシーンの重み＋（１−α４）＊第４の重み
・・・（式４）
【０１１６】
ここで、他のシーンの重みとは、他のシーンが第１シーンであれば第１の重みであり、他のシーンが第２シーンであれば第２の重みであり、他のシーンが第３シーンであれば第３の重みである。
【０１１７】
つまり、高周波画像を構成する複数のブロックのそれぞれについて算出された複数の平均値の合計値が閾値Ｔｈｂより大きい場合、他のシーンであると判定されて係数α４は１となり、他のシーンの重みで合成が行われる。一方で、合計値が閾値Ｔｈｄより小さい場合、第４シーンであると判定されて係数α４は０となり、第４の重みで合成が行われる。閾値Ｔｈｂは、閾値Ｔｈｄより大きい値である。そして、合計値が閾値Ｔｈｄ以上閾値Ｔｈｂ以下の場合、合計値が大きいほど係数α４は１に近づくため、第４の重みよりも他のシーンの重みに近い値で合成が行われる。このように、第４シーンと他のシーンとの境界の範囲においては、第４の重みと他のシーンの重みとの間の値が合成の重みとして採用されてもよい。
【０１１８】
なお、第４出力重みは、実施の形態における第５重みとして算出されてもよい。
【０１１９】
（３）
上記実施の形態では、ステップＳ２４の処理は、ステップＳ２３がＹｅｓと判定された後に行われるとしているが、これに限らずに、ステップＳ２１の前に行われてもよいし、ステップＳ２１の後であってステップＳ２３の前に行われてもよい。いずれの場合であっても、ステップＳ２５は、ステップＳ２３でＹｅｓと判定され、かつ、ステップＳ２４でＹｅｓと判定された場合に行われる。また、ステップＳ２６の処理は、ステップＳ２４でＮｏと判定され、かつ、ステップＳ２３でＹｅｓと判定された場合に行われればよい。
【０１２０】
（４）
上記実施の形態では、画像処理装置１１０は、表示装置１００に内蔵される装置であるとしたが、これに限らずに、撮像装置に内蔵される装置であってもよい。この場合の画像処理装置は、例えば、撮像装置が備えるイメージセンサから画像データを取得し、上記実施の形態で説明した画像処理方法を行い、複数の第２画素を出力する。撮像装置では、出力された複数の第２画素を用いて被写体を特定し、特定した被写体の領域について、フォーカスを調整する処理または露出を調整する処理に利用してもよい。
【０１２１】
（５）
上記実施の形態では、表示装置１００では、チューナ１０１を備える構成であり、取得部１１１は、チューナ１０１により実現されるとしたが、これに限らない。取得部１１１は、光ディスク、ＳＤカード、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記録媒体に記録されている画像データを読み出すことで画像データを取得してもよい。この場合、取得部１１１は、光ディスクを読み出す光ピックアップなどの電気機器により実現されてもよい。また、取得部１１１は、インターネットなどのネットワークを介して外部サーバから画像データを取得してもよい。この場合、取得部１１１は、外部サーバとの間で通信を行うための通信ＩＦにより実現されてもよい。また、取得部１１１は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子、ＲＣＡ端子などの外部ＩＦを介して接続された外部機器から画像データを取得してもよい。
【０１２２】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０１２３】
すなわち、このプログラムは、コンピュータに、画像を取得する取得ステップと、取得された前記画像を構成する複数の第１画素がそれぞれ有する複数の第１画素値に基づく高周波成分に基づいて高周波画像を生成する第１生成ステップと、取得された前記画像の前記複数の第１画素値に基づく色情報に基づいて１種類以上の色のそれぞれに対応する１以上の色画像を生成する第２生成ステップと、前記高周波画像および前記１以上の色画像を重み付け加算することで合成画像を生成する合成ステップと、生成された前記合成画像を出力する出力ステップと、を含む画像処理方法を実行させる。
【０１２４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２５】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１２７】
本開示は、画像における被写体の領域である対象領域を効果的に特定することができる画像処理方法等に適用可能である。具体的には、テレビなどの表示装置、カメラなどの撮像装置等に、本開示は適用可能である。
【符号の説明】
【０１２８】
１００    表示装置
１０１    チューナ
１０２    デコーダ
１０３    制御回路
１０４    メモリ
１０５    表示デバイス
１１０    画像処理装置
１１１    取得部
１１２    第１生成部
１１３    第２生成部
１１４    合成部
１１５    記憶部
１１６    出力部
１１７    補正部
【図１】
2020240913.tif 000003
【図２】
2020240913.tif 000004
【図３】
2020240913.tif 000005
【図４】
2020240913.tif 000006
【図５】
2020240913.tif 000007
【図６】
2020240913.tif 000008
【図７】
2020240913.tif 000009
【図８】
2020240913.tif 000010
【図９】
2020240913.tif 000011
【図１０】
2020240913.tif 000012
【図１１】
2020240913.tif 000013
【図１２】
2020240913.tif 000014
【図１３】
2020240913.tif 000015
【図１４】
2020240913.tif 000016
【国際調査報告】
2020240913.tif 000017
2020240913.tif 000018
2020240913.tif 000019
2020240913.tif 000020