(57)【要約】【課題】人が目視で販売対象人物および非販売対象人物を判断する場合は、画像に写る複数人物のぼけ具合を比較して相対的に判断する。しかし、被写体のぼけ具合を個別に評価してしまうと、人の感覚とは異なる販売対象人物を選択してしまう可能性があった。【解決手段】画像処理装置は、撮影画像内に写る人物における相対的なぼけ度合を用いて、販売対象人物か非販売対象人物かを決定し、撮影画像の中からぼけの少ない写真を販売対象として絞り込む。【選択図】図１
2018101248.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から１つまたは複数の被写体を検出する被写体検出部と、
前記被写体検出部が検出した前記被写体を識別するための識別情報を検出する被写体識別情報抽出部と、
前記被写体検出部が検出した前記被写体からぼけ具合を算出する領域を決定する算出領域決定部と、
前記領域から前記被写体の第一のぼけ具合を算出する第一の算出部と、
前記第一の算出部が算出した前記第一のぼけ具合を基準とし、前記被写体に対して相対的な第二のぼけ具合を算出する第二の算出部と、
前記第二の算出部が算出した前記第二のぼけ具合に基づき、前記被写体識別情報抽出部が検出した前記被写体の識別情報を所定のグループに分類する対象決定部と、
を備えることを特徴する画像処理装置。
【請求項２】
前記対象決定部は、前記第二の算出部が算出した前記第二のぼけ具合が所定の基準を満たす場合に、前記第一の算出部が算出した前記第一のぼけ具合に基づき、前記被写体の識別情報を所定のグループに分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記被写体検出部が検出した前記被写体のうち、所定の部位の大きさ及び／または前記所定の部位の位置を被写体情報として算出する被写体情報算出部と、
前記被写体情報算出部が算出した前記被写体情報に基づき、前記対象決定部が前記被写体を分類する条件を変更する閾値決定部と、
をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記閾値決定部は、前記被写体の所定の部位の大きさに応じて前記対象決定部が前記被写体に対して使用する条件の閾値を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記閾値決定部は、前記被写体の所定の部位の位置と前記入力画像の所定の位置との間の距離の長短に応じて前記対象決定部が前記被写体に対して使用する条件の閾値を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
入力画像から１つまたは複数の被写体を検出する被写体検出ステップと、
前記被写体検出ステップで検出した前記被写体を識別するための識別情報を検出する被写体識別情報抽出ステップと、
前記被写体検出ステップで検出した前記被写体からぼけ具合を算出する領域を決定する算出領域決定ステップと、
前記領域から前記被写体の第一のぼけ具合を算出する第一の算出ステップと、
前記第一の算出ステップで算出した前記第一のぼけ具合を基準とし、前記被写体に対して相対的な第二のぼけ具合を算出する第二の算出ステップと、
前記第二の算出ステップで算出した前記第二のぼけ具合に基づき、前記被写体識別情報抽出ステップが検出した前記被写体の識別情報を所定のグループに分類する対象決定ステップと、
を備えることを特徴とする画像処理方法。
【請求項７】
前記対象決定ステップは、前記第二の算出ステップで算出した前記第二のぼけ具合が所定の基準を満たす場合に、前記第一の算出ステップが算出した前記第一のぼけ具合に基づき、前記被写体の識別情報を所定のグループに分類することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記画像処理方法は、
前記被写体検出ステップが検出した前記被写体のうち、所定の部位の大きさ及び／または前記所定の部位の位置を被写体情報として算出する被写体情報算出ステップと、
前記被写体情報算出ステップで算出した前記被写体情報に基づき、前記対象決定ステップで前記被写体を分類する条件を変更する閾値決定ステップと、
をさらに備えることを特徴とする請求項６または請求項７に記載の画像処理方法。
【請求項９】
前記閾値決定ステップは、前記被写体の所定の部位の大きさに応じて前記対象決定ステップで前記被写体に対して使用する条件の閾値を変更することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記閾値決定ステップは、前記被写体の所定の部位の位置と前記入力画像の所定の位置との間の距離の長短に応じて前記対象決定ステップで前記被写体に対して使用する条件の閾値を変更することを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マラソン大会などのイベントで撮影された写真の画像処理方法に関するものである。
【背景技術】
【０００２】
テーマパークやイベント会場などで来園者やイベント参加者などの人物画像をカメラで撮影してデータベースに登録し、来園者やイベント参加者などがゼッケン番号等の識別番号等を用いてデータベースを検索し、所望の人物画像を選択して購入できる販売システムがある。
【０００３】
さらに、人物画像を販売する販売システムにおいて、人物領域における画素間の色や輝度の変化が緩やかな画像、つまり人物がぼけている画像は販売に適さない場合がある。そのため、画像が販売対象か非販売対象なのか分類するために適用可能な技術として、入力画像から人物領域を検出し、検出した領域のぼけ具合をエッジ強度から求め、そのぼけ具合に基づき、入力画像を評価する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５５１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、人が目視で販売対象人物および非販売対象人物を判断する場合は、画像に写る複数人物のぼけ具合を比較して相対的に判断する。そのため、特許文献１のように被写体のぼけ具合を個別に評価してしまうと、人の感覚とは異なる販売対象人物を選択してしまう可能性があった。
【０００６】
本発明は、撮影画像内に写る人物における相対的なぼけ度合を用いて、販売対象人物か非販売対象人物かを決定し、撮影画像の中からぼけの少ない写真を販売対象として絞り込むことを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の画像処理装置は、入力画像から１つまたは複数の被写体を検出する被写体検出部と、前記被写体検出部が検出した前記被写体を識別するための識別情報を検出する被写体識別情報抽出部と、前記被写体検出部が検出した前記被写体からぼけ具合を算出する領域を決定する算出領域決定部と、前記領域から前記被写体の第一のぼけ具合を算出する第一の算出部と、前記第一の算出部が算出した前記第一のぼけ具合を基準とし、前記被写体に対して相対的な第二のぼけ具合を算出する第二の算出部と、前記第二の算出部が算出した前記第二のぼけ具合に基づき、前記被写体識別情報抽出部が検出した前記被写体の識別情報を所定のグループに分類する対象決定部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影した写真の販売システムにおいて、撮影画像の中からぼけの少ない写真を販売対象として絞り込み、イベント参加者に提案することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。
【図２】第１の実施形態において画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【図３】画像処理装置１００が、撮影画像からエッジ強度算出領域を決定する処理について説明するための図である。
【図４】本発明の第２の実施形態による画像処理装置４００の一例を示すブロック図である。
【図５】第２の実施形態において画像処理装置４００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【図６】第２の実施形態において画像処理装置４００が、販売対象人物を決定するために閾値を変更する処理について説明するためのフローチャートである。
【図７】第２の実施形態において画像処理装置４００が、販売対象人物を決定するために閾値を変更する処理について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態による画像処理装置の一例について図面を参照して説明する。
【００１１】
［第1の実施形態］
＜画像処理装置１００の構成＞
図１は、本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。
【００１２】
図示の画像処理装置１００は、パーソナルコンピュータ（ＰＣ）などの装置である。携帯電話や、ＰＤＡ、スマートフォンやタブレット端末などの装置でもよい。
【００１３】
画像処理装置１００は、ハードウェア構成として、ＣＰＵ１５１、入力部１５２、表示部１５３、メモリ１５４、通信部１５５、および記憶部１１０を備えている。
【００１４】
ＣＰＵ１５１は画像処理装置１００の全体の制御を司る。入力部１５２は、例えば、キーボードやマウスを備えている。表示部１５３として、例えば、液晶モニタが用いられる。メモリ１５４はＲＡＭおよびＲＯＭなどである。
【００１５】
通信部１５５は撮影装置（カメラ）等に接続するためのインターフェースであって、撮影装置などの撮影画像を保持する機器とデータ送受信を行う。
【００１６】
記憶部１１０には、ソフトウェアであるオペレーティングシステム（以下、ＯＳと呼ぶ：不図示）、画像読み込み部１０１、被写体検出部１０２、被写体識別情報抽出部１０３、エッジ強度算出領域決定部１０４、エッジ強度算出部１０５、エッジ強度比較部１０６、販売対象人物決定部１０７および他の機能に係るソフトウェアが記憶されている。なお、これらのソフトウェアはメモリ１５４に読み出されて、ＣＰＵ１５１の制御に従い動作する。
【００１７】
以下、各機能部が備える機能について詳述していく。
【００１８】
画像読み込み部１０１は、撮影画像およびディスプレイ描画などを記憶部１１０から読み込み、画像処理装置１００のメモリ１５４上に展開させる。具体的には、ＪＰＥＧファイルなどの圧縮されたイメージファイルを解凍し、各画素単位のＲＧＢ値順に配列したラスターイメージに展開し、ＰＣ内のメモリ１５４上に展開させる。このとき、読み込んだ撮影画像の画素数が、被写体検出部１０２の認識精度を保つことができる程度に大きくない場合は、画素間を補間し、画素数を拡大してもよい。また、必要以上に画素数が大きい場合は、処理を高速化させるために、画素を間引いて、縮小してもよい。また、撮影画像の縦横関係を補正するために、必要に応じて撮影画像を回転させてもよい。
【００１９】
被写体検出部１０２は、撮影画像内に存在するそれぞれの被写体領域を検出する。被写体（人物)の検出方法は、人物の顔、口や目などの器官の特徴による検出方法や、頭部の形状特徴による検出方法、人物の肌領域などの色相による検出などがあり、これに限定したものではなく、複数の検出方法を組み合わせてもよい。
【００２０】
被写体識別情報抽出部１０３は、被写体検出部１０２により検出された撮影画像内の各人物領域から、ゼッケン番号等の被写体を識別できる被写体識別情報を抽出する。なお、被写体識別情報は、人物画像を販売する販売システムにおいて、所望の人物画像を検索できる情報であればどのような情報であってもよい。例えば、被写体領域をもとに画像処理でゼッケン番号を検出して、そのゼッケン番号を被写体識別情報としてもよいし、顔の器官特徴を数値化して被写体識別情報としてもよい。
【００２１】
エッジ強度算出領域決定部１０４は、被写体検出部１０２により検出された撮影画像内の各人物領域から、それぞれのぼけ具合を算出するためのエッジ強度算出領域を決定する。なお、このエッジ強度算出領域は、人物のぼけ具合を算出することができ、さらに人物同士のぼけ具合を比較できるような領域であればどのような領域でもよい。例えば、人物領域として人物の顔領域が検出された場合、検出方法によっては、その領域に顔だけでなく背景も含まれる場合がある。この場合、その領域のエッジ強度を算出すると、背景の影響が入ってしまい、人物同士の比較に支障が出る可能性も考えられる。そこで、背景の影響を減らすために、顔領域から口と両目の位置を検出し、口と両目を囲む領域（顔領域より一回り小さい領域）をエッジ強度算出領域としてもよい。もちろん、人物領域全体をエッジ強度算出領域としてもよい。また、ゼッケン領域などの人物に紐付く別の領域でもよい。また、被写体検出部１０２の被写体の検出方法に応じてエッジ強度算出領域を変えてもよい。
【００２２】
エッジ強度算出部１０５は、エッジ強度算出領域決定部１０４により決定された各エッジ強度算出領域から、その領域に紐付いた人物の人物エッジ強度を算出する。人物エッジ強度は、ソーベルフィルタ等のエッジ検出手法を用いて、それぞれの人物領域内で画素間の画素値（ＲＧＢ値や輝度等）の変化量を求め、その変化量の最大値や平均などで算出する。
【００２３】
また、エッジ強度算出部１０５は、撮影画像内の各人物エッジ強度における最大値を最大人物エッジ強度として算出する。ここで、最大人物エッジ強度である領域に紐付く人物は、撮影画像内で最も鮮明に写っている人物となる。
【００２４】
なお、人物エッジ強度はぼけの度合いが判断できる特徴量であれば、どのような手法を用いて算出してもよい。例えば、ガボールフィルタやウェーブレット変換などで算出してもよい。
【００２５】
エッジ強度比較部１０６は、エッジ強度算出部１０５により算出された各人物エッジ強度を最大人物エッジ強度と比較した比較値を算出する。この比較値は、各人物のぼけ具合を最も鮮明に写っている人物のぼけ具合と比較することによって、撮影画像内での各人物の相対的なぼけ具合を表すことになる。
【００２６】
販売対象人物決定部１０７は、被写体識別情報抽出部１０３で検出した被写体識別情報に対して、エッジ強度算出部１０５で算出した人物エッジ強度と、エッジ強度比較部１０６で算出した人物エッジ強度の比較値から、事前に定めた閾値を用いて販売対象のタグ付けを行う。なお、タグ付けは非販売対象のタグ付けでもよく、あるいは、数値や文字列などでもよい。
【００２７】
＜第１の実施形態における画像処理装置１００の処理フロー＞
図２は、図１に示す画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【００２８】
撮影画像が指定されると、処理を開始し画像読み込み部１０１が入力画像として撮影画像の読み込みを行う（ステップＳ２０１）。画像読み込みの後、画像読み込み部１０１は圧縮画像の解凍を行う。また、ＪＰＥＧマーカーのイメージ方向情報等を元にして、解凍したイメージを回転補正する。
【００２９】
被写体検出部１０２は読み込んだ画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域（人物領域）が存在するか判断する（ステップＳ２０２）。もし、一人以上の人物が存在する場合は、ステップＳ２０３へ進む。
【００３０】
人物領域が存在しない場合（ステップＳ２０２でＮｏ）、ステップＳ２１３へ進む。
【００３１】
人物領域が存在する場合（ステップＳ２０２でＹｅｓ）、被写体識別情報抽出部１０３は、ステップＳ２０２で被写体検出部１０２が検出した各人物の被写体識別情報を検出する（ステップＳ２０３）。
【００３２】
エッジ強度算出領域決定部１０４は、被写体検出部１０２がステップＳ２０２で検出した人物領域毎に人物エッジ強度を算出する領域（エッジ強度算出領域）を決定する（ステップＳ２０４）。
【００３３】
エッジ強度算出部１０５は、エッジ強度算出領域決定部１０４により決定された領域から人物エッジ強度を算出し、算出した人物エッジ強度を人物に紐付けて保存する（ステップＳ２０５）。
【００３４】
そして、エッジ強度算出部１０５は、算出した人物エッジ強度が対象画像内でこれまで算出した人物エッジ強度の中で最大値であるかを判定する（ステップＳ２０６）。算出した人物エッジ強度の中で最大値であった場合（ステップＳ２０６でＹｅｓ）、算出した人物エッジ強度を最大人物エッジ強度として保存する（ステップＳ２０７）。一方、算出した人物エッジ強度がこれまでに算出した他の人物エッジ強度の中で最大値でない場合（ステップＳ２０６でＮｏ）、ステップＳ２０８に進む。
【００３５】
エッジ強度算出部１０５は、対象画像内の全ての人物に対して、人物エッジ強度の算出を行ったか確認する（ステップＳ２０８）。全ての人物に対して人物エッジ強度の算出を完了していない場合は（ステップＳ２０８でＮｏ）、ステップＳ２０３に戻り、次の人物に対して処理を行う。
【００３６】
対象画像内の全ての人物に対して、人物エッジ強度の算出が完了した場合（ステップＳ２０８でＹｅｓ）、ステップＳ２０９に進む。
【００３７】
エッジ強度比較部１０６は、エッジ強度算出部１０５により算出された各人物エッジ強度を基準となる最大人物エッジ強度と比較し、各人物の相対的なぼけ具合であるエッジ強度の比較値を算出する（ステップＳ２０９）。
【００３８】
販売対象人物決定部１０７は、エッジ強度比較部１０６により算出された各人物の人物エッジ強度の比較値が予め定めた閾値以上であるかを判定する（ステップＳ２１０）。
【００３９】
人物エッジ強度の比較値が予め定めた閾値以上の場合（ステップＳ２１０でＹｅｓ）、各人物の被写体識別情報に販売対象のタグを付ける（ステップＳ２１１）。一方、各人物の人物エッジ強度の比較値が閾値未満の場合（ステップＳ２１０でＮｏ）、ステップＳ２１２に進む。
【００４０】
販売対象人物決定部１０７は、対象画像内の全ての人物に対して、販売対象者の判断を行ったか確認する（ステップＳ２１２）。全ての人物に対して販売対象者の判断が完了していない場合は（ステップＳ２１２でＮｏ）、ステップＳ２０９に戻り、次の人物に対して処理を行う。
【００４１】
画像内の全ての人物に対して、販売対象者の判断が完了した場合（ステップＳ２１２でＹｅｓ）、ステップＳ２１３に進む。
【００４２】
画像読み込み部１０１は、全ての画像を処理したか確認する（ステップＳ２１３）。
【００４３】
全ての画像を処理していない場合（ステップＳ２１３でＮｏ）、ステップＳ２０１に戻り、画像読み込み部１０１が次の入力画像を読み込む。
【００４４】
全ての画像を処理した場合は（Ｓ２１３でＹｅｓ）、処理を終了する。
【００４５】
＜人物の相対的なぼけ具合の算出について＞
図３は、図１に示す画像処理装置１００が、撮影画像から人物の相対的なぼけ具合の算出処理を説明するための図である。
【００４６】
画像３００は、画像処理を行う撮影画像（入力画像）の一例である。画像３００には、ぼけ具合の異なる３人の被写体（ランナー）である人物３０１、人物３０２、人物３０３が撮影されている。
【００４７】
被写体検出部１０２は、人物３０１、人物３０２、人物３０３を人物領域として検出する。
【００４８】
被写体識別情報抽出部１０３は、人物領域からそれぞれのゼッケン領域を検出して文字認識することによって被写体識別情報（ゼッケン番号）を抽出する。
【００４９】
エッジ強度算出領域決定部１０４は、人物領域からそれぞれエッジ強度算出領域３０４、エッジ強度算出領域３０５、エッジ強度算出領域３０６を決定する。
【００５０】
エッジ強度算出部１０５は、各エッジ強度算出領域の人物エッジ強度と算出した人物エッジ強度の中から最大人物エッジ強度を算出する。ここでは、エッジ強度算出領域３０４のエッジ強度が８０、エッジ強度算出領域３０５のエッジ強度が１００、エッジ強度算出領域３０６のエッジ強度が５０としてエッジ強度算出部１０５が算出したと仮定して説明する。この場合、エッジ強度算出領域３０５のエッジ強度１００が最大人物エッジ強度となり、人物３０２がこの画像の中で最もピントがあっている人物となる。
【００５１】
エッジ強度比較部１０６は、人物エッジ強度の比較値を人物毎に算出する。比較値は、人物エッジ強度から最大人物エッジ強度を引いた差でもよいし、人物エッジ強度を最大人物エッジ強度で割った割合でもよいし、それ以外でもよい。ここでは、例として、人物エッジ強度を最大人物エッジ強度で割った割合を比較値とする。その場合、人物３０１の比較値が０．８０、人物３０２の比較値が１．００、人物３０３の比較値が０．５０となる。
【００５２】
販売対象人物決定部１０７は、エッジ強度比較部１０６により算出された人物エッジ強度の比較値から販売対象を決定する。ここでは、閾値を０．７０と仮定して、比較値が０．７０以上の場合にはピントがあっているとして販売対象にする。この場合、人物３０１と人物３０２は販売対象となり、相対的にぼけている人物３０３は非販売対象となる。なお、被写体間で比較値に差がなく閾値以上の場合であって、所定人数の被写体がぼけていないような場合には、比較値による相対的な販売対象の決定に加え、人物エッジ強度自体を事前に定めた別の閾値で絶対的に評価して販売対象を決定してもよい。例えば、相対的な閾値を０．７０として、絶対的な閾値をエッジ強度９０とすると、人物３０１はエッジ強度８０であるため、相対的にはぼけていないが、絶対的にぼけているため非販売対象となる。
【００５３】
販売対象のタグは被写体識別情報抽出部１０３により抽出されたゼッケン番号に紐付けて画像と共に販売システムに登録する。
【００５４】
以上、説明したとおり、本発明の第１実施形態によれば、エッジ強度比較部１０６で人物の相対的なぼけ具合を算出することにより、相対的にぼけの少ない人物のみを販売システムに登録できる。そして、画像の購入希望者は販売システムを利用してゼッケン番号で画像を検索した時に、ぼけの少ない画像のみを表示することができる。
【００５５】
［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。
【００５６】
第２の実施形態では、画像内における人物の位置や大きさといった人物情報を利用して、より人の感覚に近いように販売対象人物を決定することを説明する。
【００５７】
＜画像処理装置４００の構成＞
図４は、本発明の第２の実施形態による画像処理装置４００の一例を示すブロック図である。
【００５８】
第１の実施形態と同一の構成要素については同じ参照番号を付し説明を省略する。画像処理装置４００は、画像処理装置１００の構成に加え、被写体情報算出部４０１、閾値決定部４０２を備える。
【００５９】
被写体情報算出部４０１は、被写体検出部１０２により検出された撮影画像内の各人物領域に対して、顔の大きさと位置（二次元の座標）を算出する。顔の大きさと位置は、被写体検出部１０２が検出した顔領域を基準として、領域の高さを大きさ、領域の中央座標を位置とするなどして求めてもよいし、他の基準や方法で求めてもよい。また、被写体検出部１０２の被写体の検出方法に応じて大きさと位置の求め方を変えてもよい。また、被写体情報算出部４０１は、エッジ強度算出部１０５により算出された人物エッジ強度が最大人物エッジ強度であった場合に、最大人物エッジ強度である領域に紐付く人物の顔の大きさと位置を保存する。
【００６０】
閾値決定部４０２は、被写体情報算出部４０１により算出された各人物の大きさと位置と、最大人物エッジ強度の人物の大きさと位置を比較して、販売対象人物決定部１０７で利用するための閾値を決定する。詳細は図６で後述する。
【００６１】
第２の実施形態における販売対象人物決定部１０７は、閾値決定部４０２で決定した閾値を事前に定めた閾値として用いて販売対象のタグ付けを行う。これにより、撮影画像内の人物の大きさや位置といった写り方が販売対象人物の決定に影響し、より人の感覚に近い販売対象人物の決定が行えることになる。
【００６２】
＜第２の実施形態における画像処理装置４００の処理フロー＞
図５は、図４に示す画像処理装置４００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【００６３】
撮影画像が指定されると、処理を開始し画像読み込み部１０１が入力画像として撮影画像の読み込みを行う（ステップＳ５０１）。画像読み込みの後、画像読み込み部１０１は圧縮画像の解凍を行う。また、ＪＰＥＧマーカーのイメージ方向情報等を基にして、解凍したイメージを回転補正する。
【００６４】
被写体検出部１０２は読み込んだ画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域（人物領域）が存在するか判断する（ステップＳ５０２）。もし、一人以上の人物が存在する場合は、ステップＳ５０３へ進む。
【００６５】
人物領域が存在しない場合（ステップＳ５０２でＮｏ）、ステップＳ５１６へ進む。
【００６６】
人物領域が存在する場合（ステップＳ５０２でＹｅｓ）、被写体識別情報抽出部１０３は、ステップＳ５０２で被写体検出部１０２が検出した各人物の被写体識別情報を検出する（ステップＳ５０３）。
【００６７】
被写体情報算出部４０１は、被写体検出部１０２がステップＳ５０２で検出した人物領域毎に顔の大きさと位置を算出して、人物に紐付けて保存する（ステップＳ５０４）。
【００６８】
エッジ強度算出領域決定部１０４は、被写体検出部１０２がステップＳ５０２で検出した人物領域毎に人物エッジ強度を算出する領域（エッジ強度算出領域）を決定する（ステップＳ５０５）。
【００６９】
エッジ強度算出部１０５は、エッジ強度算出領域決定部１０４により決定された領域から、人物エッジ強度を算出して、算出した人物エッジ強度を人物に紐付けて保存する（ステップＳ５０６）。
【００７０】
そして、エッジ強度算出部１０５は、算出した人物エッジ強度が対象画像内でこれまで算出した人物エッジ強度の中で最大値であるかを判定する（ステップＳ５０７）。算出した人物エッジ強度の中で最大値であった場合（ステップＳ５０７でＹｅｓ）、算出した人物エッジ強度を最大人物エッジ強度として保存する（ステップＳ５０８）。一方、算出した人物エッジ強度がこれまでに算出した他の人物エッジ強度の中で最大値でない場合（ステップＳ５０７でＮｏ）、ステップＳ５１０に進む。
【００７１】
被写体情報算出部４０１は、エッジ強度算出部１０５で最大人物エッジ強度を保存した後、ステップＳ５０４で算出した顔の大きさと位置を最大エッジ強度と紐付けて保存する（ステップＳ５０９）。つまり、画像内で最も鮮明に写っている人物の顔の大きさと位置を保存する。
【００７２】
エッジ強度算出部１０５は、対象画像内の全ての人物に対して、人物エッジ強度の算出を行ったか確認する（ステップＳ５１０）。全ての人物に対して人物エッジ強度の算出を完了していない場合は（ステップＳ５１０でＮｏ）、ステップＳ５０３に戻り、次の人物に対して処理を行う。
【００７３】
対象画像内の全ての人物に対して、人物エッジ強度の算出が完了した場合（ステップＳ５１０でＹｅｓ）、ステップＳ５１１に進む。
【００７４】
エッジ強度比較部１０６は、エッジ強度算出部１０５により算出された各人物エッジ強度を基準となる最大人物エッジ強度と比較し、各人物の相対的なぼけ具合であるエッジ強度の比較値を算出する（ステップＳ５１１）。
【００７５】
閾値決定部４０２は、被写体情報算出部４０１により算出された各人物の顔の大きさと位置と、最大人物エッジ強度に紐付いた顔の大きさと位置を比較し、販売対象人物決定部１０７で販売対象人物を決定するための閾値を決定する（ステップＳ５１２）。ここでの閾値決定の一例として、第２の実施形態における閾値の決定フローを図６で後述する。
【００７６】
販売対象人物決定部１０７は、エッジ強度比較部１０６により算出された各人物の人物エッジ強度の比較値が閾値決定部４０２により決定された閾値以上であるかを判定する（ステップＳ５１３）。
【００７７】
閾値決定部４０２により決定された閾値以上の場合（ステップＳ５１３でＹｅｓ）、各人物の被写体識別情報に販売対象のタグを付ける（ステップＳ５１４）。一方、各人物のエッジ強度の比較値が閾値未満の場合（ステップＳ５１３でＮｏ）、ステップＳ５１５に進む。
【００７８】
販売対象人物決定部１０７は、対象画像内の全ての人物に対して、販売対象者の判断を行ったか確認する（ステップＳ５１５）。全ての人物に対して販売対象者の判断が完了していない場合は（ステップＳ５１５でＮｏ）、ステップＳ５１１に戻り、次の人物に対して処理を行う。
【００７９】
画像内の全ての人物に対して、販売対象者の判断が完了した場合（ステップＳ５１５でＹｅｓ）、ステップＳ５１６に進む。
【００８０】
画像読み込み部１０１は、全ての画像を処理したか確認する（ステップＳ５１６）。
【００８１】
全ての画像を処理していない場合（ステップＳ５１６でＮｏ）、ステップＳ５０１に戻り、画像読み込み部１０１が次の入力画像を読み込む。
【００８２】
全ての画像を処理した場合は（Ｓ５１６でＹｅｓ）、処理を終了する。
【００８３】
＜第２の実施形態における閾値の決定フロー＞
図６は、図４に示す画像処理装置４００の閾値決定部４０２が、販売対象人物決定部１０７で利用するための閾値を決定するフローを説明するための図である。
【００８４】
ここでは、閾値決定部４０２が、人の感覚に近くなるよう、対象画像内で最も鮮明に写っている人物より顔が大きく、より画像の中央にいる人物が販売対象となりやすくなるように閾値を決定する例示を行う。なお、図６で説明する閾値決定の方法は一例であり、これに限定するものではない。
【００８５】
まず、閾値決定部４０２は、事前に定めた閾値を取得して、その値を閾値の初期値とする（ステップＳ６０１）。
【００８６】
閾値決定部４０２は、被写体情報算出部４０１で取得したターゲットの顔の大きさと、最大人物エッジ強度に紐付いた顔の大きさを比較する（ステップＳ６０２）。
【００８７】
ターゲットの顔の大きさが最大人物エッジ強度に紐付いた顔の大きさより大きい場合（ステップＳ６０２でＹｅｓ）、大きさの比に応じて閾値を下げる（ステップＳ６０３）。
【００８８】
一方、ターゲットの顔の大きさが最大人物エッジ強度に紐付いた顔の大きさより小さい場合（ステップＳ６０２でＮｏ）、大きさの比に応じて閾値を上げる（ステップＳ６０４）。閾値の上げ下げを行った後はステップＳ６０５に進む。
【００８９】
ステップＳ６０２〜Ｓ６０４の例として、図７を用いて説明する。画像７００には、人物７０１、人物７０２、人物７０３が撮影されおり、人物７０１、人物７０２、人物７０３をそれぞれ顔領域７０４、顔領域７０５、顔領域７０６で検出している。この画像７００において、人物７０２が最大人物エッジ強度であったと仮定して説明する。ターゲットを人物７０１とした場合、顔領域７０４が顔領域７０５より大きいことから人物７０２より顔が大きいため、顔の大きさの比に応じてこのターゲットの閾値を下げる。対して、ターゲットを人物７０３とした場合は、顔領域７０６が顔領域７０５より小さいことから人物７０２より顔が小さいため、顔の大きさの比に応じてこのターゲットの閾値を上げる。こうすることによって、撮影画像内で大きく写っている人物は閾値が下がるため、多少ぼけていたとしても販売対象になりやすくなる。また、小さく写っている人物は多少鮮明であっても閾値が上がるため非販売対象になりやすくなる。
【００９０】
図６のフローチャートの説明に戻る。閾値決定部４０２は、被写体情報算出部４０１で取得したターゲットの顔の位置と、最大人物エッジ強度に紐付いた顔の位置を比較する（ステップＳ６０５）。なお、ここでは画像の横方向の位置のみを用いて、画像の中央位置から顔位置までの横方向の距離で比較するとして例示する。
【００９１】
ターゲットの顔の中央位置から画像の中央位置までの距離が最大人物エッジ強度に紐付いた顔の中央位置から画像の中央位置までの距離より小さい場合（ステップＳ６０５でＹｅｓ）、距離の比に応じて閾値を下げる（ステップＳ６０６）。ここで、顔の中央位置とは、顔領域７０４、顔領域７０５、および顔領域７０６の矩形の中心とする。
【００９２】
一方、ターゲットの顔の中央位置から画像の中央位置までの距離が最大人物エッジ強度に紐付いた顔の中央位置から画像の中央位置までの距離以下の場合（ステップＳ６０５でＮｏ）、距離の比に応じて閾値を上げる（ステップＳ６０７）。
【００９３】
距離の比に応じた閾値の上げ下げを行った後は、処理を終了する。
【００９４】
ステップＳ６０５〜Ｓ６０７の例として、画像７００において、人物７０１が最大人物エッジ強度であったと仮定して説明する。ターゲットを人物７０２とした場合、ターゲットの顔の中央位置からの距離７０８は人物７０１の中央位置からの距離７０７より小さいため、距離の比に応じてこのターゲットの閾値を下げる。対して、ターゲットを人物７０３とした場合、ターゲットの顔の中央位置からの距離７０９は人物７０１の中央位置からの距離７０７より大きいため、距離の比に応じてこのターゲットの閾値を上げる。こうすることによって、画像内で最も鮮明に写っている人物より画像の中央に写っていれば販売対象になりやすくなる。また、端に写っていれば非販売対象になりやすくなる。
【００９５】
以上、説明したとおり、本発明の第２実施形態によれば、被写体情報算出部４０１で人物の大きさや位置を取得し、閾値決定部４０２で人物の写り方も考慮した閾値を決定して、ぼけ具合を判断することによって、より人の感覚に近いぼけの少ない人物のみを販売システムに登録できる。
【００９６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９７】
以上のように第１の実施形態〜第２の実施形態によれば、画像に写る各人物のエッジ強度から相対的なぼけ具合を算出して、販売対象人物を決定することによって、ぼけの少ない写真を写真購入者に提供することを可能にする。また、人物の大きさや位置に応じて販売対象人物かどうかの判断閾値を変化させることによって、写真の写り方も考慮したより人の感覚に近いぼけの少ない写真を写真購入者に提供することを可能にする。
【００９８】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して処理を実行することによっても達成することができる。
【００９９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータで読み取り可能な記憶媒体は本発明を構成することになる。
【０１００】
また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されるように構成してもよい。
【０１０１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたあと、このプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を実行し、その処理に応じて上述した実施形態が実現される場合も含んでいる。
【０１０２】
なお、プログラムコードを供給するため、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤやＤＶＤに代表される光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等の記憶媒体を用いることができる。または、プログラムコードは、ネットワークを介してダウンロードしてもよい。
【符号の説明】
【０１０３】
１００、４００：画像処理装置
１０１：画像読み込み部
１０２：被写体検出部
１０３：被写体識別情報抽出部
１０４：エッジ強度算出領域抽出部
１０５：エッジ強度算出部
１０６：エッジ強度比較部
１０７：販売対象人物決定部
１５１：ＣＰＵ
１５２：入力部
１５３：表示部
１５４：メモリ
１５５：通信部
４０１：被写体情報算出部
４０２：閾値決定部
【図１】
2018101248.tif 000003
【図２】
2018101248.tif 000004
【図３】
2018101248.tif 000005
【図４】
2018101248.tif 000006
【図５】
2018101248.tif 000007
【図６】
2018101248.tif 000008
【図７】
2018101248.tif 000009