(57)【要約】【課題】マラソン大会などのイベントで撮影した参加者の写真（撮影画像）において、撮影画像内における人物の重なりを推測することによって、販売システムで販売対象とする撮影画像を絞り込み、イベント参加者が購入する撮影画像を見つけやすくすることが可能な画像処理装置、画像処理方法および画像処理システムを提供する。【解決手段】画像処理装置は、撮影画像内における人物の重なりを人物ボディ推定部と人物重なり推定部の処理から推定することによって、前にいる人物と重なっているゼッケン番号の人物を販売非対象人物として販売の対象から除外し、重なっていない人物を販売対象人物として販売の対象とする。【選択図】図１
2018025966.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から被写体を検出する被写体検出部と、
前記被写体検出部が検出した頭部から顔の位置、大きさ、および向きの顔属性を検出する顔属性検出部と、
前記顔属性検出部の検出結果に基づき、前記被写体のボディ領域を推測するボディ推測部と、
前記顔属性と前記ボディ領域から前記被写体の重なりを推測する重なり推測部と、
前記重なり推測部の推測結果に基づき、前記被写体を所定のグループに分類する対象決定部と、
前記被写体に対して画像認識処理を行う画像認識処理部と、を備えることを特徴する画像処理装置。
【請求項２】
前記画像認識処理部は、前記ボディ推測部による前記ボディ領域の推測前に前記画像認識処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像認識処理部は、前記対象決定部による前記被写体の分類後に前記画像認識処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対象決定部は、重なりの奥側に位置する前記被写体を所定の処理の対象外とすることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記被写体検出部が検出した前記被写体の所定の向きの顔に対して、所定の表情の検出を行う表情検出部をさらに備え、
前記表情検出部が所定の表情を検出した場合、前記対象決定部は被写体の分類を変更することを特徴する請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
入力画像から被写体を検出する被写体検出ステップと、
前記被写体検出ステップが検出した頭部から顔の位置、大きさ、および向きの顔属性を検出する顔属性検出ステップと、
前記顔属性検出ステップの検出結果に基づき、前記被写体のボディ領域を推測するボディ推測ステップと、
前記顔属性と前記ボディ領域から前記被写体の重なりを推測する重なり推測ステップと、
前記重なり推測ステップの推測結果に基づき、前記被写体を所定のグループに分類する対象決定ステップと、
前記被写体に対して画像認識処理を行う画像認識処理ステップと、を備えることを特徴する画像処理方法。
【請求項７】
前記画像認識処理ステップは、前記ボディ推測ステップによる前記ボディ領域の推測前に前記画像認識処理を行うことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記画像認識処理ステップは、前記対象決定ステップによる前記被写体の分類後に前記画像認識処理を行うことを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記対象決定ステップは、重なりの奥側に位置する前記被写体を所定の処理の対象外とすることを特徴とする請求項６乃至請求項８の何れか１項に記載の画像処理方法。
【請求項１０】
前記被写体検出ステップが検出した前記被写体の所定の向きの顔に対して、所定の表情の検出を行う表情検出ステップをさらに備え、
前記表情検出ステップが所定の表情を検出した場合、前記対象決定ステップは被写体の分類を変更することを特徴する請求項６乃至請求項９の何れか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マラソン大会などのイベントで撮影された写真の画像処理方法に関するものである。
【背景技術】
【０００２】
テーマパークやイベント会場などで来園者やイベント参加者などの人物画像をカメラで撮影してデータベースに登録し、来園者やイベント参加者などがゼッケン番号等の識別番号等を用いてデータベースを検索し、所望の人物画像を選択して購入できる販売システムがある。
【０００３】
また、本出願人は、入力画像から人物を検出し、検出した人物の顔位置からゼッケンが存在する領域を推定し、推定した領域からゼッケン番号を含む領域を検出することで、検出した領域に対して画像処理を行い、画像処理後の画像からゼッケン番号の文字認識処理を行い、文字認識結果と入力画像との紐付けを行う画像処理装置を提案している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１９０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マラソン大会のスタート時点のように混雑した場面を撮影した撮影画像では、イベント参加者同士が重なっているため、手前側のイベント参加者により奥側にいるイベント参加者は十分に全体が映っていなかったり、他のイベント参加者と重なっていなくとも全身が収まらず体の一部が撮影画像の外に切れてしまったりする場合がある。そのような写真は、ゼッケン番号を文字認識処理する際には、ゼッケン番号が隠れているため、正しいゼッケン番号を認識することができない場合が多い。
【０００６】
その結果、撮影画像を販売する販売システムにおいて、イベント参加者は自分のゼッケン番号を入力しても、当該の撮影画像（写真）はゼッケン番号が一致しないため検索結果に合致されない。また、検索の結果、ゼッケン番号が一致し、販売システムに表示されたとしても全身が十分に映っていないため、必ずしも購入に好ましい撮影画像であるとは言えない。
【０００７】
本発明は、本出願人が先に提案した発明をさらに拡張・発展させ、撮影画像内における人物の重なりを推測することによって、販売システムで販売対象とする撮影画像を絞り込み、イベント参加者が購入する撮影画像を見つけやすくすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の画像処理装置は、入力画像から被写体を検出する被写体検出部と、前記被写体検出部が検出した頭部から顔の位置、大きさ、および向きの顔属性を検出する顔属性検出部と、前記顔属性検出部の検出結果に基づき、前記被写体のボディ領域を推測するボディ推測部と、前記顔属性と前記ボディ領域から前記被写体の重なりを推測する重なり推測部と、前記重なり推測部の推測結果に基づき、前記被写体を所定のグループに分類する対象決定部と、前記被写体に対して画像認識処理を行う画像認識処理部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影した写真の販売システムにおいて、販売対象とする撮影画像を絞り込み、イベント参加者が購入する撮影画像を見つけやすくすることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。
【図２】第１の実施形態において画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【図３】画像処理装置１００が、撮影画像から人物の重なりを推定する処理について説明するための図である。
【図４】画像処理装置１００が、撮影画像から笑顔検出する処理について説明するための図である。
【図５】第２の実施形態において画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態による画像処理装置の一例について図面を参照して説明する。
【００１２】
［第1の実施形態］
＜画像処理装置１００の構成＞
図１は、本発明の第１の実施形態による画像処理装置１００の一例を示すブロック図である。
【００１３】
図示の画像処理装置１００は、パーソナルコンピュータ（ＰＣ）などの装置である。携帯電話や、ＰＤＡ、スマートフォンやタブレット端末などの装置でもよい。
【００１４】
画像処理装置１００は、ハードウェア構成として、ＣＰＵ、メモリ、通信部、および記憶部（ともに不図示）を備えている。
【００１５】
ＣＰＵは画像処理装置１００の全体の制御を司る。メモリはＲＡＭおよびＲＯＭなどである。
【００１６】
記憶部には、ソフトウェアであるオペレーティングシステム（以下、ＯＳと呼ぶ：不図示）、画像読み込み部１０１、被写体検出部１０２、顔属性検出部１０３、ゼッケン領域推定部１０４、ゼッケン文字領域検出部１０５、画像処理部１０６、文字認識部１０７、人物認証部１０８、人物ボディ推定部１０９、人物重なり推定部１１０、笑顔検出部１１１、対象人物決定部１１２および他の機能に係るソフトウェアが記憶されている。なお、これらのソフトウェアはメモリに読み出されて、ＣＰＵの制御に従い動作する。
【００１７】
以下、各機能部が備える機能について詳述していく。
【００１８】
画像読み込み部１０１は、撮影画像およびディスプレイ描画などをメモリから読み込み、画像処理装置１００のメモリ上に展開させる。具体的には、ＪＰＥＧファイルなどの圧縮されたイメージファイルを解凍し、各画素単位のＲＧＢ値順に配列したラスターイメージに展開し、ＰＣ内のメモリ上に展開させる。このとき、読み込んだ撮影画像の画素数が十分に大きくない場合は、被写体検出部１０２における被写体の検出や、画像処理部１０６、文字認識部１０７での認識精度を十分に保つため、画素間を補間し、十分な画素数に拡大してもよい。また、必要以上に画素数が大きい場合は、処理を高速化させるために、画素を間引いて、縮小してもよい。また、撮影画像の縦横関係を補正するために、必要に応じて撮影画像を回転させてもよい。
【００１９】
被写体検出部１０２は、撮影画像内に存在するそれぞれの被写体領域を検出する。被写体（人物)の検出方法は、人物の顔、口や目などの器官の特徴による検出方法や、頭部の形状特徴による検出方法、人物の肌領域などの色相による検出などがあり、これに限定したものではなく、複数の検出方法を組み合わせてもよい。
【００２０】
顔属性検出部１０３は、被写体検出部１０２の検出方法に応じて、人物の顔の大きさを検出するとともに、器官の特徴量や頭部の形状特徴量に応じた顔の向きを検出する。
【００２１】
ゼッケン領域推定部１０４は、被写体検出部１０２により検出された撮影画像内の人物領域から、顔の位置や肩幅のサイズに基づき、顔より下方向の胴体部分にゼッケン文字領域が存在していると推測する。なお、ゼッケンだけに限定したものではなく、ユニフォームの背番号や被写体の一部に直接書かれた識別情報などでもよい。また、下方向に限定し推測するものではなく、人物の姿勢や顔の向き、撮影画像の構図によって適宜変更可能である。
【００２２】
ゼッケン文字領域検出部１０５は、ゼッケン領域推定部１０４により算出された各領域に対して、文字となりうる領域を検出する。ここで文字は、数字、アルファベット、平仮名、片仮名、漢字、数字および記号やバーコードのパターンなど被写体を一意に識別できる識別子のことである。
【００２３】
画像処理部１０６は、ゼッケン文字領域検出部１０５の各領域に対して、文字認識を行うための前処理となる画像処理を行う。
【００２４】
文字認識部１０７は、画像処理部１０６が処理した画像に対して、候補となる文字の画像特徴を記載した辞書データベースに基づき、文字認識を行い、その認識結果を被写体検出部１０２の人物と紐付ける。
【００２５】
人物認証部１０８は、画像内の人物の顔特徴量を用いて、処理対象の撮影画像と撮影時間でソートされた撮影画像との間で、処理対象である撮影画像の撮影時間が前後にある画像内の各人物の顔特徴量と比較する。比較した顔特徴量から類似度を算出し、事前に設定された閾値以上の類似度があるかによって、同一人物であるか人物認証を行う。文字が大きく歪んでいる場合では、文字認識部１０７にて正しい認識結果を得ることができないため、人物認証部１０８によって、前後の画像内で同一人物と人物認証された場合には、当該人物の認識結果を利用して、紐付けを行う。
【００２６】
人物ボディ推定部１０９は、被写体検出部１０２が検出した各人物に対して、各人物の顔下から膝上までのボディの領域（ボディ領域）を推定する。ここで、被写体検出部１０２が検出した顔の位置と、顔属性検出部１０３が検出した顔の大きさと顔の向きに基づき、ボディ領域を推定する。例えば、顔が大きければボディ領域の幅と高さは大きく、顔が横向きであればボディ領域は応じて狭くなるよう推定する。なお、ボディ領域は、胴体だけでなく、顔や頭、手足などを含めてもよい。
【００２７】
人物重なり推定部１１０は、人物ボディ推定部１０９が推定した各人物のボディ領域の位置と大きさに基づき、各人物の重なり具合を推定する。その結果、撮影画像の手前側から奥側への人物の並びを推定する。
【００２８】
笑顔検出部１１１は、顔属性検出部１０３の検出結果により、顔の向きが撮影方向に正面である人物の顔に対して、口や目などの器官の特徴を検出し、その特徴量の度合いと先に複数写真の笑顔人物のサンプルから算出した特徴量の度合いの閾値とを比較することによって笑顔であるかどうかを検出する。
【００２９】
対象人物決定部１１２は、人物重なり推定部１１０と笑顔検出部１１１の推定結果から奥側の人物を販売システムで販売非対象人物として分類し、撮影画像の手前側(前面)の人物のみを販売システムで販売の対象者（販売対象人物）として分類し、文字認識部１０７の認識結果のうち販売対象人物の番号をもって、当該撮影画像にタグ付けする。ここで、販売非対象人物とは、販売システム内でゼッケン番号等による検索を行った場合に、検索にヒットしない人物をいう。
【００３０】
＜第１の実施形態における画像処理装置１００の処理フロー＞
図２は、図１に示す画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【００３１】
撮影画像が指定されると、処理を開始し画像読み込み部１０１が入力画像として撮影画像の読み込みを行う（ステップＳ２０１）。画像読み込みの後、画像読み込み部１０１によって、圧縮画像の解凍を行う。また、ＪＰＥＧマーカーのイメージ方向情報等を元にして、解凍したイメージを回転補正する。
【００３２】
被写体検出部１０２は読み込んだ対象画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域（人物領域）が存在するか判断する（ステップＳ２０２）。もし、一人以上の人物が存在する場合は、ステップＳ２０３へ進む。
【００３３】
人物領域が存在しない場合（ステップＳ２０２でＮｏ）、ステップＳ２２１へ進む。
【００３４】
人物領域が存在する場合（ステップＳ２０２でＹｅｓ）、顔属性検出部１０３は、ステップＳ２０２で被写体検出部１０２が検出した各人物の顔の大きさと顔の向きを検出する（ステップＳ２０３）。
【００３５】
ゼッケン領域推定部１０４は、被写体検出部１０２がステップＳ２０２で検出した人物領域毎にゼッケン文字領域が含まれていると推定してスキャンする領域を決定する（ステップＳ２０４）。
【００３６】
ここで、スキャンする領域は、画像の上下のサイズおよび人物領域の幅より決定し、人物の顔より下方向の領域に設定する。ここで、被写体検出部１０２が用いる検出方法によってスキャンする領域の上下サイズおよび幅を変更してもよい。また、顔属性検出部１０３の結果である正面または横向きの程度を利用して、スキャンする領域の幅を変更してもよい。
【００３７】
ゼッケン文字領域検出部１０５は、ゼッケン領域推定部１０４により人物毎に決定されたスキャンする領域から、ゼッケン文字領域を検出する（ステップＳ２０５）。ゼッケン文字領域の候補として、数字や文字などのゼッケン番号と予想される画像領域を検出し、一文字または複数文字を含む画像領域を検出する。ここでゼッケン番号と表現しているが、数字に限定されるものではない。
【００３８】
画像処理部１０６は、ゼッケン文字領域検出部１０５が検出した各画像領域に対して、文字認識を行うための前処理となる画像処理を行う（ステップＳ２０６）。ここで、画像処理とは、歪み補正、傾き補正、奥行き補正などである。詳細な処理の説明は、本出願人が先に提出した特願２０１４−２５９２５８にて説明している。
【００３９】
全てのゼッケン文字領域の画像処理が終了すると、文字認識部１０７は、各ゼッケン文字領域に対して文字認識を行う（ステップＳ２０７）。
【００４０】
文字認識部１０７は、算出した文字認識結果の文字が正しく認識され、さらにゼッケン番号として有効であるかどうかを確認する（ステップＳ２０８）。
【００４１】
ゼッケン番号として有効な文字認識結果である場合（ステップＳ２０８でＹｅｓ）、文字認識部１０７は、文字認識結果を当該人物に紐付ける（ステップＳ２０９）。
【００４２】
ゼッケン番号として有効な文字認識結果でない場合（ステップＳ２０８でＮｏ）、ステップＳ２１０に進む。
【００４３】
文字認識部１０７は、画像内の全ての人物に対して、文字認識処理を行ったか確認する（ステップＳ２１０）。文字認識処理が完了していない場合は（ステップＳ２１０でＮｏ）、ステップＳ２０３に戻り、次の人物に対して文字認識処理を行う。
【００４４】
画像内の全ての人物に対して、文字認識処理が完了した場合（ステップＳ２１０でＹｅｓ）、ステップＳ２１１に進む。
【００４５】
人物認証部１０８は、読み込まれた撮影画像内に有効な文字認識結果が紐付けられていない人物がいるかを確認する（ステップＳ２１１）。
【００４６】
紐付けられていない人物がいる場合（ステップＳ２１１でＹｅｓ）、人物認証部１０８は、処理対象前後にある撮影画像内に、有効な文字認識結果に紐付けられている同一の人物がいるか人物認証を行う（ステップＳ２１２）。
【００４７】
紐付けられていない人物がいない場合（ステップＳ２１１でＮｏ）、ステップＳ２１４に進む。
【００４８】
有効な文字認識結果に紐付けられている同一の人物がいる場合（ステップＳ２１２でＹｅｓ）、処理対象とする撮影画像の前後にある撮影画像内にいる同一人物の文字認識結果を紐付ける（ステップＳ２１３）。
【００４９】
有効な文字認識結果が紐付けられている同一の人物がいない場合（ステップＳ２１２でＮｏ）、ステップＳ２１４に進む。
【００５０】
人物ボディ推定部１０９は、被写体検出部１０２で検出した各人物に対して、それぞれのボディ領域を推定する（ステップＳ２１４）。ここで、人物ボディ推定部１０９は、顔属性検出部１０３が検出した顔の大きさから、ボディ領域の幅と高さを決定し、また顔の正面および横向きの程度からボディ領域の幅を調節する。
【００５１】
人物重なり推定部１１０は、人物ボディ推定部１０９が推定した各人物のボディ領域の位置と大きさに基づき、撮影画像の手前側から奥側への人物の並びである人物重なりを推定する（ステップＳ２１５）。
【００５２】
対象人物決定部１１２は、人物重なり推定部１１０の推定結果から奥側の人物を販売非対象人物とし、手前側の人物のみを販売対象人物とする（ステップＳ２１６）。なお、手前側の人物と手前側の人物との２つのグループに分類しているが、これに限定したものでなく、複数のグループに分類してもよい。
【００５３】
笑顔検出部１１１は、人物重なり推定部１１０で推定した奥側の人物である販売非対象人物が画像内にいるかを確認する（ステップＳ２１７）。
【００５４】
販売非対象人物が画像内にいる場合（ステップＳ２１７でＹｅｓ）、笑顔検出部１１１は、販売非対象人物の顔は正面を向いており、かつ笑顔であるかを検出する（ステップＳ２１８）。
【００５５】
販売非対象人物の顔が正面を向いており、かつ笑顔である場合（ステップＳ２１８でＹｅｓ）、対象人物決定部１１２は、販売非対象人物を販売対象人物として追加する（ステップＳ２１９）。
【００５６】
対象人物決定部１１２は、ステップＳ２１６およびステップＳ２１９で決定した販売対象人物に相当する文字認識結果を撮影画像にタグ付けする（ステップＳ２２０）。
【００５７】
画像読み込み部１０１は、全ての画像を処理したか確認する（ステップＳ２２１）。
【００５８】
全ての画像を処理していない場合（ステップＳ２２１でＮｏ）、ステップＳ２０１に戻り、画像読み込み部１０１が次の入力画像を読み込む。
【００５９】
全ての画像を処理した場合は（Ｓ２２１でＹｅｓ）、処理を終了する。
【００６０】
＜撮影画像の人物重なり推定について＞
図３は、図１に示す画像処理装置１００が、撮影画像から人物の重なりを推定する処理を説明するための図である。
【００６１】
図３（ａ）に示す画像３１０は、画像処理を行う撮影画像（入力画像）の一例である。複数の被写体（ランナー）が撮影されており、手前側から奥側に向かって人物が重なっている。画像３１０には、人物３１１、人物３１２、人物３１３を含む複数の被写体が写っている。
【００６２】
奥側の人物は、重なっている手前側の人物によって、体の一部が隠れており、全身が見えないようになっている。特に、奥側の人物（人物３１１、人物３１２、人物３１３以外の人物）のゼッケンは、手前側の人物（人物３１１、人物３１２、人物３１３）に重なっているため、文字認識部１０７がゼッケン番号の全体を正しく確認することができない。
【００６３】
図４（ｂ）に示す画像３２０は、画像３１０に対する人物のボディ領域と人物重なりの推定結果を表す図である。
【００６４】
人物ボディ推定部１０９は、被写体検出部１０２が検出した被写体から、人物３１１に対応する頭部領域３２１およびボディ領域３２２、人物３１２に対応する頭部領域３２３およびボディ領域３２４、人物３１３に対応する頭部領域３２５およびボディ領域３２６を推定する。
【００６５】
人物重なり推定部１１０は、人物ボディ推定部１０９の推定結果に基づき、手前側から奥側に人物の重なりを推定する。
【００６６】
画像３１０で、奥側の人物（人物３１１、人物３１２、人物３１３以外の人物）は手前側の人物に重なっているため対象人物決定部１１２が販売システムによる販売非対象人物とし、画像３１０内にいる人物が重なっていない手前側の人物３１１、人物３１２、人物３１３のみを販売対象人物とする。人物３１１、人物３１２、人物３１３は、文字認識部１０７により正しくゼッケン番号が認識でき、また全身が写っているため、購買に適している。
【００６７】
＜撮影画像の笑顔検出について＞
図４は、図１に示す画像処理装置１００が、撮影画像から笑顔検出する処理について説明するための図である。
【００６８】
図４（ａ）に示す画像４１０は、画像処理を行う入力画像の一例である。二人のランナー（人物４１１、人物４１２）が、寄り添った状態で撮影されている。
【００６９】
図４（ｂ）に示す画像４２０は、画像４１０に対する人物のボディ領域と人物重なりの推定結果を表す図である。
【００７０】
ここで、被写体検出部１０２が検出した顔または頭部の位置と顔の大きさから、人物ボディ推定部１０９が人物のボディ領域の大きさを推定し、人物重なり推定部１１０が人物４１１、人物４１２をそれぞれ模式化したボディ領域４２１、ボディ領域４２２を使用することで手前側に人物４１２がおり、奥側に人物４１１が重なっていると推定する。
【００７１】
笑顔検出部１１１は、人物重なり推定部１１０が推定した人物４１１（人物４１２と重なっており販売非対象人物と判断した人物）について、顔の向きが正面であるか、および笑顔であるかを検出する。
【００７２】
笑顔検出部１１１が、人物４１１の顔の向きが正面であり、笑顔であると判定すると、対象人物決定部１１２は、人物４１１を販売対象人物として追加する。その結果、画像４１０においては、人物４１１と人物４１２の二人が販売対象人物として、二人の文字認識結果が、画像４１０にタグ付けされる。
【００７３】
以上、説明したとおり、本発明の第１の実施形態によれば、撮影画像内の人物の重なりを人物ボディ推定部１０９と人物重なり推定部１１０の処理から推定することによって、人物の重なりによって文字認識部１０７が正しく文字認識処理できないゼッケン番号の人物を販売非対象人物として販売の対象から除外し、手前側にいる人物で文字認識部１０７が正しく文字認識処理できた画像（より購買に適した画像）を精査して、販売システムに反映させることが可能である。
【００７４】
また、人物重なり推定の結果により、販売非対象となったイベント参加者（販売非対象人物）に対しても、撮影機器に対して正面を向いており、笑顔であると笑顔検出部１１１が、販売対象人物に変更することができる。
【００７５】
［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。
【００７６】
本実施形態では、第１の実施形態で説明した画像処理装置１００の構成と同様の構成であるため、構成要素については同一の参照番号を付して説明を省略する。なお、第２の実施形態では、人物認証部１０８は不要である。
【００７７】
第２の実施形態では、文字認識部１０７が文字認識処理を行う前に、人物ボディ推定部１０９、人物重なり推定部１１０、および笑顔検出部１１１の処理により販売対象人物を先に絞り込み、文字認識処理を行うべき対象を限定することで処理を高速化する点が特徴である。
【００７８】
＜第２の実施形態における画像処理装置１００の処理フロー＞
図５は、図１に示す画像処理装置１００が、販売対象人物を決定するまでを説明するためのフローチャートである。
【００７９】
撮影画像が指定されると、処理を開始し画像読み込み部１０１が入力画像として撮影画像の読み込みを行う（ステップＳ５０１）。画像読み込みの後、画像読み込み部１０１によって、圧縮画像の解凍を行う。また、ＪＰＥＧマーカーのイメージ方向情報等を元にして、解凍したイメージを回転補正する。
【００８０】
被写体検出部１０２は読み込んだ対象画像のラスターイメージ全体をスキャンし、人物の可能性のある画像領域（人物領域）が存在するか判断する（ステップＳ５０２）。もし、一人以上の人物が存在する場合は、ステップＳ５０３へ進む。
【００８１】
人物領域が存在しない場合（ステップＳ５０２でＮｏ）、ステップＳ５１９へ進む。
【００８２】
人物領域が存在する場合（ステップＳ５０２でＹｅｓ）、顔属性検出部１０３は、ステップＳ６０２で被写体検出部１０２が検出した各人物の顔の大きさと顔の向きを検出する（ステップＳ５０３）。
【００８３】
人物ボディ推定部１０９は、被写体検出部１０２で検出した各人物に対して、それぞれのボディ領域を推定する（ステップＳ５０４）。ここで、人物ボディ推定部１０９は、顔属性検出部１０３が検出した顔の大きさと顔の向きに基づき、ボディ領域を調整する。
【００８４】
人物重なり推定部１１０は、人物ボディ推定部１０９が推定した各人物のボディ領域の位置と大きさに基づき、撮影画像の手前側から奥側への人物の並びである人物重なりを推定する（ステップＳ５０５）。
【００８５】
対象人物決定部１１２は、人物重なり推定部１１０の推定結果から奥側の人物を販売非対象人物とし、手前側の人物のみを販売対象人物とする（ステップＳ５０６）。
【００８６】
笑顔検出部１１１は、人物重なり推定部１１０で推定した奥側の人物である販売非対象人物が画像内にいるかを確認する（ステップＳ５０７）。
【００８７】
販売非対象人物が画像内にいる場合（ステップＳ５０７でＹｅｓ）、笑顔検出部１１１は、販売非対象人物の顔は正面を向いており、かつ笑顔であるかを検出する（ステップＳ５０８）。販売非対象人物が画像内にいない場合（ステップＳ５０７でＮｏ）、ステップＳ５１０へ進む。
【００８８】
販売非対象人物の顔が正面を向いており、かつ笑顔である場合（ステップＳ５０８でＹｅｓ）、対象人物決定部１１２は、販売非対象人物を販売対象人物として追加する（ステップＳ５０９）。販売非対象人物が正面を向いていない、あるいは笑顔ではない場合（ステップＳ５０８でＮｏ）、ステップＳ５１０へ進む。
【００８９】
対象人物決定部１１２は、対象画像内に販売対象人物がいるか判定する（ステップＳ５１０）。
【００９０】
販売対象人物がいる場合（ステップＳ５１０でＹｅｓ）、ゼッケン領域推定部１０４は、被写体検出部１０２がステップＳ５０２で検出した人物領域毎にゼッケン文字領域が含まれていると推定してスキャンする領域を決定する（ステップＳ５１１）。
【００９１】
ここで、スキャンする領域は、画像の上下のサイズおよび人物領域の幅より決定し、人物の顔より下方向の領域に設定する。ここで、被写体検出部１０２が用いる検出方法によってスキャンする領域の上下サイズおよび幅を変更してもよい。また、顔属性検出部１０３の結果である正面または横向きの程度を利用して、スキャンする領域の幅を変更してもよい。
【００９２】
販売対象人物がいない場合（ステップＳ５１０でＮｏ）、ステップＳ５１９に進む。
【００９３】
ゼッケン文字領域検出部１０５は、ゼッケン領域推定部１０４により人物毎に決定されたスキャンする領域から、ゼッケン文字領域を検出する（ステップＳ５１２）。ゼッケン文字領域の候補として、数字や文字などのゼッケン番号と予想される画像領域を検出し、一文字または複数文字を含む画像領域を検出する。ここでゼッケン番号と表現しているが、数字に限定されるものではない。
【００９４】
画像処理部１０６は、ゼッケン文字領域検出部１０５が検出した各画像領域に対して、文字認識を行うための前処理となる画像処理を行う（ステップＳ５１３）。
【００９５】
全てのゼッケン文字領域の画像処理が終了すると、文字認識部１０７は、各ゼッケン文字領域に対して文字認識を行う（ステップＳ５１４）。
【００９６】
文字認識部１０７は、算出した文字認識結果の文字が正しく認識され、さらにゼッケン番号として有効であるかどうかを確認する（ステップＳ５１５）。
【００９７】
ゼッケン番号として有効な文字認識結果である場合（ステップＳ５１５でＹｅｓ）、文字認識部１０７は、文字認識結果を当該人物に紐付ける（ステップＳ５１６）。
【００９８】
ゼッケン番号として有効な文字認識結果でない場合（ステップＳ５１５でＮｏ）、ステップＳ５１９に進む。
【００９９】
文字認識部１０７は、画像内の全ての販売対象人物に対して、文字認識処理を行ったか確認する（ステップＳ５１７）。文字認識処理が完了していない場合は（ステップＳ５１７でＮｏ）、ステップＳ５１１に戻り、次の人物に対して文字認識処理を行う。
【０１００】
画像内の全ての販売対象人物に対して、文字認識処理が完了した場合（ステップＳ５１７でＹｅｓ）、対象人物決定部１１２は、ステップＳ３０６で決定した販売対象人物に相当する文字認識結果を撮影画像にタグ付けする（ステップＳ５１８）。
【０１０１】
画像読み込み部１０１は、全ての画像を処理したか確認する（ステップＳ５１９）。
【０１０２】
全ての画像を処理していない場合（ステップＳ５１９でＮｏ）、ステップＳ５０１に戻り、画像読み込み部１０１が次の入力画像を読み込む。
【０１０３】
全ての画像を処理した場合は（Ｓ５１９でＹｅｓ）、処理を終了する。
【０１０４】
以上、説明したとおり、本発明の第２実施形態によれば、文字認識部１０７が文字認識処理を行う前に、人物ボディ推定部１０９、人物重なり推定部１１０、および笑顔検出部１１１の処理により販売対象人物を先に絞り込み、文字認識処理を行うべき対象を限定することで処理を高速化することができる。
【０１０５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１０６】
以上のように第１の実施形態〜第２の実施形態によれば、人物検出と顔属性検出の結果から、イベント参加者のボディ領域を推測し、人物重なりを推定することによって、写真購入者に購買により適する写真（文字認識部１０７が正しくゼッケン番号を文字認識した写真）を提供することを可能にする。また、人物重なりで奥側の位置するイベント参加者であっても、顔の向きと笑顔検出を行うことによって、販売非対象人物から販売対象人物に変更することができる。
【０１０７】
なお、第１の実施形態および第２の実施形態で説明した笑顔検出部１１１による笑顔検出は、システムを構成する機器の処理能力に応じて行わないようにすることもできる。
【０１０８】
また、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して処理を実行することによっても達成することができる。
【０１０９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータで読み取り可能な記憶媒体は本発明を構成することになる。
【０１１０】
また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されるように構成してもよい。
【０１１１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたあと、このプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を実行し、その処理に応じて上述した実施形態が実現される場合も含んでいる。
【０１１２】
なお、プログラムコードを供給するため、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤやＤＶＤに代表される光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等の記憶媒体を用いることができる。または、プログラムコードは、ネットワークを介してダウンロードしてもよい。
【符号の説明】
【０１１３】
１００、５００：画像処理装置
１０１：画像読み込み部
１０２：被写体検出部
１０３：顔属性検出部
１０４：ゼッケン領域推定部
１０５：ゼッケン文字領域検出部
１０６：画像処理部
１０７：文字認識部
１０８：人物認証部
１０９：人物ボディ推定部
１１０：人物重なり推定部
１１１：対象人物決定部
１１２：笑顔検出部
【図１】
2018025966.tif 000003
【図２】
2018025966.tif 000004
【図３】
2018025966.tif 000005
【図４】
2018025966.tif 000006
【図５】
2018025966.tif 000007