(57)【要約】【課題】画像グループ内の画像の中から、画像グループの内容を示唆する標識画像（代表画像）として適切な画像を選択可能とする。【解決手段】プリント注文を受け付けるための受付端末１の制御部１１は、付加情報として日時情報を有する画像が記録されたメディアＭに記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出し、その抽出された画像グループ毎に、画像グループ内に含まれる画像の内容を示唆する代表画像を選択する。代表画像を選択する際、制御部１１は、画像グループ内の少なくとも一つの画像について配光性を算出したり、人物の顔領域を抽出する顔抽出処理を行い、配光性の算出結果及び／又は顔領域が抽出された画像の顔領域情報に基づいて代表画像を選択する。【選択図】図２
2007193590.tif 000002
【特許請求の範囲】
【請求項１】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、
前記選択工程では、前記画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて前記標識画像を選択することを特徴とする画像処理方法。
【請求項２】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、
前記選択工程では、前記画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、前記顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴とする画像処理方法。
【請求項３】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、
前記選択工程では、前記画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴とする画像処理方法。
【請求項４】
前記選択工程では、前記配光性として、順光度、ストロボ度を算出することを特徴とする請求項１又は３に記載の画像処理方法。
【請求項５】
前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴とする請求項２又は３に記載の画像処理方法。
【請求項６】
前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作工程と、
前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信工程と、
を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。
【請求項７】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、
前記選択手段は、前記画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて前記標識画像を選択することを特徴とする画像処理装置。
【請求項８】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、
前記選択手段は、前記画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、当該顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴とする画像処理装置。
【請求項９】
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、
前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、
前記選択手段は、前記画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴とする画像処理装置。
【請求項１０】
前記選択手段は、前記配光性として、順光度、ストロボ度を算出することを特徴とする請求項７又は９に記載の画像処理装置。
【請求項１１】
前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１２】
顧客からのプリント注文を受け付けるための受付端末において、
請求項７〜１１の何れか一項に記載の画像処理装置と、
前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作手段と、
前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信手段と、
を備えることを特徴とする受付端末。
【請求項１３】
画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、
として機能させるための画像処理プログラム。
【請求項１４】
画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、当該顔領域が抽出された画像の顔領域情報に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、
として機能させるための画像処理プログラム。
【請求項１５】
画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、
として機能させるための画像処理プログラム。
【請求項１６】
前記選択手段は、前記配光性として、順光度、ストロボ度を算出することを特徴とする請求項１３又は１５に記載の画像処理プログラム。
【請求項１７】
前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴とする請求項１４又は１５に記載の画像処理プログラム。
【請求項１８】
前記コンピュータを、
前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作手段、
前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信手段、
として機能させることを特徴とする請求項１３〜１７の何れか一項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、受付端末及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、アナログカメラに代わってデジタルカメラの普及が進んでいる。ショット数の増加に加え、撮影画像を記録・保存しておくメモリ（メディア）についても、大容量化・低価格化が進んでおり、１つのメモリに膨大な数の画像が記録可能となっている。この記録画像の増加によって、画像管理の必要性が生じ、例えば、旅行など一連の撮影画像毎にグループ分けする技術が所望され、検討されるようになっている。更には、グループ数も複数にわたるため、グループ分けした各グループの中身が一目でわかるような工夫が求められるようになった。
【０００３】
画像グループの中身が一目でわかるように、画像グループの中から代表画像を選択する技術が提案されている。このような技術として、特許文献１には、画像グループ内の先頭コマ（日付が一番若いコマ）や最後のコマを画像グループ内の代表画像（代表コマ）とする技術が開示されている。また、特許文献２には、画像グループ内の全画像の特徴量（色相、彩度、明度等）の平均値に最も近い特徴量を有する画像又は最も撮影日が早い画像を画像グループ内の代表画像とする技術が開示されている。
【特許文献１】特開２００４−２９７１７６号公報
【特許文献２】特開２００４−３１０４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来の技術には以下のような問題があった。
特許文献１に記載の技術では、最初や最後のコマがどのような写りであっても代表画像としてしまうため、写りの悪い画像が代表画像となることがあり、代表画像として適切ではない場合があった。また、特許文献２に記載の技術では、画像グループ内の全画像の特徴量の平均値に最も近い特徴量を有する画像を代表画像としているが、例えば、画像グループ内の画像のほとんどが、撮影環境として暗い場所で撮影された画像である場合、平均値に最も近い特徴量を有する画像が必ずしも代表画像として見やすい画像となっていないという問題があった。
【０００５】
本発明の課題は、画像グループ内の画像の中から、画像グループの内容を示唆する標識画像（代表画像）として適切な画像を選択可能とすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、前記選択工程では、前記画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて前記標識画像を選択することを特徴としている。
【０００７】
請求項２に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、前記選択工程では、前記画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、当該顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴としている。
【０００８】
請求項３に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出工程と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択工程と、を含む画像処理方法であって、
前記選択工程では、前記画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１又は３に記載の画像処理方法において、前記選択工程では、前記配光性として、順光度、ストロボ度を算出することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項２又は３に記載の画像処理方法において、前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理方法において、前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作工程と、前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信工程と、を含むことを特徴としている。
【００１２】
請求項７に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、前記選択手段は、前記画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて前記標識画像を選択することを特徴としている。
【００１３】
請求項８に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、前記選択手段は、前記画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、当該顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴としている。
【００１４】
請求項９に記載の発明は、付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段と、前記抽出された画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段と、を備える画像処理装置であって、前記選択手段は、前記画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて前記標識画像を選択することを特徴としている。
【００１５】
請求項１０に記載の発明は、請求項７又は９に記載の画像処理装置において、前記選択手段は、前記配光性として、順光度、ストロボ度を算出することを特徴としている。
【００１６】
請求項１１に記載の発明は、請求項８又は９に記載の画像処理装置において、前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴としている。
【００１７】
請求項１２に記載の発明は、顧客からのプリント注文を受け付けるための受付端末において、請求項７〜１１の何れか一項に記載の画像処理装置と、前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作手段と、前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信手段と、を備えることを特徴としている。
【００１８】
請求項１３に記載の発明は、画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について配光性を算出し、当該配光性の算出結果に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、として機能させるための画像処理プログラムである。
【００１９】
請求項１４に記載の発明は、画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について人物の顔領域を抽出する顔抽出処理を行い、当該顔領域が抽出された画像の顔領域情報に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、として機能させるための画像処理プログラムである。
【００２０】
請求項１５に記載の発明は、画像処理を制御するコンピュータを、
付加情報として日時情報を有する画像が記録された記録手段に記録されている複数の画像から、所定の条件に基づいて少なくとも一つの画像グループを抽出する抽出手段、
前記抽出された画像グループ内の少なくとも一つの画像について配光性を算出するとともに、人物の顔領域を抽出する顔抽出処理を行い、前記配光性の算出結果及び前記顔領域が抽出された画像の顔領域情報に基づいて、当該画像グループに属する画像の中から、当該画像グループ内に含まれる画像の内容を示唆する標識画像を選択する選択手段、として機能させるための画像処理プログラムである。
【００２１】
請求項１６に記載の発明は、請求項１３又は１５に記載の画像処理プログラムにおいて、前記選択手段は、前記配光性として、順光度、ストロボ度を算出することを特徴としている。
【００２２】
請求項１７に記載の発明は、請求項１４又は１５に記載の画像処理プログラムにおいて、前記顔領域情報は、顔の大きさ、顔の位置の少なくとも一つを含むことを特徴としている。
【００２３】
請求項１８に記載の発明は、請求項１３〜１７の何れか一項に記載の画像処理プログラムにおいて、前記コンピュータを、前記画像グループ内の画像データのうちプリント注文する画像データを選択する操作を受け付ける操作手段、前記選択された画像データをプリント用画像データとして画像形成手段に送信する送信手段、として機能させることを特徴としている。
【発明の効果】
【００２４】
本発明によれば、画像グループ内の画像の配光性、顔領域情報の少なくとも一方に基づいて標識画像を選択することにより、標識画像として適切な画像が選択可能となる。従って、画像グループの内容を想定することが容易となる。
【００２５】
特に、画像グループ内の配光性に基づいて標識画像（具体的には、順光度の高い画像）を選択する場合、標識画像を表示部に表示した際に画像内容の視認性が高くなる。
【００２６】
また、顔領域情報に基づいて標識画像を選択する場合、画像グループの内容を把握するのが容易になる。
【００２７】
更に、画像グループ内の配光性及び顔領域情報に基づいて標識画像を選択する場合、標識画像を表示部に表示した際に画像内容の視認性が高くなるとともに、画像グループの内容を把握するのが容易になる。また、顔抽出処理の抽出精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して、本発明の実施形態を説明する。
まず、本実施形態における構成について説明する。
【００２９】
図１に、本実施形態の画像処理システム１００の構成を示す。画像処理システム１００は、図１に示すように、顧客（ユーザ）からのプリント注文を受け付けるための受付端末１、各顧客のプリント注文に係る情報を管理するためのオーダー管理装置２、画像をプリントする画像形成手段としての画像プリンタ部４、メディアに画像情報を書き込む画像メディア書込部５により構成され、オーダー管理装置２には、受付端末１、画像プリンタ部４、画像メディア書込部５が接続される。なお、オーダー管理装置２に接続される受付端末１、画像プリンタ部４、画像メディア書込部５の台数は特に限定されない。
【００３０】
図２に、受付端末１の主要部構成を示す。受付端末１は、プリント注文を受け付けるための店舗に設置され、図２に示すように、制御部１１、表示部１２、操作入力部１３、メディア読取部１４、記憶部１５、注文確認票発行部１６、通信部１７により構成され、各部はバス１８を介して相互に接続される。
【００３１】
制御部１１は、ＣＰＵ（Central Processing Unit）等により構成され、記憶部１５に格納された各種処理プログラムに従って、受付端末１を構成する各部の動作を制御する。例えば、制御部１１は、メディアＭに記録されている複数の画像から、所定の条件（画像に付加された日時情報等。詳細は後述。）に基づいて少なくとも一つの画像グループを抽出するグルーピング処理と、抽出された画像グループの画像の中から、配光性、人物の顔領域情報の少なくとも一方に基づいて、当該画像グループ内に含まれる画像の内容を示唆する標識画像（代表画像）を選択する代表画像選択処理を実行する（図５参照）。なお、制御部１１は、本発明の抽出手段、選択手段としての機能を有し、受付端末１は、本発明の画像処理装置を備えた構成となっている。
【００３２】
表示部１２は、ＬＣＤ（Liquid Crystal Display）等の表示ディスプレイにより構成され、制御部１１から入力される表示制御信号に従って、所要の表示処理を行う。
【００３３】
操作入力部１３は、テンキー、カーソルキー、各種ファンクションキー等を有し、キーの押下による操作信号を制御部１１に出力する。また、操作入力部１３は、表示部１２の表示ディスプレイを覆うように設けられたタッチパネルを有し、電磁誘導式、磁気歪式、感圧式等の座標読み取り原理でタッチ指示された座標を検出し、検出した座標を位置信号として制御部１１に出力する。
【００３４】
メディア読取部１４は、メモリスティック（登録商標）、スマートメディア（登録商標）、コンパクトフラッシュ（登録商標）、マルチメディアカード（登録商標）、ＳＤメモリカード（登録商標）、ＰＣカード等のメディア（記録手段）Ｍが装着可能な構成となっており、装着されたメディアＭに記録されたデータを読み取る。なお、本実施形態では、ユーザが持参したこれらのメディアを、本発明の記録手段としているが、受付端末１に内蔵された或いは外付けされたハードディスク、受付端末１に接続された画像サーバ等を記録手段としてもよい。
【００３５】
記憶部１５は、制御部１１により実行される各種処理プログラム及びこれらの処理プログラムの実行時に使用されるデータ等を格納している。
【００３６】
注文確認票発行部１６は、制御部１１からの制御信号に従って、ユーザにプリント注文の内容を確認させるための注文確認票やレシートを印刷出力する。
【００３７】
通信部１７は、モデム、ターミナルアダプタ、ＬＡＮアダプタ等によって構成され、電話回線、ＩＳＤＮ回線、或いは専用線等の通信ネットワークを介して、外部機器（オーダー管理装置２）との通信を行うための通信制御を行う。
【００３８】
図３に、オーダー管理装置２の主要部構成を示す。オーダー管理装置２は、図３に示すように、制御部２１、表示部２２、操作入力部２３、記憶部２４、Ｉ／Ｆ（インターフェイス）部２５、通信部２６、ＤＢ参照部２７により構成され、各部はバス２８を介して相互に接続される。
【００３９】
制御部２１は、ＣＰＵ等により構成され、記憶部２４に格納された各種処理プログラムに従って、オーダー管理装置２を構成する各部の動作を制御する。
【００４０】
表示部２２は、ＬＣＤ等の表示ディスプレイにより構成され、制御部２１から入力される表示制御信号に従って、所要の表示処理を行う。
【００４１】
操作入力部２３は、テンキー、カーソルキー、各種ファンクションキー等を有し、キーの押下による操作信号を制御部１１に出力する。なお、操作入力部２３に、表示部２２の表示ディスプレイを覆うようにタッチパネルを設けようにしてもよい。
【００４２】
記憶部２４は、制御部２１により実行される各種処理プログラム及びこれらの処理プログラムの実行時に使用されるデータ等を格納している。
【００４３】
Ｉ／Ｆ部２５は、外部機器とデータ通信可能な通信モジュールであり、制御部２１からの制御信号に従って、画像プリンタ部４、画像メディア書込部５にデータ出力を行う。
【００４４】
通信部２６は、モデム、ターミナルアダプタ、ＬＡＮアダプタ等によって構成され、電話回線、ＩＳＤＮ回線、或いは専用線等の通信ネットワークを介して、外部機器（受付端末１）との通信を行うための通信制御を行う。
【００４５】
ＤＢ参照部２７は、制御部２１からの指示により、ＤＢ（DataBase）部３に格納された情報の読み出しや、情報の書き込みを行う。
【００４６】
図１に戻る。ＤＢ部３は、顧客に対して実施した過去のプリント注文サービスの履歴を示すサービス履歴情報を格納している。
【００４７】
画像プリンタ部４は、オーダー管理装置２からの指示により、所定のプリント方式（電子写真方式、インクジェット方式、熱昇華方式等）でプリント出力を行う。
【００４８】
画像メディア書込部５は、ＣＤ−Ｒ等のメディアが装着可能な構成となっており、オーダー管理装置２からの指示により、装着されたメディアに画像情報を書き込む
【００４９】
次に、本実施形態における動作について説明する。
まず、図４のフローチャートを参照して、プリント注文の受付時に受付端末１において実行される処理（ａ）と、オーダー管理装置２において実行される処理（ｂ）について説明する。
【００５０】
受付端末１のメディア読取部１４に、画像が記録されたメディアＭが挿入されると、当該メディアＭが読み込まれ、メディアＭに記録された全画像をグルーピング対象画像として、当該グルーピング対象画像から画像グループを抽出するグルーピング処理が行われる（ステップＳ１）。次いで、抽出された画像グループ毎に、配光性、人物の顔領域情報の少なくとも一方に基づいて、当該画像グループ内に含まれる画像の内容を示唆する標識画像（代表画像）を選択する代表画像選択処理が行われる（ステップＳ２）。
【００５１】
ステップＳ１及びＳ２に示したグルーピング・代表画像選択処理について、図５のフローチャートを参照して詳細に説明する。
【００５２】
まず、メディアＭから読み込まれたグルーピング対象画像の画像数が計数され（ステップＳ１０）、画像数が所定数より多いか否かが判定される（ステップＳ１１）。ステップＳ１１において、グルーピング対象画像の画像数が所定数以下であると判定された場合（ステップＳ１１；ＮＯ）、グルーピング処理はせずに、画像グループ数を１（Ｎ＝１）として後述のステップＳ１３に移行する。
【００５３】
ステップＳ１１において、グルーピング対象画像の画像数が所定数より多いと判定された場合（ステップＳ１１；ＹＥＳ）、当該グルーピング対象画像から画像グループを抽出するグルーピング処理が行われる（ステップＳ１２）。以下、ステップＳ１２のグルーピング処理で得られる画像グループの数をＮとする。
【００５４】
グルーピング処理の手法としては、旅行や各種イベント等、ユーザにとって連続的に同一の意図をもって撮影された画像を同一の画像グループとしてグルーピングすることが好ましく、当業界で公知の手法を用いることができる。具体的には、画像に付加された日時情報を用いてグルーピングすることが好ましく、例えば、特開２００５−１７４０６０号公報に記載されているように、ＧＰＳ（Global Positioning System）情報等を利用して、撮影場所に応じてグルーピングする手法を併用してもよい。
【００５５】
日時情報は、画像の生成や更新の日時を示す情報であり、デジタルカメラ等の撮影機器による撮影によって生成された画像であれば、所定の画像が撮影によって生成された日時を示す情報である、いわゆる撮影日時情報が好ましい。ＣＧ（Computer Graphics）画像等、エディタを使用して生成された画像であれば、その画像ファイルの生成日時又は更新日時を日時情報として使用すればよい。
【００５６】
日時情報としては、ＪＰＥＧ（Joint Photographic Coding Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットに規定されている既存のタグ情報を利用することができるが、これに限定されず、例えばメーカーノート等の自由に使用可能な領域に設定されている情報を利用してもよい。
【００５７】
日時情報を用いてグルーピングする具体的な手法としては、例えば、特開２００１−２２８５２８号公報等に記載されているように、日時情報の差分が閾値より小さければ同一の画像グループにする手法が挙げられる。より好ましくは、日時情報に対する撮影画像の出現頻度の推移において、一次微分やヒストグラム分割の手法を用いて谷部を検出し、これを画像グループの区切りとして用いる手法や、上記日時情報の差分を閾値と比較してグルーピングする手法において、閾値の値を日時情報に応じて変換させる（撮影日時が古いほど閾値を大きくする）手法が好ましい。
【００５８】
ステップＳ１２のグルーピング処理の終了後、又はステップＳ１１において、グルーピング対象画像の画像数が所定数以下であると判定された場合（ステップＳ１１；ＮＯ）、画像グループをカウントするためのカウンタ値Ｉが１に設定され、Ｉ番目の画像グループ内の少なくとも一つの画像について、配光性（順光度、ストロボ度）が算出される（ステップＳ１３）。
【００５９】
配光性の算出方法としては、Ｅｘｉｆ等のタグ情報（例えば、撮影時のストロボ発光の有無が記載されているＥｘｉｆのフラッシュタグ）を用いて撮影条件を抽出して配光性を算出してもよいし、画像解析処理を行って算出するなど、当業界で公知の手法を用いることができる。具体的には、撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、撮影画像データ全体に占める割合を示す占有率を算出し、各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光性を算出する方法を用いることが好ましい。この配光性の算出方法の具体例については、後に図８〜図１８を参照して詳細に説明する。
【００６０】
次いで、Ｉ番目の画像グループの画像の中に、順光度が閾値以上の画像があるか否かが判定される（ステップＳ１４）。ステップＳ１４において、順光度が閾値以上の画像がないと判定された場合（ステップＳ１４；ＮＯ）、Ｉ番目の画像グループの画像の中に、ストロボ度が閾値以上の画像があるか否かが判定される（ステップＳ１５）。ステップＳ１５において、ストロボ度が閾値以上の画像がないと判定された場合（ステップＳ１５；ＮＯ）、Ｉ番目の画像グループの画像の中から、撮影日時の最も新しい画像が代表画像として選択される（ステップＳ２１）。
【００６１】
ステップＳ１４において、順光度が閾値以上の画像があると判定された場合（ステップＳ１４；ＹＥＳ）、その画像について、人物の顔領域を抽出する顔抽出処理が行われる（ステップＳ１６）。ステップＳ１５において、ストロボ度が閾値以上の画像があると判定された場合（ステップＳ１５；ＹＥＳ）、その画像について、人物の顔領域を抽出する顔抽出処理が行われる（ステップＳ１６）。
【００６２】
顔抽出処理の手法としては、例えば、特開平６−６７３２０号公報に記載の色相と彩度の２次元ヒストグラムを用いる手法や、特開平８−１２２９４４号公報、特開平８−１８４９２５号公報、特開平９−１３８４７１号公報に記載のパターンマッチング処理を用いる手法や、特開平９−１３８４７１号公報に記載のパターン検索方法等を用いることができる。また、特開平５−２８２４５７号公報、特開平６−２１４９７０号公報等に記載のニューラルネットワークを用いて人物の顔候補領域を判定する方法等、種々の方法を用いることができる。ニューラルネットワークを用いた顔抽出処理の具体例については、後に図１９〜図２２を参照して詳細に説明する。
【００６３】
顔抽出処理が終了すると、当該顔抽出処理によって顔領域が抽出されたか否か（顔画像があるか否か）が判定される（ステップＳ１７）。ステップＳ１７において、顔領域が抽出されなかった場合（ステップＳ１７；ＮＯ）、ステップＳ１３で算出された配光性に基づいてＩ番目の画像グループの代表画像が選択される（ステップＳ２０）。ステップＳ２０では、Ｉ番目の画像グループの画像の中から、配光性が最も優れた画像、即ち、順光度が最も高い画像が代表画像として選択される。順光度が閾値以上の画像がない場合には、ストロボ度が最も高い画像が代表画像として選択される。
【００６４】
ステップＳ１７において、顔領域が抽出された場合（ステップＳ１７；ＹＥＳ）、当該顔領域が抽出された画像から顔領域情報が取得される（ステップＳ１８）。顔が写っていても、その顔が主要被写体でない場合には代表画像として適切ではないため、適切な代表画像を選択するために、ステップＳ１８では、顔領域情報として、画像領域に対する顔の大きさ、顔の位置の一方、より好ましくは双方が取得される。更に好ましい代表画像を選択するために、顔の大きさ、顔の位置に加えて、顔の明度、彩度、色相、顔の数を顔領域情報として取得してもよい。
【００６５】
顔領域情報が取得されると、その顔領域情報に基づいてＩ番目の画像グループの代表画像が選択される（ステップＳ１９）。代表画像の選択条件は、顔の大きさに基づいて選択する場合、画像領域に対する顔（顔が複数写っている場合には、最も大きい顔）の大きさの占有率が２％以上５０％以下であることが好ましい。顔の位置に基づいて選択する場合、顔領域（顔が複数写っている場合には、最も大きい顔）の８０％以上が、画像領域の中央５０％の位置に位置していることが好ましい。なお、代表画像の選択条件は、画像の配光性が順光であるかストロボであるかに応じて変更することが好ましい。
【００６６】
また、顔領域が抽出された代表画像が選択された場合、抽出された顔が適正な色値になるように当該代表画像に対し補正処理を施し、補正処理後の代表画像を後述のステップＳ３において表示部１２に表示するようにしてもよい。例えば、抽出された顔の顔領域情報から顔領域の平均明度を取得し、この平均明度の値が所定値（例えば、Ｌ＊＝６５）になるように階調変換処理を施すなど、より顧客が見やすい画像に補正してもよい。
【００６７】
Ｉ番目の画像グループの代表画像が選択されると、カウンタ値ＩがＮ−１以下であるか否かが判定される（ステップＳ２２）。ステップＳ２２において、カウンタ値ＩがＮ−１以下であると判定された場合（ステップＳ２２；ＹＥＳ）、カウンタ値Ｉがインクリメントされ（ステップＳ２３）、新たなカウンタ値Ｉについて、ステップＳ１３〜Ｓ２２の処理が繰り返される。
【００６８】
ステップＳ２２において、カウンタ値ＩがＮ−１より大きいと判定された場合（ステップＳ２２；ＮＯ）、本グルーピング・代表画像選択処理が終了し、図４のステップＳ３へ移行する。
【００６９】
図４に戻る。グルーピング・代表画像選択処理が終了すると、グルーピング結果と代表画像が表示部１２に表示される（ステップＳ３）。グルーピング結果を表示部１２に表示するにあたっては、種々の方法を用いることができる。例えば、グルーピングされた画像グループの数が所定数より多い場合などには、まず代表画像のみを表示画面上に配置して表示し、代表画像をクリック等によって選択することで、代表画像に対応する画像グループに属する画像を表示するようにしてもよい。
【００７０】
また、表示画面上で一方方向に画像グループの先頭を配し、もう一方に画像グループに属する画像を配するように二次元的に表示してもよいし、画像に付加された日時情報に基づいて、図７に示すようなカレンダーを表示するようにしてもよい。カレンダー表示においては、カレンダー上に、グループ日時範囲（画像グループにおける日時情報の最新と最古の範囲）が視認できる指標を表示することが好ましい。具体的には、背景色、色付き枠、マーク等をカレンダー上に表示することにより視認し易くなる。また、複数の画像グループが得られた場合、画像グループ毎に背景色や色付き枠を変えるなど、画像グループ毎に異なる指標を割り当てることが好ましい。
【００７１】
更に、グループ日時範囲が複数月にまたがっている場合（例えば、７月３１〜８月６日）、図７に示すように、月毎に区切らずに、複数月を連続して表示するように、カレンダー上の日付の配置を設定するのが好ましい。この場合、各月を区別するために、カレンダー上で境界線を表示したり、月毎に背景色を変えるのが好ましい。また、カレンダー上で、受付端末１が設置された店舗に顧客が来訪した日付にマーキングするようにしてもよい。
【００７２】
グルーピング結果の表示においては、画像グループに属する画像の内容が推測できるような標識を表示することが好ましい。このような標識として、代表画像以外に、画像グループの画像数（画像枚数）、撮影場所等を利用することができる。この標識は、１つの画像グループにつき、複数設定することが好ましい。例えば、代表画像を複数個選択し、スライドショー形式で順に表示させることができる。又は、例えば、代表画像と画像数など、異なる種類の標識を組み合わせて設定することも好ましい。更に、この標識は、画像グループ内の日付毎に設定されるのが好ましい。例えば、日付毎にその日が撮影日の画像数を表示したり、グループ日時範囲の日付毎に代表画像を選択し、図７に示すように、カレンダー上に各日付の代表画像のサムネイル画像を表示するようにしてもよい。日付毎に代表画像をカレンダーに表示する場合、カレンダー上の日付を指定することにより、対応する代表画像を拡大表示するようにしてもよい。
【００７３】
表示部１２にグルーピング結果及び代表画像が表示されると、その表示内容に基づいてユーザによる注文操作が行われる（ステップＳ４）。表示部１２に、図７に示すようなカレンダーが表示されている場合、ステップＳ４では、例えば、カレンダー上に表示された画像グループに含まれる画像全てを注文するためのボタンを画面（タッチパネル）上に配置し、そのボタンを指定することによって一括注文する方法や、カレンダー上のある一日を指定することによって、その日付を含む画像グループ内の画像を一括して選択し、画像グループ毎に注文する方法を用いることが可能である。また、カレンダー上を指定することによって画像グループを選択し、その画像グループのサムネイル画像を表示させ、画像グループ内の全ての画像を確認した後に一括注文したり、必要に応じて、注文対象の画像を取捨選択することも可能である。
【００７４】
注文操作が終了すると、プリントの実行を確認するための確認メッセージが表示部１２に表示される（ステップＳ５）。ユーザによる操作入力部１３の操作により、プリントの実行が確認されると（ステップＳ６；ＹＥＳ）、注文確認票発行部１６から注文確認票が発行されるとともに（ステップＳ７）、仮オーダー情報（注文情報）がオーダー管理装置２に送信される（ステップＳ８）。
【００７５】
仮オーダー情報を受信したオーダー管理装置２では、その受信情報に基づいて、画像プリンタ部４に対してプリント出力指示信号が出力され（ステップＴ１）画像プリンタ４ではプリント出力が行われる。プリント出力により、プリント注文の受付処理が終了する
【００７６】
<変形例>
次に、付加情報として固体識別基礎情報を有する画像のプリント注文を行う場合について説明する。固体識別基礎情報とは、メディアの固有番号、ボリュームラベル、ファイル名等のデータである。ＤＢ部３に格納されたサービス履歴情報には、固体識別情報（ＩＤ番号）別に、プリント済みの画像のファイル名、サービスの利用状況（利用頻度等）等のデータが格納されている。
【００７７】
本実施形態の変形例に係る動作について説明する。
図６のフローチャートを参照して、プリント注文の受付時に受付端末１において実行される処理（ａ）と、オーダー管理装置２において実行される処理（ｂ）について説明する。
【００７８】
受付端末１のメディア読取部１４に、画像データが記録されたメディアＭが挿入されると、メディアＭの記録内容を検索することにより、固体識別基礎情報が取得され（ステップＳ３０）、取得された個体識別基礎情報がオーダー管理装置２に送信される。
【００７９】
オーダー管理装置２では、受信した固体識別基礎情報が合致する固体識別情報をＤＢ部３で検索することにより、この固体識別基礎情報に対応するサービス履歴情報が読み込まれ（ステップＴ１０）、合致情報の有無（対応するサービス履歴情報があるか否か）を示す情報が受付端末１に送信される（ステップＴ１１）。サービス履歴情報がある場合には、ステップＴ１１では、合致情報の有無情報に加えてサービス履歴情報も送信される。
【００８０】
受付端末１では、オーダー管理装置２からの受信情報から、合致情報があるか否かが判定される（ステップＳ３１）。ステップＳ３１において、合致情報があると判定された場合（ステップＳ３１；ＹＥＳ）、オーダー管理装置２から受信されたサービス履歴情報に基づいて、メディアＭに記録された画像の中から未プリント画像が選択される（ステップＳ３２）。ステップＳ３１において、合致情報がないと判定された場合（ステップＳ３１；ＮＯ）、メディアＭに記録された全画像が選択される（ステップＳ３３）。
【００８１】
ステップＳ３２又はＳ３３で画像が選択されると、その選択された画像をグルーピング対象画像として、当該グルーピング対象画像から画像グループを抽出するグルーピング処理が行われ（ステップＳ３４）、画像グループ毎に代表画像を選択する代表画像選択処理が行われる（ステップＳ３５）。次いで、ステップＳ３４におけるグルーピング結果と、ステップＳ３５で選択された代表画像が表示部１２に表示される（ステップＳ３６）。ステップＳ３４〜Ｓ３６の処理は、それぞれ、図４のステップＳ１〜Ｓ３と同様であるので、ここでの説明は省略する。
【００８２】
次いで、ステップＳ３６において表示部１２に表示された内容に基づいてユーザによる注文操作が行われる（ステップＳ３７）。注文操作が終了すると、プリントの実行を確認するための確認メッセージが表示部１２に表示される（ステップＳ３８）。ユーザによる操作入力部１３の操作により、プリントの実行が確認されると（ステップＳ３９；ＹＥＳ）、注文確認票発行部１６から注文確認票が発行されるとともに（ステップＳ４０）、仮オーダー情報（注文情報）がオーダー管理装置２に送信される（ステップＳ４１）。
【００８３】
仮オーダー情報を受信したオーダー管理装置２では、その受信情報に基づいて、画像プリンタ部４に対してプリント出力指示信号が出力され（ステップＴ１２）、画像プリンタ４ではプリント出力が行われる。
【００８４】
次いで、オーダー管理装置２では、ステップＴ１０における合致情報の有無に基づいて、今回のプリント注文の顧客が新規であるか否かが判定される（ステップＴ１３）。ステップＴ１０において、ＤＢ部３に、受付端末１から受信された固体識別基礎情報に合致する固体識別情報がなかった場合には、ステップＴ１３において新規顧客と判定され（ステップＴ１３；ＹＥＳ）、今回のプリント注文に対して新たに固体識別情報が発行され、その固体識別情報がＤＢ部３に登録される（ステップＴ１４）。
【００８５】
ステップＴ１３において、今回のプリント注文の顧客が新規ではないと判定された場合（ステップＴ１３；ＮＯ）、又はステップＴ１４で新たに固体識別情報が登録された場合、今回のプリント注文に基づいてＤＢ部３のサービス履歴情報が更新され（ステップＴ１５）、プリント注文の受付処理が終了する。
【００８６】
次に、図８のフローチャートを参照して、配光性算出処理（図５のステップＳ１３）について詳細に説明する。
【００８７】
まず、撮影画像データ毎に、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ４５）。ステップＳ４５の占有率算出処理については、後に図９及び図１５を参照して詳細に説明する。
【００８８】
次いで、ステップＳ４５において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光性（光源状態）を特定するための指標（指標１〜５）が算出され、その算出された指標に基づいて撮影時の配光性（順光度、逆光度、ストロボ度）が算出される（ステップＳ４６）。ここで、配光性を特定するための指標とは、撮影時の配光性を定量的に表す数値である。ステップＳ４６における指標算出処理及び配光性の算出処理については、後に詳細に説明する。
【００８９】
〈占有率算出処理〉
次に、図９のフローチャートを参照して、図８のステップＳ４５に示した占有率算出処理について詳細に説明する。
【００９０】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ５０）。図１０は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図１０に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。
【００９１】
次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ５１）。以下、撮影画像データの領域分割について詳細に説明する。
【００９２】
明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光性算出への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（１）を満たす色相'(H)を肌色領域（H1）とし、式（１）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60      (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （１）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（１）において明度(V)を用いることも可能である。
【００９３】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ５２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。
【表１】
2007193590.tif 000003
【００９４】
次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表２】
2007193590.tif 000004
【００９５】
図１１に、明度（v）−色相（H）平面を示す。表２によると、図１１において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図１３は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図１３によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。
【００９６】
明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（２）のように定義される。
【数１】
2007193590.tif 000005
従って、H1〜H4領域の和は、下記の式(2-1)〜式(2-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (2-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (2-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (2-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (2-4)
【００９７】
指標１は、式（2-1）〜（2-4）で示されたH1〜H4領域の和を用いて、式（３）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （３）
【００９８】
表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表３】
2007193590.tif 000006
【００９９】
図１２に、明度（v）−色相（H）平面を示す。表３によると、図１２において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１４は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１４によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。
【０１００】
明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（４）のように定義される。
【数２】
2007193590.tif 000007
従って、H1〜H4領域の和は、下記の式(4-1)〜式(4-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (4-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5)    (4-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (4-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (4-4)
【０１０１】
指標２は、式（4-1）〜（4-4）で示されたH1〜H4領域の和を用いて、式（５）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （５）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光性の算出に有効である。
【０１０２】
次に、図１５のフローチャートを参照して、指標３を算出するための占有率算出処理（図８のステップＳ４５）について詳細に説明する。
【０１０３】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ６０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ６１）。以下、撮影画像データの領域分割について詳細に説明する。
【０１０４】
図１６（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１６（ａ）に示す領域ｎ１が外枠であり、図１６（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１６（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１６（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。
【０１０５】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ６２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。
【表４】
2007193590.tif 000008
【０１０６】
次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。
【表５】
2007193590.tif 000009
図１７は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【０１０７】
明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（６）のように定義される。
【数３】
2007193590.tif 000010
従って、n1〜n4領域の和は、下記の式(6-1)〜式(6-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0    (6-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (6-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1    (6-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (6-4)
【０１０８】
指標３は、式（6-1）〜（6-4）で示されたN1〜H4領域の和を用いて、式（７）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （７）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光性を算出するのにも有効である。
【０１０９】
指標４は、指標１及び指標３を用いて式（８）のように定義され、指標５は、指標１〜３を用いて式（９）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （８）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （９）
ここで、式（８）及び式（９）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
【０１１０】
〈配光性の算出方法〉
次に、配光性の算出方法（図８のステップＳ４６）について説明する。
図１８は、順光、逆光、ストロボの各条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各条件での指標４、５の値をプロットしたものである。図１８によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光性の算出内容を示す。
【表６】
2007193590.tif 000011
このように指標４、５の値により、配光性を定量的に算出することができる。
【０１１１】
〈顔抽出処理の処理条件〉
次に、顔抽出処理（図５のステップＳ１６）の処理条件の決定方法について詳細に説明する。
【０１１２】
撮影時の配光性に応じて実行される顔抽出処理の処理条件の決定は、顔抽出処理の抽出精度を向上させるために行われるものである。顔抽出処理の処理方法としては、撮影画像データから顔候補領域を抽出し、抽出された顔候補領域が人物の顔であるか否かを判定する方法、顔候補領域内に人物の顔が含まれているか否かを判定する方法等がある。このような方法を用いる場合、顔抽出処理の抽出精度には、顔候補領域の抽出精度と、顔候補領域が人物の顔であるか否か（若しくは顔候補領域内に顔が含まれているか否か）を判定する判定精度の双方が寄与するため、顔抽出処理の処理条件を決定する際には、顔候補領域の抽出条件、顔候補領域から人物の顔を判定する処理の処理条件の何れか一方又は双方を、配光性の算出結果に応じて決定することが好ましい。
【０１１３】
以下では、撮影画像データから顔候補領域を抽出する処理と、抽出された顔候補領域が人物の顔であるか否かを判定する処理を併せて「顔抽出処理」と呼び、顔抽出処理のうち、顔候補領域が人物の顔であるか否かを判定する処理の部分を「顔判定処理」と呼ぶことにする。
【０１１４】
まず、顔候補領域の抽出条件の決定方法について説明する。
顔候補領域の抽出方法として、撮影画像データから肌色に相当する初期点を探索し、単純領域拡張法を用いて肌色領域を顔候補領域として抽出する手法を用いることができる。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより特定の画像領域の抽出を行う画像処理方法である。即ち、単純領域拡張法は、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行う。このようにして、初期画素から出発して、同一の画像領域を除々に拡張させることによって特定の画像領域の抽出が行われる。本実施形態では、更に、画像中のエッジ成分を抽出し、画像エッジに達した場合に単純領域拡張を終了することで、顔候補領域を確定する処理を用いることが好ましい。
【０１１５】
顔候補領域として肌色領域を抽出する場合、被写体が同一人物であっても、撮影時の配光性に応じて、肌色領域の色味は著しく異なる。例えば、順光で撮影された画像の肌色を基準とすると、ストロボ撮影では、肌色の色味が（特に、近接であればあるほど）白くとび気味になり、逆光下での撮影であれば、肌色の色味が暗くなる。このような状況を踏まえ、初期画素の探索条件を、配光性の算出結果に応じて切り替える及び／又は（段階的若しくは連続的に）調整することが好ましい。
【０１１６】
例えば、初期画素を探索するための所定の基本探索条件に対し、配光性が「順光」であればその基本探索条件を用い、配光性が「ストロボ」であれば、基本探索条件から輝度を高く（明るく）補正した探索条件を用い、配光性が「逆光」であれば、基本探索条件から輝度を低く（暗く）補正した探索条件を用いればよい。このように、単純領域拡張法を用いて顔候補領域を抽出する際、撮影時の配光性に応じて、初期画素の探索条件を切り替えればよい。また、配光性によって単純領域拡張を終了させるエッジ強度は異なるため、単純領域拡張を終了させるためのエッジ抽出条件も配光性に応じて調整することが好ましい。
【０１１７】
配光性の算出結果が、順光度、ストロボ度、逆光度等のように、配光性を段階的又は連続的に示す指標（指標４、５）として得られる場合、得られた指標の値に応じて、輝度を高くする度合い（ストロボの場合）、輝度を低くする度合い（逆光の場合）を調整することにより、初期画素の探索条件を決定すればよい。従って、このような初期画素の探索条件を用いた単純領域拡張法を、顔候補領域の抽出条件として決定することができる。
【０１１８】
なお、上述では、配光性に応じて肌色領域に輝度差が生じることを利用して、初期画素の探索条件を補正する例を示したが、輝度に限らず、彩度を利用するなどして、探索条件の補正要件を増やすようにしてもよい。例えば、ストロボ、フラッシュ撮影であれば、順光の場合より低彩度になる。また、初期画素の探索条件だけでなく、領域拡張条件を補正するようにしてもよい。更に、顔候補領域を抽出するための様々な処理条件について、配光性毎に得られる肌色領域の特性の違いを反映して、初期画素の探索条件、領域拡張条件を補正するのが好ましい。
【０１１９】
次に、顔候補領域から顔を判定するための顔判定処理条件の決定方法について説明する。以下では、顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいてニューラルネットワークを用いて顔判定処理を行う場合の顔判定処理条件の決定方法について説明する。
【０１２０】
まず、顔判定処理条件の決定方法の具体的な説明に先立って、顔判定処理で用いられるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図１９に示すように、入力層、中間層及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。
【０１２１】
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは、図２０に示すように、シナプスと呼ばれる入力を多数受け取り、各々の入力値ｘiに対して結合強度と呼ばれる所定の重みｗiを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１０）のように表される。
【数４】
2007193590.tif 000012
ここで、ｆ（ｘ）は一般に式（１１）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
【数５】
2007193590.tif 000013
【０１２２】
ここで、各ニューロンの入力の重みｗiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図１９では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。
【０１２３】
ニューラルネットワークの特徴として、系としての汎化能力が挙げられる。これは学習によって、必ずしも教師データ（入力パターンとその入力パターンに対する望ましい出力パターンの対。通常、複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。）として与えていない未学習の入力パターンに対しても、概ね正しい出力を与える能力である。
【０１２４】
ニューラルネットワークに対する教師データを用いた学習方法は種々の方法が知られており、例えば、広く用いられている誤差逆伝播学習法（Back Propagation 学習法）を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることが可能となる。
【０１２５】
次に、顔判定処理条件の決定方法について具体的に説明する。配光性が異なるのに同一の顔判定処理条件を用いると、顔の判定精度に差異が生じる。これは、配光性毎に、顔の判定処理に寄与する特徴量が異なっていたり、特徴量を最適に抽出する抽出条件が異なっていることによる。従って、配光性に応じて顔判定処理条件を決定するのが好ましい。
【０１２６】
具体的には、配光性に応じて、ニューラルネットワークの設計、顔判定処理に用いるニューラルネットワークの学習結果を決定することが好ましい。ここで、ニューラルネットワークの設計とは、例えば、ニューラルネットワークの入力パラメータの種類や数、中間層の数等を設計することを示す。入力パラメータには、顔候補領域から抽出される特徴量が含まれる。また、ニューラルネットワークの学習結果とは、ニューラルネットワークを構成する各ニューロンに割り振られる重み（結合強度）、シグモイド関数の傾き値等を表す。
【０１２７】
ニューラルネットワークの入力パラメータとして使用する特徴量の性質及び配光性に関わらず、同一の抽出条件で顔候補領域から特徴量を抽出すると、抽出精度に差異が生じる。また、特徴量の性質によっては、人物の顔と顔以外の部分の分別性に、配光性に応じて差異が生じる。このようなことから、配光性に応じて、顔候補領域から抽出する特徴量、特徴量の抽出条件を変えるのが好ましい。
【０１２８】
例えば、特徴量として、目や口等の顔を構成する部位を用い、特徴量の抽出条件として、肌と目や口の色味の違い（肌色と略黒色、肌色と赤み）や部位の輪郭のエッジを利用した抽出条件を用いた場合、順光と逆光では、逆光の方が、特徴量の抽出精度が低くなる傾向がある。即ち、逆光では、人物の顔全体が、順光に比べて暗く撮影されるために、肌と部位の色値の差が小さいとともに、順光に比べて輪郭のエッジの抽出が困難になる。
【０１２９】
このように、配光性に応じて、特徴量の抽出条件を切り替えたり、ニューラルネットワークの入力パラメータの種類や数を変更したりすればよい。また、算出された指標の値（順光度、ストロボ度、逆光度等）に応じて、特徴量の抽出条件を段階的又は連続的に調整するようにしてもよい。また、入力パラメータの数に応じて、ニューラルネットワークの中間層の数、ニューロン数も変更することが好ましい。
【０１３０】
また、顔判定処理条件を決定する際、順光、ストロボ、逆光の各々の画像群で予め学習されたニューラルネットワークを、配光性に応じて切り替えることが好ましい。また、配光性の算出結果が、順光度、ストロボ度、逆光度等のように、配光性が段階的又は連続的に示す指標として得られるシステムであれば、ニューラルネットワークを、強度のストロボ用、弱度のストロボ用、強度の逆光用、弱度の逆光用等のように、配光性の程度に合わせて段階的に用意しておくと、顔判定処理の判定精度を向上させることができる。また、自己学習型ニューラルネットワークのバージョンアップ法を使用し適宜更新してシステム運営することが好ましい。
【０１３１】
〈顔抽出処理〉
次に、図２１のフローチャートを参照して、図５のステップＳ１６に示した顔抽出処理について詳細に説明する。
【０１３２】
まず、顔抽出処理の処理条件（顔候補領域の抽出条件）に従って、順光度が閾値以上又はストロボ度が閾値以上の撮影画像データから顔候補領域が抽出され（ステップＳ７０）、撮影画像データの中に顔候補領域があるか否かが判定される（ステップＳ７１）。
【０１３３】
ステップＳ７１において、撮影画像データの中に顔候補領域がないと判定された場合（ステップＳ７１；ＮＯ）、本顔抽出処理が終了する。ステップＳ７１において、撮影画像データの中に顔候補領域があると判定された場合（ステップＳ７１；ＹＥＳ）、ステップＳ７０で抽出された顔候補領域が人物の顔であるか否かを判定する顔判定処理が行われ（ステップＳ７２）、本顔抽出処理が終了する。ステップＳ７２の顔判定処理については、後に図２２を参照して詳細に説明する。
【０１３４】
なお、上述では、顔候補領域の抽出処理の一例として単純領域拡張法を用いる場合を示したが、顔候補領域の抽出方法はこれに限定されない。例えば、撮影画像データからエッジを抽出し、ハフ変換やテンプレートマッチング等の手法を利用して楕円等の特定の形状パターンを抽出する方法を用いることができる。
【０１３５】
更に、特開平４−３４６３３２号公報に開示されているように、元画像（撮影画像データ）を多数画素に分割し、各画素のＲＧＢ値から、色相値と彩度値のヒストグラムを作成し、その形状からヒストグラムを分割し、その分割された各部位に相当する各画素で構成される領域に画像を分割し、その分割された各領域から人物の顔に相当する領域を推定する方法を用いることができる。
【０１３６】
また、特開平６−３０９４３３号公報、特開平６−６７３２０号公報、特開平５−１５８１６４号公報、特開平５−１６５１２０号公報に開示されているように、色相値、彩度値、輝度値等のヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔候補領域とする方法を用いることができる。更に、特開平８−２２１５６７号公報、特開２０００−２０６９４号公報、特開２０００−３２２７２号公報、特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報に開示されているようなラインプロセス法を用いて顔候補領域を抽出することができる。
【０１３７】
また、カラーデジタル画像からエッジと低周波画像を生成し、所定のパラメータ（例えば、彩度値、色相値、明度値の各値）が所定の初期条件（各所定範囲の値）と合致する初期画素を抽出し、低周波画像に対して、抽出された初期画素から単純領域拡張を行い、画像エッジに到達した場合に単純領域拡張を強制的に終了させて、顔候補領域を抽出するようにしてもよい。
【０１３８】
次に、図２２のフローチャートを参照して、図２１のステップＳ７２に示した顔判定処理について説明する。
【０１３９】
まず、顔抽出処理の処理条件として決定された特徴量及びその抽出条件に従って、顔候補領域から特徴量が抽出される（ステップＳ８０）。次いで、ステップＳ８０で抽出された特徴量を入力信号（入力パラメータ）、顔らしさを表すパラメータを出力信号とした、配光性に応じて決定されたニューラルネットワーク（例えば、配光性が逆光の場合、逆光用に学習されたニューラルネットワーク）を用いて、顔候補領域が人物の顔であるか否かが判定され（ステップＳ８１）、本顔判定処理が終了する。
【０１４０】
以上のように、本実施形態の受付端末１によれば、画像グループ内の画像の配光性、顔領域情報の少なくとも一方に基づいて代表画像を選択することにより、代表画像として適切な画像が選択可能となる。従って、画像グループの内容を想定することが容易となる。
【０１４１】
なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１４２】
例えば、本実施形態では、受付端末１側で、プリント注文に係る処理全般を行う場合を示したが、受付端末１の処理能力が低い場合、処理対象の画像を外部機器に送信して、外部機器側で処理負荷の高い処理（例えば、配光性算出処理、顔抽出処理）を行うことで、処理負荷を分散させることも可能である。一方、受付端末１の処理能力によっては、受付端末１側に、オーダー管理装置２の機能を加えるようにしてもよい。
【図面の簡単な説明】
【０１４３】
【図１】本発明の実施形態に係る画像処理システムの構成を示す図。
【図２】本実施形態に係る受付端末の主要部構成を示すブロック図。
【図３】本実施形態に係るオーダー管理装置の主要部構成を示すブロック図。
【図４】プリント注文の受付時に受付端末及びオーダー管理装置で実行される処理を示すフローチャート。
【図５】受付端末で実行されるグルーピング・代表画像選択処理を示すフローチャート。
【図６】本実施形態の変形例におけるプリント注文の受付時に受付端末及びオーダー管理装置で実行される処理を示すフローチャート。
【図７】受付端末の表示部に表示されるカレンダーの一例を示す図。
【図８】受付端末で実行される配光性算出処理を示すフローチャート。
【図９】明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。
【図１０】ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。
【図１１】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。
【図１２】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。
【図１３】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。
【図１４】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。
【図１５】撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。
【図１６】撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。
【図１７】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。
【図１８】配光性（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。
【図１９】階層型ニューラルネットワークの構造を模式的に示す図。
【図２０】ニューラルネットワークを構成するニューロンの構造を示す図。
【図２１】受付端末で実行される顔抽出処理を示すフローチャート。
【図２２】顔判定処理を示すフローチャート。
【符号の説明】
【０１４４】
１  受付端末
１１  制御部
１２  表示部
１３  操作入力部
１４  メディア読取部
１５  記憶部
１６  注文確認票発行部
１７  通信部
２  オーダー管理装置
２１  制御部
２２  表示部
２３  操作入力部
２４  記憶部
２５  Ｉ／Ｆ部
２６  通信部
２７  ＤＢ参照部
３  ＤＢ部
４  画像プリンタ部
５  画像メディア書込部
１００  画像処理システム
【図１】
2007193590.tif 000014
【図２】
2007193590.tif 000015
【図３】
2007193590.tif 000016
【図４】
2007193590.tif 000017
【図５】
2007193590.tif 000018
【図６】
2007193590.tif 000019
【図７】
2007193590.tif 000020
【図８】
2007193590.tif 000021
【図９】
2007193590.tif 000022
【図１０】
2007193590.tif 000023
【図１１】
2007193590.tif 000024
【図１２】
2007193590.tif 000025
【図１３】
2007193590.tif 000026
【図１４】
2007193590.tif 000027
【図１５】
2007193590.tif 000028
【図１６】
2007193590.tif 000029
【図１７】
2007193590.tif 000030
【図１８】
2007193590.tif 000031
【図１９】
2007193590.tif 000032
【図２０】
2007193590.tif 000033
【図２１】
2007193590.tif 000034
【図２２】
2007193590.tif 000035