(57)【要約】【課題】ユーザ画像の考査の作業負荷を低減する考査処理装置及び印画物作製システムを提供する。【解決手段】考査処理装置は、ユーザ端末７からユーザ画像を受信する受信部１１と、前記ユーザ画像を用いた印画物の注文を受け付ける注文処理部１３と、複数の著名人の顔画像を記憶する著名人画像記憶部２５と、著名人に類似した非著名人の顔画像である著名人類似画像を記憶する著名人類似画像記憶部と２６、前記ユーザ画像から顔画像を検出し、検出した顔画像と前記著名人の顔画像との比較結果、及び前記検出した顔画像と前記著名人類似画像との比較結果に基づいて、前記ユーザ画像が、印画物の作製に使用してよい画像か、又は考査者による考査が必要な画像かを判定する考査処理部１４と、を備える。【選択図】図１
2019053411.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末からユーザ画像を受信する受信部と、
前記ユーザ画像を用いた印画物の注文を受け付ける注文処理部と、
複数の著名人の顔画像を記憶する著名人画像記憶部と、
著名人に類似した非著名人の顔画像である著名人類似画像を記憶する著名人類似画像記憶部と、
前記ユーザ画像から顔画像を検出し、検出した顔画像と前記著名人の顔画像との比較結果、及び前記検出した顔画像と前記著名人類似画像との比較結果に基づいて、前記ユーザ画像が、印画物の作製に使用してよい画像か、又は考査者による考査が必要な画像かを判定する考査処理部と、
を備える考査処理装置。
【請求項２】
前記考査処理部は、前記検出した顔画像と、前記複数の著名人の顔画像との第１類似度を算出し、前記第１類似度が第１所定値以上となる著名人がいる場合、この著名人に対応する著名人類似画像と、前記検出した顔画像との第２類似度を算出し、前記第２類似度が第２所定値以上である場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定し、前記第２類似度が前記第２所定値未満である場合、前記ユーザ画像は考査者による考査が必要な画像であると判定することを特徴とする請求項１に記載の考査処理装置。
【請求項３】
前記考査処理部は、前記第１類似度が前記第１所定値以上となる著名人がいない場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定することを特徴とする請求項２に記載の考査処理装置。
【請求項４】
前記考査処理部は、前記ユーザ画像から顔画像が検出されない場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定することを特徴とする請求項１乃至３のいずれかに記載の考査処理装置。
【請求項５】
前記著名人類似画像記憶部には、考査者により著名人に類似した非著名人の顔画像であると判定された顔画像が登録されることを特徴とする請求項１乃至４のいずれかに記載の考査処理装置。
【請求項６】
請求項１乃至５のいずれかに記載の考査処理装置と、
前記考査処理部により印画物の作製に使用してよいと判定されたユーザ画像を含むプリント用画像を物品に印画して印画物を作製するプリンタと、
を備える印画物作製システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、考査処理装置及び印画物作製システムに関する。
【背景技術】
【０００２】
従来、デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等を作製するサービスが知られている（例えば特許文献１参照）。
【０００３】
フォトブックを作製するにあたり、サービス提供者は、顧客からアップロードされた画像がフォトブックに適した画像であるか否か等を判定する、いわゆる考査を行っている。例えば、考査では、画像が著作権や肖像権を侵害していないか、公序良俗に反していないか、不正転売の目的がないかなどを判断する。
【０００４】
従来、考査は人手による目視で行っていた。そのため、フォトブックの注文数の増加に伴い、人的コストの増加や、考査業務の遅延に伴うフォトブックの納品遅延等の問題が発生するおそれがあった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３３９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ユーザ画像の考査の作業負荷を低減する考査処理装置及び印画物作製システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明による考査処理装置は、ユーザ端末からユーザ画像を受信する受信部と、前記ユーザ画像を用いた印画物の注文を受け付ける注文処理部と、複数の著名人の顔画像を記憶する著名人画像記憶部と、著名人に類似した非著名人の顔画像である著名人類似画像を記憶する著名人類似画像記憶部と、前記ユーザ画像から顔画像を検出し、検出した顔画像と前記著名人の顔画像との比較結果、及び前記検出した顔画像と前記著名人類似画像との比較結果に基づいて、前記ユーザ画像が、印画物の作製に使用してよい画像か、又は考査者による考査が必要な画像かを判定する考査処理部と、を備えるものである。
【０００８】
本発明の一態様では、前記考査処理部は、前記検出した顔画像と、前記複数の著名人の顔画像との第１類似度を算出し、前記第１類似度が第１所定値以上となる著名人がいる場合、この著名人に対応する著名人類似画像と、前記検出した顔画像との第２類似度を算出し、前記第２類似度が第２所定値以上である場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定し、前記第２類似度が前記第２所定値未満である場合、前記ユーザ画像は考査者による考査が必要な画像であると判定する。
【０００９】
本発明の一態様では、前記考査処理部は、前記第１類似度が前記第１所定値以上となる著名人がいない場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定する。
【００１０】
本発明の一態様では、前記考査処理部は、前記ユーザ画像から顔画像が検出されない場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定する。
【００１１】
本発明の一態様では、前記著名人類似画像記憶部には、考査者により著名人に類似した非著名人の顔画像であると判定された顔画像が登録される。
【００１２】
本発明による印画物作製システムは、上記考査処理装置と、前記考査処理部により印画物の作製に使用してよいと判定されたユーザ画像を含むプリント用画像を物品に印画して印画物を作製するプリンタと、を備えるものである。
【発明の効果】
【００１３】
本発明によれば、ユーザ画像の考査の作業負荷を低減できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る印画物作製システムの概略図である。
【図２】同実施形態に係るサーバ装置の構成及び機能ブロックを示す図である。
【図３】顔画像類似度の算出例を示す図である。
【図４】同実施形態に係る考査処理を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１に示すように、本発明の実施形態に係る印画物作製システムは、サーバ装置１及び考査者端末３を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、考査者端末３及びユーザ端末７と通信可能となっている。サーバ装置１は、ユーザ端末７からアップロードされたユーザ画像を保存する。
【００１７】
ユーザ端末７は、ＰＣ、スマートフォン、タブレット端末等である。ユーザ画像は、例えば、ユーザがデジタルカメラやスマートフォン等で撮影した画像である。
【００１８】
ユーザは、自身がアップロードしたユーザ画像を、好みのフレームやスタンプ等の編集アイテムと合成する編集操作を行う。ユーザは、編集操作により作成した合成画像（プリント用画像）を印画する物品や個数を選択し、料金の支払い方法を選択し、プリント注文を完了する。
【００１９】
サーバ装置１は、ユーザ（ユーザ端末７）からプリント注文を受け付けると、考査処理を行い、プリント用画像に含まれるユーザ画像が、印画物の作製に使用してよい画像であるか否かを判定する。印画物の作製に使用できない画像は、例えば、公序良俗に反する画像や、著作権又は肖像権を侵害する画像である。
【００２０】
サーバ装置１は、ユーザ画像に著名人の画像が含まれているか否かを判定する。サーバ装置１は、ユーザ画像から顔画像を検出し、著名人の顔画像との類似度を算出する。
【００２１】
著名人の顔画像との類似度の低いユーザ画像である場合、サーバ装置１は、考査者による目視確認（２次考査）が不要であり、印画物作製可能な画像であると判定し、プリント注文内容を含むプリントデータを工場５へ送信する。
【００２２】
著名人の顔画像との類似度の高いユーザ画像は、著名人本人の顔画像が含まれている場合と、著名人に似ている非著名人（いわゆる「そっくりさん」）の顔画像が含まれている場合とがある。本実施形態では、サーバ装置１が、ユーザ画像に写っている人物が著名人本人か、又はそっくりさんかを判別し、そっくりさんが写っているユーザ画像は考査者による目視確認（２次考査）が不要な、印画物作製可能な画像であると判定する。
【００２３】
サーバ装置１は、著名人本人が写っているユーザ画像は、考査者による目視確認（２次考査）が必要な画像と判定し、判定結果を考査者端末３へ通知する。考査者は、考査者端末３を操作して、サーバ装置１が印画物作製可と判定しなかったユーザ画像を目視確認し、考査を行う。
【００２４】
工場５に設置されたプリンタ（図示略）は、受信したプリントデータに基づいて印画処理を行い、指定された物品にプリント用画像を印画して印画物６を作製する。作製される印画物６は、写真、ポスター、カレンダー、フォトブック、バッチ、マグカップなどである。工場５で作製された印画物６は、ユーザへ配送される。
【００２５】
このように、本実施形態によれば、サーバ装置１が、ユーザがアップロードしたユーザ画像について、著名人に類似する顔画像が含まれているか否かを判定する。さらに、サーバ装置１は、ユーザ画像に著名人に類似する顔画像が含まれている場合、その顔画像が著名人本人か又はそっくりさんかを判定する。考査者は、このようなサーバ装置１による考査（１次考査）の結果、著名人本人の顔画像が含まれていると判定されたユーザ画像だけを確認すればよい。そのため、人手（目視）で行う考査対象の画像数を削減し、考査のための人的コストの増加を抑えると共に、印画物６を早期にユーザに納品することができる。
【００２６】
次に、サーバ装置１の構成について説明する。なお、以下の実施形態では、印画物６としてフォトブックを作製する例について説明する。サーバ装置１は、ユーザ端末７からユーザ画像を受信し、画像編集画面を生成してユーザ端末７へ送信し、画像編集操作及びフォトブックのプリント注文を受け付ける。サーバ装置１は、ユーザ画像に著名人に類似する顔画像が含まれるか否か、著名人に類似する顔画像は著名人に似た非著名人（そっくりさん）の顔画像であるか否かを判定する考査処理を行い、印画物作製可と判断すると、編集操作により生成されたプリント用画像データを含むプリントデータを工場５へ送信する。
【００２７】
図２に示すように、サーバ装置１は、制御部１０、記憶部２０、及び通信部３０を備える。制御部１０は、サーバ装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。
【００２８】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部２０は、テンプレートＤＢ（データベース）２１、ユーザ画像ＤＢ２２、プリントデータＤＢ２３、注文情報ＤＢ２４、著名人画像ＤＢ２５、著名人類似画像ＤＢ２６、画像判定結果ＤＢ２７、及び注文履歴情報ＤＢ２８を有する。
【００２９】
テンプレートＤＢ２１は、テンプレートを記憶する記憶領域である。テンプレートは、ユーザ画像と合成される画像であり、ユーザ画像の配置位置を指定するボックスや、スタンプ、背景画像等の編集アイテムを含む。
【００３０】
著名人画像ＤＢ２５は、スポーツ選手、俳優、タレント等の著名人の顔画像を記憶する記憶領域である。著名人の顔画像を機械学習させた著名人顔画像学習済みモデルが構築されている。
【００３１】
著名人類似画像ＤＢ２６は、著名人に似ている非著名人の顔画像を記憶する記憶領域である。過去の考査で著名人に似ている非著名人（そっくりさん）と判定された顔画像を機械学習させた著名人類似画像学習済みモデルが構築されている。
【００３２】
注文履歴情報ＤＢ２８は、ユーザが過去に注文した内容（プリントデータ）を含む注文履歴情報を記憶する記憶領域である。
【００３３】
制御部１０は、受信部１１、編集処理部１２、注文処理部１３、及び考査処理部１４を備える。受信部１１は、通信部３０を用いて、ユーザ端末７からユーザ画像のデータを受信し、ユーザ画像データをユーザ画像ＤＢ２２に格納する。制御部１０は、受信部１１が受信したユーザ画像の解像度やデータサイズから、印画に適した画像か否かを判定し、判定結果をユーザ端末７に通知してもよい。
【００３４】
編集処理部１２は、テンプレートやユーザ画像を選択する処理、選択されたユーザ画像をフレーム内に配置する処理、選択したスタンプを配置する処理等の画像編集が可能な編集画面を生成し、通信部３０を用いてユーザ端末７へ送信する。編集処理部１２は、ユーザがユーザ端末７を用いて編集画面で行った編集操作を受け付け、テンプレートやユーザ画像等が組み合わされた合成画像（プリント用画像）を生成する。生成されたプリント用画像のデータを含む、フォトブック作製用のプリントデータが、プリントデータＤＢ２３に格納される。
【００３５】
注文処理部１３は、ユーザ端末７から、プリント用画像を印画する物品の選択や、作製する印画物６の数などの注文を受け付ける。この例では、注文処理部１３は、プリント注文として、フォトブックのプリント冊数を受け付ける。必要に応じて、決済部（図示略）が決済処理を行い、プリント注文が完了する。
【００３６】
プリント注文が完了すると、注文処理部１３は、プリント注文の注文番号と、プリント注文されたフォトブックに含まれる各画像の画像識別番号とを組み合わせた情報を、注文情報ＤＢ２４に格納する。注文処理部１３は、プリント注文を行ったユーザの連絡先等を含む注文者情報を生成し、注文情報ＤＢ２４に格納してもよい。
【００３７】
考査処理部１４は、プリント注文されたフォトブックに含まれる各画像について、著名人に類似する顔画像が含まれているか否か判定する。また、考査処理部１４は、著名人に類似する顔画像が含まれている場合、それはそっくりさんであるか否か判定する。
【００３８】
考査処理部１４は、著名人に類似する顔画像が含まれていない場合、又は著名人に類似する顔画像がそっくりさんの顔画像である場合、フォトブックの作製に使用してよい画像であると判定する。一方、著名人に類似する顔画像が、そっくりさんの顔画像ではなく、著名人本人のものである可能性が高い場合、考査処理部１４は、考査対象の画像は著作権又は肖像権を侵害する可能性が高く、考査者による目視確認（２次考査）が必要なものであると判定する。
【００３９】
例えば、考査処理部１４は、ユーザ画像から顔画像を検出し、著名人画像ＤＢ２５に格納されている著名人の顔画像との類似度を算出する。類似度の高い著名人がいる場合、考査処理部１４は、この著名人のそっくりさんの顔画像（著名人類似画像）を著名人類似画像ＤＢ２６から取り出し、ユーザ画像から検出した顔画像と、そっくりさん顔画像との類似度を算出する。
【００４０】
図３に示すように、ユーザ画像から検出した顔画像が著名人本人の顔画像である場合、著名人の顔画像との類似度は高く、そっくりさん顔画像との類似度は低くなる。一方、ユーザ画像から検出した顔画像がそっくりさんの顔画像である場合、著名人の顔画像との類似度及びそっくりさん顔画像との類似度が共に（ある程度）高い値となる。
【００４１】
考査処理部１４は、ユーザ画像から検出した顔画像と著名人の顔画像との類似度（第１類似度）が所定値（第１所定値）以上であり、そっくりさん顔画像との類似度（第２類似度）が所定値（第２所定値）未満となる場合、ユーザ画像に著名人本人が写っており、２次考査が必要であると判定する。
【００４２】
また、考査処理部１４は、ユーザ画像から検出した顔画像と著名人の顔画像との類似度（第１類似度）が所定値（第１所定値）以上、かつ、そっくりさん顔画像との類似度（第２類似度）が所定値（第２所定値）以上となる場合、ユーザ画像にはそっくりさんが写っており、２次考査は不要であると判定する
【００４３】
図４に示すフローチャートを用いて、プリント注文に対する考査処理についてさらに詳細に説明する。
【００４４】
考査処理部１４は、注文情報ＤＢ２４を参照し、考査対象のプリント注文の注文番号が紐付けられた画像のうち、未だ考査を行っていない画像を選択し、選択した画像の画像識別番号に対応する画像データをユーザ画像ＤＢ２２から取り出す（ステップＳ１）。
【００４５】
考査処理部１４は、考査対象の画像に、顔画像が含まれているか否かを検出し、人物（人物画像）を含むものであるか否かを判定する。顔検出には、例えば、画像から目や口元などの明暗差の違いを一旦粗く分析して顔らしい部分を検出し、その後、顔らしい部分について詳細に分析する公知の技術を用いることができる。画像内の肌と推定される領域の割合（肌露出度）を検出して、人物画像を含むものであるか否かを判定してもよい。
【００４６】
人物画像を含まない場合（ステップＳ２＿Ｎｏ）、著名人画像が含まれていないため、フォトブックの作製に使用してよい画像（印画ＯＫ画像）であると判定する（ステップＳ７）。
【００４７】
人物画像を含む場合（ステップＳ２＿Ｙｅｓ）、考査処理部１４は、著名人画像ＤＢ２５内の著名人の顔画像の中から、考査対象の画像から抽出した顔画像と類似した画像を検索する。例えば、公知の方法で顔画像の類似度を算出し、類似度が所定値以上となる著名人画像を検索する。
【００４８】
類似の著名人画像が無い場合（ステップＳ３＿Ｎｏ）、フォトブックの作製に使用してよい画像であると判定する（ステップＳ７）。
【００４９】
類似の著名人画像が検出された場合（ステップＳ３＿Ｙｅｓ）、考査処理部１４は、注文履歴情報ＤＢ２８内の注文履歴情報を参照し、過去に同様の画像でプリント注文を行ったことがあるかを確認する。過去に同様の画像でプリント注文を行い、過去の注文の考査結果がＯＫである場合（ステップＳ４＿Ｙｅｓ）、著名人の兄弟や所属事務所関係者など、著名人の画像を使用可能なユーザによる注文と考えられるため、フォトブックの作製に使用してよい画像であると判定する（ステップＳ７）。
【００５０】
過去に同様の画像でプリント注文を行ったことがない場合、考査処理部１４は、著名人のそっくりさんの顔画像（著名人類似画像）を著名人類似画像ＤＢ２６から取り出し、そっくりさんの顔画像との類似度を算出する。算出された類似度が所定値以上であり、そっくりさんに類似している場合（ステップＳ５＿Ｙｅｓ）、考査対象の画像には、著名人本人ではなく、そっくりさんが写っており、フォトブックの作製に使用してよい画像であると判定する（ステップＳ７）。
【００５１】
算出された類似度が所定値未満である場合（ステップＳ５＿Ｎｏ）、考査対象の画像には、著名人本人が写っており、肖像権等を侵害した画像の可能性が高いため、考査者による二次考査が必要な画像であると判定する（ステップＳ６）。
【００５２】
考査対象のプリント注文に含まれる全てのユーザ画像について考査（考査処理部１４による１次考査）を行うまで、ステップＳ１〜Ｓ７を繰り返す（ステップＳ８）。考査処理部１４は、各画像についての判定結果を画像判定結果ＤＢ２７に登録する。
【００５３】
考査対象のプリント注文に含まれる全てのユーザ画像について、考査処理部１４が、フォトブックの作製に使用してよい画像であると判定した場合（ステップＳ９＿Ｙｅｓ）、考査処理が終了する。制御部１０は、通信部３０を用いて、考査を終えたプリント注文のプリントデータを工場５へ送信する。考査処理部１４は、このプリント注文の考査結果を注文履歴情報ＤＢ２８に登録する。
【００５４】
考査対象のプリント注文に、考査者による二次考査が必要と判定された画像が含まれている場合（ステップＳ９＿Ｎｏ）、制御部１０は、通信部３０を用いて、二次考査が必要な画像があることを考査者端末３に通知する（ステップＳ１０）。
【００５５】
考査者は、考査者端末３を用いて、目視による二次考査を行う（ステップＳ１１）。例えば、制御部１０は、二次考査が必要と判定した画像をリスト化した要注意画像リストを考査者端末３に送信する。考査者は、このリストから二次考査“要”の画像を特定し、この画像をディスプレイに表示して、問題がないか確認する。考査者は、必要に応じて、画像の入手経路、フォトブックの用途、著名人との関係等をユーザに問い合わせる。考査者による二次考査により問題が無いことが確認されると、サーバ装置１は、プリントデータを工場５へ送信する。
【００５６】
工場５では、プリント用画像を用紙にプリントし、製本して、フォトブックを作製する。
【００５７】
このように、本実施形態によれば、考査処理装置としての機能を有するサーバ装置１が、ユーザがアップロードしたユーザ画像の考査（１次考査）を行い、著名人に類似する画像が含まれているか否かを判定する。さらにサーバ装置１は、ユーザ画像に著名人に類似する画像が含まれている場合、それがそっくりさんであるか否かを判定する。考査者は、サーバ装置１により、そっくりさんではなく、著名人本人が写っている（著名人本人が写っている可能性が極めて高い）と判定された画像だけを確認すればよい。そのため、人手（目視）で行う考査対象の画像数を削減し、考査の作業負荷を低減できる。多数のプリント注文があった場合でも、考査のための人的コストの増加を抑えると共に、フォトブックを早期に作製して、ユーザに納品することができる。
【００５８】
上記実施形態では、考査者の目視確認（２次考査）の結果を追加学習させてもよい。例えば、２次考査により、著名人本人でなく、そっくりさんであると判定された顔画像は、著名人類似画像ＤＢ２６に追加登録する。２次考査により、著名人本人であると判定された顔画像は、著名人画像ＤＢ２５に追加登録する
【００５９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６０】
１  サーバ装置
３  考査者端末
５  工場
６  印画物
７  ユーザ端末
１０  制御部
１１  受信部
１２  編集処理部
１３  注文処理部
１４  考査処理部
２０  記憶部
３０  通信部
【図１】
2019053411.tif 000003
【図２】
2019053411.tif 000004
【図３】
2019053411.tif 000005
【図４】
2019053411.tif 000006