(57)【要約】      （修正有）【課題】画像データに情報を予め設定することなく、フレーム領域のサイズ及び形状に応じて画像データを適切に編集することができる画像編集システム及び画像編集方法を提供する。【解決手段】携帯端末は、フレーム領域の面積を算出するフレーム領域特定部２５１と、画像データ内の顔領域を検出し、検出した顔領域の面積を算出する顔領域検出部２５２と、画像データを拡大もしくは縮小する拡大縮小処理を実行する画像編集部２５４とを具備する。フレーム領域には、フレーム領域の面積に対する顔領域の面積の比率が顔領域面積比率として設定されており、画像編集部２５４は、顔領域検出部２５２によって算出された顔領域の面積が顔領域面積比率になるように拡大縮小処理を実行する。【選択図】図２
2018117299.tif 000002
【特許請求の範囲】
【請求項１】
フォトフレームのフレーム領域に提示する画像データを編集する画像編集システムで実行される画像編集方法であって、
前記フレーム領域の面積を算出する第１ステップと、
前記画像データ内の顔領域を検出し、検出した前記顔領域の面積を算出する第２ステップと、
前記画像データを拡大もしくは縮小する拡大縮小処理を実行する第３ステップと、を備え、
前記フレーム領域には、前記フレーム領域の面積に対する前記顔領域の面積の比率が顔領域面積比率として設定されており、
前記第３ステップでは、前記第２ステップで算出した前記顔領域の面積が前記顔領域面積比率になるように前記拡大縮小処理を実行することを特徴とする画像編集方法。
【請求項２】
前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、検出した複数の前記顔領域の面積を合算した合算面積を算出し、
前記第３ステップでは、前記第２ステップで算出した複数の前記顔領域の合算面積が前記顔領域面積比率になるように前記拡大縮小処理を実行することを特徴とする請求項１記載の画像編集方法。
【請求項３】
前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、最も焦点があっている前記顔領域の面積を算出することを特徴とする請求項１記載の画像編集方法。
【請求項４】
前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、最も面積が広い前記顔領域の面積を算出することを特徴とする請求項１記載の画像編集方法。
【請求項５】
前記第２ステップでは、複数の前記画像データ内からそれぞれ前記顔領域を検出した場合、前記顔領域の寸法のバラツキが所定範囲内に収まるように、前記画像データを拡大もしくは縮小する拡大縮小処理を実行した後に、それぞれの顔領域の面積を合算した合算面積を算出することを特徴とする請求項１記載の画像編集方法。
【請求項６】
前記第２ステップで前記画像データ内から複数の前記顔領域を検出した場合、
前記第３ステップでは、前記拡大縮小処理の実行後、前記画像データ内の前記顔領域が前記フレーム領域内に位置するか否かを検証し、前記画像データ内の前記顔領域が前記フレーム領域からはみ出す場合には、前記拡大縮小処理の実行後の前記画像データに対する編集指示を受け付け、受け付けた編集指示を実行することを特徴とする請求項１乃至５のいずれかに記載の画像編集方法。
【請求項７】
前記第３ステップでは、縮小指示を受け付け、前記画像データを縮小する縮小処理を実行することを特徴とする請求項６記載の画像編集方法。
【請求項８】
前記第３ステップは、配置変更指示を受け付け、前記画像データの前記顔領域間をカットして前記顔領域間を狭くする配置変更処理を実行することを特徴とする請求項６記載の画像編集方法。
【請求項９】
撮影部によって前記フォトフレームを設置する背景画像を取得する第４ステップを備え、
前記第３ステップは、前記画像データが前記フレーム領域よりも小さくなり、余白部が生じた場合、前記余白部を埋める背景部を前記第４ステップで取得した前記背景画像を使用して自動的に生成する背景画像生成処理を実行することを特徴とする請求項１乃至８のいずれかに記載の画像編集方法。
【請求項１０】
前記第３ステップでは、前記背景画像の色と同一色相の前記背景部を生成することを特徴とする請求項９記載の画像編集方法。
【請求項１１】
前記第３ステップでは、前記背景画像の色と補色色相の前記背景部を生成することを特徴とする請求項９記載の画像編集方法。
【請求項１２】
操作部によって前記フォトフレームが有する前記フレーム領域の数と同数の前記画像データの指定を受け付ける第５ステップと、
前記画像データを前記顔領域の数が多いものほど上位に順位付けすると共に、前記顔領域の数が同じ場合には、前記顔領域の面積が大きいものほど上位に順位付けし、順位付けした前記画像データを順位の高いものから前記フレーム領域を面積が大きい順番にそれぞれ割り当てる第６ステップと、を備えることを特徴とする請求項１乃至１１のいずれかに記載の画像編集方法。
【請求項１３】
フォトフレームのフレーム領域に提示する画像データを編集する画像編集システムであって、
前記フレーム領域の面積を算出するフレーム領域特定部と、
前記画像データ内の顔領域を検出し、検出した前記顔領域の面積を算出する顔領域検出部と、
前記画像データを拡大もしくは縮小する拡大縮小処理を実行する画像編集部と、を具備し、
前記フレーム領域には、前記フレーム領域の面積に対する前記顔領域の面積の比率が顔領域面積比率として設定されており、
前記画像編集部は、前記顔領域検出部によって算出された前記顔領域の面積が前記顔領域面積比率になるように前記拡大縮小処理を実行することを特徴とする画像編集システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトフレームの画像フレーム領域に掲示する画像データの出力イメージを編集する画像編集システム及び画像編集方法に関する。
【背景技術】
【０００２】
写真を提示するフォトフレームには、複数のフレーム領域が存在するものや、フレーム領域の形状が矩形ではなく、楕円、ハート型、星形等の異形形状のものなど、様々な種類がある。そのため、写真として出力する画像データに対して、フレーム領域の形や大きさに合わせた、変形、拡大、縮小等の編集を行わなければならない。この作業は、手間がかかるうえに、高度な技術が必要とする。
【０００３】
そこで、フレーム領域の位置、サイズ及び形状に応じて、画像データに設定された注目被写体領域の位置及びサイズを編集する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６５６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、画像データにおいてフォトフレームに提示したい領域を注目被写体領域として予め設定しておかなければならないという問題点があった。
【０００６】
本発明は、上記問題点を鑑みてなされたものであり、その目的とするところは、画像データに情報を予め設定することなく、フレーム領域のサイズ及び形状に応じて画像データを適切に編集することができる画像編集システム及び画像編集方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像編集方法は、フォトフレームのフレーム領域に提示する画像データを編集する画像編集システムで実行される画像編集方法であって、前記フレーム領域の面積を算出する第１ステップと、前記画像データ内の顔領域を検出し、検出した前記顔領域の面積を算出する第２ステップと、前記画像データを拡大もしくは縮小する拡大縮小処理を実行する第３ステップと、を備え、前記フレーム領域には、前記フレーム領域の面積に対する前記顔領域の面積の比率が顔領域面積比率として設定されており、前記第３ステップでは、前記第２ステップで算出した前記顔領域の面積が前記顔領域面積比率になるように前記拡大縮小処理を実行することを特徴とする。
さらに、本発明の画像編集方法において、前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、検出した複数の前記顔領域の面積を合算した合算面積を算出し、前記第３ステップでは、前記第２ステップで算出した複数の前記顔領域の合算面積が前記顔領域面積比率になるように前記拡大縮小処理を実行しても良い。
さらに、本発明の画像編集方法において、前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、最も焦点があっている前記顔領域の面積を算出しても良い。
さらに、本発明の画像編集方法において、前記第２ステップでは、前記画像データ内から複数の前記顔領域を検出した場合、最も面積が広い前記顔領域の面積を算出しても良い。
さらに、本発明の画像編集方法において、前記第２ステップでは、複数の前記画像データ内からそれぞれ前記顔領域を検出した場合、前記顔領域の寸法のバラツキが所定範囲内に収まるように、前記画像データを拡大もしくは縮小する拡大縮小処理を実行した後に、それぞれの顔領域の面積を合算した合算面積を算出しても良い。
さらに、本発明の画像編集方法において、前記第２ステップで前記画像データ内から複数の前記顔領域を検出した場合、前記第３ステップでは、前記拡大縮小処理の実行後、前記画像データ内の前記顔領域が前記フレーム領域内に位置するか否かを検証し、前記画像データ内の前記顔領域が前記フレーム領域からはみ出す場合には、前記拡大縮小処理の実行後の前記画像データに対する編集指示を受け付け、受け付けた編集指示を実行しても良い。
さらに、本発明の画像編集方法において、前記第３ステップでは、縮小指示を受け付け、前記画像データを縮小する縮小処理を実行しても良い。
さらに、本発明の画像編集方法において、前記第３ステップは、配置変更指示を受け付け、前記画像データの前記顔領域間をカットして前記顔領域間を狭くする配置変更処理を実行しても良い。
さらに、本発明の画像編集方法において、撮影部によって前記フォトフレームを設置する背景画像を取得する第４ステップを備え、前記第３ステップは、前記画像データが前記フレーム領域よりも小さくなり、余白部が生じた場合、前記余白部を埋める背景部を前記第４ステップで取得した前記背景画像を使用して自動的に生成する背景画像生成処理を実行しても良い。
さらに、本発明の画像編集方法において、前記第３ステップでは、前記背景画像の色と同一色相の前記背景部を生成しても良い。
さらに、本発明の画像編集方法において、前記第３ステップでは、前記背景画像の色と補色色相の前記背景部を生成しても良い。
さらに、本発明の画像編集方法において、操作部によって前記フォトフレームが有する前記フレーム領域の数と同数の前記画像データの指定を受け付ける第５ステップと、前記画像データを前記顔領域の数が多いものほど上位に順位付けすると共に、前記顔領域の数が同じ場合には、前記顔領域の面積が大きいものほど上位に順位付けし、順位付けした前記画像データを順位の高いものから前記フレーム領域を面積が大きい順番にそれぞれ割り当てる第６ステップと、を備えていても良い。
また、本発明の画像編集システムは、フォトフレームのフレーム領域に提示する画像データを編集する画像編集システムであって、前記フレーム領域の面積を算出するフレーム領域特定部と、前記画像データ内の顔領域を検出し、検出した前記顔領域の面積を算出する顔領域検出部と、前記画像データを拡大もしくは縮小する拡大縮小処理を実行する画像編集部とを具備し、前記フレーム領域には、前記フレーム領域の面積に対する前記顔領域の面積の比率が顔領域面積比率として設定されており、前記画像編集部は、前記顔領域検出部によって算出された前記顔領域の面積が前記顔領域面積比率になるように前記拡大縮小処理を実行することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、フレーム領域の面積と、画像データ内の人物の大きさとに応じた拡大縮小処理が実行されるため、画像データに情報を予め設定することなく、フレーム領域のサイズ及び形状に応じて画像データを適切に編集することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像編集システムの実施の形態の構成を示すシステム構成図である。
【図２】図１に示す携帯端末の概略構成を示すブロック図である。
【図３】図１に示す携帯端末の編集動作を説明するフローチャートである。
【図４】図２に示す画像割当部による画像データの割り当て例を示す説明図である。
【図５】図２に示す画像編集部による拡大縮小処理例を示す説明図である。
【図６】図２に示す画像編集部による拡大縮小処理例を示す説明図である。
【図７】図２に示す画像編集部による配置検証処理を説明するフローチャートである。
【図８】図２に示す画像編集部による配置検証処理を説明する説明図である。
【図９】図２に示す画像編集部による背景部生成処理を説明する説明図である。
【発明を実施するための形態】
【００１０】
以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。
【００１１】
本実施の形態は、写真を提示するフォトフレーム１のフレーム領域１１のサイズ及び形状に応じて、掲示する画像データの出力イメージを編集する画像編集システムであり、図１に示すように、携帯電話、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等のカメラ機能を有する携帯端末２と、プリンター、複写機、ＭＦＰ（Multifunction Peripheral/Printer/Product）等の画像形成装置３とを備えている。なお、図１には、３か所のフレーム領域１１を有するフォトフレーム１の例が示されている。
【００１２】
携帯端末２は、図２を参照すると、撮影部２１と、端末操作部２２と、端末記憶部２３、端末通信部２４と、端末制御部２５とを備えている。
【００１３】
撮影部２１は、被写体までの距離を測定し、カメラの焦点を自動的に合わせるオートフォーカス機能を備えたデジタルカメラである。撮影部２１によってフォトフレーム１を被写体として撮影した撮影画像は、フォトフレーム１までの距離と共に端末制御部２５に出力される。
【００１４】
端末操作部２２は、ユーザーインターフェースとして機能するタッチパネルである。端末操作部２２は、表示部として機能する表示パネルと、表示パネルの表面に設けられた入力部として機能する感圧センサーとを備えている。なお、端末操作部２２には、ハードキーを設けるようにしても良い。
【００１５】
端末記憶部２３は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。端末記憶部２３には、複数の画像データＰが記憶されており、ユーザーは、端末操作部２２によってフォトフレーム１のフレーム領域１１に掲示する画像データＰを指定する。
【００１６】
端末通信部２４は、無線ネットワークを介して、画像形成装置３と各種データを送受信する機能を有する。
【００１７】
端末制御部２５は、撮影部２１、端末操作部２２、端末記憶部２３及び端末通信部２４にそれぞれ接続され、端末操作部２２から入力された所定の指示情報に応じて携帯端末２全体の動作制御を実行する。端末制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の演算処理回路である。ＲＯＭには携帯端末２の動作制御を行うための制御プログラムが記憶されている。端末制御部２５は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末操作部２２から入力された各種指示情報に応じて装置全体の制御を行う。
【００１８】
また、端末制御部２５は、フレーム領域特定部２５１、顔領域検出部２５２、画像割当部２５３及び画像編集部２５４として機能する。
【００１９】
フレーム領域特定部２５１は、撮影部２１によって撮像された撮影画像を解析することで、フォトフレーム１におけるフレーム領域１１の形状をそれぞれ特定すると共に、撮影部２１によって測定されたフォトフレーム１までの距離に基づいて、フォトフレーム１におけるフレーム領域１１の寸法及び面積をフレームサイズとしてそれぞれ算出する。フレーム領域特定部２５１は、例えば、撮影画像において輝度が急激に変化する輪郭をそれぞれ抽出し、他の輪郭を内包する輪郭をフォトフレーム１として特定すると共に、フォトフレーム１に内包された輪郭をフレーム領域１１として特定する。
【００２０】
顔領域検出部２５２は、フォトフレーム１のフレーム領域１１に掲示する画像データＰを解析することで、画像データＰに含まれる顔領域を検出すると共に、画像データＰを等倍印刷する際の顔領域の寸法及び面積を顔サイズとしてそれぞれ算出する。顔領域検出部２５２は、画像データＰに複数の人物が含まれる場合、複数の人物の顔領域と顔サイズとをそれぞれ検出する。なお、顔領域検出部２５２による顔領域の検出は、例えば、抽出した眉、目、鼻、唇の各端点等の特徴点に基づく公知の方法や、予め用意した顔画像との相関による公知の方法等を用いることができる。
【００２１】
画像割当部２５３は、フレーム領域特定部２５１によって特定されたフレーム領域１１のそれぞれフレームサイズと、顔領域検出部２５２によって検出された顔領域の数及び顔サイズとに基づいて、フレーム領域１１に掲示する画像データＰを割り当てる。
【００２２】
画像編集部２５４は、フレーム領域特定部２５１によって算出されたフレーム領域１１のフレームサイズと、顔領域検出部２５２によって算出された顔サイズとに基づいて、画像データＰを拡大もしくは縮小する拡大縮小処理を実行する。また、画像編集部２５４は、フレーム領域１１から顔領域がはみ出す場合、画像データＰを縮小する縮小処理や、顔領域間をカットして顔領域の配置を変更する配置変更処理を実行する。さらに、画像編集部２５４は、上述の編集処理（縮小処理、配置変更処理）によって画像データＰがフレーム領域１１よりも小さくなり、余白部が生じた場合、余白部を埋める背景部をフォトフレーム１の背景画像を使用して自動的に生成する背景画像生成処理を実行する。
【００２３】
次に、携帯端末２における編集動作について図３乃至図９を参照して詳細に説明する。以下、図４に示すフォトフレーム１のフレーム領域１１ａ〜１１ｃに掲示する画像データＰの編集例について説明する。また、携帯端末２の端末記憶部２３には、３以上の画像データＰが記憶されているものとする。
【００２４】
まず、ユーザーは、図１に示すように、フォトフレーム１を壁面等の設置場所に配置し、携帯端末２の撮影部２１によってフォトフレーム１を被写体として撮影する。これにより、撮影部２１によって撮像された撮影画像は、フォトフレーム１と共に、設置場所の背景画像が含まれたものになる。また、撮影部２１による撮影にオートフォーカス機能を用いることで、フォトフレーム１までの距離が測定される。
【００２５】
次に、端末制御部２５は、フレーム領域特定部２５１として機能する。フレーム領域特定部２５１は、撮影部２１によって撮像された撮影画像を解析することで、フォトフレーム１の特定と（ステップＳ１０１）、フォトフレーム１におけるフレーム領域１１ａ〜１１ｃの形状の特定とを行う（ステップＳ１０２）。
【００２６】
次に、フレーム領域特定部２５１は、三角測距の原理を用いることで、フォトフレーム１までの距離に基づいて、フレーム領域１１ａ〜１１ｃの寸法及び面積をフレームサイズとして算出する（ステップＳ１０３）。
【００２７】
次に、端末制御部２５は、端末記憶部２３に記憶されている画像データＰのリストやサンプル画像を端末操作部２２に表示させ、フレーム領域１１ａ〜１１ｃの数と同数の画像データＰの指定を受け付ける（ステップＳ１０４）。本実施の形態では、フレーム領域１１ａ〜１１ｃの数は、３カ所であるため、図４に示すように、３つの画像データＰａ〜Ｐｃの指定を受け付ける。
【００２８】
次に、端末制御部２５は、顔領域検出部２５２として機能する。顔領域検出部２５２は、画像データＰａ〜Ｐｃをそれぞれ解析することで、画像データＰａ〜Ｐｃに含まれる顔領域を検出し（ステップＳ１０５）、画像データＰａ〜Ｐｃをそれぞれ等倍印刷する際のおける顔領域の寸法及び面積を顔サイズとしてそれぞれ算出する（ステップＳ１０６）。図４を参照すると、画像データＰａ、Ｐｂには、１人の人物が含まれているため、顔領域検出部２５２によって１か所の顔領域がそれぞれ検出され、画像データＰｃには、２人の人物が含まれているため、顔領域検出部２５２によって２か所の顔領域が検出される。画像データＰｃのように２か所以上の顔領域が検出された場合、顔領域検出部２５２は、顔領域のそれぞれの寸法を算出すると共に、それぞれの顔領域の面積を合算した合算面積を顔サイズとして算出する。
【００２９】
次に、端末制御部２５は、画像割当部２５３として機能する。画像割当部２５３は、フレーム領域特定部２５１によって特定されたフレーム領域１１ａ〜１１ｃのそれぞれフレームサイズと、顔領域検出部２５２によって画像データＰａ〜Ｐｃからそれぞれ検出された顔領域の数及び顔サイズとに基づいて、フレーム領域１１ａ〜１１ｃに掲示する画像データＰａ〜Ｐｃを割り当てる（ステップＳ１０７）。
【００３０】
画像割当部２５３は、画像データＰａ〜Ｐｃを、顔領域検出部２５２によって検出された顔領域の数が多いものほど上位に順位付けすると共に、顔領域の数が同じ場合には、顔領域検出部２５２によって算出された顔サイズに基づいて顔領域の面積が大きいものほど上位に順位付けする。図４に示す画像データＰａ〜Ｐｃにおいて、画像データＰｃでは２か所の顔領域が、画像データＰａ、Ｐｂでは１か所の顔領域が検出されるため、画像データＰｃが画像データＰａ、Ｐｂよりも上位に順位付けされる。また、画像データＰａ、Ｐｂでは画像データＰｂの顔領域の方が大きいため、画像データＰｂが画像データＰａよりも上位に順位付けされる。
【００３１】
次に、画像割当部２５３は、順位付けした画像データＰａ〜Ｐｃを、順位の高いものからフレーム領域１１ａ〜１１ｃを面積が大きい順番にそれぞれ割り当てる。図４に示すフレーム領域１１ａ〜１１ｃでは、フレーム領域１１ｃ、１１ｂ、１１ａの順番に面積が大きい。従って、画像データＰｃがフレーム領域１１ｃに、画像データＰｂがフレーム領域１１ｂに、画像データＰａがフレーム領域１１ａにそれぞれ割り当てられることになる。
【００３２】
次に、端末制御部２５は、画像編集部２５４として機能する。画像編集部２５４は、まず、フレーム領域特定部２５１によって算出されたフレーム領域１１ａ〜１１ｃのフレームサイズと、顔領域検出部２５２によって算出された顔サイズとに基づいて、画像データＰを拡大もしくは縮小する拡大縮小処理を実行する（ステップＳ１０８）。
【００３３】
画像編集部２５４には、フレーム領域１１ａ〜１１ｃの面積に対する顔領域の面積の比率が顔領域面積比率として設定されている。顔領域面積比率は、予め設定しておいても良く、ユーザーが設定可能に構成しても良い。また、各フレーム領域１１ａ〜１１ｃにおける顔領域面積比率は、同一でも良いが、フレーム領域１１ａ〜１１ｃの面積に応じて、面積が小さいほど、顔領域面積比率が段階的もしくはリニア的に高くなるように設定すると好適である。この場合、画像編集部２５４は、顔領域面積比率の目安のとなる１つの設定（大中小や数値）を受け付け、フレーム領域１１ａ〜１１ｃの面積に応じて、各フレーム領域１１ａ〜１１ｃの顔領域面積比率を設定すると良い。
【００３４】
画像編集部２５４は、フレーム領域１１ａ〜１１ｃにそれぞれ設定された顔領域面積比率になるように、画像データＰを拡大もしくは縮小する編集処理を実行する。
【００３５】
図５（ａ）に示すように、フレーム領域１１ａに割り当てられた画像データＰａは顔領域が１か所であり、顔領域の面積Ｘａは、フレーム領域１１ａの面積に顔領域面積比率を乗じた面積Ｙａよりも大きい。従って、画像編集部２５４は、顔領域の面積Ｘａが、フレーム領域１１ａの面積に顔領域面積比率を乗じた面積Ｙａになるように画像データＰａを縮小する。
【００３６】
図５（ｂ）に示すように、フレーム領域１１ｂに割り当てられた画像データＰｂは顔領域が１か所であり、顔領域の面積Ｘｂは、フレーム領域１１ｂの面積に顔領域面積比率を乗じた面積Ｙｂよりも小さい。従って、画像編集部２５４は、顔領域の面積Ｘｂが、フレーム領域１１ｂの面積に顔領域面積比率を乗じた面積Ｙｂになるように画像データＰｂを拡大する。
【００３７】
図６に示すように、フレーム領域１１ｃに割り当てられた画像データＰｃは顔領域が２か所以上であり、顔領域の面積Ｘｃ１、Ｘｃ２を合算した合算面積は、フレーム領域１１ｃの面積に顔領域面積比率を乗じた面積Ｙｃよりも大きい。従って、画像編集部２５４は、顔領域の面積Ｘｃ１、Ｘｃ２の合算面積が、フレーム領域１１ｃの面積に顔領域面積比率を乗じた面積Ｙｃになるように画像データＰｃを縮小する。
【００３８】
次に、画像編集部２５４は、画像データＰｃのように２か所以上の顔領域が存在する場合、フレーム領域１１ｃ内の顔領域の配置を検証する配置検証処理を実行する（ステップＳ１０９）。
【００３９】
フレーム領域１１ａ、１１ｂにそれぞれ割り当てられた画像データＰａ、Ｐｂは顔領域が１か所であるため、画像データＰａ、Ｐｂに対するステップＳ１０９の配置検証処理が実行されない。
【００４０】
図７を参照すると、画像編集部２５４は、フレーム領域１１ｃの面積重心を算出すると共に（ステップＳ２０１）、画像データＰｃにおける２か所の顔領域の面積重心を算出する（ステップＳ２０２）。
【００４１】
次に、画像編集部２５４は、図８（ａ）に示すように、フレーム領域１１ｃの面積重心と、２か所の顔領域の面積重心とが一致するように、フレーム領域１１ｃと、拡大縮小処理を実行した画像データＰｃとを重ね合わせる（ステップＳ２０３）。
【００４２】
次に、画像編集部２５４は、画像データＰｃの２か所の顔領域のいずれもがフレーム領域１１ｃ内に位置するか否かを判断する（ステップＳ２０４）。そして、ステップＳ２０４で画像データＰｃの２か所の顔領域のいずれもがフレーム領域１１ｃ内に位置する場合、画像編集部２５４は、画像データＰｃの編集を実行することなく配置検証処理を終了する。
【００４３】
ステップＳ２０４で画像データＰｃの２か所の顔領域のいずれかもしくは両方がフレーム領域１１ｃからはみ出している場合、画像編集部２５４は、画像データＰｃの編集方法を選択する選択画面を携帯端末２に表示させ、「そのまま」で良いか、「縮小」するか、顔領域の「配置変更」をするかの選択を受け付ける（ステップＳ２０５）。
【００４４】
ステップＳ２０５で「そのまま」の選択を受け付けると、画像編集部２５４は、画像データＰｃの編集を実行することなく配置検証処理を終了する。
【００４５】
ステップＳ２０５で「縮小」の選択を受け付けると、画像編集部２５４は、画像データＰｃを縮小する縮小処理を実行し（ステップＳ２０６）、配置検証処理を終了する。画像編集部２５４は、携帯端末２にフレーム領域１１ｃと画像データＰｃとを重ね合わせて表示させ、画像データＰｃを縮小する縮尺をピンチイン操作等で受け付けることで、図８（ｂ）に示すように、画像データＰｃをユーザー所望の縮尺で縮小処理を実行する。
【００４６】
ステップＳ２０５で「配置変更」の選択を受け付けると、画像編集部２５４は、顔領域間をカットして顔領域の配置を変更する配置変更処理を実行し（ステップＳ２０７）、配置検証処理を終了する。画像編集部２５４は、携帯端末２にフレーム領域１１ｃと画像データＰｃとを重ね合わせて表示させ、顔領域間のカットする範囲をスワイプ操作等で受け付けることで、図８（ｂ）に示すように、顔領域をユーザー所望の位置に配置する配置変更処理を実行する。
【００４７】
配置変更処理によって、人物を縮小することなく、フレーム領域１１ｃ内に全ての人物を収めることができる。また、配置変更処理によって、人物間の間隔を狭くすることができ、見栄えが良いレイアウトに変更することができる。なお、繋ぎあわせる箇所は、公知のポアソン画像合成等の手法を用いることができる。また、ユーザーが、背景が必要ないと判断した場合、背景情報を削除可能に構成しても良い。
【００４８】
次に、画像編集部２５４は、上述の編集処理（縮小処理、配置変更処理）によって画像データＰがフレーム領域１１よりも小さくなり、図９（ａ）、（ｂ）に示すように、余白部Ｗが生じた場合、余白部Ｗを埋める背景部Ｚをフォトフレーム１の背景画像を使用して自動的に生成する背景画像生成処理を実行する（Ｓ１１０）。フォトフレーム１の背景画像は、図１に示す例において、フォトフレーム１を飾る壁である。画像編集部２５４は、背景画像（壁）の色と同一色相や補色色相を背景部Ｚとして生成する。背景部Ｚを背景画像（壁）の色と同一色相にした場合には、背景画像（壁）と同じ色相がフレーム領域１１に配置されることになり、透明な部材で構成されたフレーム領域１１内に写真を提示したように見える。また、背景部Ｚを背景画像（壁）の色と補色色相にした場合には、背景画像（壁）に対して目立つ色相がフレーム領域１１に配置されることになり、フレーム領域１１内の写真を強調することができる。
【００４９】
次に、画像編集部２５４は、上述の拡大縮小処理、縮小処理、配置変更処理、背景画像生成処理を実行した画像データＰａ〜Ｐｃを印刷データとして画像形成装置３に送信し（Ｓ１１１）、画像形成装置３によって画像データＰａ〜Ｐｃを写真用紙等に印刷させて、編集動作を終了する。
【００５０】
これにより、フレーム領域１１のサイズ及び形状に応じて適切に編集された画像データＰａ〜Ｐｃが写真として出力される。従って、ユーザーは、出力された写真をフレーム領域１１のサイズ及び形状に応じて切断するだけで、フォトフレーム１のフレーム領域１１ａ〜１１ｃに掲示する適切な写真を得ることができる。なお、画像データＰａ〜Ｐｃをフレーム領域１１ａ〜１１ｃのレイアウトに応じて配置した１枚の写真として衆力するようにしても良い。
【００５１】
なお、ステップＳ１０４で画像データＰの指定を受け付ける際に、画像データＰの中心位置の設定も合わせて受け付けるようにしても良い。この場合、ユーザーは、フレーム領域１１の中央に配置したい人物等を中心位置として設定する。そして、上述の配置変更処理や背景部生成処理において、画像編集部２５４は、フレーム領域１１の面積重心と、設定された中心位置とが一致するように、フレーム領域１１と、画像データＰとを重ね合わせると良い。
【００５２】
また、携帯端末２におけるフレーム領域特定部２５１、顔領域検出部２５２、画像割当部２５３及び画像編集部２５４の全部もしくは一部の機能は、画像形成装置３や、インターネット等のネットワーク上に設けるようにしても良い。また、フォトフレーム１のフレーム領域１１ａ〜１１ｃの形状やフレームサイズ等の情報は、携帯端末２もしくは画像形成装置３に予め記憶させておくようにしたり、インターネット等のネットワーク上から収集したりしても良い。
【００５３】
さらに、画像データＰｃのように２か所以上の顔領域が検出された場合、顔領域検出部２５２は、最も焦点があっている顔領域の寸法を顔サイズとして算出するようにしても良い。この場合、最も焦点があっている人物をメインに掲示することができる。なお、焦点が最もあっている顔領域は、例えば、高速フーリエ変換により各顔領域の画像のスペクトル分布を求め、パワースペクトルが最も高周波数側まで伸びているものを特定する。
【００５４】
さらに、画像データＰｃのように２か所以上の顔領域が検出された場合、顔領域検出部２５２は、最も面積が広い顔領域の寸法を顔サイズとして算出するようにしても良い。この場合、最も大きく写っている人物をメインに掲示することができる。
【００５５】
さらに、顔領域検出部２５２は、複数の画像データＰから顔領域を検出し、検出された顔領域を含む人物領域を画像編集部２５４によって合成して１つの写真として出力するようにしても良い。この場合、画像データＰ毎に縮尺が異なることが想定される。従って、異なる画像データＰから検出した顔領域の寸法のバラツキが所定範囲内（例えば、２０％以内）に収まるように、一方の画像データＰを拡大もしくは縮小する拡大縮小処理を実行した後に、それぞれの顔領域の面積を合算した合算面積を顔サイズとして算出すると良い。
【００５６】
以上説明したように、本実施の形態によれば、フォトフレーム１のフレーム領域１１に提示する画像データＰを編集する画像編集システムであって、フレーム領域１１の面積を算出するフレーム領域特定部２５１と、画像データＰ内の顔領域を検出し、検出した顔領域の面積を算出する顔領域検出部２５２と、画像データＰを拡大もしくは縮小する拡大縮小処理を実行する画像編集部２５４とを具備し、フレーム領域１１には、フレーム領域１１の面積に対する顔領域の面積の比率が顔領域面積比率として設定されており、画像編集部２５４は、顔領域検出部２５２によって算出された顔領域の面積が顔領域面積比率になるように拡大縮小処理を実行する。
この構成により、フレーム領域１１の面積と、画像データＰ内の人物の大きさとに応じた拡大縮小処理が実行されるため、画像データに情報を予め設定することなく、フレーム領域のサイズ及び形状に応じて画像データを適切に編集することができる。
【００５７】
さらに、本実施の形態において、顔領域検出部２５２は、画像データＰ内から複数の顔領域を検出した場合、検出した複数の顔領域の面積を合算した合算面積を算出し、画像編集部２５４は、顔領域検出部２５２によって算出された複数の顔領域の合算面積が顔領域面積比率になるように拡大縮小処理を実行する。
この構成により、画像データＰ内に複数の人物が存在する場合でも、フレーム領域のサイズ及び形状に応じて画像データを適切に編集することができる。
【００５８】
さらに、本実施の形態において、顔領域検出部２５２によって画像データＰ内から複数の顔領域が検出された場合、画像編集部２５４は、拡大縮小処理の実行後、画像データＰ内の顔領域がフレーム領域１１内に位置するか否かを検証し、画像データＰ内の顔領域がフレーム領域１１からはみ出す場合には、拡大縮小処理の実行後の画像データＰに対する編集指示（縮小指示、配置変更指示）を受け付け、受け付けた編集指示（縮小処理、配置変更処理）を実行する。
この構成により、画像データＰ内の顔領域をフレーム領域１１内に位置させる編集方法を簡単に選択することができる。
【００５９】
さらに、本実施の形態において、フォトフレーム１を設置する背景画像を取得する撮影部を具備し、画像編集部２５４は、画像データＰがフレーム領域１１よりも小さくなり、余白部Ｗが生じた場合、余白部Ｗを埋める背景部Ｚを撮影部２１によって取得された背景画像を使用して自動的に生成する背景画像生成処理を実行する。
この構成により、背景画像の色と同一色相の背景部Ｚを生成することで、背景画像と同じ色相がフレーム領域１１に配置されることになり、透明な部材で構成されたフレーム領域１１内に写真を提示したように見える。また、背景画像の色と補色色相の背景部Ｚを生成することで、背景画像に対して目立つ色相がフレーム領域１１に配置されることになり、フレーム領域１１内の写真を強調することができる。
【００６０】
さらに、本実施の形態において、フォトフレーム１が有するフレーム領域１１の数と同数の画像データＰの指定を受け付ける操作部と、画像データＰを顔領域の数が多いものほど上位に順位付けすると共に、顔領域の数が同じ場合には、顔領域の面積が大きいものほど上位に順位付けし、順位付けした画像データＰを順位の高いものからフレーム領域１１ｃを面積が大きい順番にそれぞれ割り当てる画像割当部とを具備する。
この構成により、指定された複数の画像データＰａ〜Ｐｃを、フォトフレーム１が有するフレーム領域１１ａ〜１１ｃの適所に割り当てることができる。
【００６１】
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
【符号の説明】
【００６２】
１  フォトフレーム
１１、１１ａ〜１１ｃ  フレーム領域
２  携帯端末
３  画像形成装置
２１  撮影部
２２  端末操作部
２３  端末記憶部
２４  端末通信部
２５  端末制御部
２５１  フレーム領域特定部
２５２  顔領域検出部
２５３  画像割当部
２５４  画像編集部
Ｐ、Ｐａ〜Ｐｃ  画像データ
Ｗ  余白部
Ｚ  背景部
【図１】
2018117299.tif 000003
【図２】
2018117299.tif 000004
【図３】
2018117299.tif 000005
【図４】
2018117299.tif 000006
【図５】
2018117299.tif 000007
【図６】
2018117299.tif 000008
【図７】
2018117299.tif 000009
【図８】
2018117299.tif 000010
【図９】
2018117299.tif 000011