(57)【要約】【課題】ユーザの意図に沿ったトリミングを簡単に行うことができる画像トリミングシステム等を提供する。【解決手段】ユーザ端末５から画像をサーバ２に送信し、サーバ２は画像中の登場物を検出する。サーバ２は、登場物を含む最適なトリミング枠をユーザ端末５に送信する。ユーザは、トリミング枠の対象となる登場物が意図したものでない場合、別の登場物を選択してユーザ端末５からサーバ２に送信する。サーバ２は、選択した登場物に対する最適なトリミング枠をユーザ端末５に送信し、ユーザは問題が無ければそのトリミング枠で画像をトリミングすることを決定し、当該トリミング枠をサーバ２に送信する。サーバ２は、当該トリミング枠で画像のトリミングを行ったトリミング画像をユーザ端末５に送信する。トリミング画像と元の画像ではその構図、特に登場物の画像内の相対位置が異なっている。【選択図】図４
2019054411.tif 000002
【特許請求の範囲】
【請求項１】
トリミング装置とユーザの端末を有する画像トリミングシステムであって、
前記トリミング装置は、
画像中の登場物を検出する画像認識手段と、
前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、
を有し、
前記端末は、
前記画像中の登場物から選択した、トリミングの対象とする登場物を前記トリミング装置に送信する登場物送信手段と、
選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、
を有し、
前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする画像トリミングシステム。
【請求項２】
前記トリミング画像において、前記選択された登場物は、黄金比を用いて定められる位置に配置されることを特徴とする請求項１記載の画像トリミングシステム。
【請求項３】
前記トリミング装置は、
１つの登場物につき複数の前記トリミング枠を設定するトリミング枠設定手段と、
複数の前記トリミング枠のうち、所定のルールに基づいて算出された評価点が最も高いものをユーザの前記端末に送信するトリミング枠送信手段と、
前記画像をトリミングする前記トリミング枠をユーザの前記端末から受信するトリミング枠受信手段と、
を有することを特徴とする請求項１または請求項２記載の画像トリミングシステム。
【請求項４】
前記トリミング枠設定手段は、前記画像中の複数の登場物のそれぞれについて前記トリミング枠を設定し、
前記トリミング枠送信手段は、ユーザによって選択された前記登場物に対する前記トリミング枠をユーザの前記端末に送信することを有することを特徴とする請求項３記載の画像トリミングシステム。
【請求項５】
前記端末は、
前記トリミング装置から受信した前記トリミング枠を変更する変更手段を有し、
前記トリミング枠受信手段は、前記トリミング枠送信手段で送信した前記トリミング枠から変更されたトリミング枠をユーザの前記端末から受信することを特徴とする請求項３または請求項４記載の画像トリミングシステム。
【請求項６】
画像中の登場物を検出する画像認識手段と、
前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、
を有し、
前記トリミング手段は、ユーザによって選択された前記登場物を含む前記トリミング画像を作成し、
前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とするトリミング装置。
【請求項７】
画像内の登場物から選択した、トリミングの対象とする登場物をトリミング装置に送信する登場物送信手段と、
選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、
を有し、
前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする端末。
【請求項８】
コンピュータを、
画像中の登場物を検出する画像認識手段と、
前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、
を有し、
前記トリミング手段は、ユーザによって選択された前記登場物を含む前記トリミング画像を作成し、
前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とするトリミング装置として機能させるためのプログラム。
【請求項９】
コンピュータを、
画像内の登場物から選択した、トリミングの対象とする登場物をトリミング装置に送信する登場物送信手段と、
選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、
を有し、
前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする端末として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のトリミングを行う画像トリミングシステム等に関する。
【背景技術】
【０００２】
旅行等のイベントの際、あるいは日常生活においても人は多くの写真を撮って記録に残しているが、それらの写真は別の用途に使用したり整理したりすることなく撮り溜めたままとなっていることも多い。
【０００３】
一つの理由として、写真撮影時に写真の構図を意識しないため、改めて写真を見た時に平凡に感じてしまい、別の用途に使用したり整理したりするモチベーションがわかないということがある。
【０００４】
一方、特許文献１では、ユーザが撮影した画像を、画像内の人物を中心とする適切な構図に自動的にトリミングするトリミング装置が記載されている。構図についての知識が無くてもセンスよくトリミングを行うことによって、撮り溜めた写真を一変させて別の用途に使用したり整理したりする動機づけとすることも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-42800号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のトリミング装置は自動的にトリミングの対象となる画像内の人物を決定するので、トリミング結果がユーザの意図しないものになることがある。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、ユーザの意図に沿ったトリミングを簡単に行うことができる画像トリミングシステム等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前述した課題を解決するための第１の発明は、トリミング装置とユーザの端末を有する画像トリミングシステムであって、前記トリミング装置は、画像中の登場物を検出する画像認識手段と、前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、を有し、前記端末は、前記画像中の登場物から選択した、トリミングの対象とする登場物を前記トリミング装置に送信する登場物送信手段と、選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、を有し、前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする画像トリミングシステムである。
【０００９】
本発明の画像トリミングシステムは、ユーザの写真等の画像を構図を変えてトリミングすることで、これを一変させて別の用途に使用したり整理したりする動機づけとできる。また、トリミング画像はユーザが選択した登場物に対して作成されるので、ユーザの意図に沿ったトリミングを簡単に行うことができる。
【００１０】
前記トリミング画像において、前記選択された登場物は、例えば黄金比を用いて定められる位置に配置される。
このように、黄金比による構図に基づいて画像をトリミングすることで、センスのよいトリミングを行うことができる。
【００１１】
前記トリミング装置は、１つの登場物につき複数の前記トリミング枠を設定するトリミング枠設定手段と、複数の前記トリミング枠のうち、所定のルールに基づいて算出された評価点が最も高いものをユーザの前記端末に送信するトリミング枠送信手段と、前記画像をトリミングする前記トリミング枠をユーザの前記端末から受信するトリミング枠受信手段と、を有することが望ましい。
これにより最適なトリミング枠をユーザに提案する形として、ユーザによる確認を経たトリミング枠にて画像のトリミングを行うことができる。
【００１２】
前記トリミング枠設定手段は、前記画像中の複数の登場物のそれぞれについて前記トリミング枠を設定し、前記トリミング枠送信手段は、ユーザによって選択された前記登場物に対する前記トリミング枠をユーザの前記端末に送信することが望ましい。
このように画像中の複数の登場物についてトリミング枠を事前に設定しておくことで、トリミングの対象とする登場物がユーザによって選択された際に当該登場物に対するトリミング枠を迅速にユーザの端末に送信できる。
【００１３】
前記端末は、前記トリミング装置から受信した前記トリミング枠を変更する変更手段を有し、前記トリミング枠受信手段は、前記トリミング枠送信手段で送信した前記トリミング枠から変更されたトリミング枠をユーザの前記端末から受信することが望ましい。
本発明ではユーザによってトリミング枠の変更を行うことができ、変更後のトリミング枠でトリミングを行うことでユーザの意図に沿ったトリミング画像を作成できる。
【００１４】
第２の発明は、画像中の登場物を検出する画像認識手段と、前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、を有し、前記トリミング手段は、ユーザによって選択された前記登場物を含む前記トリミング画像を作成し、前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とするトリミング装置である。
【００１５】
第３の発明は、画像内の登場物から選択した、トリミングの対象とする登場物をトリミング装置に送信する登場物送信手段と、選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、を有し、前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする端末である。
【００１６】
第４の発明は、コンピュータを、画像中の登場物を検出する画像認識手段と、前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を作成するトリミング手段と、を有し、前記トリミング手段は、ユーザによって選択された前記登場物を含む前記トリミング画像を作成し、前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とするトリミング装置として機能させるためのプログラムである。
【００１７】
第５の発明は、コンピュータを、画像内の登場物から選択した、トリミングの対象とする登場物をトリミング装置に送信する登場物送信手段と、選択した前記登場物を含むトリミング枠によって前記画像をトリミングしたトリミング画像を前記トリミング装置から受信するトリミング画像受信手段と、を有し、前記画像における前記選択された登場物の相対位置と、前記トリミング画像における前記選択された登場物の相対位置が異なることを特徴とする端末として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明により、ユーザの意図に沿ったトリミングを簡単に行うことができる画像トリミングシステム等を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】画像トリミングシステム１を示す図。
【図２】サーバ２のハードウェア構成を示す図。
【図３】ユーザ端末５のハードウェア構成を示す図。
【図４】画像トリミング方法の手順を示すフローチャート。
【図５】画像認識結果の例。
【図６】黄金比フィボナッチ螺旋によるトリミング枠２００を示す図。
【図７】トリミング枠２００の設定例。
【図８】ユーザ端末５の表示画面の例。
【図９】ユーザ端末５の表示画面の例。
【図１０】ユーザ端末５の表示画面の例。
【図１１】トリミング画像１０１の例。
【図１２】黄金比ファイ・グリッド、日の丸構図によるトリミング枠２００の例。
【図１３】第２の実施形態に係る処理を示すフローチャート。
【図１４】ユーザ端末５の表示画面の例。
【発明を実施するための形態】
【００２０】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【００２１】
［第１の実施形態］
（１．画像トリミングシステム１）
図１は本発明の実施形態に係る画像トリミングシステム１を示す図である。図１に示すように、本実施形態の画像トリミングシステム１は、サーバ２、３およびユーザ端末５がネットワーク６を介して通信可能に接続された構成を有する。
【００２２】
サーバ２は、ユーザ端末５から受信した画像をトリミングするトリミング装置である。
【００２３】
図２はサーバ２のハードウェア構成を示す図である。図２に示すように、サーバ２は、例えば制御部２１、記憶部２２、表示部２３、入力部２４、通信制御部２５等をバス等により接続して構成したコンピュータにより実現できる。但しこれに限ることなく、適宜様々な構成をとることができる。サーバ２は、後述する処理を分担して行う複数のサーバ装置から構成される場合もある。
【００２４】
制御部２１はCPU、ROM、RAMなどから構成される。CPUは、記憶部２２、ROMなどの記憶媒体に格納されたサーバ２の処理に係るプログラムをRAM上のワークエリアに呼び出して実行する。ROMは不揮発性メモリであり、ブートプログラムやBIOSなどのプログラム、データなどを恒久的に保持している。RAMは揮発性メモリであり、記憶部２２、ROMなどからロードしたプログラムやデータを一時的に保持するとともに、制御部２１が各種処理を行うために使用するワークエリアを備える。
【００２５】
記憶部２２はハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等であり、後述する処理を実行するためのプログラム、プログラム実行に必要なデータ、OSなどが格納される。これらのプログラムやデータは、制御部２１により必要に応じて読み出され実行される。
【００２６】
表示部２３は例えば液晶ディスプレイ等である。
入力部２４はサーバ２に各種の設定入力を行うものである。
通信制御部２５はネットワーク等を介した通信を媒介する通信インタフェースであり、サーバ３、ユーザ端末５等との間で通信を行う。
【００２７】
サーバ３は既知の手法による画像認識処理を行い、画像内の登場物を抽出するものである。サーバ３はサーバ２と同様の制御部、記憶部、表示部、入力部、通信制御部等を有する。
【００２８】
ユーザ端末５はユーザの所持するコンピュータ端末であり、例えばスマートフォン、タブレット端末、パーソナルコンピュータなどを用いることができる。
【００２９】
図３はユーザ端末５のハードウェア構成を示す図である。図３に示すように、ユーザ端末５は制御部５１、記憶部５２、表示部５３、入力部５４、通信制御部５５、カメラ５６、音声入出力部５７を有する。制御部５１、記憶部５２、通信制御部５５は前記した制御部２１、記憶部２２、通信制御部２５と同様の機能を有する。また表示部５３は液晶パネルなどのディスプレイ装置を有し、入力部５４としてのタッチパネルが設けられている。音声入出力部５７はマイクやスピーカー等である。
【００３０】
なお、ユーザ端末５の記憶部５２には、後述する処理を実行するのに必要なアプリケーションプログラムやデータが格納される。
【００３１】
（２．画像トリミング方法）
次に、本実施形態の画像トリミング方法について図４を参照して説明する。図４は画像トリミング方法の手順を示すフローチャートであり、図４のＳ１、Ｓ６〜Ｓ１３、Ｓ１７はユーザ端末５の制御部５１が実行する処理であり、Ｓ２〜Ｓ５、Ｓ１４〜Ｓ１６はサーバ２の制御部２１が実行する処理である。
【００３２】
本実施形態では、まずユーザがユーザ端末５でアプリケーションを立ち上げ、記憶部５２に格納された画像の中からトリミングを行う画像を１または複数選択し、サーバ２への送信指示を行う。ユーザ端末５は選択された画像をサーバ２に送信する（Ｓ１）。
【００３３】
サーバ２は画像を受信する（Ｓ２）と、当該画像を記憶部２２に記録する。
【００３４】
次に、サーバ２は画像認識処理を実行し（Ｓ３；画像認識手段）、画像中の登場物を検出してその領域を特定する。画像中の登場物には風景中の空や山、花、木などの自然物、建物や自転車等の人工物、人物や犬、猫等の動物などがある。本実施形態では、特に人物についてその顔領域も特定する。
【００３５】
画像認識処理によりこれらの登場物を検出して領域を特定する方法は、様々なものがあり特に限定されない。例えばAmazon Rekognition(登録商標)のようにディープラーニングを利用した認識手法や、パターンマッチングによる認識手法を適用することができる。また本実施形態では、画像認識処理をサーバ３で行うものとし、Ｓ３ではサーバ２がサーバ３へと画像を送信し、サーバ３から画像認識結果を受信して記憶部２２に記録する。ただし、サーバ２自体が画像認識を行ってもよい。
【００３６】
図５（ａ）、（ｂ）は画像認識結果の例であり、図５（ａ）の例では画像１００内の領域ａ１〜ａ３に登場物として「花」があり、領域ａ４に「山」が存在すると認識される。また図５（ｂ）の例では画像１００内の領域ｂ１に登場物として「人物」があると認識され、「人物」の登場物については顔領域ｂ２も検出される。
【００３７】
各領域ａ１〜ａ４、ｂ１、ｂ２については、登場物の認識結果の確からしさ（確度）も算出され、例えば位置ａ１の登場物が「花」である確度が92％などと算出される。確度は、画像認識処理の方法に応じて既知の様々な算出方法で算出することができる。
【００３８】
次に、サーバ２は画像中の登場物を含むトリミング枠（構図）を設定し、そのレイティングを行う（Ｓ４；トリミング枠設定手段）。
【００３９】
Ｓ４では、画像１００中で検出した全ての登場物について、その領域の中心位置に対しトリミング枠を設定する。登場物が「人」である場合には、その顔領域の中心を「人」の領域の中心位置とする。
【００４０】
トリミング枠は黄金比による構図に基づき設定するものとし、例えば本実施形態では図６（ａ）に示す黄金比フィボナッチ螺旋によるトリミング枠２００を用いる。
【００４１】
黄金比フィボナッチ螺旋は既知であるが簡単に説明すると、黄金比をφ(≒1.618/1)とした場合に、縦横の幅がx、x+(1/φ)xの長方形を、縦横の幅xが1/φを公比として等比数列的に減少する複数の正方形（図６（ｂ）参照）が外側から内側の核２０１（収束点）に向かって螺旋状に巻き込んで配置されるように分割したものである。本実施形態では、その分割線２０３ａがトリミング枠２００とともに表示されるとともに、上記の正方形の配置に沿った螺旋状曲線２０３ｂも表示される。核２０１や分割線２０３ａ、螺旋状曲線２０３ｂは黄金比フィボナッチ螺旋による構図が有するガイド（基準）である。
【００４２】
図７（ａ）〜（ｄ）は、図５（ａ）の領域ａ１の「花」に対してトリミング枠２００を設定した例である。トリミング枠２００は、核２０１（図６（ａ）参照）の位置を領域ａ１の中心位置に合わせて複数方向に向きを変えて配置し、そのように配置した複数のトリミング枠２００のそれぞれを、領域ａ１の「花」に対するトリミング枠２００として設定する。図７（ａ）〜（ｄ）の例では、トリミング枠２００の向きを90°ずつ回転させた４方向とするが、これに限らない。
【００４３】
本実施形態では、画像１００中の全ての登場物に対し、上記と同様の方法でトリミング枠２００が設定される。例えば図５（ａ）の例では、領域ａ１の「花」のほか、領域ａ２〜ａ４の登場物に対してもそれぞれ複数のトリミング枠２００が設定される。トリミング枠２００は、登場物の領域の大きさに応じたサイズのものを用いることとし、必要に応じて拡大・縮小して各登場物に適用する。なお、トリミング枠２００が画像１００からはみ出す場合（図７（ｄ）参照）、２００’に示すように核２０１の位置を領域ａ１の中心位置に合わせたままトリミング枠２００を縮小し、画像１００内に収まるようにしてもよい。
【００４４】
本実施形態では、こうして設定された各トリミング枠２００について、予め定める所定のルールに基づいて評価点を算出（レイティング）する。このルールは、例えば
・トリミング枠２００と登場物の領域が重なっている場合、所定点を減点する
・トリミング枠２００の分割線２０３ａや螺旋状曲線２０３ｂと登場物の領域の重なりが大きい場合、所定点を減点する
・トリミング枠２００の分割線２０３ａや螺旋状曲線２０３ｂと登場物の領域の重なりが小さい場合、所定点を加点する
・登場物の確度が高い場合、上記の各所定点を大きくする
・トリミング枠２００の長辺方向が画像１００の長辺方向と一致していれば、所定点を加点する
・トリミング枠２００の長辺方向が地平線等の画像を横切る線（このような線はＳ３で別途検出する）の方向と一致していれば、所定点を加点する
などであるが、これに限ることはない。設定されたトリミング枠２００やその評価点は記憶部２２に記録される。
【００４５】
以上の処理をＳ３で受信した全ての画像１００に対して行った後、サーバ２は、各画像１００および各画像１００の最適なトリミング枠２００をユーザ端末５に送信する（Ｓ５；トリミング枠送信手段）。Ｓ５では、Ｓ３で検出された登場物の領域の位置情報も併せて送信する。
【００４６】
本実施形態では画像１００中の各登場物に対し図７のようなトリミング枠２００が設定されているが、Ｓ５で送信する「画像１００の最適なトリミング枠２００」は、最も確度が高い登場物に対するトリミング枠２００のうち、最も評価点が高いものとする。ただしこれに限ることはない。例えば、顔領域が最も笑顔である「人」の登場物に対するトリミング枠２００のうち、最も評価点の高いものとしたり、最も領域の大きな「人」の登場物に対するトリミング枠２００のうち、最も評価点の高いものとしたりすることもできる。選択された最適なトリミング枠２００はユーザ端末５に送信するほか、記憶部２２にも記録する。
【００４７】
ユーザはユーザ端末５にて各画像１００および各画像１００の最適なトリミング枠２００を受信し（Ｓ６）、画像１００とその最適なトリミング枠２００を表示部５３に重ねて表示させる（Ｓ７）。
【００４８】
図８はこの時の表示画面の例であり、本実施形態では表示画面の画像表示領域３０２に画像１００と最適なトリミング枠２００が重ねて表示される。図８の例では、図５（ａ）の領域ａ１の「花」に対するトリミング枠２００が最適なトリミング枠２００として表示されている。
【００４９】
画像表示領域３０２にはスクロールボタン３０１も表示され、スクロールボタン３０１を選択することで他の画像１００と当該画像１００の最適なトリミング枠２００を表示させることができる。
【００５０】
ユーザは、画像表示領域３０２に表示されている画像１００のトリミング枠２００を確認し、その結果、トリミング枠２００の対象となっている登場物が意図したものでない場合、例えばタッチ操作により図９の矢印Ａに示すようにトリミング枠２００の対象とする登場物を丸で囲むなどして選択する。選択時の操作はこれに限らず、トリミング枠２００の対象としたい登場物に沿って線を引く等も可能である。
【００５１】
ユーザ端末５は、ユーザによって選択された位置にトリミング枠２００の対象の登場物とは別の登場物の領域がある場合、当該別の登場物が選択されたとし（Ｓ８；ＹＥＳ）、選択された登場物の情報（登場物の領域の位置情報）をサーバ２に送信する（Ｓ９；登場物送信手段）。
【００５２】
サーバ２は、選択された登場物の情報を受信すると、当該登場物に対して設定されたトリミング枠２００のうち、最も評価点の高いものを最適なトリミング枠２００とし、画像１００とともにユーザ端末５に再度送信する（Ｓ５；トリミング枠送信手段）。以下、Ｓ６、Ｓ７と同様の手順を経て図８と同様の表示画面がトリミング枠２００を変えて再度表示される。
【００５３】
なお、ユーザの選択に係る丸の大きさや線の長さに応じて、選択された登場物に対して設定されたトリミング枠２００を拡大・縮小した後、そのトリミング枠２００に対して再度評価点を計算し直して最適なトリミング枠２００を決定し直すことも可能である。例えばユーザが大きい丸によって登場物を選択した場合、トリミング枠２００は、丸の大きさに応じて拡大した後、再度評価点を算出する。
【００５４】
また本実施形態ではユーザ端末５がＳ８の処理を行っているが、サーバ２側でＳ８の処理を行ってもよい。この場合、ユーザ端末５はユーザによって選択された位置の情報をサーバ２に送信し、サーバ２は当該位置にトリミング枠２００の対象の登場物とは別の登場物の領域がある場合、当該別の登場物が選択されたとしてＳ５の処理を行う。
【００５５】
ユーザは、必要に応じてタッチ操作により図１０に示すように画像１００上のトリミング枠２００の微調整を行い、これを変更することができる。ユーザ端末５は、ユーザがトリミング枠２００の変更操作を行った場合（Ｓ８；ＮＯ、Ｓ１０；ＹＥＳ）、その操作に応じてトリミング枠２００を変更する（Ｓ１１；変更手段）。図１０の例ではトリミング枠２００の微調整として、トリミング枠２００を矢印に示すように若干移動させているが、調整方法はこれに限らない。例えばタッチ操作によりトリミング枠２００の拡大・縮小、回転等を行うこともできる。
【００５６】
ユーザは、画像表示領域３０２に表示されている画像１００のトリミング枠２００を確認し、特に問題が無ければ、画面上の決定ボタン３０３を選択することにより、トリミング枠２００の送信指示を行う。ユーザ端末５はトリミング枠２００の送信指示を待機しており（Ｓ８；ＮＯ、Ｓ１０；ＮＯ、Ｓ１２；ＮＯ）、トリミング枠２００の送信指示を受付けると（Ｓ８；ＮＯ、Ｓ１０；ＮＯ、Ｓ１２；ＹＥＳ）、画像１００のトリミング枠２００をサーバ２に送信する（Ｓ１３）。
【００５７】
サーバ２は、トリミング枠２００を受信する（Ｓ１４；トリミング枠受信手段）と、受信したトリミング枠２００を記憶部２２に記録するとともに、そのトリミング枠２００で画像１００をトリミングしたトリミング画像を作成し（Ｓ１５；トリミング手段）、トリミング画像を記憶部２２に記録するとともにユーザ端末５に送信する（Ｓ１６）。
【００５８】
なお、トリミング後の画像に対して明るさやカラーバランスの補正、フィルタ処理等を自動的に行い、記憶部２２への記録とユーザ端末５への送信を行ってもよい。例えばトリミング後の画像の明るさ平均が元の画像１００と一致するように補正を行う。
【００５９】
ユーザ端末５は、トリミング画像を受信する（Ｓ１７；トリミング画像受信手段）。図１１はトリミング画像１０１の例であり、ユーザ端末５の表示部５３で表示することが可能である。トリミング画像１０１と前記の評価点を併せて送信し、これを表示部５３で表示させることも可能である。
【００６０】
トリミング画像１０１における登場物の構図は元の画像１００のものとは異なっており、特に登場物（図１１の例では図５（ａ）の領域ａ１の「花」）のトリミング画像１０１内の相対位置が、元の画像１００における当該登場物の相対位置と異なる。すなわち、図５（ａ）では領域ａ１の「花」が画像１００内で中央のやや左寄りに配置されるが、図１１ではそれがトリミング画像１０１内で右に寄せて配置されている。この位置は、黄金比を用いて定められる黄金比フィボナッチ螺旋の核２０１の位置に対応し、トリミング画像１０１の印象は元の画像１００から一変する。以上は、登場物がユーザによって選択されたものであってもそうでなくても同様である。
【００６１】
なお、トリミング画像１０１にはトリミング枠２００のガイドを表示させ、ユーザがユーザ端末５によってトリミング画像１０１の編集を行う際の参考としてもよい。トリミング画像１０１の編集は、例えばトリミング画像１０１への所定の絵柄の付加、トリミング画像１０１への描画、トリミング画像１０１へのテキスト付加などであり、これをトリミング枠２００のガイドに沿って行うことでセンス良く画像を編集できる。ただし、トリミング画像１０１の編集はこれに限らない。
【００６２】
このような画像の編集は、図８等の表示画面上でトリミング前の画像１００に対し行えるようにしてもよく、その場合は、編集後の画像１００もＳ１３でサーバ２に送信し、トリミングは当該編集後の画像１００に対して行う。
【００６３】
また、Ｓ２で画像１００を受信した後、画像１００を縮小したサムネイル画像を作成し、画像認識からトリミング枠の決定までの処理をこのサムネイル画像を用いて行ってもよい。サムネイル画像に対して決定されたトリミング枠は、拡大して画像１００のトリミングに用いる。
【００６４】
以上説明したように、本実施形態によれば、ユーザの写真等の画像１００を構図を変えてトリミングすることで、これを一変させてSNSへの投稿、フォトブックの作成など別の用途に使用したり、写真等の画像を整理したりする動機づけとできる。また、トリミング画像１０１はユーザが選択した登場物に対して作成できるので、ユーザの意図に沿ったトリミングを簡単に行うことができる。
【００６５】
また、本実施形態では黄金比フィボナッチ螺旋による構図に基づいて画像１００をトリミングすることで、センスのよいトリミングを行うことができる。
【００６６】
また、本実施形態では１つの登場物につき複数のトリミング枠２００を設定して評価点が最も高いものをユーザ端末５に送信し、実際に画像１００をトリミングするトリミング枠２００はユーザ端末５から受信するので、最適なトリミング枠２００をユーザに提案したうえで、ユーザによる確認を経たトリミング枠２００で画像１００のトリミングを行うことができる。
【００６７】
また、本実施形態では画像１００中の複数の登場物についてトリミング枠２００を事前に設定しておくので、トリミングの対象とする登場物がユーザによって選択された際に当該登場物に対する最適なトリミング枠２００を迅速にユーザ端末５に送信できる。
【００６８】
さらに、本実施形態ではユーザによってトリミング枠２００の変更を行うことができ、変更後のトリミング枠２００でトリミングを行うことでユーザの意図に沿ったトリミング画像１０１を作成できる。
【００６９】
しかしながら、本発明はこれに限らない。例えばトリミング枠２００は黄金比フィナボッチ螺旋によるものに限らず、その他の黄金比による構図に基づくもの、例えば図１２（ａ）に示すような黄金比ファイ・グリッドによるものでもよい。黄金比ファイ・グリッドは既知であるが簡単に説明すると、長方形の縦横の幅を1:φ-1:1の比で三分割したものであり、この場合は縦横の分割線２０４がガイドとして表示される。Ｓ４では、例えば画像１００内の登場物の領域の中心位置がトリミング枠２００の縦横の分割線２０４の交点に位置するようにトリミング枠２００の配置を設定できる。
【００７０】
あるいは、トリミング枠２００は黄金比によらない構図に基づくものでもよく、図１２（ｂ）に示すような日の丸構図などでもよい。日の丸構図は既知であるが簡単に説明すると、長方形の中心に円を配置したものであり、この場合は円２０５がガイドとして表示される。Ｓ４では、例えば画像１００内の登場物の領域の中心位置が円２０５の中心位置に合うようにトリミング枠２００の配置を設定できる。
【００７１】
その他、トリミング枠２００の縦横の幅を等間隔で三分割する三分割構図などもあり、これらの構図は画像１００の登場物の違い、登場物の領域の大きさ等に応じて定めることができる。例えば「人物」の登場物や、画像１００に対する領域面積の割合が所定値以上となる登場物に対しては日の丸構図を適用する。
【００７２】
以下、本発明の別の例について、第２の実施形態として説明する。第２の実施形態は第１の実施形態と異なる点について主に説明し、同様の点については同じ符号を付すなどして説明を省略する。
【００７３】
［第２の実施形態］
第２の実施形態は、サーバ２においてトリミング枠２００の設定とレイティングを行った後の処理において第１の実施形態と異なる。
【００７４】
図１３は第２の実施形態に係る処理を示すフローチャートであり、図１３のＳ２１、Ｓ２５、Ｓ２６はサーバ２の制御部２１が実行し、Ｓ２２〜Ｓ２４、Ｓ２７、Ｓ２８はユーザ端末５の制御部５１が実行する。
【００７５】
本実施形態では、第１の実施形態と同様の手順でサーバ２においてトリミング枠２００の設定とレイティングを行うと（図４のＳ４）、サーバ２は各画像１００をユーザ端末５に送信する（Ｓ２１）。Ｓ２１では、Ｓ３で検出された登場物の領域の位置情報も併せて送信する。
【００７６】
ユーザはユーザ端末５にて各画像１００を受信し（Ｓ２２）、表示部５３にこれらの画像１００を表示させる。図１４はこの時の表示画面の例であり、本実施形態では表示画面の画像表示領域３０２で画像１００が表示されるが、第１の実施形態と異なりこの時点でトリミング枠２００は画像１００上に表示されない。
【００７７】
ユーザは、タッチ操作により図１４の矢印Ｂに示すようにトリミング枠２００の対象としたい登場物を丸で囲むなどして選択する。ユーザ端末５は登場物の選択を待機しており（Ｓ２３；ＮＯ）、登場物が選択された場合（Ｓ２３；ＹＥＳ）、選択された登場物の情報（登場物の領域の位置情報）をサーバ２に送信する（Ｓ２４；登場物送信手段）。
【００７８】
サーバ２は、選択された登場物の情報を受信する（Ｓ２５）と、当該登場物に対するトリミング枠２００のうち、最も評価点の高いものを選択し、最適なトリミング枠２００としてユーザ端末５に送信する（Ｓ２６；トリミング枠送信手段）。このトリミング枠２００の情報は記憶部２２にも記録する。
【００７９】
ユーザ端末５は、最適なトリミング枠２００を受信して（Ｓ２７）、最適なトリミング枠２００と画像１００を表示部５３に重ねて表示させる（Ｓ２８）。この時の表示画面は図８と同様である。以降の処理は、図４のＳ１０以降と同様である。
【００８０】
本実施形態でも、ユーザが選択した登場物に対するトリミング枠２００で画像１００のトリミングを行うことができ、第１の実施形態と同様の効果が得られる。また本実施形態では初めにユーザに登場物を選択させることで、ユーザの意図しない登場物に対するトリミング枠が提案されることが無くなる。
【００８１】
以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８２】
１：画像トリミングシステム
２、３：サーバ
５：ユーザ端末
６：ネットワーク
１００：画像
１０１：トリミング画像
２００：トリミング枠
３０２：画像表示領域
【図１】
2019054411.tif 000003
【図２】
2019054411.tif 000004
【図３】
2019054411.tif 000005
【図４】
2019054411.tif 000006
【図５】
2019054411.tif 000007
【図６】
2019054411.tif 000008
【図７】
2019054411.tif 000009
【図８】
2019054411.tif 000010
【図９】
2019054411.tif 000011
【図１０】
2019054411.tif 000012
【図１１】
2019054411.tif 000013
【図１２】
2019054411.tif 000014
【図１３】
2019054411.tif 000015
【図１４】
2019054411.tif 000016