(57)【要約】【課題】処理コストを増大させることなく、フレーム画像に適切な補正を施すことができる画像処理装置等を提供する。【解決手段】フレーム画像抽出部が、テーマ毎に、動画像から複数のフレーム画像を異なる抽出基準で抽出する。フレーム画像評価部が、テーマ毎に、フレーム画像を異なる評価基準で評価してスコアを付け、フレーム画像のスコアを合計してテーマのスコアを付け、テーマのスコアが高い方から一定数のテーマを候補テーマとして選択する。フレーム画像補正部が、候補テーマ毎に、フレーム画像のスコアが高い方から一定数のフレーム画像をテーマ毎に異なる補正基準で補正する。制御部が、候補テーマ毎に、候補テーマの名前、および、フレーム画像のスコアが高い方から一定数のフレーム画像を候補フレーム画像として表示部に表示するように制御する。ユーザは、表示部に表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する。【選択図】図２
2016189522.tif 000002
【特許請求の範囲】
【請求項１】
テーマ毎に、動画像から複数のフレーム画像を前記テーマ毎に異なる抽出基準で抽出するフレーム画像抽出部と、
前記テーマ毎に、前記フレーム画像を前記テーマ毎に異なる評価基準で評価してスコアを付け、前記フレーム画像のスコアを合計して前記テーマのスコアを付け、前記テーマのスコアが高い方から一定数のテーマを候補テーマとして選択するフレーム画像評価部と、
前記候補テーマ毎に、前記フレーム画像のスコアが高い方から一定数のフレーム画像を前記テーマ毎に異なる補正基準で補正するフレーム画像補正部と、
表示部と、
前記表示部の表示を制御する制御部と、
ユーザにより入力される、前記表示部に表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する第１指示を受け取る入力部とを備え、
前記制御部は、前記選択テーマが選択される前に、前記候補テーマ毎に、前記候補テーマの名前、および、前記フレーム画像補正部により補正された、前記フレーム画像のスコアが高い方から一定数のフレーム画像を候補フレーム画像として前記表示部に表示するように制御し、前記選択テーマが選択された後に、前記第１指示に従って、前記選択テーマの名前、および、前記フレーム画像補正部により補正された、前記選択テーマの候補フレーム画像を前記表示部に表示するように制御するものであることを特徴とする画像処理装置。
【請求項２】
前記フレーム画像補正部は、前記選択テーマの名前、および、前記選択テーマの候補フレーム画像が前記表示部に表示された後、さらに、前記選択テーマの候補フレーム画像以外の残りのフレーム画像を前記選択テーマの補正基準で順次補正するものであり、
前記制御部は、前記選択テーマの名前、および、前記選択テーマの候補フレーム画像が前記表示部に表示された後、さらに、前記フレーム画像補正部により順次補正された前記選択テーマの残りのフレーム画像を前記表示部に順次表示するように制御するものである請求項１に記載の画像処理装置。
【請求項３】
前記フレーム画像補正部は、前記フレーム画像のスコアが高いものから前記選択テーマの残りのフレーム画像を順次補正するものである請求項２に記載の画像処理装置。
【請求項４】
前記入力部は、さらに、前記ユーザにより入力される、前記表示部に表示された選択テーマのフレーム画像の中から１以上のフレーム画像を選択フレーム画像として選択する第２指示を受け取るものであり、
前記制御部は、さらに、前記第２指示に従って、複数のテンプレートの中から、前記選択フレーム画像の枚数および前記選択テーマに対応するテンプレートを候補テンプレートとして前記表示部に表示するように制御するものである請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記入力部は、さらに、前記ユーザにより入力される、前記表示部に表示された選択テーマの候補テンプレートの中から１つのテンプレートを選択テンプレートとして選択する第３指示を受け取るものであり、
さらに、前記第３指示に従って、前記選択フレーム画像および前記選択テンプレートを用いて合成画像を生成する合成画像生成部を備える請求項４に記載の画像処理装置。
【請求項６】
前記制御部は、前記選択テーマのフレーム画像を、前記フレーム画像のスコアが高い順に並べて前記表示部に表示するように制御するものである請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御部は、前記選択テーマのフレーム画像を、前記フレーム画像が撮影された順に並べて前記表示部に表示するように制御するものである請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御部は、前記候補テーマを、前記テーマのスコアが高い順に並べて前記表示部に表示するように制御するものである請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記制御部は、前記候補テーマ毎に、前記候補テーマのフレーム画像を、前記フレーム画像のスコアが高い順に並べて前記表示部に表示するように制御するものである請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
フレーム画像抽出部が、テーマ毎に、動画像から複数のフレーム画像を前記テーマ毎に異なる抽出基準で抽出するステップと、
フレーム画像評価部が、前記テーマ毎に、前記フレーム画像を前記テーマ毎に異なる評価基準で評価してスコアを付け、前記フレーム画像のスコアを合計して前記テーマのスコアを付け、前記テーマのスコアが高い方から一定数のテーマを候補テーマとして選択するステップと、
フレーム画像補正部が、前記候補テーマ毎に、前記フレーム画像のスコアが高い方から一定数のフレーム画像を前記テーマ毎に異なる補正基準で補正するステップと、
制御部が、前記候補テーマ毎に、前記候補テーマの名前、および、前記フレーム画像補正部により補正された、前記フレーム画像のスコアが高い方から一定数のフレーム画像を候補フレーム画像として表示部に表示するように制御するステップと、
入力部が、ユーザにより入力される、前記表示部に表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する第１指示を受け取るステップと、
前記制御部が、前記第１指示に従って、前記選択テーマの名前、および、前記フレーム画像補正部により補正された、前記選択テーマの候補フレーム画像を前記表示部に表示するように制御するステップとを含むことを特徴とする画像処理方法。
【請求項１１】
前記フレーム画像補正部が、前記選択テーマの名前、および、前記選択テーマの候補フレーム画像が前記表示部に表示された後、さらに、前記選択テーマの候補フレーム画像以外の残りのフレーム画像を前記選択テーマの補正基準で順次補正するステップと、
前記制御部が、前記選択テーマの名前、および、前記選択テーマの候補フレーム画像が前記表示部に表示された後、さらに、前記フレーム画像補正部により順次補正された前記選択テーマの残りのフレーム画像を前記表示部に順次表示するように制御するステップとを含む請求項１０に記載の画像処理方法。
【請求項１２】
さらに、前記入力部が、前記ユーザにより入力される、前記表示部に表示された選択テーマのフレーム画像の中から１以上のフレーム画像を選択フレーム画像として選択する第２指示を受け取るステップと、
制御部が、前記第２指示に従って、複数のテンプレートの中から、前記選択フレーム画像の枚数および前記選択テーマに対応するテンプレートを候補テンプレートとして前記表示部に表示するように制御するステップとを含む請求項１０または１１に記載の画像処理方法。
【請求項１３】
さらに、前記入力部が、前記ユーザにより入力される、前記表示部に表示された選択テーマの候補テンプレートの中から１つのテンプレートを選択テンプレートとして選択する第３指示を受け取るステップと、
合成画像生成部が、前記第３指示に従って、前記選択フレーム画像および前記選択テンプレートを用いて合成画像を生成するステップとを含む請求項１２に記載の画像処理方法。
【請求項１４】
請求項１０〜１３のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１０〜１３のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から抽出されたフレーム画像のプリントを作成するシステム等において、フレーム画像およびテンプレートを選択する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
昨今、スマートフォンやタブレット端末等の携帯端末の普及が急速に進んでおり、携帯端末で撮影される静止画像（写真）の枚数が増えているが、それと同時に動画像が撮影される機会も多くなっている。現在では、動画像を利用したサービスとして、非特許文献１に示すように、写真等のプリント物を携帯端末で撮影（キャプチャ）すると、プリント物に関連付けられた動画像を、ＡＲ（拡張現実）技術を使って、携帯端末の画面上に再生（ＡＲ再生）するシステムが提供されている。
【０００３】
このシステムでは、以下の（１）〜（６）のステップで、プリントに関連付けられた動画像のＡＲ再生が行われる。
【０００４】
（１）ユーザにより、携帯端末上で動作する専用のアプリケーションを使用して、複数の動画像の中からプリントに使用したい動画像が選択されると、選択された動画像がサーバへアップロードされる。
（２）サーバにおいて、携帯端末からアップロードされた動画像から代表シーンのフレーム画像が抽出される。
（３）サーバで抽出された代表シーンのフレーム画像が携帯端末へダウンロードされる。
（４）ユーザにより、携帯端末の画面に一覧表示された代表シーンのフレーム画像の中からプリントしたいフレーム画像が選択され、プリントの注文が行われる。
（５）サーバにおいて、ユーザにより注文された代表シーンのフレーム画像のプリントが生成され、このフレーム画像に関連付けられた動画像がＡＲ再生用に画像処理される。
（６）ユーザにより、配達されたプリントが携帯端末で撮影（キャプチャ）されると、このプリントに関連付けられたＡＲ再生用の動画像がサーバからダウンロードされ、ＡＲ技術により、携帯端末の画面にＡＲ再生される。
【０００５】
上記のシステムのように、動画像から抽出されたフレーム画像をプリントするシステムでは、動画像から抽出されたフレーム画像をそのままプリントすると、画質が粗く、見栄えのよいプリントが得られない場合が多い。
【０００６】
これに対し、フレーム画像に適切な補正を施すことにより、画質の向上を期待できるが、ユーザが、フレーム画像に適した補正方法を選ぶのは難しいという問題があった。また、補正されたフレーム画像、つまり、プリントされる状態のフレーム画像の中から、ユーザが、プリントするフレーム画像を選ぶことができることが望ましいが、全てのフレーム画像に補正を施すのは処理コストが大きいという問題があった。
【０００７】
また、プリントするフレーム画像と組み合わせて使用されるテンプレート（プリント台紙）を選ぶ場合にも、フレーム画像の内容と合致するテンプレートを選択するために、試行錯誤しなければならないという問題があった。
【０００８】
ここで、本発明に関連性のある先行技術文献として、画像処理に用いられ、所望の画質を得るためのパラメータ値を決定する画像処理装置等に関する特許文献１、複数の画像を複数のグループに分類する画像分類装置等に関する特許文献２、複数の画像データを含むグループに適した代表画像を表示する撮像装置等に関する特許文献３、画像に色処理を施す色処理システムに関する特許文献４、動画ファイルから取得した複数のフレームに画像補正を適用する画像補正装置等に関する特許文献５がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２９６１７２号公報
【特許文献２】特開２００７−９４９９０号公報
【特許文献３】特開２００９−１５２６９７号公報
【特許文献４】特開２００９−２３９８８９号公報
【特許文献５】特開２００８−５２３９号公報
【非特許文献】
【００１０】
【非特許文献１】"動画フォト！サービス"、[online]、富士フイルム株式会社、[平成２７年２月９日検索]、インターネット＜URL: http://fujifilm.jp/personal/print/photo/dogaphoto/＞
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の第１の目的は、従来技術の問題点を解消し、処理コストを増大させることなく、フレーム画像に適切な補正を施すことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
また、本発明の第２の目的は、上記第１の目的に加えて、フレーム画像に合致するテンプレートを容易に選択することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、テーマ毎に、動画像から複数のフレーム画像をテーマ毎に異なる抽出基準で抽出するフレーム画像抽出部と、
テーマ毎に、フレーム画像をテーマ毎に異なる評価基準で評価してスコアを付け、フレーム画像のスコアを合計してテーマのスコアを付け、テーマのスコアが高い方から一定数のテーマを候補テーマとして選択するフレーム画像評価部と、
候補テーマ毎に、フレーム画像のスコアが高い方から一定数のフレーム画像をテーマ毎に異なる補正基準で補正するフレーム画像補正部と、
表示部と、
表示部の表示を制御する制御部と、
ユーザにより入力される、表示部に表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する第１指示を受け取る入力部とを備え、
制御部は、選択テーマが選択される前に、候補テーマ毎に、候補テーマの名前、および、フレーム画像補正部により補正された、フレーム画像のスコアが高い方から一定数のフレーム画像を候補フレーム画像として表示部に表示するように制御し、選択テーマが選択された後に、第１指示に従って、選択テーマの名前、および、フレーム画像補正部により補正された、選択テーマの候補フレーム画像を表示部に表示するように制御するものであることを特徴とする画像処理装置を提供するものである。
【００１３】
フレーム画像補正部は、選択テーマの名前、および、選択テーマの候補フレーム画像が表示部に表示された後、さらに、選択テーマの候補フレーム画像以外の残りのフレーム画像を選択テーマの補正基準で順次補正するものであり、
制御部は、選択テーマの名前、および、選択テーマの候補フレーム画像が表示部に表示された後、さらに、フレーム画像補正部により順次補正された選択テーマの残りのフレーム画像を表示部に順次表示するように制御するものであることが好ましい。
【００１４】
また、フレーム画像補正部は、フレーム画像のスコアが高いものから選択テーマの残りのフレーム画像を順次補正するものであることが好ましい。
【００１５】
入力部は、さらに、ユーザにより入力される、表示部に表示された選択テーマのフレーム画像の中から１以上のフレーム画像を選択フレーム画像として選択する第２指示を受け取るものであり、
制御部は、さらに、第２指示に従って、複数のテンプレートの中から、選択フレーム画像の枚数および選択テーマに対応するテンプレートを候補テンプレートとして表示部に表示するように制御するものであることが好ましい。
【００１６】
入力部は、さらに、ユーザにより入力される、表示部に表示された選択テーマの候補テンプレートの中から１つのテンプレートを選択テンプレートとして選択する第３指示を受け取るものであり、
さらに、第３指示に従って、選択フレーム画像および選択テンプレートを用いて合成画像を生成する合成画像生成部を備えることが好ましい。
【００１７】
また、制御部は、選択テーマのフレーム画像を、フレーム画像のスコアが高い順に並べて表示部に表示するように制御するものであることが好ましい。
【００１８】
また、制御部は、選択テーマのフレーム画像を、フレーム画像が撮影された順に並べて表示部に表示するように制御するものであることが好ましい。
【００１９】
また、制御部は、候補テーマを、テーマのスコアが高い順に並べて表示部に表示するように制御するものであることが好ましい。
【００２０】
また、制御部は、候補テーマ毎に、候補テーマのフレーム画像を、フレーム画像のスコアが高い順に並べて表示部に表示するように制御するものであることが好ましい。
【００２１】
また、本発明は、フレーム画像抽出部が、テーマ毎に、動画像から複数のフレーム画像をテーマ毎に異なる抽出基準で抽出するステップと、
フレーム画像評価部が、テーマ毎に、フレーム画像をテーマ毎に異なる評価基準で評価してスコアを付け、フレーム画像のスコアを合計してテーマのスコアを付け、テーマのスコアが高い方から一定数のテーマを候補テーマとして選択するステップと、
フレーム画像補正部が、候補テーマ毎に、フレーム画像のスコアが高い方から一定数のフレーム画像をテーマ毎に異なる補正基準で補正するステップと、
制御部が、候補テーマ毎に、候補テーマの名前、および、フレーム画像補正部により補正された、フレーム画像のスコアが高い方から一定数のフレーム画像を候補フレーム画像として表示部に表示するように制御するステップと、
入力部が、ユーザにより入力される、表示部に表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する第１指示を受け取るステップと、
制御部が、第１指示に従って、選択テーマの名前、および、フレーム画像補正部により補正された、選択テーマの候補フレーム画像を表示部に表示するように制御するステップとを含むことを特徴とする画像処理方法を提供する。
【００２２】
フレーム画像補正部が、選択テーマの名前、および、選択テーマの候補フレーム画像が表示部に表示された後、さらに、選択テーマの候補フレーム画像以外の残りのフレーム画像を選択テーマの補正基準で順次補正するステップと、
制御部が、選択テーマの名前、および、選択テーマの候補フレーム画像が表示部に表示された後、さらに、フレーム画像補正部により順次補正された選択テーマの残りのフレーム画像を表示部に順次表示するように制御するステップとを含むことが好ましい。
【００２３】
さらに、入力部が、ユーザにより入力される、表示部に表示された選択テーマのフレーム画像の中から１以上のフレーム画像を選択フレーム画像として選択する第２指示を受け取るステップと、
制御部が、第２指示に従って、複数のテンプレートの中から、選択フレーム画像の枚数および選択テーマに対応するテンプレートを候補テンプレートとして表示部に表示するように制御するステップとを含むことが好ましい。
【００２４】
さらに、入力部が、ユーザにより入力される、表示部に表示された選択テーマの候補テンプレートの中から１つのテンプレートを選択テンプレートとして選択する第３指示を受け取るステップと、
合成画像生成部が、第３指示に従って、選択フレーム画像および選択テンプレートを用いて合成画像を生成するステップとを含むことが好ましい。
【００２５】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００２６】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２７】
本発明では、複数のテーマの中から、スコアの高いテーマだけを選択し、さらに、複数のフレーム画像の中から、スコアの高いフレーム画像だけに補正を施すことにより、補正のための処理コストを増大させることなく、これ以降の処理を効率的に行うことができる。また、フレーム画像をテーマ毎に異なる補正基準で補正することにより、ユーザが適切な補正処理を選ぶための手間を省くことができるとともに、フレーム画像に適切な補正を施すことができる。
【００２８】
また、本発明では、テンプレートを選択する場合、選択フレーム画像の枚数および選択テーマに対応する一定数の候補テンプレートに絞られて表示されるため、ユーザは、選択フレーム画像に合致する所望のテンプレートを容易に選択することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。
【図４】画像処理装置の動作を表す一例のフローチャートである。
【図５】画像処理装置における処理の流れを表す一例の概念図である。
【図６】動画像の解析が行われる場合の様子を表す一例の概念図である。
【図７】フレーム画像の補正処理が行われる場合の様子を表す一例の概念図である。
【図８】テーマの選択が行われる場合の様子を表す一例の概念図である。
【図９】フレーム画像の選択および補正処理が行われる場合の様子を表す一例の概念図である。
【図１０】テンプレートの選択が行われる場合の様子を表す一例の概念図である。
【発明を実施するための形態】
【００３０】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００３１】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、動画像から抽出された複数のフレーム画像の中から、ユーザにより選択された１枚以上のフレーム画像およびテンプレートを用いて生成された合成画像のプリントを出力するものであり、サーバ１２と、携帯端末１４と、プリンタ１６とを備えている。サーバ１２、携帯端末１４およびプリンタ１６は、インターネット等のネットワーク１８を介して互いに接続されている。
【００３２】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。図２に示すサーバ１２は、フレーム画像抽出部２０と、フレーム画像評価部２２と、フレーム画像補正部２４と、合成画像生成部２６と、第１転送部２８とを備えている。
【００３３】
フレーム画像抽出部２０には、例えば、人物、風景、運動会、誕生会等のように、あらかじめ複数のテーマが設定されている。フレーム画像抽出部２０は、テーマ毎に、動画像から複数のフレーム画像をテーマ毎に異なる抽出基準で抽出するものである。
【００３４】
例えば、人物のテーマの場合、フレーム画像抽出部２０は、動画像から人物が撮影されているフレーム画像を抽出し、風景のテーマの場合、動画像から風景が撮影され、人物が撮影されていないフレーム画像を抽出する。言い換えると、フレーム画像抽出部２０は、動画像から複数のフレーム画像を抽出し、それぞれのフレーム画像の画像解析を行って、人物が撮影されているフレーム画像や、風景が撮影され、人物が撮影されていないフレーム画像を検出する。
【００３５】
ここで、動画像からフレーム画像を抽出する方法は限定されない。例えば、動画像からユーザが手動で所望のフレーム画像を抽出してもよいし、動画像からあらかじめ設定された一定の時間間隔でフレーム画像を抽出してもよい。
【００３６】
あるいは、ＫＦＥ（Key Frame Extraction：キーフレーム抽出）技術を利用して、シーンの変わり目などのキーとなるフレーム画像を抽出してもよい。ＫＦＥでは、例えば、動画像の各々のフレーム画像を解析し、フレーム画像の色味、明るさ、ボケやブレ等を検出し、色味や明るさが大きく変わる前後のフレーム画像や、適正露出によりボケやブレがないフレーム画像が抽出される。
【００３７】
また、動画像において人物の顔の大きさや向き、顔の表情（笑顔、泣き顔等）を検出し、それらに基づいてフレーム画像を抽出してもよい。さらに、動画像に音声が含まれる場合には、音声が大きくなった時刻（タイムコード）の前後の動画像からフレーム画像を抽出してもよい。上述の方法で動画像からフレーム画像を抽出することで、動画像の代表的なシーンをフレーム画像として抽出することができる。
【００３８】
フレーム画像評価部２２は、テーマ毎に、フレーム画像抽出部２０により動画像から抽出されたフレーム画像をテーマ毎に異なる評価基準で評価してスコアを付けるものである。また、フレーム画像評価部２２は、テーマ毎に、フレーム画像のスコアを合計してテーマのスコアを付け、テーマのスコアが高い方からあらかじめ設定された一定数のテーマを候補テーマとして選択する。
【００３９】
例えば、人物のテーマの場合、画像解析の結果、人物が撮影されているフレーム画像には、人物が撮影されていないフレーム画像よりも高いスコアが与えられる。一方、風景のテーマの場合、人物のテーマの場合と同じフレーム画像であっても、風景が撮影され、人物が撮影されていないフレーム画像には、風景とともに人物が撮影されているフレーム画像よりも高いスコアが与えられる。
【００４０】
なお、フレーム画像評価部２２がフレーム画像を評価する方法は何ら限定されず、例えば、画像解析の結果等に基づいて、テーマ毎に異なる評価基準で評価することができる。また、フレーム画像評価部２２は、テーマ毎に異なる評価基準だけでなく、フレーム画像の色味、明るさ、ボケやブレ等のように、フレーム画像を複数のテーマで共通する評価基準で評価してスコアを増減することができる。
【００４１】
フレーム画像補正部２４は、フレーム画像評価部２２により選択された候補テーマ毎に、フレーム画像のスコアが高い方からあらかじめ設定された一定数のフレーム画像をテーマ毎に異なる補正基準で補正するものである。
【００４２】
例えば、人物のテーマの場合、人物の肌が綺麗に見えるように補正され、風景のテーマの場合、風景が美しく見えるように、原色を鮮やかにしたり、コントラストや彩度を上げたりする補正が行われる。
【００４３】
なお、フレーム画像補正部２４がフレーム画像を補正する方法は何ら限定されず、同様に、画像解析の結果等に基づいて、テーマ毎に異なる補正基準で補正することができる。
【００４４】
合成画像生成部２６には、テーマ毎に、複数種類のテンプレートが保持されている。合成画像生成部２６は、ユーザにより選択されるフレーム画像およびテンプレートを用いて、プリントする合成画像を生成するものである。
【００４５】
合成画像生成部２６は、例えば、ユーザにより選択される１枚以上のフレーム画像を、ユーザにより選択されるテンプレートの所望の位置に配置するようにレイアウトすることにより、合成画像を生成する。
【００４６】
第１転送部２８は、サーバ１２と携帯端末１４との間で、動画像、テーマ、フレーム画像、テンプレート、合成画像等を含む、各種のデータを転送するものである。
【００４７】
続いて、図３は、図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。同図に示す携帯端末１４は、ユーザが使用するスマートフォン、タブレット端末などであり、入力部３０と、表示部３２と、制御部３４と、第２転送部３６とを備えている。
【００４８】
入力部３０は、ユーザにより入力される各種の指示を受け取るものである。
表示部３２は、動画像、テーマ、フレーム画像、テンプレート、合成画像等の各種の情報を表示するものである。
本実施形態では、タッチパネル３８が、入力部３０および表示部３２を構成するものとする。
【００４９】
制御部３４は、表示部３２の表示を制御するものである。制御部３４は、動画像、テーマ、フレーム画像、テンプレート、合成画像等の各種の情報を表示部３２に表示するように制御する。
【００５０】
第２転送部３６は、携帯端末１４とサーバ１２との間で、動画像、テーマ、フレーム画像、テンプレート、合成画像等を含む、各種のデータを転送するものである。
【００５１】
プリンタ１６は、合成画像生成部２６により生成された合成画像をプリントしてその出力画像（プリント物）を出力するものである。
【００５２】
次に、図４に示すフローチャートおよび図５〜図１０に示す概念図を参照しながら、画像処理装置１０の動作を説明する。
【００５３】
図５の概念図に示すように、画像処理装置１０では、動画像のアップロード、動画像の解析処理、フレーム画像の補正処理、テーマの選択、フレーム画像の選択および補正処理、テンプレートの選択、合成画像の生成の順に処理が行われる。
【００５４】
まず、動画像のアップロードが行われる。
【００５５】
この場合、ユーザにより、タッチパネル３８（入力部３０）が操作されて、携帯端末１４のタッチパネル３８（表示部３２）に表示された動画像の中から１つの動画像が選択され、選択された動画像（動画像データ）をサーバ１２へ送信する指示が入力される。
【００５６】
送信が指示された動画像は、第２転送部３６により、携帯端末１４からネットワーク１８を介してサーバ１２へ送信（アップロード）される（ステップＳ１）。サーバ１２では、第１転送部２８により、携帯端末１４から送信されてきた動画像が受信される。
【００５７】
続いて、動画像の解析処理が行われる。
【００５８】
この場合、フレーム画像抽出部２０により、テーマ毎に、携帯端末１４から受信された動画像から複数のフレーム画像（画像データ）がテーマ毎に異なる抽出基準で抽出される（ステップＳ２）。
【００５９】
図６の概念図に示すように、あらかじめ４つのテーマＡ，Ｂ，Ｃ，Ｄが設定されている場合を考える。この場合、例えば、動画像から、テーマＡのフレーム画像として、ａ、ｂ、ｃ、ｄ、ｅ、…が、テーマＢのフレーム画像として、ａ、ｆ、ｇ、ｄ、ｅ、…が、テーマＣのフレーム画像として、ｈ、ｉ、ｄ、ｇ、ｅ、…が、テーマＤのフレーム画像として、ｂ、ｇ、ａ、ｄ、ｅ、…が抽出される。
【００６０】
続いて、フレーム画像評価部２２により、テーマ毎に、フレーム画像抽出部２０により動画像から抽出されたフレーム画像がテーマ毎に異なる評価基準で評価されてスコアが付けられる（ステップＳ３）。
【００６１】
図６の概念図では、テーマ毎に、同図中、上側からスコアが高い順にフレーム画像が並べられている。
【００６２】
続いて、フレーム画像評価部２２により、テーマ毎に、フレーム画像のスコアが合計されてテーマのスコアが付けられ、テーマのスコアが高い方から一定数のテーマが候補テーマとして選択される（ステップＳ４）。
【００６３】
図６の概念図では、同図中、左側からスコアが高い順にテーマが並べられている。また、テーマＡ，Ｂ，Ｃ，Ｄの中からテーマＡ，Ｂ，Ｃが候補テーマとして選択されている。選択されなかったテーマＤは、これ以降の処理では使用されない。
【００６４】
このように、全てのテーマの全てのフレーム画像にスコアを付け、フレーム画像の合計のスコアからテーマのスコアを算出することにより、動画像の内容に対応するテーマを高精度に特定することができる。つまり、テーマのスコアが高いほど、動画像に合致するテーマである確率が高いと考えることができる。また、複数のテーマの中から、スコアの高いテーマだけを選択することにより、処理コストを増大させることなく、これ以降の処理を効率的に行うことができる。
【００６５】
続いて、フレーム画像の補正処理が行われる。
【００６６】
この場合、フレーム画像補正部２４により、フレーム画像評価部２２により選択された候補テーマ毎に、フレーム画像のスコアが高い方から一定数のフレーム画像がテーマ毎に異なる補正基準で補正される（ステップＳ５）。
【００６７】
図７の概念図に示すように、候補テーマＡの場合、フレーム画像ａ、ｂ、ｃ、ｄ、ｅ、…のうち、例えば、スコアの高い方から３枚のフレーム画像ａ、ｂ、ｃがテーマＡの補正基準で補正される。同様に、候補テーマＢの場合、フレーム画像ａ、ｆ、ｇ、ｄ、ｅ、…のうち、３枚のフレーム画像ａ、ｆ、ｇがテーマＢの補正基準で補正され、候補テーマＣの場合、フレーム画像ｈ、ｉ、ｄ、ｇ、ｅ、…のうち、３枚のフレーム画像ｈ、ｉ、ｄがテーマＣの補正基準で補正される。
【００６８】
フレーム画像をテーマ毎に異なる補正基準で補正することにより、つまり、フレーム画像をそれぞれのテーマに応じて補正することにより、ユーザが適切な補正処理を選ぶための手間を省くことができるとともに、フレーム画像に適切な補正を施すことができる。また、テーマ毎に、複数のフレーム画像の中から、スコアの高いフレーム画像だけに補正を施すことにより、補正のための処理コストを増大させることなく、これ以降の処理を効率的に行うことができる。
【００６９】
続いて、テーマの選択が行われる。
【００７０】
この場合、候補テーマ毎に、フレーム画像補正部２４により補正された一定数のフレーム画像が、サーバ１２から携帯端末１４へ送信される。
【００７１】
携帯端末１４では、制御部３４の制御により、サーバ１２から受信された候補テーマ毎に、候補テーマの名前、および、フレーム画像補正部２４により補正された一定数のフレーム画像が候補フレーム画像としてタッチパネル３８（表示部３２）に一覧表示される（ステップＳ６）。
【００７２】
図８の概念図に示すように、候補テーマＡの場合、テーマＡの名前、および、補正された３枚のフレーム画像ａ、ｂ、ｃが候補フレーム画像として表示される。同様に、候補テーマＢの場合、テーマＢの名前、および、補正された３枚のフレーム画像ａ、ｆ、ｇが候補フレーム画像として表示され、候補テーマＣの場合、テーマＣの名前、および、補正された３枚のフレーム画像ｈ、ｉ、ｄが候補フレーム画像として表示される。
【００７３】
ここで、候補テーマを表示する順序は何ら限定されないが、候補テーマを、例えば、左側から順に、テーマのスコアが高い順に並べてタッチパネル３８（表示部３２）に表示することができる。これにより、ユーザは、テーマと動画像の内容との合致度を知ることができる。また、候補テーマのフレーム画像を表示する順序も何ら限定されないが、候補テーマ毎に、候補テーマのフレーム画像を、例えば、上側から順に、フレーム画像のスコアが高い順に並べてタッチパネル３８（表示部３２）に表示することができる。
【００７４】
続いて、ユーザにより、タッチパネル３８（入力部３０）が操作されて、タッチパネル３８（表示部３２）に一覧表示された候補テーマの中から１つの候補テーマを選択テーマとして選択する指示が入力される（ステップＳ７）。
【００７５】
テーマを選択する場合、複数のテーマが一定数の候補テーマに絞られているため、ユーザは、一定数の候補テーマの中から所望のテーマを容易に選択することができる。また、フレーム画像をテーマ毎に異なる補正基準で補正してユーザに提示することにより、ユーザは、各テーマによる補正の違いを把握しやすくなり、ユーザによるテーマ選択の負担を軽減することができる。さらに、ユーザは、補正されたフレーム画像を見ながらテーマを選択できるため、実際にプリントされる状態のフレーム画像をイメージしながら、より的確にテーマの選択を判断することができる。
【００７６】
続いて、フレーム画像の選択および補正処理が行われる。
【００７７】
この場合、制御部３４の制御により、選択テーマを選択する指示に従って、ユーザにより選択された選択テーマの名前、および、選択テーマの補正された一定数の候補フレーム画像がタッチパネル３８（表示部３２）に表示される（ステップＳ８）。
【００７８】
選択テーマとしてテーマＡが選択された場合、図９の概念図に示すように、テーマＡの名前、および、まず、補正された３枚のフレーム画像ａ、ｂ、ｃがタッチパネル３８（表示部３２）に表示される。
【００７９】
また、選択テーマを選択する指示は、携帯端末１４からサーバ１２へ送信される。
【００８０】
サーバ１２では、フレーム画像補正部２４により、選択テーマを選択する指示に従って、選択テーマの補正された一定数の候補フレーム画像以外のまだ補正されていない残りのフレーム画像が、選択テーマの補正基準で順次補正される（ステップＳ９）。
【００８１】
ここで、残りのフレーム画像を補正する順序は何ら限定されないが、例えば、フレーム画像のスコアが高いものから選択テーマの残りのフレーム画像を順次補正することができる。
【００８２】
フレーム画像補正部２４により順次補正された残りのフレーム画像は、サーバ１２から携帯端末１４へ順次送信される。
【００８３】
続いて、携帯端末１４では、制御部３４の制御により、フレーム画像補正部２４により順次補正された残りのフレーム画像がタッチパネル３８（表示部３２）に順次表示される（ステップＳ１０）。
【００８４】
図９の概念図に示すように、補正された３枚のフレーム画像ａ、ｂ、ｃに続いて、残りのフレーム画像ｄ、ｅ、…がタッチパネル３８（表示部３２）に順次表示される。
【００８５】
ここで、選択テーマのフレーム画像を表示する順序は何ら限定されないが、選択テーマのフレーム画像を、フレーム画像のスコアが高い順に並べたり、フレーム画像が撮影された順に並べたりしてタッチパネル３８（表示部３２）に表示することができる。
【００８６】
続いて、ユーザにより、タッチパネル３８（入力部３０）が操作されて、タッチパネル３８（表示部３２）に一覧表示された選択テーマのフレーム画像の中から１以上のフレーム画像を選択フレーム画像として選択する指示が入力される（ステップＳ１１）。
【００８７】
フレーム画像を選択する場合、選択テーマのフレーム画像だけに絞り込まれているため、ユーザは、所望するフレーム画像を容易に選択することができる。
【００８８】
続いて、テンプレートの選択が行われる。
【００８９】
この場合、選択フレーム画像を選択する指示が、携帯端末１４からサーバ１２へ送信される。
【００９０】
続いて、サーバ１２では、合成画像生成部２６により、選択フレーム画像を選択する指示に従って、複数のテンプレートの中から、選択フレーム画像の枚数および選択テーマに対応するテンプレートが選択される。
【００９１】
図１０の概念図に示すように、選択フレーム画像の枚数および選択テーマＡに対応する３つのテンプレートａ、ｂ、ｃが選択される。他のテーマＢ，Ｃに対応するテンプレートは選択されない。
【００９２】
合成画像生成部２６により選択されたテンプレートは、サーバ１２から携帯端末１４へ送信される。
【００９３】
続いて、携帯端末１４では、制御部３４の制御により、選択フレーム画像を選択する指示に従って、サーバ１２から受信されたテンプレートが候補テンプレートとしてタッチパネル３８（表示部３２）に一覧表示される（ステップＳ１２）。
【００９４】
続いて、ユーザにより、タッチパネル３８（入力部３０）が操作されて、タッチパネル３８（表示部３２）に一覧表示された選択テーマの候補テンプレートの中から１つのテンプレートを選択テンプレートとして選択する指示が入力される（ステップＳ１３）。
【００９５】
テンプレートを選択する場合、選択フレーム画像の枚数および選択テーマに対応する一定数の候補テンプレートに絞られているため、ユーザは、選択フレーム画像に合致する所望のテンプレートを容易に選択することができる。
【００９６】
続いて、合成画像の生成が行われる。
【００９７】
この場合、選択テンプレートを選択する指示が、携帯端末１４からサーバ１２へ送信される。
【００９８】
続いて、サーバ１２では、合成画像生成部２６により、選択テンプレートを選択する指示に従って、選択フレーム画像および選択テンプレートを用いて合成画像が生成される（ステップＳ１４）。
【００９９】
合成画像生成部２６により生成された合成画像は、サーバ１２から携帯端末１４へ送信される。
【０１００】
携帯端末１４では、制御部３４の制御により、合成画像生成部２６により生成された合成画像がタッチパネル３８（表示部３２）に表示される（ステップＳ１５）。
【０１０１】
続いて、ユーザにより、タッチパネル３８（入力部３０）が操作されて、合成画像のプリントサイズやプリント枚数等が設定され、合成画像のプリント出力の指示が入力される（ステップＳ１６）。
【０１０２】
プリント出力の指示は、携帯端末１４からサーバ１２へ送信される。
【０１０３】
サーバ１２では、携帯端末１４から受信されたプリント出力の指示に対応する合成画像が合成画像生成部２６からプリンタ１６へ送信され、プリンタ１６により、合成画像の出力画像（プリント物）が出力される（ステップＳ１７）。
【０１０４】
なお、携帯端末１４を使用することに限定されず、入力部３０、表示部３２、制御部３４、第２転送部３６を備えるパーソナルコンピュータ等の制御装置を使用することもできる。また、サーバ１２と携帯端末１４とに分けているが、これも限定されず、１つの処理装置で構成することもできる。この場合、第１転送部２８および第２転送部３６は必須ではない。
【０１０５】
また、テーマが選択された後に、選択テーマの残りのフレーム画像を順次補正しているが、これは必須ではない。
この場合、制御部３４は、テーマが選択された後に、テーマを選択する指示に従って、選択テーマの名前、および、フレーム画像補正部２４により補正された選択テーマの候補フレーム画像を表示部３２に表示するように制御し、さらに、必要に応じて、補正されていない残りのフレーム画像を表示部３２に表示するように制御する。
【０１０６】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０１０７】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１０８】
１０  画像処理装置
１２  サーバ
１４  携帯端末
１６  プリンタ
１８  ネットワーク
２０  フレーム画像抽出部
２２  フレーム画像評価部
２４  フレーム画像補正部
２６  合成画像生成部
２８  第１転送部
３０  入力部
３２  表示部
３４  制御部
３６  第２転送部
３８  タッチパネル
【図１】
2016189522.tif 000003
【図２】
2016189522.tif 000004
【図３】
2016189522.tif 000005
【図４】
2016189522.tif 000006
【図５】
2016189522.tif 000007
【図６】
2016189522.tif 000008
【図７】
2016189522.tif 000009
【図８】
2016189522.tif 000010
【図９】
2016189522.tif 000011
【図１０】
2016189522.tif 000012