(57)【要約】【課題】ユーザの操作の快適性が損なわれることを抑制する。【解決手段】携帯端末（１０）は、動画ファイルの複数の静止画像から注目画像を選択する表示制御部（１０１）と、画質向上処理を開始するトリガーとなるユーザ操作が行われると、注目画像に対し画質向上処理を施す画像処理部（１０２）とを備える。画像処理部（１０２）は、注目画像が表示制御部（１０１）に選択されてから、前記ユーザ操作が行われると、注目画像に対し画質向上処理を施すとともに、注目画像を印刷候補として指定する。【選択図】図１
2019012558.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる複数の静止画像から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部と、
所定画像処理を開始する第１のユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部とを備え、
前記第１のユーザ操作は、前記注目画像に対し前記所定画像処理を施す指示であるとともに、前記注目画像を印刷候補として指定する指示であることを特徴とする画像処理装置。
【請求項２】
ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第２のユーザ操作は、前記印刷候補に指定された前記注目画像を印刷装置に送信する指示であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のユーザ操作は、前記表示制御手段によって表示された前記注目画像の表示を前記所定画像処理前の表示から前記所定画像処理後の表示に切り替える指示であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第３のユーザ操作は、前記注目画像の表示を前記所定画像処理後の表示から前記所定画像処理前の表示に切り替える指示であることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第３のユーザ操作は、前記注目画像を印刷候補として指定する指示を中止する指示であることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
前記注目画像は、ユーザが前記複数の静止画像を順に選択可能なスクロールバーにより選択されることを特徴とする請求項１から５の何れか1項に記載の画像処理装置。
【請求項７】
画像データに含まれる複数の静止画像から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部と、
所定画像処理を開始する第１のユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部と、
前記注目画像に前記所定画像を施す場合に期待される画像向上の効果の程度を示す期待度を算出する算出部とを備え、
前記表示制御部は、前記注目画像と前記期待度をとともに、前記表示画面に表示させることを特徴とする画像処理装置。
【請求項８】
コンピュータを請求項１から７の何れか１項に記載の画像処理の各部として機能させるプログラム。
【請求項９】
請求項８に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷対象として指定される画像に対して画像処理を施す画像処理装置、プログラム、記録媒体に関する。
【背景技術】
【０００２】
デジタルカメラ等で撮影して得られた写真画像を印刷（プリント）する一般的な方法として、個人が所有するプリンタなどを用いて印刷をする方法と、写真サービス店専用のプリンタを所有する写真サービス店にデータを持ち込んで当該プリンタにて印刷をする方法（注文サービス）と、が挙げられる。
【０００３】
前者の場合、写真サービス店に出向かなくても印刷できるため個人の都合に合わせて印刷し易いが、写真画像の印刷に対応可能なプリンタを購入する必要があるという手間や、更に印刷の度にインクや専用の用紙などを消耗するためこれらの消耗品を個人で補充する必要があるという手間が生じる。また、出張や旅行の最中など、プリンタがすぐ近くにないときには印刷を行うことができないという不都合が生じることもある。
【０００４】
これに対して、後者の場合、写真サービス店に出向く必要があり、注文サービスを利用した方が費用としては割高になる場合もあるものの、印刷したい写真画像を選択して注文すれば、写真サービス店側のプリンタにて印刷作業が実行されるという手軽さや、また従量課金制という判り易さから、後者のようなサービスを利用する人も多い。
【０００５】
さらに、（１）最近では、デジタルカメラだけではなく、スマートフォンやタブレット等の携帯端末に搭載されたカメラで写真画像を撮影するケースが増加していること、（２）これら携帯端末を所有する人の年齢層が年々低くなっていること、（３）学生などにとっては必要な分だけ支払う従量課金制の方が手軽に利用し易いということから、今後更に前記の注文サービスの需要が高まると考えられる。
【０００６】
また、こうした携帯端末では、記憶容量の増加に伴って動画撮影を行えるようになってきており、携帯端末を利用した動画撮影を行うユーザが増加している。
【０００７】
さらに、写真撮影（静止画撮影）については、撮影のベストタイミングが一瞬であることから、当該ベストタイミングを捉えることが難しいため、写真撮影を利用せず、動画撮影を利用して写真画像を印刷するようなユーザが出現している。具体的には、動画撮影を行い、動画撮影で得られた動画ファイルの中から、気に入ったフレームを写真画像として印刷する。また、特許文献１に示すように、動画ファイルから静止画像を抽出してプリントするプリント注文受付装置を設置する写真プリント店も存在する。
【０００８】
しかし、動画は静止画に比べて画質が低い傾向にあるため（特に解像度が低い傾向にある）、動画ファイルから取り出したフレームを写真画像として印刷しようとすると、引き延ばされたような低画質な写真画像として出力されてしまうという不具合が生じる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１５３９７８号公報
【特許文献２】特開２０１４−０８５８９２号公報
【特許文献３】特開２０１４−１３８３２９号公報
【特許文献４】特開２０１３−２１９４６２号公報
【特許文献５】特開２０１３−０４１５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上の不具合を抑制するためには、携帯端末若しくはプリンタ等の画像処理装置は、印刷のために動画ファイルから抽出されたフレームに対して、ユーザ操作に応じて画質向上のための画像処理を実行するように構成されていることが好ましい。
【００１１】
しかし、動画を構成するフレームに対して写真画像に適した画質に近づけるような画像処理は、複雑な処理を伴うことが多く、画像処理開始のトリガーとなるユーザ操作から処理終了までに要する時間が長くなる傾向にある。
【００１２】
したがって、動画ファイルから印刷対象とするフレームを抽出する操作を行う上で操作の快適性が損なわれるおそれがある。例えば、あるフレームに対して画像処理開始のトリガーとなるユーザ操作が行われた後、ユーザが、画像処理後のフレームのプレビューを確認したいと考えているような場合、画像処理がなかなか終了しなければ、ユーザにとって操作の快適性が損なわれることになる。
【００１３】
本発明は、ユーザの操作の快適性が損なわれることを抑制可能な画像処理装置、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の一態様の画像処理装置は、画像データに含まれる複数の静止画像から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部と、所定画像処理を開始する第１のユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部とを備え、前記第１のユーザ操作は、前記注目画像に対し前記所定画像処理を施す指示であるとともに、前記注目画像を印刷候補として指定する指示であることを特徴とする。
【発明の効果】
【００１５】
本発明の態様１の画像処理装置によれば、画像処理装置側で、前記注目画像に対し前記所定画像処理を行い、印刷装置側で前記所定画像処理を行うことがないため、ユーザが印刷装置を長時間独占して使用してしまう不都合を抑制でき、さらに前記第１のユーザ操作が、前記所定画像処理の開始のトリガーとして機能するだけではなく、前記印刷候補の指定のトリガーとしても機能するため、ユーザの操作の手間を軽減できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態の携帯端末が備える各ハードウェアを示す機能ブロック図である。
【図２Ａ】図１の携帯端末の外観を示す模式図であり、ユーザに未だ印刷候補として指定されていないフレームが表示されている状況を示す図である。
【図２Ｂ】図１の携帯端末の外観を示す模式図であり、ユーザに印刷候補として指定されているフレームが表示されている状況を示す図である。
【図２Ｃ】図１の携帯端末の外観を示す模式図であり、印刷候補として指定された後にキャンセルされたフレームが表示されている状況を示す図である。
【図３】画質向上処理を行う場合の期待度をタッチパネルに表示させる携帯端末の一例を示す模式図である。
【図４】座標（ｉ，ｊ）の注目画素のダイナミックレンジと係数ｆ（ｉ，ｊ）との関係を示した図である。
【図５】座標（ｉ，ｊ）の注目画素の画素値と係数ｇ（ｉ，ｊ）との関係を示した図である。
【図６】画質向上処理を行う場合の期待度をタッチパネルに表示させる携帯端末であって、図３との携帯端末とは異なる例を示す模式図である。
【図７】ピンチアウト操作を示す説明図である。
【図８】フリック操作を示す説明図である。
【図９】フレーム全体のなかで表示させる領域を示す説明図である。
【図１０】図９の矩形Ａの範囲をズームイン表示する携帯端末を示す説明図である。
【図１１】図９の矩形Ｃの範囲をズームイン表示する携帯端末を示す説明図である。
【図１２】図９の矩形Ｂの範囲をズームイン表示する携帯端末を示す説明図である。
【図１３】画質向上処理が施される前のフレームＦＲｉと、フレームＦＲｉに対し画質向上処理を施して得られるフレームＲＳｉとを一緒に表示させる携帯端末を示す模式図である。
【発明を実施するための形態】
【００１７】
〔実施形態１〕
＜携帯端末の概要＞
まず本発明の画像処理装置の一実施形態である携帯端末１０の概要を説明する。携帯端末１０としては、スマートフォン、タブレット、携帯電話、携帯可能なパーソナルコンピュータ（ノート型など）等が挙げられるが、本実施形態の携帯端末１０は図２Ａに示すようにスマートフォンであるものとする。
【００１８】
本実施形態の携帯端末１０は、動画撮影を行うためのカメラおよびアプリケーションを実装しており、動作撮影にて得られた動画ファイルを記憶するようになっている。
【００１９】
携帯端末１０は、動画ファイルのなかから、ユーザに印刷候補のフレームを指定（選択）させ、印刷候補のフレームを印刷装置（プリンタ、複合機、写真用プリンタ）に送信する機能を有している。印刷装置は、携帯端末１０から送られてきた印刷候補のフレーム（「印刷候補画像」と称することもある）を写真としてプリントする。
【００２０】
以上のような携帯端末１０においては、ユーザ操作に応じて、動画ファイルに構成される複数のフレームのうち、一つのフレームが注目フレーム（注目画像）として抽出される。注目フレームは、注目フレーム表示領域１９に表示される。ユーザは、注目フレーム表示領域１９に表示されるフレームを見ながら、このフレームを印刷候補とするか否かを検討できるようになっている。
【００２１】
印刷候補として未だ選択されていないフレームが注目フレーム表示領域１９に表示されている場合、図２Ａのセーブボタン２０がユーザに押されると、携帯端末１０は、注目フレーム表示領域１９に表示されているフレームを印刷候補として認識し、このフレームに対して画質向上処理（画像処理）を開始する。画質向上処理が完了すると、画質向上処理の施されたフレームが印刷候補として印刷候補保存部１２ａに記憶され、携帯端末１０は、注目フレーム表示領域１９に表示させるプレビューを、画質向上処理前のフレームから、画質向上処理後のフレームに切り替える。
【００２２】
図２Ｂは、印刷候補として選択されたフレームが注目フレーム表示領域１９に表示されている携帯端末１０を示したものである。ここで、図２Ａに示すように、印刷候補として未だ指定（選択）されていないフレームが注目フレームとして抽出される場合、注目フレーム表示領域１９には画質向上処理の施されていないフレームが表示されると共に、未選択を示す文字（Not Selected）が表示されている一方、図２Ｂに示すように、印刷候補として指定（選択）されているフレームが注目フレームとして抽出される場合、注目フレーム表示領域１９には画質向上処理後のフレームが表示されると共に、印刷候補として選択されていることを示す文字（Selected）が表示されている。
【００２３】
図２Ｂに示すように、印刷候補として選択されているフレームが注目フレームとして抽出されて注目フレーム表示領域１９に表示されている時に、セーブボタン２０がユーザに押されると、携帯端末１０は、当該フレームを印刷候補とすることをキャンセルする。具体的には、携帯端末１０は、印刷候補保存部１２ａから、キャンセル対象となる画質向上処理後のフレームを削除し、注目フレーム表示領域１９に表示させるプレビューを、画質向上処理後のフレームから、画質向上処理の施されていないフレームに切り替える。
【００２４】
図２Ｃは、キャンセルされたフレームが注目フレームとして抽出されて注目フレーム表示領域１９に表示されている携帯端末１０を示したものである。図２Ｃに示すように、キャンセルされたフレームが注目フレームとして抽出される場合、注目フレーム表示領域１９には、画質向上処理の施されていないフレームが表示されると共に、キャンセルを示す文字（Canceled）が表示されている。
【００２５】
また、図２Ｃに示すように、印刷候補として選択されているフレームが注目フレームとして抽出されて注目フレーム表示領域１９に表示されている時に、セーブボタン２０がユーザに押されると、携帯端末１０は、当該フレームを印刷候補として再度認識し、以前に印刷候補とした際と同じ処理を再度行う。
【００２６】
そして、図２Ａ〜図２Ｃに示すサブミットボタン２１がタッチされると、携帯端末１０は、印刷候補保存部１２ａに蓄積されている印刷候補のフレーム（画質向上処理後のフレーム）を印刷装置に送信する。印刷装置は、受信した印刷候補のフレームを写真プリント（印刷）する。これにより、携帯端末１０のユーザは、携帯端末１０にて撮影した動画の各フレームのなかから、所望のフレームを写真プリンタや複合機等の印刷装置に送って写真印刷させることができる。
【００２７】
また、写真サービス店の印刷装置に動画ファイルを読み込ませて、印刷装置側にて印刷候補画像を選択して画像処理を行う場合、一人のユーザが印刷装置を長時間独占的に使用してしまうという不都合が生じる。これに対し、携帯端末１０を使用するユーザは、携帯端末１０側にて印刷候補を抽出して画像処理を行うため、印刷装置を長時間独占することがなく、前記の不都合を抑制できる。
【００２８】
また、本実施形態の携帯端末１０によれば、ユーザが印刷候補として選択したフレームについては、画質向上処理後のプレビューが表示され、印刷候補をキャンセルすることも可能になっている。それゆえ、プリント前におけるプレビューの確認も、印刷装置側ではなく携帯端末１０側で行うことができる。
【００２９】
＜携帯端末の構成＞
以下では、本実施形態の携帯端末１０の構成をより詳細に説明していく。図１は、実施形態１に係る携帯端末１０の構成を示す機能ブロック図である。図１に示すように、携帯端末１０は、制御部１１、記憶部１２、通信部１３、タッチパネル１４、およびアクセス部１５を備えている。
【００３０】
制御部１１は、携帯端末１０の各ハードウェアを制御するブロックであり、たとえば、ＣＰＵ（Central Processing Unit）を備えるマイクロコンピュータやマイクロプロセッサによって実現される。制御部１１は、記憶部１２に記憶されている各種情報および各種制御を実施するためのプログラムを取り出して演算処理や判定処理を行い、これらの処理結果に基づいて携帯端末１０の各ハードウェアに信号や情報を送って、各ハードウェアの動作を制御する。制御部の詳細については後に述べる。
【００３１】
記憶部１２は、制御部１１が実行する各種アプリケーションプログラム、ＯＳ（Operating System）プログラム、制御プログラム、これらプログラムを実行するときに読み出す各種データ（設定値、テーブル等）を記憶する記憶領域である。記憶部１２としては、従来から公知の種々の記憶手段、例えば、リードオンリーメモリ、ランダムアクセスメモリ、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）などを用いることができる。
【００３２】
また、本実施形態では、記憶部１２は、少なくとも印刷候補保存部１２ａとワーキングメモリ部１２ｂとを含む構成になっている。印刷候補保存部１２ａは、記憶部１２の不揮発性記憶領域の一部であり、ユーザに選択された印刷候補に関するデータを保存するために予め確保されている領域である。これに対し、ワーキングメモリ部１２ｂは、記憶部１２の揮発性記憶領域であり、制御部１１にて処理中のデータを一時的に記憶するための記憶領域である。
【００３３】
通信部１３は、外部とのデータ通信を行うブロックである。本実施の形態では、ＵＳＢ（Universal Serial Bus）１．１又はＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送機能、無線データ通信機能を有するものである。本実施形態では、特に、通信部１３は、画像を、印刷装置（不図示）、画像表示装置（不図示）、またはサーバ装置（不図示）に送信する。
【００３４】
タッチパネル（表示画面）１４は、画像を表示する表示部１４ａと、ユーザのタッチ操作に応じた入力信号を生成する入力部１４ｂとが一体化されている装置である。タッチパネル１４としては、周知のタッチパネルを用いることができる。つまり、表示部１４ａはＬＣＤ（Liquid Crystal Display）などで構成され、入力部１４ｂは表示部１４ａと一体化された静電容量センサなどで構成される。ユーザがタッチパネル１４に対してタッチ操作を行うと、タッチ操作に応じた入力指示が制御部１１に伝達され、制御部１１は、当該入力指示に応じてタッチパネル１４の表示制御を行うことになる。例えば、タップ操作が行われるとタップされたアイコンやファイルに応じた画像が表示されるようになっている。
【００３５】
また、本実施形態では、図２Ａに示すように、タッチパネル１４において、動画ファイルを構成する複数のフレーム（静止画像）のなかから抽出される注目フレームを表示するための注目フレーム表示領域１９が示されている。
【００３６】
具体的には、図２Ａに示すフォワードボタン２６、バックボタン２７、スクロールバー２９等を用いたユーザ操作に応じて、動画ファイルを構成する複数の静止画像（フレーム）から、１枚の注目フレームが抽出され、注目フレームが注目フレーム表示領域１９に表示される。
【００３７】
また、携帯端末１０におけるユーザの入力手段として、タッチパネル１４のほかに、物理的な装置として設けられたボタンであってもよいし、携帯端末１０と通信可能に接続されるキーボードやポインティングデバイスであってもよい。
【００３８】
図１のアクセス部１５は、携帯端末１０に挿入されるリムーバブルメディアにアクセスし、当該リムーバブルメディアに対する情報の読み書きを行う装置である。
【００３９】
つぎに、制御部１１について詳細に説明する。図１に示すように、制御部１１は、表示制御部１０１、画像処理部１０２、記憶処理部１０３、送信処理部１０４、期待度算出部１０５を備えている。なお、図１において、制御部１１、記憶部１２、通信部１３、タッチパネル１４およびアクセス部１５は、ハードウェアであるが、制御部１１に含まれる表示制御部１０１、画像処理部１０２、記憶処理部１０３、送信処理部１０４、期待度算出部１０５は、制御部１１が実行するソフトウェアの各機能を示す機能ブロックである。
【００４０】
表示制御部１０１は、タッチパネル１４に対するユーザのタッチ操作（入力指示）に応じて、タッチパネル１４の表示制御を行うブロックである。表示制御部１０１は、主に、動画ファイルに含まれる複数のフレーム（静止画像）のなかから、注目フレームを抽出（選択）し、当該フレームを注目フレーム表示領域１９に表示する表示制御を行う。注目フレームとは、ユーザによって注目されるフレームである。注目フレームは、注目フレーム表示領域１９に表示され、ユーザ操作（例えば印刷候補として選択する指示）の対象となるフレームである。
【００４１】
画像処理部１０２は、注目フレーム（注目フレーム表示領域１９に表示されているフレーム）を印刷候補として指定する入力指示が入力されると、当該フレーム（静止画像）に対して画質向上処理（所定画像処理）を実行するブロックである。つまり、本実施形態では、注目フレームを印刷候補として指定する入力指示（タッチ操作）は、画質向上処理（所定画像処理）の実行を開始するトリガー（入力指示）にもなる。具体的には、図２Ａに示すように、印刷候補として未選択のフレームが注目フレームとして表示されている時に、セーブボタン２０がタッチされると、当該フレームが印刷候補として選択され、且つ、当該フレームに対する画質向上処理が開始されることになる。
【００４２】
記憶処理部１０３は、印刷候補保存部１２ａに記憶させるデータを管理するブロックである。本実施形態では、ある注目フレームが注目フレーム表示領域１９に表示されている時に、当該フレームを印刷候補として指定するユーザ指示が入力されると、当該フレームに対して画質向上処理が施されることになるが、記憶処理部１０３は、当該フレームを印刷候補として認識し、画質向上処理の施された当該フレームを印刷候補として印刷候補保存部１２ａに記憶させる（例えば、印刷候補のフレームは、印刷候補を示すフラグと対応付けられて印刷候補保存部１２ａに保存される）。
【００４３】
なお、印刷候補保存部１２ａは、記憶部１２の不揮発性記憶領域の一部であって、印刷候補を記憶するために記憶処理部１０３（アプリケーション）によって予め確保され管理される領域である。
【００４４】
送信処理部１０４は、印刷候補のフレームを印刷装置へ送信するユーザ指示が入力されると、通信部１３を制御することによって、印刷候補保存部１２ａに蓄積されている印刷候補のフレームを印刷装置へ送信する。
【００４５】
期待度算出部１０５は、画像処理部１０２にて実行される画質向上処理の期待度を算出するブロックである。但し、期待度算出部１０５は、実施形態２の特徴であるため、本実施形態ではこれ以上の詳細な説明を行わない。
【００４６】
つぎに、表示制御部１０１、画像処理部１０２、記憶処理部１０３、送信処理部１０４にて実行される一連の処理をより詳細に説明する。
【００４７】
まず、表示制御部１０１は、ユーザの入力指示に応じて、携帯端末１０の記憶部１２に保存されている各ファイルの中からユーザの所望する動画ファイルを読み込む。ここで、表示制御部１０１は、当該動画ファイルが持つフレーム数をカウントすると共に、先頭に位置するフレームの番号を、最初に注目フレームとして抽出するフレームのフレーム番号の初期値とし、初期値に対応するフレームをデコードしてワーキングメモリ部１２ｂに記憶させ、このフレームを、注目フレームとして、タッチパネル１４の注目フレーム表示領域１９に最初に表示させる。
【００４８】
フレームの枚数や番号は、動画ファイル内に記述されたメタデータから取得することができる。動画ファイルが持つフレーム数をＮＦとし、動画ファイルを構成するフレームを、順に、ＦＲ０,ＦＲ１，…，ＦＲＮＦ−１と呼ぶこととする。
【００４９】
あるフレームが注目フレームとして表示されている時に、表示制御部１０１は、ユーザの入力指示に応じて、ＮＦ枚のフレームのうち、次の注目フレームを選択する。具体的には、表示制御部１０１は、入力指示に応じて、動画ファイルを構成する複数のフレームのなかから、次の注目フレームを選択してデコードし、このフレームを注目フレーム表示領域１９に表示させる。つまり、表示制御部１０１は、ユーザの入力指示に応じて、注目フレームを、フレームＦＲｉから異なるフレームＦＲｊに更新する場合、フレームＦＲｊを動画ファイルからデコードし、表示するフレームをフレームＦＲｉからフレームＦＲｊに切り替える。
【００５０】
また、フレームＦＲｉが注目フレームとして表示されている時に、ユーザがフレームＦＲｉを印刷候補として指定（選択）する入力指示を行った場合、画像処理部１０２は、フレームＦＲｉに対して画質向上処理を実行して画質向上処理後のフレームＲＳｉ（フレームＦＲｉに画質向上処理を施して得られるフレーム）を出力し、記憶処理部１０３は、フレームＲＳｉを印刷候補として印刷候補保存部１２ａに保存する。このとき、表示制御部１０１は、注目フレーム表示領域１９に表示される対象をフレームＦＲｉからフレームＲＳｉに切り替える。
【００５１】
印刷候補とされているフレームＲＳｉが注目フレームとして注目フレーム表示領域１９に表示されている時に、ユーザが印刷候補をキャンセルする入力指示を行った場合、記憶処理部１０３は、印刷候補保存部１２ａのフレームＲＳｉを消去することにより、フレームＲＳｉを印刷候補から除外する。この時、表示制御部１０１は、注目フレーム表示領域１９に表示させる対象をフレームＲＳｉからフレームＦＲｉに切り替える。
【００５２】
以上のようにして、注目フレームとして表示される１枚のフレームについて、印刷候補の指定、画質向上処理の実行、画質向上処理後のフレームの保存を終えると（場合によっては印刷候補のキャンセルも終えると）、ユーザは、再びＮＦ枚のフレームから１枚のフレームを注目フレームとして抽出することが可能になる。以上の処理を繰り返すことで、１枚以上のフレームを印刷候補として印刷候補保存部１２ａに保存させることが可能になる。
【００５３】
そして、ユーザが、印刷候補を送信する入力指示を行うと、送信処理部１０４は、この入力指示の時点に印刷候補保存部１２ａに保存（蓄積）されている印刷候補のフレームを、通信部１３を介して印刷装置に送信する。この印刷装置は、携帯端末１０と通信可能であり、写真プリントの可能な装置であり、写真プリンタ、複合機等である。印刷装置は、携帯端末１０から受信した印刷候補のフレームをプリント出力する。
【００５４】
なお、印刷候補の指定（保存）と印刷装置への送信処理とを連続して行う必要はなく、ユーザが所望するタイミングで印刷装置へ１以上の印刷候補を送信することが可能である。そのため、ユーザは事前に動画ファイルから所望のフレームを選択しておき、ユーザの都合の良いときに印刷装置への送信を行うことが可能となる。このことにより、一人のユーザが印刷装置を占有する時間を大幅に削減できる。
【００５５】
つぎに、画像処理部１０２にて行われる画質向上処理の内容を説明する。一般的に、動画ファイルに含まれるフレームは、写真撮影で得られる静止画に比べて画質が低い傾向にあるため（特に解像度が低い傾向にある）、動画ファイルから取り出したフレームを写真画像として印刷する場合、写真撮影で得られる静止画に画質を近づけるための画質向上処理（所定画像処理）を実行することが好ましい。それゆえ、本実施形態の携帯端末１０では、少なくとも印刷候補として指定されたフレームについて画質向上処理を施す。
【００５６】
画像処理部１０２にて適用できる画質向上処理として、例えば特許文献２（特開２０１４−０８５８９２号公報）に示される拡大処理（画素数の増加）が挙げられる。撮影に使用したカメラの性能により動画の解像度が低い場合、写真サイズで印刷するとエッジがジャギー状に見えてしまう場合がある。こうした問題を解決するため、たとえば特許文献２（特開２０１４−０８５８９２号公報）では、エッジ方向を考慮した拡大処理が提案されている。本実施形態では、画像処理部１０２にて実行される画質向上処理として、特許文献２に記載の拡大処理方法を利用できる。
【００５７】
また、画像処理部１０２にて適用できる画質向上処理として、例えばディテイル感向上処理が挙げられる。特に風景写真において、被写体となる風景（たとえば山や木々など）の質感を高めることで、より高品質な印象を与えられる。このようなディテイル感向上処理としては、たとえば特許文献３もしくは特許文献４に記載のディテイル感向上処理が挙げられ、画像処理部１０２は、これら文献に開示されているディテイル感向上処理を利用できる。
【００５８】
さらに、画像処理部１０２にて適用できる画質向上処理として、たとえばカメラのセンサーノイズや圧縮処理により生じるアーティファクトなどのノイズを低減するノイズ低減処理が挙げられ、このようなノイズ低減処理として、たとえば特許文献５に記載のノイズ低減処理方法が挙げられる。
【００５９】
画像処理部１０２にて適用できる画質向上処理としては、以上にて紹介した特許文献２〜５の処理が例示されるが、本実施形態では、いずれか１種類の処理（いずれか１つの文献の処理）を画像処理部１０２が実行するようになっている。また、画像処理部１０２にて実行される画像処理はメーカ側にて予め設定されているものとする。
【００６０】
＜ＵＩの具体例＞
つぎに、動画ファイルから印刷候補を指定し、印刷装置に送信する指示を入力するためのＵＩ（user interface）について、図２Ａ〜図２Ｃを例にして説明する。このＵＩはタッチパネル１４に表示されるものである。
【００６１】
まず、図２Ａのオープンボタン２５がタッチされると動画ファイルの読み込み指示が入力されるようになっており、これにより、表示制御部１０１は、動画ファイルを読み込み、フレーム番号が初期値のフレームを注目フレームとして注目フレーム表示領域１９に表示させる。
【００６２】
図２Ａのフォワードボタン（＞）２６がタッチされると、注目フレーム表示領域１９に現在表示されているフレームの次に続くフレームを注目フレームとして選択する指示が入力されるようになっている。これにより、表示制御部１０１は、注目フレーム表示領域１９に表示させるフレームを、フレームＦＲｉからフレームＦＲｉ＋１に切り替える。
【００６３】
図２Ａのバックボタン（＜）２７がタッチされると、注目フレーム表示領域１９に現在表示されているフレームの前のフレームを注目フレームとして選択する指示が入力されるようになっている。これにより、表示制御部１０１は、注目フレーム表示領域１９に表示させるフレームを、フレームＦＲｉからフレームＦＲｉ−１に切り替える。
【００６４】
また、タッチパネル１４には、フォワードボタン２６およびバックボタン２７の他に、スクロールバー２９が表示される。スクロールバー２９は、左端から順に、動画ファイルに含まれるＮＦ枚のフレームのうちのＦＲ０，ＦＲ１，…、ＦＲＮＦ−１に対応する。
【００６５】
そして、ユーザがスクロールバー２９のツマミ２９ａを移動させると、ツマミ２９ａの停止位置に対応するフレーム番号のフレームを注目フレームとして選択する指示が入力されるようになっている。これにより、表示制御部１０１は、ツマミ２９ａの停止位置に対応するフレーム番号のフレームを注目フレームとして選択し、注目フレーム表示領域１９に表示させる。なお、表示制御部１０１は、ツマミ２９ａ以外の手段（たとえばフォワードボタン２６やバックボタン２７など）により注目フレームが更新された場合、新たに注目フレームとされるフレームのフレーム番号に対応する停止位置にツマミ２９ａを移動させるようになっている。
【００６６】
また、注目フレーム表示領域１９に表示されているフレームが印刷候補として未選択であれば、図２Ａに示すように未選択を示す文字（Not Selected）が表示される。これにより、ユーザは、表示されているフレーム（注目フレーム）が印刷候補として選択されていないことを認識できる。
【００６７】
そして、図２Ａに示すように、注目フレーム表示領域１９に表示されているフレームが印刷候補として未選択である時にユーザがセーブボタン２０を押すと、注目フレーム表示領域１９に表示されているフレーム（注目フレーム）を印刷候補として選択する指示と、このフレームに対して画質向上処理（画像処理）を施す指示とが携帯端末１０に入力されることになる。この入力に応じて、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューを、画質向上処理の施されていないフレームＦＲｉから、画質向上処理後のフレームＲＳｉに切り替え、且つ、図２Ｂに示すように、印刷候補として選択されていることを示す文字（Selected）を表示させるようになる。これにより、ユーザは、表示されているフレーム（注目フレーム）が印刷候補として選択されている事を認識できる。
【００６８】
さらに、図２Ｂに示されているように、印刷候補として選択されているフレームが注目フレームとして注目フレーム表示領域１９に表示されている時にユーザがセーブボタン２０をタッチすると、注目フレームを印刷候補から除外する（キャンセルする）指示が入力されることになる。この入力に応じて、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューを、画質向上処理の施されているフレームＲＳｉから、画質向上処理の施されていないフレームＦＲｉに切り替え、且つ、図２Ｃに示すように、キャンセルを示す文字（Canceled）を表示する。これにより、ユーザは、注目フレーム表示領域１９に表示されているフレームを印刷候補として一旦選択したが後にキャンセルしたものである事を認識できる。
【００６９】
また、ユーザがタッチパネル１４に表示されるサブミットボタン２１をタッチすることにより、この時点で選択されている印刷候補のフレームを送信する指示が入力されることになる。これにより、送信処理部１０４は、印刷候補保存部１２ａに保存（蓄積）されている印刷候補のフレームを印刷装置へ送信する。
【００７０】
＜バックグラウンドについて＞
また、本実施形態では、注目フレーム表示領域１９に表示されているフレーム（注目フレーム）が印刷候補として未選択（またはキャンセル）である場合におけるセーブボタン２０に対するタッチ操作（ユーザ操作）が画質向上処理を開始するトリガーであるが、注目フレームとしてフレームＦＲｉが表示制御部１０１に選択されてからセーブボタン２０に対するタッチ操作が行われていない状態が所定時間続いた場合、画像処理部１０２は、セーブボタン２０に対するタッチ操作が行われなくても、フレームＦＲｉに対し、バックグラウンドで画質向上処理を開始する。
【００７１】
より具体的に説明すると、以下の通りである。画像処理部１０２は、フレームＦＲｉが注目フレームとして選択されると、選択時点からの経過時間をカウントする。ここで、カウントされている経過時間が所定時間に到達する前に、注目フレームがフレームＦＲｉからフレームＦＲｊに変わってしまうと、フレームＦＲｉが選択されてからカウントされている経過時間をリセットし、フレームＦＲｊが選択されてからの経過時間を新たにカウントし始めるようになっている。また、カウントされている経過時間が所定時間に到達する前にセーブボタン２０に対するタッチ操作が行われると、画像処理部１０２は、注目フレームに対して画質向上処理を施し、記憶処理部１０３は、画質向上処理後のフレームを印刷候補として印刷候補保存部１２ａに記憶させる。
【００７２】
これに対し、フレームＦＲｉが注目フレームとして選択されてから、セーブボタン２０に対するタッチ操作が行われることなく、カウントされている経過時間が所定時間に到達した場合（つまり、ある注目フレームが選択されてから、注目フレームが更新されず且つセーブボタン２０が押されることなく所定時間経過した場合）、画像処理部１０２は、注目フレームに対してバックグラウンドにて画質向上処理を施すようになっている。バックグラウンドでの画質向上処理が完了すると、記憶処理部１０３は、画質向上処理後のフレームＲＳｉをワーキングメモリ部１２ｂに記憶させる（つまり、単にバックグラウンドの画質向上処理を終えただけでセーブボタン２０に対するタッチ操作が行われていない間、記憶処理部１０３は、フレームＲＳｉを印刷候補保存部１２ａに保存するのではなく、ワーキングメモリ部１２ｂに記憶させる）。
【００７３】
また、表示制御部１０１は、単にバックグラウンドの画質向上処理を終えただけでセーブボタン２０に対するタッチ操作が行われていない間、フレームＲＳｉを表示させず、依然としてフレームＦＲｉを表示させ続ける。
【００７４】
バックグラウンドの画質向上処理が行われた後にセーブボタン２０に対するタッチ操作が行われると、記憶処理部１０３は、印刷候補としてフレームＲＳｉを印刷候補保存部１２ａに保存し、また、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューをフレームＦＲｉからフレームＲＳｉに切り替える。
【００７５】
つまり、注目フレーム表示領域１９にて表示されているフレームＦＲｉについて既にバックグラウンドの画質向上処理が行われ、画質向上処理の処理結果のフレームＲＳｉがワーキングメモリ部１２ｂに記憶されている状況において、セーブボタン２０に対するタッチ操作が行われた場合、画像処理部１０２は、フレームＦＲｉに対する画質向上処理をスキップし、記憶処理部１０３は、フレームＲＳｉを印刷候補保存部１２ａに保存し、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューをフレームＦＲｉからフレームＲＳｉに切り替える。
【００７６】
これにより、本実施形態の携帯端末１０によれば、バックグラウンドで画質向上処理を行わない構成と比べて、セーブボタン２０に対するタッチ操作（画質向上処理を開始するユーザ指示）が行われてからフレームＲＳｉが表示されるまでの時間を短縮化できる。
【００７７】
それゆえ、セーブボタン２０に対するタッチ操作が行われた後のユーザが体感する処理時間（画質向上処理の処理時間）を短縮できる。これにより、画質向上処理が処理時間の長い画像処理であったとしても、ユーザの操作の快適性が損なわれることを抑制できるという効果を奏する。
【００７８】
動画を構成するフレームに対して写真画像に適した画質に近づけるような画質向上処理は処理時間が長くなる傾向にあり、バックグラウンドの画質向上処理を行わない形態の場合、画質向上処理の開始のトリガーとなるユーザ操作が行われてから、画質向上処理後のフレームの表示が可能になるまでに要する時間が長くなってしまう。それゆえ、ユーザにとって、動画ファイルから印刷候補とするフレームを抽出する操作を行う上で快適性が損なわれるおそれがある。これに対し、本実施形態では、上述した通りであるため、このようなおそれを抑制できる。
【００７９】
また、本実施形態の構成では、バックグラウンドの画質向上処理を終えたもののセーブボタン２０に対するタッチ操作が行われていない間、表示制御部１０１は、フレームＲＳｉをタッチパネル１４に表示させないようになっている。これにより、ユーザが意図しないうちにタッチパネル１４に表示される表示内容が変更されてしまうことで画質向上処理の前後の違いを見落とすことを抑制できる。
【００８０】
また、本実施形態の構成において、画像処理部１０２がバックグラウンドで画質向上処理を実行している間にユーザがセーブボタン２０をタッチした場合、画像処理部１０２は、実行中の画質向上処理をそのまま継続する。そして、この場合、画質向上処理が終了すると、記憶処理部１０３が、画像処理部１０２から出力されるフレームＲＳｉを印刷候補として印刷候補保存部１２ａに記憶させ、表示制御部１０１がフレームＲＳｉをタッチパネル１４に表示させることになる。すなわち、バックグラウンドの画質向上処理が途中段階の時にユーザがセーブボタン２０をタッチした場合であっても、画質向上処理を最初からやり直すということをしないため、セーブボタン２０に対するタッチ操作が行われた後のユーザが体感する処理時間（画質向上処理の処理時間）を短縮できる。
【００８１】
また、セーブボタン２０がタッチされることなく、バックグラウンドでの画質向上処理の実行中に表示制御部１０１がユーザ操作に応じて注目フレームを変更した場合（注目フレームが第１の静止画像から第２の静止画像に変わった場合）、画像処理部１０２は、実行中の画質向上処理を中断し、処理の途中段階で得られた中間データを破棄する。これにより、注目フレームを変更した場合、変更前の注目フレームに対する画質向上処理を中断するため、変更後の注目フレームに関する各種処理に割り当てることの可能なコンピュータのリソースが不足することを抑制でき、変更後の注目フレームに関する各種処理が滞ることを抑制できる。
【００８２】
また、セーブボタン２０がタッチされることなく、注目フレームについてバックグラウンドでの画質向上処理を終えた後、表示制御部１０１がユーザ操作に応じて注目フレームを変更した場合、記憶処理部１０３は、ワーキングメモリ部１２ｂに記憶されている処理結果（画質向上処理後のフレーム）を破棄する。これにより、不要になった処理結果をワーキングメモリ部１２ｂから除外するため、コンピュータのパフォーマンスの低下を抑制できる。
【００８３】
なお、本実施形態において、画像処理部１０２は、フレームＦＲｉが注目フレームとして表示制御部１０１に選択されてからセーブボタン２０に対するタッチ操作が行われていない状態が所定時間続いた場合に、フレームＦＲｉに対してバックグラウンドで画質向上処理を開始するようになっているが、この所定時間としてはゼロを超える時間である必要がある（所定時間としてゼロは除かれる）。つまり、フレームＦＲｉが注目フレームとして選択された時点からバックグラウンド開始時点まで時間間隔が空いている必要があり、フレームＦＲｉが注目フレームとして選択されたことをもって画質向上処理を開始するような形態にしない。この理由は次の通りである。
【００８４】
仮に所定時間をゼロとする場合、画像処理部１０２は、注目フレームが切り替わる度に必ず画像処理を開始することになり（注目フレーム表示領域１９に表示されることになる全てのフレームについてバックグラウンドが行われることになる）、コンピュータに与える処理負担が重くなり過ぎ、このような形態は現実的でない。
【００８５】
これに対し、注目フレームの選択時点からバックグラウンド開始時点までゼロより大きい時間間隔を空けておけば、注目フレーム表示領域１９に表示させても直ぐに注目フレーム表示領域１９から消去されるフレームについては画質向上処理を行わず、ユーザが印刷候補とするか否か迷って注目フレーム表示領域１９に表示させ続けているフレームに絞ってバックグラウンドで画質向上処理を行うことになる。それゆえ、コンピュータに与える処理負担は重くならず、且つ、効率的である。以上のような理由から、所定時間はゼロを超える時間とする必要がある。
【００８６】
〔実施形態２〕
実施形態１では、注目フレーム（注目フレーム表示領域１９に表示させるフレーム）としてフレームＦＲｉが表示制御部１０１に選択されてからセーブボタン２０に対するタッチ操作が行われていない状態が所定時間続いた場合、フレームＦＲｉに対し、バックグラウンドで画質向上処理を開始することにより、後にセーブボタン２０に対するタッチ操作が行われた後のユーザが体感する処理時間（画質向上処理の処理時間）を短縮する点について説明した。
【００８７】
しかし、前記の画質向上処理が非常に膨大な時間を要する場合、バックグラウンドで画質向上処理を実行しても処理後の画像が得られるまでに時間がかかり、ユーザが体感する処理時間を適正な範囲にまで短縮することが困難なこともある。
【００８８】
そこで、本実施の形態では、ユーザの操作に基づいて表示制御部１０１が注目フレームとしてフレームＦＲｉを選択すると、図１の期待度算出部１０５が、注目フレームに画質向上処理（画像処理部１０２にて実行される画像処理）を施す場合に期待される画質向上の効果の程度を数値化した期待度を求めてワーキングメモリ部１２ｂに記憶させるようになっている。そして、表示制御部１０１が、期待度算出部１０５にて算出されてワーキングメモリ部１２ｂに書き込まれた期待度をタッチパネル１４に表示させるようになっている。また、期待度算出部１０５による期待度算出処理は、画質向上処理を途中まで実行して途中結果を求め、この途中結果から期待度を求める処理であり、画質向上処理全体の実行に要する時間よりも処理時間が短くなるように設計されている。
【００８９】
以上の構成によれば、注目フレームとしてフレームＦＲｉが選択されると（フレームＦＲｉが注目フレーム表示領域１９に表示されると）、セーブボタン２０に対するタッチ操作によって開始される画質向上処理の終了やバックグラウンドで実行される画質向上処理の終了よりも、期待度算出部１０５による期待度算出の終了の方が早い。それゆえ、画質向上処理の終了よりも前に（画質向上処理後のフレームＲＳｉが表示されるより前に）、フレームＦＲｉに対して画質向上処理を施した場合の期待度をユーザは確認できる。
【００９０】
よって、ユーザは、注目フレーム表示領域１９に表示されるフレームＦＲｉについて、画質向上処理が中々終わらなくても、期待度を確認することによって印刷候補とすべきか否かを判断でき、フレームＦＲｉに対する作業を終えて次のフレームに対する作業に移行できる。すなわち、画質向上処理が非常に膨大な時間を要する場合であっても、画質向上処理の施されたプレビューの表示開始を待つまでもなく（画質向上処理の終了を待たずに）、画質向上処理を施した場合の期待度を確認できるため、ユーザの操作の快適性が損なわれることを抑制できるという効果を奏する。
【００９１】
図３は、期待度を示すグラフをタッチパネル１４に表示させている携帯端末１０を示した図である。図３において、スクロールバー２９のツマミ２９ａに対応付けられている棒グラフ３０が、注目フレーム表示領域１９に表示されているフレーム（注目フレーム）についての期待度を示すグラフである。
【００９２】
また、図３において棒グラフ３０の左横に並んでいる棒グラフは、過去に注目フレームとして注目フレーム表示領域１９に表示されていたフレームに対応する期待度である。つまり、図３の例においては、表示制御部１０１は、現時点で注目フレームとされているフレームに対する期待度だけではなく、過去に注目フレームとされていたフレームに対する期待度もタッチパネル１４に表示させている。これにより、ユーザは、注目フレーム表示領域１９に現在表示されているフレームと、過去に表示されていたフレームとの間での期待度の違いを比較し易くなる。
【００９３】
また、本実施形態でも、実施形態１と同様、画像処理部１０２は、印刷候補でないフレームＦＲｉが注目フレームとして注目フレーム表示領域１９に表示されている場合、セーブボタン２０がタッチされるとフレームＦＲｉに対して画質向上処理を実行するし、バックグラウンドで画質向上処理を行うようになっている。また、本実施形態では、実施形態１と異なり、印刷候補でないフレームＦＲｉが注目フレームとして注目フレーム表示領域１９に表示されると、期待度算出部１０５が、画質向上処理を途中まで実行して、途中結果を用いて期待度算出処理を行っている。
【００９４】
そこで、記憶処理部１０３は、期待度算出部１０５にて算出された途中結果をワーキングメモリ部１２ｂに記憶させる。画像処理部１０２は、セーブボタン２０がタッチされた場合、または、フレームＦＲｉが注目フレームとして選択されてからセーブボタン２０に対するタッチ操作がない状態が所定時間続いた場合において、前述した途中結果（画質向上処理を途中まで実行して得られる結果）がワーキングメモリ部１２ｂに既に書き込まれていれば、途中結果を流用して画質向上処理を行うようになっていてもよい。換言すると、期待度算出部１０５は画質向上処理を途中で中止し、画像処理部１０２は、期待度算出部１０５に中止された画質向上処理を途中から再開することになる。
【００９５】
これにより、バックグラウンドでの画質向上処理が開始された後にセーブボタン２０がタッチされた場合、セーブボタン２０に対するタッチ後のユーザが体感する処理時間（画質向上処理に要する時間）を一層短縮できる。
【００９６】
なお、本実施形態の期待度は、原則としてスカラー量もしくはベクトルとして算出されるものとする。これにより、期待度の確保に必要なメモリ量を小さくでき、複数フレーム分の効果の期待度を蓄積可能になり、図３に示すように、現時点の注目フレームの期待度だけではなく、過去の注目フレームの期待度もタッチパネル１４に表示させることが容易になる。また、動画ファイルのように静止画像の数が膨大であるときは、所定のフレーム数（たとえば１００枚）まで期待度をワーキングメモリ部１２ｂに保持させタッチパネル１４に表示させるというようになっていても勿論よい。
【００９７】
また、現時点で注目フレームとして選択されているフレームＦＲｋを印刷候補として選択せずに注目フレームを変更する場合、あるいは、フレームＦＲｍを一旦印刷候補として選択したがキャンセルする場合、既にワーキングメモリ部１２ｂに書き込まれているフレームＦＲｋやフレームＦＲｍの期待度を削除する必要は無く、履歴として残しておくことができる。
【００９８】
＜期待度算出処理の具体例＞
例えば、画像処理部１０２にて実行される画質向上処理が特許文献４（特開２０１３−２１９４６２号公報）に挙げられるディテイル感向上処理である場合、期待度算出部１０５にて行われる期待度算出処理の具体例は以下のとおりである。
【００９９】
特許文献４が示すディテイル補正処理では、入力画像の各画素を注目画素とし、注目画素を中心としたＭ×Ｎ画素のブロックにおいて画素値（階調値）の最大値と最小値とをそれぞれ算出し、各注目画素の画素値と、各注目画素について算出された上記最大値および上記最小値とから各注目画素の高周波成分を算出する。そして、各注目画素におけるダイナミックレンジの大きさに応じて変化する重み係数を上記高周波成分に乗算し、当該乗算にて得られた値を、各注目画素の画素値に加算し、当該加算にて得られた値を、ディテイル補正結果として出力する。
【０１００】
このようなディテイル補正処理では、ダイナミックレンジが比較的小さく、且つ、注目画素の画素値が最大値もしくは最小値に近い場合、ディテイル補正処理の効果が大きくなるため、例えば下記の数１によって期待度ＥＸＰを算出できる。
【０１０１】
【数１】
2019012558.tif 000003
【０１０２】
〔数１〕において、（ｉ，ｊ）は入力画像の座標を示し、Ｒは入力画像が取り得る全ての座標の集合を示す。つまり、入力画像の水平方向の画素数がＷであり、垂直方向の画素数がＨであるとき、集合Ｒは、ｉ＝０，１，…，Ｗ−１およびｊ＝０，１，…，Ｈ−１の組合せにより取り得る全ての座標の集合となる。
【０１０３】
〔数１〕において、ｆ（ｉ，ｊ）は、座標（ｉ，ｊ）に位置する画素を注目画素とするときに、注目画素におけるダイナミックレンジの大きさに応じて与えられる期待度の係数であり、たとえば、ダイナミックレンジの値に対して図４に示すような波形を示す関数である。なお、注目画素のダイナミックレンジは、注目画素について算出された最大値と最小値との差である。
【０１０４】
〔数１〕において、ｇ（ｉ，ｊ）は、期待度の係数である。具体的には、ｇ（ｉ，ｊ）は、座標（ｉ，ｊ）に位置する画素を注目画素とするとき、注目画素の画素値が、注目画素について算出された最大値もしくは最小値についてどの程度近いかを示す値である。例えば、ｇ（ｉ，ｊ）は、注目画素の画素値をＰ、注目画素について算出された最大値をＰｍａｘ、注目画素について算出された最小値をＰｍｉｎとすると、図５に示すような波形を示す関数である。
【０１０５】
なお、上記の係数ｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）の算出方法は一例であり、図４および図５とは異なる関数によりｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）を算出するようにしてもよい。
【０１０６】
期待度算出部１０５は、以上の〔数１〕を用いることにより、フレームに対して特許文献４に示されるディテイル感向上処理を行う場合の期待度ＥＸＰを算出できる。
【０１０７】
また、期待度算出部１０５は、注目画素についての最大値、最小値、ダイナミックレンジを求め、このダイナミックレンジを用いて期待度ＥＸＰを求めている。ここで、注目画素についての最大値、最小値、ダイナミックレンジは、ディテイル補正処理（画質向上処理）を途中まで実行して得られる途中結果に相当する。画像処理部１０２は、画質向上処理の開始までに前記途中結果が期待度算出部１０５に算出されている場合、この途中結果を流用するようになっている。これにより、ユーザが体感する画質向上処理に要する時間をより一層短縮できる。
【０１０８】
＜バックグラウンド無しの例＞
また、本実施形態（実施形態２）では、期待度を算出して表示するだけでなく、実施形態１にて示したバックグラウンドによる画質向上処理を行うようになっている。しかし、本実施形態のように期待度を算出して表示する形態の場合、バックグラウンドによる画質向上処理が行われなくても、画質向上処理を行う場合の効果の判断（ユーザの判断）を早期に行うことが可能である。それゆえ、実施形態２のように期待度算出部１０５を搭載する構成の場合、画像処理部１０２は、印刷候補とされていないフレームＦＲｉが注目フレームとして注目フレーム表示領域１９に表示されている間、ユーザ操作（セーブボタンに対するタッチ操作）に応じてフレームＦＲｉに画質向上処理を行うものの、前記ユーザ操作が行われていない状態が所定時間続いた場合にバックグラウンドでフレームＦＲｉに画質向上処理を開始するようになっていなくても構わない。
【０１０９】
つまり、この構成の携帯端末１０は、複数の静止画像（フレーム）を含む画像データ（動画ファイル）から注目画像を選択し、前記複数の静止画像のうち少なくとも注目画像を表示画面に表示させる表示制御部１０１と、所定画像処理（画質向上処理）を開始するトリガーとなるユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部１０２と、前記注目画像に所定画像処理を施す場合に期待される画質向上の効果の程度を示す期待度を算出する期待度算出部１０５とを備え、表示制御部１０１は、前記注目画像と前記期待度とを一緒に前記表示画面に表示させることを特徴とするものである。
【０１１０】
〔実施形態３〕
以上の各実施形態では、表示制御部１０１は、フレームＦＲｉを新たな注目フレームとして選択した場合、このフレームＦＲｉをデコードしてワーキングメモリ部１２ｂに書き込み、このフレームＦＲｉを表示させる構成であった。
【０１１１】
これに対し、本実施形態（実施形態３）では、表示制御部１０１は、新たな注目フレームとしてフレームＦＲｉを選択した場合、フレームＦＲｉのみならず、動画ファイルにおけるフレームの並び順においてフレームＦＲｉの直前のフレームＦＲｉ-１と、フレームＦＲｉの直後のフレームＦＲｉ+１とをデコードしてワーキングメモリ部１２ｂに記憶させる。そして、表示制御部１０１は、ワーキングメモリ部１２ｂに書き込まれたフレームＦＲｉ、ＦＲｉ-１、ＦＲｉ+１のなかから、注目フレームとして選択したフレームＦＲｉを注目フレーム表示領域１９に表示させる。
【０１１２】
また、表示制御部１０１は、フレームＦＲｉを新たな注目フレームとして選択する際、フレームＦＲｉ、ＦＲｉ-１、ＦＲｉ+１のうち、既にデコードされてワーキングメモリ部１２ｂに書き込まれているフレームがある場合、既にワーキングメモリ部１２ｂに書き込まれているフレームについては、そのまま流用し、新たにデコードしない。
【０１１３】
つまり、本実施形態の構成において、新たな注目フレームとしてフレームＦＲｉが選択された場合、デコードしてワーキングメモリ部１２ｂに書き込んでおく必要のあるフレームは、フレームＦＲｉ、ＦＲｉ-１、ＦＲｉ+１である（印刷候補として選択されて画質向上処理済のフレームは印刷候補保存部１２ａに保存されている）。
【０１１４】
本実施形態の構成によれば、注目フレームとして抽出するフレームの番号を前後にずらした際に、その都度、フレームをデコードすることによる遅延が生じることを抑制できる。つまり、例えば、注目フレームがフレームＦＲｉからフレームＦＲｉ+１に変わった場合、フレームＦＲｉ+１は既にデコードされているため、フレームＦＲｉ+１をすぐに表示させることが可能になる（なお、この場合、フレームＦＲｉ+１が注目フレームとなるが、注目フレームとされるフレームＦＲｉ+１と、直前のフレームＦＲｉとがデコードされているものの、直後のフレームＦＲｉ+２が未だデコードされていないため、表示制御部１０１は、フレームＦＲｉ+２をデコードしてワーキングメモリ部１２ｂに書き込む処理を行う）。
【０１１５】
特に、動画ファイルのように複数のフレーム（静止画像）が所定順序でソートされている場合、注目フレームとして現在選択されているフレームの直前または直後のフレームは、注目フレームと同じシーンを示している可能性が高く、ユーザに注目フレームと比較される可能性が高い（注目フレームとして表示されているフレームと、その直前（または直後）のフレームとのうちのどちらを印刷候補とするかの判断を行うために前記の比較を行う）。すなわち、注目フレームとして表示させるフレームを、フレームＦＲｉから直前のフレームＦＲｉ-１または直後のフレームＦＲｉ+１に切り替える場合、表示切り替えの速度が低ければ、ユーザの操作の快適性が損なわれる。これに対し、本実施形態の構成によれば、このような場合の表示切り替えの速度低下を抑制でき、ユーザの操作の快適性が損なわれることを抑制できる。
【０１１６】
また、フレームＦＲｉが注目フレームとして表示される場合、デコードしてワーキングメモリ部１２ｂに記憶させておくのは、少なくともフレームＦＲｉ、直前のフレームＦＲｉ-１、および直後のフレームＦＲｉ+１であればよく、さらにデコードさせておくフレームを増やしてもよい。
【０１１７】
例えば、表示制御部１０１は、フレームＦＲｉを注目フレームとして選択した場合、フレームＦＲｉと、その前の２つのフレームＦＲｉ−１、ＦＲｉ−２と、その後の２つのフレームＦＲｉ+１、ＦＲｉ+２とをデコードしてワーキングメモリ部１２ｂに書き込むようになっていてもよい。また、この場合においても、表示制御部１０１は、フレームＦＲｉを新たな注目フレームとして選択する際、フレームＦＲｉ、ＦＲｉ-１、ＦＲｉ-２、ＦＲｉ+１、ＦＲｉ+２のうち、既にデコードされてワーキングメモリ部１２ｂに書き込まれているフレームがある場合、既にワーキングメモリ部１２ｂに書き込まれているフレームについては、そのまま流用し、新たにデコードしない。
【０１１８】
以上の構成によれば、注目フレームとして抽出するフレームの番号を直前や直後にずらした場合のみならず、注目フレームとして抽出するフレームの番号を２つ前や２つ後にずらした場合であっても、その都度注目フレームをデコードすることによる遅延が生じることを抑制でき、より一層遅延を抑制できる。
【０１１９】
また、本実施形態のように、フレームＦＲｉが注目フレームとして表示されている間、少なくともフレームＦＲｉ、直前のフレームＦＲｉ-１、および直後のフレームＦＲｉ+１がデコードされてワーキングメモリ部１２ｂに書き込まれている構成の場合、期待度算出部１０５は、デコードされているフレームＦＲｉ、フレームＦＲｉ-１、およびフレームＦＲｉ+１の夫々の期待度（実施形態２にて説明した期待度）を算出し、表示制御部１０１が、注目フレームとして選択するフレームＦＲｉと、少なくともフレームＦＲｉ、ＦＲｉ-１、ＦＲｉ+１の夫々の期待度とを一緒にタッチパネル１４に表示させるようになっていてもよい。これにより、ユーザは、表示されている注目フレームと、その直前または直後のフレームとの比較検討が一層容易になる。
【０１２０】
図６は、あるフレームを注目フレームとして注目フレーム表示領域１９に表示すると共に、注目フレーム表示領域１９に表示されているフレームの期待度と、表示されているフレームの直前のフレームの期待度と、表示されているフレームの直後のフレームの期待度とを一緒に表示する携帯端末１０を例示した図である。図６において、スクロールバー２９のツマミ２９ａに対応する棒グラフ３０ａが注目フレーム表示領域１９に表示されているフレームＦＲｉの期待度を示し、棒グラフ３０ａの右隣の棒グラフ３０ｂがフレームＦＲｉ+１の期待度を示し、棒グラフ３０ａの左隣の棒グラフ３０ｃがフレームＦＲｉ‐１の期待度を示す。
【０１２１】
つまり、図３の携帯端末１０は、注目フレーム表示領域１９に現在表示されているフレームの期待度と、過去に注目フレーム表示領域１９に表示されたフレームの期待度とを表示するようになっているが、図６の携帯端末１０は、注目フレーム表示領域１９に現在表示されているフレームの期待度と、現在表示されているフレームの直前のフレームの期待度と、現在表示されているフレームの直後のフレームの期待度とを一緒に表示するようになっている。
【０１２２】
〔実施形態４〕
ユーザが印刷候補を指定する作業を繰り返していくと、記憶される印刷候補が多くなり、記憶部１２のうち印刷候補保存部１２ａとして確保されている領域の空き容量が不足するという問題が生じる。
【０１２３】
そこで、本実施形態では、記憶処理部１０３は、ユーザに新たな印刷候補が指定される度に（印刷候補として選択されていないフレームが注目フレームとして表示されている時にセーブボタン２０がタッチされる度に）、印刷候補として印刷候補保存部１２ａに記憶される画質向上処理後のフレーム（以下「処理後フレーム」と称す）のデータ量の合計が新たな印刷候補の指定によって閾値を超えることになるか否かを判定するようになっている。具体的には、ユーザに新たな印刷候補が指定されると、記憶処理部１０３は、新たな印刷候補に関する処理後フレーム（画像処理部１０２から出力される処理後フレーム、若しくは、バックグラウンドで既に得られている処理後フレーム）のデータ量と、既に印刷候補保存部１２ａに保存されている印刷候補の処理後フレームのデータ量との和を計算する。この和が前記の合計に相当する。
【０１２４】
記憶処理部１０３は、印刷候補として印刷候補保存部１２ａに記憶される処理後フレーム（印刷対象画像）のデータ量の合計が新たな印刷候補の指定によって閾値を超えることにならないと判定する場合、印刷候補保存部１２ａに処理後フレームを保持させるモードを継続し、新たな印刷候補の処理後フレームを印刷候補保存部１２ａに保存する。
【０１２５】
これに対し、印刷候補として印刷候補保存部１２ａに記憶される処理後フレームのデータ量の合計が新たな印刷候補の指定によって閾値を超えるようになると判定される場合、表示制御部１０１は、タッチパネル１４上に警告表示を行う。この警告表示では、保存される印刷候補が過多になっていることが示され、且つ、下記の処理Ａまたは処理Ｂのいずれかをユーザ選択させるためのＵＩが示される。
処理Ａ：印刷候補の追加を中止する。
処理Ｂ：処理後フレームを印刷候補保存部１２ａに保持させる第１モードから、処理後フレームを保持させずに補助情報を印刷候補保存部１２ａに保持させる第２モードに切り替える。
【０１２６】
ユーザが処理Ａを選択すると、記憶処理部１０３は、新たな印刷候補の処理後フレームを印刷候補保存部１２ａに記憶させずに消去して処理を終了し、表示制御部１０１は、印刷候補の指定がキャンセルされた事を示す情報を表示させる。
【０１２７】
ユーザが処理Ｂを選択すると、記憶処理部１０３は、全ての印刷候補に関して、印刷候補保存部１２ａに処理後フレームを保持させるのではなく、印刷候補のフレームを識別する識別情報と画質向上処理を特定する特定情報とを対応付けた補助情報を保持させるようにする。なお、識別情報は、フレームに固有の情報であり、例えば動画ファイルにおけるフレームの番号が挙げられる。特定情報としては、例えば、画質向上処理を実施するソフトウェアを特定する情報、および、設定される強度（画質向上処理の強度）等の情報が挙げられる。
【０１２８】
つまり、処理Ｂが選択される場合、記憶処理部１０３は、これまでに印刷候補保存部１２ａに印刷候補として記憶されている処理後フレームを、全て補助情報に変換する。また、記憶処理部１０３は、新たな印刷候補の処理後フレームについても、補助情報に変換して、当該補助情報を印刷候補保存部１２ａに記憶させる。さらに、処理Ｂが選択された後に指定される印刷候補（前記の新たな印刷候補よりも後に指定される印刷候補）については、画像処理部１０２による画質向上処理は行われず、印刷候補保存部１２ａに保存されるのは補助情報のみである（当然、バックグラウンドでの画質向上処理も行われない）。それゆえ、処理Ｂが選択された後は、印刷候補保存部１２ａにおいて処理後フレームが保持されることはなく、印刷候補として選択されたフレームが注目フレームとして表示される場合であっても、表示制御部１０１は、注目フレーム表示領域１９に、処理後フレームＲＳｉを表示させるのではなく、画質向上処理の施されていないフレームＦＲｉを表示させることになる。
【０１２９】
このような構成によれば、記憶される印刷候補が多くなっても、記憶部１２において印刷候補保存部１２ａとして確保されている領域の空き容量が不足するという問題を抑制できる。
【０１３０】
また、本実施形態において、ユーザがサブミットボタン２１をタッチした場合の送信処理部１０４の処理は以下の通りである。
【０１３１】
まず、ユーザがサブミットボタン２１をタッチすると、送信処理部１０４は、印刷候補が印刷候補保存部１２ａにてフレームとして記憶されているか、それとも補助情報として記憶されているかを判定する。
【０１３２】
印刷候補が印刷候補保存部１２ａにてフレームとして記憶されている場合、送信処理部１０４は、当該フレームをそのまま印刷装置へ送信する。
【０１３３】
これに対し、印刷候補が印刷候補保存部１２ａにて補助情報として記憶されている場合、送信処理部１０４は、印刷候補保存部１２ａの補助情報を参照して、動画ファイルから、印刷候補として指定された１枚のフレームをデコードして、このフレームとこのフレームに対応する補助情報とを印刷装置に送信する。また、印刷候補が複数ある場合、送信処理部１０４は、１枚のフレームの送信を開始すると、次のフレームに関する処理に移行するようになっている（次のフレームのデコードを開始する）。そして、印刷装置は、フレームと補助情報とを受信すると、補助情報を参照して、フレームに対して画質向上処理を施し、処理後のフレームを印刷するようになっている。或いは、フレームのデコードだけでなく、画質向上処理も携帯端末１０側で行い、画質向上処理後のフレームが携帯端末１０から印刷装置に送信されるようになっていてもよい。
【０１３４】
また、印刷候補が多い場合、携帯端末１０側でフレームをデコードすると、デコードおよび送信に要する処理時間が多くなってしまう。そこで、印刷候補が多い場合、印刷装置側でフレームをデコードする形態でも構わない。具体的には以下の通りである。
【０１３５】
ユーザがサブミットボタン２１をタッチした場合、送信処理部１０４が、印刷候補が印刷候補保存部１２ａにてフレームとして記憶されているか、それとも補助情報として記憶されているかを判定する点は前述と同様であり、印刷候補が印刷候補保存部１２ａにてフレームとして記憶されている場合の送信処理の内容も前述と同様である。
【０１３６】
印刷候補が印刷候補保存部１２ａにて補助情報として記憶されている場合、送信処理部１０４は、印刷候補の量が所定量を超えているか否かを判定する。例えば、印刷候補として指定されたフレームの枚数が所定閾値（たとえば１０枚）を越えている場合に印刷候補の量が所定量を超えていると判定し、そうでない場合に印刷候補の量が所定量を超えていないと判定するようになっていてもよい。あるいは、印刷候補のフレームの枚数をＮ、フレーム（処理後フレーム）の画素数をＰ、１画素あたりのビット数をＢとするとき、Ｐ×Ｎ×Ｂ（総ビット数）が所定閾値（たとえば２２５）を越えている場合に印刷候補の量が所定量を超えていると判定し、そうでない場合に印刷候補の量が所定量を超えていないと判定するようになっていてもよい。
【０１３７】
印刷候補の量が所定量を超えていない場合、送信処理部１０４は、印刷候補保存部１２ａの補助情報を参照して、動画ファイルから、印刷候補として指定されたフレームをデコードして、このフレームとこのフレームに対応する補助情報とを印刷装置に送信する。
【０１３８】
これに対し、印刷候補の量が所定量を超えている場合、送信処理部１０４は、前述のデコードを行わず、動画ファイルそのものと補助情報とを印刷装置に送信する。印刷装置は、受信した動画ファイルから、補助情報に基づいて、印刷候補として指定されたフレームをデコードし、当該フレームに対して画質向上処理を実行する。このようにすれば、ユーザが印刷装置を操作する時間を抑えつつも、携帯端末１０の処理負担を軽減できる。
【０１３９】
なお、以上では、印刷候補が追加される際、印刷候補として印刷候補保存部１２ａに記憶される処理後フレームのデータ量の合計が閾値を超えるようになると記憶処理部１０３が判定した場合、処理Ａまたは処理Ｂをユーザに選択させることになっている形態であるが、ユーザに処理Ａまたは処理Ｂを選択させることなく、処理Ｂが行われるようになっていてもよい。
【０１４０】
〔実施形態５〕
携帯端末１０はスマートフォンである。それゆえ、携帯端末１０が備えるタッチパネル１４の表示部１４ａは、その面積が小さく、画素密度が高くなる傾向にある（つまり１画素が非常に小さくなりがちである）。よって、画像処理部１０２による画質向上処理の施された後のフレーム全体を注目フレーム表示領域１９に表示させても、画質向上処理の効果を確認しづらいことがある。これに対し、注目フレーム表示領域１９において、フレーム全体を表示するのでなく、フレームの一部領域のみをズームイン表示（表示倍率を上げて表示させる）させれば、画質向上処理の効果の確認が容易となる。そこで、表示制御部１０１は、タッチパネル１４におけるユーザのタッチ操作に応じて、注目フレーム表示領域１９に表示させる画像の一部領域を注目フレーム表示領域１９にズームイン表示させることが可能であり、ズームイン表示とは反対のズームアウト表示（表示倍率を下げて表示させる）も可能になっている。以下、ズームイン表示およびズームアウト表示について説明する。
【０１４１】
＜ズームイン表示およびズームアウト表示について＞
ズームイン表示およびズームアウト表示を行うためのユーザのズーム操作としては、周知、慣用されている処理を適用できる。
【０１４２】
具体的には、ユーザは、図７のように注目フレーム表示領域１９に表示されているフレーム上の２点をタッチしてピンチアウト操作（２点の間隔を広げる操作）を行うことにより、フレーム全体のうち一部領域のみズームイン表示させることが可能である。つまり、当該一部領域の広さを注目フレーム表示領域１９の広さに合わせるようにして当該一部領域のみを表示させることができる。なお、ピンチアウト操作（ズーム操作）における２点の間隔を広げるほど、表示倍率が高くなり、フレーム全体に占める表示範囲の割合が小さくなる。
【０１４３】
また、ピンチイン操作（２点の間隔を狭める操作）によって、ズームイン表示とは逆にズームアウト表示を行うことも勿論可能である。ピンチイン操作（ズーム操作）における２点の間隔を狭めるほど、表示倍率が低くなり、フレーム全体に占める表示範囲の割合が大きくなる。
【０１４４】
さらに、以上のズームイン表示やズームアウト表示によって、フレーム全体のうち一部領域のみを注目フレーム表示領域１９に表示させている場合、ユーザは、図８のように注目フレーム表示領域１９上の１点をタッチしてフリック操作（タッチ点をシフトさせる）を行うことにより、フレーム全体のうち注目フレーム表示領域１９に表示させる範囲を変更することが可能である。
【０１４５】
例えば、表示制御部１０１は、注目フレームがフレームＦＲｉ−１からフレームＦＲｉに変わると、まずフレームＦＲｉの全体領域５０（図９の実線で示される矩形領域）を注目フレーム表示領域１９に表示させるようになっている。このときの注目フレーム表示領域１９に表示させるフレームＦＲｉは図２Ａのようになる。ここで、タッチパネル１４に対してピンチアウト操作が行われると、表示制御部１０１は、例えば図９の矩形Ａの範囲をズームイン表示する。このときの注目フレーム表示領域１９は図１０のようになり、フレームＦＲｉのうちの矩形Ａの範囲のみが注目フレーム表示領域１９に表示される。
【０１４６】
また、図９の矩形Ａの範囲がズームイン表示されている時にさらにピンチアウト操作を行って表示倍率を調整すると、表示制御部１０１は、例えば図９の矩形Ｃの範囲のみを注目フレーム表示領域１９にズームイン表示させる。このときの注目フレーム表示領域１９は図１１のようになる。
【０１４７】
また、図９の矩形Ａの範囲がズームイン表示されている時に図８のようなフリック操作が行われると、表示制御部１０１は、例えば図９の矩形Ｂの範囲のみを注目フレーム表示領域１９にズームイン表示させるようなことが可能である。このときの注目フレーム表示領域１９に表示されるフレームＦＲｉは図１２のようになる。
【０１４８】
＜画質向上処理について＞
つぎに、ズームイン表示やズームアウト表示によって、注目フレーム表示領域１９にフレームＦＲｉの一部領域のみが表示されている場合（つまり注目フレーム表示領域１９に表示させる注目フレームとして表示制御部１０１に選択されているのがフレームＦＲｉの一部領域のみである場合）、画像処理部１０２がどのようにして画質向上処理を行うのかを説明する。
【０１４９】
この場合、画像処理部１０２は、表示のための画質向上処理の処理対象を、フレームＦＲｉの全体のうち前記一部領域に制限することになる（勿論、フレームＦＲｉの全体が注目フレーム表示領域１９に表示されている場合は実施形態１と同様に画質向上処理が行われてフレームＲＳｉが出力される）。
【０１５０】
つまり、注目フレーム表示領域１９に表示させる注目フレームとして表示制御部１０１に選択されているのがフレームＦＲｉの一部領域である場合（当該一部領域がズームイン表示されている場合）、画像処理部１０２は、セーブボタン２０がタッチされると、フレームＦＲｉの全体ではなく、注目フレーム表示領域１９に表示されている範囲（前記一部領域）のみに画質向上処理を施し、処理結果（画質向上処理後の一部領域の画像データ）をワーキングメモリ部１２ｂに書き込む。但し、この場合、ズームイン表示のためのサイズ調整処理（画素数調整処理）を適用する前のフレームＦＲｉのうち前記一部領域に対して画質向上処理が適用されるのであり、サイズ調整処理を適用した後の前記一部領域に対して画質向上処理が適用されるのではない。そして、表示制御部１０１は、画質向上処理後の一部領域について、画素数調整処理を施して当該一部領域をズームイン表示させる。
【０１５１】
また、画像処理部１０２は、注目フレーム表示領域１９に表示させる注目フレームとして前記一部領域が表示制御部１０１に選択されてからセーブボタン２０に対するタッチ操作が行われていない状態が所定時間続いた場合、セーブボタン２０に対するタッチ操作が行われてなくても、前記一部領域のみに画質向上処理をバックグラウンドで行い、処理結果（画質向上処理後の一部領域の画像データ）をワーキングメモリ部１２ｂに書き込む。バックグラウンドの処理後、表示制御部１０１は、セーブボタン２０がタッチされる前は画質向上処理前の一部領域をズームイン表示させるが、セーブボタン２０がタッチされると、画質向上処理後の一部領域に対して画素数調整処理を施した上で当該一部領域をズームイン表示させる。
【０１５２】
このようにすることにより、プレビュー表示の際には、画質向上処理の処理対象を、フレームＦＲｉの全体ではなく、表示する範囲に絞って行うため、画質向上処理の施された画像をプレビュー表示する場合において表示までに要する時間を短縮できるという効果を奏する。
【０１５３】
なお、フレームＦＲｉの一部領域がズームイン表示されている場合に、セーブボタン２０が押されるだけでは、フレームＦＲｉは印刷候補とされるものの、画像処理部１０２による画質向上処理の対象は前記一部領域に制限されるため、フレームＲＳｉ（フレームＦＲｉ全体に対して画質向上処理を施した画像）が画像処理部１０２から出力されるわけではない。そこで、以下では、フレームＦＲｉの一部領域がズームイン表示されているときにセーブボタン２０がタッチされた場合において、フレームＲＳｉの生成タイミングについて説明する。
【０１５４】
例えば、フレームＦＲｉの一部領域がズームイン表示されている時にセーブボタン２０がタッチされた場合、フレームＦＲｉ全体に対する画質向上処理は印刷装置への送信処理の指示入力をトリガーとして行われるようになっていてもよい。この場合、フレームＦＲｉの一部領域が注目フレーム表示領域１９にズームイン表示されている時にセーブボタン２０がタッチされると、記憶処理部１０３は、印刷候補として指示されるフレームＦＲｉを識別可能な識別情報（フレームＦＲｉに固有の情報；例えば動画ファイルにおけるフレーム番号）と、画像処理部１０２にて実施される画質向上処理の種類を特定することの可能な特定情報とを対応付けた補助情報を印刷候補保存部１２ａに記憶させる。そして、サブミットボタン２１がタッチされると、画像処理部１０２が、印刷候補保存部１２ａに書き込まれている補助情報の識別情報に示されるフレームＦＲｉをデコードし、当該補助情報の特定情報に示される画質向上処理を施し、フレームＲＳｉを出力するようになっている。そして、送信処理部１０４は、このフレームＲＳｉを印刷装置に対して送信する。このようにすれば、記憶容量の節約にもなる。あるいは、携帯端末１０側では、フレームＦＲｉのデコードまで行い、フレームＦＲｉおよび補助情報を印刷装置に送り、印刷装置が画質向上処理を行うようになっていてもよい。
【０１５５】
また、フレームＦＲｉの一部領域がズームイン表示されている時にセーブボタン２０がタッチされた場合、印刷装置への送信処理時ではなく、前記一部領域に対する画質向上処理が完了した後に改めてフレームＦＲｉに画質向上処理を施すようになっていてもよい。この場合、フレームＦＲｉの一部領域が注目フレーム表示領域１９にズームイン表示されている時にセーブボタン２０がタッチされると、画像処理部１０２は、最初にプレビューのために前記一部領域に対して画質向上処理を行い、その後にフレームＦＲｉの全体に対して画質向上処理を行う。なお、セーブボタン２０がタッチされた時点において、前記一部領域に対してバックグラウンドで画質向上処理が既に完了している場合、画像処理部１０２は、前記一部領域に対する画質向上処理をスキップして、フレームＦＲｉの全体に対して画質向上処理を行う。
【０１５６】
また、フレームＦＲｉのうち、一部領域Ａ（例えば図９の矩形Ａ）を注目フレーム表示領域１９に表示している際に、セーブボタン２０がタッチされると、一部領域Ａに対して画質向上処理を施した処理結果が注目フレーム表示領域１９に表示されることになるが、この後にフリック操作を行って一部領域Ｂ（例えば図９の矩形Ｂ）を注目フレーム表示領域１９に表示させた上でセーブボタン２０がタッチされると、一部領域Ｂに対する処理結果（画質向上処理後の画像）がワーキングメモリ部１２ｂに展開されて注目フレーム表示領域１９に表示され、一部領域Ａに対する処理結果はワーキングメモリ部１２ｂからリセット（消去）されることになる。
【０１５７】
〔変形例〕
以上示した各実施形態では、複数枚の静止画像（フレーム）を含む画像データから１枚以上の所望のフレームを印刷候補として指定する手法を説明したが、複数枚の静止画像を含む画像データとしては特に動画ファイルに限定されるものではない。前記した画像データとしては、例えば、複数枚の静止画像を含むフォルダ、複数枚の静止画像を含むＴＩＦＦファイル、複数枚の静止画像を含むＰＤＦファイルであってもよい。また、前記の画像データとしては、複数枚の静止画像を１つのファイルとして圧縮させた圧縮形式ファイル（ＺＩＰファイル等）であってもよく、この場合、圧縮形式ファイルを展開（解凍）することで、圧縮形式ファイルに含まれる各静止画像を読み出すことができる。
【０１５８】
また、以上示した実施形態では、印刷候補として指定されているフレームが注目フレームとして抽出される場合、注目フレーム表示領域１９に画質向上処理後のフレームＲＳｉを表示させる構成であったが、例えば次に述べるような構成とすることもできる。
【０１５９】
印刷候補として選択されているフレームが注目フレームとして表示される場合、表示制御部１０１は、注目フレーム表示領域１９には画質向上処理前のフレームＦＲｉを初期表示させつつ、画質向上処理前のフレームＦＲｉと画質向上処理後のフレームＲＳｉとを切り替える切替ボタン（不図示）をタッチパネル１４に表示させる。そして、切替ボタンがタッチされると、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューを、フレームＦＲｉからフレームＲＳｉに切り替える。また、注目フレーム表示領域１９にフレームＲＳｉが表示されている時にユーザが切替ボタンをタッチすると、表示制御部１０１は、注目フレーム表示領域１９に表示させるプレビューを、フレームＲＳｉからフレームＦＲｉに切り替える。このような構成によれば、ユーザは、フレームＦＲｉとフレームＲＳｉとの比較検討を容易に行え、画質向上処理の効果の確認が容易となる。
【０１６０】
あるいは、印刷候補として選択されているフレームが注目フレームとして表示される場合、表示制御部１０１は、図１３に示すように、第１注目フレーム表示領域１９ａと第２注目フレーム表示領域１９ｂとを設け、第１注目フレーム表示領域１９ａにフレームＦＲｉを表示させ、第２注目フレーム表示領域１９ｂにフレームＲＳｉを表示させるようになっていてもよい。
【０１６１】
なお、印刷候補保存部１２ａにおける画像データの保持方法はビットマップ形式でも良いし、ＪＰＥＧ圧縮形式としても良い。
【０１６２】
また、以上の各実施形態では、画像処理部１０２において、特許文献２〜５のなかのいずれか１つの文献の画質向上処理（１つの画質向上処理）を実行するようになっているが、勿論、複数の文献の各画質向上処理を組み合わせて実行してもよい。つまり、画像処理部１０２では、１種類の画質向上処理を行うようになっていてもよいし、複数の画質向上処理を行うようになっていてもよい。
【０１６３】
また、画像処理部１０２にて適用される画質向上処理は、特許文献２〜５の各方法に限らず、周知、慣用されている画像処理であれば適用できる。勿論、特許文献２〜５の画質向上処理と周知の画質向上処理のなかから選択される複数の画質向上処理を実行してもよい。
【０１６４】
なお、画像処理部１０２にて実行される画質向上処理は、以上にて述べた各実施形態のように、メーカ側にて予め設定されていてもよいし、予め定められている複数の処理のなかから、画像処理部１０２に実行させる画質向上処理をユーザが設定するようになっていてもよい。ユーザが設定するようになっている場合、例えば、動画ファイルの読み込み前に、画質向上処理をユーザに選択させるための画面をタッチパネル１４に表示させて、実行すべき画質向上処理をユーザに予め選択させておき、画像処理部１０２は、ユーザに予め選択された画質向上処理を実行するようになっていてもよい。また、ユーザが画質向上処理の強度を段階的に調整する指示を入力できるようになっていてもよい。
【０１６５】
また、以上の各実施形態では、本発明の画像処理装置の一態様として携帯端末１０を例示したが、当該画像処理装置としては携帯端末１０に限定されるものではなく、画像データを処理可能な装置であればよい。例えば、当該画像処理装置は印刷装置であってもよい。つまり、この印刷装置は、入力した動画ファイルの各フレームを表示し、ユーザに印刷候補を指定させ、ユーザに指定された印刷候補に対して画質向上処理を施すようになっており、実施形態１にて説明したバックグラウンドでの画質向上処理も行うようになっている。あるいは、本発明の画像処理装置の一実施形態として、デジタルカメラやデジタルビデオカメラが挙げられる。
【０１６６】
実施形態２において、携帯端末１０は、注目フレームについて期待度を算出して表示するようになっているが、動画ファイルを読み込むと全フレームについて期待度を算出し、全フレームの期待度を表示するようになっていてもよい。
【０１６７】
〔ソフトウェアについて〕
制御部１１は、ＣＰＵを用いてソフトウェアにて実現してもよいし、集積回路等に形成された論理回路によって実現してもよい。なお、ソフトウェアによる場合、制御部１１は、前記ソフトウェアであるプログラムがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置等の記録媒体を備えている。上記記録媒体としては、例えば、カード、ディスク、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」であってもよい。また、上記プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに伝送されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１６８】
〔まとめ〕
本発明の態様１の画像処理装置（携帯端末１０）は、画像データ（動画ファイル）に含まれる複数の静止画像（フレーム）から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部１０１と、所定画像処理（画質向上処理）を開始する第一のユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部１０２とを備え、前記第１のユーザ操作は、前記注目画像に対し前記所定画像処理を施す指示であるとともに、前記注目画像を印刷候補として指定する指示であることを特徴とする。
【０１６９】
本発明の態様１の画像処理装置によれば、画像処理装置側で、前記注目画像に対し前記所定画像処理を行い、印刷装置側で前記所定画像処理を行うことがないため、ユーザが印刷装置を長時間独占して使用してしまう不都合を抑制でき、さらに前記第１のユーザ操作が、前記所定画像処理の開始のトリガーとして機能するだけではなく、前記印刷候補の指定のトリガーとしても機能するため、ユーザの操作の手間を軽減できる。
【０１７０】
本発明の態様２の画像処理装置は、態様１に加え、ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第２のユーザ操作は、前記印刷候補に指定された前記注目画像を印刷装置に送信する指示であることを特徴とする。
【０１７１】
本発明の態様２の画像処理装置によれば、前記第２のユーザ操作は、前記印刷候補に指定された所望の前記注目画像を印刷装置に送って印刷させることができる。
【０１７２】
本発明の態様３の画像処理装置は、態様１または２に加え、前記第１のユーザ操作は、前記表示制御手段によって表示された前記注目画像の表示を前記所定画像処理前の表示から前記所定画像処理後の表示に切り替える指示であること特徴とする。
【０１７３】
本発明の態様３の画像処理装置によれば、前記第１のユーザ操作が、ユーザが選択した前記注目画像の表示を前記所定画像処理の施された表示に切り替えるため、印刷送信が可能な状態となったことを明確に判断できる。また、第１のユーザ操作が行われるまで、表示内容が変更されないので、画像処理前後の違いを見落とすことを抑制できる。
【０１７４】
本発明の態様４の画像処理装置は、態様１から３に加え、ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第３のユーザ操作は、前記注目画像の表示を前記所定画像処理後の表示から前記所定画像処理前の表示に切り替える指示であることを特徴とする。
【０１７５】
本発明の態様４の画像処理装置によれば、前記第３のユーザ操作が、ユーザが印刷候補に指定した前記注目画像の表示を前記所定画像処理の施される前の表示に切り替えるため、印刷送信が可能な状態が解除されたことを明確に判断できる。また、第３のユーザ操作が行われるまで、表示内容が変更されないので、画像処理前後の違いを見落とすことを抑制できる。
【０１７６】
本発明の態様５の画像処理装置は、態様１から４に加え、ユーザに印刷候補として指定され且つ前記所定画像処理の施された後に行われる第３のユーザ操作は、前記注目画像を印刷候補として指定する指示を中止する指示であることを特徴とする。
【０１７７】
本発明の態様５の画像処理装置によれば、前記第３のユーザ操作が、前記注目画像の印刷候補としての指定する指示を中止させるため、ユーザの快適性を損なわれることを抑制できる。
【０１７８】
本発明の態様６の画像処理装置は、態様１から５に加え、前記注目画像は、ユーザが前記複数の静止画像を順に選択可能なスクロールバーにより選択されることを特徴とする。
【０１７９】
本発明の態様６の画像処理装置によれば、複数の画像静止画像の中からの前記注目画像の選択が、スクロールバーにより容易に行えるため、ユーザの快適性を損なわれることを抑制できる。
【０１８０】
本発明の態様７の画像処理装置は、画像データに含まれる複数の静止画像から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部と、所定画像処理を開始する第１のユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部と、前記注目画像に前記所定画像を施す場合に期待される画像向上の効果の程度を示す期待度を算出する算出部とを備え、前記表示制御部は、前記注目画像と前記期待度をとともに、前記表示画面に表示させることを特徴とする。
【０１８１】
本発明の態様７の構成によれば、注目画像に所定画像処理を施す場合の効果を前記期待度によってユーザに推測させることが可能になり、注目画像を印刷候補とするか否かのユーザの判断をアシスト（サポート）できる。
【０１８２】
本発明の態様１〜７に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを本発明の態様１〜７の画像処理装置が備える各部として動作させることにより、前記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１８３】
本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。
【０１８４】
〔付記事項〕
本発明の一態様の画像処理装置（携帯端末１０）は、画像データ（動画ファイル）に含まれる複数の静止画像（フレーム）から注目画像を選択し、少なくとも前記注目画像を表示画面に表示させる表示制御部１０１と、所定画像処理（画質向上処理）を開始するトリガーとなるユーザ操作が行われると、前記注目画像に対し前記所定画像処理を施す画像処理部１０２とを備え、前記画像処理部は、前記表示制御部に前記注目画像が選択されてから前記ユーザ操作が行われていない状態が所定時間続いた場合、前記ユーザ操作が行われてなくても前記注目画像に対し前記所定画像処理を施すことを特徴とする。
【０１８５】
本発明の一態様の画像処理装置によれば、前記注目画像が選択されてから前記ユーザ操作が行われていない状態が所定時間続いた場合、前記ユーザ操作が行われてなくても所定画像処理がバックグラウンドで開始されることになる。したがって、その後に、前記ユーザ操作が行われた後のユーザが体感する処理時間（所定画像処理の処理時間）を短縮できる。これにより、所定画像処理が処理時間の長い画像処理であったとしても、ユーザの操作の快適性が損なわれることを抑制できるという効果を奏する。
【０１８６】
本発明の一態様の画像処理装置は、さらに、前記ユーザ操作が、前記注目画像に対し前記所定画像処理を施す指示であるとともに、前記注目画像を印刷候補として指定する指示であることを特徴とする。
【０１８７】
本発明の一態様の画像処理装置によれば、前記ユーザ操作が、前記所定画像処理の開始のトリガーとして機能するだけではなく、前記印刷候補の指定のトリガーとしても機能するため、ユーザの操作手間を軽減できる。
【０１８８】
本発明の一態様の画像処理装置は、さらに、前記注目画像について、所定画像処理を施す場合に期待される画質向上の効果の程度を示す期待度を算出する期待度算出処理を行う期待度算出部１０５を備え、前記表示制御部は、前記期待度を前記注目画像と一緒に前記表示画面に表示させることを特徴とする。
【０１８９】
本発明の一態様の画像処理装置によれば、注目画像に所定画像処理を施す場合の効果を前記期待度によってユーザに推測させることが可能になり、注目画像を印刷候補とするか否かのユーザの判断をアシスト（サポート）できるという効果を奏する。
【０１９０】
本発明の一態様の画像処理装置は、さらに、前記期待度算出処理は、前記注目画像について、前記所定画像処理を途中まで実行し、得られた途中結果を用いて前記期待度を求める処理であり、前記画像処理部は、前記ユーザ操作が行われた場合、または、前記表示制御部に前記注目画像が選択されてから前記ユーザ操作が行われていない状態が所定時間続いた場合、前記途中結果を流用して前記注目画像に対して前記所定画像処理を施すことを特徴とする。
【０１９１】
本発明の一態様の画像処理装置によれば、前記所定画像処理を途中まで実行して得られる途中結果から期待度を算出し、その後に、前記ユーザ操作が行われた場合、または、前記表示制御部に前記注目画像が選択されてから前記ユーザ操作が行われていない状態が所定時間続いた場合、前記の途中結果を流用して前記注目画像に対して前記所定画像処理を施している。それゆえ、前記の流用により、前記ユーザ操作が行われた後のユーザが体感する処理時間（所定画像処理に要する時間）を一層短縮可能になる。
【０１９２】
また、前記画像ファイルに含まれる複数の静止画像が所定順序でソートされている場合（例えば動画ファイルに含まれる複数のフレームが動画再生時の表示順でソートされている場合）、注目画像として現在選択されている静止画像の直前または直後の静止画像は、注目画像と同じシーンを示している可能性が高く、ユーザに注目画像と比較される可能性が高い（注目画像と、その直前（または直後）の静止画像とのうちのどちらを印刷候補とするかの判断を行うために前記の比較を行う）。
【０１９３】
そこで、本発明の一態様の画像処理装置は、さらに、前記画像データに含まれる複数の静止画像は所定順序でソートされており、前記期待度算出部は、前記注目画像についての期待度と、前記所定順序において前記注目画像の直前の静止画像についての前記期待度と、前記所定順序において前記注目画像の直後の静止画像についての前記期待度とを少なくとも算出し、前記表示制御部は、前記注目画像についての前記期待度と、前記注目画像の直前の静止画像についての前記期待度と、前記注目画像の直後の静止画像についての前記期待度とを少なくとも一緒に前記表示画面に表示させることを特徴とする。
【０１９４】
これにより、ユーザは、注目画像と、その直前または直後の静止画像との比較を容易に行うことができる。
【０１９５】
本発明の一態様の画像処理装置は、さらに、前記表示制御部によって前記注目画像として選択されている静止画像が、第１の静止画像から第２の静止画像に変わると、前記画像処理部は、第１の静止画像に対して実行されている所定画像処理を中断することを特徴とする。
【０１９６】
本発明の一態様の画像処理装置によれば、前記注目画像が前記第１の静止画像から第２の静止画像に変わった場合、前記第１の静止画像に対する所定画像処理を停止または中断するため、新たに注目画像として選択された第２の静止画像に関する各種処理に割り当てることの可能なコンピュータのリソースが不足することを抑制でき、第２の静止画像に関する各種処理が滞ることを抑制できる。
【０１９７】
前記画像処理装置が、例えば印刷装置と通信可能であり、ユーザに印刷候補として選択され且つ前記所定画像処理が施された静止画像（印刷対象画像）を当該選択の度に記憶装置に順次蓄積していき、記憶装置に蓄積された印刷対象画像を後に一括して印刷装置に送信するような構成になっている場合、記憶装置に蓄積される印刷候補が多くなり過ぎると、記憶装置、もしくはその一部に予め確保された記憶領域の残容量が少なくなるため、コンピュータのパフォーマンスの低下という不都合が生じる。
【０１９８】
そこで、本発明の一態様の画像処理装置は、さらに、ユーザに印刷候補として指定され且つ前記所定画像処理の施された後の静止画像を印刷対象画像として記憶装置に書き込むことで、前記印刷候補を記憶するようになっている第１モードと、前記印刷対象画像の代わりに、前記静止画像に固有の識別情報と前記所定画像処理を特定可能な特定情報とを含めた補助情報を記憶装置に書き込むことで、前記印刷候補を記憶するようになっている第２モードとを切り替え可能な記憶処理部を備え、前記記憶処理部は、第１モードによって印刷候補を記憶している間、前記印刷候補がユーザに追加される度に、当該追加によって記憶装置に記憶される印刷対象画像のデータ量の合計が閾値を超えることになるか否かを判定するようになっており、前記合計が前記閾値を超えることになると判定する場合、前記第１モードから第２モードに切り替えることを特徴とする。
【０１９９】
本発明の一態様の構成によれば、第１モードから第２モードへ切り替えることにより、記憶装置、もしくはその一部に予め確保された記憶領域の残容量を増加させることができ、前記の不都合を抑制できる。
【０２００】
また、この構成の場合、前記画像処理装置は、後に、前記補助情報を参照して、前記画像ファイルから印刷候補の静止画像を読み出し、印刷候補の静止画像を補助情報と共に印刷装置に送信すればよい。そして、印刷装置が、補助情報を参照して所定画像処理を施しプリントできる。或いは、前記画像処理装置が、前記画像ファイルおよび補助情報を印刷装置に送信し、前記印刷装置が、印刷候補の静止画像の読み出しおよび所定画像処理を実行するようになっていてもよい。
【０２０１】
本発明の一態様の画像処理装置は、さらに、前記表示制御部が、ユーザのズーム操作に応じて、前記静止画像の一部領域を前記注目画像として前記表示画面に表示させるようになっており、前記画像処理部が、前記ズーム操作によって前記一部領域が表示されている場合、前記所定画像処理の処理対象を、前記静止画像全体のうち前記一部領域に制限することを特徴とする。
【０２０２】
本発明の一態様の画像処理装置によれば、前記静止画像の一部領域のみを前記注目画像として表示させる場合においては、前記所定画像処理の適用範囲を前記一部領域に制限させることが可能になり、前記所定画像処理の施された前記一部領域をプレビュー表示する場合において表示までに要する時間を短縮できるという効果を奏する。
【産業上の利用可能性】
【０２０３】
本発明は、印刷対象として選択される画像に対して画像処理を施す画像処理装置に利用可能である。本発明の画像処理装置として好適な例としては、プリンタ（複合機、写真用プリンタ等を含む）、携帯端末（スマートフォン、タブレット等）、デジタルカメラ、デジタルビデオカメラ、汎用コンピュータ等が挙げられる。
【符号の説明】
【０２０４】
１０    携帯端末（画像処理装置）
１１    制御部
１２    記憶部（記憶装置）
１２ａ  印刷候補保存部（記憶装置）
１２ｂ  ワーキングメモリ部
１４    タッチパネル（表示画面）
１４ａ  表示部
１０１    表示制御部
１０２    画像処理部
１０３    記憶処理部
１０５    期待度算出部
【図１】
2019012558.tif 000004
【図２Ａ】
2019012558.tif 000005
【図２Ｂ】
2019012558.tif 000006
【図２Ｃ】
2019012558.tif 000007
【図３】
2019012558.tif 000008
【図４】
2019012558.tif 000009
【図５】
2019012558.tif 000010
【図６】
2019012558.tif 000011
【図７】
2019012558.tif 000012
【図８】
2019012558.tif 000013
【図９】
2019012558.tif 000014
【図１０】
2019012558.tif 000015
【図１１】
2019012558.tif 000016
【図１２】
2019012558.tif 000017
【図１３】
2019012558.tif 000018