(57)【要約】【課題】  動画系列から画像を抽出し多様な形態で表示することが容易な画像表示システム、方法及びプログラムを提供する。【解決手段】  複数の差込領域を規定したテンプレートを選択するためのテンプレート選択手段と、動画系列を選択するための動画選択手段と、選択された前記動画系列を、選択された前記テンプレートの前記複数の差込領域のそれぞれに対応付けることなく、第一の画像群に絞り込むための第一条件を設定するための抽出条件設定手段と、設定された前記第一条件と所定の第二条件と前記複数の差込領域の数とに基づいて前記複数の差込領域と同数の画像を含む第二の画像群を前記動画系列から抽出し、抽出した前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示する表示手段とを備えることを特徴とする。【選択図】    図１
2005077904.tif 000002
【特許請求の範囲】
【請求項１】
複数の差込領域を規定したテンプレートを選択するためのテンプレート選択手段と、
動画系列を選択するための動画選択手段と、
選択された前記動画系列を、選択された前記テンプレートの前記複数の差込領域のそれぞれに対応付けることなく、第一の画像群に絞り込むための第一条件を設定するための抽出条件設定手段と、
設定された前記第一条件と所定の第二条件と前記複数の差込領域の数とに基づいて前記複数の差込領域と同数の画像を含む第二の画像群を前記動画系列から抽出し、抽出した前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
前記第一条件は、前記動画系列に含まれる連続する第一の画像群を特定する再生期間であることを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記第二条件は、前記第一条件に基づいて絞り込まれる第一の画像群から等間隔で前記複数の差込領域と同数の画像を含む第二の画像群を抽出することであることを特徴とする請求項１又は２に記載の画像表示システム。
【請求項４】
互いの序列を有する前記複数の差込領域を規定した前記テンプレートを記憶する記憶手段をさらに備え、
前記表示手段は、前記差込領域の序列と前記第二の画像群の序列とに基づいて前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示することを特徴とする請求項１、２又は３に記載の画像表示システム。
【請求項５】
複数の差込領域を規定したテンプレートを選択するためのテンプレート選択ステップと、
動画系列を選択するための動画選択ステップと、
選択された前記動画系列を、選択された前記テンプレートの前記複数の差込領域のそれぞれに対応付けることなく、第一の画像群に絞り込むための第一条件を設定する抽出条件設定ステップと、
設定された前記第一条件と所定の第二条件と前記複数の差込領域の数とに基づいて前記複数の差込領域と同数の画像を含む第二の画像群を前記動画系列から抽出し、抽出した前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示する表示ステップと、
を含むことを特徴とする画像表示方法。
【請求項６】
複数の差込領域を規定したテンプレートを選択するためのテンプレート選択手段と、
動画系列を選択するための動画選択手段と、
選択された前記動画系列を、選択された前記テンプレートの前記複数の差込領域のそれぞれに対応付けることなく、第一の画像群に絞り込むための第一条件を設定するための抽出条件設定手段と、
設定された前記第一条件と所定の第二条件と前記複数の差込領域の数とに基づいて前記複数の差込領域と同数の画像を含む第二の画像群を前記動画系列から抽出し、抽出した前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示する表示手段としてコンピュータを機能させることを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示システム、方法及びプログラムに関し、特に動画系列をテンプレートに基づいて表示する画像表示システム、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、任意の画像（ユーザ画像）を予め作成された画像（既定画像）に差し込んで合成画像を印刷表示するためのテンプレートが知られている（例えば特許文献１参照）。
【特許文献１】特開平９−２６９９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、動画系列から静止画像（本明細書で「画像」というときは所謂「静止画像」を意味するものとする。）を抽出することが可能である。
本発明は、動画系列から画像を抽出し多様な形態で表示することが容易な画像表示システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するため、本発明に係る画像表示システムは、動画系列を差し込むための複数の差込領域を規定したテンプレートを選択するためのテンプレート選択手段と、動画系列を選択するための動画選択手段と、選択された前記動画系列から、選択された前記テンプレートの前記複数の差込領域のそれぞれに対応付けることなく、第一の画像群を抽出するための第一条件を設定するため条件設定手段と、設定された前記第一条件と所定の第二条件と前記複数の差込領域の数とに基づいて前記複数の差込領域と同数の画像を含む第二の画像群を前記動画系列から抽出し、抽出した前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示する表示手段と、を備えることを特徴とする。動画系列から抽出した画像をテンプレートに差し込んで表示することにより、動画系列から抽出した画像を容易に多様な形態で表示することができる。テンプレートに規定された複数の差込領域に差し込む画像を、差込領域と一対一で対応付けて動画系列から選択することに比べ、複数の差込領域のそれぞれに対応付けずにまとめて選択することは容易である。そこで、まず、複数の差込領域に差し込む画像をユーザが設定する第一条件でまとめて絞り込み、次に、テンプレートの差込領域と同数の画像を、第一条件で絞り込まれる第一の画像群から所定の第二条件で抽出する。さらに、第二条件で抽出した第二の画像群とテンプレートの複数の差込領域とを一対一で対応付け、第二の画像群をテンプレートの複数の差込領域に差し込んで表示する。このような一連の処理により、テンプレートの複数の差込領域に一対一で対応付ける画像群を動画系列から抽出することが容易になる。
【０００５】
さらに本発明に係る画像表示システムでは、前記第一条件は、前記動画系列に含まれる連続する第一の画像群を特定する再生期間であることを特徴とする。再生期間を設定すればよいため、テンプレートの複数の差込領域に一対一で対応付ける画像群を動画系列から抽出することが容易である。
【０００６】
さらに本発明に係る画像表示システムでは、前記第二条件は、前記第一条件に基づいて絞り込まれる第一の画像群から等間隔で前記複数の差込領域と同数の画像を含む第二の画像群を抽出することであることを特徴とする。第一の画像群から等間隔で画像を抽出することにより、画像の対象物の動きに変化のある画像群をテンプレートに差し込むことが容易になる。
【０００７】
さらに本発明に係る画像表示システムでは、互いの序列を有する前記複数の差込領域を規定した前記テンプレートを記憶する記憶手段をさらに備え、前記表示手段は、前記差込領域の序列と前記第二の画像群の序列とに基づいて前記第二の画像群に含まれる複数の画像を前記複数の差込領域に一対一で差し込んで表示することを特徴とする。テンプレートの複数の差込領域に予め序列を決めておき、差込表示する際には、動画から抽出される第二の画像群の序列と差込領域の序列とを対応付け、第二の画像群をテンプレートの複数の差込領域に差し込んで表示すると、動画系列から抽出した画像の表示形態を予めきめ細かく設定することができる。
【０００８】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記憶した記憶媒体の発明としても、方法の発明としても特定することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を実施例に基づいて説明する。
図２は、本発明の一実施例に係る画像表示システムを構成するパーソナルコンピュータ１（以下、ＰＣ１という。）およびプリンタ２を示す模式図である。ＰＣ１とプリンタ２はケーブルで接続されている。ＰＣ１は、画像を表示するＣＲＴあるいはＬＣＤ等のモニター３と、操作部としてのキーボード４及びマウス５とを備えている。また、ＰＣ１は、カード型ＩＣメモリやフレキシブルディスク等のリムーバブルメモリ６を用いてデータの入出力を可能とするためのインターフェースを備えている。プリンタ２は印刷表示機能を備え、ＰＣ１で生成された印刷データに基づき、画像の印刷を行う。
【００１０】
図３は、画像表示システム１０を示すブロック図である。ＣＰＵ１１はＲＯＭ１２あるいはハードディスク装置（ＨＤＤ）１４に記憶されたプログラムを実行することにより、画像表示システム全体を制御する。ＲＡＭ１３は、ＣＰＵ１１で実行するプログラムや入力部１６から入力された画像ファイル等のデータを一時的に記憶するメモリである。ＨＤＤ１４は、ＣＰＵ１１で実行されるプログラム、入力部１６、通信部１８から入力された画像ファイル等の各種データを記憶する。操作部１５はキーボード４、マウス５等を備え、ユーザの操作を受け付ける。入力部１６は、リムーバブルメモリ６に記憶された画像ファイル、テンプレート等の入力を受け付ける。
【００１１】
テンプレートに差し込まれる画像ファイルには、ディジタルカメラ等で撮影されＪＰＥＧ方式等で圧縮された静止画像ファイル、同じくディジタルカメラ等で撮影されＭｏｔｉｏｎ−ＪＰＥＧ方式やＭＰＥＧ方式で圧縮された動画系列ファイルが含まれる。本実施例においては、テンプレートに差し込まれる動画系列ファイルは、Ｍｏｔｉｏｎ−ＪＰＥＧ方式のようにフレーム内で個別に圧縮された静止画像が時系列順に連ねて記憶され、フレーム番号等の識別子が時系列順に画像ごとに付されているものとして説明する。
【００１２】
ＣＰＵ１１で実行されるプログラムには、画像表示プログラムが含まれる。画像表示プログラムは、ユーザにより指定された動画系列ファイルから抽出した画像を選択されたテンプレートの差込領域に差し込み、合成画像のディジタル画像データを生成し、色空間の変更処理、解像度変換処理、ハーフトーン処理、インターレース処理等を実行し、印刷データを生成する。
【００１３】
画面表示部１７は、ユーザが所望の印刷結果を得るための各種の選択画面、画像表示プログラムにより生成された合成画像のディジタル画像を表示する。印刷表示部１９は、画像表示プログラムにおいて生成された印刷データに基づき印刷を行う。尚、画像データから印刷データへの変換をプリンタ２で行ってもよい。これらのプログラムや画像ファイル、テンプレート等の各種のデータは、通信部１８を介して所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。
【００１４】
図１は、本発明の一実施例の概略を示す模式図である。画像表示プログラムは、ユーザにより選択された動画系列ファイル３１に記憶され撮影時間に対応したフレーム番号が付された連続する画像の中から、ユーザにより設定された再生期間に属する連続した画像（図例では、再生期間の「開始時」に対応する画像“００１００１”から再生期間の「終了時」に対応する画像“００１０１０”まで）の中で、ユーザにより設定された抽出条件（図例では、「等間隔」の抽出条件で１画像おきに抽出している。）に応じて、テンプレートで指定された差込領域（図例では、差込領域３２、３３、３４、３５、３６）と同数の画像を抽出し、差込領域に差し込んで合成画像のディジタル画像３７を生成する。
【００１５】
図４は、テンプレートのデータ構造を示す模式図、図５は、テンプレートを示す模式図である。テンプレートは、記憶手段としてのＨＤＤ１４、ＲＯＭ１２または図示されない内部フラッシュメモリ等に記憶されている。また、テンプレートは、入力部１６や通信部１８を介して外部から入力してもよい。テンプレート４１には、このテンプレートに基づいて印刷される印刷用紙サイズ、文字の割り付けを規定する文字表示スクリプト４２、動画系列の割り付けを規定する動画表示スクリプト４３、動画系列から抽出された画像の差込領域を既定する静止画表示スクリプト４４等が記憶されている。
文字表示スクリプト４２には、表示するテキストとそのフォント、サイズ、及び、テキストの印刷用紙上での位置をその矩形領域の左上点と右下点の座標で示すテキスト枠座標等が規定されている。
【００１６】
次に、動画表示スクリプト４３について説明する。動画表示スクリプト４３には、差込領域を規定した静止画スクリプトを特定するためのグループＩＤ、ユーザにより選択された動画系列のファイル名を規定するムービーＩＤ、ユーザにより設定された再生期間の開始時及び終了時のフレーム番号を規定する再生期間、画質等が規定されている。これらのテンプレートに書き込まれているデータのうち、ムービーＩＤ及び再生期間が設定されていない場合、画像表示プログラムでは、後述するムービーファイル選択画面及び再生期間設定画面等でユーザの設定を受け付ける。
【００１７】
次に、静止画表示スクリプト４４について説明する。静止画表示スクリプト４４には、グループＩＤ、差込領域の序列を規定するフォトＩＤ、差込領域の印刷用紙上での位置をその矩形領域の左上点と右下点の座標で示す静止画像枠座標、画像と画像枠の位置関係を規定するフィッティング規則、アライメント規則等が記憶されている。動画表示スクリプト４３に記憶されているグループＩＤと同じ数値がグループＩＤに記憶されている静止画表示スクリプト４４の差込領域には、その動画系列ファイルから抽出された画像が差し込まれる。例えば、図例について具体的に説明すると、「グループＩＤ＝１」と記憶されている５つの静止画表示スクリプト４４の差込領域に、「グループＩＤ＝１」の動画表示スクリプト４３によって動画系列から抽出される５つの画像が差し込まれる。フォトＩＤは、同一のグループＩＤが付された静止画表示スクリプト４４のいずれかの差込領域に動画系列から抽出される各画像を一義的に対応付けるための識別子である。フィッティング規則、アライメント規則とは、画像をアスペクト比が異なる画像枠に当てはめるとき、画像をクリッピングする箇所や画像枠内に残す余白の位置を規定するパラメータである。尚、本実施例においては、静止画表示スクリプトについて、グループＩＤに数値が記憶されている場合について説明したが、グループＩＤにヌル値等を記憶し、静止画像ファイル名等の画像を特定する識別子をフォトＩＤに記憶すれば、静止画像の表示をすることができる。
【００１８】
図６はテンプレート選択手段としてのテンプレート選択画面、図７は動画選択手段としてのムービーファイル選択画面、図８は抽出条件設定手段としての再生期間設定画面、図９はフレームの抽出条件設定画面、図１０は表示手段としてのプレビュー画面、図１１は画像表示プログラムのフローチャートである。以下、本実施例の画像表示プログラムにおける画像表示処理の詳細についてこれらの図面に基づいて説明する。
【００１９】
ＰＣ１は、ユーザにより画像表示プログラムが起動されると、画面表示部１７にテンプレート選択画面５１を表示し、キーボード４及びマウス５により所望のテンプレートを選択するユーザの操作を受け付ける。テンプレート選択画面５１には、テンプレートのサムネイル５２、５３、５４、５５等が表示され、このテンプレートのサムネイルは、テンプレートのファイル名を列記し、表示するだけでもよい。画像表示プログラムは、テンプレート選択ステップとしてのステップＳ１０１において、テンプレート選択画面５１でいずれかのサムネイルがクリック等されてテンプレートが選択されると、ステップＳ１０２において、選択されたテンプレート４１をＲＡＭ１３に読み出す。
【００２０】
次に、ＰＣ１は、画像表示部１７にムービーファイル選択画面６１を表示する。ムービーファイル選択画面６１には、ＨＤＤ１４等に記憶されている動画系列ファイル内の画像のサムネイル６２、６３、６４、６５、６６、６７が表示される。このサムネイルは、動画系列ファイルの第一番目のフレームのサムネイルでもよいし、あらかじめユーザにより登録されたフレームのサムネイルでもよい。また、特定フレームのサムネイルではなく、動画系列ファイルのファイル名を列記して表示してもよい。ユーザは、キーボード及びマウス５を操作して所望の動画系列ファイルを選択する。画像表示プログラムは、動画選択ステップとしてのステップＳ１０３において、ムービーファイル選択画面６１で動画系列ファイルが選択されると、選択された動画系列ファイルのファイル名を、ＲＡＭ１３に記憶する。
【００２１】
次に、ＰＣ１は、画像表示部１７に再生期間設定画面７１を表示する。再生期間設定画面７１には、開始時画像を表示する第一領域７２、終了時画像を表示する第二領域７３、選択された動画系列ファイルの撮影時間に対応する帯状の表示７４、前記帯状の表示の一点を指し開始時の画像のフレーム番号を設定するポインタ７５、前記帯状の表示の一点を指し終了時の画像のフレーム番号を設定するポインタ７６等が表示される。ユーザが、キーボード４及びマウス５を操作し、ポインタ７５、７６を左右に移動させることにより、ポインタが指し示すフレーム番号の画像が第一領域７２または第二領域７３に表示され、ユーザは、再生期間を設定することができる。画像表示プログラムは、抽出条件設定ステップとしてのステップＳ１０４において、再生期間設定画面７１で再生期間が設定されると、再生期間の開始時及び終了時のフレーム番号をＲＡＭ１３に記憶する。
【００２２】
次に、ＰＣ１は、画像表示部１７にフレームの抽出条件設定画面８１を表示する。フレームの抽出条件設定画面８１には、選択された再生期間の中の画像のうち、差込領域に表示する画像をどのように抽出するかをユーザが設定する画面であり、「等間隔」、「ランダム」、「先頭から連続」等が表示されている。ユーザは、キーボード４及びマウス５を操作し、抽出条件を選択する。画像表示プログラムは、ステップＳ１０５において、フレームの抽出条件設定画面８１でフレームの抽出条件が設定されると、表示ステップとしてのステップＳ１０６において、選択された動画系列ファイルの再生期間に対応する画像から、フレームの抽出条件に当てはまる画像を、テンプレートで規定されている差込領域の数だけ抽出し、各差込領域のフォトＩＤで示される序列に従い、画像をフレーム番号順に当てはめ、合成画像のディジタル画像データを生成し、プレビュー画面９１を画像表示部１７に表示する。次に、ＰＣ１は、ディジタル画像データから印刷データを生成し、印刷データをプリンタ２に出力する。プリンタ２は印刷データに基づいて印刷を実行する（ステップＳ１０７）。
【００２３】
ここで、例えば、フレームの抽出条件として「等間隔」が選択されたとして、ステップＳ１０６の処理を具体的に説明する。選択された動画系列ファイルにおいて、再生期間がフレーム番号１０００１から１２０００のとき、含まれる画像の数２０００をグループＩＤで指定される差込領域の数５で割って算出した商４００を画像の抽出間隔とし、開始時の画像（フレーム番号１０００１）から４００画像ごとにフォトＩＤで示される序列に従い、差込領域に割り付けていく。すなわち、フォトＩＤ＝１の差込領域にはフレーム番号“１０００１”の画像、フォトＩＤ＝２の差込領域にはフレーム番号“１０４０１”の画像、フォトＩＤ＝３の差込領域にはフレーム番号“１０８０１”の画像、フォトＩＤ＝４の差込領域にはフレーム番号“１１２０１”の画像、フォトＩＤ＝５の差込領域にはフレーム番号“１１６０１”の画像を割り付ける。
【００２４】
また、フレームの抽出条件として「ランダム」が選択されたとして、ステップＳ１０６の処理を説明する。画像表示プログラムは、選択された動画系列ファイルにおいて、発生させた乱数を用いて再生期間に対応するフレームの中から無作為に画像を抽出し、差込領域に割り付ける。このとき、画像は抽出された順にフォトＩＤで序列が規定された差込領域に順に割り付けてもよいし、抽出された全画像を時系列順に並べてから差し込み領域に順に割り付けてもよい。
【００２５】
本実施例においては、画像表示システムとしてＰＣとプリンタが協働してテンプレート選択と動画選択と抽出条件設定と表示とを行うものとして説明したが、ＬＣＤなどで構成されるディスプレイ、ジョグキー、各種ボタンを備えた操作パネルと制御部とを備えたスタンドアロン型プリンタ単体でこれらを実現してもよい。また、機能を分割する場合でも、例えば撮影機能つき携帯電話等、低速のプロセッサで小容量のメモリを備えた携帯型情報端末において、画像表示プログラムのステップＳ１０３までを行い、テンプレートと動画系列ファイルを関連づけてスタンドアロン型プリンタに出力してもよいし、ステップＳ１０４までをＰＣが行い、「ムービーＩＤ」が書き込まれているテンプレートと動画系列ファイルの再生期間に属する画像データをスタンドアロン型プリンタに出力してもよいし、ステップＳ１０６において、図１２に示すようなテンプレートに割り付ける画像を特定する識別子（例えば画像ファイル名としての「００１００１」）を書き込んだ印刷制御情報とテンプレートに割り当てられた画像をスタンドアロン型プリンタに出力してもよく、スタンドアロン型プリンタの制御部においてそれ以降の処理を行い、印刷表示を行ってもよい。また、本実施例の画像表示システムは、画面表示機能と印刷表示機能の両者を備えるとして説明したが、画面表示機能だけ備えていてもよい。
【００２６】
また、本実施例においては、第一の画像群に絞り込むための第一条件として再生期間をユーザに選択させたが、ひとつの動画系列ファイルに複数のシーンが含まれている場合、その中の特定のシーンをユーザに選択させてもよい。シーンの変わり目の判定は、各フレームの画像の差異を分析したり、撮影時に「停止」「一時停止」ボタンの押下時等を動画系列ファイルに記憶しておくことにより実現できる。また、再生期間の設定方法として開始時と終了時の画像を指定するとしたが、開始時のフレームからの撮影時間あるいはフレーム数を指定するようにしてもよい。
以上のように、本発明の実施例に示す画像表示システムによれば、テンプレートの複数の差込領域に一対一で対応付ける画像群を動画系列から容易に抽出し合成画像を生成することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例に係る画像処理の概要を示す模式図。
【図２】本発明の実施例に係る画像表示システムを示す模式図。
【図３】本発明の実施例に係る画像処理装置のブロック図。
【図４】本発明の実施例に係るテンプレートのデータ構造を示す模式図。
【図５】本発明の実施例に係るテンプレートを示す模式図。
【図６】本発明の実施例に係るテンプレート選択画面を示す模式図。
【図７】本発明の実施例に係るムービーファイル選択画面を示す模式図。
【図８】本発明の実施例に係る再生期間設定画面を示す模式図。
【図９】本発明の実施例に係るフレーム抽出条件設定画面を示す模式図。
【図１０】本発明の実施例に係るプレビュー画面を示す模式図。
【図１１】本発明の実施例に係る画像表示プログラムのフローチャート。
【図１２】本発明の実施例に係るテンプレートを示す模式図。
【符号の説明】
【００２８】
１  パーソナルコンピュータ（画像表示システム）、  ２  プリンタ（画像表示システム）、１２  ＲＯＭ（記憶装置）、１４  ＨＤＤ（記憶装置）、４１  テンプレート、５１  テンプレート選択画面（テンプレート選択手段）、６１  ムービーファイル選択画面（動画選択手段）、７１  再生期間設定画面（抽出条件設定手段）、８１  プレビュー画面（表示手段）
【図１】
2005077904.tif 000003
【図２】
2005077904.tif 000004
【図３】
2005077904.tif 000005
【図４】
2005077904.tif 000006
【図５】
2005077904.tif 000007
【図６】
2005077904.tif 000008
【図７】
2005077904.tif 000009
【図８】
2005077904.tif 000010
【図９】
2005077904.tif 000011
【図１０】
2005077904.tif 000012
【図１１】
2005077904.tif 000013
【図１２】
2005077904.tif 000014