(57)【要約】【課題】処理量が過大となることなく、ユーザが飽きにくい画像を出力することの可能な電子機器及び画像出力方法を提供することを課題とする。【解決手段】切替部３３はスライドショーとフォトムービーの出力を切り替えることができる。スライドショーを出力するとき、切替部３３はスライドショー表示制御部３１にスライドショーを生成及び再生させ、これを出力する。また、フォトムービーを出力するとき、切替部３３はフォトムービー表示制御部３２にフォトムービーを生成及び再生させ、これを出力する。切替部３３は表示動作制御部３５からの指示によってスライドショーとフォトムービーとの出力を切り替える。【選択図】図３
2011217183.tif 000002
【特許請求の範囲】
【請求項１】
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第１の画像表示形態を生成する第１の生成手段と、
1以上の静止画像を順次切り替える第２の画像表示形態を生成する第２の生成手段と、
生成された前記第１の画像表示形態または第２の画像表示形態を出力する出力手段であって、出力中の画像表示形態から他方の画像表示形態へと切り替える出力手段と、
を具備することを特徴とする電子機器。
【請求項２】
前記静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段を
更に具備することを特徴とする請求項１記載の電子機器。
【請求項３】
前記選択手段は、所定時刻となるときに前記第１の画像表示形態の出力と前記第２の画像表示形態の出力とを切り替えること
を特徴とする請求項１記載の電子機器。
【請求項４】
前記出力手段は、第１の画像表示形態では音声を出力し、前記第２の画像表示形態では音声を出力しないことを特徴とする請求項１記載の電子機器。
【請求項５】
静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段と、
静止画像の画像特徴量を検出する検出手段と、
静止画像と、この静止画像の画像特徴量とを対応付けて前記記憶手段に格納する格納手段と、
を更に具備することを特徴とする請求項１記載の電子機器。
【請求項６】
動画像から静止画像を抽出する抽出手段を更に具備し、
前記第１の生成手段及び前記第２の生成手段は、前記動画像から抽出された静止画像を含む、第１の画像表示形態及び前記第２の画像表示形態を生成すること
を特徴とする請求項1記載の電子機器。
【請求項７】
前記出力手段が出力する映像を表示する表示手段
を更に具備することを特徴とする請求項１記載の電子機器。
【請求項８】
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施して生成される第１の画像表示形態と、1以上の静止画像を順次切り替える第２の画像表示形態とを選択的に出力する画像出力方法であって、
前記第１の画像表示形態と前記第２の画像表示形態とのうち、一方の画像表示形態の出力しているとき、他方の画像表示形態に出力を切り替えること
を特徴とする画像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を出力する電子機器及び該機器に適用されうる画像出力方法に関する。
【背景技術】
【０００２】
近年、デジタルフォトフレーム等と称される画像再生装置が普及し始めている。デジタルフォトフレームは、例えば、カード型記憶メディアに格納される１以上の静止画像を所定のタイミングで順次表示するスライドショー機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、１以上の静止画像を所定のタイミングで順次表示するスライドショー機能を有するものが一般的である。
【０００３】
また、１以上の静止画像を素材として使用し、その素材に加工を施した動画を作成するフォトムービー機能も、利用されるようになってきている。フォトムービーにおいては、音楽の音声データを使用して、ＢＧＭを付加した動画を作成するものが一般的である。
【０００４】
フォトムービーの作成方法として、静止画像素材の評価や絞り込みを行うことで、ストーリー性のあるフォトムービーを作成する画像編集装置が提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
フォトムービーのみをずっと表示し続ける場合には単調な画像表示が続き、フォトムービーのみをずっと表示し続ける場合には表示がめまぐるしく変化する画像表示が続くため、
ユーザはどちらか一方のみを視聴し続けるとき、これに飽きてしまう可能性がある。賑やかなＢＧＭを付加したフォトムービーを表示し続けると、常時音楽が出力されつづけるため、ユーザがうるさく感じる可能性がある。また、フォトムービーを生成するとき電子機器の処理量は大きいため、長時間フォトムービーを表示し続けるとすると、電子機器の処理が過大となってしまい、大きな電力消費、又は機器の寿命の低下等の問題を招く可能性がある。
【０００７】
本発明は上記問題に鑑みてなされたものであって、処理量が過大となることなく、ユーザが飽きにくい画像を出力することの可能な電子機器及び画像出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる電子機器は、1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第１の画像表示形態を生成する第１の生成手段と、1以上の静止画像を順次切り替える第２の画像表示形態を生成する第２の生成手段と、生成された前記第１の画像表示形態または第２の画像表示形態を出力する出力手段であって、出力中の画像表示形態から他方の画像表示形態へと切り替える出力手段と、を具備することを特徴としている。
【発明の効果】
【０００９】
本発明によると、処理量が過大となることなく、ユーザが飽きにくい画像を出力することの可能な電子機器及び画像出力方法を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器のシステム構成を示すブロック図。
【図３】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムの機能構成を示すブロック図。
【図４】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムのスライドショー表示制御部の機能構成を示すブロック図。
【図５】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムのフォトムービー表示制御部の機能構成を示すブロック図。
【図６】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムのフォトムービー表示制御部が用いる素材情報の例を示す図。
【図７】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムのフォトムービー表示制御部が用いる中間ファイルの例を示す図。
【図８】同実施形態の電子機器によって実行される画像表示アプリケーションプログラムのフォトムービー表示制御部が用いる再生履歴情報の例を示す図。
【図９】同実施形態の電子機器によって実行されるインデキシング処理に関する処理の一例を示すフロー図。
【図１０】同実施形態の電子機器によって実行されるスライドショー及びフォトムービーの再生表示処理の一例を示すフロー図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
【００１２】
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（Liquid Crystal Display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
【００１３】
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。
【００１４】
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（Universal Serial Bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばＨＤＭＩ(High-Definition Multimedia Interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【００１５】
図２は、本コンピュータ１０のシステム構成を示す図である。
【００１６】
本コンピュータ１０は、図２に示されているように、ＣＰＵ（Central Processing Unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:Random Access Memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（Basic Input/Output System-Read Only Memory）１０７、ＬＡＮ（Local Area Network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０９、光ディスクドライブ（ＯＤＤ:Optical Disk Drive）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）１１４等を備える。
【００１７】
ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ:Operating System）２０１、及び画像表示アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。画像表示アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された画像を表示するためのソフトウェアである。この画像表示アプリケーションプログラム２０２は、スライドショー表示機能およびフォトムービー表示機能を有している。ここで、スライドショー表示機能とは、例えばＨＤＤ１０９等に格納された静止画像（写真等）のデジタルコンテンツを用いて、この画像を連続して表示する機能である。また、フォトムービー表示機能は、例えば、ＨＤＤ１０９等に格納された画像（写真等）のデジタルコンテンツを用いて一連の動画像を作成し、この動画像を表示する機能である。スライドショー表示機能及びフォトムービー表示機能に関しては、後述にてさらに詳細に説明する。
【００１８】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１９】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２０】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３及びＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００２１】
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２２】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２３】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂ又はＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００２４】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
【００２５】
次に、図３を参照して、以上のような構成をもつ本コンピュータ１０上で動作する画像表示アプリケーションプログラム２０２の機能構成の一例を説明する。上述のスライドショー表示機能及びフォトムービー表示機能は、ＨＤＤ１０９に格納された静止画像だけでなく、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して外部デバイス（デジタルカメラ、メモリカード）からリードされた静止画像データ５１に対しても適用することができる。
【００２６】
図３に示すように画像表示アプリケーションプログラム２０２は、静止画像抽出部３０、スライドショー表示制御部３１、フォトムービー表示制御部３２、切替部３３、及び表示動作制御部３５を備える。また、動画データベース４０、素材データベース４１、素材情報データベース４２、中間ファイルデータベース４３、及び再生情報データベース４４はＨＤＤ１０９の一部の領域である。
【００２７】
静止画像抽出部３０は動画データベース４０に格納された例えばユーザが撮影した等の動画であるユーザ動画より静止画像（ユーザ動画の１フレーム）を抽出する抽出処理を実行する機能を有する。動画データベース４０にはユーザ動画が格納されており、静止画像抽出部３０はこのユーザ動画の一枚のフレームを抽出し、静止画像として素材データベースに格納する。また、静止画抽出部３０はユーザ動画より静止画像を抽出するとき、ユーザ動画の撮像日時、すなわち、ユーザ動画の先頭フレームの撮像日時と、複数のフレームの各々のフレーム番号とに基づいて、抽出する画像の撮像日時を算出し、この情報をフォトムービー表示制御部３２に対して送信する。この撮像日時の利用方法に関しては、後に図５を用いて説明を行う。
【００２８】
スライドショー表示制御部３１は素材データベース４１に格納された静止画像を用いてスライドショー（第２の画像表示形態）を作成する機能を有している。このとき、静止画抽出部３０によってユーザ動画より抽出された静止画像もスライドショー作成のために用いられる静止画像の対象となり得る。スライドショー表示制御部３１は作成したスライドショーを切替部３３に対して出力する。スライドショー表示制御部３１の内部構成については図４を用いて後述にて説明を行う。
【００２９】
フォトムービー表示制御部３２は素材データベース４１、素材情報データベース４２に格納された各種情報（例えば、画像の特徴量等）を用いてフォトムービー（第１の画像表示形態）を作成する機能を有している。また、フォトムービー表示制御部３２はフォトムービーを作成するとき、フォトムービーに用いる１以上の静止画像（写真）が格納される位置（ファイルパス）と、これら１以上の静止画像の各々が表示される表示タイミングとを示す動画像情報データ（中間ファイル）を作成する。フォトムービー表示制御部３２は、この動画像情報データに基づいて、１以上の静止画像の各々が所定の表示タイミングで表示される動画像を再生し、切替部３３に対して出力する。またフォトムービー表示制御部３２は、上記動画像情報データを中間ファイルデータベース４３に格納する。更に、フォトムービー表示制御部３２は、パーソナルコンピュータ１０がフォトムービーを再生するときの再生履歴の情報等を再生情報データベースに格納する。また、フォトムービー作成時、静止画抽出部３０によってユーザ動画より抽出された静止画像もフォトムービー作成のために用いられる静止画像の対象となり得る。フォトムービー表示制御部３２の内部構成については、図５を用いて後述にて詳細に説明を行う。
【００３０】
切替部３３は入力されるスライドショーとフォトムービーとを選択的に出力する機能を有している。切替部３３は表示動作制御部３４からの指示に基づいて、スライドショー表示制御部３１／フォトムービー表示制御部３２に対し、スライドショー／フォトムービーを生成するように指示を行い、生成されたスライドショー／フォトムービーをＬＣＤ１７で表示されるように出力する。つまりスライドショー（第２の画像表示形態）とフォトムービー（第１の画像表示形態）との出力を切り替える。
【００３１】
ＲＴＣ３４は、計時機能を有するモジュールであり（Real Time Clock）、現在の時刻を計測する機能を有している。ＲＴＣ３４は表示動作制御部３５に時刻情報を出力する。
【００３２】
表示動作制御部３５は、ＲＴＣ３４から入力された時刻情報に基づいて、切替部３３にスライドショーとフォトムービーのどちらを出力させるかを判別する機能を有している。表示動作制御部３５は、ＲＴＣ３４から入力される時刻が所定の時刻となるときにスライドショーとフォトムービーの出力を切り替えるように切替部３３に対して指示を送信する。
【００３３】
上述のように画像表示アプリケーションプログラム２０２は作成するスライドショー及びフォトムービーを時刻情報に基づいて選択的に出力する機能を有している。つまり、フォトムービーを出力しているとき、フォトムービーからスライドショーへと出力を切り替えたり、スライドショーを出力しているとき、スライドショーからフォトムービーへと出力を切り替えたりすることができる。
【００３４】
また、画像表示アプリケーションプログラム２０２は動画像としてパーソナルコンピュータ１０に格納されていたユーザ動画の一部である画像をスライドショー又はフォトムービーとして出力することができる。
【００３５】
次に、図４を用いてスライドショー表示制御部３１の内部構成についての説明を行う。
【００３６】
図４に示すようにスライドショー表示制御部３１はスライドショー生成部３１１及び再生部３１２を有している。
【００３７】
スライドショー生成部３１１は切替部３３よりスライドショー生成指示を受けると、これに従ってスライドショーを生成する機能を有している。スライドショー生成部３１１は素材データベース４１に格納されたデータに基づいてスライドショーを生成する。
【００３８】
素材データベース４１は、静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ等の素材データが格納されるＨＤＤ１０９内に用意された記憶領域である。音声データ４１Ａは、フォトムービーのＢＧＭとして用いられる音楽や効果音等のデータを含む。エフェクトデータ４１Ｂは、スライドショー／フォトムービーに用いられる静止画像に対して、ズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等のエフェクトを施すためのデータを含む。トランジションデータ４１Ｃは、スライドショー／フォトムービーにおいて、画面（静止画像）が切り替えられる際に用いられるズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等のトランジションのデータを含む。また、素材データベース４１には、各フォトムービーの代表サムネイル画像や、フォトムービーに登場する人物の顔画像も格納され得る。
【００３９】
再生部３１２は、スライドショー生成部３１１によって生成されたスライドショーを再生する。再生部３２７は、再生されたスライドショーを切替部３３に対して出力する。
【００４０】
ここで、スライドショーを生成する際のスライドショー生成部３１１の動作の一例を次に示す。
【００４１】
先ず、スライドショー生成部３１１はスライドショー生成指示を切替部３３より受信すると、素材データベース４１から１以上の静止画像データ５１を読み出す。同様に、スライドショー生成部３１１は、素材データベース４１から対応するエフェクトデータ４１Ｂ及びトランジションデータ４１Ｃを読み出す。
【００４２】
次いで、スライドショー生成部３１１は、エフェクト情報に含まれるエフェクトパラメータに基づいて、読み出された静止画像データ５１に対してエフェクトを施し、トランジション情報に含まれるトランジションパラメータに基づいて、静止画像データ５１に対してトランジションを施すことにより、スライドショーを生成する。エフェクトパラメータ及びトランジションパラメータには、上述のように、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。スライドショー生成部３１１は、このようなパラメータに指定された値に基づいて、エフェクトやトランジションが施された静止画像データ５１が表示されるスライドショーを生成する。ここでのエフェクト処理やトランジション処理は、画像の特徴量に基づいて行われるようなものではなく、ランダムに選ばれたエフェクトやトランジションによって行われる。
【００４３】
スライドショー生成部３１１によって生成されたスライドショーは再生部３１２によって再生され、切替部に出力される。
【００４４】
スライドショー生成部３１１は素材データベース４１の静止画像データ５１をランダムに読み出し、読み出した静止画像データ５１に関する情報を記憶する。ここでの読み出した静止画像データ５１に関する情報とは、例えば静止画像データ５１のファイルパスやファイル名等が考えられる。この情報は静止画像データ５１のそれぞれのファイルから情報を抽出する。スライドショー生成部３１１は素材データベース４１からランダムに静止画像データ５１を読み出すが、この静止画像データ５１に関する情報に基づいて、一度読み出した静止画像データ５１は読み出さず、未だスライドショーとして表示されていない画像を含むスライドショーを生成する。しかし、例えばスライドショーによって素材データベース４１に格納された全ての静止画像データ５１が表示された場合や、画像表示アプリケーションが一度終了した後は、この限りではなく、一度表示された静止画像データであっても再度表示されうる。
【００４５】
また、スライドショー生成部３１１はスライドショーの再生中に静止画像データ５１を素材データベース４２より読み出す。そして読み出した静止画像データ５１を用いて現在再生中のスライドショーに継続するスライドショーを生成する。このようにスライドショーはスライドショーの停止指示を受けるまで継続的に生成、再生される。つまりスライドショーは一纏りとして扱うことの可能な動画像を構成するものではない。また、スライドショー生成部３１１は、スライドショーとして出力した静止画像の順番、及びスライドショーの生成に利用したエフェクトデータ、トランジションデータ等に関する情報は記憶しておらず、一度生成したスライドショーと全く同一のスライドショーが生成されることは少ない。
【００４６】
次に、図５を用いてフォトムービー表示制御部３２の内部構成についての説明を行う。
【００４７】
フォトムービー表示制御部３２は、インデキシング部３２０、インタラクティブ作成部３２１、自動作成部３２２、中間ファイル生成部３２３、インタラクティブ再生制御部３２４、自動再生制御部３２５、動画像データ生成部３２６、再生部３２７、及び再生履歴管理部３２８を備える。
【００４８】
インデキシング部３２０は、各静止画像５１に対応する素材情報データ４２Ａを生成するためのインデキシング処理を実行する。素材情報データ４２Ａは、素材データベース４１（ＨＤＤ１０９）に格納された静止画像データ５１の中から目的の静止画像を探し出すために用いられる。
【００４９】
インデキシング処理では、例えば、静止画像データ５１から顔画像を検出する顔検出処理が実行される。複数の顔画像を含む静止画像については、それら複数の顔画像それぞれが検出される。顔画像の検出は、例えば、静止画像データの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。この様にインデキシング処理では画像の特徴量を検出する。
【００５０】
また、インデキシング部３２０は、検出された顔画像を分類してもよい。インデキシング部３２０は、静止画像データ５１から検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。さらに、インデキシング部３２０は、検出された顔画像に対応する人物を識別してもよい。その場合、インデキシング部３２０は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。
【００５１】
また、インデキシング部３２０は、静止画像に含まれるオブジェクトや撮像日時等に基づいてイベントを推定するイベント検出処理を実行する。インデキシング部３２０は、例えば、誕生日やクリスマス等のイベントの日付と、静止画像の撮像日時との対応に基づいて、静止画像に対して推定されるイベントを決定する。
【００５２】
さらに、インデキシング部３２０は、撮像日時に基づいて静止画像をグループ化するグループ化処理を実行してもよい。インデキシング部３２０は、例えば、撮像日時が時間的に連続する２つの静止画像データ５１において、その撮像日時の差がしきい値より小さいときに、これら２つの静止画像データ５１を同一のグループに分類する。また、インデキシング部３２０は、例えば、撮像日時の差がしきい値以上であるときに、これら２つの静止画像データ５１を別のグループに分類する。また、静止画像データ５１が動画像データを構成する複数のフレームそれぞれの画像であった場合には、例えば、前後で画像の特徴が大きく変化するいわゆるシーンチェンジ箇所を検出し、各シーンを１区間とすることでグループ化を行う。このように、インデキシング部３２０は、各静止画像が属するグループを決定する。
【００５３】
インデキシング部３２０は、インタフェース部を介して外部デバイスからリードされた静止画像データ５１を素材データベース４１に格納する。また、インデキシング部３２０は、格納された静止画像データ５１に上述のインデキシング処理を施す。インデキシング部３２０は、当該インデキシング処理により得られた、顔画像情報、イベント情報、グループ情報等を含む素材情報データ４２Ａを素材情報データベース４２に格納する。
【００５４】
なお、インデキシング部３２０は、ＨＤＤ１０９内の所定のディレクトリを監視し、このディレクトリに新たに格納された静止画像データ５１に対してインデキシング処理を施してもよい。インデキシング部３２０は、このディレクトリ内の静止画像データ５１に対するインデキシング処理により得られた、顔画像情報、イベント情報、グループ情報等を含む素材情報データ４２Ａを同様に、素材情報データベース４２に格納する。なお、この所定のディレクトリは、例えば素材データベース４１に対応する。また、インデキシング部３２０は、静止画像抽出部３４がユーザ動画より静止画を抽出する際に送信される静止画像のタイムスタンプ（日時情報）を受信し、これに基づいてこの静止画に対応する素材情報データ４２Ａにこの情報を格納する。
【００５５】
素材情報データベース４２は、素材情報データ４２Ａが格納されるＨＤＤ１０９内に用意された記憶領域である。
【００５６】
ここで素材情報データに関して図６を用いて詳細に説明を行う。図６には、素材情報データ４２Ａの一構成例を示す。
【００５７】
素材情報データ４２Ａは、画像情報データ４２Ｂ、音声情報データ４２Ｃ、エフェクト情報データ４２Ｄ、トランジション情報データ４２Ｅを含む。画像情報データ４２Ｂは、静止画像５１毎の画像データファイルパス、撮像日時、顔画像情報、イベント情報、グループ情報等を含む。
【００５８】
画像データファイルパスは、各静止画像データ５１のファイルパス（パス）を示す。
【００５９】
撮像日時は、各静止画像５１の撮像日時を示す時刻情報である。なお、静止画像がユーザ動画から抽出されたものであるとき、静止画静止画抽出部３０から送信された、この静止画像の撮像日時（タイムスタンプ）がここに示されることとなる。
【００６０】
顔画像情報は、静止画像５１に捉えられた人物の顔画像に関する情報を含む。顔画像情報は、インデキシング部３２０によって抽出された顔画像、並びに当該顔画像の正面度、サイズ、及び分類情報を含む。正面度は、顔が正面から撮影された度合いを示す。サイズは、抽出された顔画像の大きさを示す。分類情報は、インデキシング部３２０によって、同一の人物と推定される顔画像別のグループの情報を示す。なお、分類情報は、顔画像に基づいて識別された人物の情報を示してもよい。顔画像情報は、静止画像５１が人物を含む場合に、その人数分だけ記録される。
【００６１】
イベント情報は、インデキシング部３２０によるイベント検出処理によって検出された、静止画像５１に対応するイベントの情報を示す。イベント情報は、イベントＩＤ、分類情報等を含む。イベントＩＤは、各イベントに一意に割り当てられる識別情報である。なお、イベントＩＤは、イベントの名称であってもよい。分類情報は、イベントが分類されるカテゴリやイベントの属性等を示す情報である。
【００６２】
グループ情報は、インデキシング部３２０によるグループ化処理によって、静止画像５１が分類されたグループの情報を示す。グループ情報は、グループＩＤ、分類情報等を含む。グループＩＤは、各グループに一意に割り当てられる識別情報である。なお、グループＩＤは、グループの名称であってもよい。分類情報は、グループが分類されるカテゴリやグループの属性等を示す情報である。
【００６３】
音声情報データ４２Ｃは、音声データ４１Ａ毎の音声データファイルパス、分類情報等を含む。音声データファイルパスは、各音声データ４１Ａのファイルパスを示す。分類情報は、音声データ４１Ａが分類されるカテゴリや音声データの属性を示す情報である。
【００６４】
エフェクト情報データ４２Ｄは、エフェクトデータ４１Ｂ毎のエフェクトデータファイルパス、分類情報等を含む。エフェクトデータファイルパスは、各エフェクトデータ４１Ｂのファイルパスを示す。分類情報は、エフェクトデータ４１Ｂが分類されるカテゴリやエフェクトデータの属性を示す情報である。
【００６５】
トランジション情報データ４２Ｅは、トランジションデータ４１Ｃ毎のトランジションデータファイルパス、分類情報等を含む。トランジションデータファイルパスは、各トランジションデータ４１Ｃのファイルパスを示す。分類情報は、トランジションデータ４１Ｃが分類されるカテゴリやトランジションデータの属性を示す情報である。
【００６６】
この素材情報データ４２Ａを用いることにより、各静止画像データ５１について、その静止画像内に顔画像が含まれるか否か、その静止画像に含まれる顔画像の数、指定されたイベントに対応する静止画像があるか否か、その静止画像がどのグループに属しているか、等を判定することが可能となる。換言すれば、この素材情報データ４２Ａを用いて、目的の人物が写っている静止画像データ５１、目的の人物が写っており且つ特定のイベントに対応する静止画像データ５１等を、ＨＤＤ１０９に格納された１以上の静止画像データ５１の中から速やかに探し出すことができる。  フォトムービー表示制御部３２は、この素材情報データ４２Ａを用いて、素材データベース４１に格納された１以上の静止画像データ５１の中から所定の条件を満たす一つ又は複数の静止画像データを選択する。そして、フォトムービー表示制御部３２は、選択された一つ又は複数の静止画像データを用いて、フォトムービーを作成及び再生（表示）する。つまりフォトムービ表示制御部３２は画像の特徴量に基づいた動画像（フォトムービー）を作成（生成）し、再生することが可能である。
【００６７】
フォトムービー表示制御部３２は、フォトムービーを作成する機能として、フォトムービーをインタラクティブに作成する機能（インタラクティブ作成モード）、及びフォトムービーを自動で作成する機能（自動作成モード）を有する。フォトムービーをインタラクティブに作成する機能は、例えば、ユーザが操作画面（ＧＵＩ）を用いて指定した条件を満たす１以上の静止画像を用いて、フォトムービーを作成する機能である。また、フォトムービーを自動で作成する機能は、例えば、新着の静止画像、作成する際の日時に関連する静止画像、ランダムに選択された静止画像等を含む１以上の静止画像を用いて、フォトムービーを作成する機能である。
【００６８】
また、フォトムービー表示制御部３２は、フォトムービーを再生する機能として、フォトムービーをインタラクティブに再生する機能（インタラクティブ再生モード）、及びフォトムービーを自動で再生する機能（自動再生モード）を有する。フォトムービーをインタラクティブに再生する機能は、例えば、ユーザが操作画面（ＧＵＩ）を用いて選択したフォトムービーを再生する機能である。また、フォトムービーを自動で再生する機能は、例えば、新着のフォトムービー、再生する際の日時に関連するフォトムービー、ランダムに選択されたフォトムービー等を再生する機能である。
【００６９】
以下では、まず、インタラクティブ作成モードでフォトムービーを作成するための処理について説明する。インタラクティブ作成部３２１は、ユーザによる指示に応じて、フォトムービーを作成する条件を決定する。まず、インタラクティブ作成部３２１は、ユーザが指定した１以上の静止画像を、静止画像データ５１から選択する。また、インタラクティブ作成部３２１は、ユーザが指定した人物、イベント、撮像日時、グループ等の条件を満たす１以上の静止画像を、静止画像データ５１から選択してもよい。さらに、インタラクティブ作成部３２１は、ユーザが指定した静止画像と、人物、イベント、撮像日時、グループ等が同一、又は関連する１以上の静止画像を、静止画像データ５１から選択してもよい。
【００７０】
次いで、インタラクティブ作成部３２１は、ユーザが指定した音声データ、エフェクトデータ、及びトランジションデータを、それぞれ音声データ４１Ａ、エフェクトデータ４１Ｂ、及びトランジションデータ４１Ｃから選択する。なお、インタラクティブ作成部３２１は、ユーザによって指定されたスタイル（例えば、セレモニーやハッピーなど）に対応する分類情報や属性を有する音声データ、エフェクトデータ、及びトランジションデータを選択してもよい。また、インタラクティブ作成部３２１は、ユーザによる指示に応じて選択された１以上の静止画像に適した分類情報や属性を有する音声データ、エフェクトデータ、及びトランジションデータを選択してもよい。これら選択される音声データ、エフェクトデータ、及びトランジションデータはそれぞれ複数であってもよい。複数のデータを選択することにより、例えば、一つのフォトムービーの中で、１以上の静止画像の各々に異なるエフェクトを施し、静止画像の切り替わり毎に異なるトランジションを施し、フォトムービーの途中でＢＧＭとして用いられる音声データを変更することができる。なお、インタラクティブ作成部３２１は、選択された１以上の静止画像から、ユーザによって指定されたスタイルやＢＧＭとして用いられる音声データに適した静止画像をさらに選択してもよい。
【００７１】
インタラクティブ作成部３２１は、選択された音声データが出力されるタイミング等を示す音声パラメータ、選択されたエフェクトデータが施される静止画像及びそのタイミング等を示すエフェクトパラメータ、並びに選択されたトランジションデータが施される静止画像の切り替わり（切り替わり前後の静止画像）及びそのタイミング等を示すトランジションパラメータを決定する。エフェクトパラメータ及びトランジションパラメータには、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。これらパラメータには、例えば、ユーザにより操作画面を用いて設定された値を用いる。また、ユーザによって指定されたスタイルに対応するパラメータを用いてもよい。
【００７２】
インタラクティブ作成部３２１は、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）を中間ファイル生成部３２３に出力する。
【００７３】
中間ファイル生成部３２３は、インタラクティブ作成部３２１から出力された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータを用いて、中間ファイル４３Ａを生成する。中間ファイル４３Ａは、静止画像データ５１から選択された１以上の静止画像の各々が格納される位置（ファイルパス）と、１以上の静止画像の各々を画面に表示する表示タイミングとを示す動画情報データを含む。より具体的には、中間ファイル４３Ａは、１以上の静止画像の各々の格納位置を示すファイルパス、各静止画像に施されるエフェクトデータのファイルパスとエフェクトパラメータ、静止画像の切り替わり時に施されるトランジションデータのファイルパスとトランジションパラメータ、及び静止画像の表示と併せて出力される音声データのファイルパスと音声パラメータを含む。中間ファイル４３Ａは、例えば、ＸＭＬ形式で記述される。
【００７４】
図７は、中間ファイル４３Ａの一構成例を示す。中間ファイル４３Ａは、フォトムービーの作成日時、タイトル、画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報、代表サムネイル画像ファイル情報、登場人物情報等の情報を含む。
【００７５】
作成日時は、フォトムービーの作成日時を示す時刻情報である。タイトルは、フォトムービーに付与された題名等の名称である。  
画像ファイル情報は、フォトムービーに含まれる１以上の静止画像５１（画像ファイル）の各々のファイルパス（パス）を示す情報である。エフェクト情報は、エフェクトデータ４１Ｂを示すファイルパスと、静止画像にエフェクトを施す際に用いられるエフェクトパラメータとを含む。トランジション情報は、トランジションデータ４１Ｃを示すファイルパスと、静止画像が切り替わる際にトランジションを施す際に用いられるトランジションパラメータとを含む。音声ファイル情報は、フォトムービーに含まれる音声データ４１Ａ（音声データファイル）のファイルパスと、フォトムービー中で音声データを出力するタイミング等を示す音声パラメータを含む。代表サムネイル画像ファイル情報は、フォトムービーを代表するサムネイル画像のファイルパスを示す情報である。登場人物情報は、フォトムービーに登場する人物の名前（人物名）と、人物の顔画像のファイルパスとを示す情報である。なお、中間ファイル４３Ａは、データファイルではなく、データベース内のテーブルに記述されるデータ群（レコード）であってもよい。
【００７６】
中間ファイル生成部３２３は、生成した中間ファイル４３Ａを中間ファイルデータベース４３に格納する。なお、中間ファイル４３Ａに含まれる、タイトル、代表サムネイル画像ファイル情報、及び登場人物情報には、ユーザによって指定された情報を記述してもよいし、フォトムービーに用いられる静止画像等に基づいて適宜決定された情報を記述してもよい。
【００７７】
画像表示アプリケーション２０２は、フォトムービーを再生する要求に応答して、上述の中間ファイル４３Ａに基づく動画像データを再生する。つまり、フォトムービーを再生するための動画像データは、フォトムービーの再生が要求されたときに、該フォトムービーに対応する（すなわち、該フォトムービーの構成を記述した）中間ファイル４３Ａに基づいて作成される。したがって、ＨＤＤ１０９等の記憶装置には、フォトムービーに対応する中間ファイル４３Ａと、フォトムービーに用いられる静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ等とが格納され、データ量が大きい動画像データ自体を格納しておく必要がない。したがって、フォトムービーに対応する中間ファイル４３Ａを用いることにより、フォトムービーのデータ量を削減することができる。つまり、中間ファイル４３Ａは、画像データ、音声データ等の実際のデータを含まず、これらデータへのリンク情報を含むため、フォトムービーに対応するデータ量を削減することができる。
【００７８】
次いで、自動作成モードでフォトムービーを作成するための処理について説明する。まず、自動作成部３２２は、フォトムービーに用いる１以上の静止画像を、静止画像データ５１から選択する。自動作成部３２２は、例えば、新着の静止画像、作成する際の日時に関連する静止画像、ランダムに選択された静止画像等を、フォトムービーに用いる静止画像として選択する。また、自動作成部３２２は、選択された１以上の静止画像に適した音声データ、エフェクトデータ、トランジションデータ等を選択する。
【００７９】
自動作成部３２２は、選択された音声データが出力されるタイミング等を示す音声パラメータ、選択されたエフェクトデータが施される静止画像及びそのタイミング等を示すエフェクトパラメータ、並びに選択されたトランジションデータが施される静止画像の切り替わり（切り替わり前後の静止画像）及びそのタイミング等を示すトランジションパラメータを決定する。エフェクトパラメータ及びトランジションパラメータには、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。これらパラメータには、例えば、選択された１以上の静止画像の撮像日時、顔画像情報、イベント情報、グループ情報等に適した値が設定される。つまり、選択された１以上の静止画像の画像特徴量に応じてフォトムービーは作成可能である。
【００８０】
自動作成部３２２は、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）を中間ファイル生成部３２３に出力する。
【００８１】
中間ファイル生成部３２３は、自動作成部３２２から出力された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータを用いて、中間ファイル４３Ａを生成する。中間ファイル４３Ａは、静止画像データ５１から選択された１以上の静止画像の各々が格納される位置（ファイルパス）と、１以上の静止画像の各々を画面に表示する表示タイミングとを示す動画情報データを含む。より具体的には、中間ファイル４３Ａは、１以上の静止画像の各々の格納位置を示すファイルパス、各静止画像に施されるエフェクトデータのファイルパスとエフェクトパラメータ、静止画像の切り替わり時に施されるトランジションデータのファイルパスとトランジションパラメータ、及び静止画像の表示と併せて出力される音声データのファイルパスと音声パラメータを含む。中間ファイル４３Ａは、図５を参照して上述した構成と同様である。中間ファイル生成部３２３は、生成した中間ファイル４３Ａを中間ファイルデータベース４３に格納する。なお、中間ファイル４３Ａに含まれる、タイトル、代表サムネイル画像ファイル情報、及び登場人物情報には、ユーザによって指定された情報を記述してもよいし、フォトムービーに用いられる静止画像等に基づいて適宜決定された情報を記述してもよい。
【００８２】
なお、自動作成部３２２は、画像表示アプリケーション２０２が起動されている間に、自動的に（次々と）フォトムービーを作成してもよい。つまり、画像表示アプリケーション２０２は、自動作成モードで動作しているとき、自動的に（次々と）フォトムービーを作成してもよい。
【００８３】
次いで、インタラクティブ再生モードでフォトムービーを再生する処理について説明する。インタラクティブ再生制御部３２４は、ユーザにより選択されたフォトムービーを再生する。具体的には、インタラクティブ再生制御部３２４は、作成されたフォトムービーの一覧やフォトムービーの再生履歴一覧を画面に表示する。フォトムービーの一覧には、例えば、フォトムービー毎のタイトル、代表サムネイル画像、登場人物の名前や顔画像等が表示される。
【００８４】
インタラクティブ再生制御部３２４は、一覧からフォトムービーが選択されたことに応答して、選択されたフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。そして、インタラクティブ再生制御部３２４は、読み出した中間ファイル４３Ａを動画像データ生成部３２６に出力する。
【００８５】
動画像データ生成部３２６は、インタラクティブ再生制御部３２４から出力された中間ファイル４３Ａに基づいて、動画像データを生成する。具体的には、動画像データ生成部３２６は、中間ファイル４３Ａに含まれる画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報等に基づいて、動画像データを生成する。
【００８６】
まず、動画像データ生成部３２６は、画像ファイル情報に含まれる１以上の静止画像の各々のファイルパスに基づいて、素材データベース４１から静止画像データ５１を読み出す。同様に、動画像データ生成部３２６は、エフェクト情報に含まれるエフェクトデータのファイルパス、トランジション情報に含まれるトランジションデータのファイルパス、及び音声ファイル情報に含まれる音声データのファイルパスに基づいて、素材データベース４１から対応するエフェクトデータ４１Ｂ、トランジションデータ４１Ｃ、及び音声データ４１Ａを読み出す。
【００８７】
次いで、動画像データ生成部３２６は、エフェクト情報に含まれるエフェクトパラメータに基づいて、読み出された静止画像データ５１に対してエフェクトを施し、トランジション情報に含まれるトランジションパラメータに基づいて、静止画像データ５１に対してトランジションを施すことにより、動画像データを生成する。エフェクトパラメータ及びトランジションパラメータには、上述のように、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。動画像データ生成部３２６は、このようなパラメータに指定された値に基づいて、エフェクトやトランジションが施された静止画像データ５１が表示される動画像データを生成する。
【００８８】
また、動画像データ生成部３２６は、音声ファイル情報に含まれる音声パラメータに基づいて、この動画像データに音声データを合成する。動画像データ生成部３２６は、音声パラメータに含まれるタイミング情報や音量情報等に指定された値に基づいて、音声データが合成された動画像データを生成する。
【００８９】
次いで、自動作成モードでフォトムービーを再生する処理について説明する。自動再生制御部３２５は、例えば、新着のフォトムービー、作成する際の日時に関連するフォトムービー、ランダムに選択されたフォトムービー等を、再生対象のフォトムービーとして選択する。自動再生制御部３２５は、選択されたフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。そして、自動再生制御部３２５は、読み出した中間ファイルを動画像データ生成部３２６に出力する。
【００９０】
動画像データ生成部３２６は、自動再生制御部３２５から出力された中間ファイル４３Ａに基づいて、動画像データを生成する。具体的には、動画像データ生成部３２６は、中間ファイル４３Ａに含まれる画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報等に基づいて、動画像データを生成する。動画像データ生成の詳細な処理は、上述したインタラクティブ再生モードにおける動画像データ生成処理と同様である。なお、自動再生制御部３２２は、画像表示アプリケーション２０２が起動されている間に、自動的に（次々と）再生対象のフォトムービーを決定してもよい。つまり、画像表示アプリケーション２０２は、自動再生モードで動作しているとき、自動的に（次々と）フォトムービーを再生してもよい。
【００９１】
また、動画像データ生成部３２６は、インタラクティブ作成部３２１又は自動作成部３２２から出力される、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）に基づいて、動画像データ（フォトムービー）を生成してもよい。その場合、動画像データ生成部３２６では、インタラクティブ作成部３２１又は自動作成部３２２から出力された、上記のファイルパス及びパラメータを示す情報に基づいて、動画像データが生成されると共に、中間ファイル生成部３２３では、上記のファイルパス及びパラメータを示す情報に基づいて、中間ファイル４３Ａが生成される。つまり、インタラクティブ作成部３２１又は自動作成部３２２において指定された条件に基づくフォトムービーを再生すると共に、フォトムービーを再度、再生する際に用いられる、該フォトムービーに対応する中間ファイル４３Ａを生成し、保存することができる。フォトムービーは一纏りとして扱うことの可能な映像であり、例えばユーザから所定時間単位のフォトムービーの生成指示があった場合は、フォトムービー表示制御部３２は再生時間が指示された所定時間となるようにフォトムービーを生成して表示する。
【００９２】
再生部３２７は、動画像データ生成部３２６によって作成された動画像データ（フォトムービー）を再生する。再生部３２７は、再生された動画像データを切替部３３に対して出力する。
【００９３】
再生履歴管理部３２８は、再生部３２７によって再生された動画像データ（フォトムービー）を示す履歴情報データを保存する。再生履歴管理部３２８は、この履歴情報データを再生情報データベース４４に格納された再生履歴情報データ４４Ａに記録する。再生履歴管理部３２８は、例えば、再生部３２７によるフォトムービーの再生が完了したことに応答して、当該フォトムービーを示す履歴情報データを保存する。また、再生履歴管理部３２８は、例えば、再生された複数のフォトムービーのうち、再生日時が新しい、所定数のフォトムービーを示す履歴情報データを保存する。つまり、再生履歴管理部３２８は、再生日時が古いフォトムービーを示す履歴情報データを、再生履歴情報データ４４Ａから順次、削除する。
【００９４】
再生履歴管理部３２８は、ユーザによって指定されたフォトムービーを示す情報を、お気に入り情報データとして保存してもよい。再生履歴管理部３２８は、このお気に入り情報データを再生情報データベース４４に格納されたお気に入り情報データ４４Ｂに記録する。再生履歴管理部３２８は、ユーザによる操作画面等を介した指示に応答して、指定されたフォトムービーを示すお気に入り情報データを保存する。
【００９５】
図８は、再生情報データベース４４に格納される再生履歴情報データ４４Ａ及びお気に入り情報データ４４Ｂの一構成例を示す。
【００９６】
再生履歴情報データ４４Ａは、中間ファイルパス、再生日時、再生回数等を含む。中間ファイルパスは、再生されたフォトムービーに対応する中間ファイル４３Ａのファイルパスを示す。再生日時は、フォトムービーの再生日時を示す時刻情報である。再生回数は、フォトムービーが再生された回数を示す。
【００９７】
お気に入り情報データ４４Ｂは、中間ファイルパス、登録日時、再生回数等を含む。中間ファイルパスは、お気に入りに指定されたフォトムービーに対応する中間ファイル４３Ａのファイルパスを示す。登録日時は、フォトムービーのお気に入りのフォトムービーとして登録された日時を示す時刻情報である。再生回数は、フォトムービーが再生された回数を示す。
【００９８】
インタラクティブ再生制御部３２４は、再生情報データベース４４から再生履歴情報データ４４Ａを読み出し、再生済みのフォトムービーの一覧を画面（ＬＣＤ１７）に表示する。インタラクティブ再生制御部３２４は、再生済みのフォトムービーの一覧を、例えば、作成日時順、再生日時順等に並べて表示してもよい。
【００９９】
また、インタラクティブ再生制御部３２４は、再生情報データベース４４からお気に入り情報データ４４Ｂを読み出し、お気に入りのフォトムービーの一覧を画面（ＬＣＤ１７）に表示する。インタラクティブ再生制御部３２４は、お気に入りのフォトムービーの一覧を、例えば、作成日時順、登録日時順等に並べて表示してもよい。
【０１００】
インタラクティブ再生制御部３２４は、再生済みのフォトムービーの一覧又はお気に入りのフォトムービーの一覧から選択されたフォトムービーを検出し、このフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。動画像データ生成部３２６は、読み出された中間ファイル４３Ａに基づいて、動画像データを生成する。そして、再生部３２７は、生成された動画像データを再生し、画面に表示する。
【０１０１】
インタラクティブ作成モードで作成されたフォトムービーと、自動作成モードで作成されたフォトムービーはいずれも、作成される日時が変わることに伴って変動する条件やランダムに決定される条件に基づいて作成されることがある。また、素材データベース４１には、随時、新たな静止画像データ５１等が追加される可能性がある。そのため、画像表示アプリケーション２０２は、作成の度に異なるフォトムービーを作成する可能性が高い。換言すると、画像表示アプリケーション２０２では、ユーザが同様の作成条件を指定したとしても、同一のフォトムービーを作成することが困難である可能性がある。そのため、ユーザが、例えば、一度再生したフォトムービーを再度、再生したいときには、複数のフォトムービーの中から、そのフォトムービーを探し出す必要がある。しかしこれは、自動作成モードによりフォトムービーが作成される場合等、大量のフォトムービーが作成されている場合には、困難となる可能性がある。
【０１０２】
そこで、本実施形態の画像表示アプリケーション２０２は、上述のように、フォトムービーの再生履歴を再生履歴情報データ４４Ａとして保存し、再生履歴情報データ４４Ａに基づくフォトムービーの一覧をユーザに提示する。これにより、ユーザは、最近再生したフォトムービーを容易に探し出すことができる。また、画像表示アプリケーション２０２は、ユーザにより指定されたフォトムービーを、「お気に入り」としてお気に入り情報データ４４Ｂに保存し、お気に入り情報データ４４Ｂに基づくフォトムービーの一覧をユーザに提示する。これにより、ユーザは、お気に入りのフォトムービーを容易に探し出すことができる。再生履歴情報やお気に入り情報を用いたフォトムービー一覧の表示は、ＨＤＤ１０９等の記憶装置に格納された静止画像データ５１から自動的に次々とフォトムービーを作成し再生するような、大量のフォトムービーが作成される場合に特に有効である。
【０１０３】
次に本実施形態におけるインデキシング処理に関する処理の流れについての説明を行う。
【０１０４】
図８は本実施形態におけるインデキシング処理に関する処理の一例を示すフロー図である。
【０１０５】
先ず、画像表示アプリケーション２０２は、静止画像又はユーザ動画の入力が検出されたか否かの判別を行う（ステップＳ９１）。画像表示アプリケーション２０２は、例えば、静止画像又はユーザ動画が格納されるディレクトリを監視して、新たな静止画像又はユーザ動画が入力されたか否かを検出する。また、画像表示アプリケーション２０２は、例えば、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して、静止画像又はユーザ動画が格納された外部デバイス（デジタルカメラ、メモリカード）が接続されたことに応答して、新たな静止画像が入力されたか否かを検出する。
【０１０６】
静止画像又はユーザ動画の入力を検知するとき（ステップＳ９１、Ｙｅｓ）、画像表示アプリケーション２０２は次に、入力されたユーザ動画の中からスライドショー又はフォトムービーで使用する静止画像を抽出するか否かの判別を行う（ステップＳ９２）。ここでの判別では上述のように新たなユーザ動画が入力されたとき、静止画像を抽出するか否かをユーザからの指示によって決定するとしてもよいし、自動的に抽出を行うと判別してもよい。
【０１０７】
入力されたユーザ動画から静止画像を抽出するとき（ステップＳ９２、Ｙｅｓ）、静止画像抽出部３０はユーザ動画の中から静止画像を抽出し（ステップＳ９３）、この静止画像のタイムスタンプをフォトムービー表示制御部３２のインデキシング部３２０に対して送信する。ここでのユーザ動画からの静止画像の抽出は、画像表示アプリケーション２０２が自動的にユーザ動画の中から静止画像を抽出するとしてもよいし、ユーザが動画の中から好適なシーンの静止画を選択するとしてもよい。ユーザが選択するとき、静止画像抽出部３０は例えばタッチパッド１６からのユーザの入力に基づいて、動画の中から静止画像を選択できるものとする。
【０１０８】
次に、静止画像抽出部３０は抽出した静止画像を素材データベース４１に格納する（ステップＳ９４）。
【０１０９】
ステップＳ９４によって素材データベース４１に静止画像が格納されたとき、インデキシング部３０は素材データベース４１に格納された静止画像に関するインデキシング処理を行う（ステップＳ９５）。つまりインデキシング部３０は素材データベース４１に格納された静止画像を解析し、静止画像に含まれる顔画像に関する情報、静止画像に対応するイベントに関する情報、静止画像が属するグループの情報等を、素材情報データ４２Ａに格納する。また、このときのインデキシング処理ではインデキシング部３２０は静止画像抽出部３０より受信する静止画像のタイムスタンプに基づいて撮影日時のインデキシングを行う。更に、ステップＳ９１で静止画像の入力が検知されており、ステップＳ９２においてユーザ動画からの静止画像抽出を行わない（又は、抽出を行うユーザ動画が存在しない）場合には、インデキシング部３０は入力された静止画に対してインデキシング処理を行う。
【０１１０】
ステップＳ９５終了後、又はステップＳ９１において静止画像又はユーザ動画の入力を検知しないとき（ステップＳ９１、Ｎｏ）、上述の処理フローは終了となる。
【０１１１】
以上の処理によって入力される静止画像又は動画像に対してインデキシングが行われる。
【０１１２】
次に、スライドショー及びフォトムービーの再生処理について説明を行う。
【０１１３】
図１０は本実施形態における画像表示アプリケーション２０２の行うスライドショー及びフォトムービーの再生表示処理の一例を示すフロー図である。
【０１１４】
先ず、画像表示アプリケーション２０２の表示動作制御部３５は、ユーザからフォトムービーの表示指示を受けたか否かの判別を行う（ステップＳ１０１）。表示指示を受けていないとき（ステップＳ１０１、Ｎｏ）、フローは再びステップＳ１０１に戻る。
【０１１５】
ユーザからフォトムービーの表示指示を受けたとき（ステップＳ１０１、Ｙｅｓ）、表示動作制御部３５はフォトムービーを表示するように切替部３３に対して指示を行い、切替部３３はフォトムービー表示制御部３２にフォトムービーの生成および再生指示を行う。フォトムービー表示制御部３２はこれに応じてフォトムービーを生成して再生する。切替部３３はフォトムービー表示制御部３２によって再生されたフォトムービーをＬＣＤ１７に表示する（ステップＳ１０２）。
【０１１６】
フォトムービー表示制御部３２が一連のフォトムービーを表示すると、切替部３３はスライドショー表示制御部３１にスライドショーの生成および再生指示を行う。スライドショー表示制御部３１は、これに応じてスライドショーを生成して再生する。切替部３３はスライドショー表示制御部３３によって再生されたスライドショーをＬＣＤ１７に表示する（ステップＳ１０３）。
【０１１７】
次に、画像表示アプリケーション２０２はユーザから終了指示を受信したか否かを判別する（ステップＳ１０４）。
【０１１８】
終了指示を受信していないとき（ステップＳ１０４、Ｎｏ）、表示動作制御部３５はＲＴＣの時刻情報を参照して現在の時刻が所定時刻となったか否かを判別する（ステップＳ１０５）。
【０１１９】
現在時刻が所定時刻となっていないとき（ステップＳ１０５、Ｎｏ）、処理フローはステップＳ１０３に戻り、画像表示アプリケーション２０２はスライドショーを表示し続ける。
【０１２０】
現在時刻が所定時刻となったとき（ステップＳ１０５、Ｙｅｓ）、表示動作制御部３５は切替部３３にフォトムービーを表示するように指示を行い、これを受けて切替部３３はフォトムービー表示制御部３２にフォトムービーの作成及び再生指示を行う。フォトムービー表示制御部３２はこれに応じてフォトムービーを生成して再生する。切替部３３はフォトムービー表示制御部３２によって再生されたフォトムービーをＬＣＤ１７に表示する（ステップＳ１０２）
また、ステップＳ１０４に終了指示を受信するとき（ステップＳ１０４、Ｎｏ）、画像表示アプリケーション２０２は動作を終了する（ステップＳ１０６）。
【０１２１】
以上で一連の処理フローは終了となる。
【０１２２】
本実施形態に於いて、表示動作制御部３５はスライドショーの表示中に、所定時刻となるとスライドショーの表示とフォトムービーの表示を切り替える。このスライドショーとフォトムービー切替のタイミングは、例えば１時、２時、３時に切り替えるというように１時間毎に切り替えるとしてもよいし、３０分毎又は１５分毎等の所定の時間間隔で切り替えるとしてもよい。また、ユーザによって任意に設定可能であるとしてもよい。これにより最初にフォトムービーを見た後、ずっとスライドショーを見続けるということが無くなり、ユーザは視聴に飽きを感じにくくなる。また、ユーザはスライドショーとフォトムービーの切り替えのタイミングによって、現在の時刻を確認することが可能となる。更に、例えば１時に表示されるフォトムービーや２時に流れるフォトムービー等を設定すると、ユーザはこれによって現在何時となっているかを更に詳細に把握することが可能となる。さらに、スライドショーの表示中は音声を出力せず、フォトムービーの表示ではＢＧＭとなる音声を出力するようにしてもよい。または、スライドショーの表示中にはスローテンポで静かな音楽をＢＧＭとし、フォトムービーではアップテンポで賑やかな音楽を出力するようにしてもよい。これらによりスライドショーとフォトムービーの切り替えを確認しやすくなる。また、常時大きな音が出続けたりせず、ユーザが快適に利用することができるようになる。
【０１２３】
素材情報データベース４２Ａの素材情報データ４２Ａにはインデキシングされた画像データの撮像日時情報が格納されている。フォトムービー表示制御部３２はこの日時情報に基づいてフォトムービーを生成するとしてもよい。このとき、表示動作制御部３５は時刻情報に基づいてフォトムービーの表示指示を行うが、フォトムービー表示制御部３２はこの表示指示が行われた時刻と撮像日時情報が関連する静止画像データ５１を素材情報データ４２Ａに基づいて検出し、フォトムービー表示制御部３２は検出した静止画像５１を含むフォトムービーを生成し表示する。
【０１２４】
本実施形態において、フォトムービー表示制御部３２はステップＳ１０５（図１０）での、所定時刻となったときの表示動作制御部３５からの指示に基づいてフォトムービーを生成するものとして例示したがこれに限定されない。例えば、フォトムービー表示制御部３２はステップ１０３においてスライドショー表示制御部１０３がスライドショーを表示している間に、フォトムービーの生成を行うとしてもよい。この様にすると、ステップＳ１０５の後にステップＳ１０２におけるフォトムービーの表示を行うときには、フォトムービーが一部／全て生成されており、このときの処理の処理時間及び処理量の低減を図ることができる。つまり、このときフォトムービーの再生開始時の処理量が減り、フォトムービーをスムーズに表示することができる。
【０１２５】
画像表示アプリケーションプログラム２０２は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７に画像表示したり、ＨＤＭＩ制御回路３及びＨＤＭＩ端子２を介して、外部ディスプレイ装置１に画像出力したりできる。
【０１２６】
また、ＬＡＮコントローラ１０８や無線ＬＡＮコントローラ１１２を介して、ＤＬＮＡで外部のディスプレイ装置２に画像出力したりもできる。
【０１２７】
本実施形態におけるパーソナルコンピュータ１０では、画像の特徴量に基づいて生成されるフォトムービー（第１の画像表示形態）と、ランダムにエフェクト処理等を施されて生成されるスライドショー（第２の画像表示形態）とを選択的に出力することができる。また、出力する動画像を切り替えることが可能である。これによってパーソナルコンピュータ１０は処理量が過大となることなく、ユーザが飽きにくい画像の表示を作成することの可能となる。
【０１２８】
なお、本実施形態の画像出力方法や画像表示制御方法の手順は全てソフトウェアによって実行することができる。このため、画像出力方法や画像表示制御方法の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１２９】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３０】
１０９…ＨＤＤ、２０２…画像表示アプリケーションプログラム、３０…静止画像抽出部３０、３１…スライドショー表示制御部、３２…フォトムービー表示制御部、３３…切替部、３４…ＲＴＣ、３５…表示動作制御部、４０…動画データベース、４１…素材データベース、５１…画像ファイル、４１Ａ…音声ファイル、４１Ｂ…トランジションデータ、４１Ｃ…エフェクト、４２…素材情報データベース、４２Ａ…素材情報データ、４３…中間ファイルデータベース、４３Ａ…中間ファイル等、４４…再生情報データベース、４４Ａ…再生履歴情報データ、４４Ｂ…お気に入り情報データ、３１１…スライドショー生成部、３１２…再生部、３２０…インデキシング部、３２１…インタラクティブ作成部、３２２…自動作成部、３２３…中間ファイル作成部、３２４…インタラクティブ再生制御部、３２５…自動再生制御部、３２６…動画像データ生成部、３２７…再生部、３２８…再生履歴管理部
【図１】
2011217183.tif 000003
【図２】
2011217183.tif 000004
【図３】
2011217183.tif 000005
【図４】
2011217183.tif 000006
【図５】
2011217183.tif 000007
【図６】
2011217183.tif 000008
【図７】
2011217183.tif 000009
【図８】
2011217183.tif 000010
【図９】
2011217183.tif 000011
【図１０】
2011217183.tif 000012
【手続補正書】
【提出日】平成23年2月16日(2011.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第１の画像表示形態を生成する第１の生成手段と、
1以上の静止画像を順次切り替える第２の画像表示形態を生成する第２の生成手段と、
生成された前記第１の画像表示形態及び第２の画像表示形態のいずれかを出力し、前記第１の画像表示形態と第２の画像表示形態とを切り替える切換手段と、
を具備することを特徴とする電子機器。
【請求項２】
前記静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段を
更に具備することを特徴とする請求項１記載の電子機器。
【請求項３】
前記切換手段は、所定時刻となるときに前記第１の画像表示形態と前記第２の画像表示形態とを切り替えること
を特徴とする請求項１記載の電子機器。
【請求項４】
前記切換手段は、第１の画像表示形態では音声を出力し、前記第２の画像表示形態では音声を出力しないことを特徴とする請求項１記載の電子機器。
【請求項５】
静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段と、
静止画像の画像特徴量を検出する検出手段と、
静止画像と、この静止画像の画像特徴量とを対応付けて前記記憶手段に格納するよう前記記憶手段を制御する格納手段と、
を更に具備することを特徴とする請求項１記載の電子機器。
【請求項６】
動画像から静止画像を抽出する抽出手段を更に具備し、
前記第１の生成手段及び前記第２の生成手段は、前記動画像から抽出された静止画像を用いて、第１の画像表示形態及び前記第２の画像表示形態を生成すること
を特徴とする請求項1記載の電子機器。
【請求項７】
前記第１の画像表示形態及び前記第２の画像表示形態のいずれかを表示する表示手段
を更に具備することを特徴とする請求項１記載の電子機器。
【請求項８】
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第１の画像表示形態を生成することと、
1以上の静止画像を順次切り替える第２の画像表示形態を生成することと、
生成された前記第１の画像表示形態及び第２の画像表示形態のいずれかを出力することと、
前記第１の画像表示形態と第２の画像表示形態とを切り替えることと、
を有することを特徴とする画像出力方法。
【請求項９】
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第１の画像表示形態を生成する手順と、
1以上の静止画像を順次切り替える第２の画像表示形態を生成する手順と、
生成された前記第１の画像表示形態及び第２の画像表示形態のいずれかを出力する工程と、
前記第１の画像表示形態と第２の画像表示形態とを切り替える手順と、
をコンピュータに実行させるプログラム。
【手続補正書】
【提出日】平成23年7月8日(2011.7.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
1以上の静止画像を順次切り替える第１の画像表示形態を生成する第１の生成手段と、
1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第２の画像表示形態を生成する第２の生成手段と、
生成された前記第１の画像表示形態及び第２の画像表示形態のいずれかを出力し、前記第１の画像表示形態と第２の画像表示形態とを切り替える切換手段と
を具備し、
前記第１の画像表示形態が出力されている場合に、前記第２の生成手段が前記第２の画像表示形態を生成すること
を特徴とする電子機器。
【請求項２】
前記静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段を
更に具備することを特徴とする請求項１記載の電子機器。
【請求項３】
前記切換手段は、所定時刻となるときに前記第１の画像表示形態と前記第２の画像表示形態とを切り替えること
を特徴とする請求項１記載の電子機器。
【請求項４】
前記切換手段は、第２の画像表示形態では音声を出力し、前記第１の画像表示形態では音声を出力しないことを特徴とする請求項１記載の電子機器。
【請求項５】
静止画像と、この静止画像の画像特徴量とが対応付けて記憶された記憶手段と、
静止画像の画像特徴量を検出する検出手段と、
静止画像と、この静止画像の画像特徴量とを対応付けて前記記憶手段に格納するよう前記記憶手段を制御する格納手段と、
を更に具備することを特徴とする請求項１記載の電子機器。
【請求項６】
動画像から静止画像を抽出する抽出手段を更に具備し、
前記第１の生成手段及び前記第２の生成手段は、前記動画像から抽出された静止画像を用いて、第１の画像表示形態及び前記第２の画像表示形態を生成すること
を特徴とする請求項1記載の電子機器。
【請求項７】
前記第１の画像表示形態及び前記第２の画像表示形態のいずれかを表示する表示手段を更に具備することを特徴とする請求項１記載の電子機器。
【請求項８】
1以上の静止画像を順次切り替える第１の画像表示形態を生成することと、
生成された前記第１の画像表示形態を出力することと、
前記第１の画像表示形態が出力された場合に、1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第２の画像表示形態を生成することと、
前記第１の画像表示形態と第２の画像表示形態とを切り替えることと、
を有することを特徴とする画像出力方法。
【請求項９】
1以上の静止画像を順次切り替える第１の画像表示形態を生成する手順と、
生成された前記第１の画像表示形態を出力する手順と、
前記第１の画像表示形態が出力された場合に、1以上の静止画像に、この静止画像の画像特徴量に基づいてエフェクト処理及びトランジション処理のうち少なくともどちらか一方の処理を含む加工を施した第２の画像表示形態を生成する手順と、
前記第１の画像表示形態と第２の画像表示形態とを切り替える手順と、
をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
スライドショーのみをずっと表示し続ける場合には単調な画像表示が続き、フォトムービーのみをずっと表示し続ける場合には表示が目まぐるしく変化する画像表示が続くため、ユーザはどちらか一方のみを視聴し続けるとき、これに飽きてしまう可能性がある。賑やかなＢＧＭを付加したフォトムービーを表示し続けると、常時音楽が出力されつづけるため、ユーザがうるさく感じる可能性がある。また、フォトムービーを生成するとき電子機器の処理量は大きいため、長時間フォトムービーを表示し続けると、電子機器の処理が過大となってしまい、大きな電量消費、又は機器の寿命の低下等の問題を招く可能性がある。