(57)【要約】      （修正有）【課題】フォトムービー編集操作の煩雑さを抑制しつつ、出来映えのよいフォトムービーを提供する。【解決手段】受付機１２は、フォトムービーの注文を受け付ける。顧客が、受付機１２にコマ画像を記憶したメモリーカード１６をセットし、注文指示を行うと、タッチパネルディスプレイに操作画面が表示される。操作画面には、シナリオ選択画面や、コマ割り当て画面が含まれる。コマ割り当て画面には、メモリーカード１６から読み込まれたコマ画像と、シーン構成情報が表示される。シーン構成情報は、フォトムービーに含まれる複数のシーン構成を表す情報である。顧客は、このコマ割り当て画面を通じて、各コマ画像をそれぞれ特定のシーンに割り当てるコマ割り当て操作を行う。受付機１２は、割り当先の情報を、コマ分類情報として、各コマ画像のデータファイルに格納する。画像編集装置１０は、このコマ分類情報に基づいて、フォトムービーを作成する。【選択図】図１
2006166208.tif 000002
【特許請求の範囲】
【請求項１】
データストレージメディアに記憶された撮影コマの画像データを取り込むコマ画像データ取り込み手段と、
前記撮影コマを素材としてこれに加工編集を施して作成されるフォトムービーの編集条件を規定するシナリオ情報のうち、少なくとも、前記フォトムービーのシーン構成を表すシーン構成情報を予め記憶するメモリと、
このシーン構成情報に基づいて、各シーンに対応するシーンカテゴリを表示する表示手段と、
前記各撮影コマをそれぞれのシーンカテゴリへ割り当てるコマ割り当て手段と、
前記各撮影コマ毎に、割り当て先のシーンカテゴリを表す情報を、コマ分類情報として、前記各撮影コマの画像データと関連付けて記録する記録手段とからなるコマ分類情報付与装置。
【請求項２】
前記表示手段には、前記シーンカテゴリ毎に割り当て領域が表示されるとともに、取り込んだ各撮影コマの縮小画像が表示され、前記コマ割り当て手段によって前記各縮小画像を前記割り当て領域に移動させることにより、コマ分類が行われることを特徴とする請求項１記載のコマ分類情報付与装置。
【請求項３】
前記複数のシーンカテゴリは、１つのシーンカテゴリの下位に複数のサブカテゴリが含まれるように階層的に構成されることを特徴とする請求項１又は２記載のコマ分類情報付与装置。
【請求項４】
前記シーン構成情報は、シナリオ情報の種類毎に存在することを特徴とする請求項１〜３いずれか記載のコマ分類情報付与装置。
【請求項５】
前記コマ分類情報は、前記画像データとともに画像ファイルに格納されることを特徴とする請求項１〜４いずれか記載のコマ分類情報付与装置。
【請求項６】
データストレージメディアから撮影コマの画像データを読み取るデータ読み取りステップと、
前記撮影コマを素材としてこれに加工編集を施して作成されるフォトムービーの編集条件を規定するシナリオ情報のうち、少なくとも、前記フォトムービーのシーン構成を表すシーン構成情報をメモリから読み出す読み出しステップと、
このシーン構成情報に基づいて、各シーンに対応するシーンカテゴリを表示手段に表示するステップと、
コマ割り当て手段によって各シーンカテゴリに前記各撮影コマが割り当てられた際に、前記各撮影コマ毎に、割り当て先のシーンカテゴリを表す情報を、コマ分類情報として、前記各撮影コマの画像データと関連付けて記録する記録ステップとからなるコマ分類情報付与処理をコンピュータに実行させるコマ分類情報付与プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトムービーの素材となる複数の撮影コマをフォトムービー内の特定のシーンに割り当てるために、各撮影コマにコマ分類情報を付与するコマ分類情報付与装置及びプログラムに関するものである。
【背景技術】
【０００２】
デジタルスチルカメラなどで撮影したコマ画像（静止画）を素材として、これに加工編集を施して、あたかも動画のような動きを表現する擬似動画（フォトムービー）が知られている（例えば、下記特許文献１及び特許文献２参照）。加工及び編集の具体例としては、例えば、コマ画像の一部を切り出して部分的にクローズアップする電子ズーム処理や、切り出し枠をコマ画像の端から端へ移動させることで擬似的に視点を移動させる電子パーン処理、装飾画像との合成処理などがあり、静止画に対してこうした特殊効果（エフェクト）を与えることでフォトムービーが作成される。
【０００３】
下記特許文献２及び非特許文献１には、こうしたフォトムービーを編集する画像編集ソフトウエアが記載されている。フォトムービーは、どのコマに、どのようなエフェクトを与え、それらをどういった順序で再生するかといった編集条件を指定することによって作成される。これらの画像編集ソフトウエアでは、前記編集条件の指定をマニュアルで行うマニュアルモードを備えており、編集条件を細かく指定することができる。このマニュアルモードでは、細かく編集条件を指定することができるため、ユーザーの編集意図を正確に反映できるというメリットがある反面、編集操作が煩雑になってしまうというデメリットがある。そこで、下記非特許文献１に記載の画像編集ソフトウエアには、上記マニュアルモードに加えて、素材として使用するコマ画像を選択するだけで、自動的にフォトムービーを生成する自動モードがある。この自動モードでは、素材となる画像の選択を除いて、編集条件はすべてコンピュータの自動設定になるため、操作は非常に簡単になる。
【特許文献１】特開２００３−１２５３４６号公報
【特許文献２】特開平１０−２００８４３号公報
【非特許文献１】株式会社デジタルステージ  LIFE* with- Photo-Cinema  ［平成１６年４月６日検索］  インターネット＜ＵＲＬ：http://www.digitalstage.net/jp/product/life/index.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記自動モードでは、選択された複数のコマ画像の取り扱いに差異がない。このため、選択されたコマ画像のうち、関連性が低いコマ画像同士がまとめられて合成されてしまったり、各コマ画像が、撮影順とは無関係にフォトムービー中にランダムに割り当てられてしまうなど、フォトムービー内の適切な位置に適切な順序でコマ画像が割り当てられない場合が多く、そうなると、出来上がったフォトムービーに、撮影したイベントのストーリー性（イベントの流れ）が適切に再現されないという問題が生じる。
【０００５】
イベントの多くは、例えば、旅行であれば、出発の準備、目的地への移動、目的地での観光等、帰路というように、また、運動会であれば、開会式、午前の部、お昼休み、午後の部、閉会式というように、ストーリー性がある。こうしたストーリー性を再現することは、フォトムービーの出来映えを左右する重要な要素となる。
【０００６】
本発明の目的は、フォトムービー編集操作の煩雑さを抑制しつつ、出来映えのよいフォトムービーを提供できるようにすることである。
【課題を解決するための手段】
【０００７】
本発明のコマ分類情報付与装置は、データストレージメディアに記憶された撮影コマの画像データを取り込むコマ画像データ取り込み手段と、前記撮影コマを素材としてこれに加工編集を施して作成されるフォトムービーの編集条件を規定するシナリオ情報のうち、少なくとも、前記フォトムービーのシーン構成を表すシーン構成情報を予め記憶するメモリと、このシーン構成情報に基づいて、各シーンに対応するシーンカテゴリを表示する表示手段と、前記各撮影コマをそれぞれのシーンカテゴリへ割り当てるコマ割り当て手段と、前記各撮影コマ毎に、割り当て先のシーンカテゴリを表す情報を、コマ分類情報として、前記各撮影コマの画像データと関連付けて記録する記録手段とからなることを特徴とする。
【０００８】
前記表示手段には、前記シーンカテゴリ毎に割り当て領域が表示されるとともに、取り込んだ各撮影コマの縮小画像が表示され、前記コマ割り当て手段によって前記各縮小画像を前記割り当て領域に移動させることにより、コマ分類が行われることが好ましい。
【０００９】
前記複数のシーンカテゴリを、１つのシーンカテゴリの下位に複数のサブカテゴリが含まれるように階層的に構成してもよい。
【００１０】
前記シーン構成情報は、シナリオ情報の種類毎に存在することが好ましい。また、前記コマ分類情報は、前記画像データとともに画像ファイルに格納してもよい。
【００１１】
本発明のコマ分類情報付与プログラムは、データストレージメディアから撮影コマの画像データを読み取るデータ読み取りステップと、前記撮影コマを素材としてこれに加工編集を施して作成されるフォトムービーの編集条件を規定するシナリオ情報のうち、少なくとも、前記フォトムービーのシーン構成を表すシーン構成情報をメモリから読み出す読み出しステップと、このシーン構成情報に基づいて、各シーンに対応するシーンカテゴリを表示手段に表示するステップと、コマ割り当て手段によって各シーンカテゴリに前記各撮影コマが割り当てられた際に、前記各撮影コマ毎に、割り当て先のシーンカテゴリを表す情報を、コマ分類情報として、前記各撮影コマの画像データと関連付けて記録する記録ステップとからなるコマ分類情報付与処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明は、撮影コマの画像データを読み取り、前記撮影コマを素材としてこれに加工編集を施して作成されるフォトムービーの編集条件を規定するシナリオ情報のうち、少なくとも、前記フォトムービーのシーン構成を表すシーン構成情報をメモリから読み出す読み出し、このシーン構成情報に基づいて、各シーンに対応するシーンカテゴリを表示手段に表示して、コマ割り当て手段によって各シーンカテゴリに前記各撮影コマが割り当てられた際に、前記各撮影コマ毎に、割り当て先のシーンカテゴリを表す情報を、コマ分類情報として、前記各撮影コマの画像データと関連付けて記録するようにしたから、フォトムービーの編集作業の煩雑さが抑制される。また、顧客の意図に従って、コマ毎に割り当てるシーンが指定されるので、出来映えのよいフォトムービーを提供することが可能となる。
【発明を実施するための最良の形態】
【００１３】
図１に示すように、画像編集装置１０は、例えば、写真プリントサービスを提供するＤＰＥショップ１１に設置される。画像編集装置１０は、撮影されたコマ画像（静止画）に対して加工編集を施してフォトムービーを作成する。フォトムービーは、例えば、ＭＰＥＧなどの動画ファイルの形式で生成される。完成したフォトムービーは、ＤＶＤメディア１７などのリムーバブルメディアに記録されて、顧客へ提供される。フォトムービーの提供方法としては、リムーバブルメディアを利用する方法の他に、例えば、顧客の携帯電話１８や、ＰＤＡ（Personal Digital Assistant）やノート型ＰＣなどの顧客の携帯端末１９へダウンロードする方法がある。
【００１４】
画像編集装置１０には、フォトムービー作成サービスの注文を受け付ける受付機１２がデータバス１３を介して接続されている。フォトムービーの作成を注文する顧客は、デジタルスチルカメラ１４で撮影したコマ画像データ（DSC0001.JPG〜DSC000X.JPG）を記録したメモリーカード１６をＤＰＥショップ１１へ持ち込み、これを受付機１２にセットして注文を行う。受付機１２は、注文受付処理の他に、受け付けたコマ画像を分類する分類情報付与処理を行う。分類情報付与処理とは、後述するように、フォトムービー内の各シーンへ各コマ画像を割り当てるためのコマ分類情報を付与する処理であり、画像編集装置１０によって行われるフォトムービー作成処理の前処理として行われる。コマ画像の分類は、顧客が受付機１２を操作することによって行われる。分類されたコマ画像には、画像データに、それぞれコマ分類情報が与えられる。それらコマ分類情報は、画像データとともに画像編集装置１０へ送られる。画像編集装置１０は、コマ分類情報に基づいて、各コマ画像データを各シーンへ割り当てて、フォトムービーを作成する。
【００１５】
図２は、画像編集装置１０及び受付機１２の概略構成を示すブロック図である。画像編集装置１０は、装置本体２１，モニタ２２，コンソール２３からなる。装置本体２１は、例えば、汎用のパーソナルコンピュータやワークステーションをベースにして、画像編集プログラムをインストールしたものである。装置本体２１は、ＣＰＵ２４，作業用メモリ２６，通信Ｉ／Ｆ２７，ハードディスクドライブ（ＨＤＤ）２８，記録型ＤＶＤドライブ２９からなる。ＣＰＵ２４は、オペレーティングシステムにしたがって装置の各部を統括的に制御する。
【００１６】
通信Ｉ／Ｆ２７は、ＵＳＢやＩＥＥＥ１３９４などの規格の有線Ｉ／Ｆ部２７ａと、ＩＥＥＥ８０２．１１シリーズや、ブルートゥースなどの規格の無線Ｉ／Ｆ部２７ｂとを備えており、画像編集装置１０と外部機器とをデータ通信可能に接続する。有線Ｉ／Ｆ部２７ａは、データバス１３として使用されるＬＡＮケーブルが接続される。なお、受付機１２が設置される店舗と、画像編集装置１０が設置されるセンターが遠隔の場合には、インターネットや広域通信網を使用して両者が接続される。無線Ｉ／Ｆ２７ｂは、携帯電話１８や携帯端末１９とデータ通信を行う。
【００１７】
モニタ２２には、画像編集プログラムの操作画面や、読み取られたコマ画像が表示される。コンソール２３は、画像編集装置１０への操作指示を入力する入力手段であり、マウスやキーボードなどからなる。オペレータは、これらモニタ２２やコンソール２３を使用して画像編集装置１０を操作する。
【００１８】
記録型ＤＶＤドライブ２９は、ＤＶＤメディア１７へデータを書き込むディスクドライブである。もちろん、記録メディアとしては、ＤＶＤでなくてもよく、ＣＤメディアなどの既存の記録メディアの他、ブルーレイ（登録商標）など、今後普及が期待される次世代の記録メディアを使用してもよい。さらに、注文者の希望に応じて複数の記録メディアの種類を選択できるようにしてもよい。
【００１９】
ＣＰＵ２４は、フォトムービーを作成する画像編集プログラムを作業用メモリ２６にロードしてプログラムに記述された処理ステップを実行する。これにより、ＣＰＵ２４は、各処理ステップの実行部に対応する、編集条件設定部３１，フォトムービー生成部３２として機能する。
【００２０】
ＨＤＤ２８には、ＣＰＵ２４によって実行されるオペレーティングシステムや画像編集プログラムが格納されている。また、ＨＤＤ２８には、画像編集プログラムで使用される各種の付属データも格納される。この付属データには、後述するフォトムービーのシナリオファイルや、素材となるコマ画像と合成されることによってそれを装飾する装飾画像が含まれる。装飾画像は、対象となる画像の不要な部分を覆うマスク画像や、対象となる画像のはめ込み枠が規定され、イラストなどの装飾が施されたテンプレート画像がある。こうした装飾画像は、コマ画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトムービーのフレームに彩りを与える。
【００２１】
図３に示すように、フォトムービーは、素材となるコマ画像に対して、電子ズーム処理やパーン処理などのエフェクトが付与される。シーンＡ〜Ｃは、エフェクトの例を示す説明図である。シーンＡは、親子二人が写っているフレームＡ１から、子供の顔に焦点を当ててその部分を徐々にクローズアップさせるフレームＡ２，Ａ３を経て、子供の顔のアップであるフレームＡ４へ至るシーンである。このシーンＡを構成する各フレームＡ１〜Ａ４は、フレームＡ１に対応する原画像の一部にズームポイントを合わせて電子ズーム処理を施して、原画像から、拡大倍率の異なる部分画像を切り出し、それらを繋ぎ合わせることにより、生成される。
【００２２】
シーンＢは、道の地面を写したフレームＢ１から、徐々にズームアウトしてその道の延長上にある山を遠景として捉えたフレームＢ４へ至るシーンである。このシーンＢを構成する各フレームＢ１〜Ｂ４も、シーンＡと同様に、フレームＢ４に対応する原画像（静止画）の一部にズームポイントを合わせて電子ズーム処理を施して、原画像から、拡大倍率の異なる部分画像を切り出し、それらを繋ぎ合わせることにより、生成される。このシーンＢは、ズームポイントにズームインしていくシーンＡとは反対に、ズームポイントからズームアウトしていくので、最初に挿入されるフレームＢ１の拡大ズーム倍率が最も高く、最後に挿入されるフレームＢ４が原画像と等倍となる。
【００２３】
シーンＣは、パノラマ的な効果を得るためにあたかもカメラを左右にパーンさせているように、主要被写体である山の左端の裾野を捉えるフレームＣ１から、画面中央に位置する山を捉えるフレームＣ２，Ｃ３を経て、右端の裾野を捉えるフレームＣ４へ至る。このシーンＣを構成する各フレームＣ１〜Ｃ４は、山全体を遠景で捉える静止画の一部を、ポイントを左から右へ移動させながら、切り出して、切り出された部分画像を繋ぎ合わせることにより生成される。本例では、便宜上、各シーンが４フレームから構成されているかのように説明しているが、実際には、フレーム数は多く、例えば、１秒間に３０フレーム程度のフレームレートで各シーンは構成される。こうしてエフェクトが付与された複数のシーンが繋ぎ合わされてフォトムービーが作成される。
【００２４】
このフォトムービーの編集条件は、例えば、シナリオファイルに記述される。シナリオファイルには、どの画像に対してどういったエフェクトが加えられるかという内容が、挿入されるフレームのタイムスタンプに沿って定義される。ＨＤＤ２８には、「運動会」，「旅行」，「結婚式」といったイベントの種類別に、基本的な編集条件を定義したシナリオファイルの雛形（シナリオ雛形）が格納されている。図４に示すように、シナリオファイルには、素材として使用されるコマ画像のＩＤ、エフェクトの種類，ＢＧＭの他、背景画像などに使用され、コマ画像を装飾するための装飾画像などが含まれる。
【００２５】
このシナリオファイルには、フォトムービーの全編を構成する主要なシーンを定めるシーン構成情報が定義される。例えば、「運動会」のシナリオ雛形では、全編を、「開会式」，「午前の部」，「お昼休み」，「午後の部」，「閉会式」といった５つの主要なシーンに区分し、これらの各シーンに対応するシーンカテゴリがシーン構成情報として定義される。
【００２６】
各シーンに使用するコマ画像は、シナリオファイル上で、そのＩＤが各シーンカテゴリに割り当てられる。こうしてコマ画像をそれぞれのシーンカテゴリに分類することにより、例えば、開会式の模様を撮影したコマ画像と、お昼の風景を撮影したコマ画像とが同一シーンに混在してしまうといったことがなくなり、各シーンにはそれぞれのシーンに応じた適切なコマ画像が使用される。
【００２７】
また、シナリオ雛形では、各シーンカテゴリ毎にそこで付加される主要なエフェクトやＢＧＭが予め定義されている。例えば、「開会式」に使用されるコマ画像の内容としては、例えば、会場全体の風景が想定されるので、主要なエフェクトとしては、画面の全体をまんべんなく映し出し、会場全体の雰囲気を伝えるのに効果的なパーン処理が定義される。ＢＧＭとしては、「開会式」にふさわしい明るい雰囲気のＢＧＭが選択される。「午前の部」及び「午後の部」においては、例えば、綱引き、リレーなどの個々の種目に出場する特定の選手（例えば、撮影者の子供）を中心に映像が展開されるように、当該選手に注目したズームイン処理が主要エフェクトとして定義される。注目人物にズームポイントを設定する方法としては、例えば、画像解析による顔抽出技術が利用される。こうしたシーンでは、迫力を醸し出すためにＢＧＭとしてアップテンポの曲が選択される。このように、各シーンカテゴリに応じて、主要なエフェクトやＢＧＭを定義することで、完成したフォトムービーにストーリー性が与えられる。
【００２８】
編集条件設定部３１は、選択されたシナリオ雛形をＨＤＤ２８から読み出し、読み出したシナリオ雛形の各シーンカテゴリに、複数のコマ画像ＩＤを割り当てる。シナリオ雛形の選択や、コマ画像の各シーンカテゴリへの割り当ては、後述するように、受付機１２によってコマ画像に付加された分類情報（コマ分類情報）に基づいて行われる。こうして編集条件が設定されて、シナリオファイルが作成される。フォトムービー生成部３２は、完成したシナリオファイルに基づいてフォトムービーを生成する。完成したフォトムービーは、記録型ＤＶＤドライブ２９によってＤＶＤメディア１７に書き込まれる。
【００２９】
図６は、ＤＶＤメディア１７のデータ格納構造の例を示す。記録フォーマットとしては、例えば、市販の多くのＤＶＤプレーヤーで再生が可能なＤＶＤ−ＶＩＤＥＯフォーマットが使用される。作成されたフォトムービーは、ＶＩＤＥＯ＿ＴＳフォルダ３４内に、ＶＯＢファイルの形式で格納される。ＶＯＢファイルは、動画の圧縮形式として一般的なＭＰＥＧ２形式でエンコードされた動画ファイルを、ＤＶＤ−ＶＩＤＥＯフォーマットに合わせて加工したものである。
【００３０】
ＤＶＤメディア１７には、作成されたフォトムービーの他に、このフォトムービーの素材として使用されたコマ画像の画像ファイル（DSC0001.JPG・・・）と、フォトムービーの編集条件が規定されたシナリオファイルとが、それぞれピクチュアフォルダ３５，シナリオフォルダ３６に格納される。
【００３１】
いったん生成された後のフォトムービーファイルは、シナリオファイルとは独立に動画ファイルとして完結しており、その再生時にシナリオファイルは必要とされないが、フォトムービーファイルとは別にシナリオファイルを保存しておくことで、これを再編集して、別の新しいフォトムービーを簡単に生成することができる。また、素材として使用したコマ画像の画像ファイルを利用すれば、フォトムービー中のお気に入りの１フレームを高画質でプリントすることが可能となる。というのは、フォトムービーの１フレームの画素数は、プリントに用いる画素数としては少ないため、フォトムービーから１フレーム分のデータを切り出して、そのデータを使用してプリントしても高画質の画像を得ることができない。しかし、素材となる静止画の画像ファイルは画素数が多いので、これを利用することで、フォトムービーのお気に入りのシーンを、高画質のプリントすることが可能になる。
【００３２】
完成したフォトムービーは、ＤＶＤメディア１７に出力されるが、顧客の要望に応じて、携帯電話１８や携帯端末１９に出力するようにしてもよい。無線Ｉ／Ｆ２６は、フォトムービーデータを携帯電話１８や携帯端末１９に配信する際に使用される。出力先として携帯電話１８や携帯端末１９が指定された場合には、それらの記憶容量を考慮して、フォトムービーの画素数やフレーム数を決定し、ＤＶＤメディア１７に出力する場合と比較して、フォトムービーデータのデータ量を少なくすることが好ましい。
【００３３】
なお、近年では、携帯電話１８や携帯端末１９にカメラ機能が付加されたモデルも多い。そこで、携帯電話１８や携帯端末１９で撮影されたコマ画像データをフォトムービーの素材として利用できるように、受付機１２に無線Ｉ／Ｆを設けて、それらのコマ画像データを取り込めるようにしてもよい。
【００３４】
受付機１２は、ＣＰＵ４２，メディアリーダ４３，タッチパネルディスプレイ４４，ＨＤＤ４６，通信Ｉ／Ｆ４７からなり、これらが本体４１に組み込まれている。受付機１２の各部は、ＣＰＵ４２によって制御される。タッチパネルディスプレイ４４は、操作画面やコマ画像を表示するとともに、画面を通じて操作コマンドやコマ選択情報の入力を受け付ける。顧客は、タッチパネルディスプレイ４４を通じて受付機１２を操作して、フォトムービーを注文する。
【００３５】
メディアリーダ４３は、メモリカード１６からデータを読み取って、フォトムービーの素材となるコマ画像を取り込む。本体４１の前面には、メディアリーダ４３のカードスロット４３ａが配置されており、メモリーカード１６はこのカードスロット４３ａに装填される。通信Ｉ／Ｆ４７は、データバス１３が接続され、これを通じて画像編集装置１０とデータ通信を行う。
【００３６】
ＨＤＤ４６には、オペレーティングシステムや注文受付プログラムなどのプログラムデータが格納されている。ＣＰＵ４２は、ＨＤＤ４６から注文受付プログラムを読み出して、注文受付処理を実行する。注文受付処理に際しては、フォトムービー内の各シーンへのコマ画像の割り当てが行われる。このコマ画像の割り当ては、顧客が受付機１２を操作することによって行われる。ＨＤＤ４６には、画像編集装置１０が記憶する上記シナリオ雛形ファイルに含まれるシーン構成情報が格納されている。シーン構成情報は、各シナリオ雛形の上記シーンカテゴリに対応するカテゴリデータからなる。カテゴリデータは、前記ＨＤＤ２８に格納されるシナリオ雛形の種類に対応して、「運動会」、「旅行」、「結婚式」などがある。
【００３７】
このカテゴリデータが、タッチパネルディスプレイ４４に表示される。タッチパネルディスプレイ４４に表示された画面を見ながら、タッチパネルディスプレイ４４を操作し、顧客は、各コマ画像を各シーンに割り当てる割り当て操作を行う。これにより、各コマ画像が各シーンカテゴリへ分類される。コマ画像の割り当て先を表す情報は、コマ分類情報として、コマ画像に関連づけて記録される。コマ分類情報は、図５に示すように、例えば、画像データとともに、その付帯情報として画像ファイル（ＤＳＣ０００１．ＪＰＧ）内に格納される。コマ分類情報を格納する部位としては、例えば、デジタルスチルカメラの一般的なファイルフォーマットであるＥＸＩＦ規格に規定されているタグが利用される。画像編集装置１０は、このコマ分類情報に基づいて、コマ画像がどのシナリオのどのシーンに割り当てられるのかを識別する。
【００３８】
受付機１２は、注文を受け付けたコマ画像をＨＤＤ４６に一時的に蓄積し、蓄積した画像データを画像編集装置１０へ送信する。受け付けたデータの画像編集装置１０への送信タイミングは、１つの注文毎に随時送信してもよいし、予め決めた時間に定期的に、それまでに受け付けた複数の注文のデータをまとめて送信するようにしてもよい。
【００３９】
受付機１２のＨＤＤ４６に格納される各カテゴリデータは、画像編集装置１０のＨＤＤ２８に格納される各シナリオ雛形に対応しているものであるから、各シナリオ雛形が更新される際には、それに合わせて更新される。
【００４０】
受付機１２は、画像編集装置１０側（ＨＤＤ２８内）のシナリオ雛形が更新したかどうかを定期的に調べ、シナリオ雛形が更新された場合には、そのシナリオ雛形からカテゴリデータを抽出し、受付機１２側（ＨＤＤ４６内）のカテゴリデータを自動的に更新する。シナリオ雛形の更新の有無は、例えば、受付機１２が、データバス１３を通じてＨＤＤ２８内のシナリオ雛形の日付情報を読み出し、読み出した日付と、ＨＤＤ４６内のカテゴリデータの日付とを照合することによって検出される。受付機１２のＣＰＵ４２は、カテゴリデータの日付よりもシナリオ雛形の日付の方が新しい場合には、更新有りと判断し、当該シナリオ雛形からカテゴリデータを抽出して、ＨＤＤ４６内のカテゴリデータを更新する。シナリオ雛形の更新の有無の検出は、例えば、１日に１度、受付機１２の起動時に行われる。もちろん、検出の回数やタイミングについては、シナリオ雛形の更新タイミングや頻度等に応じて適宜決定することができる。
【００４１】
図７及び図８は、受付機１２のタッチパネルディスプレイ４４に表示される操作画面の例を示す説明図である。注文メニューが表示される初期画面から、フォトムービー注文が選択されると、図８に示すシナリオ選択画面５１が表示される。シナリオ選択画面５１には、「フォトムービーのシナリオを選択してください」というメッセージとともに、ＨＤＤ４６内に予め格納された複数のカテゴリーデータ（「運動会」，「旅行」，「結婚式」）のタイトル５５ａ〜５５ｃがリスト表示される。顧客は、これらのタイトル５５ａ〜５５ｃから、所望のタイトル５５ａを指でポイントすることによって、シナリオを選択する。
【００４２】
シナリオが選択されると、シナリオ選択画面５１から、図８に示すコマ割り当て画面５２へ遷移する。コマ割り当て画面５２には、画面全体の主要部分を占めるメイン領域５２ａと、このメイン領域５２ａの下方に配置され、横方向に細長く延びるサブ領域５２ｂとが設けられる。サブ領域５２ｂには、メモリーカード１６に格納されているコマ画像（ファイル名：ＤＳＣ０００１〜０００Ｘ）が６コマずつ縮小表示される。メモリーカード１６内のコマ画像が、表示可能数（６コマ）を越える場合には、サブ領域５２ｂの下方には、長手方向に沿ってスクロールバー５３が表示される。このスクロールバー５３のスライダー５３ａを移動させると、サブ領域５２ｂの画面が横方向にスクロールする。このスクロール量に応じて別のサムネイル画像がサブ領域５２ｂに順次再生表示される。
【００４３】
メイン領域５２ａは、複数の短冊状の割り当て領域５６ａ〜５６ｅに区画されて分割されている。各割り当て領域５６ａ〜５６ｅは、シナリオを構成する複数のシーンカテゴリに対応しており、その分割数は、シナリオの種類に応じたシーンカテゴリの数に応じて決められる。図８では、運動会のシナリオが選択されているので、分割数は５つであり、各割り当て領域５６ａ〜５６ｅは、それぞれ「開会式」，「午前の部」，「お昼休み」，「午後の部」，「閉会式」の各シーンカテゴリに対応しており、各割り当て領域５６ａ〜５６ｅの上部のタグには、対応するシーンカテゴリのタイトルが表示される。各シーンカテゴリは、画面の左から右へ、シナリオ内の再生順序に従って配列される。こうすることで、顧客が、選択したシナリオのシーン構成の概略を把握できるようにしている。これら各割り当て領域５６ａ〜５６ｅは、メモリーカード１６から読み込んだコマ画像を、各シーンに割り当てるための割当枠となる。
【００４４】
コマ割り当てを行う場合には、顧客は、サブ領域５２ｂ内のコマ画像の中から所望のコマを１つ指でポイントして、ポイントしたコマをドラッグさせて、割り当て先となるシーンカテゴリの割り当て領域まで移動する。サブ領域５２ｂ及び各割り当て領域５６ａ〜５６ｅにおいて、コマ画像は、ファイル名が表示されるだけでなく、再生表示されるので、顧客は、画像内容を確認しながら、コマ割り当てを行うことができる。
【００４５】
例えば、図９に示すように、開会式の模様を撮影したコマ画像６１ａは開会式のシーンカテゴリ５７ａに、午前中に行われた綱引きの模様を撮影したコマ画像６１ｂは「午前の部」のシーンカテゴリ５７ｂに、お昼休みの模様を撮影したコマ画像６１ｃは「お昼休み」のシーンカテゴリ５７ｃに、午後に行われたリレーの模様を撮影したコマ画像６１ｄ，６１ｅは「午後の部」のシーンカテゴリ５７ｄに、それぞれ割り当てられる。
【００４６】
また、図１０は、旅行のシナリオが選択された場合のコマ画像の分類例を示す説明図である。旅行のシナリオには、例えば、「出発前の風景」，「往路」，「目的地」，「帰路」といったシーンカテゴリ５８ａ〜５８ｄが予め規定される。旅行のシナリオが選択されると、コマ割り当て画面５２にこれらのシーンカテゴリ５８ａ〜５８ｄの割り当て領域が表示される。そして、例えば、出発前に玄関前に並んだ家族を写したコマは、「出発前の風景」のシーンカテゴリ５８ａに、目的地へ向かう車中の子供達を撮影したコマ画像６４ｂ，途中に立ち寄ったドライブインの風景を撮影したコマ画像６４ｃは、「往路」のシーンカテゴリ５８ｂに、目的地で子供達が遊んでいる風景を撮影したコマ画像６４ｄは、「目的地」のシーンカテゴリ５８ｃに、帰路の途中、車中で眠っている子供達を写したコマ画像６４ｅは、「帰路」のシーンカテゴリ５８ｄにそれぞれ分類される。
【００４７】
コマの割り当て先を間違った場合は、誤った割り当て先から、コマをドラッグして、正しい割り当て先へ移動する。ＯＫボタン６６を押下すると、コマの割り当てが確定する。シナリオを変更したい場合や、注文を取り止めたい場合は、キャンセルボタン６７を押下する。コマの割り当てが確定すると、コマ分類情報が各コマの画像ファイルに格納されて、画像データとともにＨＤＤ２８に書き込まれる。こうして、フォトムービーの注文受け付けが完了する。
【００４８】
なお、シナリオの選択操作や、シーンカテゴリの指定操作を、タッチパネルで行う例で説明しているが、ディスプレイとは別に操作ボタンが配列された操作パネルを設けて、このボタン操作によって行うようにしてもよい。
【００４９】
以下、上記構成による作用について、図１１及び１２に示すフローチャートを用いて説明する。フォトムービーを注文する場合には、顧客は、素材とするコマ画像が記録されたメモリーカード１６を、受付機１２にセットし、タッチパネルディスプレイ４４に表示された注文メニューからフォトムービー注文を選択する。そうすると、シナリオ選択画面５１が表示される。この画面５１から所望のシナリオのタイトルを選択すると、タッチパネルディスプレイ４４の表示が、コマ割り当て画面５３に切り替わる。
【００５０】
コマ割り当て画面５３には、サブ領域５２ｂにメモリーカード１６内のコマ画像がサムネイル表示され、メイン領域５２ａに、選択したシナリオの複数のシーンカテゴリに応じた複数の割り当て領域が表示される。顧客は、サブ領域５２ｂからコマ画像を選び、そのコマ画像をドラッグして、割り当てたいシーンカテゴリの割り当て領域へ移動する。フォトムービーの素材に使用するすべてのコマ画像について、こうした操作を繰り返して、各シーンカテゴリへのコマ割り当てを行う。
【００５１】
コマ割り当て操作が終了したら、ＯＫボタン６６を押下して割り当てを確定する。ＯＫボタン６６が押下されると、素材として選択された各コマ画像の画像データとともに、コマ分類情報が、ＨＤＤ４６へ書き込まれる。これにより、注文受付が完了する。受け付けたデータは、受付機１２から、データバス１３を通じて、画像編集装置１０へ送られるて、ＨＤＤ２８に格納される。
【００５２】
画像編集装置１０は、オペレータからフォトムービー作成指示が与えられると、ＨＤＤ２８から選択された注文の画像ファイルを読み込む。編集条件決定部３１は、それらの画像ファイル内のコマ分類情報に基づいて、指定されたシナリオを判別して、対応するシナリオ雛形を、ＨＤＤ２８内から読み出す。そして、コマ分類情報に基づいて、シナリオ雛形の各シーンカテゴリへコマ画像を割り当てて、シナリオファイルを完成させる。画像編集装置１０のオペレータは、必要に応じて雛形に既定された編集条件に変更を加えて、編集条件を決定する。
【００５３】
編集条件が確定すると、フォトムービー生成部３２は、シナリオファイルに基づいてフォトムービーを作成する。フォトムービーの編集は、各シーンカテゴリ毎に処理がなされる。コマ画像は撮影シーンに応じた適切なシーンカテゴリに分類されているので、本来異なるシーンに属すべき複数のコマ画像が同一シーンに混在したり、本来同一シーンに属すべき複数のコマ画像が異なるシーンに分散してしまうということがなくなる。また、時間軸に沿って各シーンが展開される他、各シーンカテゴリに応じて、主要エフェクトやＢＧＭの選択が行われるので、シーン毎に雰囲気が変わりメリハリが生まれる。こうすることで、フォトムービーの全体を通じてストーリー性が生まれて出来映えのよいフォトムービーが完成する。また、こうしたフォトムービーの質の向上に寄与するコマ画像の分類処理は、コマ分類情報に基づいて自動的に行われるため、オペレータの操作が煩雑化することもない。
【００５４】
また、本例では、業者が、注文を受けてフォトムービーを作成する例で説明しているが、こうしたフォトムービー作成サービスの商用化にあたっては、完成品に撮影者の意図をどれだけ反映させることができるかということが、商品価値を向上させる上で重要な課題となる。しかし、業者が、画像内容の判断を伴うコマの分類作業を行うことは非常に難しく、その解決策が要望されていた。上記受付機１２を利用すれば、注文者がコマの各シーンへの割り当て作業を行うことになるので、各コマを的確にシーンへ割り当てることが可能となり、業者が提供するフォトムービー作成サービスの品質向上にも寄与する。
【００５５】
上記実施形態では、カテゴリデータが、同じ階層レベルに位置付けられた複数のシーンカテゴリのみによって構成されるケースで説明しているが、例えば、図１３に示すように、「午前の部」のシーンカテゴリ５６ｂの下位に、「競技１」，「競技２」というシーンカテゴリを設け、さらに、「競技１」の下位に、「スタート」，「途中」，「ゴール」というシーンカテゴリを設けるというように、シーンカテゴリを階層的にしてもよい。このようにシーカテゴリを詳細に分類すれば、よりきめの細かな編集が可能となるので、フォトムービーの質の向上につながる。
【００５６】
また、上記実施形態では、顧客が、編集条件として、シナリオの選択と、コマ画像のシーンカテゴリへの分類指定を行っているが、これ以外の編集条件、例えば、クライマックスシーンに使用するコマ画像の指定などをできるようにしてもよい。図９に示す運動会を撮影したコマ画像を例にすると、例えば、ゴールシーンを撮影したコマ画像６１ｅがクライマックスシーンとしてふさわしいと考えられる。クライマックスシーンの指定がなされたコマ画像６１ｅについては、フォトムービー中の登場回数や表示時間を他のコマよりも長くするといった編集を行うことで、よりメリハリのあるフォトムービーに仕上げることができる。
【００５７】
クライマックスシーンに使用するコマ画像の指定方法としては、例えば、タッチパネルディスプレイ４４に表示される操作画面にボタンやチェックボックスを表示し、これを押下したりチェックすることで指定する方法や、画像編集装置１０のオペレータがマニュアルで指定する方法などが考えられるが、いずれの方法を用いてもよい。
【００５８】
また、クライマックスシーンの他にも、フォトムービーのオープニングやタイトルシーン、また、エンディングシーンなど特定のシーンで使用したいコマ画の指定が行えるようにしてもよい。このような場合には、撮影順に関わらず指定されたコマ画像が指定された特定のシーンに挿入されることになる。また、オープニングやタイトルシーンには、旅行や運動会といったタイトルとともに日付を挿入するなどの合成処理を施すとよい。
【００５９】
また、上記実施形態では、シナリオ雛形に各シーンカテゴリ毎に主要なエフェクトを定義した例で説明しているが、主要なエフェクト以外の決定方法としては、コマ画像の内容を解析して決定するのが好ましい。例えば、複数の人物が整列した状態で撮影される集合写真と、何気ない風景を切り取ったスナップショットとを判別して、それぞれに適したエフェクトを与えるとよい。例えば、集合写真に対しては、まず最初に、パーンしながら個々の人物の顔のアップを挿入し、その後、ズームアウトして全員を遠景で捉える。また、スナップショットでは、被写体となる人物が少ないため注目ポイントが１点に集まる場合が多いので、ズームイン処理をエフェクトの中心に据えて多用し、その代わりにパーン処理を抑える。
【００６０】
また、図１０に示すコマ画像６４ａのような家族の集合写真を撮影する場合には、家族以外の人に撮影を頼まない限り、例えば、１枚は、父親が撮影者となって、母親と子供達を撮影し、もう１枚は、撮影者が父親から母親へ交代して、父親と子供達を撮影するという場合が少なくない。そうした場合には、類似の画像が複数枚存在することになる。これらの２つの類似画像に対して、被写体となる人物のそれぞれにスポットを当てて、順番にズームイン処理を施すと、２つの類似画像の被写体となっている子供達に繰り返しスポットが当てられることになり、見栄えがよくない。このような場合には、画像解析により複数のコマ画像の類似判定を行い、類似画像のそれぞれの被写体となっている人物に対しては、一方の類似画像については被写体となる全員に対してズームイン処理を施すとともに、他方の類似画像については、処理済みの類似画像の被写体となっていない人物（本例で言えば、父親か母親）に対してのみズームイン処理を施すとよい。
【００６１】
上記実施形態では、コマ分類情報を画像データと同一ファイル内に格納する例で説明しているが、画像データとコマ分類情報とは、関連づけがなされていればよく、必ずしも同一ファイル内に格納しなくてもよい。例えば、画像データとコマ分類情報を、それぞれ別々のファイル（例えばｊｐｇファイルとｔｘｔファイル）に格納した場合には、コマ分類情報ファイルは、複数の画像データの複数のコマ分類情報（シーンカテゴリ）を格納する１つのテキストファイルとして生成される。こうすれば、画像編集装置は、複数の画像ファイルにアクセスすることなく、コマ分類情報ファイルにアクセスするだけで、複数の画像データのそれぞれのコマ分類情報を読み出すことが可能となる。また、コマ分類情報と画像データを分離すれば、画像ファイルの既成のファイルフォーマット（例えば、ＥＸＩＦフォーマット）に変更を加える必要もなくなる。
【００６２】
上記実施形態では、受付機を、ＤＰＥショップなどの店舗に設置される形態で説明したが、例えば、図１４に示すように、顧客のＰＣ（パーソナルコンピュータ）７１に注文受付プログラムをインストールして、ＰＣ７１によってコマ分類情報を付与するようにしてもよい。この場合には、ＰＣ７１上で注文受付プログラムを起動すると、ＰＣ７１のモニタにシナリオ選択画面やコマ割り当て画面などの操作画面が表示される。顧客は、これらの操作画面を見ながら、ＰＣ７１のキーボードやマウスを操作してコマ割り当て操作を行う。このコマ割り当て操作に応じて、ＰＣ７１は、各コマ画像データに、コマ分類情報を付与する。コマ割り当て操作が完了すると、コマ分類情報とコマ画像データが、インターネット７２経由で画像編集装置１０に送信される。画像編集装置１０は、送信されたデータをもとにフォトムービーを作成し、作成したフォトムービーをＰＣ７１に配信する。
【００６３】
また、本発明のコマ分類情報付与プログラムを、注文受付機に組み込まずに、例えば、デジタルスチルカメラに接続可能な外部モジュール（例えば、クレードル装置など）にインストールしてもよい。この場合には、家庭用のテレビなどを操作画面を表示するモニタとして利用して、コマ割り当て操作が行われる。
【図面の簡単な説明】
【００６４】
【図１】フォトムービー作成サービスの説明図である。
【図２】注文受付機と画像編集装置の構成図である。
【図３】フォトムービーに適用されるエフェクトの説明図である。
【図４】フォトムービーのシナリオファイルの説明図である。
【図５】コマ分類情報の格納例の説明図である。
【図６】ＤＶＤメディアのデータ格納構造を示す説明図である。
【図７】シナリオ選択画面の説明図である。
【図８】コマ割り当て画面の説明図である。
【図９】運動会のシーンカテゴリへのコマ画像の分類例を示す説明図である。
【図１０】旅行のシーンカテゴリへのコマ画像の分類例を示す説明図である。
【図１１】フォトムービーの注文受付手順を示すフローチャートである。
【図１２】フォトムービー作成手順を示すフローチャートである。
【図１３】階層構造を持つシーンカテゴリの説明図である。
【図１４】インターネット経由で注文を受け付ける例を示す説明図である。
【符号の説明】
【００６５】
１０  画像編集装置
１２  注文受付機
４２  ＣＰＵ
４４  タッチパネルディスプレイ
４６  ＨＤＤ
５１  シナリオ選択画面
５３  コマ割り当て画面
５６ａ〜５６ｅ  割り当て領域
【図１】
2006166208.tif 000003
【図２】
2006166208.tif 000004
【図３】
2006166208.tif 000005
【図４】
2006166208.tif 000006
【図５】
2006166208.tif 000007
【図６】
2006166208.tif 000008
【図７】
2006166208.tif 000009
【図８】
2006166208.tif 000010
【図９】
2006166208.tif 000011
【図１０】
2006166208.tif 000012
【図１１】
2006166208.tif 000013
【図１２】
2006166208.tif 000014
【図１３】
2006166208.tif 000015
【図１４】
2006166208.tif 000016