(57)【特許請求の範囲】
【請求項１】
写真遷移にフェードアウト／フェードインの視覚効果を用い、写真の再生期間中にナレーションおよび反応時間を配置したビデオコンテンツを作成する方法であって、
最小フェードアウト／フェードイン時間、ナレーション時間および反応時間の総和より最大ビデオ再生時間が小さいとき写真を除外し、そして
最大フェードアウト／フェードイン時間、ナレーション時間および反応時間の総和より最小ビデオ再生時間が大きいとき、写真を追加するようにした、ビデコンテンツ作成方法。
【請求項２】
写真遷移にフェードアウト／フェードインの視覚効果を用い、同じ写真内での人から人へ遷移にパンズームの視覚効果を用い、写真の再生期間中にナレーションおよび反応時間を配置したビデオコンテンツを作成する方法であって、
最小フェードアウト／フェードイン時間、ナレーション時間、反応時間および最小パンズーム時間の総和より最大ビデオ再生時間が小さいとき写真を除外し、そして
最大フェードアウト／フェードイン時間、ナレーション時間、反応時間および最大パンズーム時間の総和より最小ビデオ再生時間が大きいとき、写真を追加するようにした、ビデコンテンツ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はビデオコンテンツ作成方法に関し、特にたとえば、認知症者の過去の写真をナレーションとともにその認知症社（視聴者)に提示できる、思い出ビデオのようなビデ
オコンテンツを作成する、ビデオコンテンツ作成方法に関する。
【背景技術】
【０００２】
高齢の認知症者に視聴覚刺激を提示することで、彼（女）らを活性化することを目的とした研究が幾つかなされている。たとえば、非特許文献１に示すビデオレスパイトでは、ビデオの視聴者である認知症者に語り掛けを行うキャラクタが提示される。また、非特許文献２に示すプロジェクトCIRCAでは、昔の有名な歌や画像、映像を含んだ、良くデザインされたマルチメディアコンテンツが利用されている。我々は、認知症者の長期記憶を刺激するという観点から、視聴覚刺激の素材として、思い出ビデオを選定した。思い出ビデオは認知症者の古いアルバム中の写真を用いて作成されたスライドショービデオである。その臨床的な有効性は非特許文献３で実験的に示されている。
【０００３】
しかし、思い出ビデオを作成するのは単純な作業ではない。まず、古いアルバムを用意し、そこから適当な写真を選択する。使用する写真は、視聴者である認知症者の遠い昔の記憶を呼び覚ますものでなくてはならない。次に、ビデオカメラで写真をムービー仕立てに撮影するが、必要に応じてパン、ズームの映像効果（非特許文献４に示すいわゆるケンバーンズ効果）を付与する。またナレーションは、認知症者をビデオにより一層引き付けるために付与される。
【０００４】
通常これらは、映像編集のスキルを有するボランティアが実施しており、介護家族が気軽に作成できるようなものではない。加えて、認知症者が思い出ビデオを繰り返し視聴することでそれに飽きてしまい、結果として思い出ビデオが当初のように認知症者を引き付ける効果は、次第に失せてしまうことも考えられる。
【非特許文献１】Lund, D.A., Hill, R.D., Caserta, M.S., and Wright, S.D.: Video Respite: an innovative resource for family, professional caregivers, and persons with dementia, The Gerontologist, Vol. 35, Issue 5 (1995) 683-687.
【非特許文献２】Gowans, G., Campbell, J., Alm, N., Dye, R., Astell, A., and Ellis, M.: Designing a multimedia conversation aid for reminiscence therapy in dementia care environments, Extended abstracts of the 2004 conference on Human Factors and Computing Systems (2004) 825 - 836.
【非特許文献３】安田ほか：認知症者への思い出写真ビデオの作成と集中度の評価。第２８回高次脳機能障害学会総会（２００４）
【非特許文献４】http://en.wikipedia.org/wiki/Ken_Burns
【発明の開示】
【発明が解決しようとする課題】
【０００５】
魅力的な思い出ビデオを作成するために、どのような映像効果、あるいはオーディオ効果が加えられるべきかを明確にする必要がある。そのため発明者等は、３つの代表的な効果、すなわち前述のケンバーンズ効果、ＢＧＭ、およびナレーションに対して、それらの有効性を評価するための、以下のような実験を実施した。上記のすべての効果を使用した思い出ビデオと、それら効果の１つを除外したビデオを、３人の認知症者のために用意した。それぞれのビデオの長さはおよそ２０分である。２週間の実験期間中に介護家族には、毎日１回、映像効果、オーディオの効果を変え、上記すべてのタイプのビデオを認知症者が視聴するように依頼した。認知症者がビデオに飽きた場合には、ビデオを別のタイプに変えるように依頼した。介護家族には、認知症者がどの程度の長い間、そのタイプのビデオを視聴したか、またどの程度集中してそれを視聴したか、「１」から「５」の尺度で介護家族の主観で評価し記録してもらった。実験期間が終わった後に、介護家族のニーズを調査するために、インタビューも実施した。
その結果、以下のような知見が得られた。
【０００６】
(1) ナレーションは、魅力的な思い出ビデオに非常に有効である。
【０００７】
(2) 写真中のよく知った人々の顔に対して、ズームアップすることも不可欠である。
【０００８】
(3) さらに、ナレーションとズームが連動していることが重要である。すなわち、ナレーションが写真中の特定の人に関するものなら、ナレーションはその人のズームアップの際に付与されなければならない。
【０００９】
このように、思い出ビデオは認知症者の安定した精神状態を形成する上で有効性が確認されているが、特に、映像効果を付与したりナレーションを付与したりすることは重要な要素であり、さらにそれらは上述のように同期させる必要がある。
【００１０】
それゆえに、この発明の主たる目的は、新規な、ビデオコンテンツ作成方法を提供することである。
【００１１】
この発明の他の目的は、映像効果要素やナレーション要素などの各要素が同期したビデオコンテンツを作成できる、ビデオコンテンツ作成方法を提供することである。
【課題を解決するための手段】
【００１２】
請求項１の発明は、写真遷移にフェードアウト／フェードインの視覚効果を用い、写真の再生期間中にナレーションおよび反応時間を配置したビデオコンテンツを作成する方法であって、最小フェードアウト／フェードイン時間、ナレーション時間および反応時間の総和より最大ビデオ再生時間が小さいとき写真を除外し、そして最大フェードアウト／フェードイン時間、ナレーション時間および反応時間の総和より最小ビデオ再生時間が大きいとき、写真を追加するようにした、ビデコンテンツ作成方法である。
【００１３】
請求項１の発明では、たとえばイメージスキャナなどを含む写真データ入力装置（２０。実施例で相当する部分または要素を例示する参照符号。以下同様。）から、写真画像データをコンピュータ（１２）に入力する。コンピュータはその写真画像データに、たとえばDublin Core、Image Regions、FOAFなどメタ情報を付与する。同じく、コンピュータはナレーションにもアノテーションを付与し、たとえば記憶手段（２２）に格納するこの記憶手段に格納している写真画像データを用いてビデオコンテンツを作成するが、コンピュータ（１２）は、各写真に付与する映像効果要素、ナレーション要素および反応時間要素の局所的制約をたとえばタイムライン上に設定する。レンダリング処理（Ｓ５）における時間調整手段は、たとえばコンピュータであって、各写真に対する映像効果要素、ナレーション要素および反応時間要素の各所要時間の総和を計算し、それが、たとえばビデオコンテンツの所望再生時間になるように調整する。
【００１４】
請求項１の発明では、写真のアノテーションされた領域に対するケンバーンズ効果などの映像効果要素と、オーディオの効果で特にナレーション要素との間のセマンティックな同期制約を考慮することで、簡単に魅力的なスライドショービデオ（ビデオコンテンツ）を製作できる。しかも、視聴者の反応時間も確実に確保できるので、視聴者による反応中に次のナレーションがオーバーラップするなどの不具合も生じない。
【００１５】
請求項２の発明は、写真遷移にフェードアウト／フェードインの視覚効果を用い、同じ写真内での人から人へ遷移にパンズームの視覚効果を用い、写真の再生期間中にナレーションおよび反応時間を配置したビデオコンテンツを作成する方法であって、最小フェードアウト／フェードイン時間、ナレーション時間、反応時間および最小パンズーム時間の総和より最大ビデオ再生時間が小さいとき写真を除外し、そして最大フェードアウト／フェードイン時間、ナレーション時間、反応時間および最大パンズーム時間の総和より最小ビデオ再生時間が大きいとき、写真を追加するようにした、ビデコンテンツ作成方法である。
【発明の効果】
【００１８】
この発明によれば、写真のアノテーションされた領域に対するケンバーンズ効果などの映像効果要素と、ナレーション要素および反応時間要素との間のセマンティック(semantic)な同期制約を考慮することで、簡単に魅力的なビデオコンテンツを製作できる。
【００１９】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２０】
図１を参照して、この実施例のビデオコンテンツ作成装置１０は、コンピュータ１２を含む。このコンピュータ１２としては、パーソナルコンピュータやワークステーションが利用可能である。
【００２１】
コンピュータ１２にはハードディスクやＲＡＭのような内部メモリ１４が設けられていて、その内部メモリ１４には、メタ情報を入力するためのツールとして、たとえば、DublinCore（http://dublincore.org）、ImageRegions（http://www.w3.org）、FOAF （http://www.foaf-project.org）、Jena2(2.1)（http://jena.sourceforge.net）などが設定されている。これらはいずれも、写真画像データに関連するメタ情報を入力または登録もしくは付与する手段として機能する。
【００２２】
ここで、メタ情報とは、データに関する構造化した情報を意味し、実施例の場合、取り扱う写真画像データの詳細を構造的に記述する情報である。このようなメタ情報を付与することをアノテーション(annotation)という。
【００２３】
Dublin Coreはメタ情報を取り扱う代表的なツールとして知られていて、さらに、写真中の人物の顔やオブジェクトの領域（以後、「リージョン」と呼ぶ。）を複数個指定し、これをメタ情報として保持するためにImage Regionsを利用する。リージョンが人の場合
には、FOAFを利用して人のメタ情報を付与する。リージョンは静止画である写真に対して、そこへのズーム、リージョン間のパンといったエフェクトを加えるために用いる。メタ情報をＲＤＦの形式でデータベースに格納するために、Jena2(2。1)を使用する。
【００２４】
コンピュータ１２は図示しないが、グラフィックボードまたはプロセサやサウンドボードまたはプロセサを内蔵していて、それらを通して、ＧＵＩ画面や他のグラフィックス（映像）がモニタ１６に表示されるとともに、スピーカ１８からＢＧＭ（バックグラウンドミュージック）などの音声が出力される。
【００２５】
コンピュータ１２にはさらに、写真データ入力装置２０が接続される。この写真データ入力装置２０は、イメージスキャナ、ディジタルカメラ（デジカメ）、インターネット（Ｗｅｂ）などの少なくとも１つを含む。イメージスキャナは、認知症者の過去の写真をスキャンしてカラーまたはモノクロの写真画像データを入力する。デジカメはリアルタイムで撮影した写真画像データを入力できる他、過去の写真を撮影してそれらの写真画像データを入力するという使い方もできる。インターネットは、遠隔地から送信される認知症者の過去の写真の写真画像データを入力し、さらには必要に応じて認知症者の過去にまつわる事象の写真画像データを取り込むために使用できる。さらに他の種類の写真データ入力装置が用いられてもよい。
【００２６】
さらに、コンピュータ１２には、インタフェース２４を介してデータベース２２が結合される。この実施例では、データベース２２にはPostgreSQL7.4（http://www.postgresql.org）というリレーショナルデータベースを用いる。
【００２７】
なお、図示していないが、コンピュータ１２は当然、キーボードやマウスなどの入力手段を持っている。
【００２８】
図１の実施例のビデオコンテンツ作成装置１０を用いて思い出ビデオを作成するためには、コンピュータ１２などは図２に示す手順で動作する。
【００２９】
まず、ステップＳ１で、思い出ビデオに使用する可能性のある写真画像データを入力するとともに、各写真に対してアノテーションを付与する。具体的には、図１の写真データ入力装置２０を用いて、主として、当該認知症者の過去の写真の写真画像データをコンピュータ１２に入力する。
【００３０】
このとき、図３に示すＧＵＩ（Graphical User Interface）画面２６がモニタ１６に表示される。このＧＵＩ２６は、モニタ画面の左方の大部分を占める、写真表示編集領域２８を含む。この写真表示編集領域２８は、そこに入力した写真画像データの写真を表示し、さらには、リージョンを指定するなどの編集作業のために利用される。ＧＵＩ２６は、モニタ画面の右方に形成されるサムネイル表示領域３０を含む。サムネイル表示領域３０には、入力しかつ後述のようにして検索した写真画像データから使用する写真を選択するためにサムネイル画像を表示する。
【００３１】
ＧＵＩ２６には、モニタ画面の下方に形成される、第１メタ情報入力領域３２、モニタ画面のほぼ中央に形成される第２メタ情報入力領域３４、およびモニタ画面の右下方に形成される再生順設定領域３６が設けられる。メタ情報入力領域３２には、領域２８に表示もされている写真全般に関わるDublin Core で定義されたメタ情報を入力する。また、メタ情報入力領域３４はポップアップ形式で入力時に現れる領域であり、それを用いて、FOAFを利用してリージョンが人の場合のメタ情報を入力する。そして、再生順設定領域３６は、思い出ビデオに取り込んだ写真を再生する順番を設定するために利用され、後に説明するように、ドラッグアンドドロップで順番を入れ替えることができる。
【００３２】
ステップＳ１での写真入力およびメタ情報登録について、具体的に説明する。図４を参照し、今、写真データ入力装置２０から図４に示すような写真（図面では線画であるが、実際は写真である。他の図面でも同様。）の写真画像データが入力されると、コンピュータ１２は、モニタ１６のＧＵＩ２６の写真表示編集領域２８にその画像データで表される写真（静止画）を表示する。それとともに、コンピュータ１２は、その写真のサムネイル画像をサムネイル表示領域３０に表示する。
【００３３】
そして、図示しないマウス等を利用して、その写真中で２つのリージョン、リージョン１およびリージョン２を設定すると、図５に示すように、写真表示編集領域２８中に、リージョン１およびリージョン２をそれぞれ特定する矩形枠２９ａおよび２９ｂが表示される。このようなリージョン１およびリージョン２を指定すると、Image Regionsで定義される形式で、図６に示す各リージョンのメタ情報が設定される。つまり、リージョン１の原点（矩形枠の左上の角）の座標（ｘ１１、ｙ１１）およびそれの対角の座標（ｘ１２、ｙ１２）が登録され、さらにそのリージョン１の高さｈ１および幅ｗ１もメタ情報として登録される。同様に、リージョン２についても、原点座標、対角座標、高さ、および幅が、それぞれ、ｘ２１、ｙ２１、ｘ２２、ｙ２２、ｈ２、およびｗ２として登録される。
【００３４】
このようにしてステップＳ１で写真を入力し、メタ情報を登録すると、たとえば図７に示すようなデータベースができる。この図７では右に、図５に示した、実際の写真が表示されリージョンが指定されている写真表示編集領域２８が描かれている。そして、楕円形の中に「dc:」とあり、それに関連する矩形の中のデータが、Dublin Coreで登録したメタ情報である。たとえば「dc:date」では日付「２００４０７１６（２００４年７月１６日）」が、「dc:title」では名称「at Disney Animal Kingdom（ディズニー動物王国にて）」が、「dc:description」では説明文「They are very happy.(彼等は非常に楽しそう)」がメタ情報として登録される。
【００３５】
楕円形のなかに「imgReg:」とあるメタ情報は、Image Regionsでリージョンを指定したときのメタ情報である。「imgReg:has region」はリージョンが設定されていることを示すメタ情報であり、「imgReg:Rectangle」はリージョンが矩形であることを示し、「imgReg:regionDepict」はリージョンの説明で、「imgReg:boundingBox」はリージョンの原点位置とサイズ（高さｈ、幅ｗ）とを含む。「imgReg:coords」はリージョンの原点位置および対角位置の座標である。
【００３６】
また、「foaf:gender」で与えられるメタ情報は、リージョンが人である場合の性別（例示では「female(女)」）であり、「foaf:name」で与えられるメタ情報は名前（例示では「Haruka(はるか)」）であり、「foaf:Person」で与えられるメタ情報はViewer（この思い出ビデオを観る人）と写真に写った人との関係を示し、例示では、「孫（grandchild）」であることがわかる。
【００３７】
なお、図７に示す各メタ情報は、それぞれ以下に示される。
【００３８】
ｘｍｌｎｓ：ｉｍｇＲｅｇ＝“http://www.w3.org/2004/02/image-regions#”
ｘｍｌｎｓ：ｆｏａｆ＝“xmlns.com/foaf/0.1”
ｘｍｌｎｓ：ｄｃ＝“http://purl.org/dc/elements/1.1/”
このようにして、図２のステップＳ１で写真入力と、メタ情報登録が行なわれると、コンピュータ１２は、その写真と、それに付与したメタ情報とをデータベース２２に格納する。なお、上の説明では１枚の写真とそれのメタ情報について説明したが、入力装置２０で写真画像データを入力する都度、同じようにして、図７に示すようなメタ情報が登録され、そのメタ情報を付与した写真データがデータベース２２に格納される。
【００３９】
ステップＳ１では、さらに、さらにナレーションについてもアノテーションを付与してデータベース化した。つまり、前にも述べたように、思い出ビデオにとってナレーションが重要であるが、ナレーション付与は、非常に手間がかかる作業である。したがって、この実施例では、ナレーション付与作業の時間短縮のため、数千の典型的なナレーションテキストと、それらに対応する音声データとを含む、ナレーションデータベースを構築し、データベース２２（図１）に登録した。
【００４０】
後に詳細に説明するように、典型的なナレーションテキストは、日本語の文法に基づいた簡単な規則を使用して作成した。典型的なナレーションテキストは、その規則に対して、副詞、形容詞、および幾つかの名詞の組み合わせを与えて生成した。また、これらの語は、ナレーションのアノテーションに使用し、これらの語の組み合わせは共起確率に基づいて決定した。そして、音声合成技術を使って、またはプロのナレーターがそれらを読み上げて音声データを作成し、それをデータベース化し、同じくデータベース２２に登録した。
【００４１】
このとき、ビデオ製作者が、何千ものナレーションデータから、全ての写真の、全ての写真中の人物に対して、最も適切なナレーションを容易に選択できるようにするために、この実施例では、ナレーションと写真の両方のアノテーションを関連付けてナレーションデータを絞り込むようにしたので、ビデオ製作者は、絞り込まれたナレーションから適切なものを選択するだけで、ナレーションデータの設定が可能である。
【００４２】
図８はナレーションに付与されたアノテーションの例である。ナレーションのアノテーションには独自のボキャブラリーを定義した。図８でnaはこのボキャブラリーのネームスペースを表す。”Narration1.wav”のナレーションテキストは、na:textによって指定される。そして”Narration1.wav”はna:keywordによって指定される、幾つかのインスタンスを指す。図中の左のインスタンスはナレーションテキストに関連する人を示す。それはna:referToによりfoaf:Personのインスタンスを指している。一方、右側のインスタンスは、その人がどのように見えるかを示しており、dc:descriptionが当該のナレーションテキストを作る際に使用した語を示している。
【００４３】
その後、図２のステップＳ２では、ステップＳ１で入力した写真のうち、そのとき使う写真を検索し、使用する写真の組を選択する。ただし、写真の検索では、上で説明したメタ情報が利用される。メタ情報を利用した写真の検索条件としては、たとえば、以下のものが利用できる。
【００４４】
まず、FOAFではリージョンの種類が人であるとき、その人を特定するメタ情報を付与するのであるから、このFOAFのメタ情報を利用して、「特定の人物の写っている写真」を検索することができる。複数の人物を同時に検索できるが、この場合には、検索した名前の全員が写っている写真が対象となる。
【００４５】
Dublin Coreのメタ情報を利用する場合には、「撮影年月日」で検索できる。たとえば、「From (第１指定日)〜To（第２指定日）」で第１指定日以降第２指定日以前に撮影した全ての写真が検索できる。「From (指定日)」でその指定日以降に撮影した全ての写真が検索できる。同様に、「To（指定日）」でその指定日以前に撮影した全ての写真が検索できる。また、「特定のプロパティに特定の値が含まれている写真」を検索できる。たとえば、「dc:title」に「Disney」の文字が含まれる写真など。ただし、複数同時に選択または検索可能であるが、複数選択時には、設定された検索条件を同時に充足する写真だけが対象となる。
【００４６】
そして、検索した写真から実際に使用する写真の組を選択する場合、その組の複数の写真の再生順序を指定または決定する。再生順を設定するためには、たとえば、図９のようなＧＵＩ２６において、サムネイル表示領域３０に表示されるので、その一覧画像の中の写真を再生順序設定領域３６にドラッグアンドドロップすることによって、選択した写真の再生順を設定することができる。ただし、ここでは、その具体的な詳細は省略する。
【００４７】
このステップＳ２で使用する写真の組を選択したとき、好ましくは、それらの写真の各々に優先順位を付与しておく、この優先順位は、思い出ビデオに使用したい順位のことである。たとえば後に説明するように、思い出ビデオ全体の総時間数がたとえば２０分とか３０分とか限られているとき、映像効果やナレーションに必要な時間を計算すると写真の枚数を減らさざるを得ないとき、最も低い優先順位の写真から除いていく作業をする。
【００４８】
つづいて、図２のステップＳ３で、写真の再生時に流すＢＧＭおよびナレーションを選択する。この実施例では、たとえばＭＰ３形式の楽曲ファイルをサポートしていて、その中からＢＧＭとして使う楽曲をプレイリストとして登録すれば、ＢＧＭがそのプレイリストに沿って、再生されるようにしているが、ＢＧＭについてはここではこれ以上の説明は省略する。
【００４９】
次に図２のステップＳ４では、プレビューをするかどうか判断する。写真の選択などをすべて終えたときにこのステップＳ４で“ＹＥＳ”が判断されることになるが、そうでないときには、“ＮＯ”と判断され、ステップＳ２やステップＳ３に戻って作業を続ける。つまり、図２の各ステップＳ１−Ｓ４はそれぞれ、メニューでの選択によって、任意の時間に任意の作業量で何回も実行可能であるので、製作者は、時間のあるときに、必要なだけ必要な作業を行なえばよい。いずれの場合にも、前回までの作業の結果はデータベース２２に格納されているので、今回の作業では、まず、データベース２２から前回までのデータを読み出し、その後それに続行した処理またはそれを変更する処理を行う。
【００５０】
そして、ステップＳ４で“ＹＥＳ”を判断したときには、続くステップＳ５で、セマンティクスを考慮したメディア同期の手法に則り、ケンバーンズ効果、ＢＧＭおよびナレーションを付与することによって、たとえばＲＶＭＬ形式の思い出ビデオをレンダリングする。
【００５１】
なお、「ＲＶＭＬ」とは、ｓｗｆを完全に表現できるように設計されたＸＭＬの一種であり、すべてのバージョンのｓｗｆ動画はＲＶＭＬとして表現できる。ただし、ｓｗｆは、Ｆｌａｓｈのバージョンやフレームレートなどの情報を持つファイルヘッダを除くと、基本的にはタグの列だけである。たとえば、定義タグで図形を定義し、操作タグでその図形をフレームに配置し、表示タグで現在のフレームを画面に描画する、というパターンが１フレームに相当し、これを繰り返す。
【００５２】
そして、生成されたＲＶＭＬは、ＲＶＭＬからＦｌａｓｈツールであるKineticFusion（http://www.kinesissoftware.com）を使用すれば、Ｆｌａｓｈムービー形式の思い出ビデオが作成できる。
【００５３】
図２のステップＳ５は、具体的には、図１０に示す手順で実行される。最初のステップＳ１１では、コンピュータ１２は、まず、ＢＧＭとしてのプレイリスト（図示せず）の楽曲の再生を開始する。以後、楽曲は、そのプレイリストに沿って、順次切り替わり、かつ連続的に再生される。つまり、コンピュータ１２は、プレイリストに登録した楽曲データを読み出し、それをサウンドボードまたはプロセサで処理させることによって、スピーカ１８（図１）から、当該プレイリストの楽曲が音声として再生される。
【００５４】
次のステップＳ１３では、コンピュータ１２は、モニタ１６の表示画面に形成されたＧＵＩ２６の写真表示編集領域２８（図３）の幅をＳｗ、高さをＳｈとして設定する。
【００５５】
ついで、ステップＳ１５で、コンピュータ１２は、写真個数ｎをインクリメント（ｎ＝ｎ＋１）する。そして、次のステップＳ１７では、再生順設定領域３６（図９）に挙げられたｎ番目の写真がフェードイン態様で、表示編集領域２８に表示される。つまり、コンピュータ１２は、データベース２２（図１）から再生順のｎ番目の写真とそれに付随するメタ情報（アノテーション）とを読み出し、ｎ番目の写真を表示する。ただし、最初はｎ＝１であるので、１番目の写真がフェードイン表示される。
【００５６】
そして、次のステップＳ１８において、コンピュータ１２は、その写真についてナレーションが付与されているかどうか判断し、既にナレーションが付与されて登録されている場合には、このナレーションをステップＳ１９で再生する。したがって、このステップＳ１９において、既登録のナレーションが確認できる。
【００５７】
ただし、ナレーションが未だ付与されていないときには、その後、ステップＳ２０での一定時間のポーズの後、次のステップＳ２１で、コンピュータ１２は、そのｎ番目の写真にリージョンが指定されているかどうか、たとえばImage Regionsのメタ情報があるかで判断する。リージョンが指定されているなら、次のステップＳ２３で、コンピュータ１２は、リージョン番号ｍをインクリメント（ｍ＋１）する。そして、ステップＳ２５で、ｍ番目のリージョンのImage Regionsのメタ情報を参照する。このメタ情報に、ｍ番目のリージョンの位置データやサイズデータが含まれる。したがって、次のステップＳ２７で、コンピュータ１２は、そのようなメタ情報および先に設定した表示領域の高さＳｈおよび幅Ｓｗを利用して、ｍ番目のリージョンを、領域２８の中央に位置合わせする。
【００５８】
一例として、そのリージョンの幅をｗ１、高さをｈ１とすると、拡大率をｍｉｎ［Ｓｗ／ｗ１、 Ｓｈ／ｈ１］として、そのリージョンがちょうど表示画面２８の中央に収まるまで、１フレームずつ、表示画面２８に対して写真画像を横軸にｄＸ、縦軸にｄＹ移動し、ｄＺ分拡大して表示する。
【００５９】
ただし、このステップＳ２７では、そのリージョンの画像を表示領域の中央に位置合わせするだけでなく、たとえば、左上、右下など他の位置に位置合わせするようにしてもよい。
【００６０】
その後、ステップＳ２９でのポーズの後、次のステップＳ３１で、コンピュータ１２は、残りリージョンがなくなったかどうかを判断する。つまり、Image Regionsのメタ情報からリージョン個数がわかるので、このステップＳ３１では、ステップＳ２３でインクリメントした結果がそのリージョン個数に等しくなったかどうか判断すればよい。
【００６１】
残りリージョンがあれば、次のステップＳ３２において、コンピュータ１２は、表１に示す識別子ＲＴ−１、ＲＴ−２およびＲＴ−４で示される映像効果Ａ−１、Ａ−２を付与する。
【００６２】
ここで、映像効果について説明する。発明者等は、映像編集の経験のある複数のクリエータ(製作者)に、写真から思い出ビデオに変換する際に付加できる映像効果（各写真に付与したエフェクト、写真間のトランジション）について、どのようなものが想定できるか、聞き取り調査した。その結果は、以下のＡ-１〜Ａ−３およびＢ−１〜Ｂ−５であった。
（Ａ） エフェクト
Ａ-１：写真中の人物の顔を含む矩形領域（以下、リージョンと呼ぶ）に対するズームアップ、パンという、いわゆるケンバーンズ（Ken Burns）効果。
Ａ−２：パンの代わりに、ズームアップされたリージョンをフェードアウトして、次のリージョンをフェードインする。
Ａ−３：カラー写真をまずモノクロ調に表示した後、徐々にカラー表示に遷移させていく。
（Ｂ）トランジション
Ｂ-１：前の写真をフェードアウトしながら次の写真をフェードインし、それらをオーバ
ーラップさせる。
Ｂ-２：次の写真をスライドインさせる。
Ｂ-３：前の写真をディゾルブして次の写真に遷移する。
Ｂ-４：前の写真をページピール（右下隅から捲り上げるような効果）して次の写真に遷
移する。
Ｂ-５：前の写真を中心の縦軸で回転させて、次の写真に遷移する。
【００６３】
上記の結果を踏まえて、表1に示すような思い出ビデオをレンダリングするためのテンプレートを作成した。表１の「使用された情報」に挙げた項目を写真に付与すべきアノテーションとし、アノテーションオントロジ（ontology）として設計した。アノテーション付与の枠組みとして、セマンティクＷｅｂ（これは、検索性能の向上や利便性を高める次世代Ｗｅｂ技術で、「メタ情報（内容を説明する付加情報）」と「オントロジ（メタデータを記述する用語の定義）」という２つの技術を用いる。）の枠組みを用いた。すなわち、アノテーションは、ＲＤＦ（Resource Description Framework）で記述される。これは、将来的には他人がアノテーションした写真を自分や家族の思い出ビデオに利用するような情報交換を考えたとき、Ｗｅｂとの親和性を考慮したためである。
【００６４】
【表１】
0004446124.tif 000002
【００６５】
さらに、発明者等は、既存のボキャブラリーを可能な限り利用するという方針をたて、図１実施例のための実験では、撮影された日付や出来事に関しては、書誌情報に関する標準的なボキャブラリーである上述のDublin Coreで記述した。また、写真中の人物の情報を記述するためには、人の情報を記述するための標準的なボキャブラリーである上述のFOAFを用いた。そして、写真中の人物領域を記述するためには、上述のImage Regionを使用し、写真の色調はExif（http://it.jeita.or.jp/document/publica/standard/exif/english/jeida49e.htm参照）の色空間情報から取得できる。また、写真中の人物（被写体）との関係については、FOAFでknowsプロパティが定義されているが、思い出ビデオ作成においては本人(視聴者)と被写体(関係者)との間柄をより詳細に定義する必要があるため、FOAFのknowsの属性を拡張して定義されたRELATIONSHIP（http://vocab.org/relationship/参照）を利用した。これを用いて、親子関係、親戚関係などを記述した。そのサンプルが先の図７に示される。
【００６６】
さらに、表１に挙げたエフェクト、トランジションに対して、思い出ビデオ作成に用いる映像効果のオントロジを表２のように定義した。
【００６７】
【表２】
0004446124.tif 000003
【００６８】
そして、写真のアノテーションから映像効果への変換ルールを記述し、テンプレートとして使用する。表３に、表１の「ＲＴ−８」のレンダリングテンプレートの表現例を示す。ただし、表１に示す他の識別子に付いても同様にテンプレートを作成しておくものとする。
【００６９】
【表３】
0004446124.tif 000004
【００７０】
ここでは、レンダリングテンプレート自身もＲＤＦのステートメントとして記述し、上述のＲＤＱＬを用いて、レンダリングテンプレートを検索することを想定している。なお、レンダリングオントロジについては、インタオペラビリティ（相互操作性）の必要性は低いため、別の独自形式を定義してもよい。
【００７１】
ステップＳ３２に戻って、具体的には、コンピュータ１２は、図７のようなメタ情報のうち、リージョン座標値（imgReg:coords）およびリージョン境界値（imgReg:boundingBox）から、複数のリージョン間間隔、Ｘ方向（横方向）間隔およびＹ方向（縦方向）間隔を算出する。そして、それらのリージョン間間隔が所定の閾値以上か以下かを判別する。そして、Ｘ方向（横方向）間隔およびＹ方向（縦方向）間隔のいずれかが閾値以下のときには、ケンバーンズ効果を使用するべく、写真中の人物の顔を含むリージョンに対するズームアップをした後、次のリージョンへパンさせる。逆に、Ｘ方向（横方向）間隔およびＹ方向（縦方向）間隔のいずれかが閾値以上のときには、パンの代わりに、ズームアップされたリージョンをフェードアウトして、次のリージョンをフェードインさせる。
【００７２】
また、図７に示すfoaf:personで示す被写体情報が、視聴者に思い出深い被写体であると、その被写体のリージョンだけにズームアップをし、その後、リージョン間間隔に応じたパンかフェードアウト、フェードインからの処理を行う。
【００７３】
ただし、このステップＳ３２において識別子ＲＴ−１、−２および−４のような映像効果をＡ−１およびＡ−２を自動的に付与するためには、表３で例示した変換テンプレートが用いられる。
【００７４】
その後、先のステップＳ２３に戻り、ステップＳ２３−Ｓ３２を繰り返し実行する。
【００７５】
ステップＳ３１で“ＮＯ”なら、つまり、写真リスト欄３８でｎ番目のその写真の全てのリージョンの処理が終わったなら、次のステップＳ３３で、コンピュータ１２は、ｎ番目の写真を写真表示編集領域２８からフェードアウトさせる。
【００７６】
続いて、ステップＳ３５において、コンピュータ１２は、処理すべき写真の残りがなくなったかどうかを判断する。つまり、図９で示される写真リスト中の写真の数は予め判っているので、このステップＳ３５では、ステップＳ１５でインクリメントした結果がその枚数に等しくなったかどうか判断すればよい。
【００７７】
写真が未だ残っていれば、次のステップＳ３６において、コンピュータ１２は、表１に示す識別子ＲＴ−３、ＲＴ−５、ＲＴ−６、ＲＴ−７およびＲＴ−８で示される映像効果Ａ−３やＢ−１およびＢ−５を付与する。
【００７８】
具体的には、コンピュータ１２は、メタ情報のうち、図７には図示していない、写真の色調のメタ情報を前述のExifの色空間情報から取得し、その色情報が、前の写真がモノクロで今回の写真がカラーのような色変化を示しているかどうか判断する。色変化情報があれば、コンピュータ１２は、今回のカラー写真をまずモノクロ調に表示した後、徐々にカラー表示に遷移させていくという映像効果を付与する。
【００７９】
また、コンピュータ１２は、図７に示すメタ情報のうち、撮影日（date）のデータを取得し、前の写真と今回の写真との間の年代差を算出する。そして、その年代差が所定の閾値以上か以下か判別する。前の写真との間の年代差が閾値以下のときには、コンピュータ１２は、前の写真をフェードアウトしながら次の写真をフェードインし、それらをオーバーラップさせる、という映像効果を付与する。前の写真との間の年代差が閾値以上のときには、コンピュータ１２は、前の写真を中心の縦軸で回転させて、今回の写真に遷移する、という映像効果を付与する。
【００８０】
さらに、コンピュータ１２は、図７に示すメタ情報のうち、撮影日や出来事（title）を参照して、シナリオが一貫しているかどうか、判断する。これは、たとえば、写真が年代順に取り込まれているか、とか同じ年代であれば季節の順序に従っているかなどを判断すればよい。そして、シナリオが一貫していると判断したときには、前の写真をフェードアウトしながら次の写真をフェードインし、それらをオーバーラップさせる、という映像効果を付与する。
【００８１】
さらに、上述のようにして算出した写真の年代差が所定の閾値以下ではあるが、かつシナリオの転換点であるような場合、たとえば、進学した、結婚した、子供が生まれた、などのような場合には、コンピュータ１２は、前の写真を中心の縦軸で回転させて、今回の写真に遷移する、という映像効果を付与する。
【００８２】
ただし、このステップＳ３６での映像効果を自動的に付与するためには、表３で例示した変換テンプレートが用いられる。
【００８３】
なお、先のステップＳ３５で写真残数があると判断したときには、先のステップＳ１５に戻り、ステップＳ１５−Ｓ３６を繰り返し実行する。ステップＳ３５で“ＮＯ”なら、コンピュータ１２はステップＳ３７でＢＧＭを停止し、終了する。
【００８４】
このようにして、図１０のフロー図に従って、写真画像データをそれに関連するメタ情報を用いて編集しさらには映像効果付与することによって、一連のビデオコンテンツ（思い出ビデオ）が生成（レンダリング）されるが、この映像効果付与と同時並行して、またはそれに続いて、ナレーション付与を行う。
【００８５】
ナレーション付与を実行するに際しては、図４に示すＧＵＩ２６に形成されるナレーションボタン３８を操作する。ユーザは、生成したスライドショーにナレーションを付与する必要があるとき、マウス（図示せず）でこのナレーションボタン３８をクリックする。そうすると、図１１に示すように、ＧＵＩ２６のほぼ中央に、写真表示編集領域２８その他にオーバーラップする形で、ナレーション作成領域４４が、ポップアップ形式で表示される。
【００８６】
このナレーション作成領域４４には、ナレーション候補テキスト表示領域４６が形成される。ナレーション候補テキスト表示領域４６は、後に説明するように、メタ情報から取得したキーワードもしくはユーザが入力したキーワードに基づいてコンピュータ１２がナレーション候補テキストを作成したとき、そのナレーション候補テキスト（文）を表示するための領域である。このナレーション候補テキスト表示領域４６に関連して、ＯＫボタン４８が配置される。このＯＫボタン４８は、ナレーション候補テキスト表示領域４６に表示されたナレーションテキスト文を選択するかどうかを指示するためのものであり、表示されているナレーション候補を使用するならそれをクリックすればよい。
【００８７】
ただし、ナレーション候補テキスト表示領域４６には、１つだけの候補ではなく、複数の候補が一度に表示されるようにしてもよく、その場合には、ユーザは、その領域４６を直接クリックして１つまたは複数のナレーションテキストを選択するようにすればよい。
【００８８】
ナレーション候補テキスト表示領域４６の下方には、指示ボタン５０が形成される。たとえば、コンピュータ１２が適当なナレーション候補テキストを作成できなかったような場合に、ユーザが適当なキーワードを手動で入力するときにこの指示ボタン５０をマウスでクリックする。そうすると、その下のキーワード入力領域５２が有効化される。したがって、ユーザは図示しないキーボードを使用してキーワードを入力することができる。このキーワード入力領域５２は、好ましくは、図１１に示すように、カテゴリ毎にキーワードを入力することができるように、複数（この実施例では５つ）のカテゴリに区分けされている。この入力領域５２を見れば、ユーザは、意図したキーワードが入力されたかどうか確認することができる。そして、意図どおりのキーワードを入力していることを確認したとき、ユーザは、入力領域５２の右にあるＯＫボタン５４を操作すればよい。それによって、キーワード入力が終了できる。
【００８９】
キーワード入力ＯＫボタン７１の右には、終了ボタン５６が設定される。この終了ボタン７２は、ナレーション付与作業を終了するときに操作する。
【００９０】
このようにして、ナレーション付与ボタン３８を操作することによって、ＧＵＩ２６が図１１に示す状態となり、その状態で、図１２に示すナレーション付与動作を実行することができる。
【００９１】
図１２の最初のステップＳ４１で、コンピュータ１２は、ナレーションを付与すべき写真が選択されたかどうか判断する。ユーザが写真を選択するためには、先に説明したように、サムネイル表示領域３０に表示されたサムネイル画像をクリックすればよい。そして、コンピュータ１２は、サムネイル表示領域３０での操作によってステップＳ４１で写真が選択されたと判断すると、次のステップＳ４３において、選択したサムネイル画像で表される写真を、写真表示編集領域２８に表示する。ただし、このときＧＵＩ２６はナレーション作成領域４４がその写真表示編集領域２８にオーバーラップした「ナレーション付与モード」になっているので、この領域２８で写真の編集をすることはできない。
【００９２】
次のステップＳ４５において、コンピュータ１２は、先に述べた方法で登録されているメタ情報を取得し、次のステップＳ４７で、そのメタ情報からキーワードを抽出する。そして、ステップＳ４９において、コンピュータ１２は、そのキーワードに基づいて、ナレーション候補テキストをナレーション候補テキスト表示領域４６に表示する。
【００９３】
ここで、ナレーション候補の生成方法について、説明する。
【００９４】
この実施例のシステム１０では、コンピュータ１２の内部メモリ（図示せず）またはデータベース２２（図１）に、表４に示すような、典型的なナレーションパターンを予め設定しておく。その意味で、これら内部メモリおよび／またはデータベース２２がナレーションパターン設定手段として機能する。そして、この表４に示す単語Ｘ１‐Ｘ５を、メタ情報から抽出したキーワードに基づいて当てはめることによって、ナレーションテキストを自動生成する。
【００９５】
【表４】
0004446124.tif 000005
【００９６】
ただし、単語Ｘ１‐Ｘ５の与え方は、一例として、表５に従う。
【００９７】
【表５】
0004446124.tif 000006
【００９８】
たとえば、表４の第１パターン「Ｘ１ですね（ｏｒですか）」や第２パターン「これはＸ１ですね（ｏｒですか）」を使うときには、単語Ｘ１には、人、物、場所、時候のいずれかである名詞２を当てはめる。ただし、その名詞２にも何種類かあり、それが｛（［副詞］＋形容詞）または（名詞１＋の）＋名詞２｝で表されている。これを分解すると、単語Ｘ１に当てはめられる単語は、「形容詞＋名詞２」（たとえば、「きれいな」）、「副詞＋形容詞＋名詞２」（たとえば、「大変きれいな花」）、「形容詞＋名詞１の名詞２」（たとえば、「きれいな庭の花」）、「副詞＋形容詞＋名詞１の名詞２」（たとえば、「大変きれいな庭の花」）、そして「名詞１の名詞２」（たとえば、「庭の花」）のいずれかとなる。
【００９９】
表４の第３パターン「Ｘ２とＸ３しましたね（ｏｒしましたか）」を使うときには、単語Ｘ２には、人である名詞２を当てはめる。ただし、そのＸ２の場合の名詞２は、第１パターンや第２パターンのときと同様に、｛（［副詞］＋形容詞）または（名詞１＋の）＋名詞２｝で定義され得る。また、単語Ｘ３には、行為である名詞２を当てはめる。このときの名詞２は、｛（［副詞］＋名詞２）｝で定義される。つまり、副詞が付いたか、付かない名詞２（行為）（たとえば、「楽しく旅行」または「旅行」）である。
【０１００】
表４の第４パターン「Ｘ４でＸ３しましたね（ｏｒしましたか）」を使うときには、単語Ｘ４には、場所である名詞２を当てはめる。ただし、その名詞２には、上述の場合と同じく、｛（［副詞］＋形容詞）または（名詞１＋の）＋名詞２｝で定義される。なお、単語Ｘ３については上述のとおりである。たとえば、場所としては、「遊園地」、「デパート」などが例示できる。
【０１０１】
表４の第５パターン「Ｘ５でＸ３しましたね（ｏｒしましたか）」を使うときには、単語Ｘ５には、時候および／または場所である名詞２を当てはめる。ただし、その名詞２には、上述の場合と同じく、｛（［副詞］＋形容詞）または（名詞１＋の）＋名詞２｝で定義される。時候としては、春夏秋冬、何月などが例示できる。なお、単語Ｘ３については上述のとおりである。
【０１０２】
さらに、上記において、名詞２に与える単語は、一般名詞の概念構造から、ナレーションに使用するのに粒度として適当なものを選択して用いる。そして、副詞、形容詞、名詞１については、その名詞２と適合するものを割り当てる。ただし、この「適合」については、図示しないが、適合表を作成し、名詞２を決定した後、その適合表を参照して副詞、形容詞、名詞１を採用する。
【０１０３】
このような表１のナレーションパターンのＸ１−Ｘ５に表２のように定義できる単語を当てはめる訳であるが、実施例では、この「単語」を、写真に付加したメタ情報から取得しようとするものである。
【０１０４】
図１４および図１５には、実施例において単語決定手段として機能するシソーラス辞書５８および共起辞書６０が図解される。このようなシソーラス辞書５８や共起辞書６０は、ともに、データディクショナリ（データ辞書）の一種であり、実施例では、図１に示すデータベース２２またはコンピュータ１２の内部メモリに予め設定されている。
【０１０５】
シソーラス辞書５８は、図１４に示すように、表記の揺れや、関連語、同義語、類似語などを概念的に類似したキーワードのツリー構造または網構造の階層構造として示したものであり、カテゴリ毎にまとめられている。図１４の例では、カテゴリとして、「場所」および「行為」が示されている。たとえば、「偕楽園」、「後楽園」、「兼六園」などは「公園」という概念でくくられ、いずれも固有名詞である「ディズニーランド」や「ＵＳＪ」は、「遊園地」という概念に当てはめられ、これら「公園」および「遊園地」は、別の概念たとえば「デパート」とともに、カテゴリとしては「場所」に含まれることを示している。「行為」というカテゴリについても同様である。「○○旅行」はまとめて「旅行」で表し、「旅行」は、「散歩」、「おでかけ」などともに、「行為」のカテゴリに分類されている。先のナレーションパターンでの「名詞２」として適当な他のカテゴリ「人」、「時候」などについても、同様にキーワードを集積している。
【０１０６】
特定の単語と単語との関係、結びつきを共起関係といい、共起辞書６０には、図１５に示すように、各カテゴリたとえば「場所」および「行為」にそれぞれ含まれるキーワード間の共起関係が示されている。この共起辞書７６によれば、一例として、場所の「デパート」というキーワードは行為のなかでは、「おでかけ」というキーワードとしか繋がらないが、「公園」といえば、「おでかけ」、「散歩」および「旅行」という複数のキーワードに強いつながりを持つことがわかる。
【０１０７】
このようなツールを利用して、表４のナレーションパターンに単語、特に名詞２を適用することによって、ステップＳ４９において、ナレーション候補テキストを作成する。
【０１０８】
ナレーション候補の具体例を説明する。図７に示すメタ情報には、日付（dc:date）として「２００４．０７．１６」があり、タイトル（dc:title）として「ディズニー動物王国にて」があり、人（faof:person）として「rel:grandchildOf」がありさらに、名前（foaf:name）として「はるか」が含まれる。
【０１０９】
まず、日付が「２００４．７．１６」であることから、シソーラス辞書５８を参照すれば、図１４には図示していないが、カテゴリ「時候」としては「夏」であることがわかる。「ディズニー動物王国にて」というタイトルに含まれる「ディズニー」を図１４のシソーラス辞書５８で検索すると、それは、「遊園地」に包含され、その「遊園地」は「場所」のカテゴリに該当することがわかる。さらに、図１５の共起辞書６０を参照すると、「遊園地」は３つの行為「おでかけ」、「散歩」、「旅行」に共起関係を有することがわかる。さらに、「人」として「孫」があり、その名前が「はるか」であることがわかる。このようにして、メタ情報からキーワードを抽出し、そのキーワードから、ナレーションパターンに適用可能な「単語」を検索すると、時候が「夏」で、場所が「遊園地」で、行為が「おでかけ」、「散歩」または「旅行」で、人が「孫のはるか」であることがそれぞれわかる。
【０１１０】
したがって、コンピュータ１２は、ステップＳ４９で、一例として表６に示すような３つのナレーションテキストを生成する。
【０１１１】
【表６】
0004446124.tif 000007
【０１１２】
表６の第１の候補は、第１のナレーションパターンを選択して単語を適用したものであり、第２の候補は、第３のナレーションパターンを選択して単語を適用したもので、第３の候補は、第５のナレーションパターンを選択して単語を適用してものである。
【０１１３】
そして、ステップＳ４９で、このようなナレーションテキストを、ナレーション候補として、図１１のナレーション候補テキスト表示領域４６に一度に、または順次表示する。
【０１１４】
そして、ステップＳ５１でコンピュータ１２は、そのようなナレーション候補テキストが選択されたかどうか、判断する。どれかのナレーション候補テキストが選択されると、次のステップＳ５３で、コンピュータ１２は、このナレーションテキストの音声データを取得する。
【０１１５】
この実施例では、音声モデルを図１のデータベース２２またはコンピュータ１２の内部メモリに登録しておき、ナレーションテキストを決定すると、その音声モデルを使って音声合成の手法で、ナレーション音声を作成する。ただし、音声データは、音声合成による他、たとえばプロのナレーターが発声した音声データを内部メモリやデータベース２２内に収録しておき、その音声データを編集することによって、ナレーション音声を作成するようにしてもよい。
【０１１６】
そして、ステップＳ５５において、コンピュータ１２は、ステップＳ５３で取得し、また作成したナレーション音声データを、ステップＳ４１で選択した写真に紐付けして、データベース２２に登録する。
【０１１７】
このようにして、１枚の写真についてのナレーション音声データが写真に付与されるが、次のステップＳ５７で、ナレーション付与をしたい写真が未だあるかどうか判断し、まだナレーション付与を続行するときは終了ボタン５６（図１１）を押さないので、先のステップＳ４１に戻るが、終了ボタン７２を押したなら、このステップＳ５７で“ＹＥＳ”となり、ナレーション付与ステップＳ７が終了する。
【０１１８】
ただし、先のステップＳ４９で表示したナレーション候補をステップＳ５１で選択しなかったときには、コンピュータ１２は、次のステップＳ５９でさらにナレーション候補があるかどうか判断し、もしあれば、次のステップＳ６１でナレーション候補を更新して、再び、ナレーション候補テキスト表示領域４６に表示し（ステップＳ４９）、ユーザの選択を待つ。
【０１１９】
また、ステップＳ５９で適当なナレーション候補がないと判断したときには、コンピュータ１２は、ユーザによる変更キーワードを受け付ける。ユーザはキーワードを入力するときには、指示ボタン５０（図１１）を操作し、キーワード入力領域５２にキーワードを入力する。このとき、入力するキーワードは、ナレーションパターン（表４）の名詞１および名詞２に対応する｛人、物、場所、時候、行為｝、副詞や形容詞に対応する｛どんな｝をそれぞれ入力するものとする。ただし、指定しないカテゴリや項目があってもよい。
【０１２０】
このようにして、ユーザがキーワードを入力した後には、コンピュータ１２は、ステップＳ４９で、上で説明したように、ユーザ入力キーワードから、シソーラス辞書５８や共起辞書６０を使って「単語」を決定し、その単語を表１のナレーションパターンに当てはめて、ナレーションテキストを生成し、表示する。以後、先に説明したように、ユーザは、その表示されたナレーション候補テキストを選択し、ナレーションテキストを決定する。
【０１２１】
このようにして決定したナレーションテキストの音声データを写真画像データとともにデータベース２２に登録することによって、たとえばＲＶＭＬ形式のビデオムービーのようなビデオコンテンツを製作することができるが、この実施例では、付与すべき映像効果として、現在は２つのタイプの映像効果を対象としている。１つは写真間のトランジションの際に適用するフェードアウト/フェードインである。もう１つのタイプは写真の幾つかの領域に視聴者の注意を引き付けるための、パン、ズームの効果である。特に後者の映像効果は、適切なナレーションが伴なければならない。たとえば、「あなたの息子さんは、かわいいですね」というナレーションは、視聴者の息子を含む領域にズームアップしているタイミングで再生しなくてはいけない。また、映像効果との関連以外に、適切なポーズ（反応時間）がナレーションの後に挿入される必要がある。すなわち、視聴者が、ナレーションに反応することができる十分な時間を与える必要がある。ポーズが短過ぎると、視聴者が何らかの発話をしようとするのを、次のナレーションで遮られるかもしれず、それは視聴者にとって非常にいらだたしく感じられる。
【０１２２】
つまり、視聴者にとって興味あるスライドショービデオにするためには、視覚的効果やＢＧＭ、ナレーションなどのオーディオ効果を付与する必要があるが、その際には写真の内容に応じて適切に視覚的効果とオーディオ効果を同期させることが必要となる。たとえば、ウェブ上のマルチメディアコンテンツの標準的な表現形式として、Synchronized Multimedia Integration Language (SMIL)が良く知られている。この表現形式は、タイムライン上に各コンテンツが割付済みのマルチメディアコンテンツを記述することを対象としている。この実施例で問題となるのは、アノテーションされた写真のセットから魅力的なスライドショービデオを作成する際の視覚的効果とオーディオ効果の間の意味的なレベルでの同期関係である。具体的には、ナレーションやＢＧＭと、写真への視覚的効果（映像効果）を付与するタイミングを同期させる必要があり、そのことをここでは、「セマンティクス(semantics)を考慮したメディア同期」と呼ぶことにする。
【０１２３】
このような「セマンティクスを考慮したメディア同期」をとるために、この実施例では、上述の全ての要素(ナレーション、ポーズ、映像効果、写真および写真中の人物)を揃えた後に、映像効果要素、ナレーション要素およびポーズ(反応時間)要素についてのセマンティックな制約を考慮に入れて、ビデオのタイムライン上に並べる。
【０１２４】
図１５にその例を示す。この図１５では、Ｎ１（ナレーション１）とＰ１（家族）とが同時に提示されるべきという制約を有し、またＮ２（ナレーション２）とＰ２（息子）も同様な制約を有する。さらに、ビデオのタイムライン上に要素を配置するには、前述のナレーションとポーズとの関係のように、他の種類の制約も考慮する必要がある。
【０１２５】
セマンティクスを考慮したメディア同期は、コンテンツを構成する要素間の時間的制約(局所的制約)を記述したものであるといえ、時区間論理のモデルによって表現することができる。このモデルは、時間的関係の制約の記述形式としてよく知られたものであり、ＯＷＬ−Ｓにおける時間に関するオントロジの一部にも組み込まれている。時区間論理のモデルを使えば、図１５の要素間の制約は、以下のように記述される。このような制約は、たとえば、コンピュータ１２の内部メモリ１４(図１)に設定される。
【０１２６】
{VE1 overlaps P1、 VE1 meets N1、 N1 during P1、 N1 meets R1、 R1 meets VE2、 P1 overlaps VE2、 VE2 overlaps P2、 VE2 meets N2、 N2 meets R2、 N2 during P2}
｛視覚効果または映像効果ＶＥ１は写真Ｐ１とオーバーラップする、映像効果ＶＥ１はナレーションＮ１の直前にある、ナレーションＮ１は写真Ｐ１の間にある、ナレーションＮ１は反応時間Ｒ１の直前にある、反応時間Ｒ１は映像効果ＶＥ２の直前にある、写真Ｐ１は映像効果ＶＥ２とオーバーラップする、映像効果ＶＥ２は写真Ｐ２とオーバーラップする、映像効果ＶＥ２はナレーションＮ２の直前にある、ナレーションＮ２は反応時間Ｒ２の直前にある、ナレーションＮ２は写真Ｐ２の間にある｝
次に、上記の制約のもとで、思い出ビデオでこれらの各要素を提示する具体的なタイミングを計算する手続きを説明する。この計算のために、以下の条件を仮定する。なお、以下でサフィックスのiは、それが各タイプのithの要素であることを示す。
条件１：写真トランジションにはフェードアウト／フェードインの視覚効果を用いる。また同じ写真内で人から人への遷移には、パン、ズームの視覚効果を適用する。
条件２:ビデオに提示される写真の順序はデフォルトで年代順とする。さらに各写真での人と人との間のパン、ズームについて、デフォルトで左から右とする。しかし製作者は必要に応じて、それを変更できる。
条件３：フェードアウト／フェードインに要する時間は任意に変更可能であるが、速過ぎる、または遅過ぎるフェードアウト／フェードインは、視聴者を不愉快にする可能性がある。そのために最小、最大の時間を予め与えておくことにする。以降、その最小時間をminTfoi_iとし、最大時間をmaxTfoi_iとする。
条件４：Tn_iはNarration_iに費やされる時間を表す。そして視聴者の予想される応答または反応に必要な時間を、Tr_i秒で表す。
条件５： パン(Δ画素/秒)とズーム(Δ倍/秒)の速度を変えることで、パン、ズームそれぞれに必要な時間を制御することができる。しかし、この効果についても、条件３と同様な理由から、最小、最大の時間を設定しておく必要がある。最小時間をminTpz_iとし、最大時間をmaxTpz_iとして表す。
条件６：製作者は、思い出ビデオの最小、最大のビデオ再生時間を設定することができる。これらをminTpbとmaxTpbとしてそれぞれ表す。たとえば、製作者は、ビデオの長さを少なくとも３０分以上で、高々６０分以内のものとしたい等を指定することができる。
【０１２７】
このような条件のもとで、各要素のタイムライン上の並びを計算する。
【０１２８】
先に図２を参照して説明したように、思い出ビデオに使用する写真、および各写真の人々を表示する順番は、ステップＳ２において決定されている。したがって、それらに対する映像効果の要素は自動的に並べることができる。また、ステップＳ３での写真中の各人へのナレーションの選択は、それぞれの映像効果の要素に引き続いて実行される。この実施例において設定しているセマンティック同期のための制約(各要素間の局所的制約)では、そのナレーションに引き続いて、視聴者の応答または反応のためのポーズ時間を配置する。そして、視聴者の応答または反応があればそれに引き続いて、直ちに次の映像効果の要素が実行される。映像効果の要素は、提示順序が前後の写真中の、各人に対応する要素とオーバーラップする。同様の制約を適用して、映像効果要素、ナレーション要素および反応時間要素が最後の写真まで配置される。
【０１２９】
このようにして、図２のステップＳ２およびＳ３を繰り返し実行することによって、各要素のタイムラインをあらまし設計するが、図２のステップＳ５で実行するレンダリング処理において、上で説明した同期の制約（条件１ないし６）のもとで、コンピュータ１２が、思い出ビデオのタイムライン上で各要素を実行する正確なタイミングを計算する。
【０１３０】
まず、全ての要素（映像効果、ナレーション、反応）に対する、最小フェードアウト／フェードイン時間minTfoi_ｉ、ナレーション時間Tn_i、反応時間Tr_i、および最小パンズーム時間minTpz_iの総和より最大ビデオ再生時間maxTpbが小さいなら、すなわち、変数iが１からｎまで変化するときのΣ(minTfoi_ｉ＋Tn_i＋Tr_i＋minTpz_i)＞maxTpbなら、図２のステップＳ５において、コンピュータ１２は、先に写真に付与しておいた優先順位に従って、優先順位の低い写真を自動的に除外する。ただし、製作者が手動で除外対象を選択するようにしてもよい。
【０１３１】
また、全ての要素に対する、最大フェードアウト／フェードイン時間maxTfoi_i、ナレーション時間Tn_i、反応時間Tr_i、および最大パンズーム時間maxTpz_iの総和より最小ビデオ再生時間minTpbが大きいなら、つまり変数iが１からｎまで変化するときのΣ(maxTfoi_ｉ＋Tn_i＋Tr_i＋maxTpz_i)＜minTpbなら、ステップＳ５のレンダリング処理において、コンピュータ１２が幾つかの写真を追加するか、あるいは製作者が幾つかの写真を手動で追加する。追加する写真の画像データは図２のステップＳ１において既に取り込まれているものを利用するか、あるいは必要に応じて追加的にその都度取り込むものとする。
【０１３２】
そして、ビデオの再生時間長さが最大再生時間maxTpbより短く、かつ最小再生時間minTpbより長くなるまで、写真の追加や削除による時間調整を行う。
【０１３３】
このように、写真のアノテーションされた領域に対するケンバーンズ効果などの映像効果と、オーディオの効果で特にナレーションとの間のセマンティックな同期制約を考慮することで、簡単に魅力的なスライドショービデオ（ビデオコンテンツ）を製作できる。具体的には、映像効果要素、ナレーション要素および反応時間要素を各写真に所定の条件でタイムライン上で割り付け、それら各要素の合計所要時間が最大ビデオ再生時間と最小ビデオ再生時間との間に入るように設計することによって、映像効果とナレーションとの同期および視聴者の反応時間が確実に確保できる。
【図面の簡単な説明】
【０１３４】
【図１】この発明の一実施例のビデオコンテンツ作成装置を示すブロック図である。
【図２】図１実施例の全体動作を示すフロー図である。
【図３】図１実施例のＧＵＩの一例を示す図解図である。
【図４】図２のステップＳ１で利用する写真入力およびメタ情報登録時のＧＵＩの表示の一例を示す図解図である。
【図５】図４においてリージョンの切り出しを示す図解図である。
【図６】図５のリージョンのメタ情報を示す図解図である。
【図７】写真のアノテーションを例示する図解図である。
【図８】ナレーションのアノテーションを例示する図解図である。
【図９】図２のステップＳ２での写真の選択および再生順設定動作時のＧＵＩの一例を示す図解図である。
【図１０】図２のステップＳ５での思い出ビデオのレンダリング動作を詳細に示すフロー図である。
【図１１】図８のＧＵＩにおけるナレーション作成領域を示す図解図である。
【図１２】図２のステップＳ７でのナレーション付与動作を詳細に示すフロー図である。
【図１３】ナレーション付与に用いるシソーラス辞書を示す図解図である。
【図１４】ナレーション付与に用いる共起辞書を示す図解図である。
【図１５】セマンティクスを考慮した要素のタイムライン上の配置の一例を示す図解図である。
【符号の説明】
【０１３５】
１０  …ビデオコンテンツ作成装置
１２  …コンピュータ
１４  …内部メモリ
１６  …モニタ
２０  …写真データ入力装置
２２  …データベース
２６  …ＧＵＩ
２８  …写真表示編集領域
３２、３４  …メタ情報入力領域
【図１】
0004446124.tif 000008
【図２】
0004446124.tif 000009
【図３】
0004446124.tif 000010
【図４】
0004446124.tif 000011
【図５】
0004446124.tif 000012
【図６】
0004446124.tif 000013
【図７】
0004446124.tif 000014
【図８】
0004446124.tif 000015
【図９】
0004446124.tif 000016
【図１０】
0004446124.tif 000017
【図１１】
0004446124.tif 000018
【図１２】
0004446124.tif 000019
【図１３】
0004446124.tif 000020
【図１４】
0004446124.tif 000021
【図１５】
0004446124.tif 000022