(57)【要約】【課題】動画コンテンツの映像におけるカット点において、キャラクタの感情を分かりやすく、また、視聴者の視聴習慣に適合するカメラワークを実現することを図る。【解決手段】動画コンテンツデータ３０の映像におけるカット点候補を検出するカット点候補検出部１１と、動画コンテンツデータ３０で表現される感情、又は、視聴者の視聴習慣に基づいて、該検出されたカット点候補におけるカメラワークを決定するカメラワーク決定部１２と、該決定されたカメラワークの情報を出力する出力部１４と、を備える。【選択図】図１
2015159395.tif 000002
【特許請求の範囲】
【請求項１】
動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出部と、
前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定部と、
前記決定されたカメラワークの情報を出力する出力部と、
を備えたことを特徴とするカメラワーク情報生成装置。
【請求項２】
前記カット点候補検出部は、前記動画コンテンツデータで表現される感情の変化タイミング、又は、前記動画コンテンツデータの映像内のニュートラルポーズの検出タイミングに基づいて、前記カット点候補を検出する、
ことを特徴とする請求項１に記載のカメラワーク情報生成装置。
【請求項３】
前記カメラワーク決定部は、所定の複数のカメラワークテンプレートの各々に対して、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣への適合度を算出し、該算出された適合度に基づいて前記カメラワークテンプレートの選択を行う、
ことを特徴とする請求項１又は２のいずれか１項に記載のカメラワーク情報生成装置。
【請求項４】
前記動画コンテンツデータで表現される感情、又は、前記動画コンテンツデータの映像内の動きに基づいて、前記決定されたカメラワークを調整するカメラワーク調整部をさらに備え、
前記出力部は、前記調整の後のカメラワークの情報を出力する、
ことを特徴とする請求項１から３のいずれか１項に記載のカメラワーク情報生成装置。
【請求項５】
カメラワーク情報生成装置のカメラワーク情報生成方法であり、
前記カメラワーク情報生成装置が、動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出ステップと、
前記カメラワーク情報生成装置が、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定ステップと、
前記カメラワーク情報生成装置が、前記決定されたカメラワークの情報を出力する出力ステップと、
を含むことを特徴とするカメラワーク情報生成方法。
【請求項６】
コンピュータに、
動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出ステップと、
前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定ステップと、
前記決定されたカメラワークの情報を出力する出力ステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラワーク情報生成装置、カメラワーク情報生成方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット型のコンピュータ等の携帯端末の性能が向上し、従来は携帯端末での視聴が難しかったアニメーション等の動画コンテンツを携帯端末で視聴することが一般的になってきている。また、学校の授業やチュートリアル、ニュース、オンラインチャットなどにおいて、アニメーションキャラクタが説明者として登場する動画コンテンツが、携帯端末向けに配信されるようになり、携帯端末で視聴されている。
【０００３】
従来、アニメーションキャラクタの音声や表情、仕草などによってアニメーションキャラクタの感情表現をリッチなものにすることにより、アニメーションキャラクタによる情報伝達の能力を向上させることが検討されている。しかし、携帯端末では、一般にパーソナルコンピュータやテレビジョン受像機に比較して表示画面サイズが小さいために、表示画面上のアニメーションキャラクタの表情や仕草が分かりにくいという問題がある。このため、表示画面上のアニメーションキャラクタの表情や仕草を分かりやすくするために、適切なカメラワークが望まれる。
【０００４】
従来のカメラワーク制御技術として例えば以下に示すものが知られている。
特許文献１：拡張現実感（ＡＲ）を利用したコンピュータ・グラフィックス画像処理システムにおいて、ＡＲマーカ像の一部がカメラフレームから外れたり、カメラフレーム内のＡＲマーカ像が小さくてその識別が困難になったりして、正しくＡＲマーカ像の位置を検出することができないといった問題が起きず、カメラの位置や画角、カメラワークに制約を課すことがないＡＲ技術を開示している。
特許文献２：仮想３次元空間内を移動するキャラクタを所定のフレーム周期で仮想スクリーンに投影する画像処理装置において、ゲームのリアル性をより高めるため、実際のカメラマンのカメラワークを模擬する技術を開示している。
特許文献３：バーチャルシネマトグラフィにおいて、キャラクタの演技の種類などで構成されるイベントに対し、一般的なカメラワークの規則である映像文法を用いて、カメラワークを自動で制御する技術を開示している。映像文法の詳細については、例えば非特許文献１，２に開示されている。
特許文献４：構図の利用頻度やカメラの動き方に関して、イベント発生前後のカメラワークまで、つまりアニメーション全体を考慮して最適なカメラワークを決める技術を開示している。
特許文献５：キャラクタの表情や動作がシナリオ情報に含まれる前提で、制作者の意図を反映できるカメラワークを決定する技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１７１５２２号公報
【特許文献２】特開２０１２−１０４０２１号公報
【特許文献３】特表２０００−５１６３７１号公報
【特許文献４】特開２００７−３４８５７号公報
【特許文献５】特開２００８−９７２３３号公報
【非特許文献】
【０００６】
【非特許文献１】Daniel Arijon, “Grammar of the Film Language”, Silman-James Press, 1991.
【非特許文献２】Marc Christie, Patrick Olivier, “Camera Control in Computer Graphics: Models”, Techniques and Applications, SIGGRAPH Asia 2009 course notes.
【非特許文献３】J.A. Russell, “A Circumplex Model of Affect”, Journal of Personality and Social Psychology, 39 (6), 1161-1178, 1980.
【非特許文献４】B.J.H. van Basten, A. Egges, “Evaluating distance metrics for animation blending”, ICFDG 2009, pp. 199-206.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述した従来技術では以下に示す課題がある。
特許文献１，２の従来技術では、其々の目的に特化したカメラワーク制御手法であり、動画コンテンツを表示する際に表示画面上のアニメーションキャラクタの表情や仕草を分かりやすくすることを目的とする場合には適用が困難である。
特許文献３〜５の従来技術では、映像文法に基づいてアニメーションのイベントや制作者の意図などに適切なカメラワーク制御を行うが、アニメーションキャラクタの表情や仕草を分かりやすくすることを目的とする場合には、制作者がキャラクタの感情や動作を解析する必要があるため、制作者の負担増となる。また、視聴者の視聴習慣に合わせて、映画風、漫画風、ゲーム風などのカメラワークのスタイルを選択することができない。
【０００８】
本発明は、このような事情を考慮してなされたものであり、動画コンテンツの映像におけるカット点において、キャラクタの感情を分かりやすく、また、視聴者の視聴習慣に適合するカメラワークを実現できるカメラワーク情報生成装置、カメラワーク情報生成方法およびコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
（１）本発明に係るカメラワーク情報生成装置は、動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出部と、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定部と、前記決定されたカメラワークの情報を出力する出力部と、を備えたことを特徴とする。
【００１０】
（２）本発明に係るカメラワーク情報生成装置は、上記（１）のカメラワーク情報生成装置において、前記カット点候補検出部は、前記動画コンテンツデータで表現される感情の変化タイミング、又は、前記動画コンテンツデータの映像内のニュートラルポーズの検出タイミングに基づいて、前記カット点候補を検出する、ことを特徴とする。
【００１１】
（３）本発明に係るカメラワーク情報生成装置は、上記（１）又は（２）のいずれかのカメラワーク情報生成装置において、前記カメラワーク決定部は、所定の複数のカメラワークテンプレートの各々に対して、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣への適合度を算出し、該算出された適合度に基づいて前記カメラワークテンプレートの選択を行う、ことを特徴とする。
【００１２】
（４）本発明に係るカメラワーク情報生成装置は、上記（１）から（３）のいずれかのカメラワーク情報生成装置において、前記動画コンテンツデータで表現される感情、又は、前記動画コンテンツデータの映像内の動きに基づいて、前記決定されたカメラワークを調整するカメラワーク調整部をさらに備え、前記出力部は、前記調整の後のカメラワークの情報を出力する、ことを特徴とする。
【００１３】
（５）本発明に係るカメラワーク情報生成方法は、カメラワーク情報生成装置のカメラワーク情報生成方法であり、前記カメラワーク情報生成装置が、動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出ステップと、前記カメラワーク情報生成装置が、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定ステップと、前記カメラワーク情報生成装置が、前記決定されたカメラワークの情報を出力する出力ステップと、を含むことを特徴とする。
【００１４】
（５）本発明に係るコンピュータプログラムは、コンピュータに、動画コンテンツデータの映像におけるカット点候補を検出するカット点候補検出ステップと、前記動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、前記検出されたカット点候補におけるカメラワークを決定するカメラワーク決定ステップと、前記決定されたカメラワークの情報を出力する出力ステップと、を実行させるためのコンピュータプログラムであることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、動画コンテンツの映像におけるカット点において、キャラクタの感情を分かりやすく、また、視聴者の視聴習慣に適合するカメラワークを実現できるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るカメラワーク情報生成装置１の構成を示すブロック図である。
【図２】本発明の一実施形態に係る動画コンテンツデータ３０の構成例を示す説明図である。
【図３】本発明の一実施形態に係るカメラワーク情報生成方法の手順を示すフローチャートである。
【図４】本発明の一実施形態に係る感情モデルの例を示すグラフ図である。
【図５】本発明の一実施形態に係るニュートラルポーズの定義例の概略図である。
【図６】本発明の一実施形態に係るカット点候補の例を示す説明図である。
【図７】本発明の一実施形態に係るカメラワークテンプレートの例を示す図である。
【図８】本発明の一実施形態に係るキャラクタの感情に対応した点数ｓ２１の例を示す図表である。
【図９】本発明の一実施形態に係るキャラクタの動きに対応した点数ｓ２２の例を示す図表である。
【図１０】本発明の一実施形態に係るセマンティックス的な内容による点数ｓ３の例を示す図表である。
【図１１】本発明の一実施形態に係る視聴者の視聴習慣による点数ｓ４の例を示す図表である。
【図１２】本発明の一実施形態に係るカメラワークテンプレートの切り替えによるペナルティーｐ＿ｔｒａｎの例を示す図表である。
【図１３】本発明の一実施形態に係るカメラワークの調整例を示す図表である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係るカメラワーク情報生成装置１の構成を示すブロック図である。図１において、カメラワーク情報生成装置１は、カット点候補検出部１１とカメラワーク決定部１２とカメラワーク調整部１３と出力部１４とカメラワークテンプレート情報記憶部１５と視聴者情報記憶部１６を備える。
【００１８】
カメラワーク情報生成装置１には動画コンテンツデータ３０が入力される。動画コンテンツデータ３０として、例えば、コンピュータグラフィックス等によるアニメーション、実写による動画像などが挙げられる。動画コンテンツデータ３０は、映像と音声やテキストで表現されるセリフとを有し、該映像やセリフによって感情を表現するとともに感情の変化を表現する。例えば、図２の動画コンテンツデータ３０の例のように、音声によるセリフに合わせてキャラクタ（アニメーションキャラクタまたは人）の表情や仕草が変わることによって、キャラクタの感情が変化している。
【００１９】
カット点候補検出部１１は、動画コンテンツデータ３０の映像におけるカット点候補を検出する。カメラワーク決定部１２は、動画コンテンツデータ３０で表現される感情、又は、視聴者の視聴習慣に基づいて、カット点候補検出部１１により検出されたカット点候補におけるカメラワークを決定する。カメラワーク調整部１３は、動画コンテンツデータ３０で表現される感情、又は、動画コンテンツデータ３０の映像内の動きに基づいて、カメラワーク決定部１２により決定されたカメラワークを調整する。出力部１４は、カメラワーク調整部１３により調整の後のカメラワークを示すカメラワーク情報４０を出力する。
【００２０】
カメラワークテンプレート情報記憶部１５は、カメラワークテンプレート情報を記憶する。カメラワークテンプレート情報は、所定の複数のカメラワークテンプレートを示す。視聴者情報記憶部１６は、視聴者の視聴習慣を示す視聴者情報を記憶する。
【００２１】
次に、図３を参照して、図１のカメラワーク情報生成装置１の動作を説明する。図３は、本実施形態に係るカメラワーク情報生成方法の手順を示すフローチャートである。以下の説明では、動画コンテンツデータ３０として、アニメーション（以下、アニメーション３０と記す）を例に挙げて説明する。
【００２２】
［ステップＳ１：カット点候補検出ステップ］
カット点候補検出部１１は、アニメーション３０で表現される感情の変化タイミング、又は、アニメーション３０の映像内のアニメーションキャラクタ（以下、単にキャラクタと称する）のニュートラルポーズの検出タイミングに基づいて、カット点候補を検出する。
【００２３】
（感情変化タイミングの検出方法）
アニメーション３０は、キャラクタが時間の経過に伴って音声や表情、仕草などを変化させることにより、キャラクタの感情を表現する。カット点候補検出部１１は、アニメーション３０から、そのキャラクタの感情の変化を表す感情変化情報を取得する。この感情変化情報取得方法として、２つの例Ａ−１、Ａ−２を以下に説明する。これら例Ａ−１、Ａ−２では、説明の便宜上、２種類の感情として「快感情」と「不快感情」を使用する。このため、感情の変化として、快感情から不快感情への変化と、不快感情から快感情への変化との２種類が存在する。
【００２４】
（例Ａ−１）
例Ａ−１では、アニメーション３０は、３次元のコンピュータグラフィックスにより、キャラクタの顔の各表情に対応するポリゴンやテキスチャーを使用してキャラクタの顔の表情が作成されている。アニメーション３０には、基本表情集合「Ｆ＝｛Ｆ０，Ｆ１，・・・，ＦＮ｝」が定義される。Ｆｎは基本表情を示す。「ｎ＝０，１，・・・，Ｎ」であり、Ｎは正の整数である。そして、アニメーション３０は、メタデータとして、フレーム毎に基本表情集合Ｆの時間変化情報を有する。基本表情集合Ｆの時間変化情報によって、アニメーション３０の各フレームにおける、キャラクタの表情が示される。
【００２５】
カット点候補検出部１１は、アニメーション３０のキャラクタの表情を、図４に示される感情モデルにマッピングする。カット点候補検出部１１は、表情と感情モデル座標との対応関係を示す表情変換座標情報を予め保持する。カット点候補検出部１１は、表情変換座標情報に基づいて、アニメーション３０のフレーム毎に、基本表情集合Ｆの時間変化情報で示されるキャラクタの表情から、感情モデル座標を取得する。
【００２６】
図４は、本実施形態に係る感情モデルの例を示すグラフ図である。図４において、ｘ軸は快感情と不快感情の度合いを示し、ｙ軸は感情の活性の度合いを示す。図４に示される例では、あるフレームで表情が座標２０１であったものが、以降の各フレームで表情が座標２０２から座標２０６へと変化している。そして、図４の例では、座標２０３のフレームから座標２０４のフレームで、キャラクタの感情が不快から快へ変化していることが分かる。また、感情モデルにおいて、ｘ座標がｘ１からｘ２までの間は無感情区間として定義されている。なお、感情モデルの一例として、例えば非特許文献３に記載される感情円環モデルが知られている。
【００２７】
カット点候補検出部１１は、アニメーション３０の各フレームにおけるキャラクタの表情を感情モデルへマッピングした結果から、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報「Ｅ（ｔ）＝｛ｘ（ｔ），ｙ（ｔ）｝を取得する。ｔはアニメーション３０のフレーム時刻である。図４の例では、感情変化タイミングは、座標２０３のフレームと座標２０４のフレームの間であり、変化前は不快感情であり、変化後は快感情である。
【００２８】
なお、アニメーション３０が複数の表情を有する場合、フレーム毎に基本表情集合Ｆの時間変化情報が複数あり、アニメーション３０の各フレームにおけるキャラクタの表情が複数存在する。この場合、カット点候補検出部１１は、基本表情集合Ｆの時間変化情報ごとに、それぞれキャラクタの表情を感情モデルへマッピングする。これにより、基本表情集合Ｆの時間変化情報ごとに、感情モデル上に、表情変化ベクトル（図４中の矢印破線に相当）が生成される。カット点候補検出部１１は、それらの表情変化ベクトルの平均を求める。そして、カット点候補検出部１１は、その平均ベクトルから、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を取得する。
【００２９】
（例Ａ−２）
例Ａ−２では、アニメーション３０は、３次元のコンピュータグラフィックスにより、キャラクタの顔の各パーツの組み合わせを使用してキャラクタの顔の表情が作成されている。カット点候補検出部１１は、アニメーション３０から各パーツの時刻（フレーム）情報を取得し、該各パーツの時刻情報に基づいてキャラクタの表情を判定する。ここで、単一の感情の場合には、ＦＡＣＳ（Facial Action Coding System：顔面表情記号化システム）を利用して、各パーツと表情の明確な対応関係によって、その表情を推定する。一方、複数の感情が存在する場合には、各パーツの組み合わせが示す複数の表情から一つに絞り切れないときがある。この場合、グリーディ法（Greedy algorithm）を利用して、複数の表情から一つを選択する。
【００３０】
カット点候補検出部１１は、例Ａ−１と同様に、アニメーション３０の各フレームにおけるキャラクタの表情を感情モデルへマッピングした結果から、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を取得する。
【００３１】
以上が感情変化情報取得方法の例の説明である。感情変化情報は、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を有する。カット点候補検出部１１は、感情変化情報に基づいて、感情変化タイミングを検出する。
【００３２】
なお、アニメーション３０がメタデータとして、感情変化タイミングを示す情報、変化前と変化後の各感情を示す情報、感情モデル座標情報Ｅ（ｔ）を有する場合には、該情報を取得して感情変化情報に使用する。
【００３３】
（ニュートラルポーズの検出方法）
アニメーション３０のキャラクタは、ある動作が終わったら特定のポーズ（ニュートラルポーズ）に戻る場合が多い。図５は、本実施形態に係るニュートラルポーズの定義例の概略図である。図５の例では、ニュートラルポーズデータとして、人体スケルトン型動きデータを使用している。人体スケルトン型動きデータは、人の骨格を基に、骨及び骨の連結点（ジョイント）を用い、一ジョイントを根（ルート）とし、ルートからジョイント経由で順次連結される骨の構造を木（ツリー）構造として定義される。
【００３４】
図５には、人体スケルトン型動きデータの定義の一部分のみを示している。図５において、ジョイント１００は腰の部分であり、ルートとして定義される。ジョイント１０１は左腕の肘の部分、ジョイント１０２は左腕の手首の部分、ジョイント１０３は右腕の肘の部分、ジョイント１０４は右腕の手首の部分、ジョイント１０５は左足の膝の部分、ジョイント１０６は左足の足首の部分、ジョイント１０７は右足の膝の部分、ジョイント１０８は右足の足首の部分、ジョイント１０９は鎖骨の部分、ジョイント１１０、１１１は肩の部分、ジョイント１１２は頭の部分、ジョイント１１３、１１４は股関節の部分、である。
【００３５】
ここでは、ニュートラルポーズの検出方法の一例として、人体スケルトン型動きデータのニュートラルポーズを検出する方法を説明する。まず、カット点候補検出部１１は、アニメーション３０の各フレーム時刻ｔにおいて、フレームＦｔとニュートラルポーズＦＮとの間の距離ｄ（Ｆｔ，ＦＮ）を算出する。具体的には［数１］により、人体スケルトン型動きデータにおいて、ジョイント毎に角度の距離を定義し、各ジョイントを重み付け平均する。
【００３６】
【数１】
2015159395.tif 000003
【００３７】
但し、ｑｔ，ｋはｔ番目のフレームにおけるｋ番目のジョイントの四元数（quaternion）である。ｑＮ，ｋはニュートラルポーズＦＮにおけるｋ番目のジョイントの四元数である。ｗｋはｋ番目のジョイントに係る重みである。重みｗｋは予め設定される。
【００３８】
カット点候補検出部１１は、該距離ｄ（Ｆｔ，ＦＮ）が所定の閾値ＴＨ以下である場合に、当該ｔ番目のフレームＦｔをニュートラルポーズのフレームとして検出する。
【００３９】
なお、ニュートラルポーズが連続する区間のことをＮ区間と定義する。また、隣り合うＮ区間の間の区間を、一つの動作区間と定義する。そして、一動作区間内の全ての距離ｄ（Ｆｔ，ＦＮ）の平均値を動作量ｄ＿ａｖｇとして定義する。動作量ｄ＿ａｖｇが閾値ＴＨ１以下の場合に、当該動作区間は低動作であると定義する。また、動作量ｄ＿ａｖｇが閾値ＴＨ１以上閾値ＴＨ２以下の場合に、当該動作区間は中動作であると定義する。また、動作量ｄ＿ａｖｇが閾値ＴＨ２以上の場合に、当該動作区間は高動作であると定義する。閾値ＴＨ１，ＴＨ２は予め設定される。また、中動作の動作区間、高動作の動作区間の場合において、動いたジョイントが、手足ともであるときは全身動作であると定義し、頭または手または足のみであるときは部分動作であると定義する。
【００４０】
カット点候補検出部１１は、上記定義に従って、各動作区間に対して低動作または中動作または高動作の判定を行い、さらに、中動作の動作区と高動作の動作区間に対して全身動作または部分動作の判定を行う。
【００４１】
（カット点候補の決定方法）
カット点候補検出部１１は、感情変化タイミングと、ニュートラルポーズの検出タイミングとの両方をカット点候補として決定する。図６は、カット点候補の例を示す説明図である。図６には、感情１から感情２へ変化する感情変化タイミング５１と、動作区間１と動作区間２の間のＮ区間５２と、動作区間２と動作区間３の間のＮ区間５３とが示されている。この図６の例では、感情変化タイミング５１とＮ区間５２とＮ区間５３のそれぞれがカット点候補となり、合計３個のカット点候補が決定される。
【００４２】
［ステップＳ２：カメラワーク決定ステップ］
カメラワーク決定部１２は、各カット点候補におけるカメラワークを決定する。具体的には、カメラワークテンプレート情報記憶部１５に記憶されるカメラワークテンプレート情報で示される複数のカメラワークテンプレートの中から、どのカメラワークテンプレートを使用するのかを決定する。
【００４３】
（カメラワークテンプレート決定方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、［数２］で定義される評価点ｓ＿ａｌｌを計算する。カメラワーク決定部１２は、評価点ｓ＿ａｌｌが最大であるカメラワークテンプレートを、当該カット点候補から始まる区間で使用されるカメラワークテンプレートに決定する。
【００４４】
【数２】
2015159395.tif 000004
【００４５】
但し、ｓ＿ｃａｍｅｒａは、評価対象カメラワークテンプレートを適用する場合の点数である。ｐ＿ｔｒａｎは、価対象カメラワークテンプレートを適用する場合のペナルティーである。αはペナルティーに対する重み係数である。重み係数αは予め設定される。
【００４６】
図７は、カメラワークテンプレートの例を示す図である。図７の例では、（１）ロングショット、（２）フルショット、（３）ミディアムショット、（４）クローズアップ、の４つのカメラワークテンプレートが示されている。これら４つのカメラワークテンプレートは、例えば非特許文献１に記載されているように最も使用されるショットとして知られている。ここでは、図７の４つのカメラワークテンプレートを例に挙げて説明する。
【００４７】
（点数ｓ＿ｃａｍｅｒａの取得方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、［数３］により点数ｓ＿ｃａｍｅｒａを算出する。点数ｓ＿ｃａｍｅｒａは、４種類の点数ｓ１，ｓ２，ｓ３，ｓ４の合計値である。
【００４８】
【数３】
2015159395.tif 000005
【００４９】
（点数ｓ１の取得方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、点数ｓ１を取得する。点数ｓ１は、カメラワークテンプレートの使用継続時間に関する。使用継続時間の平均値はカメラワークテンプレート毎に変わる。例えば、クローズアップの使用継続時間平均値は２秒であるが、フルショットの使用継続時間平均値は４秒である。また、視聴者の視聴習慣（例えば、映画風、漫画風、ゲーム風など）も、各カメラワークテンプレートの使用継続時間に影響を及ぼすと考えられる。例えば、映画風のクローズアップの使用継続時間平均値は２．５秒であるが、ゲーム風のクローズアップの使用継続時間平均値は１．８秒であるなど。これら使用継続時間平均値は、事前に取得しておく。例えば、動画コンテンツデータの多数のサンプルを使用して、各カメラワークテンプレートについて各視聴習慣の使用継続時間を統計する。又は、映像制作者（例えば、映画やドラマ、ゲーム映像の監督）の経験で判断した経験値として、各カメラワークテンプレートについて各視聴習慣の使用継続時間平均値を取得する。
【００５０】
カメラワーク決定部１２は、カメラワークテンプレート毎に、例えば［数４］により点数ｓ１を算出する。［数４］の算出例では、評価対象カメラワークテンプレートの使用継続時間が使用継続時間平均値未満である場合には、点数ｓ１を０とする。一方、評価対象カメラワークテンプレートの使用継続時間が使用継続時間平均値以上である場合には、評価対象カメラワークテンプレートの使用継続時間が使用継続時間平均値に近いほど点数ｓ１を高くし、評価対象カメラワークテンプレートの使用継続時間が使用継続時間平均値から遠いほど点数ｓ１を低くしている。
【００５１】
【数４】
2015159395.tif 000006
【００５２】
但し、Ｔ（ｔｐ）は、評価対象カメラワークテンプレートｔｐの使用継続時間平均値である。ｔは、評価対象カメラワークテンプレートについての当該カット点候補までの使用継続時間である。
【００５３】
（点数ｓ２の取得方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、点数ｓ２を取得する。点数ｓ２は、［数５］により算出される。［数５］において、点数ｓ２１はキャラクタの感情に対応した点数であり、点数ｓ２２はキャラクタの動きに対応した点数である。
【００５４】
【数５】
2015159395.tif 000007
【００５５】
図８は、キャラクタの感情に対応した点数ｓ２１の例を示す図表である。図９は、キャラクタの動きに対応した点数ｓ２２の例を示す図表である。カメラワーク決定部１２は、図８および図９に例示される点数ｓ２１および点数ｓ２２の定義データを予め保持する。
【００５６】
カメラワーク決定部１２は、点数ｓ２１の定義データから、評価対象カメラワークテンプレートの当該カット点候補における点数を取得する。当該カット点候補における感情は、カット点候補検出部１１により取得された感情変化情報で示される。また、当該カット点候補が無感情区間（図４参照）に在る場合には、当該カット点候補における感情は無感情となる。
【００５７】
カメラワーク決定部１２は、点数ｓ２２の定義データから、評価対象カメラワークテンプレートの当該カット点候補における点数を取得する。当該カット点候補における動きは、カット点候補検出部１１の判定結果で示される。なお、当該カット点候補がＮ区間である場合には、動きを低動作とする。
【００５８】
（点数ｓ３の取得方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、点数ｓ３を取得する。点数ｓ３は、アニメーション３０のセリフのセマンティックス的な内容に対応する。図１０は、セマンティックス的な内容による点数ｓ３の例を示す図表である。カメラワーク決定部１２は、図１０に例示される点数ｓ３の定義データを予め保持する。
【００５９】
カメラワーク決定部１２は、当該カット点候補から次のカット点候補までの区間に在るセリフの中に、点数ｓ３の定義データで示されるセマンティックス的な内容の言葉がある場合に、該定義データから該当する点数を取得する。一方、カメラワーク決定部１２は、当該カット点候補から次のカット点候補までの区間に在るセリフの中に、点数ｓ３の定義データで示されるセマンティックス的な内容の言葉がない場合には、点数ｓ３を０とする。図１０の例では、強調を表す言葉、指示を表す言葉、人称を表す言葉に対して、点数が定義されている。
【００６０】
（点数ｓ４の取得方法）
カメラワーク決定部１２は、カメラワークテンプレート毎に、点数ｓ４を取得する。点数ｓ４は、視聴者の視聴習慣に対応する。図１１は、視聴者の視聴習慣による点数ｓ４の例を示す図表である。カメラワーク決定部１２は、図１１に例示される点数ｓ４の定義データを予め保持する。
【００６１】
カメラワーク決定部１２は、視聴者情報記憶部１６から視聴者情報を取得する。そして、カメラワーク決定部１２は、該視聴者情報で示される視聴者の視聴習慣に対応する点数ｓ４を、点数ｓ４の定義データから取得する。これにより、視聴者の視聴習慣（例えば、映画風、漫画風、ゲーム風など）によって、カメラワークテンプレートの点数ｓ＿ｃａｍｅｒａを変える。例えば、視聴者の視聴習慣が映画風である場合に、クローズアップを使う確率を高める。
【００６２】
（ペナルティーｐ＿ｔｒａｎの取得方法）
ペナルティーｐ＿ｔｒａｎは、カメラワークテンプレートの切り替えによって生じる視覚の不連続性に対応する。カメラワーク決定部１２は、当該カット点候補の直前で使用されるカメラワークテンプレートから、当該カット点候補における評価対象カメラワークテンプレートへの切り替えによるペナルティーｐ＿ｔｒａｎを取得する。
【００６３】
図１２は、カメラワークテンプレートの切り替えによるペナルティーｐ＿ｔｒａｎの例を示す図表である。カメラワーク決定部１２は、図１２に例示されるペナルティーｐ＿ｔｒａｎの定義データを予め保持する。カメラワーク決定部１２は、当該カット点候補の直前で使用されるカメラワークテンプレートから、当該カット点候補における評価対象カメラワークテンプレートへの切り替えによるペナルティーｐ＿ｔｒａｎを、ペナルティーｐ＿ｔｒａｎの定義データから取得する。
【００６４】
［ステップＳ３：カメラワーク調整ステップ］
カメラワーク調整部１３は、カメラワーク決定部１２により決定されたカメラワークテンプレートに対し、アニメーション３０で表現される感情、又は、アニメーション３０の映像内の動きに基づいて、カメラワークの調整を行う。
【００６５】
図１３は、カメラワークの調整例を示す図表である。カメラワーク調整部１３は、図１３に例示されるカメラワークの調整の定義データを予め保持する。図１３の例では、カメラワークとして、（１）寄る、（２）引く、（３）移動、（４）回転、（５）固定、の５つが定義されている。（１）寄る、（２）引く、（３）移動は、カメラのズームイン、ズームアウト、パンで実現される。（４）回転は、カメラ自体が被写体に対して一周回る。（５）固定は、特にカメラの動作なしである。
【００６６】
各カメラワーク（１）〜（５）に対して、条件が定義される。図１３の例では、当該カメラワークテンプレートの使用区間における感情が快感情である場合に、（１）寄る、を行う。また、当該カメラワークテンプレートの使用区間における感情が不快感情である場合に、（２）引く、を行う。また、当該カメラワークテンプレートの使用区間における動作が全身動作である場合に、（３）回転、を行う。また、当該カメラワークテンプレートの使用区間における動作が部分動作である場合に、（４）移動、を行う。それら条件以外の場合には、（５）固定、とする。
【００６７】
カメラワーク調整部１３は、当該カメラワークテンプレートの使用区間における感情と動作に基づいて、カメラワークの調整の定義データから該当するカメラワークを選択する。当該カメラワークテンプレートの使用区間における感情は、カット点候補検出部１１により取得された感情変化情報で示される。当該カメラワークテンプレートの使用区間における動作は、カット点候補検出部１１の判定結果で示される。
【００６８】
カメラワーク調整部１３は、選択結果のカメラワークをキャラクタの動作区間の長さと同期させるために、選択結果のカメラワークの継続時間を動作区間の長さに設定する。
【００６９】
［ステップＳ４：出力ステップ］
出力部１４は、カメラワーク調整部１３により調整の後のカメラワークを示すカメラワーク情報４０を出力する。カメラワーク情報４０は、各カット点候補のカメラワークテンプレートを示す情報と、該カメラワークテンプレートに対するステップＳ３によるカメラワークの調整内容を示す情報とを有する。このカメラワーク情報４０は、アニメーション３０に対するカメラワークに利用可能である。例えば、アニメーション３０に対して、コンピュータによりカメラワーク情報４０に基づいたカメラワーク処理を施すことが挙げられる。又は、制作者が、アニメーション３０に対し、カメラワーク情報４０に基づいてカメラワーク処理の操作を行うことが挙げられる。
【００７０】
上述した実施形態によれば、動画コンテンツデータで表現される感情、又は、視聴者の視聴習慣に基づいて、カット点候補におけるカメラワークを決定する。このカット点候補におけるカメラワークを示すカメラワーク情報によれば、動画コンテンツの映像におけるカット点において、キャラクタの感情を分かりやすく、また、視聴者の視聴習慣に適合するカメラワークを実現可能となる。
【００７１】
また、動画コンテンツデータで表現される感情の変化タイミング、又は、動画コンテンツデータの映像内のニュートラルポーズの検出タイミングに基づいて、カット点候補を検出することにより、カット点候補を自動的に取得できる。これにより、製作者が動画コンテンツの映像を見ながらカット点を探す手間が軽減されるという効果が得られる。
【００７２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７３】
例えば、カメラワーク情報生成装置１にカメラワーク調整部１３を備えず、出力部１４はカメラワーク決定部１２により決定されたカメラワークテンプレートの情報をカメラワーク情報４０として出力してもよい。そして、そのカメラワーク情報４０で示されるカメラワークテンプレートに対して、必要に応じて、別途、カメラワークの調整を行うようにしてもよい。
【００７４】
また、上述したカメラワーク情報生成装置１の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００７５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７７】
１…カメラワーク情報生成装置、１１…カット点候補検出部、１２…カメラワーク決定部、１３…カメラワーク調整部、１４…出力部、１５…カメラワークテンプレート情報記憶部、１６…視聴者情報記憶部
【図１】
2015159395.tif 000008
【図２】
2015159395.tif 000009
【図３】
2015159395.tif 000010
【図４】
2015159395.tif 000011
【図５】
2015159395.tif 000012
【図６】
2015159395.tif 000013
【図７】
2015159395.tif 000014
【図８】
2015159395.tif 000015
【図９】
2015159395.tif 000016
【図１０】
2015159395.tif 000017
【図１１】
2015159395.tif 000018
【図１２】
2015159395.tif 000019
【図１３】
2015159395.tif 000020