(57)【要約】【課題】  テレビ放送等、動画及び音声からなる映像を見る不特定又は多数の視聴者に、前記映像に対する身体的引き込み現象をもたらす映像システムを提供する。【解決手段】  原映像の動画及び音声を外部から入力させる映像入力部11と、表示映像を見る視聴者に代わって視聴者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部12と、前記聞き手キャラクタの動画と原映像の動画とを合成して原映像の動画の周囲に聞き手キャラクタが表示される表示映像の動画を生成する映像合成部13と、前記表示映像の動画と原映像の音声とを表示装置へ出力する映像出力部14とからなり、表示装置に表示される表示映像を見る視聴者に、この表示映像の周囲に表示される聞き手キャラクタを見せることにより、身体的引き込み現象を視聴者にもたらし、表示映像を見る視聴者をこの表示映像に引き込ませる映像システムである。【選択図】  図２
2005284726.tif 000002
【特許請求の範囲】
【請求項１】
動画及び音声からなる映像を表示装置に表示する際に視聴者を該映像に引き込ませるシステムであって、原映像の動画及び音声を外部から入力させる映像入力部と、表示映像を見る視聴者に代わって視聴者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部と、前記聞き手キャラクタの動画と原映像の動画とを合成して原映像の動画の周囲に聞き手キャラクタが表示される表示映像の動画を生成する映像合成部と、前記表示映像の動画と原映像の音声とを表示装置へ出力する映像出力部とからなり、キャラクタ生成部は原映像の音声をON/OFF信号とみなして算出される聞き手動作タイミングで視聴者として振る舞う身体動作をする聞き手キャラクタの動画を生成してなり、表示装置に表示される表示映像を見る視聴者に、該表示映像の周囲に表示される聞き手キャラクタを見せることにより、身体的引き込み現象を視聴者にもたらし、表示映像を見る視聴者を該表示映像に引き込ませる身体的引き込み現象を利用した映像システム。
【請求項２】
キャラクタ生成部は、原映像の音声の移動平均により推定される聞き手動作予測値が予め定めた聞き手動作閾値を越えた時点を聞き手動作タイミングとして算出する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項３】
キャラクタ生成部は、視聴者の振る舞いとして頭の頷き動作を含む身体動作をする聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項４】
キャラクタ生成部は、視聴者に対して背面を向けて身体動作をする聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項５】
キャラクタ生成部は、同じ又は異なる身体動作をする複数の聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項６】
キャラクタ生成部は、表示映像に向かって下方中央付近に表示する聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項７】
キャラクタ生成部は、表示映像に向かって下方左寄り又は右寄りに表示する聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項８】
映像合成部は、聞き手キャラクタの動画と、原映像を縮小した縮小映像の動画とを合成して、該縮小映像の原映像に対する余白に前記聞き手キャラクタを表示する表示映像の動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項９】
映像合成部は、聞き手キャラクタの動画と、原映像の上縁中央を基準として該原映像を縮小した縮小映像の動画とを合成して、該縮小映像の原映像に対する下方の余白に前記聞き手キャラクタを表示する表示映像の動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【請求項１０】
映像合成部は、聞き手キャラクタの動画と、原映像を縮小した縮小映像の動画とを合成し、該縮小映像の原映像に対する余白をモノトーンとし、該余白に前記聞き手キャラクタを表示する表示映像の動画を生成する請求項１記載の身体的引き込み現象を利用した映像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送等、動画及び音声からなる映像を見る不特定又は多数の視聴者に、前記映像に対する身体的引き込み現象をもたらす映像システムに関する。
【背景技術】
【０００２】
テレビ放送等、動画及び音声からなる映像を見る不特定又は多数の視聴者は、映像に対する興味の度合いによって映像に対する引き込まれる程度が異なり、映像に引き込まれるほど、映像が伝達する情報をよりよく認識できる。これは、映像から一方的に伝達される情報の認識は、基本的に視聴者の映像に対する引き込み程度に左右されることを意味する。これから、テレビ放送業者等の映像の提供者は、いかに視聴者の興味を誘い、視聴者を映像に対して引き込ませるかを工夫することになる。
【０００３】
視聴者を映像に対して引き込ませるには、映像の内容が視聴者の興味に合致すればよいが、これでは視聴者の映像に対する引き込み具合は、各視聴者の嗜好に左右されてしまい、その映像に対してどの程度視聴者が引き込まれるか予測することが、映像の提供者から見て判断することは難しい。とりわけ、特定の嗜好を有する視聴者を対象とせず、不特定又は多数の視聴者を対象とした映像については、こうしたアプローチはあまり効果がない。これから、映像と視聴者との一体感をもたらす別の手段を講じることが考えられる。すなわち、各視聴者の嗜好に左右されず、視聴者に対して映像との一体感を感じさせることで、映像に対して視聴者を引き込ませるわけである。
【０００４】
例えば特許文献１は、テレビ会議システムを利用した講義において、先生及び学生の一体感を作り出し、先生の講義に対して学生を引き込ませるシステムを提案している。具体的には、先生又は各学生が見る映像に、先生又は各学生の代わりとなる聞き手キャラクタ(本人人格モデル及び他者人格モデル)を、先生の聞き手キャラクタと学生の聞き手キャラクタとを対面関係で同時に表示し、各聞き手キャラクタを先生又は各学生の音声に反応した身体動作をさせ、これら聞き手キャラクタの身体動作を先生又は学生に見せることにより、映像に対して先生又は学生を引き込ませ、もって講義に対して先生又は学生を引き込ませる。
【０００５】
上記システムは、先生又は学生に代わって自分又は他人の音声に必ず反応する聞き手キャラクタを先生又は学生に見せることにより、先生又は学生の音声(バーバル情報)以外に、聞き手キャラクタの身体的動作を視覚的な感覚情報(ノンバーバル情報)として与え、先生又は学生に映像に対する身体的引き込み現象をもたらしている。特許文献１は、各聞き手キャラクタの頭の頷き動作とこの頷き聞き手動作タイミングが身体的引き込み現象をもたらすために重要として、具体的には先生の音声から推定される頷き予測値が頷き閾値を越えた頷き聞き手動作タイミングで頭の頷き動作を実行している。
【０００６】
【特許文献１】特開2001-307138号公報(３頁〜７頁、図２〜図７)
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１により、身体的引き込み現象を利用して、映像に対する視聴者の引き込みを図ることが考えられる。しかし、特許文献１のシステムは、講義という音声主体の情報伝達を補助する形態で映像を利用しているため、映像全体を利用した聞き手キャラクタの配置又は身体動作を用いている。ところが、テレビ放送等の映像は、音声又は音響よりも、むしろ映像そのものによる情報伝達を主体とするため、特許文献１の構成をそのまま利用することはできない。これから、主たる情報伝達を図る映像を阻害しないように、視聴者に身体的引き込み現象をもたらす聞き手キャラクタを用いる必要がある。
【０００８】
また、テレビ放送等、動画及び音声からなる映像は、予め頷き動作をする聞き手キャラクタを組み込んで撮影又は制作されるわけではない。これから、予め頷き動作をする聞き手キャラクタを組み込んで学生に配信する特許文献１の構成をそのまま利用するわけにはいかない。このように、映像に対して視覚的な感覚情報を与える手段を組み合わせることにより、視聴者を映像に対して引き込ませることができると予想されるものの、未だ具体的な手段が提案されていない。そこで、テレビ放送等、動画及び音声からなる映像を見る不特定又は多数の視聴者に、前記映像に対する身体的引き込み現象をもたらす映像システムを開発するため、映像と身体的引き込み現象をもたらす聞き手キャラクタとを合成する手段について検討した。
【課題を解決するための手段】
【０００９】
検討の結果開発したものが、動画及び音声からなる映像を表示装置に表示する際に視聴者をこの映像に引き込ませるシステムであって、原映像の動画及び音声を外部から入力させる映像入力部と、表示映像を見る視聴者に代わって視聴者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部と、前記聞き手キャラクタの動画と原映像の動画とを合成して原映像の動画の周囲に聞き手キャラクタが表示される表示映像の動画を生成する映像合成部と、前記表示映像の動画と原映像の音声とを表示装置へ出力する映像出力部とからなり、キャラクタ生成部は原映像の音声をON/OFF信号とみなして算出される聞き手動作タイミングで視聴者として振る舞う身体動作をする聞き手キャラクタの動画を生成してなり、表示装置に表示される表示映像を見る視聴者に、この表示映像の周囲に表示される聞き手キャラクタを見せることにより、身体的引き込み現象を視聴者にもたらし、表示映像を見る視聴者をこの表示映像に引き込ませる身体的引き込み現象を利用した映像システムである。
【００１０】
ここで、本発明に言う「音声」とは、動画と共に配信される音響を代表する意味であり、人の声のほか各種音響を含む。また、「聞き手キャラクタ」とは、基本的には人又は擬人化した動物等、人の動きを表す動画を意味するが、視聴者の反応が最も顕著に現れると推定される時系列上の特定時点、すなわち聞き手動作タイミングで、視聴者として振る舞う動きをするものであれば、植物や無機物の動画であってもよい。以下では、人の動きを表す動画からなる聞き手キャラクタを例に説明する。
【００１１】
映像入力部はテレビ放送等で受信される原映像を取り込む部分、映像出力部は表示映像をテレビ等の画像表示装置へ出力する部分をそれぞれ意味し、例えば両者を兼ねて映像入出力インタフェースを用いることができる。キャラクタ生成部は、原映像の音声をON/OFF信号とみなして算出される聞き手動作タイミングで視聴者として振る舞う身体動作をする聞き手キャラクタの動画を生成する部分で、聞き手動作タイミングの算出の関係から、コンピュータを用いるとよい。この場合、前記映像入力部又は映像出力部をコンピュータの内蔵又は外付インタフェースで構築してもよい。また、コンピュータで生成された聞き手キャラクタの動画をテレビ放送の動画に変換するコンバータが必要になる。映像合成部は、聞き手キャラクタの動画と原映像の動画とを合成して表示映像の動画を生成する部分で、前記コンピュータで構成してもよいし、聞き手キャラクタ及び原映像をクロマキー合成するとして、映像ミキサ(ビデオミキサ、AVミキサとも言う)を用いてもよい。映像合成部として映像ミキサを用いる場合、キャラクタ生成部はクロマキー背景を含めて聞き手キャラクタの動画を生成する。
【００１２】
本発明の映像システムは、表示装置に表示する表示映像の周辺に、視聴者として振る舞う聞き手キャラクタを表示し、この聞き手キャラクタを視覚的な感覚情報(ノンバーバル情報)として視聴者に与えることで身体的引き込み現象をもたらし、表示映像を見る視聴者をこの表示映像に引き込ませる。確かに、従来にも身体動作をするキャラクタを映像中に表示する既存技術は存在する。しかし、本発明の聞き手キャラクタは、音声の大小に比例した身体動作ではなく、音声をON/OFF信号とみなして算出される聞き手動作タイミングで、視聴者として振る舞う身体動作をする点が異なる。そして、聞き手キャラクタを映像の周辺に表示することで、動画の表示を邪魔することなく、動画を見る視聴者の代わりとして聞き手キャラクタを違和感なく存在させることができ、視聴者に動画及び聞き手キャラクタを一体に見せることができる。
【００１３】
本発明の特徴は、聞き手キャラクタが聞き手動作タイミングで、視聴者として振る舞う身体動作をする点にある。聞き手動作タイミングは、視聴者の反応が最も顕著に現れると推定される時系列上の特定時点を意味し、その算出には聞き手動作予測値の推定が重要となる。この聞き手動作予測値は、現在から一定時間範囲の過去に取得した音声の現在に対する影響の度合いを積算して算出するとよい。前記影響の度合いは、現在と過去とを線形結合、非線形結合又はニューラルネットワーク等で関係づけることにより導き出すことができる。例えば、現在から一定時間範囲の過去に取得した音声の現在に対する影響の度合いを線形結合で導き出す場合、キャラクタ生成部は、原映像の音声の移動平均(Moving Average)により推定される聞き手動作予測値が予め定めた聞き手動作閾値を越えた時点を聞き手動作タイミングとして算出するとよい。前記移動平均は、例えば次式を用いる。数１中、ｙ(ｉ)は聞き手動作予測値、ａ(ｊ)は聞き手予測係数、そしてｘ(ｉ−ｊ)は原映像の音声を表す。
【００１４】
【数１】
2005284726.tif 000003
【００１５】
上記数１によれば、音声ｘ(ｉ−ｊ)が一定時間ない場合に聞き手動作予測値ｙ(ｉ)が０となるので、この聞き手動作予測値ｙ(ｉ)が０となる時間が長くなると、聞き手キャラクタが動かなくなり、不自然に見える虞れがある。こうした場合、上記数１にノイズを加えた数２により、聞き手動作予測値を算出するとよい。数２中、ｙ(ｉ)は聞き手動作予測値、ａ(ｊ)は聞き手予測係数、ｘ(ｉ−ｊ)は原映像の音声、そしてｗ(ｉ)はノイズを表す。ノイズｗ(ｉ)は乱数により、聞き手動作予測値ｙ(ｉ)を算出する度に異なる値を用いる。これにより、聞き手動作予測値ｙ(ｉ)に自然なゆらぎが加味され、例えば原映像の音声が長く途切れても聞き手動作タイミングを算出し、聞き手キャラクタを適宜身体動作させることができる。聞き手キャラクタが複数ある場合、各聞き手キャラクタは、各聞き手キャラクタ毎に定めた異なる聞き手動作閾値を用いて、それぞれ独立して身体動作をすることになる。
【００１６】
【数２】
2005284726.tif 000004
【００１７】
聞き手キャラクタは、視聴者の反応が最も顕著に現れると推定される時系列上の特定時点である聞き手動作タイミングで、視聴者として振る舞う身体動作をすることが重要である。これから、キャラクタ生成部は、身体的引き込み現象をもたらしやすい身体動作として、視聴者の振る舞いとして頭の頷き動作を含む身体動作をする聞き手キャラクタの動画を生成するとよい。頷き動作は、視聴者にとって、音声の応答として最も分かりやすい身体動作である。ここで、聞き手キャラクタは頷き動作をすることが重要であり、聞き手キャラクタの表情は特に問題にならない。これにより、聞き手キャラクタを視聴者の代わりとするため、キャラクタ生成部は、視聴者に対して背面を向けて身体動作をする聞き手キャラクタの動画を生成するとよい。より具体的には、聞き手キャラクタは表示映像の中心に向けた視線を持たせるとよい。例えば、表示映像に対して左寄り又は右寄りに表示させる場合、聞き手キャラクタはやや斜視の姿勢を有することが望ましい。
【００１８】
聞き手キャラクタは、視聴者の代わりに視聴者として振る舞うとして、例えば上述した頷き動作を含む身体動作をする。これから、不特定又は多数の視聴者がいる場合でも、各視聴者の代わりとなる聞き手キャラクタが単数あればよい。しかし、各視聴者から見て、自分以外の視聴者が存在していると感じられれば、各視聴者に聞き手キャラクタとの身体リズムを共有させることができるようになり、より積極的に身体的引き込み現象を各視聴者にもたらすことができる。これから、キャラクタ生成部は、同じ又は異なる身体動作をする複数の聞き手キャラクタの動画を生成するとよい。
【００１９】
このようにして、本発明の映像システムは、視聴者として振る舞う身体動作をする聞き手キャラクタを用いて視聴者に身体的引き込み現象をもたらすが、この聞き手キャラクタが動画の邪魔をしては意味がない。あくまで、聞き手キャラクタの身体動作を見せることにより、映像の本体である動画に視聴者を引き込まなければならないからである。これから、聞き手キャラクタは、単数又は複数を問わず、表示映像の周辺に配置するように、キャラクタ生成部は聞き手キャラクタの動画を生成する。ここで、聞き手キャラクタの表示映像に対する大きさは、例えば20インチの表示画面に対して、高さ方向で20〜30％、横方向で10〜20％が好ましい。
【００２０】
聞き手キャラクタの表示位置も重要である。具体的には、キャラクタ生成部は、表示映像に向かって下方中央付近に表示する聞き手キャラクタの動画を生成する、又は表示映像に向かって下方左寄り又は右寄りに表示する聞き手キャラクタの動画を生成するとよい。聞き手キャラクタを表示映像に向かって下方に表示するのは、頷き動作を含む身体動作には下半身が不要であり、この不要な下半身を違和感なく表示せずに済むからである。表示映像に向かって下方中央付近に表示される聞き手キャラクタは、視聴者に認識されやすい。また、表示映像に向かって下方左寄り又は右寄りに表示される聞き手キャラクタは、動画に対する聞き手キャラクタの位置関係から奥行きを視聴者に感じさせ、聞き手キャラクタを各視聴者自身以外の視聴者として認識させることができる。
【００２１】
聞き手キャラクタは、表示映像の動画と重ね合わせて表示しても、上述の大きさで表示映像の周辺に位置する限り、あまり邪魔にならない。しかし、動画の種類によっては聞き手キャラクタが動画に埋没して一体的に捉えられ、聞き手キャラクタによる身体的引き込み現象がうまく働かない虞れもある。そこで、映像合成部は、聞き手キャラクタの動画と、原映像を縮小した縮小映像の動画とを合成して、この縮小映像の原映像に対する余白に前記聞き手キャラクタを表示する表示映像の動画にするとよい。原映像に対する縮小映像の割合は、画像表示装置の大きさにもよるが、概ね80〜90％が妥当である。ここで、聞き手キャラクタは前記余白内に収める必要はなく、余白に位置して、一部縮小映像に重なる大きさであってもよく、例えば上記聞き手キャラクタの大きさは、前記縮小画像に一部が重なる大きさである。
【００２２】
原映像に対する縮小映像の位置関係は、自由である。しかし、原映像の中心と縮小映像の中心とを一致させると、縮小映像の上下左右に余白が形成され、各余白の大きさを十分に確保することができない。これから、映像合成部は、聞き手キャラクタの動画と、原映像の上縁中央を基準としてこの原映像を縮小した縮小映像の動画とを合成して、この縮小映像の原映像に対する下方の余白に前記聞き手キャラクタを表示する表示映像の動画にするとよい。これにより、例えば上述したように、表示映像に向かって下方中央付近や左寄り又は右寄りに聞き手キャラクタを表示させる場合、縮小映像の原映像に対する縮小率を押さえながらも、必要十分な余白を確保して、よりはっきりと聞き手キャラクタの存在を示すことができる。
【００２３】
また、余白における聞き手キャラクタの存在をはっきり示すには、映像合成部は、聞き手キャラクタの動画と、原映像を縮小した縮小映像の動画とを合成し、この縮小映像の原映像に対する余白をモノトーンとし、この余白に前記聞き手キャラクタを表示する表示映像の動画にするとよい。ここで、余白の色は任意でよいが、縮小映像や聞き手キャラクタを際立たせるため、動画や聞き手キャラクタより奥まって見える色(収縮色)を用いることが好ましく、例えば黒や濃い紺色、深緑等を示すことができる。
【発明の効果】
【００２４】
本発明は、身体的引き込み現象を利用して、映像に対する視聴者の引き込みを図ることができる映像システムの提供を実現する。聞き手キャラクタにより視聴者にもたらされる身体的引き込み現象は、聞き手キャラクタの聞き手動作タイミングの算出と、前記聞き手動作タイミングで実行する頷き動作に負うところが大きい。また、聞き手キャラクタを、視聴者に向けて背面を向けさせたり、複数用いることで、視聴者に対する身体リズムの共有を図りやすくして、身体的引き込み現象を視聴者にもたらしやすくしている。
【００２５】
また、本発明は、聞き手キャラクタの配置に対しても検討することで、映像が有する視覚的な情報伝達を阻害せず、身体的引き込み現象をもたらすことのできる効果がある。具体的には、表示映像に向かって下方中央付近や下方左寄り又は右寄りに表示したり、縮小映像の原映像に対する余白に聞き手キャラクタを表示することで、映像が有する視覚的な情報伝達を阻害せず、身体的引き込み現象をもたらす聞き手キャラクタの存在を認識させることができ、聞き手キャラクタにより身体的引き込み現象をもたらしやすくしている。
【００２６】
本発明の映像システムは、例えばテレビチューナからテレビの間に介在させる装置として構成できる。この場合、テレビ放送等の映像を阻害せず、容易に聞き手キャラクタを重ね合わせて合成し、テレビの画面に聞き手キャラクタを含む表示映像を表示できる。これは、不特定の視聴者に対して身体的引き込み現象をもたらす効果を意味する。聞き手キャラクタは、身体動作、特に頷き動作が認識できる程度の簡素なものでよく、また前記頷き動作の聞き手動作タイミングを決定する計算は移動平均等容易であるため、このようにテレビチューナとテレビとの間に映像システムを介在させても、テレビ放送の受信から遅延させることなく、聞き手キャラクタを含む表示映像を生成、表示できる。
【００２７】
また、上述から分かる通り、本発明の映像システムは、予め聞き手キャラクタを組み込んで撮影又は制作されていない映像に対して、聞き手キャラクタをリアルタイムに重ね合わせる装置であるから、その適用範囲が広い効果も有する。上述の例で言えば、テレビ放送のほか、テレビに繋がるビデオとの間に介在させ、ビデオの映像に聞き手キャラクタを重ねて合成することもできる。これは、多数の視聴者に対して身体的引き込み現象をもたらすことのできる効果を意味し、例えば講演会等でのビデオ放映に際して本発明が利用できることを表す。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態について図を参照しながら説明する。図１は本発明の映像システムの構築例を示す斜視図、図２は同映像システムのブロック構成図、図３は別例の映像システムのブロック構成図、図４は原映像21が表示されたテレビの画面を表す図、図５は生成した２体の聞き手キャラクタ22,22が表示されたテレビの画面を表す図、図６は聞き手キャラクタ22の身体動作を説明する模式図、図７は縮小映像23が表示されたテレビの画面を表す図であり、図８は縮小映像23及び聞き手キャラクタ22,22を重ね合わせた表示映像24が表示されたテレビの画面を表す図である。本例では、コンピュータ10を中心に構成した映像システム(図１及び図２参照)により、森林をはじめとする自然を紹介する番組(図４参照)に、２体の聞き手キャラクタ22,22を重ね合わせる例(図７参照)である。
【００２９】
映像システムに必要な映像入力部11、キャラクタ生成部12、映像合成部13及び映像出力部14は、いずれもコンピュータで構成できる。これから、例えば図１に見られるように、映像システムを構成するコンピュータ10に対して、映像の入力源としてテレビ放送を受信するチューナ31を接続し、更に映像の出力源として画像表示装置であるテレビ32を接続する。通常、テレビはチューナを内蔵しているから、テレビで受信したテレビ放送の映像を、映像システムを構成するコンピュータに入力し、再びコンピュータから元のテレビに出力又は別のテレビに出力してもよい。また、コンピュータにチューナを内蔵させれば、コンピュータのみで映像システムを構築することもできる。
【００３０】
コンピュータ10は、図２に見られるように、テレビ放送を受信するチューナ31から原映像の動画及び音声を取り込む映像入力部11、映像入力部11から原映像の音声のみを受けて聞き手キャラクタ22(図５参照)の動画を生成するキャラクタ生成部12、映像入力部11から原映像の動画及び音声を受け、キャラクタ生成部12から聞き手キャラクタ22の動画を受けて、原映像の縮小映像23(図７参照)の動画と聞き手キャラクタ22の動画とを合成して表示映像24(図８参照)の動画を得る映像合成部13、そして映像合成部13から表示映像24の動画と原映像の音声とを画像表示装置であるテレビ32に出力する映像出力部14を構成する。映像入力部11及び映像出力部14は、コンピュータ10に増設する映像入出力インタフェースで構成できる。
【００３１】
キャラクタ生成部12は、生成プログラムを実行し、コンピュータ10の演算処理能力を利用して構成する。この生成プログラムは、前段となる聞き手動作タイミング算出手順と、後段の身体動作生成手順とに分けることができる。聞き手動作タイミング算出手順は、更に聞き手動作予測値の推定手順、聞き手動作予測値と聞き手動作閾値との比較手順、そして聞き手動作予測値が聞き手動作閾値を超えた時点を聞き手動作タイミングとする算出手順に分けることができる。身体動作生成手順は、表示映像24(図８参照)の周辺の特定位置で、特定の身体動作をする聞き手キャラクタ22,22(図５及び図６参照)の動画を生成する。
【００３２】
聞き手動作予測値を原映像の音声の移動平均(Moving Average)により推定する場合、聞き手動作予測値の推定手順は、現在から一定時間範囲の過去に取得した原映像の音声の現在に対する影響の度合いとして聞き手動作予測値を算出する。既述した数１又は数２を用いた場合、前記算出は、微小時間単位における聞き手予測係数ａ(ｊ)及び原映像の音声ｘ(ｉ−ｊ)の積の和となり、計算量は現在から一定時間範囲の分割数に比例する。ここで、前記一定時間範囲を長くしたり、分割数を増やせば、より適切な聞き手動作予測値を推定できる。しかし、原映像の音声ｘ(ｉ−ｊ)は現時点から過去数秒程度を分割し、テレビ放送のフレーム数に応じて、音声ｘ(ｉ−ｊ)が1/30sec単位になる程度が現実的であり、コンピュータ10の負荷も軽減できる。
【００３３】
聞き手キャラクタ22の身体動作は、後掲図６に見られるように、頷き動作のほか、頭の振り動作、腕の振り動作、胴の前後動作又は旋回操作等それぞれに異なる複数の動作パターンを用意し、これらを組み合わせて聞き手動作タイミングで実行させるとよい。本例では、２体の聞き手キャラクタ22,22を用いているが、各聞き手キャラクタ22の身体動作は同じ又は異なってもよい。複数の聞き手キャラクタは、組み合わせる動作パターンの種類を変えることで異なる身体動作をさせることができる。また、それぞれの聞き手動作タイミングを変えることにより、経時的な身体動作の変化を異ならせることができ、結果として異なる身体動作をさせることもできる。
【００３４】
また、キャラクタ生成部12は、本例の聞き手キャラクタ22が表示映像24に向かって右寄りに位置し、視線を表示映像24の中心、すなわち左斜め上方に視線を向けて、視聴者に背面を向けて表示されるように、各聞き手キャラクタ22の動画を生成している。原映像又は縮小映像に対する聞き手キャラクタの表示位置は、例えば映像合成部によっても決定することができるが、このキャラクタ生成部により予め聞き手キャラクタの表示位置を定めておき、映像合成部では単に聞き手キャラクタの動画と原映像又は縮小映像の動画とを合成するほうが容易である。
【００３５】
映像合成部13は、合成プログラムを実行し、コンピュータ10の演算処理能力を利用して構成する。このほか、図３に見られるように、既存の映像ミキサ40を利用することもできる。映像ミキサ40を利用する場合、キャラクタ生成部12を有するコンピュータ10は、原映像21の音声のみを取り込む映像入力部15を用いる。映像ミキサ40は、内蔵する映像入力部41によって、原映像21の動画及び音声を直接入力させる。ここで、映像ミキサ40はテレビ放送の画像信号を扱うものなので、キャラクタ生成部12から出力される聞き手キャラクタ22の動画は、コンピュータ10で扱うデジタル信号からコンバータ50を用いてテレビ放送の動画に変換して、映像ミキサ40に入力する。映像ミキサ40は、内蔵する映像合成部42で原映像21又は縮小映像23の動画と、聞き手キャラクタ22の動画とを合成して表示映像24の動画を生成し、同じく内蔵する映像出力部43から前記表示映像24をテレビ32に出力する。
【００３６】
原映像21から表示映像24を得る手順を、図４〜図７により説明する。例えば原映像21が森林をはじめとする自然を紹介する番組である場合、原映像21の動画は例えば図４に見られるように、当然に聞き手キャラクタは存在しない。この原映像21は、動画及び音声とともに映像入力部11からコンピュータ10に取り込まれる(図１参照)。この原映像21の動画は、映像合成部13において縮小映像23の動画を生成し、聞き手キャラクタ22の動画と合成するために用いる。また、原映像21の音声は、聞き手動作タイミングで身体動作する聞き手キャラクタ22を生成するために用いる。
【００３７】
キャラクタ生成部12は、図５に見られるように、表示映像24に対して右寄りに２体の聞き手キャラクタ22,22を表示させる動画を生成している。図５中、破線は縮小映像23の位置及び大きさを表している。ここで、映像入力部11から原映像21の音声を受けると、キャラクタ生成部12は前記音声から２体の聞き手キャラクタ22,22それぞれの聞き手動作タイミングを算出し、この聞き手動作タイミングで各聞き手キャラクタ22を身体動作させる。この身体動作は、図６に見られるように、頷き動作を含む頭の振り動作、腕の振り動作、胴の前後動作又は旋回操作等である。聞き手キャラクタ22を、縮小映像23に対してクロマキー合成する場合、キャラクタ生成部12は聞き手キャラクタ22以外の背景を青色にした動画を生成する。
【００３８】
映像合成部13は、映像入力部11から原映像21の動画及び音声を受け、図７に見られるように、前記原映像21を縮小映像23に変換している。本例では、原映像21の上縁中央を基準として縮小し、原映像21に対する余白25を黒色からなるモノトーンとした縮小映像23を生成している。そして、キャラクタ生成部12から受けた聞き手キャラクタ22の動画と、前記縮小映像23の動画とを合成して、図８に見られるように、表示映像24の動画を得る。後は、この表示映像24の動画と、原映像21の音声とを一体に、画像表示装置であるテレビ32に出力するだけである。
【００３９】
視聴者は、モノトーンの余白25に囲まれた縮小映像23と、前記余白25に表示される２体の聞き手キャラクタ22,22とを一体の表示映像24として見ることになる。視聴者の視線は、縮小映像23の動画に向けられるが、テレビ32の表示画面内に表示される聞き手キャラクタ22,22も、当然に視界に含まれる。また、モノトーンの余白25に表示される聞き手キャラクタ22,22の身体動作は、比較的目立つため、各聞き手キャラクタ22の身体動作を無意識のうちに感得することになる。これにより、原映像21の音声に応答して視聴者の反応が最も顕著に現れると推定される時系列上の特定時点である聞き手動作タイミングで頷き動作する聞き手キャラクタ22を見る視聴者に身体的引き込み現象がもたらされ、結果として表示映像24に対して視聴者が引き込まれることになる。
【実施例】
【００４０】
本発明の有効性を確認するため、既存の映像機器を利用して映像システムを構成し、複数の被験者に官能試験を実施した。とりわけ、原映像に対して聞き手キャラクタを合成することの官能評価を調べる目的に、第１に縮小映像の大きさをパラメータとした官能評価試験と、第２に聞き手キャラクタの表示位置をパラメータとした官能評価試験とを、それぞれ２体又は３体の聞き手キャラクタの場合について、実施した。
【００４１】
各官能評価試験に用いた映像システムの構成を図９に示す。この度の官能評価試験では、本発明に基づく専用のシステム構成ではなく、キャラクタ生成部を構成するコンピュータ以外は、既存の映像機器を用いている。具体的には、官能評価試験に用いた映像システムは、原映像用テレビ、コンピュータ、モニタ、コンバータ、映像ミキサ、そして表示映像用テレビからなる。コンピュータはシリンコングリフィックス社製、CPUはPentium(登録商標)III１GHz×２、メモリ768MBのデスクトップ型パソコンであり、OSにはWindows(登録商標)2000を用いている。コンバータは、Digital Arts DSCφ6d-HR用いて、映像ミキサとＳ端子で接続している。映像ミキサは、松下電器産業Digital AV Mixer WJ-AVE55を用いている。表示用テレビはシャープ社製、20インチの液晶型テレビを用いている。
【００４２】
原映像用テレビは、ビデオ再生した原映像(放送大学ビデオ教材・量子力学４)を表示しており、コンピュータは前記原映像用テレビから音声を取り込んで、聞き手動作タイミングで身体動作する２体又は３体の聞き手キャラクタの動画を生成する。モニタは、生成された聞き手キャラクタを表示して、生成された聞き手キャラクタの身体動作を確認する。前記聞き手キャラクタの動画は、コンバータによりコンピュータで扱うデジタル信号からテレビ放送の動画に変換して、映像ミキサに入力する。映像ミキサは、原映像用テレビから原映像の動画及び音声を受け、コンバータから入力された聞き手キャラクタの動画と、原映像を縮小して生成した縮小映像の動画とをクロマキー合成して表示映像の動画を生成する。そして、映像ミキサから表示映像の動画と原映像の音声とを表示用テレビに出力し、表示している。
【００４３】
各官能評価試験は、50名の被験者に、それぞれ個室で表示用テレビを視聴してもらう形式で実施した。各被験者には、キーボードを持たせている。各被験者は、このキーボードにより、官能評価の高い聞き手キャラクタの表示位置、大きさ、そして縮小映像の大きさを選択、回答できるようにしている。各官能試験では、縮小映像の選択の観点から、映像ミキサに入力する原映像は、予めコンピュータで縮小映像に変換し、別途映像ミキサに取り込んだ聞き手キャラクタの動画と前記縮小映像の動画とを合成している。縮小映像の縮小率が固定されれば、映像ミキサにおいて縮小映像を生成し、聞き手キャラクタと縮小映像とを合成することは可能である。
【００４４】
縮小映像は、原映像の上縁中央を基準として縮小したものである。官能評価試験では、原映像に対して100%(余白なし)、95%(左右に横方向５％の余白、下方に縦方向５％の余白)のほか、被験者が視聴しやすいと考える大きさを原映像に対して30%〜100%の間で選定して提示し、各縮小映像において被験者が視聴しやすいと考える聞き手キャラクタの表示位置及び大きさを選定させた。そして、こうして被験者が選択した聞き手キャラクタの表示位置、大きさ、そして縮小映像の大きさの表示映像を基準とし、聞き手キャラクタなしの場合と、聞き手キャラクタを合成した場合とを切り替えながら視聴させ、聞き手キャラクタなしの場合を基準に聞き手キャラクタを合成した場合を、７段階(中立０)で官能評価させた。前記官能評価試験は、聞き手キャラクタが２体の場合、そして３体の場合それぞれ実施した。
【００４５】
まず、縮小映像の大きさをパラメータとした官能評価試験の結果を、表１に示す。この試験結果から、縮小映像は原映像に対して80%〜90%の大きさが好ましいことが分かる。この縮小画像と聞き手キャラクタとを合成した表示画像の例を、図10及び図11に示す。原映像に対して80％〜90％の縮小画像は、余白の存在が聞き手キャラクタを際立たせ、認識しやすくしていると思われる。このとき、好ましい聞き手キャラクタの大きさは、高さ方向で平均23.7％、横方向で平均15.7％であり、いずれも縮小画像に聞き手キャラクタの一部がかぶさる程度が好ましいとの回答を得ている。これから、聞き手キャラクタのの存在を際立たせる余白が存在すれば、聞き手キャラクタにより視聴者に身体的引き込み現象をもたらしやすいと考えられる。
【００４６】
【表１】
2005284726.tif 000005
【００４７】
次に、聞き手キャラクタの表示位置をパラメータとした官能評価試験の結果を図12に示す。図12は、原映像に対する大きさが80％の縮小画像に対し、２体の聞き手キャラクタをそれぞれ表示映像の下方で自由な位置に表示にしてもらい、どの表示位置が好ましいかを被験者に選んでもらった結果を表した分布図である。図12中、○は１体目の聞き手キャラクタの位置、●は２体目の聞き手キャラクタの位置、□は１体目の聞き手キャラクタの表示位置の平均であり、■は２体目の聞き手キャラクタの表示位置の平均を表している。同様に３体の聞き手キャラクタについて調べた結果、被験者の好みは、２体又は３体の聞き手キャラクタを左右均等配置(２体では左右両端、３体では左右両端と中央付近)するグループ、中央付近にまとめて配置するグループ、そして右寄りにまとめて配置するグループに分かれた。
【００４８】
上記２種類の官能評価試験をまとめた結果を表２に示す。２体の聞き手キャラクタを用いた場合、原映像に対して90％の大きさである縮小映像に、聞き手キャラクタを下方右寄りに配置した表示映像が好まれる傾向にある。また、３体の聞き手キャラクタを用いた場合、原映像に対して80％の大きさである縮小映像に、聞き手キャラクタを均等に配置した表示映像が好まれる傾向にある。これから、原映像に対して80〜90％の縮小画像に、聞き手キャラクタを下方中央付近又は下方右寄りに配置する表示映像が、身体的引き込み現象をもたらす聞き手キャラクタの合成構成として相応しいことが結論づけられる。
【００４９】
【表２】
2005284726.tif 000006
【００５０】
最後に、どの程度の身体的引き込み現象がもたらされたのか、すなわち本発明の映像システムの有効性を確認するため、聞き手キャラクタを用いない原映像に対する官能評価をしてもらった結果を図13に示す。図13中、●表示は聞き手キャラクタが２体の場合、○は聞き手キャラクタが３体の場合を表す。聞き手キャラクタが２体であるか、３体であるかで多少の差異はあるものの、「楽しさ」、「好き嫌い」、「聴講しやすさ（聞きやすさ）」、「使いたいか」、「安心感」のいずれの評価項目に対しても肯定的な回答が得られた。これから、本発明の映像システムの有効性が確認されたと言える。
【図面の簡単な説明】
【００５１】
【図１】本発明の映像システムの構築例を示す斜視図である。
【図２】同映像システムのブロック構成図である。
【図３】別例の映像システムのブロック構成図である。
【図４】原映像が表示されたテレビの画面を表す図である。
【図５】生成した２体の聞き手キャラクタが表示されたテレビの画面を表す図である。
【図６】聞き手キャラクタの身体動作を説明する模式図である。
【図７】縮小映像が表示されたテレビの画面を表す図である。
【図８】縮小映像及び聞き手キャラクタを重ね合わせた表示映像が表示されたテレビの画面を表す図である。
【図９】官能評価試験に用いた映像システムの構成図である。
【図１０】90％の縮小画像と聞き手キャラクタとを合成した表示画像が表示されたテレビの画面を表す図である。
【図１１】80％の縮小画像と聞き手キャラクタとを合成した表示画像が表示されたテレビの画面を表す図である。
【図１２】80％の縮小画像に対し、２体の聞き手キャラクタの好ましい表示位置を選択してもらった結果を表した分布図である。
【図１３】原映像に対する官能評価をしてもらった結果を表した図である。
【符号の説明】
【００５２】
10  コンピュータ
11  映像入力部
12  キャラクタ生成部
13  映像合成部
14  映像出力部
15  原映像の音声のみを取り込む映像入力部
21  原映像
22  聞き手キャラクタ
23  縮小映像
24  表示映像
25  余白
31  チューナ
32  テレビ
40  映像ミキサ
41  映像入力部
42  映像合成部
43  映像出力部
50  コンバータ
【図１】
2005284726.tif 000007
【図２】
2005284726.tif 000008
【図３】
2005284726.tif 000009
【図４】
2005284726.tif 000010
【図５】
2005284726.tif 000011
【図６】
2005284726.tif 000012
【図７】
2005284726.tif 000013
【図８】
2005284726.tif 000014
【図１３】
2005284726.tif 000015
【図９】
2005284726.tif 000016
【図１０】
2005284726.tif 000017
【図１１】
2005284726.tif 000018
【図１２】
2005284726.tif 000019