(57)【要約】  本開示は、出演者と視聴者との一体感をより高めることができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。情報処理装置は、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、動画像に出演する出演者から入力される特定の出演者情報を取得する出演者情報取得部と、視聴者情報および出演者情報の少なくとも一方に基づいて感情を認識する感情認識部と、その感情に基づいたエフェクトの付加を制御する制御部とを備える。本技術は、例えば、動画像を配信する配信システムに適用できる。
2016088566.tif 000002
【特許請求の範囲】
【請求項１】
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、
前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部と
を備える情報処理装置。
【請求項２】
前記動画像に出演する出演者からの出演者情報を取得する出演者情報取得部
をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記視聴者情報および前記出演者情報の少なくとも一方に基づいて感情を認識する感情認識部
をさらに備える請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記感情認識部により認識された前記視聴者の感情、または、前記出演者の感情に基づいて、前記エフェクトを選択する
請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、前記感情認識部により認識された前記視聴者の感情と、前記出演者の感情との両方に基づいて、前記エフェクトを選択する
請求項３に記載の情報処理装置。
【請求項６】
前記制御部により選択される前記エフェクトは、前記出演者の背面に合成するエフェクト、前記出演者と背景の区別なく付加するエフェクト、前記出演者の顔の前面に合成するエフェクト、および、前記出演者の前面に合成するエフェクトのうち、少なくとも１つが含まれる
請求項１に記載の情報処理装置。
【請求項７】
前記視聴者情報には、前記視聴者が入力したコメント、前記視聴者の表情、前記視聴者が発する音声情報、および、前記視聴者が所定の操作装置に対して操作を行う操作速度または操作回数のうち、少なくともいずれか１つが含まれる
請求項１に記載の情報処理装置。
【請求項８】
前記視聴者情報には、前記視聴者の笑顔の強度が含まれており、
前記制御部は、前記視聴者の笑顔の強度に応じて前記エフェクトの付加を制御する
請求項１に記載の情報処理装置。
【請求項９】
前記視聴者情報には、前記視聴者が笑顔であることを示す情報が含まれており、
前記制御部は、前記視聴者が笑顔である時間に応じて前記エフェクトの付加を制御する
請求項１に記載の情報処理装置。
【請求項１０】
前記制御部は、複数人の前記視聴者からの前記視聴者情報に基づいて、前記エフェクトの付加を制御する
請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、複数人の前記視聴者から特定の前記視聴者情報が入力された数に応じて、前記エフェクトを付加し、付加した前記エフェクトの変更または削除を制御する
請求項１０に記載の情報処理装置。
【請求項１２】
前記視聴者情報には、前記視聴者の心拍数が含まれるとともに、
前記出演者情報には、前記出演者の心拍数が含まれており、
前記制御部は、前記視聴者の心拍数と前記出演者の心拍数との両方に基づいて、前記エフェクトの付加を制御する
請求項１に記載の情報処理装置。
【請求項１３】
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
取得された前記視聴者情報に基づいたエフェクトの付加を制御する
ステップを含む情報処理方法。
【請求項１４】
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
取得された前記視聴者情報に基づいたエフェクトの付加を制御する
ステップを含む情報処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、出演者と視聴者との一体感をより高めることができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、Webカメラやスマートフォンに付属のカメラなどを使用して、自身で撮影した動画像をインターネット経由で動画配信サイトにアップロードしたり、ストリーミング配信したりすることが可能となっている。【０００３】
また、従来より、動画像の配信を行う出演者に対して、視聴者からのコメントなどをリアルタイムに挿入することで、出演者が視聴者のフィードバックを得ることができる配信システムが運用されている。【０００４】
例えば、特許文献１には、視聴者からのコメントに基づいて、ステージの演出を制御するステージ演出システムが開示されている。また、特許文献２には、視聴者からのコメントに含まれる特定キーワードを抽出して、その特定キーワードに関連付けられた表示方法で装飾した動画像を表示するコメント配信システムが開示されている。また、特許文献３には、出演者の生体情報または感情情報や観衆の生体情報または感情情報などを集約し、場の情報として構成して配信を行うことで、一体感を伝える通信システムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−３７６７０号公報
【特許文献２】特開２０１４−２１２４９０号公報
【特許文献３】特開２００５−３０３７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような配信システムよりも、よりエンターテイメント性を向上させて、出演者と視聴者とが共に盛り上がり、より一体感を高めることができるような配信システムが求められていた。【０００７】
本開示は、このような状況に鑑みてなされたものであり、出演者と視聴者との一体感をより高めることができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の情報処理装置は、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部とを備える。【０００９】
本開示の一側面の情報処理方法またはプログラムは、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、取得された前記視聴者情報に基づいたエフェクトの付加を制御するステップを含む。【００１０】
本開示の一側面においては、配信される動画像を視聴する視聴者から入力される特定の視聴者情報が取得され、その視聴者情報に基づいたエフェクトの付加が制御される。
【発明の効果】
【００１１】
本開示の一側面によれば、出演者と視聴者との一体感をより高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した配信システムの一実施の形態の構成例を示すブロック図である。
【図２】出演者側情報処理装置の第１の構成例を示すブロック図である。
【図３】視聴者感情認識部が感情を認識する際に利用する感情分類を示す図である。
【図４】画像処理部による画像処理の効果について説明する図である。
【図５】画像処理を説明するフローチャートである。
【図６】出演者側情報処理装置の第２の構成例を示すブロック図である。
【図７】視聴者の笑顔度の強度に基づいて背景エフェクトを選択する例を説明する図である。
【図８】視聴者および出演者の心拍数を用いたインタラクションを説明する図である。
【図９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
図１は、本技術を適用した配信システムの一実施の形態の構成例を示すブロック図である。
【００１５】
図１に示すように、配信システム１１は、インターネットなどのネットワーク１２を介して、出演者側情報処理装置１３、配信サーバ１４、および、Ｎ台（複数台）の視聴者側情報処理装置１５−１乃至１５−Ｎが接続されて構成される。
【００１６】
出演者側情報処理装置１３は、図２を参照して後述するように、ネットワーク１２を介して、出演者を撮像した動画像を逐次的に配信サーバ１４に送信する。
【００１７】
配信サーバ１４は、出演者側情報処理装置１３から送信されてくる動画像を、ネットワーク１２を介して視聴者側情報処理装置１５−１乃至１５−Ｎに配信する。このとき、配信サーバ１４は、例えば、配信された動画像に対して視聴者側情報処理装置１５−１乃至１５−Ｎから送信されたコメントが流れるように重畳される画像処理を施し、そのような画像処理が施された動画像を配信することができる。
【００１８】
視聴者側情報処理装置１５−１乃至１５−Ｎは、ネットワーク１２を介して配信サーバ１４から配信されてくる動画像を表示して、視聴者に視聴させる。そして、視聴者側情報処理装置１５−１乃至１５−Ｎは、それぞれの視聴者が動画像に応答して入力するコメントなどを、配信サーバ１４に送信する。そして、それらのコメントは、配信サーバ１４を介して出演者側情報処理装置１３に送信される。
【００１９】
このように構成される配信システム１１において、出演者側情報処理装置１３は、視聴者が動画像に応答して入力するコメントに基づいて、配信する動画像に対するエフェクト（演出効果）を変更することができる。これにより、動画像のエンターテイメント性を向上させて、出演者と視聴者とが共に盛り上がるような配信を行うことができる。
【００２０】
次に、図２は、出演者側情報処理装置１３の第１の構成例を示すブロック図である。
【００２１】
図２に示すように、出演者側情報処理装置１３は、通信部２１、撮像部２２、表示部２３、記憶部２４、および画像処理部２５を備えて構成される。
【００２２】
通信部２１は、図１のネットワーク１２を介した通信を行い、例えば、画像処理部２５において画像処理が施された動画像を配信サーバ１４に送信する。また、通信部２１は、視聴者側情報処理装置１５−１乃至１５−Ｎから送信されたコメントを視聴者入力情報として取得して、画像処理部２５に供給する。なお、以下では、コメントを視聴者入力情報として説明を行うが、視聴者入力情報としては、コメントなどの文字情報の他、視聴者の音声情報や表情、視聴者側情報処理装置１５の操作装置に対して操作を行う操作回数または操作速度（例えば、キーボードを打つ回数または速さ）などを用いることができる。
【００２３】
撮像部２２は、例えば、撮像素子や光学レンズなどを有して構成され、１人または複数人の出演者を被写体として撮像した動画像を画像処理部２５に供給する。また、撮像部２２は、撮像した動画像を表示部２３に供給して、画像処理部２５による画像処理が施されていない動画像を、表示部２３に表示させることができる。
【００２４】
表示部２３は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、画像処理部２５により画像処理が施された動画像や、撮像部２２により撮像された動画像などを表示する。また、表示部２３は、配信サーバ１４から配信される動画像が通信部２１を介して供給され、配信サーバ１４において画像処理が施された（コメントが重畳された）動画像を表示することができる。
【００２５】
記憶部２４は、ハードディスクドライブや半導体メモリなどを有して構成され、画像処理部２５が画像処理を行う際に必要となる画像などを記憶する。
【００２６】
画像処理部２５は、通信部２１から供給される視聴者入力情報に基づいて視聴者の感情を認識し、その感情に合致する特定のエフェクトを、撮像部２２により撮像された動画像に付加する画像処理を行う。そして、画像処理部２５は、視聴者の感情に合致した特定のエフェクトが付加された動画像を、表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させる。
【００２７】
また、画像処理部２５は、図２に示すように、視聴者情報取得部３１、視聴者感情認識部３２、感情エフェクト選択部３３、背景エフェクト描画部３４、および顔面エフェクト描画部３５を有して構成される。
【００２８】
視聴者情報取得部３１は、通信部２１から供給される視聴者側情報処理装置１５−１乃至１５−Ｎからのコメントを視聴者情報として取得して、視聴者感情認識部３２に供給する。
【００２９】
視聴者感情認識部３２は、視聴者情報取得部３１から供給される視聴者情報に基づいて、視聴者の感情を認識する。例えば、視聴者感情認識部３２は、図３に示すように様々な感情が分類された感情分類（ラッセルの感情円環モデル）に従って、視聴者の感情を認識することができる。
【００３０】
例えば、視聴者感情認識部３２は、視聴者情報として用いられることが想定される多数のコメントを予め用意しておき、それらのコメントについて、覚醒の程度の高および低を示すレベル、並びに、感情の快および不快を示すレベルを対応付けておく。そして、視聴者感情認識部３２は、視聴者情報取得部３１から供給されるコメントに対応付けられている覚醒の程度の高および低を示すレベル、並びに、感情の快および不快を示すレベルに従ってコメントの分布を求め、所定の規定値以上の数のコメントが分布された位置に分類されている感情を、視聴者の感情として認識する。
【００３１】
感情エフェクト選択部３３は、記憶部２４に記憶されている複数の感情エフェクトの中から、視聴者感情認識部３２により認識された視聴者の感情に従った感情エフェクトを選択し、動画像に対するエフェクトの付加を制御する。例えば、記憶部２４には、視聴者感情認識部３２において認識される感情と、その感情に合致した効果を与える画像である感情エフェクトとが対応付けられており、感情エフェクト選択部３３は、その対応関係に従って感情エフェクトを選択することができる。
【００３２】
また、感情エフェクトには、動画像に映されている出演者の背景に表示される背景エフェクトと、動画像に映されている視聴者の顔に重畳して表示される顔面エフェクトとがある。従って、感情エフェクト選択部３３は、視聴者感情認識部３２により認識された視聴者の感情に従って選択された背景エフェクトを背景エフェクト描画部３４に供給し、同様に選択された顔面エフェクトを顔面エフェクト描画部３５に供給する。
【００３３】
背景エフェクト描画部３４は、撮像部２２により撮像された動画像に映されている出演者を切り出して、その出演者の背面に感情エフェクト選択部３３から供給される背景エフェクトを合成した動画像を描画する画像処理を行う。そして、背景エフェクト描画部３４は、出演者の背面に背景エフェクトが合成された動画像を顔面エフェクト描画部３５に供給する。
【００３４】
顔面エフェクト描画部３５は、背景エフェクト描画部３４から供給される動画像に映されている出演者の顔を認識する顔認識処理を行い、その顔の位置および大きさに従って、感情エフェクト選択部３３から供給される顔面エフェクトの位置および大きさを調整する。さらに、顔面エフェクト描画部３５は、位置および大きさを調整した顔面エフェクトを、背景エフェクト描画部３４からの動画像の前面に合成した動画像を描画する画像処理を行う。そして、顔面エフェクト描画部３５は、出演者の背面に背景エフェクトが合成されるとともに、出演者の顔の前面に顔面エフェクトが合成された動画像を、表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させる。
【００３５】
以上のように出演者側情報処理装置１３は構成されており、視聴者の感情に合致した感情エフェクトを選択することができるので、出演者と視聴者との一体感をより高めることができる。
【００３６】
具体的には、配信システム１１は、図４の左側に示すような従来の動画像、即ち、視聴者からのコメントが流れるように重畳される動画像ではなく、図４の右側に示すような動画像、即ち、多数の称賛コメントに基づいて認識された視聴者の感情に合致した背景エフェクト（炎が燃え上がる画像）が描画された動画像を配信することができる。このように、視聴者の感情が動画像に反映されることで、出演者と視聴者との一体感をより高めることができる。
【００３７】
次に、図５は、画像処理部２５において行われる画像処理を説明するフローチャートである。
【００３８】
例えば、出演者側情報処理装置１３から動画像の配信を開始するように出演者が操作を行うと処理が開始される。ステップＳ１１において、視聴者情報取得部３１は、通信部２１から供給される視聴者側情報処理装置１５−１乃至１５−Ｎからのコメントを視聴者情報として取得して、視聴者感情認識部３２に供給する。
【００３９】
ステップＳ１２において、視聴者感情認識部３２は、ステップＳ１１で視聴者情報取得部３１から供給される視聴者情報に基づいて視聴者の感情を認識する。
【００４０】
ステップＳ１３において、視聴者感情認識部３２は、ステップＳ１２で認識したいずれかの感情に分類されるコメントの数が規定値以上となったか否かを判定する。ステップＳ１３において、視聴者感情認識部３２が、いずれの感情に分類されるコメントの数も規定値以上になっていないと判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００４１】
一方、視聴者感情認識部３２が、いずれかの感情に分類されるコメントの数が規定値以上となったと判定した場合、処理はステップＳ１４に進む。この場合、視聴者感情認識部３２は、その規定値以上となった感情を視聴者の感情として認識し、視聴者の感情を感情エフェクト選択部３３に供給する。
【００４２】
ステップＳ１４において、感情エフェクト選択部３３は、記憶部２４に記憶されている複数の感情エフェクトの中から、視聴者感情認識部３２により認識された視聴者の感情に従った感情エフェクトを選択する。そして、感情エフェクト選択部３３は、選択した感情エフェクトの背景エフェクトを背景エフェクト描画部３４に供給するとともに、顔面エフェクトを顔面エフェクト描画部３５に供給する。
【００４３】
ステップＳ１５において、背景エフェクト描画部３４は、ステップＳ１４で感情エフェクト選択部３３から供給された背景エフェクトが、撮像部２２により撮像された出演者の背面に合成された動画像を描画して顔面エフェクト描画部３５に供給する。
【００４４】
ステップＳ１６において、顔面エフェクト描画部３５は、ステップＳ１４で感情エフェクト選択部３３から供給された顔面エフェクトが、ステップＳ１５で背景エフェクト描画部３４から供給された動画像の顔の前面に合成された動画像を描画する。そして、顔面エフェクト描画部３５は、その動画像を表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させた後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００４５】
次に、図６は、出演者側情報処理装置１３の第２の構成例を示すブロック図である。
【００４６】
図６に示す出演者側情報処理装置１３Ａにおいて、図２の出演者側情報処理装置１３と共通する構成については、同一の符号を付し、その詳細な説明は省略する。即ち、出演者側情報処理装置１３Ａは、通信部２１、撮像部２２、表示部２３、および記憶部２４を備える点で、図２の出演者側情報処理装置１３と共通する。
【００４７】
そして、出演者側情報処理装置１３Ａは、入力部２６を備えるとともに、画像処理部２５Ａが、視聴者情報取得部３１、視聴者感情認識部３２、感情エフェクト選択部３３、背景エフェクト描画部３４、および顔面エフェクト描画部３５に加えて、出演者感情認識部３６を有する点で、図２の出演者側情報処理装置１３と異なる構成となっている。
【００４８】
入力部２６は、例えば、キーボードやマイク、撮像装置などにより構成され、出演者が入力するコメント、出演者が発する音声、および出演者の表情などを、出演者情報として取得し、画像処理部２５Ａの出演者感情認識部３６に供給する。
【００４９】
出演者感情認識部３６は、入力部２６から供給される出演者情報に基づいて、出演者の感情を認識し、感情エフェクト選択部３３に供給する。
【００５０】
このように構成される出演者側情報処理装置１３Ａでは、感情エフェクト選択部３３は、視聴者の感情および出演者の感情の両方に基づいて、感情エフェクトを選択することができる。従って、例えば、感情エフェクト選択部３３は、視聴者の感情および出演者の感情が一致したときに、より演出の度合いが大きな感情エフェクトを選択することができる。これにより、出演者と視聴者との一体感をさらに高めることができる。なお、感情エフェクト選択部３３は、出演者の感情だけに基づいて感情エフェクトを選択してもよい。
【００５１】
また、出演者側情報処理装置１３Ａは、出演者の感情を用いるため、例えば、出演者が盛り上がってほしくないときに、視聴者が冷やかしで入力したコメントに対しては、出演者の感情と一致しないため、視聴者の感情が反映されることを回避することができる。即ち、視聴者の感情だけから感情エフェクトを選択する場合には、視聴者が冷やかしで入力したコメントでも、盛り上がる効果を与える感情エフェクトが選択されてしまうことがあり、インタラクティブに興奮や感情を表すことが難しいことがあった。
【００５２】
具体的には、出演者が歌っているときに、その歌のサビの前や途中で拍手のコメントを視聴者が入力すると「冷やかし」となってしまう。これに対し、出演者がサビを歌い終わった直後に拍手のコメントを視聴者が入力すると「感動」を表すことになる。このように、出演者からの入力（歌の場合は音声）に基づいて出演者の状態を認識することで、その場により合致した効果を与える感情エフェクトを選択することができる。
【００５３】
さらに、出演者側情報処理装置１３Ａは、例えば、出演者の興奮度を表す感情および表情が入力され、その感情および表情が盛り上がる経過に対応して、視聴者からコメントが入力されたか否かを判断することで、その場の演出をさらに盛り上げることができる。
【００５４】
なお、視聴者情報としては、コメントの他、例えば、視聴者の音声や音圧、心拍数、表情などを用いることができ、それらの複数種類の視聴者情報に基づいて、視聴者の感情を的確に推定することができる。また、複数人の視聴者情報に基づいて、動画像に対する全体的な視聴者の感情を推定することができる。
【００５５】
例えば、図７を参照して、出演者側情報処理装置１３において、視聴者の笑顔度の強度に基づいて背景エフェクトを選択する例について説明する。
【００５６】
例えば、配信システム１１では、視聴者側情報処理装置１５−１乃至１５−Ｎが備える撮像装置により視聴者を撮像して求められる視聴者の笑顔度を送信することができる。そして、出演者側情報処理装置１３では、視聴者情報取得部３１が視聴者側情報処理装置１５−１乃至１５−Ｎから送信されてくる笑顔度を視聴者情報として取得し、感情エフェクト選択部３３は、視聴者の笑顔度の強度に基づいて背景エフェクトを選択する。
【００５７】
具体的には、感情エフェクト選択部３３は、視聴者の笑顔度の強度に応じた判断を行う。例えば、図７に示すように、出演者が同一の変顔をしても、視聴者の笑顔度の強度が大きい場合には場が盛り上がるような背景エフェクトが選択され、視聴者の笑顔度の強度が小さい場合には場が白けるような背景エフェクトが選択される。さらに、感情エフェクト選択部３３は、視聴者の笑顔度の強度に応じた演出文字を表示させてもよく、視聴者の笑顔度の強度が大きい場合には場が盛り上がるような演出文字を表示させ、視聴者の笑顔度の強度が小さい場合には場が白けるような演出文字を表示させる。
【００５８】
このように、出演者側情報処理装置１３では、視聴者の感情を認識するだけでなく、笑顔度の強度に基づいて、より最適な背景エフェクトを選択することができる。なお、笑顔度の強度の他、笑顔度の持続時間や、笑顔である視聴者の人数、笑い声の大きさ、笑顔度とともに供給されるコメントなどを笑顔度の判断に用いてもよい。例えば、視聴者情報に、視聴者が笑顔であることを示す情報が含まれている場合、感情エフェクト選択部３３は、その情報に基づいて視聴者が笑顔である時間が長い場合には、より楽しそうな効果のあるエフェクトを選択することができる。また、出演者側情報処理装置１３では、例えば、より突発的な笑いや大爆笑などの笑いの質に応じて、背景エフェクトの演出を変更することができる。
【００５９】
次に、図８を参照して、出演者側情報処理装置１３Ａにおいて、視聴者および出演者の心拍数を用いたインタラクションについて説明する。
【００６０】
例えば、配信システム１１では、視聴者側情報処理装置１５−１乃至１５−Ｎが備える心拍センサにより視聴者の心拍数を取得して送信することができる。同様に、出演者側情報処理装置１３Ａは、入力部２６（例えば、腕バンド型や耳クリップ型の心拍計）により出演者の心拍度を取得することができる。また、例えば、撮像装置により視聴者または出演者を撮像して、その画像から心拍数を求めることができる。
【００６１】
図８には、出演者がプレイしているゲーム画面が配信される例が示されており、ゲーム画面の左下に出演者のアバターが表示され、ゲーム画面の左上に、心拍数に基づいたメータが表示されている。このメータは、視聴者の心拍数と出演者の心拍数との両方に基づいており、それらの変化の一致度が高くなると、より共感していることを表すエフェクトが表示される。
【００６２】
例えば、出演者と視聴者の興奮度および共感度が規定値以上である場合には、メータに表示される心音マークが大きく振動するようなエフェクトとなる。さらに、ゲームの操作と連動するように設定されている場合には、出演者と視聴者の興奮度および共感度が規定値以上になったときに必殺技を発生させることができる。また、ゲーム画面の左下に表示される出演者のアバターに変化を発生させてもよい。
【００６３】
このように、出演者側情報処理装置１３Ａでは、出演者および視聴者の感情を認識するだけでなく、心拍数から求められる出演者と視聴者との興奮度および共感度に基づいて、出演者と視聴者とのインタラクティブ性をより高めることができる。なお。視聴者の心拍数の他、顔画像や音声、音圧、ボタンの連打などを視聴者情報として用いてもよく、それらから興奮度を取得することができる。
【００６４】
なお、上述した実施の形態では、動画像に描画されるエフェクトについて説明を行ったが、画像的なエフェクトの他、出演者側情報処理装置１３Ａは、例えば、出演者および視聴者の感情に基づいた効果音を動画像とともに配信してもよく、様々な種類のエフェクトを付加することができる。また、出演者側情報処理装置１３Ａは、出演者および視聴者の感情に基づいたオブジェクト（例えば、スタンプや吹き出しなど）を動画像に表示してもよい。これらのオブジェクトによるエフェクトは、出演者と背景の区別なく付加することができ、例えば、出演者の顔以外の部分における前面に合成することができる。さらに、出演者側情報処理装置１３Ａは、例えば、視聴者の覚醒の程度を示すレベルが低下した場合や、視聴者の感情の不快を示すレベルが上昇した場合には、動画像の配信を強制的に終了させてもよい。
【００６５】
また、出演者側情報処理装置１３は、視聴者の感情だけでなく、視聴者の人数によって動画像に描画されるエフェクトを変更してもよく、視聴者の人数が一定数以上である場合に、より派手なエフェクトに変更したり、視聴者の人数が極端に少ない場合に、エフェクトを削除したりすることができる。また、出演者側情報処理装置１３は、複数人の視聴者から特定の視聴者情報が入力される数に応じて、例えば、「笑い」や「拍手」を意味する特定のコメントが入力される数に応じて、特定のエフェクトを付加したり、付加されているエフェクトの変更を行ったり、付加されているエフェクトを削除したりすることができる。さらに、出演者側情報処理装置１３Ａは、より活発に視聴者情報を入力する視聴者にのみ特別なエフェクトが描画された動画像を配信するようにしてもよい。即ち、全ての視聴者に同一の動画像を配信するのではなく、視聴者のリアクションに応じて視聴者ごとに配信される動画像のエフェクトを変更することができる。
【００６６】
さらに、本実施の形態においては、出演者側情報処理装置１３においてエフェクトを付加する処理を行う例について説明したが、例えば、出演者側情報処理装置１３は、出演者の動画像を送信する処理だけを行い、配信サーバ１４において、視聴者情報に基づいてエフェクトを付加する処理を行ってもよい。または、出演者側情報処理装置１３および配信サーバ１４で処理を分担することができる。
【００６７】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【００６８】
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【００６９】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００７０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００７２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７３】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００７４】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００７５】
なお、本技術は以下のような構成も取ることができる。
（１）
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、
前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部と
を備える情報処理装置。
（２）
前記動画像に出演する出演者からの出演者情報を取得する出演者情報取得部
をさらに備える上記（１）に記載の情報処理装置。
（３）
前記視聴者情報および前記出演者情報の少なくとも一方に基づいて感情を認識する感情認識部
をさらに備える上記（２）に記載の情報処理装置。
（４）
前記制御部は、前記感情認識部により認識された前記視聴者の感情、または、前記出演者の感情に基づいて、前記エフェクトを選択する
上記（３）に記載の情報処理装置。
（５）
前記制御部は、前記感情認識部により認識された前記視聴者の感情と、前記出演者の感情との両方に基づいて、前記エフェクトを選択する
上記（３）に記載の情報処理装置。
（６）
前記制御部により選択される前記エフェクトは、前記出演者の背面に合成するエフェクト、前記出演者と背景の区別なく付加するエフェクト、前記出演者の顔の前面に合成するエフェクト、および、前記出演者の前面に合成するエフェクトのうち、少なくとも１つが含まれる
上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
前記視聴者情報には、前記視聴者が入力したコメント、前記視聴者の表情、前記視聴者が発する音声情報、および、前記視聴者が所定の操作装置に対して操作を行う操作速度または操作回数のうち、少なくともいずれか１つが含まれる
上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
前記視聴者情報には、前記視聴者の笑顔の強度が含まれており、
前記制御部は、前記視聴者の笑顔の強度に応じて前記エフェクトの付加を制御する
上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
前記視聴者情報には、前記視聴者が笑顔であることを示す情報が含まれており、
前記制御部は、前記視聴者が笑顔である時間に応じて前記エフェクトの付加を制御する
上記（１）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記制御部は、複数人の前記視聴者からの前記視聴者情報に基づいて、前記エフェクトの付加を制御する
上記（１）から（９）までのいずれかに記載の情報処理装置。
（１１）
前記制御部は、複数人の前記視聴者から特定の前記視聴者情報が入力された数に応じて、前記エフェクトを付加し、付加した前記エフェクトの変更または削除を制御する
上記（１０）に記載の情報処理装置。
（１２）
前記視聴者情報には、前記視聴者の心拍数が含まれるとともに、
前記出演者情報には、前記出演者の心拍数が含まれており、
前記制御部は、前記視聴者の心拍数と前記出演者の心拍数との両方に基づいて、前記エフェクトの付加を制御する
上記（１）から（１１）までのいずれかに記載の情報処理装置。
（１３）
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
取得された前記視聴者情報に基づいたエフェクトの付加を制御する
ステップを含む情報処理方法。
（１４）
配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
取得された前記視聴者情報に基づいたエフェクトの付加を制御する
ステップを含む情報処理をコンピュータに実行させるプログラム。
【００７６】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７７】
１１  配信システム，  １２  ネットワーク，  １３  出演者側情報処理装置，  １４  配信サーバ，  １５−１乃至１５−Ｎ  視聴者側情報処理装置，  ２１  通信部，  ２２  撮像部，  ２３  表示部，  ２４  記憶部，  ２５  画像処理部，  ２６  入力部，  ３１  視聴者情報取得部，  ３２  視聴者感情認識部，  ３３  感情エフェクト選択部，  ３４  背景エフェクト描画部，  ３５  顔面エフェクト描画部，  ３６  出演者感情認識部
【図１】
2016088566.tif 000003
【図２】
2016088566.tif 000004
【図３】
2016088566.tif 000005
【図４】
2016088566.tif 000006
【図５】
2016088566.tif 000007
【図６】
2016088566.tif 000008
【図７】
2016088566.tif 000009
【図８】
2016088566.tif 000010
【図９】
2016088566.tif 000011
【国際調査報告】
2016088566.tif 000012
2016088566.tif 000013
2016088566.tif 000014
2016088566.tif 000015