(57)【要約】【課題】さらなるエンターテイメント性の向上を図る。【解決手段】プレイ状況認識部は、ゲームのプレイ状況を認識する。エフェクト描画部は、プレイ状況認識部により認識されたゲームのプレイ状況に基づいて、ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行う。例えば、ゲームのゲーム画面の所定箇所には、ゲームのプレイ状況に応じて所定の情報を示すゲームステータスが表示されており、プレイ状況認識部は、そのゲームステータスに対する解析を行うことで、ゲームのプレイ状況を認識する。本技術は、例えば、ゲーム画面の動画像を配信する動画像配信サービスに適用できる。【選択図】図４
2017188833.tif 000002
【特許請求の範囲】
【請求項１】
ゲームのプレイ状況を認識するプレイ状況認識部と、
前記プレイ状況認識部により認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行うエフェクト描画部と
を備える情報処理装置。
【請求項２】
前記プレイ状況認識部は、前記ゲームのゲーム画面に対する解析を行った解析結果に従って、前記ゲームのプレイ状況を認識する
請求項１に記載の情報処理装置。
【請求項３】
前記プレイ状況認識部は、前記ゲームのゲーム画面の所定箇所に表示される、前記ゲームのプレイ状況に応じて所定の情報を示すゲームステータスに対する解析を行うことで、前記ゲームのプレイ状況を認識する
請求項２に記載の情報処理装置。
【請求項４】
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲーム内のキャラクタのパラメータを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
請求項３に記載の情報処理装置。
【請求項５】
前記プレイ状況認識部は、前記ゲームのプレイ状況として、前記ゲーム内のキャラクタが受けたダメージを認識し、
前記エフェクト描画部は、前記ゲーム内のキャラクタが受けたダメージに合わせて、前記実況者がダメージを受けたようなエフェクトを付加する画像処理を行う
請求項４に記載の情報処理装置。
【請求項６】
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームの進行に合わせて操作を行ったタイミングを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
請求項３に記載の情報処理装置。
【請求項７】
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームにおける順位またはタイムを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
請求項３に記載の情報処理装置。
【請求項８】
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームにおいて入手したアイテムの価値を表す画像または色に対する解析を行うことで、前記ゲームのプレイ状況を認識する
請求項３に記載の情報処理装置。
【請求項９】
前記ゲームを実行するゲーム実行部から、実況中の前記ゲームのプレイ内容に関するゲーム情報が出力され、
前記プレイ状況認識部は、前記ゲーム情報を用いて前記ゲームのプレイ状況を認識する
請求項１に記載の情報処理装置。
【請求項１０】
前記エフェクト描画部によってエフェクトが付加された前記実況者が、前記ゲームのゲーム画面の一部に合成された配信動画像を生成する配信動画像生成部
をさらに備える請求項１に記載の情報処理装置。
【請求項１１】
前記配信動画像では、前記ゲームのゲーム画面が全面に表示され、そのゲーム画面の一部に、前記実況者の様子を表す画像を表示する実況者画面が重ねて表示される
請求項１０に記載の情報処理装置。
【請求項１２】
前記実況者は、前記ゲームをプレイしながらリアルタイムで前記ゲームを実況する
請求項１に記載の情報処理装置。
【請求項１３】
前記実況者は、既にプレイ済みの前記ゲームのゲーム画面を再生しながら前記ゲームを実況する
請求項１に記載の情報処理装置。
【請求項１４】
ゲームのプレイ状況を認識し、
認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行う
ステップを含む情報処理方法。
【請求項１５】
ゲームのプレイ状況を認識し、
認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行う
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、さらなるエンターテイメント性の向上を図ることができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ゲームをプレイするプレイヤーが、ゲーム画面の動画像（プレイ済みの動画像や、プレイ中のリアルタイムな動画像など）を配信する動画像配信サービスが提供されている。このような動画像配信サービスはゲーム実況と称され、ゲームをプレイしながら実況するプレイヤー（以下適宜、実況者とも称する）は、動画像を視聴する視聴者とともにゲームを楽しむことができる。
【０００３】
例えば、特許文献１には、設定された評価項目に基づいてゲームプレイを評価し、評価基準を満たしたゲームプレイの実況画像をクライアント端末に配信するコンテンツ提供方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、近年、ゲーム画面の動画像だけを配信するのではなく、実況者がゲームをプレイしている様子をゲーム画面の一部に合成した動画像を配信することによって、実況者のリアクションとともにゲーム画面を楽しませるようなゲーム実況が流行している。例えば、実況者が、ゲームの状況を視聴者に伝えるために、ゲームの状況に応じてオーバーリアクションな表情をしたり声を出したりすることで、エンターテイメント性の高いゲーム実況が提供される。
【０００６】
このようなゲーム実況において、実況者および視聴者の満足度を高めるために、エンターテイメント性を向上させることができる機能を提供することが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、さらなるエンターテイメント性の向上を図ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の情報処理装置は、ゲームのプレイ状況を認識するプレイ状況認識部と、前記プレイ状況認識部により認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行うエフェクト描画部とを備える。
【０００９】
本開示の一側面の情報処理方法またはプログラムは、ゲームのプレイ状況を認識し、認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行うステップを含む。
【００１０】
本開示の一側面においては、ゲームのプレイ状況が認識され、認識されたゲームのプレイ状況に基づいて、ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理が行われる。
【発明の効果】
【００１１】
本開示の一側面によれば、さらなるエンターテイメント性の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した動画像配信システムの一実施の形態の構成例を示すブロック図である。
【図２】動画像配信システムにより提供される動画像配信サービスについて説明する図である。
【図３】実況者側情報処理装置の構成例を示すブロック図である。
【図４】配信サーバの構成例を示すブロック図である。
【図５】配信用ゲーム実況動画像の一例を示す図である。
【図６】配信用ゲーム実況動画像の一例を示す図である。
【図７】配信用ゲーム実況動画像の一例を示す図である。
【図８】配信用ゲーム実況動画像の一例を示す図である。
【図９】実況者側情報処理装置において実行される処理を説明するフローチャートである。
【図１０】配信サーバにおいて実行される処理を説明するフローチャートである。
【図１１】実況者がゲームをプレイする様子の一例を示す図である。
【図１２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
図１は、本技術を適用した動画像配信システムの一実施の形態の構成例を示すブロック図である。
【００１５】
図１に示すように、動画像配信システム１１は、インターネットなどのネットワーク１２を介して、実況者側情報処理装置１３、配信サーバ１４、およびＮ台（複数台）の視聴者側情報処理装置１５−１乃至１５−Ｎが接続されて構成される。
【００１６】
実況者側情報処理装置１３は、実況者がプレイしながらリアルタイムに実況するゲームのゲーム画面を取り込み、そのゲーム画面の一部に、ゲームをプレイしている実況者の様子を表す画像が表示される実況者画面を合成した動画像（以下適宜、ゲーム実況動画像と称する）を配信サーバ１４に送信する。
【００１７】
配信サーバ１４は、実況者側情報処理装置１３から送信されてくるゲーム実況動画像のゲーム画面を解析することにより、ゲームのプレイ状況を認識する。そして、配信サーバ１４は、認識したゲームのプレイ状況に基づいて、ゲーム実況動画像の実況者画面に映されている実況者に対してエフェクトを付加する画像処理を行う。ここで、実況者に対して付加されるエフェクトとは、例えば、実況者の感情を表現したり、実況者がプレイするキャラクタがゲーム内で受けた様々な影響を表現したりするために、それらの表現を効果的に表す効果画像である。これにより、配信サーバ１４は、そのような画像処理を施すことにより得られる動画像（以下適宜、配信用ゲーム実況動画像と称する）を、ネットワーク１２を介して視聴者側情報処理装置１５−１乃至１５−Ｎに配信する。
【００１８】
視聴者側情報処理装置１５−１乃至１５−Ｎは、ネットワーク１２を介して配信サーバ１４から配信されてくる配信用ゲーム実況動画像を表示して、それぞれの利用者に視聴させる。なお、視聴者側情報処理装置１５−１乃至１５−Ｎは、同様に構成されており、それぞれを区別する必要がない場合、以下適宜、視聴者側情報処理装置１５と称する。
【００１９】
このように構成される動画像配信システム１１は、ゲームのプレイ内容の認識結果に基づいたエフェクトが実況者に対して付加された配信用ゲーム実況動画像を配信することにより、従来よりも、エンターテイメント性の向上を図ることができる。
【００２０】
ここで、図２を参照して、動画像配信システム１１により提供される動画像配信サービスについて説明する。
【００２１】
例えば、実況者側情報処理装置１３および視聴者側情報処理装置１５の表示部には、図２に示すような配信用ゲーム実況動画像が表示される。
【００２２】
配信用ゲーム実況動画像２１では、実況者側情報処理装置１３を利用している実況者がプレイを実況するゲームのプレイ中のゲーム画面２２が全面に表示されており、ゲーム画面２２の一部（図２の例では左下）に重ねて実況者画面２３が表示されている。
【００２３】
実況者画面２３には、ゲームをプレイしている実況者の様子を撮像した動画像が表示される。なお、実況者画面２３には、実況者の分身としてコンピュータグラフィックにより描かれるアバターによって、実況者の様子を表す動画像を表示してもよい。例えば、実況者側情報処理装置１３が備える撮像装置により実況者を撮像し、実況者の表情や動きなど認識して、その認識結果に基づいてコンピュータグラフィックによりアバターを生成することで、実況者の表情や動きなどをアバターに反映させた動画像を生成することができる。
【００２４】
また、ゲーム画面２２には、ゲームのプレイ状況に応じて様々な情報を示すゲームステータス２４が表示される。図２の例では、ゲーム画面２２の右上に、実況者がプレイするゲーム内のキャラクタの体力などを表す数値（パラメータ）をグラフ的に表現する画像であるライフゲージが、ゲームステータス２４として表示されている。
【００２５】
上述したように、動画像配信システム１１では、ゲーム画面２２の一部に実況者画面２３が合成されたゲーム実況動画像が、実況者側情報処理装置１３から配信サーバ１４に送信される。そして、配信サーバ１４において、ゲーム画面２２のゲームステータス２４に示される情報が解析されることによりゲームのプレイ状況が認識される。これにより、その認識結果に基づいたエフェクトを実況者画面２３の実況者に付加する画像処理が施され、そのような画像処理が施された実況者画面２３がゲーム画面２２の一部に合成された配信用ゲーム実況動画像２１が配信サーバ１４から配信される。
【００２６】
例えば、図２の上側に示す配信用ゲーム実況動画像２１では、実況者がプレイするゲーム内のキャラクタがダメージを受ける前のプレイ状況が示されている。そして、そのキャラクタがダメージを受けると、図２の下側に示す配信用ゲーム実況動画像２１のゲームステータス２４に示すに、キャラクタが受けたダメージに応じてゲームステータス２４のライフゲージが減少することになる。
【００２７】
これに伴い、ゲームステータス２４に示されているライフゲージが減少したことが配信サーバ１４において認識されると、図２の下側に示す配信用ゲーム実況動画像２１の実況者画面２３に示すように、顔が青ざめるようなエフェクトが実況者に付加される。さらに、ゲーム内のキャラクタがダメージを受けたことを表すエフェクトがゲーム画面２２に表示されたことが配信サーバ１４において認識されると、実況者画面２３に示すように、そのエフェクトと同様のエフェクトが実況者に付加される。
【００２８】
このように、動画像配信システム１１は、ゲームのプレイ状況に応じたエフェクトが実況者に付加された配信用ゲーム実況動画像２１を配信することで、より高いエンターテイメント性を備えた動画像配信サービスを提供することができる。例えば、配信用ゲーム実況動画像２１において、ゲームのプレイ状況に応じたエフェクトが実況者に付加されることにより、実況者は、ゲームの状況に応じてオーバーリアクションな表情をしたり声を出したりする必要がなくなる。このため、実況者は、ゲームをプレイすることに集中することができ、視聴者は、エフェクトによってゲームのプレイ状況を認識することができるようになる結果、動画像配信システム１１では、従来よりも、エンターテイメント性の向上を図ることができる。
【００２９】
次に、図３は、図１の実況者側情報処理装置１３の構成例を示すブロック図である。
【００３０】
図３に示すように、実況者側情報処理装置１３は、操作部３１、撮像部３２、表示部３３、通信部３４、およびゲーム実況処理部３５を備えて構成される。
【００３１】
操作部３１は、例えば、各種のボタンやタッチパネルなどにより構成され、実況者によるゲームに対する操作を受け付けて、その操作の内容を示す操作情報をゲーム実況処理部３５に供給する。
【００３２】
撮像部３２は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、実況者側情報処理装置１３によりゲームをプレイする実況者を撮像し、その実況者が映されている動画像をゲーム実況処理部３５に供給する。
【００３３】
表示部３３は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、配信サーバ１４から配信される配信用ゲーム実況動画像２１を表示する。なお、表示部３３は、配信サーバ１４において画像処理が施される前のゲーム実況動画像や、ゲーム実況動画像に実況者画面が合成される前のゲーム画面などを表示してもよい。
【００３４】
通信部３４は、例えば、インターネットなどの所定の通信規格に準じた通信を行うことが可能であり、図１のネットワーク１２を介して、配信サーバ１４と通信を行う。例えば、通信部３４は、ゲーム実況処理部３５から出力されるゲーム実況動画像を配信サーバ１４に送信し、配信サーバ１４から配信される配信用ゲーム実況動画像２１を受信して表示部３３に供給する。
【００３５】
ゲーム実況処理部３５は、ゲーム実行部４１、実況者画面生成部４２、および合成処理部４３を備えて構成される。
【００３６】
ゲーム実行部４１は、ディスクによって提供されるゲームや通信部３４を介してダウンロードされるゲームなど、各種のゲームを実行することができる。そして、ゲーム実行部４１は、操作部３１から供給される操作情報に従ってゲームを実行し、そのゲーム画面２２を合成処理部４３に供給する。また、ゲーム実行部４１は、実行しているゲームのプレイ内容に関するゲーム情報（例えば、上述したようなライフゲージの数値の他、ゲーム内で取得したアイテムや経験値など）を出力する機能を備えている場合、このゲーム情報を、通信部３４を介して配信サーバ１４に送信することができる。
【００３７】
実況者画面生成部４２は、撮像部３２から供給される動画像に基づいて、実況者の様子が表される実況者画面２３を生成する。例えば、撮像部３２から供給される動画像に映されている実況者の表情や動きなど認識して、その認識結果に基づいてコンピュータグラフィックによりアバターを生成する画像処理を行う。これにより、実況者画面生成部４２は、実況者の表情や動きなどをアバターに反映させ、そのアバターが表示される実況者画面２３を生成することができる。
【００３８】
合成処理部４３は、ゲーム実行部４１から供給されるゲーム画面２２の一部に、実況者画面生成部４２から供給される実況者画面２３を合成する合成処理を行う。これにより、合成処理部４３は、ゲーム画面２２が全面に表示され、その一部に実況者画面２３が表示されるゲーム実況動画像を生成する。そして、合成処理部４３は、生成したゲーム実況動画像を通信部３４に供給して、配信サーバ１４に送信させる。
【００３９】
このように実況者側情報処理装置１３は構成されており、ゲーム画面２２の一部に実況者画面２３が合成されたゲーム実況動画像を生成して、配信サーバ１４に送信することができる。
【００４０】
次に、図４は、図１の配信サーバ１４の構成例を示すブロック図である。
【００４１】
図４に示すように、配信サーバ１４は、動画像取得部５１、ゲーム情報取得部５２、プレイ状況認識部５３、記憶部５４、エフェクト描画部５５、および配信動画像生成部５６を備えて構成される。また、配信サーバ１４は、図示しない通信部を備えており、その通信部によって、図１のネットワーク１２を介して実況者側情報処理装置１３および視聴者側情報処理装置１５と通信を行うことができる。
【００４２】
動画像取得部５１は、実況者側情報処理装置１３からネットワーク１２を介して送信されてくるゲーム実況動画像を取得して、プレイ状況認識部５３および配信動画像生成部５６に供給する。
【００４３】
ゲーム情報取得部５２は、上述したように、実況者側情報処理装置１３のゲーム実行部４１がゲームのプレイ状況に関するゲーム情報を出力する機能を備えている場合、そのゲーム情報を、ネットワーク１２を介して取得してプレイ状況認識部５３に供給する。なお、実況者側情報処理装置１３のゲーム実行部４１がゲーム情報を出力する機能を備えていない場合、配信サーバ１４は、ゲーム情報取得部５２を省略した構成としてもよい。
【００４４】
プレイ状況認識部５３は、実況者側情報処理装置１３において実況者により実況中のゲームのプレイ状況を認識する。例えば、プレイ状況認識部５３は、動画像取得部５１から供給されるゲーム実況動画像のゲーム画面２２に対する画像解析を行い、その解析結果に従って、ゲームのプレイ状況を認識する。例えば、プレイ状況認識部５３は、ゲーム画面２２のゲームステータス２４により示される内容の解析を行ったり、ゲーム画面２２に表示されているエフェクトに基づいた解析を行ったりすることで、ゲームのプレイ状況を認識する。なお、プレイ状況認識部５３は、ゲーム情報取得部５２からゲーム情報が供給される場合、ゲーム画面２２に対する画像解析だけでなく、ゲーム情報に基づいてプレイ状況を認識することができる。そして、プレイ内容認識部５３は、認識したプレイ状況をエフェクト描画部５５に供給する。
【００４５】
記憶部５４は、エフェクト描画部５５により、実況者画面２３の実況者に付加するエフェクトを表示させるための各種のデータを記憶している。
【００４６】
エフェクト描画部５５は、プレイ状況認識部５３から供給されるプレイ状況に基づいて、実況者画面２３の実況者に対して付加するエフェクトのデータを記憶部５４から読み出す。そして、エフェクト描画部５５は、読み出したエフェクトが実況者に適切に重畳されるように描画する画像処理、例えば、実況者の顔の向きなどに合わせてエフェクトを変形させて描画する画像処理を施して、配信動画像生成部５６に供給する。
【００４７】
配信動画像生成部５６は、動画像取得部５１から供給されるゲーム実況動画像の実況者画面２３の実況者に対し、エフェクト描画部５５から供給されるエフェクトを合成する画像処理を行う。これにより、配信動画像生成部５６は、実況者画面２３にエフェクトが付加された配信用ゲーム実況動画像２１を生成する。そして、配信動画像生成部５６は、生成した配信用ゲーム実況動画像２１を、図示しない通信部を介して、実況者側情報処理装置１３および視聴者側情報処理装置１５に配信する。
【００４８】
このように配信サーバ１４は構成されており、実況者画面２３の実況者（実写またはアバター）にエフェクトが付加された配信用ゲーム実況動画像２１を生成して、実況者側情報処理装置１３および視聴者側情報処理装置１５に配信することができる。
【００４９】
次に、図５乃至図８を参照して、動画像配信システム１１において配信される配信用ゲーム実況動画像２１の例について説明する。
【００５０】
図５には、実況者がリズムに合わせて操作することによってキャラクタがダンスを踊るリズムゲームの配信用ゲーム実況動画像２１の一例が示されている。
【００５１】
例えば、リズムゲームでは、ゲーム中に流れる楽曲の進行に合わせて操作を行ったタイミングがリズムに一致していた程度を示すワードが特定箇所に表示される。図５に示すように、例えば、操作を行ったタイミングがリズムに一致していれば「Very Good」という文字を表す画像が表示され、操作を行ったタイミングがリズムから若干ずれていれば「Good」という文字を表す画像が表示される。
【００５２】
動画像配信システム１１では、このように特定箇所に表示されるワードをゲームステータス２４として、配信サーバ１４のプレイ状況認識部５３が画像解析を行うことによって、ゲームのプレイ状況を認識することができる。そして、プレイ状況認識部５３は、ゲームステータス２４に表示される「Very Good」および「Good」の表示回数の合計や連続数などに基づいて認識されるプレイ状況をエフェクト描画部５５に供給する。
【００５３】
例えば、プレイ状況認識部５３は、ゲームステータス２４Ａおよび２４Ｂに表示される「Very Good」の表示回数が所定回数以上に連続している場合には、実況者がリズムに完全に合わせてプレイしているプレイ状況であると認識する。従って、ゲームステータス２４Ａおよび２４Ｂそれぞれから認識されるプレイ状況に基づいて、エフェクト描画部５５は、実況者画面２３Ａおよび１３Ｂそれぞれに表示される実況者に対して、リズムに合わせてプレイが盛り上がるようなエフェクトを付加する。
【００５４】
このように、動画像配信システム１１は、リズムゲームにおいて、操作を行ったタイミングがリズムに一致していた程度に応じて、実況者のプレイが盛り上がるようなエフェクトが付加された配信用ゲーム実況動画像２１を配信することができる。
【００５５】
図６には、実況者の操作に従ってキャラクタどうしが格闘を行う格闘ゲームの配信用ゲーム実況動画像２１の一例が示されている。
【００５６】
例えば、格闘ゲームでは、それぞれのキャラクタのライフゲージ（例えば、体力を表すパラメータ）が所定箇所に表示される。動画像配信システム１１では、このように特定箇所に表示されるライフゲージをゲームステータス２４として、配信サーバ１４のプレイ状況認識部５３が画像解析を行うことによって、ゲームのプレイ状況を認識することができる。
【００５７】
例えば、プレイ状況認識部５３は、ゲームステータス２４Ａおよび２４Ｂに表示されるライフゲージが減少すると、キャラクタがダメージを受けたプレイ状況であると認識する。従って、ゲームステータス２４Ａおよび２４Ｂそれぞれから認識されるプレイ状況に基づいて、エフェクト描画部５５は、実況者画面２３Ａおよび１３Ｂそれぞれに表示される実況者に対して、キャラクタのダメージに合わせてダメージを受けたようなエフェクトを付加する。
【００５８】
このように、動画像配信システム１１は、格闘ゲームにおいて、キャラクタが受けたダメージに応じて、実況者がダメージを受けたようなエフェクトが付加された配信用ゲーム実況動画像２１を配信することができる。
【００５９】
図７には、実況者の操作に従ってキャラクタがレースを行うレースゲームの配信用ゲーム実況動画像２１の一例が示されている。
【００６０】
例えば、レースゲームでは、それぞれのキャラクタの順位やタイムなどが所定箇所に表示される。動画像配信システム１１では、このように特定箇所に表示される順位やタイムなどをゲームステータス２４として、配信サーバ１４のプレイ状況認識部５３が画像解析を行うことによって、ゲームのプレイ状況を認識することができる。
【００６１】
例えば、プレイ状況認識部５３は、ゲームステータス２４Ａおよび２４Ｂに表示される順位を、プレイ状況として認識する。従って、ゲームステータス２４Ａおよび２４Ｂそれぞれから認識されるプレイ状況に基づいて、エフェクト描画部５５は、実況者画面２３Ａおよび１３Ｂそれぞれに表示される実況者に対して、キャラクタの順位に合わせて感情（例えば、上位の実況者は喜び、下位の実況者は怒る）を表現するようなエフェクトを付加する。また、プレイ状況認識部５３は、ゲームステータス２４Ａおよび２４Ｂに表示されるタイムをプレイ状況として認識し、エフェクト描画部５５は、タイムが残り少なくなると、順位が低い実況者に対して焦りを表現するようなエフェクトを付加してもよい。
【００６２】
このように、動画像配信システム１１は、レースゲームにおいて、それぞれの実況者の順位に応じて、実況者の感情を表現するようなエフェクトが付加された配信用ゲーム実況動画像２１を配信することができる。
【００６３】
図８には、任意のゲームにおいて、所定の確率に従ってアイテムを入手するイベントを行う際の配信用ゲーム実況動画像２１の一例が示されている。
【００６４】
例えば、アイテムを入手するイベントでは、イベントで入手したアイテムの価値を示すワードが特定箇所に表示される。例えば、図８Ａに示すように、通常の価値を有するアイテムを入手した場合には「アイテムゲット」という文字を表す画像が表示され、図８Ｂに示すように、希少価値を有するアイテムを入手した場合には「レアアイテムゲット」という文字を表す画像が表示される。さらに、例えば、図８Ｃに示すように、非常に高い希少価値を有するアイテムを入手した場合には「激レアアイテムゲット」という文字を表す画像が表示される。
【００６５】
動画像配信システム１１では、このように特定箇所に表示されるワードをゲームステータス２４として、配信サーバ１４のプレイ状況認識部５３が画像解析を行うことによって、ゲームのプレイ状況を認識することができる。そして、プレイ状況認識部５３は、ゲームステータス２４に表示される文字が示すアイテムの価値に基づいて認識されるプレイ状況をエフェクト描画部５５に供給する。
【００６６】
例えば、プレイ状況認識部５３は、ゲームステータス２４に「アイテムゲット」と表示されている場合には、通常のプレイ状況であると認識し、エフェクト描画部５５は、実況者画面２３に表示される実況者に対して、通常のエフェクトを付加する。また、プレイ状況認識部５３は、ゲームステータス２４に「レアアイテムゲット」と表示されている場合には、稀有なプレイ状況であると認識し、エフェクト描画部５５は、実況者画面２３に表示される実況者に対して、喜ぶようなエフェクトを付加する。さらに、プレイ状況認識部５３は、ゲームステータス２４に「激レアアイテムゲット」と表示されている場合には、非常に稀有なプレイ状況であると認識し、エフェクト描画部５５は、実況者画面２３に表示される実況者に対して、非常に喜ぶようなエフェクトを付加する。
【００６７】
なお、一般的に、入手したアイテムの価値を表す色がゲーム画面２２の背景に表示される（例えば、希少価値を有するアイテムを入手した場合には銀色、非常に高い希少価値を有するアイテムを入手した場合には金色など）ことより、プレイ状況認識部５３は、そのようなゲーム画面２２の背景の色に基づいてゲームのプレイ状況を認識することができる。
【００６８】
このように、動画像配信システム１１は、アイテムを入手するイベントにおいて、実況者が入手したアイテムの価値に応じて、実況者の喜びを表現するようなエフェクトが付加された配信用ゲーム実況動画像２１を配信することができる。
【００６９】
図５乃至図８を参照して説明したように、動画像配信システム１１では、様々なゲームにおいて、それぞれのゲームに固有のゲームステータス２４に応じたエフェクトを実況者に付加することができ、従来よりも、エンターテイメント性の向上を図ることができる。
【００７０】
図９のフローチャートを参照して、実況者側情報処理装置１３において実行される処理について説明する。
【００７１】
例えば、実況者が実況者側情報処理装置１３に対する操作を行ってゲーム実況を開始すると処理が開始され、ステップＳ１１において、ゲーム実行部４１は、実況者による操作に従ってゲームを実行して、そのゲーム画面２２を合成処理部４３に供給する。
【００７２】
ステップＳ１２において、実況者画面生成部４２は、撮像部３２から供給される動画像に基づいて、実況者の様子が表される実況者画面２３を生成して、合成処理部４３に供給する。
【００７３】
ステップＳ１３において、合成処理部４３は、ステップＳ１１でゲーム実行部４１から供給されるゲーム画面２２の一部に、ステップＳ１２で実況者画面生成部４２から供給される実況者画面２３を合成してゲーム実況動画像を生成する。そして、合成処理部４３は、生成したゲーム実況動画像を通信部３４に供給して、配信サーバ１４に送信させる。
【００７４】
ステップＳ１４において、ゲーム実行部４１は、実行しているゲームのプレイ状況に関するゲーム情報を通信部３４に供給して、配信サーバ１４に送信させる。
【００７５】
ステップＳ１４の処理後、処理はステップＳ１１に戻り、実況者によりゲーム実況を終了させる操作が行われるまで、以下、同様の処理が繰り返して行われる。
【００７６】
図１０のフローチャートを参照して、配信サーバ１４において実行される処理について説明する。
【００７７】
例えば、実況者側情報処理装置１３からゲーム実況を開始する通知があると処理が開始され、ステップＳ２１において、動画像取得部５１は、図９のステップＳ１３で実況者側情報処理装置１３から送信されるゲーム実況動画像を取得する。そして、動画像取得部５１は、取得したゲーム実況動画像を、プレイ状況認識部５３および配信動画像生成部５６に供給する。
【００７８】
ステップＳ２２において、ゲーム情報取得部５２は、図９のステップＳ１４で実況者側情報処理装置１３から送信されるゲーム情報を取得して、プレイ状況認識部５３に供給する。
【００７９】
ステップＳ２３において、プレイ状況認識部５３は、ステップＳ２１で動画像取得部５１から供給されるゲーム実況動画像のゲーム画面２２、および、ステップＳ２２でゲーム情報取得部５２から供給されるゲーム情報に基づいて、ゲームのプレイ状況を認識する。
【００８０】
ステップＳ２４において、エフェクト描画部５５は、ゲーム実況動画像の実況者画面２３に表示される実況者に対して、ステップＳ２３でプレイ状況認識部５３により認識されたゲームのプレイ状況に基づいたエフェクトが適切に重畳されるように、エフェクトを描画する画像処理を施す。
【００８１】
ステップＳ２５において、配信動画像生成部５６は、ステップＳ２１で動画像取得部５１から供給されるゲーム実況動画像の実況者画面２３に表示される実況者に、ステップＳ２４でエフェクト描画部５５により描画されたエフェクトを合成する画像処理を行い、配信用ゲーム実況動画像２１を生成する。そして、配信動画像生成部５６は、実況者側情報処理装置１３および視聴者側情報処理装置１５に配信用ゲーム実況動画像２１を配信する。
【００８２】
ステップＳ２５の処理後、処理はステップＳ２１に戻り、実況者側情報処理装置１３からゲーム実況を終了する通知があるまで、以下、同様の処理が繰り返して行われる。
【００８３】
以上のように、動画像配信システム１１においては、実況者側情報処理装置１３が、ゲーム画面２２の一部に実況者画面２３が合成されたゲーム実況動画像を出力し、配信サーバ１４が、実況者画面２３の実況者にエフェクトが付加された配信用ゲーム実況動画像２１を配信することができる。
【００８４】
これにより、動画像配信システム１１では、実況者が、ゲーム状況に応じてオーバーリアクションな表情をしたり声を出したりしなくても、視聴者が、実況者画面２３の実況者に付加されたエフェクトによりゲーム状況を把握することができる。従って、視聴者は、従来よりも、ゲーム実況を楽しむことができ、動画像配信システム１１は、よりエンターテイメント性の高い動画像配信サービスを提供することができる。
【００８５】
なお、動画像配信システム１１では、実況者側情報処理装置１３においてプレイ状況を認識して実況者にエフェクトを付加するような構成としてもよく、その場合、実況者側情報処理装置１３において配信用ゲーム実況動画像２１を生成することができる。そして、実況者側情報処理装置１３から配信サーバ１４を介して、配信用ゲーム実況動画像２１を視聴者側情報処理装置１５に配信することができる。即ち、動画像配信システム１１内であれば、プレイ状況認識部５３、エフェクト描画部５５、および配信動画像生成部５６は、どこに配置されていてもよい。
【００８６】
また、実況者画面２３の実況者に対して付加するエフェクトとしては、例えば、実況者画面２３のサイズを変更するエフェクトを採用し、ライフゲージの減少に伴って実況者画面２３の表示が小さくなるようにしてもよい。また、エフェクトとして、実況者を表すアバターが汗をかいたり、目を腫らしたり、顔色を悪くするような画像を付加する他、実況者を表すアバターの形状を変形させたり、アバターの背景に仲間を表示させるような画像処理を行ってもよい。
【００８７】
また、例えば、実況者を撮像した動画像を解析し、実況者のリアクションが乏しくなったときにエフェクトを付加するようにしてもよい。または、実況者を撮像した動画像を用いずに、実況者の生体情報を利用したり、ゲームの状況やキャラクタの動きなどを利用したりして、アバターに付加するエフェクトを生成してもよい。また、どのようにエフェクトを付加するかを、実況者が選択することができる。
【００８８】
さらに、ゲーム画面２２の一部に実況者画面２３を合成する他、アバターをゲーム画面２２に表示させて、ゲーム内に実況者のアバターが居るような演出を行ってもよい。そして、ゲーム内のキャラクタに対してアバターによるインタラクションが行われるようにすることができる。
【００８９】
ここで、動画像配信システム１１では、例えば、視聴者側情報処理装置１５により配信用ゲーム実況動画像２１を視聴している視聴者によるリアクションを、実況者側情報処理装置１３において実行されているゲームに反映させることができる。例えば、実況者がダメージを受けたようなエフェクトが付加されるときに、視聴者が実況者を応援するようなアイテムを付与するリアクションを行うと、実況者がプレイしているゲームのキャラクタのダメージが回復するとともに、実況者に付加されるエフェクトも元に戻るようにしてもよい。このように、視聴者からの支援によって、実況者がプレイしているゲームのキャラクタを復活させることができる。
【００９０】
なお、動画像配信システム１１は、上述したようなゲームの動画像を配信する他、例えば、スポーツやサバイバルゲームなどの動画像を配信する際に、それらの得点などに応じてエフェクトを付加することができる。また、動画像配信システム１１は、実況者の目線に応じた動画像を配信する様々なサービス、例えば、料理を作る動画像を配信するサービスにも利用することができる。
【００９１】
また、実況者側情報処理装置１３としては、例えば、パーソナルコンピュータや、据え置き型のゲーム機、携帯型のゲーム機などを用いる他、いわゆるスマートフォンを用いることができる。さらに、実況者側情報処理装置１３として、ヘッドマウントディスプレイを利用してバーチャルリアリティにより表現される空間の中でゲームをプレイするようなゲームシステムを採用してもよい。
【００９２】
即ち、図１１に示すように、実況者側情報処理装置１３は、実況者の目前に表示部３３を固定するようなヘッドマウントディスプレイを利用し、操作部３１を操作する実況者を撮像部３２により撮像するようなゲームシステムにより構成することができる。このようなゲームシステムでは、ゲーム実況処理部３５として据え置き型のゲーム機が利用され、ゲーム実況処理部３５は、操作部３１に対する実況者による操作に従ってゲームを実行する。そして、ゲーム実況処理部３５は、実況者の頭部の動きに合わせて視界が描画されるようなゲーム画面２２を生成して表示部３３に表示する。さらに、ゲーム実況処理部３５は、撮像部３２により撮像される実況者の様子を反映したアバターをコンピュータグラフィックにより生成して実況者画面２３に表示することができる。
【００９３】
このようなヘッドマウントディスプレイを利用したゲームシステムにおいて、例えば、撮像部３２により撮像した画像から生成される実況者のアバターをゲーム内に登場させ、そのアバターに対する操作を、実況者が操作部３１に対して行うようにしてもよい。そして、エフェクト描画部５５は、配信用ゲーム実況動画像２１に表示されるアバターに、ゲームのプレイ状況に基づいたエフェクト（例えば、ダメージを受けたような画像）を付加する画像処理を行うことができる。
【００９４】
例えば、ヘッドマウントディスプレイを利用したゲームでは、一般的に、ゲームのプレイヤーが強い没入感を体験することができるが、その様子を見ている人に対して、プレイヤー程の没入感を体験させることは困難であった。これに対し、動画像配信システム１１では、ゲームのプレイ状況に基づいたエフェクトをアバターに付加した配信用ゲーム実況動画像２１を配信することによって、ヘッドマウントディスプレイを利用したゲームであっても、実況者の体験を視聴者に対してより分かり易く伝えることができる。
【００９５】
さらに、動画像配信システム１１では、実況者側情報処理装置１３においてゲームを実行することなく、いわゆるゲームセンタに設置されているアーケードゲーム機において実行したゲームのゲーム画面２２を用いることができる。例えば、実況者は、既にプレイ済みのゲームのゲーム画面２２をアーケードゲーム機から読み出して、そのゲーム画面２２を再生しながら配信する際に、ゲームをプレイしたときの状況を実況することができる。そして、そのようなゲーム実況において、ゲーム画面２２の一部に、エフェクトが付加された実況者が合成された配信用ゲーム実況動画像２１を生成して配信することができる。また、例えば、動画像配信システム１１では、実況者が、自身がプレイしたゲームに対する実況を行う他、他のプレイヤーがプレイしたゲームに対する実況を行ってもよい。
【００９６】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【００９７】
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【００９８】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００９９】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１００】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１０１】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０２】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０３】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１０４】
なお、本技術は以下のような構成も取ることができる。
（１）
ゲームのプレイ状況を認識するプレイ状況認識部と、
前記プレイ状況認識部により認識された前記ゲームのプレイ状況に基づいて、前記ゲームを実況する実況者の様子を表す画像に対してエフェクトを付加する画像処理を行うエフェクト描画部と
を備える情報処理装置。
（２）
前記プレイ状況認識部は、前記ゲームのゲーム画面に対する解析を行った解析結果に従って、前記ゲームのプレイ状況を認識する
上記（１）に記載の情報処理装置。
（３）
前記プレイ状況認識部は、前記ゲームのゲーム画面の所定箇所に表示される、前記ゲームのプレイ状況に応じて所定の情報を示すゲームステータスに対する解析を行うことで、前記ゲームのプレイ状況を認識する
上記（１）または（２）に記載の情報処理装置。
（４）
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲーム内のキャラクタのパラメータを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
上記（３）に記載の情報処理装置。
（５）
前記プレイ状況認識部は、前記ゲームのプレイ状況として、前記ゲーム内のキャラクタが受けたダメージを認識し、
前記エフェクト描画部は、前記ゲーム内のキャラクタが受けたダメージに合わせて、前記実況者がダメージを受けたようなエフェクトを付加する画像処理を行う
上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームの進行に合わせて操作を行ったタイミングを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
上記（３）に記載の情報処理装置。
（７）
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームにおける順位またはタイムを表す画像に対する解析を行うことで、前記ゲームのプレイ状況を認識する
上記（３）に記載の情報処理装置。
（８）
前記プレイ状況認識部は、前記ゲームステータスとして表示される前記ゲームにおいて入手したアイテムの価値を表す画像または色に対する解析を行うことで、前記ゲームのプレイ状況を認識する
上記（３）に記載の情報処理装置。
（９）
前記ゲームを実行するゲーム実行部から、実況中の前記ゲームのプレイ内容に関するゲーム情報が出力され、
前記プレイ状況認識部は、前記ゲーム情報を用いて前記ゲームのプレイ状況を認識する
上記（１）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記エフェクト描画部によってエフェクトが付加された前記実況者が、前記ゲームのゲーム画面の一部に合成された配信動画像を生成する配信動画像生成部
をさらに備える上記（１）から（９）までのいずれかに記載の情報処理装置。
（１１）
前記配信動画像では、前記ゲームのゲーム画面が全面に表示され、そのゲーム画面の一部に、前記実況者の様子を表す画像を表示する実況者画面が重ねて表示される
上記（１０）に記載の情報処理装置。
（１２）
前記実況者は、前記ゲームをプレイしながらリアルタイムで前記ゲームを実況する
上記（１）から（１１）までのいずれかに記載の情報処理装置。
（１３）
前記実況者は、既にプレイ済みの前記ゲームのゲーム画面を再生しながら前記ゲームを実況する
上記（１）から（１１）までのいずれかに記載の情報処理装置。
（１４）
ゲームのプレイ状況を認識し、
認識された前記ゲームのプレイ状況に基づいて、前記実況者の様子を表す画像に対してエフェクトを付加する画像処理を行う
ステップを含む情報処理方法。
（１５）
ゲームのプレイ状況を認識し、
認識された前記ゲームのプレイ状況に基づいて、前記実況者の様子を表す画像に対してエフェクトを付加する画像処理を行う
ステップを含む処理をコンピュータに実行させるプログラム。
【０１０５】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０６】
１１  動画像配信システム，  １２  ネットワーク，  １３  実況者側情報処理装置，  １４  配信サーバ，  １５  視聴者側情報処理装置，  ２１  配信用ゲーム実況動画像，  ２２  ゲーム画面，  ２３  実況者画面，  ２４  ゲームステータス，  ３１  操作部，  ３２  撮像部，  ３３  表示部，  ３４  通信部，  ３５  ゲーム実況処理部，  ４１  ゲーム実行部，  ４２  実況者画面生成部，  ４３  合成処理部，  ５１  動画像取得部，  ５２  ゲーム情報取得部，  ５３  プレイ状況認識部，  ５４  記憶部，  ５５  エフェクト描画部，  ５６  配信動画像生成部
【図１】
2017188833.tif 000003
【図２】
2017188833.tif 000004
【図３】
2017188833.tif 000005
【図４】
2017188833.tif 000006
【図５】
2017188833.tif 000007
【図６】
2017188833.tif 000008
【図７】
2017188833.tif 000009
【図８】
2017188833.tif 000010
【図９】
2017188833.tif 000011
【図１０】
2017188833.tif 000012
【図１１】
2017188833.tif 000013
【図１２】
2017188833.tif 000014