(57)【要約】【課題】テレビ画面を通じて、ユーザ同士が所定時間（例えば２秒間）だけ音声を共有でき、実況感ないし臨場感のある音声共有システムを提供する。【解決手段】クラウドサーバであるメインサーバと音声配信サーバに対して携帯端末１及び２を配置し、携帯端末１及び２が対向するテレビ画面を共有したとき、携帯端末１及び２のユーザが発声した音声が各携帯端末１及び２に取り込まれてメインサーバに送信され、音声配信サーバを介して相互に携帯端末２及び１に音声を送信し、ユーザが音声を共有する。【選択図】図１
2016208362.tif 000002
【特許請求の範囲】
【請求項１】
インターネットに接続されたメインサーバと音声配信サーバに対して携帯端末１及び２を配置し、前記携帯端末１及び２が対向するテレビ画面を共有したとき、
前記携帯端末１及び２のユーザが発声した音声が各携帯端末１及び２に取り込まれて前記メインサーバに送信され、前記音声配信サーバを介して相互に前記携帯端末２及び１に音声を送信し、
前記ユーザが音声を共有できることを特徴とする音声共有システム。
【請求項２】
前記携帯端末がスマートフォンである請求項１に記載の音声共有システム。
【請求項３】
前記音声に代えて、声スタンプを送信するようになっている請求項１又は２に記載の音声共有システム。
【請求項４】
前記スマートフォンに取り込まれた音声を圧縮して送信し、前記メインサーバで音声データベースに格納し、テレビのチャンネルと時間による抽出を行うようになっている請求項２又は３に記載の音声共有システム。
【請求項５】
前記音声の取り込みを所定時間だけ行うようになっている請求項２乃至４のいずれかに記載の音声共有システム。
【請求項６】
スマートフォンの機能がテレビ受像機に組み込まれており、前記テレビ受像機の画面を共有したとき、前記テレビ受像機に対向するユーザ１及び２が発声した音声が前記各テレビ受像機に取り込まれて、インターネットに接続されたメインサーバ及び音声配信サーバを介して、前記ユーザ１及び２の音声を相互に共有できることを特徴とする音声共有システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ（テレビの視聴者）が所持するスマートフォン等の携帯端末によりテレビ画面を通じて、或いは直接テレビ画面を通じてユーザ同士が音声を共有し、実況感若しくは臨場感を楽しむことができる音声共有システムに関する。
【背景技術】
【０００２】
テレビは、画面を通じて映像と音声でユーザが番組を楽しむものであるが、ユーザの音声を（距離が離れている）他のユーザに報知することはできない。ユーザの意見等を画面に文字で表示することはできるが、ユーザ同士で音声を共有することができないため、実況感若しくは臨場感に欠ける。
【０００３】
また、サーバの高性能化、低価格化により、従来負荷の高かった音声合成処理や大多数へのデータ配信が強く要請されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３２６９１４号公報
【特許文献２】特開２００２−３３５５０２号公報
【特許文献３】特開２００３−３３９０４０号公報
【特許文献４】特開２０１４−２１２５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来は文字による情報共有は存在したが、音声での情報共有は存在しなかった。文字での情報共有では、文字を読むため視線がテレビから離れてしまう。一方、音声ならば、テレビから目を逸らさずに情報の共有が可能となる。
【０００６】
本発明は上述のような事情よりなされたものであり、本発明の目的は、テレビ画面を通じて、ユーザ同士が所定時間（例えば２秒間）だけ音声を共有でき、実況感ないし臨場感のある音声共有をスマートフォンを介して実現する音声共有システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は音声共有システムに関し、本発明の上記目的は、インターネットに接続されたメインサーバと音声配信サーバに対して携帯端末１及び２を配置し、前記携帯端末１及び２が対向するテレビ画面を共有したとき、前記携帯端末１及び２のユーザが発声した音声が各携帯端末１及び２に取り込まれて前記メインサーバに送信され、前記音声配信サーバを介して相互に前記携帯端末２及び１に音声を送信し、前記ユーザが音声を共有できることにより達成される。
【０００８】
また、本発明の上記目的は、前記携帯端末がスマートフォンであることにより、或いは前記音声に代えて、声スタンプを送信するようになっていることにより、或いは前記スマートフォンに取り込まれた音声を圧縮して送信し、前記メインサーバで音声データベースに格納し、テレビのチャンネルと時間による抽出を行うようになっていることにより、或いは前記音声の取り込みを所定時間だけ行うようになっていることにより、より効果的に達成される。
【発明の効果】
【０００９】
本発明に係る音声共有システムによれば、複数のユーザ同士で同じテレビ画面を観ながら所定時間だけユーザの生の音声又は声スタンプの音声を共有でき、実況感ないし臨場感を持ってテレビ観賞ができる。
【００１０】
また、テレビから視線を逸らさずに、音声で情報共有ができる利点がある。
【図面の簡単な説明】
【００１１】
【図１】音声の流れ（第１実施形態）を示す模式図である。
【図２】声スタンプの一例を示す模式図である。
【図３】音声スタンプ購入の動作例を示すフローチャートである。
【図４】スマートフォンのジャンル画面の一例を示す画面図である。
【図５】スマートフォンの実況画面の一例を示す画面図である。
【図６】２チャンネルについて音声共有範囲の一例を示すブロック図である。
【図７】音声の合成アルゴリズムと評価を説明するための図である。
【図８】音声の合成アルゴリズムの開始時点を説明するための模式図である。
【図９】ユーザの携帯端末において、時間の経過と共に画面がスクロールされる様子を示す図である。
【図１０】スマートフォンの処理例を示すフローチャートである。
【図１１】サーバの処理例を示すフローチャートである。
【図１２】スマートフォンとサーバの連携動作例を示すフローチャートである。
【図１３】音声合成の処理例を示すフローチャートである。
【図１４】音声合成の処理例を示すフローチャートである。
【図１５】音声の流れ（第２実施形態）を示す模式図である。
【発明を実施するための形態】
【００１２】
本発明では、インターネットに接続されたメインサーバと音声配信サーバに対して複数の携帯端末を配置し、各携帯端末が対向するテレビ画面を共有したとき、携帯端末のユーザが発声した生の音声若しくは声スタンプの音声が各携帯端末に取り込まれてメインサーバに送信され、音声配信サーバを介して相互に携帯端末に音声を送信し、ユーザ同士が音声を共有する。携帯端末としてはスマートフォンが適用される。
【００１３】
以下に、本発明の実施の形態を、図面を参照して詳細に説明する。以下では、携帯端末としてスマートフォンを例に挙げて説明する。
【００１４】
図１は本発明による音声の流れ例を示しており、視聴者であるユーザ１〜４はそれぞれ携帯端末としてスマートフォン１Ａ〜４Ａを有しており、例えばユーザ１が発声した音声はスマートフォン１Ａに録音され、スマートフォン１Ａは録音した音声を、インターネット７に接続されたメインサーバ５に送信する。なお、音声をスマートフォンに録音することなく、直接送信するようにしても良い。
【００１５】
また、ユーザ２がアプリで購入した声スタンプはスマートフォン１Ａに予め格納され、スマートフォン１Ａは格納された音声（声スタンプ）を、インターネット７に接続されたメインサーバ５に送信する。声スタンプは１セットに付き、例えば１０種類の予め音声が付けられ、データベースに格納されているスタンプのことであり、図２に示すような「ねこの鳴き声セット」を購入して、自分の音声の代わりに発声する。声スタンプは、自分の生の声を公開するのは気が引ける人向けに、無料又は有料で画面上でアプリとして販売する。
【００１６】
声スタンプの販売・購入はスマートフォン（２Ａ）のアプリで行い、例えば図３に示すような動作で行う。即ち、スマートフォン２Ａの画面上にスタンプショップ画面を表示し（ステップＳ１）、その画面内で所望の声スタンプを選択する（ステップＳ１）。各種声スタンプは予めデータベースに格納されている。声スタンプの選択により、選択された声スタンプの詳細が表示され（ステップＳ３）、声スタンプを購入するか否かの判断を待ち（ステップＳ４）、ユーザが声スタンプを購入する場合には、支払処理を行い（ステップＳ５）、声スタンプの購入を完了する（ステップＳ６）。
【００１７】
メインサーバ５に送信された音声及び声スタンプは、音声合成されて音声配信サーバ６に送信される。音声配信サーバ６もインターネットに接続されている。
【００１８】
音声配信サーバ６がインターネット７を介して、スマートフォン３Ａ及び４Ａに合成された音声及び声スタンプを送信し、スマートフォン３Ａ及び４Ａから発声される音声及び音スタンプをユーザ３及び４が聞く。これにより、ユーザ１が発した音声はスマートフォン１Ａに録音され、録音された音声がメインサーバ５に送信され、メインサーバ５に受信された後、音声合成をして音声配信サーバ６に送信される。音声配信サーバ６がスマートフォン３Ａに音声を送信し、スマートフォン３Ａが再生した音声がユーザ３に達する。ユーザ２が発した声スタンプも同様にして、ユーザ４に達する。また、逆にユーザ３が発した音声をメインサーバ５及び音声配信サーバ６を介して、ユーザ１又は２に送信することができる。
【００１９】
図４は、スマートフォンのアプリのジャンル画面の一例を示しており、テレビが例えば７ｃｈを表示している時の、スマートフォン側のアプリのジャンル画面である。エリアＡＲ１の矢印をクリックすることにより実況画面に移動し、エリアＡＲ２は中小のカテゴリーを横表示しており、左右端部の矢印をクリックすることによって左右にスクロールすることができる。また、エリアＡＲ３は大カテゴリーを縦表示しており、上下端部の矢印をクリックすることによって上下に画面をスクロールすることができる。大カテゴリー中の「ＴＶ」を選択し、その中から適宜チャンネル（ｃｈ）を探し出して、実況用画面を呼び出す。エリアＡＲ４は番組表若しくは日程の表示欄である。
【００２０】
スマートフォンでの操作はテレビに影響を与えないので、図４の大カテゴリー「サッカー」を選んだとしても、テレビはサッカー画面にはならない。同様に、図４の画面上で大カテゴリー「ＴＶ−ＮＨＫ」を選んだとしても、テレビはＮＨＫ総合の画面にはならない。
【００２１】
図５はスマートフォンのアプリの実況画面の一例を示しており、図４のジャンル画面から７ｃｈを探し出して、実況用画面を呼び出した画面となっている。エリアＡＲ１０は中小カテゴリーの変更部であり、左右にスワイプ可能である。エリアＡＲ１１は現在の番組情報を示し、エリアＡＲ１２は音声又は声スタンプの視覚化領域となっている。また、エリアＡＲ１３は広告枠であり、エリアＡＲ１４は発言ボタン（顔を近づけることでも同じ）、声スタンプ画面への表示ボタン等を表示している。
【００２２】
テレビで放送されている各局チャンネルをスマートフォンの実況用画面（図５）に一致させた時に発声した音声が、メインサーバ５でチャンネル別に音声合成される。このチャンネル別に音声合成したファイルを音声配信サーバ６に配置し、スマートフォンの実況用画面（図５）と一致しているチャンネルの合成音声の送信を行う。図５の画面では「ＮＨＫ総合」となっているので、ＮＨＫ総合用の音声を送信し、ＮＨＫ総合の合成音声を流す。
【００２３】
図６は音声共有範囲を、チャンネル＃１及び＃２について示しており、チャンネル＃１の音声共有範囲では、地点イのチャンネル＃１の映像装置（テレビ受像機）２１に対してチャンネル＃１’のスマートフォン２４が参照され、地点ロのチャンネル＃１の映像装置２２に対してチャンネル＃１’のスマートフォン２５が参照され、地点ハのチャンネル＃１の映像装置２３に対してチャンネル＃１’のスマートフォン２６が参照される。また、チャンネル＃２の音声共有範囲では、地点ニのチャンネル＃２の映像装置３１に対してチャンネル＃２’のスマートフォン３３が参照され、地点ホのチャンネル＃２の映像装置３２に対してチャンネル＃２’のスマートフォン３４が参照される。このように地点に関係なく、チャンネルが一致したスマートフォンが音声共有の対象となる。
【００２４】
図７は音声の合成アルゴリズムと評価の様子を示しており、ユーザが評価Ａ〜Ｄに分かれており、各ユーザの発声した音声がそれぞれが所有するスマートフォンＳＭＡ〜ＳＭＤに取り込まれ、適宜処理された音声がインターネットを介してメインサーバ４０に送信される。評価は他のユーザからの評価や発言回数、接続回数などが総合的に計算され、“Ａ〜Ｄ”のような段階的な評価が与えられる。メインサーバ４０には音声受信部４１〜４４が設けられており、評価の高い評価Ａ及びＢのユーザの音声が音声受信部４１及び４２に入力され、合成音声作成部４５に入力されて合成音声が作成される。合成音声作成部４５で作成された合成音声は、格納部４６に入力されて格納される。
【００２５】
図７の例では、高い評価値の評価Ａ及びＢについてのみ受け付け、低い評価値の評価Ｃ及びＤについては受け付けないような設定となっている。
【００２６】
図８は音声の合成アルゴリズムの開始時点をずらして、合成後の音声が聞き易いようにする様子を示している。即ち、図８の（ａ）は合成前の音声Ａ〜Ｅを時間軸で示しており、音声Ａ及びＢ、音声Ｃ及びＤの開示時点が同一になっているため、音声Ａ及びＢを合成した場合並びに音声Ｃ及びＤを合成した場合に音声を聞き取りにくいという問題がある。そのため、本発明では図８の（ｂ）に示すように、音声Ｂ及びＤの開始時点を少しずらし（α）、音声Ｂ’及びＤ’のようにずらすことにより、ユーザが互いに音声を聞き取りやすくしている。
【００２７】
図９は音声Ａ及びＢのユーザを識別する画像と画面の自動スクロールの様子を示しており、図５の画面に対応している。図９（Ａ）では音声Ａを識別する画像が（時点０：００：００）に表示されて下方に自動的にスクロールされ、その後、音声Ｂを識別する画像が（時点０：００：１０）表示されて下方に自動的にスクロールされる様子を示している。また、図９（Ｂ）の画面は（Ａ）の１０秒後の画面例を示しており、時点０：００：２０に音声Ｃのユーザを識別すら画像が表示されて下方に自動的にスクロールされる様子を示している。
【００２８】
図１０はスマートフォンにおける処理例を示しており、先ず画面に番組表を表示し（ステップＳ１０）、画面上でテレビチャンネル＃ｎの選択を行う（ステップＳ１１）。次いでタイムライン（実況画面）の表示を行い（ステップＳ１２）、合成音声を取得する（ステップＳ１３）。そして、合成音声の有無を判定し（ステップＳ１４）、合成音声が有る場合には合成音声を再生し（ステップＳ１５）、その後若しくは合成音声が無い場合には生の音声若しくは声スタンプの入力を行い（ステップＳ１６）、上記ステップＳ１３にリターンする。
【００２９】
図１１はメインサーバ５の処理例を示しており、先ず所定時間内の音声の存在の有無を判定し（ステップＳ２０）、所定時間内の音声の存在が有る場合には、合成音声を作成し（ステップＳ２１）、合成音声を格納部に格納してリターンする（ステップＳ２２）。所定時間内に音声が存在しない場合には、そのままリターンとなる。
【００３０】
図１２はスマートフォン１及び２とメインサーバ５、音声配信サーバ６との連携動作の一例を示しており、スマートフォン１は番組表の表示を行い（ステップＳ３０）、画面上でテレビチャンネル＃１を選択する（ステップＳ３１）。その後タイムライン（実況画面）の表示を行い（ステップＳ３２）、音声Ａの入力と送信を行う（ステップＳ３３）。スマートフォン１からの音声Ａは、メインサーバ５で受信される（ステップＳ５０）。
【００３１】
音声Ａはメインサーバ５に送信され、メインサーバ５は、時間Ｔ１（例えば２秒間）の音声の存在の有無を判定し（ステップＳ５１）、時間Ｔ１の間に音声が存在する場合には、合成音声を作成し（ステップＳ５２）、格納部（データベース）に格納する（ステップＳ５３）。
【００３２】
同様に、スマートフォン２は番組表の表示を行い（ステップＳ４０）、テレビチャンネル＃１を選択し（ステップＳ４１）、タイムラインの表示を行う（ステップＳ４２）。更に、時間Ｔ１（例えば２秒間）の音声の取得を行う（ステップＳ４３）。
【００３３】
スマートフォン２で時間Ｔ１の合成音声の取得が実施されると（ステップＳ４３）、音声配信サーバ６に合成音声Ａの返却が指示され、音声配信サーバ６はメインサーバ５の格納部（データベース）に合成音声Ａの格納の有無を問い合わせる（ステップＳ５４）。格納部（データベース）に合成音声Ａが格納されている場合には、合成音声Ａが格納部（データベース）から読み出されて音声配信サーバ６に送信され、更にスマートフォン２に送信される。また、スマートフォン１で時間Ｔ１の合成音声の取得が実施された場合も（ステップＳ３４）、上記スマートフォン２と全く同様な動作が実施される。
【００３４】
その後、スマートフォン１及び２は共に合成音声Ａを再生し（ステップＳ３５）、スマートフォン２も合成音声Ａを再生し（ステップＳ４４）、スマートフォンス１は音声Ｂ１の入力と送信を行い（ステップＳ３６）、スマートフォン２は音声Ｂ２の入力と送信を行う（ステップＳ４５）。メインサーバ５は音声Ｂ１，Ｂ２を受信し（ステップＳ６０）、メインサーバ５は、時間Ｔ２（例えば２秒間）の音声の存在の有無を判定し（ステップＳ６１）、時間Ｔ２の間に音声が存在する場合には、合成音声Ｂを作成し（ステップＳ６２）、格納部（データベース）に格納する（ステップＳ６３）。
【００３５】
スマートフォン１で時間Ｔ２の合成音声の取得が実施されると（ステップＳ３７）、音声配信サーバ６に合成音声Ｂの返却が指示され、音声配信サーバ６はメインサーバ５の格納部（データベース）に合成音声Ｂの格納の有無を問い合わせる（ステップＳ６４）。格納部（データベース）に合成音声Ｂが格納されている場合には、合成音声Ｂが格納部（データベース）から読み出されて音声配信サーバ６に送信され、更にスマートフォン１に送信される。また、スマートフォン２で時間Ｔ２の合成音声の取得が実施された場合も（ステップＳ４６）、上記スマートフォン１と全く同様な動作が実施される。
【００３６】
音声合成の動作例は図１３のフローチャートに示され、先ずｎ個の音声データを取得し（ステップＳ６０）、ｎ番目の音声データに（ｎ−１）α秒の無音データを追加し（ステップＳ６１）、ｎ個全ての加工した音声データを合成する（ステップＳ６２）。「α」は音声をずらすための所定値である。そして、合成した音声を格納部（データベース）に格納する（ステップＳ６３）。
【００３７】
メインサーバ５にはスマートフォン１から音声Ｂ１が送信され（ステップＳ３６）、スマートフォン２から音声Ｂ２が送信され（ステップＳ４５）、メインサーバは時間Ｔ２の音声の存在の有無を判定し（ステップＳ６１）、時間Ｔ２の音声が存在する場合には、合成音声を作成し（ステップＳ６２）、格納部に格納する（ステップＳ６３）。その後、スマートフォン１及び２はメインサーバ５に対して時間Ｔ２の合成音声の取得を要求し（ステップＳ３７、Ｓ４６）、その要求に対してメインサーバ５は合成音声Ｂをスマートフォン１及び２に送る（ステップＳ６４）。スマートフォン１は合成音声Ｂを再生し（ステップＳ３８）、スマートフォン２も合成音声Ｂを再生する（ステップＳ４７）。
【００３８】
図１４は音声の流れを示しており、ユーザ（視聴者）が発声した音声はスマートフォン１内のマイクロフォン１１で取り込まれ、音声圧縮部１２で所定アルゴリズムで音声圧縮され、圧縮された音声が通信部１２を経て、インターネット７を経由してメインサーバ５内の通信部５１で受信される。受信された音声は音声データベース５２に格納され、音声データベース５２からチャンネル・時間による抽出を行い、上述したような音声合成アルゴリズムによって音声合成を行い、合成された音声は合成音声データベース５５に格納される。
【００３９】
なお、上述の実施形態では携帯端末としてスマートフォンを例に挙げ、メインサーバ及び音声配信サーバをインターネットに接続されたクラウドコンピュータとしているが、図１５に示すようにテレビ受像機にスマートフォンの機能を組み込むことも可能である。この場合には、テレビ受像機にユーザが話しかけることによって、ユーザ（テレビ視聴者）同士が音声を共有できる。
【符号の説明】
【００４０】
１〜４                    ユーザ（視聴者）
１Ａ〜４Ａ                スマートフォン
５                        メインサーバ
６                        音声配信サーバ
７                        インターネット
１１                      マイクロフォン
１２                      音声圧縮部
１３、５１                通信部
２０、３０                音声共有範囲
２１〜２３、３１，３２    映像装置
２４〜２７、３３，３４    スマートフォン
４５                      合成音声作成部
４６                      格納部
【図３】
2016208362.tif 000003
【図６】
2016208362.tif 000004
【図１０】
2016208362.tif 000005
【図１１】
2016208362.tif 000006
【図１２】
2016208362.tif 000007
【図１３】
2016208362.tif 000008
【図１】
2016208362.tif 000009
【図２】
2016208362.tif 000010
【図４】
2016208362.tif 000011
【図５】
2016208362.tif 000012
【図７】
2016208362.tif 000013
【図８】
2016208362.tif 000014
【図９】
2016208362.tif 000015
【図１４】
2016208362.tif 000016
【図１５】
2016208362.tif 000017