(57)【要約】【課題】  ストリームキーに付与した音声加工命令を実行できる音声加工装置を設けたライブストリーミングサーバを提供する。【解決手段】  この発明はライブストリーミングにおいて、ライブストリーミング配信用システム（１）のストリームキーに音声加工命令を付与（２）することで、音声加工ソフトウェア（１０）と映像加工ソフトウェア（１１）から成る音声加工装置が設けられたライブストリーミングサーバ（４）で音声加工命令を実行することができ、閲覧者（１７）は音声加工された状態のライブストリーミング（１３）を鑑賞できる。  本発明は以上の構成により成るストリームキーに付与された音声加工命令を実行できる音声加工装置を設けたライブストリーミングサーバに関するものである。【選択図】図１
2020064268.tif 000002
【特許請求の範囲】
【請求項１】
ストリームキーに付与した音声加工命令（２）を実行できる音声加工装置を設けたライブストリーミングサーバ（４）。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明はライブストリーミングにおいて、ライブストリーミング配信用システムのストリームキーに音声加工命令を付与することで、映像加工ソフトウェアと音声加工ソフトウェアから成る音声加工装置が設けられたライブストリーミングサーバで音声加工命令を実行することができ、閲覧者は音声加工されたライブストリーミングを鑑賞できる。
本発明は以上の構成により成る、ストリームキーに付与された音声加工命令を実行できる音声加工装置を設けたライブストリーミングサーバに関するものである。
【背景技術】
【０００２】  従来、ライブストリーミングにおいて、配信者の音声加工が必要な場合、主に下記の方法が用いられていた。
（イ）ライブストリーミング配信用システムにリアルタイム音声加工装置（ハードウェア）を設置する方法
（ロ）ライブストリーミング配信用システムにリアルタイム音声加工装置（ソフトウェア）を設置する方法
（ハ）予め音声加工後の音声ファイルを用意し、本番放送中にそのファイルを再生する方法
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】
【発明の概要】
【発明が解決しようとする課題】
【０００４】  これは次のような欠点があった。
（イ）ライブストリーミング配信用システムにリアルタイム音声加工装置（ハードウェア）を設置する欠点
・ライブストリーミング配信用システムのスピーカーから加工された音声が出力されるため、配信者の実音声と混在し、聞き取り辛くなる。
・ライブストリーミング配信用システムのスピーカーから加工された音声が出力されるため、加工された音声をライブストリーミング配信用システムのマイクが拾ってしまい、加工済みの音声が再び加工されるという、音声加工処理の重複が発生する。
・機材を介すため、わずかな遅延（レイテンシー）が生じ、カラオケの場合、曲と加工された音声がずれるという問題が発生する。
（ロ）ライブストリーミング配信用システムにリアルタイム音声加工装置（ソフトウェア）を設置する欠点
・ソフトウェアによる制御で、音声加工後の音声をスピーカーに出力させず、ヘッドフォンやサーバへのアップロードに限定して出力が可能であるが、ライブストリーミング配信用システムのＯＳごとにソフトウェアを開発する必要があり、大変な手間になる。
（ハ）予め音声加工後の音声ファイルを用意し、本番放送中にそのファイルを再生する欠点
・台本通りに進行しないと利用ができない。
本発明は、以上のような欠点をなくすためになされたものである。
【課題を解決するための手段】
【０００５】  この発明はライブストリーミングにおいて、ライブストリーミング配信用システム（１）のストリームキーに音声加工命令を付与（２）することで、音声加工ソフトウェア（１０）と映像加工ソフトウェア（１１）から成る音声加工装置が設けられたライブストリーミングサーバ（４）で音声加工命令を実行することができ、閲覧者（１７）は音声加工された状態のライブストリーミング（１３）を鑑賞できる。
本発明は以上の構成により成るストリームキーに付与された音声加工命令を実行できる音声加工装置を設けたライブストリーミングサーバに関するものである。
【発明の効果】
【０００６】  ストリームキーに音声加工命令を付与し、ライブストリーミングサーバ上で音声加工を行うことで、ライブストリーミング配信システムにリアルタイム音声加工装置（ハードウェア、ソフトウェア共に）が不要になりました。
これにより、下記の通りに欠点が解消されました。
・加工された音声がライブストリーミング配信用システムのスピーカーから出力されないため、配信者の実音声と混在しない。
・加工された音声がライブストリーミング配信用システムのスピーカーから出力されないため、音声加工処理の重複が発生しない。
・実録したメディアデータを加工するため、映像データと音声データの同期が取れており、音声加工処理による遅延（レイテンシー）が生じないため、カラオケの場合でも、曲と加工された音声でズレが生じない。
・ライブストリーミングサーバ上に音声加工機能があるため、ライブストリーミング配信システムのＯＳごとにソフトウェアを開発する必要が無い。
・ライブストリーミングサーバ上に音声加工機能があるため、予め音声加工後の音声ファイルを用意する必要が無く、台本通りに進行しなくても問題が無い。
・ライブストリーミングサーバ上に音声加工機能があるため、リアルタイム音声加工装置（ハードウェア、ソフトウェアともに）が接続できないライブストリーミング専用機材であっても、音声加工が可能になる。
【図面の簡単な説明】
【０００７】
【図１】本発明のシステム構成図である。
【図２】本発明のライブストリーミング音声加工処理のフローチャート図である。
【発明を実施するための形態】
【０００８】  以下、本発明を実施するための形態について、図面を参照して説明する。
この実施の形態に係るシステムは、図１に示すように、３つのシステムで構成されている。
（イ）ライブストリーミング配信用システム
ライブストリーミング配信用システム（１）の内部構成は下記の通りである。
・カメラ
配信用ソフトウェアが設けられた端末に接続されているカメラである。主にスマートフォンおよびパーソナルコンピュータに内臓されているカメラが使われる。
・マイク
配信用ソフトウェアが設けられた端末に接続されているマイクである。主にスマートフォンおよびパーソナルコンピュータに内臓されているマイクが使われる。
・配信用ソフトウェア
カメラ、マイクからキャプチャしたデータをライブストリーミングサーバ（４）に送信できるソフトウェアである。ライブストリーミングの場合、通常はストリームキーを指定する。このストリームキーはライブストリーミングデータとユーザを紐づける。本発明では、このストリームキーに音声加工命令を付与する。
（ロ）音声加工装置が設けられたライブストリーミングサーバ
音声加工装置が設けられたライブストリーミングサーバ（４）の内部構成は下記の通りである。
・受信サーバ（５）
ライブストリーミング配信用システム（１）から受信したデータをエンコーダ（６）に送信する。
・エンコーダ（６）
受信サーバ（５）から送られたデータを、ライブストリーミング閲覧用システム（１６）で再生できるフォーマットにエンコードする。このとき、プレイリストとセグメントファイル（７）が生成される。セグメントファイル（７）は再生時間が数秒程度の小さい単位に分割されたメディアデータである。プレイリストはセグメントファイル（７）の再生順が記載されている。受信サーバ（５）とエンコーダ（６）はしばしば同一のコンピュータに設けられる。
・セグメントファイル（７）（１３）
再生時間が数秒程度の小さい単位に分割されたメディアデータである。エンコーダ（６）により、ライブストリーミング閲覧用システム（１６）で再生可能なフォーマットにエンコードされる。
・音声データ（８）
ライブストリーミング配信用システム（１）のマイクでキャプチャしたデータである。
・映像データ（９）
ライブストリーミング配信用システム（１）のカメラでキャプチャしたデータである。
・音声加工ソフトウェア（１０）
音声加工命令（２）を解読することで、音声データ（８）の音量やピッチなどを変更できるソフトウェアが設けられている。音声加工ソフトウェア（１０）はしばしばエンコーダ（６）と同一のコンピュータに設けられる。
・映像加工ソフトウェア（１１）
ライブストリーミングのセグメントファイル（７）などのメディアデータを、音声データ（８）と映像データ（９）に分離することができ、また、音声データ（１２）と映像データ（９）を合成したメディアデータ（１３）を生成できるソフトウェアが設けられている。映像加工ソフトウェア（１１）はしばしばエンコーダ（６）と同一のコンピュータに設けられる。
・ストレージ（１４）
ライブストリーミング閲覧用システム（１６）からアクセス可能な場所にあり、プレイリストとセグメントファイル（１３）を保存する。ストレージ（１４）と配信サーバ（１５）はしばしば同一のコンピュータに設けられる。
・配信サーバ（１５）
ライブストリーミング閲覧用システム（１６）の処理命令を受信し、セグメントファイル（１３）などの要求されたデータを返却する。
（ハ）ライブストリーミング閲覧用システム
ライブストリーミング閲覧用システム（１６）の内部構成は下記の通りである。
・ライブストリーミング再生ソフトウェア
配信サーバ（１５）からストリームキーに紐づくライブストリーミングのプレイリストを取得し、プレイリストに記載された順にセグメントファイル（１３）を読み込み、再生を行う。
本発明は、以上のような構成である。
ライブストリーミング音声加工処理について、図１と図２を参照して説明する。
受信サーバ（５）から送られたデータは、ライブストリーミング閲覧用システム（１６）で再生できるフォーマットにエンコードされる。このとき、プレイリストとセグメントファイル（７）が生成される。セグメントファイル（７）は再生時間が数秒程度の小さい単位に分割されたメディアデータである。このセグメントファイル（７）は、ライブストリーミング閲覧用システム（１６）からアクセス可能なストレージ（１４）にあり、ライブストリーミング閲覧用システム（１６）からの要求（再生指示）があると、プレイリストとセグメントファイル（１３）が返却される。
セグメントファイル（７）を用いたライブストリーミング配信の特徴として、セグメントファイル（７）はプレイリストに記載された順に読み込まれるため、エンコードされてからライブストリーミング閲覧用システム（１６）に再生されるまでに、数秒から数十秒の待機時間が発生する。この待機時間の間に、図２で示した下記の処理を行う。
生成完了済みのセグメントファイル（７）を音声データ（８）と映像データ（９）に分離し、ストリームキーの音声加工命令（２）通りに音声データ（８）を加工後、元の映像データ（９）に合成し、音声が加工されたセグメントファイル（１３）をストレージ（１４）に保存する。
わずかな待機時間の間に、これらの処理を完了するには、エンコードの処理状況を常に監視する必要がある。セグメントファイル（７）は短時間で大量に生成されるため、セグメントファイル（７）生成開始イベントを感知または短時間間隔のバッチ処理で監視を続ける。エンコーダ（６）によりセグメントファイル（７）が生成途中の場合、サイズもしくはタイムスタンプに変化がある。セグメントファイル（７）のサイズもしくはタイムスタンプに変化が無い場合、エンコーダ（６）のセグメントファイル生成処理が完了したと判断できる。この監視はライブストリーミング配信が終了するまで繰り返す。
使用方法として、音声加工ソフトウェアにＳｏＸを使った場合の例を述べる。男性の声を女性の声のようにしたい場合、ストリームキーの最後にｐｉｔｃｈ＿１０００（半角英数字記号）を付与することで、音声のピッチを１０００上昇させ、高い音程の声に加工することができる。監視カメラで音声が不要な場合、ストリームキーの最後にｒｅｍｉｘ＿０＿０（半角英数字記号）を付与することで、無音のライブストリーミングが実現できる。
ストリームキーに音声加工命令を付与する方法は、ライブストリーミング配信用システムにストリームキーを入力する項目があるので、入力フォームまたはテキストファイルで編集する。
ストリームキーの設定以外、通常のライブストリーミング方法と違いが無いため、とても導入がしやすい。
【符号の説明】
【０００９】  １ライブストリーミング配信用システム
２音声加工命令が付与されたストリームキー
３配信者
４音声加工装置が設けられたライブストリーミングサーバ
５受信サーバ
６エンコーダ
７セグメントファイル
８音声データ
９映像データ
１０音声加工ソフトウェア
１１映像加工ソフトウェア
１２音声データ（加工後）
１３音声が加工されたセグメントファイル
１４ストレージ
１５配信サーバ
１６ライブストリーミング閲覧用システム
１７閲覧者
【図１】
2020064268.tif 000003
【図２】
2020064268.tif 000004