(57)【要約】【課題】歌唱者の個性は残しつつ、歌唱音声の巧拙に関する印象を変えることを可能にする。【解決手段】上記課題を解決するために、以下の特定ステップおよび修正ステップを有する信号処理方法を提供する。特定ステップは、歌唱音声を表す歌唱音声データから当該歌唱音声における有声音区間を修正対象区間として特定するステップである。修正ステップは、特定ステップにて特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で第３フォルマント周辺の周波数成分の振幅を引き上げる修正を当該歌唱音声データに施すステップである。【選択図】図４
2018072699.tif 000002
【特許請求の範囲】
【請求項１】
歌唱音声を表す歌唱音声データから前記歌唱音声における有声音区間を修正対象区間として特定する特定ステップと、
前記特定ステップにて特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で前記第３フォルマント周辺の周波数成分の振幅を引き上げるまたは引き下げる修正を前記歌唱音声データに施す修正ステップと、
を有することを特徴とする信号処理方法。
【請求項２】
歌唱音声を表す歌唱音声データから前記歌唱音声における有声音区間を修正対象区間として特定する特定手段と、
前記特定手段により特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で前記第３フォルマント周辺の周波数成分の振幅を引き上げるまたは引き下げる修正を前記歌唱音声データに施す修正手段と、
を有することを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音声についての信号処理技術に関する。
【背景技術】
【０００２】
近年、プロ歌手ではない者が自らの歌唱する様子を動画に収録して動画投稿サイト等にアップロードすることが一般に行われている。このような動画は「歌ってみた動画」と呼ばれ、動画投稿サイトにおける人気ジャンルの１つとなっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−００３２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
歌ってみた動画の投稿者はカラオケ曲の歌唱と同じような感覚で動画投稿を行っている場合が多い。しかし、動画投稿サイトへ投稿された動画は、カラオケ曲の歌唱とは異なり、不特定多数のユーザが閲覧し得るものである。このため、歌唱技術が十分ではなく、聴くに堪えない歌唱となっている場合には動画を視聴したユーザに不快感を抱かせ、遠慮のない手厳しいコメントが殺到し「炎上」と呼ばれる状態になることがある。このような状態になると以後の動画投稿が困難になるため、歌ってみた動画の投稿者の中には上手く歌っているという印象を聴き手に与える歌唱音声に修正して投稿することを望む者がいる。しかし、従来、このようなニーズに応える技術は無かった。
【０００５】
例えば、歌唱音声の印象を変える技術の一例としては特許文献１に開示の技術が挙げられる。特許文献１には、男性の音声にピッチ変換を施し、さらに変換後の音声のフォルマントに応じた気息性雑音を付加することで自然な女性の音声に変換する技術が開示されている。しかし、特許文献１に開示の技術では、歌唱の巧拙に関する印象を変えることはできない。
【０００６】
本発明は以上に説明した課題に鑑みて為されたものであり、歌唱者の個性を残しつつ、歌唱音声の巧拙に関する印象を変えることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、以下の特定ステップおよび修正ステップを有する信号処理方法を提供する。特定ステップは、歌唱音声を表す歌唱音声データから当該歌唱音声における有声音区間を修正対象区間として特定するステップである。修正ステップは、特定ステップにて特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で第３フォルマント周辺の周波数成分の振幅を引き上げるまたは引き下げる修正を上記歌唱音声データに施す。
【０００８】
下手な歌唱であるとの印象を聴き手に与える原因の１つとして、有声音区間における第３フォルマント周辺の周波数成分の不足（すなわち、当該周波数成分の振幅が小さいこと）が挙げられる。第３フォルマント周辺の周波数成分が十分であれば、オペラ歌手が歌っているかのようなボリューム感のある歌唱音声（ハリのある歌唱音声、朗々と響く歌唱音声、豊で深みのある歌唱音声などと表現される場合もある）、すなわち上手な歌唱と感じられるが、第３フォルマント周辺の周波数成分が不足すると、ハリや深みのない貧相な歌唱、すなわち下手な歌唱と感じられるからである。
【０００９】
本発明によれば、有声音区間における第３フォルマント周辺の周波数成分の振幅を引き上げることで、修正前に比較してより上手な歌唱であるという印象を聴き手に与えることが可能になり、逆に有声音区間における第３フォルマント周辺の周波数成分の振幅を引き下げることで、修正前に比較してより下手な歌唱音声（換言すれば、素人っぽい歌唱音声）であるという印象を聴き手に与えることが可能になる。また、本発明によれば有声音区間についてのみ修正が施され、有音区間であっても無声音区間には修正は施されず、歌い手の個性が残る。また、有声音区間についても修正前のスペクトル包絡の形状を変えない範囲で第３フォルマント周辺の周波数成分の振幅を引き上げる（または引き下げる）ため、有声音区間についても当該スペクトル包絡の形状に起因する歌い手の個性が完全に消え去る訳ではない。このように、本発明によれば、歌唱者の個性を残しつつ、歌唱音声の巧拙に関する印象を変えることが可能になる。
【００１０】
また、上記課題を解決するために本発明は、以下の特定手段と修正手段とを有する信号処理装置を提供する。特定手段は、歌唱音声を表す歌唱音声データから当該歌唱音声における有声音区間を修正対象区間として特定する。修正手段は、特定手段により特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で第３フォルマント周辺の周波数成分の振幅を引き上げるまたは引き下げる修正を上記歌唱音声データに施す。このような信号処理装置によっても、歌い手の個性を残しつつ、歌唱音声の巧拙についての印象を変えることが可能になる。
【００１１】
また、本発明の別の態様としては、ＣＰＵ（Central Processing Unit）などの一般的なコンピュータに上記信号処理方法を実行させるプログラム（換言すれば、コンピュータを上記特定手段および上記修正手段として機能させるプログラム）を提供する態様が考えられる。このような態様によれば一般的なコンピュータを本発明の信号処理装置として機能させることが可能になり、このような態様によっても、歌い手の個性を残しつつ、歌唱音声の巧拙についての印象を変えることが可能になる。なお、上記プログラムの具体的な提供（配布）態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やフラッシュＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布する態様が挙げられる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による信号処理装置１０Ａの構成例を示す図である。
【図２】同信号処理装置１０Ａの制御部１００が歌唱音声修正プログラム１３４０Ａにしたがって実行する歌唱音声修正処理の流れを示すフローチャートである。
【図３】補正量データの一例を示す図である。
【図４】本実施形態の効果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ本発明の実施形態を説明する。
（Ａ：実施形態）
図１は、本発明の一実施形態による信号処理装置１０Ａの構成例を示す図である。信号処理装置１０Ａは、例えばパーソナルコンピュータであり、図１に示すように、制御部１００、外部機器インタフェース（以下、「Ｉ／Ｆ」と略記）部１１０、通信Ｉ／Ｆ部１２０、記憶部１３０、およびこれら各構成要素間のデータ授受を仲介するバス１４０を有する。
【００１４】
信号処理装置１０Ａは、動画投稿サイトへの歌ってみた動画の投稿の際にその投稿者によって使用される。歌ってみた動画とは、その動画の投稿者等が自らの歌唱する様子を収録して得られた動画である。また、動画投稿サイトへの動画の投稿とは、動画投稿サイトのサーバ装置へ動画データをアップロードすることを言う。歌ってみた動画の動画データには、歌唱対象となった歌唱曲全体の歌唱音声（例えば、１曲分の歌唱音声）を表す歌唱音声データが含まれている。なお、このような歌唱音声データの具体例としては、歌唱音声の音波形を所定のサンプリング周期でサンプリングして得られるサンプル列が挙げられる。
【００１５】
信号処理装置１０Ａは、歌唱音声データを処理対象として本実施形態の特徴を顕著に示す信号処理である歌唱音声修正処理を実行する装置である。歌唱音声修正処理とは、歌唱音声データの表す歌唱音声の歌い手の個性を残しつつ、上手な歌唱であるとの印象が聴き手に与えられるように当該歌唱音声データを修正する処理である。歌ってみた動画の投稿者は、動画データのアップロードに先立ってその動画データに含まれている歌唱音声データに対して上記歌唱音声修正処理を施すことで、上手な歌唱であるという印象を聴き手に与える歌唱音声に修正して投稿することができる。以下、信号処理装置１０Ａを構成する各部の役割について説明する。
【００１６】
制御部１００は、例えばＣＰＵである。制御部１００は、記憶部１３０（正確には、不揮発性記憶部１３４）に予め記憶されているプログラムにしたがって作動することにより信号処理装置１０Ａの制御中枢として機能する。不揮発性記憶部１３４に予め記憶されている各種プログラムにしたがって制御部１００が実行する処理の詳細については後に明らかにする。
【００１７】
外部機器Ｉ／Ｆ部１１０は、ＵＳＢ（Universal Serial
Bus）インタフェースやシリアルインタフェース、パラレルインタフェースなどの他の電子機器を接続するためのインタフェースの集合体である。外部機器Ｉ／Ｆ部１１０は、自身に接続された他の電子機器から受け取ったデータを制御部１００へ引き渡す一方、制御部１００から与えられたデータを当該他の電子機器へ出力する。本実施形態では、歌ってみた動画における歌唱音声を表す歌唱音声データを格納した記録媒体が外部機器Ｉ／Ｆ部１１０に接続され、制御部１００は当該記録媒体に格納されている歌唱音声データを処理対象として読み出し、歌唱音声修正処理を実行する。
【００１８】
通信Ｉ／Ｆ部１２０は例えばＮＩＣ（Network Interface Card）である。通信Ｉ／Ｆ部１２０は、例えばＬＡＮ（Local Area Network）ケーブルなどの通信線およびルータ等の中継装置を介して、インターネットなどの電気通信回線に接続されている。通信Ｉ／Ｆ部１２０は、自身の接続先の電気通信回線から送信されてくるデータを受信して制御部１００へ引き渡す一方、制御部１００から引き渡されたデータを当該電気通信回線へと送出する。例えば、制御部１００は、ユーザの指示に応じて、歌唱音声修正処理を経た歌唱音声データを含む動画データを通信Ｉ／Ｆ部１２０を介して動画投稿サイトのサーバ装置へ送信する。これにより歌ってみた動画の投稿が実現される。
【００１９】
記憶部１３０は、図１に示すように、揮発性記憶部１３２と不揮発性記憶部１３４とを有する。揮発性記憶部１３２は、例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、プログラムを実行する際のワークエリアとして制御部１００により利用される。不揮発性記憶部１３４は、例えばフラッシュＲＯＭ（Read Only Memory）やハードディスクである。不揮発性記憶部１３４には、歌唱音声修正処理を制御部１００に実行させるための歌唱音声修正プログラム１３４０Ａが予め格納されている。また、図１では詳細な図示を省略したが、不揮発性記憶部１３４には、カーネルプログラムと通信制御プログラムが予め格納されている。カーネルプログラムは、ＯＳ（Operating System）を制御部１００に実現させるためのプログラムである。通信制御プログラムは、例えばＦＴＰ（File Transfer
Protocol）などの所定の通信プロトコルにしたがって、動画データを動画投稿サイトのサーバ装置へアップロードする処理を制御部１００に実行させるプログラムである。
【００２０】
信号処理装置１０Ａの電源（図１では図示略）が投入されると、制御部１００は、まず、カーネルプログラムを不揮発性記憶部１３４から揮発性記憶部１３２へ読み出し、当該カーネルプログラムの実行を開始する。カーネルプログラムにしたがって作動し、ＯＳを実現している状態の制御部１００は、外部機器Ｉ／Ｆ部１１０に接続された操作入力装置（例えば、マウスやキーボード、図１では図示略）に対する操作により実行を指示されたプログラムを、不揮発性記憶部１３４から揮発性記憶部１３２へ読み出し、当該プログラムの実行を開始する。
【００２１】
操作入力装置に対する操作により、歌唱音声修正プログラム１３４０Ａの実行を指示された場合には、制御部１００は歌唱音声修正プログラム１３４０Ａを不揮発性記憶部１３４から揮発性記憶部１３２へ読み出して当該プログラムの実行を開始する。歌唱音声修正プログラム１３４０Ａにしたがって作動している制御部１００は、歌唱音声修正処理を実行する。図２は、歌唱音声修正処理の流れを示すフローチャートである。図２に示すように、歌唱音声修正処理は、特定ステップＳＡ１００と、修正ステップＳＡ１１０の２つのステップを含む。
【００２２】
特定ステップＳＡ１００は、歌唱音声修正処理の処理対象の歌唱音声データの表す歌唱音声から、上手な歌唱であるとの印象を聴き手に与えるための修正を施す区間である修正対象区間を特定するステップである。本実施形態では、制御部１００は、上記歌唱音声における有声音区間を修正対象区間として特定する。有声音区間とは有声音の発音されている区間のことであり、本実施形態における有声音とは母音のことである。本実施形態では、母音のみを有声音として扱うが、母音の他に特定の子音（破裂音のうち[b][d][g]、摩擦音のうち[v][z]、鼻音 [m][n]、および流音[l][r]）を含めても良い。
【００２３】
歌唱音声における有声音区間を特定するために、制御部１００は、処理対象の歌唱音声データを所定時間長のフレームに区切って時間周波数変換を施し、周波数領域のデータに変換し、フレーム毎にピッチ（基本周波数）抽出を試みる。有声音であればピッチが存在する一方、無声音或いは無音であればピッチは存在しないからである。次いで、制御部１００は、上記の要領で特定した有声音区間を修正対象区間とし、処理対象の歌唱音声データの先頭を時刻の起算点とした場合における修正対象区間の開始時刻および終了時刻を示すデータを修正対象区間毎に揮発性記憶部１３２へ書き込む。
【００２４】
修正ステップＳＡ１１０は、特定ステップＳＡ１００にて特定された修正対象区間の各々について、第３フォルマント周辺の周波数成分の振幅を、当該修正対象区間におけるスペクトル包絡線の形状を包絡の形状を変えない範囲で引き上げるステップである。フォルマントとは、言葉を発している人の音声のスペクトルに現れる時間的に移動している複数のピークのことをいい、第３フォルマントとは、３番目に周波数の低いピークのことを言う。一般に、第３フォルマントおよびその周辺（両者をまとめて「第３フォルマント周辺」と呼ぶ）の周波数成分の振幅が十分であれば、オペラ歌手が歌っているかのようなボリューム感のある歌唱音声（ハリのある歌唱音声、朗々と響く歌唱音声、豊で深みのある歌唱音声などと表現される場合もある）、すなわち上手な歌唱と感じられるが、第３フォルマント周辺の周波数成分が不足すると、ハリや深みのない貧相な歌唱、すなわち下手な歌唱と感じられる。このため、本実施形態では修正対象区間における第３フォルマント周辺の周波数成分の振幅を引き上げるのである。また、第３フォルマント周辺の各周波数成分の振幅の修正量をスペクトル包絡の形状を変えない範囲に限定するのは、スペクトル包絡の形状に起因した歌い手の個性が損なわれないようにするためである。
【００２５】
本実施形態の歌唱音声修正プログラムには、第３フォルマント周辺のスペクトル包絡線の形状を変えない範囲で各周波数成分の振幅を引き上げる際の補正量（元々の振幅に対する比率）を規定する補正量データ（図３参照）が予め埋め込まれている。なお、図３における周波数範囲Ｑおよび各周波数成分の補正量Ｇについては適宜実験等を行って好適な値を設定すれば良い。制御部１００は、修正対象区間毎にその修正対象区間の波形データを周波数領域のデータに変換し、当該周波数区間における第３フォルマントを上記周波数範囲Ｑの中心周波数Ｆに対応させ、第３フォルマント周辺の周波数成分に補正量データに応じたＥＱ処理（音声の調和成分と非調和成分の両方の振幅を修正する処理）を施して各周波数成分の振幅を引き上げる。
【００２６】
図４は、本実施形態の効果を説明するための図である。図４では、ある修正対象区間についての修正前のスペクトル包絡線が点線で描画されており、同修正後のスペクトル包絡線が実線で描画されている。また、図４では、修正対象の歌唱音声の楽譜を構成する音符が矩形で描画されており、図４における周波数ｆ３ｓからｆ３ｅの周波数区間が第３フォルマント周辺の周波数区間であり、当該周波数区間の中心周波数が第３フォルマントである。本実施形態の信号処理装置１０Ａによれば、当該周波数区間に属する周波数成分の振幅が補正量データに応じて補正され、図４にて実線で示すスペクトル包絡線に修正される。その結果、オペラ歌手が歌っているかのようなボリューム感のある上手な歌唱音声に修正される。なお、図４では修正対象区間以外については第３フォルマント周辺の周波数成分の振幅の修正が行われないため、実線のスペクトル包絡線と点線のスペクトル包絡線が重なっている。
【００２７】
本実施形態の信号処理装置１０Ａによれば動画投稿サイトへ投稿する「歌ってみた動画」の歌唱音声データを、より上手な印象を聴き手に与えるものに修正して動画投稿を行うことが可能になる。加えて、本実施形態では、有声音区間にのみ修正が施され、修正が施されない区間には歌い手の個性が残っている。また、修正が施された区間についても、歌い手の個性が完全に消え去る訳ではない。第３フォルマント周辺のスペクトル包絡線の形状は修正の前後で維持されているからである。このように、本実施形態によれば、歌い手の個性を残しつつ、歌唱音声の巧拙についての印象を変えることが可能になる。なお、本実施形態では音声の調和成分と非調和成分の両方を振幅を修正したが、調和成分と非調和成分とを分離し、前者の振幅のみを修正することで、より高い効果（より上手な印象を聴き手に与えること）を実現しても良い。
【００２８】
（Ｂ：その他の実施形態）
以上、本発明の実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記実施形態では、歌唱の後に歌唱音声修正処理を実行する態様、すなわち、歌唱に対して歌唱音声修正処理を非リアルタイム処理として実行する場合について説明したが、歌唱と歌唱音声修正処理を並列に、すなわち歌唱に対して歌唱音声修正処理をリアルタイム処理として実行するようにしても良い。具体的には、信号処理装置１０Ａの外部機器Ｉ／Ｆ部１１０にマイクロホンを接続し、当該マイクロホンを介して処理対象の歌唱音声データを信号処理装置１０Ａに入力するようにすれば良い。また、この場合、当該歌唱音声データの表す歌唱音声（すなわち、未修正の歌唱音声）または修正後の歌唱音声を、歌唱者へフィードバックするためのヘッドホンスピーカを外部機器Ｉ／Ｆ部１１０に接続しても良い。
【００２９】
（２）上記実施形態では、特定ステップにて特定された修正対象区間については修正ステップによる修正を常に施す場合について説明した。しかし、特定ステップにて特定された修正対象区間のうちから第３フォルマント周辺の周波数成分の振幅を修正する修正対象区間（或いは修正しない修正対象区間）を操作入力手段に対する操作等によってユーザに選択させても良く、また、修正対象区間毎に修正の程度をユーザに指定させても良い。
【００３０】
（３）上記実施形態では、歌い手の個性を残しつつ、上手な歌唱であるとの印象を聴き手に与えるように歌唱音声データを修正する場合について説明したが、下手な歌唱であるとの印象を与えるように歌唱音声データを修正しても良い。例えば、修正対象区間における第３フォルマント周辺の周波数成分の振幅を、スペクトル包絡線の形状を変えない範囲で引き下げても良い。敢えて下手な歌唱音声に修正することで素人っぽさを強調するなど、演出の幅が広がるからである。
【００３１】
（４）上記実施形態では、歌ってみた動画の投稿者の使用するパーソナルコンピュータを本発明の信号処理装置として機能させたが、動画投稿サイトにおけるサーバ装置に歌唱音声修正プログラムをインストールしておき、当該サーバ装置を本発明の信号処理装置として機能させても良い。また、上記実施形態では、本発明の特徴を顕著に示す歌唱音声修正処理を制御部１００に実行させる歌唱音声修正プログラムが不揮発性記憶部１３４に予めインストールされていたが、歌唱音声修正プログラムを単体で提供しても良い。また、特定ステップにおける処理を実行する特定手段と修正ステップにおける処理を実行する修正手段の各々を電子回路等のハードウェアで実現し、これらハードウェアを組み合わせて本発明の信号処理装置を構成しても良い。
【００３２】
（５）上記各実施形態では、動画投稿サイトへ投稿する「歌ってみた動画」の動画データに含まれる歌唱音声データの修正への本発明の適用例を説明した。しかし、本発明による修正対象は動画データに含まれる歌唱音声データに限定されるものではない。例えば、歌唱音声のみの投稿サイトへ投稿する歌手音声データの修正に本発明を適用しても良い。要は、本発明の信号処理装置は、歌唱音声を表す歌唱音声データから当該歌唱音声における有声音区間を修正対象区間として特定する特定手段と、特定手段により特定された修正対象区間について、第３フォルマント周辺のスペクトル包絡の形状を変えない範囲で当該第３フォルマント周辺の周波数成分の振幅を引き上げるまたは引き下げる修正を上記歌唱音声データに施す修正手段と、を有するものであれば良い。
【符号の説明】
【００３３】
１０Ａ…信号処理装置、１００…制御部、１１０…外部機器Ｉ／Ｆ部、１２０…通信Ｉ／Ｆ部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１３４０Ａ…歌唱音声修正プログラム、１４０…バス。
【図１】
2018072699.tif 000003
【図２】
2018072699.tif 000004
【図３】
2018072699.tif 000005
【図４】
2018072699.tif 000006