(57)【要約】【課題】本発明は、誰でも手持ちの情報端末装置を利用して、カラオケの楽しみを簡易操作でバラエティーに富んだものとするとともに、従来にはなかったカラオケ装置の新たな楽しみ方を提供し、家族や友人等とのコミュニケーションを深めることができる技術の提供を課題とするものである。【解決手段】簡易な操作で声質を自在に変換可能なシステムであって、小型軽量で持ち運ぶことができる情報端末装置と、カラオケ装置とから構成され、前記情報端末装置は、表示機能に表されるアイコンの選択操作により、所望する声質変換を行う声質変換機能を備え、前記カラオケ装置は、前記情報端末装置が備えるモバイルデータ通信機能に対応した無線LANに接続して声質変換された音情報を入力し、音響機構を介してスピーカーから出力する手段を採用した。【選択図】図１
2020003762.tif 000002
【特許請求の範囲】
【請求項１】
簡易な操作で声質を自在に変換可能なシステムであって、
小型軽量で持ち運ぶことができる情報端末装置（１０）と、
カラオケ装置（２０）とから構成され、
前記情報端末装置（１０）は、表示機能（１１）に表されるアイコン（１２）の選択操作により、所望する声質変換（３０）を行う声質変換機能（１３）を備え、
前記カラオケ装置（２０）は、前記情報端末装置（１０）が備えるモバイルデータ通信機能（１４）に対応した無線LAN（４０）に接続して声質変換された音情報（３１）を入力し、音響機構（２１）を介してスピーカー（２２）から出力することを特徴とする簡易操作声質変換システム
（１）。
【請求項２】
前記声質変換機能（１３）により変換する前記声質変換（３０）が、入力された歌唱者とは異なる他人の声帯音源（３２）に変更するものであることを特徴とする請求項１に記載の簡易操作声質変換システム（１）。
【請求項３】
前記声質変換機能（１３）により変換する声質変換（３０）が、入力された歌唱者の声帯音源（３２）に基づいて動物の鳴き声（３３）、ロボット口調（３４）、楽器音（３５）、自然音（３６）、または機械音（３７）に変更するものであることを特徴とする請求項１に記載の簡易操作声質変換システム（１）。
【請求項４】
前記声質変換機能（１３）が、前記情報端末装置（１０）に備えた角速度センサー（１５）を利用し、情報端末装置（１０）の回転、又は向きの変化を検知し、係る動きに応じて、打楽器（３８）、リズム楽器（３９）、または前記機械音（３７）に変換するものであることを特徴とする請求項１に記載の簡易操作声質変換システム（１）。
【請求項５】
前記声質変換機能（１３）によって変換された音を合いの手（２３）として付加することを特徴とする請求項１から請求項４の何れかに記載の簡易操作声質変換システム（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケによる音楽を楽しむ技術に関し、詳しくは、携帯電話機のような身近に所有する情報端末装置を利用して、簡易な操作で、歌唱者の声を他人の声に変換させたり、動物の声や機械音の合いの手を音響装置から出力することができるシステムの技術に関する。
【背景技術】
【０００２】
人の声は個人ごとに異なり、自分の声でしか話すことができず、聞き心地の良い声優や俳優の声、または厳格な印象を与える年配者や、可愛らしい子供の声、或いは、場面に応じて自分以外の声で歌いたいと、憧れを抱く人も多い。
【０００３】
また、日本人は、世代を問わず、カラオケ装置を利用して歌唱することを、日常の楽しみとしている人が多く存在する。カラオケ設置店等では、伴奏に合わせて歌声を披露し合い、同じ空間を楽しむといったことが、ごく当たり前になっている。しかしながら、同じ高さの声を同じ音量で歌った場合においても、人によって声の質は異なるため、ある人の声はのっぺりとした「広がりのない声」となるのに対し、ある人の声は「響きが空間に広がる声」となる。歌うことに興味がある人であれば誰でも、そんな「歌声の個人差」を感じるものである。そこで、従来から、カラオケ装置にはエコー機能（原音から遅れてくる「ディレイ音」を足す）が設けられ、広く普及している。しかし、これだけでは十分に満足できるものではなく、また、一部にはボイスチェンジャー機能を備えたカラオケ装置も登場しているが、係る機能を備えた装置で利用するしかなく、広く解放されているとはいえない。
【０００４】
さらに、カラオケでの別の楽しみ方として、他人になりきって歌う「ものまね」がある。声色を変えて「ものまね」ができたりする人は人気者になりやすく、皆を楽しませてくれる。しかし、「ものまね」の技術もなかなか難しく、万人がその技法で楽しめるとはいえない。従って、前記のような「歌声」や、「ものまね」の才能を持っていない人でも、身近な機器を利用し、簡易な操作で皆を楽しませることができる技術が求められているといえる。
【０００５】
係る問題を解決しようと、従来から種々の技術提案がされている。例えば、特許文献１には、発明の名称を「リアルタイム発話自然言語翻訳のための方法およびそのための装置」とする技術が開示され、公知技術となっている（特許文献１参照）。具体的には「発話言語のリアルタイム自動翻訳を実行するための方法および装置の提供」を課題とし、その解決手段は「発話言語入力が、一方の側で少なくとも１つのソース言語を含む形で受け取られ、自然言語処理テクノロジおよび言語翻訳処理テクノロジを使用して、他方の側で少なくとも１つのターゲット言語を含む形で送出される。発話言語入力は、１人のユーザから他のユーザに伝達する、音声、単語、文、アクセント、句、発音を含む。伝達発話言語入力は、ターゲット出力言語翻訳のために、一方の側で、自然言語分解テクノロジによって実行される分解プロセスを通過し、デジタル化グローバルソース分解言語フォーマットに符号化される。符号化分解デジタル化グローバルソース言語フォーマットは、他方の側によって受け取られ、統合デジタル化グローバルターゲット言語フォーマットに復号され、それは、他方の側で、自然言語統合テクノロジによって実行されるさらなる統合復号プロセスを通過し、少なくとも１つのターゲット言語を含む発話言語出力に翻訳される。」というものである。この技術は、言語の翻訳をリアルタイムに行えるという優れたものであり、これを翻訳ではなく日本語の標準語に対応する訛りや、赤ちゃん言葉、現代の女子高生などの間で使われている短縮言葉等にも変換する応用できるといえる。しかしながら、それをカラオケに合わせて行うとならば、変換時に生じるタイムラグや、カラオケのテンポに合わせて変換後の文字数の調節等の解決した専用の設備をカラオケ装置が有していなければならず、その様な装置を内蔵していない既存のカラオケ設備では対応できない。
【０００６】
また、特許文献２には、発明の名称を「カラオケ用ボイスチェンジャー装置」とする技術が開示され、公知技術となっている（特許文献２参照）。具体的には「歌い手のフットスイッチ操作によるボイスチェンジャーである。」ことを課題とするもので、その解決手段は「マイクとカラオケ装置の結線の中間にフットスイッチ本体を設け、フットスイッチ本体内部に、ボイスチェンジャー回路を設ける」というものである。しかし、係る発明では、フットスイッチという特殊な装置を利用しなくてはならず、本発明が課題とする手軽に誰でも持っている装置を使ってという課題を解決するに至っていない。
【０００７】
また、特許文献３には、発明の名称を「携帯型音声再生及び拡声装置」とする技術が開示され、公知技術となっている（特許文献３参照）。具体的には「携帯型カラオケ装置において、カラオケ使用に好適な簡便操作が可能なキー調整機能を実現する。」ことを課題とするもので「音声再生部及びスピーカーを収容したケース本体と、該ケース本体に対し一体的に連結された音声入力部とを有し、該音声再生部の音声記録媒体から音声再生信号を取出す音声再生手段、該音声入力部で入力される外音を入力音声信号に基づく信号を混同して増幅する信号混合増幅手段を備えた携帯型音声再生装置」というものである。しかし、係る発明では、操作が簡単になったものの、専用の装置が必要であり、誰もが、手持ちの携帯電話機等と既存のカラオケ装置を用いて、従来なかった楽しみを味わえるとはいえず、本発明の課題を解決するに至っていない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２０１０―５２８３８９号公報
【特許文献２】特開平１０−２２２１８５号公報
【特許文献３】実開平４―１２６３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、誰でも、自己の所有する携帯電話機等の情報端末装置をマイク代わりに用い、既存のカラオケ装置でも、バラエティーに富んだアレンジを施したり、声質を変化させて他人になりきって歌唱等を楽しむことができ、また、機械の苦手な方でも、自分が使い慣れた情報端末装置の表示画面のアイコン操作により、これらを簡単に実行することが可能な、簡易操作声質変換システムの提供を課題とするものである。
【課題を解決するための手段】
【００１０】
本発明は、簡易な操作で声質を自在に変換可能なシステムであって、小型軽量で持ち運ぶことができる情報端末装置とカラオケ装置とから構成され、前記情報端末装置は、表示機能に表されるアイコンの選択操作により、所望する声質変換を行う声質変換機能を備え、前記カラオケ装置は、前記情報端末装置が備えるモバイルデータ通信機能に対応した無線LANに接続して声質変換された音情報を入力し、音響機構を介してスピーカーから出力するという手段を採用した。
【００１１】
また、本発明は、前記声質変換機能により変換する前記声質変換が、入力された歌唱者とは異なる他人の声帯音源に変更させる手段を採用することもできる。
【００１２】
また、本発明は、前記声質変換機能により変換する声質変換が、入力された歌唱者の声帯音源に基づいて動物の鳴き声、ロボット口調、楽器音、自然音、または機械音に変更させる手段を採用することもできる。
【００１３】
また、本発明は、前記声質変換機能が、前記情報端末装置に備えた角速度センサーを利用し、情報端末装置の回転、又は向きの変化を検知し、係る動きに応じて、打楽器、リズム楽器、または前記機械音に変換させる手段を採用することもできる。
【００１４】
また、本発明は、前記声質変換機能によって変換された音を合いの手として付加する手段を採用することもできる。
【発明の効果】
【００１５】
本発明に係る簡易操作声質変換システムによれば、使い慣れた身近な携帯電話機等を用いて、その表示画面に表れるアイコンの操作により、上記のような歌唱に基づく声質の変更等を簡単に操作可能であり、電子機器の操作が苦手な人でも手軽に楽しめるといった優れた効果を発揮する。
【００１６】
また、本発明に係る簡易操作声質変換システムによれば、自分の声質を他人の声質に変化させたり、一人カラオケでも、合いの手を入れたり、楽器の音や動物の声での歌唱としたり、誰でもカラオケを楽しむことが可能となる優れた効果を発揮する。
【００１７】
また、本発明に係る簡易操作声質変換システムによれば、情報端末装置が備える角速度センサー（ジャイロセンサー）により、情報端末装置の向きを変えたり、情報端末装置を振る動作を捉えて、あたかも体鳴楽器を演奏しているかのような効果を得ることができるという優れた効果を発揮する。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る簡易操作声質変換システムの基本的な構成を示す基本構成説明図である。
【図２】本発明に係る簡易操作声質変換システムの情報端末に表れる基本的な表示画面を示す基本表示画面説明図である。
【図３】本発明に係る簡易操作声質変換システムの情報端末に表れる詳細な選択操作画面を示す詳細選択操作画面説明図である。
【図４】本発明に係る声質変換の基本構成を説明する基本構成説明図である。
【図５】本発明に係る声質変換が他人の声、又は動物の鳴き声に変更する構成を説明する構成説明図である。
【図６】本発明に係る声質変換機能に角速度センサーを利用した構成の構成説明図である。
【図７】本発明に係る声質変換機能によって変換された音を合いの手として付加する構成説明図である。
【発明を実施するための形態】
【００１９】
図１は、本発明に係る簡易操作声質変換システム１の基本的な構成を示す基本構成説明図である。図１に示すように、本システムを物品的に大別すると、情報端末装置１０とカラオケ装置２０から構成されている。
【００２０】
情報端末装置１０は、代表的なものとして、携帯電話機のように通信機能を有し、情報に触れることができる機器を意味する。なお、家庭で用いられる情報家電であるタブレットや、小型パーソナルコンピューター、或いはゲーム機、PDA（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等を広く含むものである。
【００２１】
表示機能１１は、操作のためのアイコン１２を表示する機能であり、可能であればタッチパネル式としてアイコン１２に触れることにより、要求を指示できる液晶画面等の表示装置であることが望ましい。
【００２２】
アイコン１２は、音声の変換を希望する対象となる象徴的な絵柄を表示したもので、例えば、図２（ｂ）に示すように、男性と女性であるとか、子供と老人であるかなどの絵柄を用意し、男性が女性のアイコン１２を選択した場合、入力された男性の声帯音源３２を女性の声帯音源３２に変換する指令を声質変換機能１３へ出力する。なお、係るアイコン１２については、図２（ｂ）及び図３（ｂ）に示したものはあくまでも例示であって、これらに特に限定されるものではなく、他のキャラクター表示や文字表示などでもよい。
【００２３】
声質変換機能１３は、アイコン１２が操作されることで選択された声質へ変換する指令を受け、音声合成手法、コーパスベース音声合成、声質変換・モーフィング、韻律の生成、韻律コーパス等の手法から、変換された音源を得る。具体的には、現在ボイスチェンジャーとして機能しているソフトの利用することも好適である。単純なものとしては、ピッチ（声の高さや）や、フォルマント周波数を上下に変更するフィルター等を用いる。オクターバー、ピッチシフター、周波数シフター、或いはリングモジュレーターといった音程を部分的または全体的に変化させるものや、イコライザー等のように、原音に含まれる任意の周波数帯域の増幅や減衰をおこなう声質変換用の専用エフェクターの利用なども考え得る。
【００２４】
モバイルデータ通信機能１４は、情報端末装置１０から通信のためのデジタルデータを送受信可能な通信網と接続するための機能であり、無線LAN４０のアダプターの一種であるＷｉ-Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）や、デジタル機器用の近距離無線通信規格であるブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））などの利用が考えられる。近年のカラオケ装置２０ではマイクMや操作部が無線通信によるものが多く、これらの通信網を利用することも有効な手段である。なお、これらの通信網による通信可能な範囲内に情報端末装置１０が入ると、表示部へアイコン１２を表示して、アプリケーションの起動を促すことが望ましい。
【００２５】
テキストボックス１６は、特定する別人の氏名等入力することにより、声の特徴データを選択するための入力部であり、アイコン１２操作ではなくテキストの入力により行う。なお、特定の別人の特徴データは、予め情報端末装置１０の記憶装置に収納しておくか、インターネット上のサーバー等にアクセスして情報を入手できるようにすることも好適である。
【００２６】
カラオケ装置２０は、本体部、操作部、ディスプレイ部D、通信部、音響部、スピーカー２２等から構成される一般的なカラオケ装置２０であればよい。特に、ワイヤレスマイクＭからの声帯音源３２を入力してアンプで増幅させたり、スピーカー２２を介して出力させることができれば足りるが、インターネット等の回線網との通信機能を有していることが望ましい。近年では操作部となる液晶タッチパネルが取り外せるタイプのものがあり、本体部と通信していることから、これらの通信機能をモバイルデータ通信機能１４で利用することが望ましい。なお、情報端末装置１０の表示部に表される内容をディスプレイDにも表示する構成とすることがより望ましい。
【００２７】
音響機構２１は、情報端末装置１０の備えるマイクＭから入力される人の声帯音源３２や、角速度式センサー１５によって作られた楽器等の音源などが、電気信号に変換され、モバイルデータ通信機能１４を介して入力された電気信号をスピーカー２２で再生するための音源として増幅し、混合（ミックス）や、効果（エフェクト）を加えるなどして出力する装置である。
【００２８】
スピーカー２２は、音源が変換された電気信号により、空気を振動させて拡声し、元の響きを再現するものである。本発明においては、特に限定するものではなく、一般的なカラオケ装置２０に備えらえているスピーカー２２を用いればよい。
【００２９】
声質変換３０は、アイコン１２の操作により、音声合成手法、コーパスベース音声合成、声質変換・モーフィング、韻律の生成、韻律コーパス等の手法から、選択した声質変換３０によって変換された音源を得る。以下、係る声質変換手段の種類について説明する。
【００３０】
（合成手法）
人の発声では、声門から送り出される音源波形が、複雑に変化する声道で共振することによって様々な音を生成している。この過程は入力信号と共振回路による電気回路としてモデル化でき、声門における音源と声道での共振を分けて考える音声生成過程のモデルは、線形分離等価回路モデル（あるいはソース・フィルタモデル）と呼ばれ、現在の音声情報処理の基礎を与えている。音声をコンピュータによって合成する一つの方式は、生成過程モデルに基づいた手法である。すなわち、声道における共振特性を表現するディジタルフィルタを構成し、インパルス系列や白色雑音で近似した音源波形を入力することによって音声生成過程を模擬する手法であり、パラメータ合成方式（あるいはボコーダ方式）と呼ばれる。これとは異なるもう一つの音声合成方式は波形接続合成方式と呼ばれ、収録した音声の時間波形を多数蓄積しておき、適切な波形（あるいはその一部）を選択し、時間領域で接続して再生する方式である。
【００３１】
（分析合成と規則合成）
一般の音声分析は、音声の時間波形を特徴パラメータの時系列に変換する処理をいい、通常、線形分離等価回路モデルに基づいた分析を、フレーム（微小な時間的区間）ごとに行い、声道の特性を表現する特徴パラメータの時系列を得て、特徴パラメータに基づいて構成されるディジタルフィルタを音源波形によって駆動することにより、特徴パラメータ時系列を音声波形に変換することができる。このように一度発声された音声に対して、音声分析によって得られたパラメータ時系列からもとの音声波形を復元する処理を分析合成という。
【００３２】
歌唱者が発声していない文（単語など）の音声を合成するには、合成単位と呼ばれる音素などの短い単位ごとに、音声の特徴を表現した素片をあらかじめ作成しておき、合成すべき文を合成単位に分割し、合成単位系列に対する素片列を決定し音声を合成する。このように比較的短い合成単位を用いて任意の文や単語を合成する方式を一般に規則合成という。合成単位としては、音素のほか、音節や母音と子音の連鎖や2音素連鎖などが試みられている。
【００３３】
（パラメータ合成方式（ボコーダ方式））
パラメータ合成方式の音声合成では、音素の特徴を蓄積しておくために、音声波形を特徴パラメータに変換することが必要であり、様々な特徴パラメータを利用した音声合成が行われている。
【００３４】
（声道アナログ合成方式とフォルマント合声方式）
声道の形状を近似表現し声道内の音波の伝搬を模擬する方式の声道アナログ合成（articulatorysynthesis）や、声道における調音の特性を複数の共振回路を接続した電気回路で模擬する方式のフォルマント合成（formantsynthesis）によるフィルタを、それぞれ直接あるいは並列に接続して両者を組み合わせて合成フィルタを構成することも望ましい。その他のパラメータを用いた音声合成として、近年では、ケプストラムを特徴パラメータとする隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：以下ＨＭＭ）音声合成が、パラメータ合成の代表的な手法となっている。
【００３５】
（波形接続合成方式）
パラメータ合成方式が音声の生成過程を模擬して実現されているのに対し、波形接続合成（concatenativesynthesis）は、観測された多数の音声波形を合成単位に分割し、それぞれの時間波形を素片としてデータベースに蓄積しておき、合成すべき文に対して最適な素片系列をデータベースから取り出して時間領域で接続して再生することによって音声合成を実現する。
【００３６】
（素片の選択）
合成すべき対象の文がいくつかの合成単位から構成されているとき、最適な素片系列で定義されるコストを最小化する素片系列として決定される。ここで、音韻やアクセント型などの言語的な素性やフォルマント周波数などの物理量によって定義される。また、隣接する二つの素片と素片との接続部での物理的な（音響的な）ひずみの量を評価する。
【００３７】
（PSOLA）
波形接続合成では、データベース中に適切な素片がない場合に音質の劣化を引き起こし、特に、音声の韻律変化は多様であるため、基本周波数や時間長がターゲットの合成単位に十分に適合しないことが考えられ、この問題を解決するために、時間領域での処理によって、素片の基本周波数や時間長を変更する手法PSOLA（Pitch  Synchronous  Overlap  and  Add））がある。また、切り出した1ピッチ波形を必要に応じて繰り返し加算したり、間引いたりすることによって時間長を制御することも容易に行える。
【００３８】
（パラメータ合成と波形接続合成の比較）
パラメータ合成では、調音特性を表現したフィルタを音源波形で駆動する処理を必要とするため、やや機械的な音質となるが、素片境界での接続がスムーズであり、基本周波数や時間長の制御を容易に行うことができる。近年では声質や感情の制御も可能となってきている。
【００３９】
（コーパスベース音声合成）
犬、猫などの音声合成にはコーパスベース音声合成を用いることが好適である。コーパスベース音声合成とは、音声コーパス（データベース）を用意し、その中から音声素片を抽出し、つなぎ合わせることによって音声を合成する方式で、「単位選択型音声合成」あるいは「波形（素片）接続型音声合成」とも呼ばれる。本発明における声質変換において、例えば、犬や猫の鳴き声、ドラムやマラカス或いはバイクの排気音などのように、音素の並び方、アクセント・イントネーションなどの多様性が小さい場合は、自然性の高い実用レベルの音質が得られることとなる。但し、音声情報をデータベースとして格納しておくための記憶容量を確保する必要がある。
【００４０】
（声質変換・モーフィング）
声質変換３０は、ある歌唱者の声質を、異なる他人の声質に変換するもので、音声に含まれる言語（音韻）情報を変えずに声質や個人性などの非言語情報を制御する装置である。既存のテキスト音声合成技術は、合成音声の音韻性や明瞭性といった言語情報の伝達という観点からは既に十分な性能が得られているが、任意の個人性、歌唱様式、感情などの非言語・パラ言語情報の付加・制御といった観点からはまだ不十分な点が多い。これに対し声質変換は、容易に非言語情報を制御可能にする技術として考えられ、異なる歌唱者間で任意の中間的な仮想歌唱者の音声を生成する音声モーフィング（voice  morphing）を始め、対話システム、医療福祉機器、玩具、ゲーム、娯楽など様々な応用が期待されている。音声に含まれる個人性は、音声のスペクトル概形及び韻律に現れる特徴に依存する。スペクトル特徴は歌唱者個人の調音器官の特性、すなわち声帯や声道形状などの身体的特徴に依存して決まり、主に歌唱者の声質（voice  quality）の違いとして現れる、一方、韻律特徴はイントネーションやアクセント、声の高さ、話速、音韻継続長などの違いとなって現れる。このため声質変換を実現するためには、下記のようなスペクトル特徴、及び韻律特徴の両方の変換が必要となる。
【００４１】
（スペクトル変換）
ある歌唱者（元歌唱者）から異なる歌唱者（目標歌唱者）への声質変換を考え、時刻毎における元歌唱者の音声のスペクトル特徴量（例えばメルケプストラム係数ベクトルや線スペクトル周波数ベクトルなど）とそれに対応する目標歌唱者の特徴量とし、スペクトル特徴の変換に着目した声質変換は、元歌唱者のスペクトル特徴量をもとに目標歌唱者に似せた特徴量を出力する変換関数を求めることにより定式化できる。ベクトル量子化（VQ）に基づく手法では、元歌唱者と目標歌唱者が同一内容（音韻系列）を発声した学習用の音声データ（パラレルデータ）を用いてそれぞれの歌唱者の特徴量ベクトル量子化コードブックを作成し、元歌唱者と目標歌唱者の間でベクトル量子化後の特徴量（コードベクトル）の対応関係の度数分布を求め、声質変換を行う際には、元歌唱者の入力音声の特徴量をベクトル量子化したコードベクトルのインデックスを求め、変換後の特徴量とする。
【００４２】
（韻律変換）
韻律特徴は声質とともに歌唱者の個人性を左右する重要な要因である。しかし、スペクトル特徴の変換に比べると、韻律特徴の変換に関する手法は限られており、スペクトル変換と同様なベクトル量子化に基づく手法、基本周波数や話速の平均値を単純に目標歌唱者の学習データの平均値に合わせる手法、分散を考慮した基本周波数の線形変換手法、HMM音声合成を用いた韻律生成に基づく手法などがある。
【００４３】
（スペクトル・韻律変換）
声質変換において言語情報があらかじめ与えられる場合には、HMM音声合成と歌唱者適応に基づいてスペクトル特徴と韻律特徴双方の変換が可能である。HMM音声合成では、スペクトル、基本周波数、音韻継続長を同時にモデル化した音声単位HMMを用いており、音声認識で用いられる歌唱者適応と同様な手法に基づいて音声単位HMMをモデル適応することにより、スペクトル特徴と韻律特徴を含む任意の歌唱者性の音声を生成できる。元歌唱者のモデルとして複数歌唱者の音声データから学習した平均声モデルを用いることで、任意の目標歌唱者が発声した少量の適応データがあれば、当該目標歌唱者に近い歌唱者性を持った音声が合成できる6)ほか、発話様式や感情表現を含むパラ言語・非言語情報の制御への応用も容易である。
【００４４】
（韻律の生成）
声の高さ、速さ、強さを表す韻律は、各々、主に声帯の基本周波数、音素に対応するセグメントの持続時間長（以下、音韻長と呼ぶ）、音声振幅といった音響特徴量によって担われる。合成音声に適切な韻律を与えるために、韻律制御の仕組みについての分析、数理モデル化がなされている。以下に示すように、各特徴量値は、入力テキストなどから得られる言語情報をもとに、実際の音声データに基づく統計的なモデルを用いて算出される。
【００４５】
（声帯の基本周波数の制御）
声の高さは、アクセントやイントネーションを表出するうえで重要であり、声帯の基本周波数の制御によって実現される。特に、日本語のアクセントはいわゆる高低アクセントであり、局所的な基本周波数の起伏として実現され、イントネーションとしての基本周波数の制御がなされる。
【００４６】
（韻律コーパス）
音声認識ないし合成に利用される音声コーパスは、主に音声の分節的特徴（子音や母音とその結合に関する特徴）に着目して設計される。これに対し、韻律コーパスは音声の韻律的特徴に着目して設計されたコーパスである。韻律的特徴には、アクセント、ストレス、声調、プロミネンス（卓立）、イントネーションなどが含まれる。言語学的には持続時間長の情報も韻律的特徴の一部であるが、これは通常の音声コーパスでも提供される情報である。
【００４７】
（韻律的特徴の階層構造）
音声の韻律的構造の記述にあたっては、通常、階層構造を想定する。日本語の場合、最下位の階層は通常、一定の時間的長さをもった音の分節単位であり、そこから、音節、語、アクセント句、中間句などを経て、最上位階層である発話に至る構造を想定する。即ち、語と語の交互作用を考える必要がありる。多くの場合に文節に該当する大きさの単位となるアクセント句や、アクセント句と発話の中間にある中間句を把握する。
【００４８】
音情報３１は、前記声質変換３０のうちのいずれかの手法によるか、または、これらの組み合わせによる手法から得られた音源であり、音響装置によって増幅され、スピーカー２２を介して人間の聴覚で認識される音の情報である。
【００４９】
声帯音源３２は、人の咽頭腔と呼ばれる共鳴腔で発生した響きが発せられた音源をいい、フォルマント周波数の分布によって決定される個人の声の特徴となる音源である。係る音源は波形符号化方式、ボコーダ法式、ハイブリット方式の信号化等により生成される。
【００５０】
無線LAN４０は、現在規格化されているＩＥＥＥ８０２．１１に代表される共通規格による通信網（Ｗｉ―Ｆｉ（登録商標））等の無線通信網を意味し、有線での接続を除くものではないが、係る規格の通信により高速化に対応可能とすることが望ましい。また、同じ無線規格であるＩＥＥＥ８０２．１５．１の通信網のブルートゥース（登録商標）を利用してもよい。ブルートゥース（登録商標）は、１０メートル程度であれば通信が可能であり、最近のスマートフォンには通常、前記の通信網に対応したモバイルデータ通信機能１４が備わっていることから、カラオケ装置２０との接続は容易である。
【００５１】
図２は、本発明に係る声質変換３０が他人の声帯音源３２へ変更する構成を説明する構成説明図であり、図２（ａ）は、携帯情報端末１０がメニュー画面を表示している状態を示し、図２（ｂ）は、本発明に係る簡易操作声質変換システム１が起動された状態でのメニュー画面を示している状態を示し、図２（ｃ）、図２（ｄ）、図２（ｅ）は、メニュー画面から選択された各アイコン１２から、更に詳細な設定を行う画面を示している。なお、図面に表したものは、あくまでも例示したものであり、係る表示に限定されるものではない。なお、階層も同様である。また、図３は、本発明に係る簡易操作声質変換システム１の情報端末に表れる詳細な選択操作画面を示す詳細選択操作画面説明図であり、図３（ａ）は、図２（ｂ）と同様に、本発明に係る簡易操作声質変換システム１が起動された状態でのメニュー画面を表している状態を示し、図３（ｂ）は、声質変換１３が、他人の声帯音源３２に変更する画面を示し、図３（ｃ）は、動物の鳴き声３３による声帯音源３２へ変更する画面を示し、図３（ｂ）は、楽器音３５や機械音３７等から生ずる音源へと変更する画面を示し、図３（ｅ）は、階層的に更に次の詳細な選択画面へと連続して画面が展開される一つの例を示している。
【００５２】
図４は、本発明に係る声質変換の基本構成を説明する基本構成説明図である。まず、アプリケーションの起動を、アイコン１２より、携帯情報端末１０のメニュー画面(図２（ａ））から選択して行い、本発明に係る簡易操作声質変換システム１を起動し、本システムにおけるメニュー画面（図２（ｂ））から、所望する声質の選択を行い、同時にカラオケ装置２０の有するモバイルデータ通信機能１４によって、相互通信できるよう接続し、歌唱による声帯音源３２の入力を携帯情報端末１０のマイクＭを介して行い、声質変換機能１３により、声質変換１３を実行し、音響装置２１を用いてスピーカー２２から出力するという基本構成を採用している。
【００５３】
図５は、本発明に係る声質変換３０が、他人の声、又は動物の鳴き声に変更する構成を説明する構成説明図であり、図５（ａ）は、本発明に係る声質変換３０が、他人の声帯音源３２に変更する構成を説明する構成説明図であり、図５（ｂ）は、本発明に係る声質変換が動物の鳴き声に変更する構成を説明する構成説明図である。前記音声合成等により、変換される他人の声の特徴を有した声帯音源３２や、動物の鳴き声等に変更するものであり、前記多種多様な音声データの合成や、音素の選択等の手法により得た別人の声を音響装置２１から出力する構成である。
【００５４】
動物の鳴き声３３は、猫、犬、ライオンや狼等の様々な動物の鳴き声３３となる声質変換を行う。係る変換の選択には各動物をモチーフとしたアイコン１２を用意して一目で判るようにする。例えば、図３（ｃ）に示したように、情報端末装置１０の表示機能１１に表れる犬と猫をモチーフにしたアイコン１２を操作すると、動物モードの画面に切り替わり、次の画面では犬、猫、カラス、ゾウ等々、種々の動物を選択でき、入力された声帯音源３２に基づき、犬を選択したならば、「ワンワンワン」といった音源に変更するエフェクター等の声質変換機能１３を介して変更された後の声帯音源３２である。
【００５５】
ロボット口調３４は、しゃべるロボットが発する音声となる声質変換３０を行う。係る変換の選択には、図２（ｂ）や、図３（ｄ）に示すようなロボットをモチーフとしたアイコン１２を用意して一目で判るようにする。例えばロッボットをモチーフにしたアイコン１２を操作すると、入力された声帯音源３２に基づき、ロボットの一音ずつ区切られて発音する声の「ワ・タ・シ・ハ・・・」といった音源を二つ組み合わせ、その声の音の高さをトーンジェネレーターの周波数をそれぞれ別の高さに組み合わせることによってロボットらしい声となる等の声質変換機能１３を用いた後に出力される音情報３１である。
【００５６】
楽器音３５は、ピアノ、弦楽器、管楽器等あらゆる楽器の音となる声質変換３０を行う。係る変換の選択には各楽器をモチーフとしたアイコン１２を用意して一目で判るようにする。例えば、図３（ｃ）に示すように、ギターをモチーフにしたアイコン１２を操作すると、入力された声帯音源３２の音階、または音程に基づき、ギターの「ポロンポロン」といった美しい音源に変更する声質変換機能１３を用いた後に出力される音情報３１である。
【００５７】
自然音３６は、風の音、波の音、川のせせらぎ音等、自然界に存在する音となる声質変換３０を行う。係る変換の選択には、例えば、図面には示していないが、図３（ｅ）に示したものと同様に、それぞれを文字で表したアイコン１２を用意して一目で判るようにしてもよい。例えば、波の文字のアイコン１２を操作すると、入力された声帯音源３２の音階、または音程に基づき、波の「ザザザー」といった音源に変更する声質変換機能１３を用い後に出力される音情報３１である。
【００５８】
機械音３７は、オートバイや汽笛等の機械的なものから発せられる音となる声質変換３０を行う。係る変換の選択には、例えば、図２（ｂ）及び、図３（ｄ）に示すように、オートバイや船をモチーフに表したアイコン１２を用意して一目で判るようにしてもよい。例えば、オートバイの文字のアイコン１２を操作すると、入力された声帯音源３２の音階、または音程に基づき、オートバイの「ブォンブォン」といった音源に変更する声質変換機能１３を用いた後に出力される音情報３１である。
【００５９】
図６は、本発明に係る声質変換機能１３に角速度センサー１５を利用した構成の構成説明図である。声帯音源３２に基づいて声質変換３０を行うルートと、予め登録しておいた調音特性を表現するフィルタを、声帯音源３２で駆動する処理を行うパラメータ合成や、音声コーパス（データベース）を用意して、その中に用意したドラムやシンバルといった打楽器３８の音声素片を抽出し、つなぎ合わせることによって音声を合成するコーパスベース音声合成などを行うルートを用い、これらを結合するタイミングを角速度センサー１５の動きに対応させて音情報３１を出力する構成である。
【００６０】
角速度センサー１５は、携帯電話機や小型ゲーム機等のジャイロ機能に用いられている回転や向きの変化を捉えるものであり、例えば携帯電話機を振ったときに連続したリズムで携帯電話機の動く方向が変化する動作を捉えて、その方向の変化のタイミングに合わせて、リズム楽器や打楽器等の所定の音源を再生することを可能とするセンサーである。具体的には、所定の速度で振動する質量に角速度が加わったとき振動の直行方向に働くコリオリの力を利用したもので、一般にはジャイロセンサーともいわれるものである。近年の携帯電話機やゲーム機には内設されているものが多く、これを利用することが有効である。
【００６１】
打楽器３８は、ドラムやシンバルといった、打つことで個体そのものから音を出す楽器の事を意味するが、特に本発明での打楽器３８では明確な音階を持たないもの全般をいうものとする。なお、係る音源は、声帯音源３２に基づくものではなく、予め登録しておいた調音特性を表現するフィルタを、声帯音源３２で駆動する処理を行うパラメータ合成や、音声コーパス（データベース）を用意して、その中に用意したドラムやシンバルといった打楽器３８の音声素片を抽出し、つなぎ合わせることによって音声を合成するコーパスベース音声合成を用い、角速度センサー１５の動作に応じて出力される音情報３１である。
【００６２】
体鳴楽器３９、マラカスのように「振る」、「擦る」といった動作で音を出す楽器の事を意味し、特に本発明での体鳴楽器３９では、前記打楽器３８と同様に、明確な音階を持たないものをいうものとする。なお、係る音源は、声帯音源３２に基づくものではなく、予め登録しておいた調音特性を表現するフィルタを、声帯音源３２で駆動する処理を行うパラメータ合成や、音声コーパス（データベース）を用意して、その中に用意したマラカスのような体鳴楽器３９の音声素片を抽出し、つなぎ合わせることによって音声を合成するコーパスベース音声合成を用い、角速度センサー１５の動作に応じて出力される音情報３１である。
【００６３】
図７は、本発明に係る声質変換機能１３によって変換された音を「合いの手」として付加する構成を示した構成説明図である。
【００６４】
合いの手２３は、アイコン１２の選択により選択された、動物の鳴き声３３、楽器音３５、自然音３６、機械音３７におけるそれぞれ声質変換機能１３により得られる音声素片として音声コーパス（データベース）として記憶し、１小節毎等の区切り時のピッチに合わせた音声素片を声帯音源３２に追加して出力する。具体的には、例えば、図２（ｂ）及び図３（ｃ）に示す猫のアイコン１２を選び、続いて図３（ｅ）で合いの手２３のアイコン１２を選び、その後、図面には示していないが、合いの手を入れるタイミングを４小節ごととする選択することによって、猫の声による「ニャン、ニャン」という合いの手２３が、４小節ごとに音響機器２１から出力される。また、別の使い方として、歌唱者の声帯音源３２をそのまま利用する一人輪唱や、別の人の声質による一人輪唱、或いは多数の他人の声質による合唱などを楽しむことも可能である。
【産業上の利用可能性】
【００６５】
本発明に係る簡易操作声質変換システム１は、日本人の生活に密着した娯楽であるカラオケをより幅広く楽しむことが可能であり、機械の操作が苦手な方でも簡易な操作によってバラエティーに富んだアレンジが楽しめることから、カラオケの設置店や、カラオケ装置の製造事業者、携帯情報端末製造事業者等、幅広い分野での産業上の利用可能性は極めて高い。
【符号の説明】
【００６６】
１    簡易操作声質変換システム１
１０  情報端末装置
１１  表示機能
１２  アイコン
１３  声質変換機能
１４  モバイルデータ通信機能
１５  角速度センサー
１６  テキストボックス
２０  カラオケ装置
２１  音響機構
２２  スピーカー
２３  合いの手
３０  声質変換
３１  音情報
３２  声帯音源
３３  動物の鳴き声
３４  ロボット口調
３５  楽器音
３６  自然音
３７  機械音
３８  打楽器
３９  体鳴楽器
４０  無線LAN
Ｍ    マイク
Ｄ    ディスプレイ
【図１】
2020003762.tif 000003
【図２】
2020003762.tif 000004
【図３】
2020003762.tif 000005
【図４】
2020003762.tif 000006
【図５】
2020003762.tif 000007
【図６】
2020003762.tif 000008
【図７】
2020003762.tif 000009
【手続補正書】
【提出日】平成30年10月17日(2018.10.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
簡易な操作で声質を自在に変換可能なシステムであって、
小型軽量で持ち運ぶことができる使い慣れた情報端末装置（１０）と、
カラオケ装置（２０）とから構成され、
前記情報端末装置（１０）は、表示機能（１１）に表されるアイコン（１２）の選択操作により、所望する声質変換（３０）を行う声質変換機能（１３）を備え、
前記声質変換（３０）は、スペクトル特徴、韻律特徴の何れか又は双方を変換することにより、元歌唱者の入力音声の特徴を目標歌唱者の音声の特徴へと変換し、
前記カラオケ装置（２０）は、前記情報端末装置（１０）が備えるモバイルデータ通信機能（１４）に対応した無線LAN（４０）により前記アイコン操作と連動して自動的に前記情報端末装置（１０）と接続され、
マイク（M）から元歌唱者の音声が入力されると、前記声質変換により変換された声帯音源（３２）に基づく音情報（３１）が音響機構（２１）を介してスピーカー（２２）から出力されることを特徴とする簡易操作声質変換システム（１）。
【請求項２】
前記声質変換機能（１３）により変換する前記声質変換（３０）が、入力された元歌唱者の前記声帯音源（３２）に基づいて動物の鳴き声（３３）、ロボット口調（３４）、楽器音（３５）、自然音（３６）、または機械音（３７）に変更するものであることを特徴とする請求項１に記載の簡易操作声質変換システム（１）。
【請求項３】
前記声質変換機能（１３）により変換する前記声質変換（３０）が、前記情報端末装置（１０）に備えた角速度センサー（１５）を利用し、前記情報端末装置（１０）の回転、又は向きの変化を検知し、係る動きに応じて、打楽器（３８）、リズム楽器（３９）、または機械音（３７）に変換するものであることを特徴とする請求項１に記載の簡易操作声質変換システム（１）。
【請求項４】
前記声質変換機能（１３）によって変換された音を合いの手（２３）として付加することを特徴とする請求項１から請求項３の何れかに記載の簡易操作声質変換システム（１）。