(57)【要約】  【課題】従来のカラオケシステムの機能を有効に活用し、映画やドラマなどの映像コンテンツをもって、見易い映像コンテンツの映像出力と、その音響出力と利用者の台詞音声をミキシング音声出力し、利用者自らが参加した臨場感ある映像と音響を体感できると共に、利用者に対して好適に台詞をアシストでき、その登場人物の台詞の発声練習を効率良く行えるカラオケシステムの提供。  【解決手段】表示手段（Ｄ）と骨伝導手段（Ｂ）とを備え、台詞のある登場人物が含まれた映像コンテンツを有し、当該映像コンテンツの全てまたは所定の登場人物の台詞音声を消去して音響出力すると共に、その音響出力と利用者の台詞音声とをミキシングして音声出力するためのミキシング音声出力手段（１３）を備えたカラオケ演奏装置（１）を主体とし、表示手段（Ｄ）には映像コンテンツを映像出力し、骨伝導手段（Ｂ）には、当該映像コンテンツの映像出力と所定の時間先行をもって同期させ、消去された台詞音声を骨伝導出力させるように制御するための出力制御手段（１８）を備えたカラオケシステムを構築した。【選択図】図１
2006071712.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と骨伝導手段を備え、台詞のある登場人物が含まれた映像コンテンツを有し、当該映像コンテンツの全てまたは所定の前記登場人物の台詞音声を消去して音響出力すると共に、その音響出力と利用者の台詞音声とをミキシングして音声出力するためのミキシング音声出力手段を備えたカラオケ演奏装置を主体としてなり、
前記表示手段には、前記映像コンテンツを映像出力し、
前記骨伝導手段には、当該映像コンテンツの映像出力と所定の時間先行をもって同期させ、前記消去された台詞音声を骨伝導出力させる、
ように制御するための出力制御手段を有してなるカラオケシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツの映像出力と、その音響出力と利用者の台詞音声とをミキシング音声出力できると共に、骨伝導手段を備えたカラオケ演奏装置を主体とするカラオケシステムに関する。
【背景技術】
【０００２】
近年、老若男女を問わずカラオケが親しまれているが、特に最近では、個室内にカラオケ演奏装置を設置したカラオケルームを多数備える、所謂「カラオケボックス」が広く普及している。カラオケルームは、その室内にて大音響で音楽を演奏させても、あるいは、大出力で歌唱したとしても、その防音機能により、外部にはほとんど音が漏れないように設計されている。
【０００３】
さらに、最近では、カラオケ演奏装置が付帯する表示装置は液晶技術やプラズマ技術の進展により薄型で大型化し、これと従来の防音機能を併用し、カラオケルーム内でカラオケ以外の映像コンテンツ、具体的には映画やドラマを鑑賞するサービスが提供されるようになっている。このようなサービスに関しては、例えば、特許文献１では、カラオケ演奏装置が付帯する各装置を併用し、映画鑑賞ができるカラオケシステムが開示されている。
【０００４】
ところで、映画やドラマなどの映像コンテンツの利用法としては、例えば、アニメや洋画の声優の真似事をしたいと思う人達や声優を本気で目指す人達が、声優がアフターレコーディング所謂「アフレコ」をしているが如く、映像コンテンツから環境音（台詞音声以外の自然音や効果音など）を残し、登場人物の台詞音声を消去して音響出力することで、消去された登場人物の台詞を、その台本を見ながら発声練習をしたり、あるいは、語学の修得を目指す人達が、同様な方法で、外国語の台詞の発声練習をしたりするなどがある。
【０００５】
このような映像コンテンツを利用して、台詞の発声練習をするためには、発声練習の対象となる登場人物の台詞音声を消去しなければならないが、現在の音響処理技術では、特に難しいことではない。例えば、上記特許文献１でも、映画を構成する映像信号と音声信号とを別処理できるシステムが開示され、映像信号と音声信号とを別処理とすることにより、映像に音声を付加したり消去したりできる。さらに、現在では、環境音に加え、登場人物毎に複数の音声信号を重畳して構成したり、全ての音声信号データから特定の音声周波数帯の音声信号を抽出したりして、それぞれの音声信号を別々に処理することで、例えば、環境音を残して全ての登場人物の台詞音声を消去することは勿論、所定の登場人物だけの台詞を消去することもできる。
【０００６】
また、台詞の発声練習をするためには、一般的に、利用者には台本が必要となるが、映像コンテンツは映像を中心として鑑賞するため、例えば、カラオケの背景映像にスーパーインポーズされた歌詞テロップのように、台詞をアシストする字幕テロップを入れたとしても、映像が見難くなって好ましくない。そこで、字幕テロップを入れずに、音声によって台詞をアシストする方法が好ましくなる。従来のカラオケの歌唱サービスでは、歌詞テロップの代わりに、所謂「模範ボーカル」と呼ばれる歌詞アシスト音声にて歌詞を利用者に伝える技術が想到されている。例えば、特許文献２では、テレビモニタ等に表示される歌詞テロップに依らず、カラオケ演奏の進行に先んじて歌唱者に次に歌唱すべき歌詞を伝えるように、歌詞アシスト音声の出力を制御する技術が開示されている。また、特許文献３では、歌詞テロップを見られない車の運転者が文字表示を見ないでも歌詞を確認できるように、読上げ時期条件や声質条件からなる読上げ条件データを歌詞データに付加し、声質条件に従って歌詞の合成音声（歌詞アシスト音声）を生成する技術が開示されている。
【特許文献１】特開平８−２９２７８０号公報
【特許文献２】特開平１１−１３３９８９号公報
【特許文献３】特開平１１−１６７３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような従来技術を、映像コンテンツを利用した台詞の発声練習に適応することは難しい。すなわち、カラオケを歌唱する際は、カラオケの伴奏音楽があるため模範ボーカルなどが多少聞こえてもさほど気にならないが、映画やドラマなどの映像コンテンツでは伴奏音楽はなく、台詞をアシストする音声が発せられると雰囲気が崩れてしまうのである。このような問題に対して、例えば、台詞アシスト音声を専用の頭部装着型（ヘッドホン型やイヤホーン型）の音圧式スピーカから発するようにして、これを利用者が使用することで、他の利用者にはこの台詞アシスト音声を聞こえなくする手法も考えられるが、利用者の耳を塞ぐヘッドホンを付けた状態では、利用者自身が他の登場人物の台詞が聞き取り難くなって好ましくない。
【０００８】
そこで、本発明は、従来のカラオケシステムの機能を有効に活用し、映画やドラマなどの映像コンテンツをもって、見易い映像コンテンツの映像出力と、その音響出力と利用者の台詞音声をミキシング音声出力し、利用者自らが参加した臨場感ある映像と音響を体感できると共に、利用者に対して好適に台詞をアシストでき、その登場人物の台詞の発声練習を効率良く行えるカラオケシステムの提供を課題とする。
【課題を解決するための手段】
【０００９】
上記課題を鑑み、本発明者らは、表示手段と骨伝導手段を備え、映像コンテンツを映像出力する際、利用者が所望する登場人物の台詞音声を消去し、その音響出力と利用者の台詞音声とをミキシング音声出力すると共に、表示手段には字幕テロップなどを入れずに映像出力し、当該映像コンテンツの映像出力と所定の時間先行をもって同期させ、その消去された台詞を骨伝導手段にて骨伝導出力させるように制御するカラオケシステムを構築することで、上記課題を解決できることを見出し、本発明のカラオケシステムを想到した。
【００１０】
すなわち、本発明のカラオケシステムは、表示手段と骨伝導手段を備え、台詞のある登場人物が含まれた映像コンテンツを有し、当該映像コンテンツの全てまたは所定の前記登場人物の台詞音声を消去して音響出力すると共に、その音響出力と利用者の台詞音声とをミキシングして音声出力するためのミキシング音声出力手段を備えたカラオケ演奏装置を主体としてなり、
前記表示手段には、前記映像コンテンツを映像出力し、
前記骨伝導手段には、当該映像コンテンツの映像出力と所定の時間先行をもって同期させ、前記消去された台詞音声を骨伝導出力させる、
ように制御するための出力制御手段を有してなることを特徴とする。
【発明の効果】
【００１１】
本発明のカラオケシステムによれば、利用者が所望する登場人物の台詞音声を消去して音響出力し、これと利用者の台詞音声をミキシング音声出力すると共に、表示手段には映像コンテンツを映像出力し、その消去された台詞を骨伝導手段にて骨伝導出力させることにより、利用者自らが参加した臨場感ある映像と音響を体感できると共に、自らの台詞音声と台詞アシスト音声とが紛らわしくなく、それぞれが明瞭に聞こえるようになり、他の利用者に対しては利用者の台詞音声だけを聞けるようにでき、映像コンテンツを利用した台詞の発声練習を効率良く行えるなどといった効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下、本発明のカラオケシステムについて最適な実施例を挙げて説明するが、先ず、図１に示す、本発明のカラオケシステムを構成するカラオケ演奏装置のブロック構成図と、図２に示す、映像コンテンツデータの概略的構成図と、図３に示す、映像出力と台詞音声の骨伝導出力との同期方法の概念図と、図４に示す、骨伝導手段の外観斜視図に基づき、本システムの全体構成について説明する。
【実施例１】
【００１３】
本実施例のカラオケシステムを構成するカラオケ演奏装置（１）は、装置全体の動作を制御する中央制御手段（２）と、これに接続された各種機器で構成され、この中央制御手段（２）には、ハードディスク（３）、ＲＡＭ（４）、音源（シンセサイザ：５）、ミキサ（６）、ＰＣＭデコーダ（９）、ＭＰＥＧデコーダ（１０）、合成回路（１１）、リモコン装置（Ｒ）などが接続されている。特に、ハードディスク（３）には、歌唱コンテンツデータ（Ｃ１）として、個々のカラオケ楽曲を特定する楽曲コード（２０）に紐付けされた、演奏データ（２１）、背景映像データ（２２）、歌詞テロップデータ（２３）などが記録され、一方、映像コンテンツデータ（Ｃ２）として、個々の映像コンテンツを特定する映像コード（２４）に紐付けされた、映像データ（２５）、音響データ（２６）などが記録されている。
【００１４】
ここで、各機能手段について少々説明する。通信制御手段（１２）は、ＡＤＳＬ回線、ＩＳＤＮ回線、一般電話回線などを介して、インターネット上にカラオケ事業者が管理するＶＰＮ（Virtual Private Network）を用いてカラオケホスト装置（図示省略）に接続するための制御を行う。このカラオケホスト装置からは、個々のカラオケ演奏装置（１）へ歌唱コンテンツデータ（Ｃ１）および映像コンテンツデータ（Ｃ２）に関する各種データが配信される。
【００１５】
歌唱コンテンツデータ（Ｃ１）の場合、音源（５）は、中央制御手段（２）が実行する楽曲シーケンサ（１５）の処理によって入力された演奏データに応じて楽音信号を形成する。形成された楽音信号はミキサ（６）に入力され、このミキサ（６）は、音源（５）が発生した複数の楽音信号やカラオケマイク（Ｍ）と、Ａ／Ｄコンバータ（８）を介して入力された利用者の歌唱音声信号を適当なバランスでミキシングする。ミキシングされたデジタル音声信号はサウンドシステム（ＳＳ：７）に入力される。このサウンドシステム（７）はパワーアンプを備え、入力されたデジタル信号をアナログ信号に変換して増幅してスピーカ（Ｓ）から楽音と歌唱音声を放音する。なお、Ａ／Ｄコンバータ（８）によってデジタル信号に変換された歌唱音声信号はボーカルアダプタ（図示省略）にも入力され、このボーカルアダプタから採取された歌唱音声信号の歌唱周波数により歌唱力の自動採点などが行われる。
【００１６】
一方、映像コンテンツデータ（Ｃ２）の場合、ミキシング音声出力手段（１３）は、ＰＣＭ（Pulse Code Modulation）形式で記録されている音響データ（２６）を抽出し、これをＰＣＭデコーダ（９）にて再生させて音響出力し、これをミキサ（６）に入力するように制御する。そして、歌唱コンテンツの場合と同様、ミキサ（６）は、カラオケマイク（Ｍ）からＡ／Ｄコンバータ（８）を介して入力された利用者の台詞音声を適当なバランスでミキシングし、ミキシングされたデジタル音声信号はサウンドシステム（７）に入力される。なお、歌唱コンテンツデータ（Ｃ１）におけるのと同様、Ａ／Ｄコンバータ（８）によってデジタル信号に変換された台詞音声信号をボーカルアダプタ（図示省略）にも入力することで、このボーカルアダプタから採取された台詞音声信号の発声周波数によって、例えば、これを外国語の台詞音声の自動採点にも利用できるように構成すれば、外国語の発声練習にも効果的に活用することもできる。
【００１７】
ハードディスク（３）に記録されている歌唱コンテンツデータ（Ｃ１）の背景映像データ（２２）と映像コンテンツデータ（Ｃ２）の映像データ（２５）は共にＭＰＥＧ（Moving Picture Experts）形式で記録されており、出力制御手段（１８）が、これを読み出して、ＭＰＥＧデコーダ（１０）に入力して再生処理を行う。歌唱コンテンツデータ（Ｃ１）の場合、このＭＰＥＧデコーダ（１０）は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路（１１）に入力し、この合成回路（１１）は、ＶＲＡＭ（Video RAM）上で、この映像信号上で歌詞テロップをＯＳＤ合成し、その映像信号を表示手段（Ｄ）に表示する。
【００１８】
なお、この合成回路（１１）はフェード機能も有しており、歌詞テロップをフェードイン・フェードアウトしたり、複数行の歌詞テロップを表示する際、その一部の行のみをフェードインしたりフェードアウトしたりすることもできる。また、映像コンテンツデータ（Ｃ２）の場合、出力制御手段（１８）は、映像データ（２５）がＭＰＥＧデコーダ（１０）により、その圧縮データが伸長されてコンポジットの映像信号に変換された後、表示手段（Ｄ）に映像出力するように制御するが、この時、台詞の字幕テロップデータなどの合成は行わない。
【００１９】
リモコン装置（Ｒ）は利用者インタフェイスやリモコン信号送信回路などからなり、利用者の操作に応じた操作信号を中央制御手段（２）に入力する。この中央制御手段（２）は、操作入力処理手段（１９）によって、この操作信号を検出し、対応する処理を行う。例えば、リモコン装置（Ｒ）にて楽曲コードが入力されると、これを操作入力処理手段（１９）が検出し、カラオケ楽曲のリクエストであるとしてシーケンサ（１４）に伝達し、同じように、映像コードが入力されると、映像コンテンツのリクエストであるとしてシーケンサ（１４）に伝達する。このシーケンサ（１４）は、これに応じて、この楽曲コード（２０）や映像コード（２４）で識別される演奏データ（２１）や映像データ（２５）などをハードディスク（３）から読み出す。
【００２０】
なお、このシーケンサ（１４）は主に楽曲シーケンサ（１５）、文字シーケンサ（１６）からなっており、楽曲シーケンサ（１５）は、演奏データ中の演奏データトラック、ガイドメロディトラックなどのトラックデータを読み出し、このデータで音源（５）を制御することでカラオケ楽曲の演奏を行う。一方、文字シーケンサ（１６）は、文字パターン作成手段（１７）を備えており、歌唱コンテンツデータ（Ｃ１）における歌詞テロップデータ（２３）の画像パターンを作成し、これを上記した合成回路（１１）に出力する。
【００２１】
そして、出力制御手段（１８）は、消去された台詞音声を骨伝導手段（Ｂ）にて骨伝導出力させる。具体的には、ＰＣＭ形式で記録されている音響データ（２６）の内、利用者により指定された登場人物の台詞音声データを抽出し、このデータをＰＣＭデコーダ（９）をもって伸張した後、骨伝導信号に変換して骨伝導手段（Ｂ）にて骨伝導出力させる。なお、本発明における骨伝導手段とは、現在公知のもので良く、人の骨を介して音声や楽音などの振動波を伝導し、脳に情報を伝達するものであって、最近では、携帯電話にも装着されているものもある。通常、頭蓋骨や下顎骨などの骨を介して情報を伝達するものであるが、最近では、手の甲からも情報が伝達できるまでに性能が向上している。
【００２２】
図２に示すように、本実施例の映像コンテンツデータ（Ｃ２）は、個々の映像コンテンツ毎に映像コード（２４）が付されて識別される。その構成は主に映像データ（２５）、音響データ（２６）からなる。音響データ（２６）は、環境音データ（２６ｘ）に加え、台詞のある登場人物ＡからＤを識別する「人物コードａ」から「人物コードｄ」に紐付けされた台詞音声データ（２６ａ）、（２６ｂ）、（２６ｃ）、（２６ｄ）からなり、各台詞音声データは個別に処理できるように独立可能に記録されている。利用者は自ら所望する登場人物を選択することで、環境音データ（２６ｘ）を残して全ての登場人物の台詞音声データ（２６ａ）、（２６ｂ）、（２６ｃ）、（２６ｄ）を消去することは勿論、所定の登場人物だけの台詞を消去することもでき、消去された台詞音声データを除いた音響データが音響出力され、消去された台詞音声は骨伝導出力される。
【００２３】
図３に示すように、映像データには、その映像出力の進行に伴うタイムコードデータが付帯され、このタイムコードデータに基づき、映像コンテンツの映像出力との同期を取るように、登場人物Ａ〜Ｄ毎にその台詞音声の骨伝導出力タイミングが設定されている。この時、本発明では所定の時間先行をもって同期が取られる。例えば、本実施例ではタイムコードデータに５秒先行して同期を取ることで、実際に登場人物が台詞を発声する５秒前から、その台詞音声が骨伝導出力される。これは、台詞をアシストするために先行して利用者に台詞を知らせるためであり、その先行時間は任意に設定できる。また、さらに好ましくは、台詞音声の骨伝導出力速度は通常の台詞音声速度より速くすることで、骨伝導出力と次の台詞音声が重ならないように構成するのが良い。
【００２４】
前述したように、骨伝導とは音声を骨伝導音として頭蓋骨や下顎骨を介して伝達するもので、通常は骨伝導スピーカが耳の周辺部に密着した状態で使用される。図４の（イ）は指嵌め込み型の骨伝導手段（Ｂ）の外観図であって、保持アーム（Ｂ１）と骨伝導スピーカ（Ｂ２）との間に指を２〜３本程度入れて全体を保持し、これを利用者の頭部のこめかみ部や下顎部に当てながら台詞音声を聞くことができる。例えば、利用者は片手にマイクを持ち、一方の片手に当該骨伝導手段を持って台詞を発するのである。また、図４の（ロ）は頭部装着型の骨伝導手段（Ｂ）の外観図であって、保持アーム（Ｂ１）と左右の骨伝導スピーカ（Ｂ２）のと間に、利用者の頭部のこめかみ部を挟み入れるように装着する。この構成では利用者が骨伝導手段を手に持つ必要がない。なお、本実施例では、台詞音声は有線通信回線（Ｂ３）にてカラオケ演奏装置本体から送られるが、本発明はこれに限らず、無線通信方式でも構わない。
【００２５】
以下、本発明のカラオケシステムについて、図５に示す、本発明のカラオケシステムのシステムフロー図、図６に示す、カラオケリモコン装置の外観斜視図、図７および図８に示す、カラオケリモコン装置の利用者インタフェイス表示画面に基づき、本システムにおける処理手順について詳述する。
【００２６】
先ず、図５に示すように、利用者は映像コードにより映像コンテンツを指定する（Ｓ１）。映像コンテンツの指定は、図６に示す、カラオケリモコン装置（Ｒ）を利用するが、ここで、カラオケリモコン装置（Ｒ）について少々説明する。カラオケリモコン装置（Ｒ）は、その正面に液晶ディスプレイ（Ｒａ）とタッチセンサ（Ｒｂ）とを積層しており、このタッチセンサ（Ｒｂ）は利用者にＧＵＩ（Graphical User Interface）環境を提供して利用者インタフェイスを形成し、利用者からの指示をカラオケ演奏装置に伝達する。
【００２７】
図７の表示画面（Ｒａ１）は、利用者が映像コンテンツを指定する際の利用者インタフェイスを示しており、この表示画面（Ｒａ１）には、歌唱コンテンツか映像コンテンツかを選択するための「カラオケコンテンツ」アイコン（３０）と「シネマコンテンツ」アイコン（３１）が設けられており、利用者が後者を選択すると表示画面（Ｒａ２）に切り替わる。この表示画面（Ｒａ２）では、利用者は所望する映像コンテンツの映像コードを、カラオケ楽曲の指定と同様、テンキー列（３３）を利用して映像コード入力欄（３４）に入力する。入力後、「転送」アイコン（３５）を選択すると映像コンテンツが正式に指定される。
【００２８】
映像コンテンツが正式に指定されると、次に、図５に示すように、利用者は自らが所望する登場人物を、その人物コードにより指定する（Ｓ２）。ここで、図８の表示画面（Ｒａ３）は登場人物を指定するための利用者インタフェイス表示画面である。この表示画面（Ｒａ３）では、台詞のある登場人物の顔写真（あるいはアニメ画）と共に、登場人物のＩＤである氏名ないしニックネームなどを掲載した登場人物指定欄（３６）が設けられ、それぞれの登場人物を指定するための「指定」アイコン（３６ａ）が備えられており、利用者は所望の登場人物を指定して「転送」アイコン（３５）を選択すると登場人物が正式に指定される。なお、本発明では、登場人物の指定は全てでも所定でも構わず、また、所定の場合であっても単数でも複数でも構わない。
【００２９】
登場人物が正式に指定されると、次に、図５に示すように、映像コンテンツの音響出力については、指定登場人物の台詞音声データ以外の音響データが抽出され（Ｓ３）、この抽出音響データが出力される（Ｓ４）。この時、互いの同期をとって、表示手段では映像データが出力され（Ｓ５）、骨伝導手段では、映像コンテンツの映像出力と所定の時間先行をもって同期させ、指定された登場人物の台詞音声が骨伝導出力される（Ｓ６）。そして、映像コンテンツの映像出力中に、利用者はこの台詞音声の骨伝導出力を聞きながら台詞音声を発すると、その音響出力とミキシングされ音声出力される（Ｓ７）。
【００３０】
以上、詳述したように、本発明のカラオケシステムによれば、利用者が所望する登場人物の台詞音声を消去して音響出力し、これと利用者の台詞音声をミキシング音声出力すると共に、表示手段には映像コンテンツを映像出力し、その消去された台詞を骨伝導手段にて骨伝導出力させることにより、利用者自らが参加した臨場感ある映像と音響を体感できると共に、自らの台詞音声と台詞アシスト音声とが紛らわしくなく、それぞれが明瞭に聞こえるようになり、他の利用者に対しては利用者の台詞音声だけを聞けるようにでき、映像コンテンツを利用した台詞の発声練習を効率良く行える。
【図面の簡単な説明】
【００３１】
【図１】本発明のカラオケシステムを構成するカラオケ演奏装置のブロック構成図。
【図２】映像コンテンツデータの概略的構成図。
【図３】映像出力と台詞音声の骨伝導出力との同期方法の概念図。
【図４】骨伝導手段の外観斜視図。
【図５】本発明のカラオケシステムのシステムフロー図。
【図６】カラオケリモコン装置の外観斜視図。
【図７】カラオケリモコン装置の利用者インタフェイス表示画面。
【図８】カラオケリモコン装置の利用者インタフェイス表示画面。
【符号の説明】
【００３２】
１  カラオケ演奏装置
２  中央制御手段
３  ハードディスク
６  ミキサ
９  ＰＣＭデコーダ
１０  ＭＰＥＧデコーダ
１１  合成回路
１３  ミキシング音声出力手段
１８  出力制御手段
２４  映像コード
２５  映像データ
２６  音響データ
Ｂ  骨伝導手段
Ｄ  表示手段
【図１】
2006071712.tif 000003
【図２】
2006071712.tif 000004
【図３】
2006071712.tif 000005
【図４】
2006071712.tif 000006
【図５】
2006071712.tif 000007
【図６】
2006071712.tif 000008
【図７】
2006071712.tif 000009
【図８】
2006071712.tif 000010