(57)【特許請求の範囲】
【請求項１】
送信映像を送信する映像送信ユニットと、
送信音声を送信する音声送信ユニットと、
前記送信音声を変更する送信変更ユニットと、
受信映像を受信する映像受信ユニットと、
受信音声を受信する音声受信ユニットと、
前記受信音声を変更する受信変更ユニットと、
通信モードを変換する変換ユニットとを含み、
前記通信モードは、
音声送信単独である音声送信単独モードと、
映像送信と音声送信との同時送信である同時送信モードとを有し、
前記音声送信単独モードの際には、前記送信音声は変更されず、
前記同時送信モードの際には、前記送信音声が変更され得る
ＴＶ電話の音声変換システム。
【請求項２】
前記通信モードは、更に、
音声受信単独である音声受信単独モードと、
映像受信と音声受信との同時受信である同時受信モードとを有し、
前記音声受信単独モード及び前記同時受信モードの際には、前記受信音声が変更され得る
請求項１のＴＶ電話の音声変換システム。
【請求項３】
前記変換ユニットは、
ＣＰＵと、
操作部とを備え、
前記操作部の操作に基づいて前記ＣＰＵが前記通信モードを変換する
請求項１又は２から選択される１請求項のＴＶ電話の音声変換システム。
【請求項４】
表示部を更に含み、
前記表示部は、受信音声又は送信音声の変更が行われている間、前記変更を示す表示を行う
請求項３のＴＶ電話の音声変換システム。
【請求項５】
音声変更のために使用される複数の声音データを蓄積する声音データ蓄積部を更に含み、
前記声音データは、前記操作部により選択される
請求項３のＴＶ電話の音声変換システム。
【請求項６】
前記送信音声の変更が行われる際に、前記変更が行われた前記送信音声を一時的に蓄積する声音蓄積部と、
スピーカ
とを更に備え、
前記スピーカは、前記声音蓄積部に蓄積された前記送信音声を出力する
請求項５のＴＶ電話の音声変換システム。
【請求項７】
受信映像を受信すること、
受信音声を受信すること、
送信映像を送信すること、
送信音声を送信すること、
前記送信音声の声音を変更すること
とを含み、
前記送信音声の声音を変更することは前記送信映像が送信されている場合に限られ、前記送信映像を送信せず送信音声を送信する場合、前記送信音声の声音は変更されない
ＴＶ電話の音声変換方法。
【請求項８】
前記送信音声を変更して送信する場合、送信音声の変更を明示する信号を前記送信映像とともに送信すること
を更に含む請求項７のＴＶ電話の音声変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＴＶ電話の音声変換システム、及び、その音声変換方法に関し、特に、相手の顔を見ながら相手又は自分の音声を変更するＴＶ電話の音声変換システム、及び、その音声変換方法に関する。
【０００２】
【従来の技術】
電話は、音声によるコミュニケーション技術として用いられている。その音声帯域に制限が設けられその通信回線にノイズが生じやすい現行の電話技術は、会話内容を情報的にできるだけ正確に伝達することに特に注力されていて、声を聞いただけで通話相手がだれであるかを特定することが困難であることが多い。声帯模写は古来から広く知られている。現在の電話の通信技術の現状では、既述の制限があって、声帯模写のような音声変換を行うことは困難である。音声通信時の声色を変えるアイディアは、知られている。不特定多数どうし間で通信が行われる一般の電話では、音声通信時の声色を変えることは、犯罪の手助けをすることになって、社会的制約上その実現が許される技術ではない。
【０００３】
有線通信のＩＳＤＮの普及、今後に予想される光ケーブル通信の普及、Ｗ−ＣＤＭＡの広帯域化によって、広帯域の通信サービスが実現される近い将来には、相手側に好まれる声音で会話することができる声音変換が望まれることも確かである。犯罪を誘発せずに声音変換を取り入れた電話通信の技術の確立が求められる。
【０００４】
【発明が解決しようとする課題】
本発明の課題は、不適切行為を誘発せずに声音変換を取り入れた電話通信の技術の確立することができるＴＶ電話の音声変換システム、及び、その音声変換方法を提供することにある。
【０００５】
【課題を解決するための手段】
その課題を解決するための手段が、下記のように表現される。その表現中に現れる技術的事項には、括弧（）つきで、番号、記号等が添記されている。その番号、記号等は、本発明の実施の複数・形態又は複数の実施例のうちの少なくとも１つの実施の形態又は複数の実施例を構成する技術的事項、特に、その実施の形態又は実施例に対応する図面に表現されている技術的事項に付せられている参照番号、参照記号等に一致している。このような参照番号、参照記号は、請求項記載の技術的事項と実施の形態又は実施例の技術的事項との対応・橋渡しを明確にしている。このような対応・橋渡しは、請求項記載の技術的事項が実施の形態又は実施例の技術的事項に限定されて解釈されることを意味しない。
【０００６】
本発明によるＴＶ電話の音声変換システムは、送信映像（６）を送信する映像送信ユニット（１９）と、送信音声（１１）を送信する音声送信ユニット（１９）と、送信音声を変更する送信変更ユニット（１４）と、受信映像（２６）を受信する映像受信ユニット（２１）と、受信音声（２５）を受信する音声受信ユニット（２１）と、受信音声（２５）を変更する受信変更ユニット（２７）と通信モードを変換する変換ユニット（３８）とから構成されている。
【０００７】
通信モードは、映像送信単独である映像送信単独モードと、音声送信単独である音声送信単独モードと、映像送信と音声送信との同時送信である同時送信モードと、映像受信単独である映像受信単独モードと、音声受信単独である音声受信単独モードと、映像受信と音声受信との同時受信である同時受信モードとを有している。音声送信単独モードの際には、送信音声は変更されない。音声送信単独モードの際に送信音声を変更しないことは、犯罪、嫌がらせ等の悪質な行為を防止することができる。
【０００８】
同時送信モードの際には、送信音声（１１）が変更され得る。この場合、音声変更の事実を相手側に伝達することが重要である。相手側が音声変更解除を希望する場合に、音声変更を解除することができる。音声受信単独モードの際には、受信音声が変更され得る。本人が希望して音声を変更することができることは重要である。この場合、音声変更表示は、必ずしも必要ではないが、念のためその表示を行うことは好ましい。同時受信モードの際の受信音声の変更には、問題が発生することはほとんどない。この場合、音声変更表示を画面に表示することが好ましい。
【０００９】
同時送信モードの際には、送信音声が変更され得て、音声受信単独モードの際には、受信音声が変更され得る。このような２重モードは、有効である。同時送信モードの際には送信音声が変更され得て、同時受信モードの際には受信音声が変更され得る。
【００１０】
変換ユニット（３８）は、ＣＰＵ（３８）と、操作部（４２）とを備え、操作部（４２）の操作に基づいてＣＰＵ（３８）が通信モードを変換する。表示部（３７）が追加されている。表示部（３７）は、受信音声又は送信音声の変更が行われている間、その変更を示す表示を行う。この表示は、音声変更を確認するために重要である。音声変更のために使用される複数の声音データを蓄積する声音データ蓄積部（３９）が更に追加されている。声音データは、操作部（４２）により選択され得る。受信音声の変更が行われる際に、変更が行われた受信音声を一時的に蓄積する声音蓄積部（４１）の追加は更に好ましい。この場合、声音蓄積部（４１）に蓄積された受信音声が出力される。
【００１１】
本発明によるＴＶ電話の音声変換方法は、受信映像を受信すること、受信音声を受信すること、送信映像を送信すること、送信音声を送信すること、受信音声の声音を変更すること、送信映像を送信せず送信音声を送信する場合、その送信音声の声音を変更しないこととから構成されている。
【００１２】
送信音声の声音を変更することは、送信映像が送信されている場合に限られることは重要である。送信音声を変更して送信する場合、送信音声の変更を明示する信号を送信映像とともに送信することはより重要である。
【００１３】
【発明の実施の形態】
図に対応して、本発明によるＴＶ電話の音声変換システムの実施の形態は、アンテナがビデオカメラとマイクロホンとともに設けられている。そのアンテナ１は、図１に示されるように、送信と受信とを切り換えるアンテナスイッチ２を介して、ビデオカメラ３とマイクロホン４とに接続している。ユーザーの顔を映すビデオカメラ３は、送信側第１Ａ／Ｄコンバータ５に接続している。送信側第１Ａ／Ｄコンバータ５は、ビデオカメラ３が出力する送信アナログ映像６を送信デジタル映像７に変換して出力する。送信側第１Ａ／Ｄコンバータ５は、映像圧縮回路８に接続している。映像圧縮回路８は、送信デジタル映像７を圧縮して圧縮デジタル映像５６を出力する。
【００１４】
ユーザーの音声を取り込むマイクロホン４は、送信側第２Ａ／Ｄコンバータ９に接続している。送信側第２Ａ／Ｄコンバータ９は、マイクロホン４が出力する送信アナログ音声１１を送信ディジタル音声１２に変換する。送信側第２Ａ／Ｄコンバータ９は、エコーキャンセラ１３を介して、送信側ＤＳＰ１４に接続している。送信ディジタル音声１２は、エコーキャンセラ１３を介して送信側ＤＳＰ１４に入力する。送信側ＤＳＰ１４は、送信ディジタル音声１２を圧縮し、且つ、送信ディジタル音声１２の声色を変更し、圧縮変更音声５６’を出力する。
【００１５】
送信側ＤＳＰ１４は、映像圧縮回路８とともに多重回路１５に接続している。多重回路１５は、圧縮デジタル映像５６と圧縮変更音声５６’とを多重化して、多重化信号１６を出力する多重化回路である。多重回路１５は、変調部１７に接続している。変調部１７は、多重化信号１６をＱＰＳＫ変調して変調信号１８を出力する変調回路である。変調部１７は、送信部１９に接続している。変調信号１８は、送信部１９に入力する。送信部１９は、変調信号１８の周波数を送信周波数に変換してアンテナ１に送出する。
【００１６】
アンテナ１は、アンテナスイッチ２を介して受信部２１に接続している。受信部２１は、受信電波の増幅と周波数同調検波を行う。受信部２１は、復調部２２に接続している。復調部２２は、受信電波のＱＰＳＫ復調を行う。復調部２２は、分離回路２３に接続している。分離回路２３は、復調部２２で復調された復調信号２４を受信音声信号２５と受信映像信号２６に分離する回路である。分離回路２３は、受信側ＤＳＰ２７と映像伸張回路２８に接続している。
【００１７】
受信音声信号２５は、受信側ＤＳＰ２７に入力する。受信側ＤＳＰ２７は、受信音声信号２５を伸張する音声伸張と、受信音声信号２５の声色変更を行う。受信側ＤＳＰ２７は、エコーキャンセラ１３を介して受信側第１Ｄ／Ａコンバータ３１に接続している。受信側第１Ｄ／Ａコンバータ３１は、量子化されている受信デジタル音声２９を受信アナログ音声７１に変換する。受信側第１Ｄ／Ａコンバータ３１は、スピーカ３２に接続している。受信アナログ音声７１は、ハンズフリー用スピーカ３３で離れていて聞くことができる。
【００１８】
映像伸張回路２８は、圧縮されている受信映像信号２６を伸張して伸張映像３４を出力する。映像伸張回路２８は、受信側第２Ｄ／Ａコンバータ３５に接続している。受信側第２Ｄ／Ａコンバータ３５は、量子化されている伸張映像３４を受信アナログ映像３６に変換する。受信側第２Ｄ／Ａコンバータ３５は、ディスプレイ３７に接続している。受信アナログ映像３６は、ディスプレイ３７に表示・映写される。
【００１９】
全体の動作を制御するＣＰＵ３８は、声音データを蓄積する声音データ蓄積部３９に接続している。声音データ蓄積部３９は、声色データを蓄積するＥＥＰＲＯＭ、ＦＬＡＳＨ・ＲＯＭのような記憶媒体を有している。声音データ蓄積部３９は、送話声音確認用一時蓄積部４１に接続している。送話声音確認用一時蓄積部４１は、送話の声色変更を行ったときに、確認用音声を一時蓄積するＥＥＰＲＯＭ、ＦＬＡＳＨ・ＲＯＭのような記憶媒体を有している。送信側ＤＳＰ１４と受信側ＤＳＰ２７は、声音データ蓄積部３９と送話声音確認用一時蓄積部４１とに並列にそれぞれにＣＰＵ３８に双方向に接続している。ＣＰＵ３８は、送信側ＤＳＰ１４と映像圧縮回路８とに並列に接続している。
【００２０】
当該携帯ＴＶ電話器は、操作部４２を備えている。操作部４２は、ＣＰＵ３８とディスプレイ３７とに並列に接続している。図２（ａ），（ｂ）は、当該携帯ＴＶ電話器の送信側端末４３と受信側端末４４の外観を示している。既述のアンテナ１、ビデオカメラ３、マイクロホン４、スピーカ３２、ハンズフリー用スピーカ３３、ディスプレイ３７、操作部４２は、それぞれに、送信側端末４３と受信側端末４４に外観として表れている。受信側端末４４には、”声音変更中”の表示がディスプレイ３７に表れている。
【００２１】
図３と図４は、送話音声の声色変換を行う送信側ＤＳＰ１４の詳細と、受話音声の声色変換を行う受信側ＤＳＰ２７の詳細を示している。送信ディジタル音声１２は、エコーキャンセラ１３を介して送信側ＤＳＰ１４に入力する。送信側ＤＳＰ１４は、送信側基本周波数抽出部４５と送信側通話状況抽出部４６を備えている。送信ディジタル音声１２は、は、送信側基本周波数抽出部４５と送信側通話状況抽出部４６に入力している。送信側基本周波数抽出部４５は、送信側通話状況抽出部４６とともに送信側音声合成部４７に接続している。送信側音声合成部４７は、音声圧縮部４８に接続している。音声圧縮部４８の出力は、多重回路１５に入力する。
【００２２】
図４に示されるように、受信側ＤＳＰ２７は、音声伸張部４９を備えている。分離回路２３の出力である受信音声信号２５は、音声伸張部４９に入力する。音声伸張部４９は、受信側基本周波数抽出部５１と受信側通話状況抽出部５２に接続している。受信側基本周波数抽出部５１は、受信側通話状況抽出部５２とともに受信側音声合成部５３に接続している。受信側音声合成部５３から出力する受信デジタル音声２９は、受信側第１Ｄ／Ａコンバータ３１に入力する。
【００２３】
電話としては、Ｗ−ＣＤＭＡ携帯電話が例示される。本発明によるＴＶ電話の音声変換方法の通信は、送受信時の音声通話モードと、送受信時のＴＶ電話モードの２つのモードを切換自在に有している。
送信時音声通話モード：
マイクロホン４が出力する送信アナログ音声１１は、送信側第２Ａ／Ｄコンバータ９でデジタル変換され、送信側ＤＳＰ１４で圧縮される。この圧縮の際に、送信側第２Ａ／Ｄコンバータ９でデジタル変換された送信ディジタル音声１２は、送信側ＤＳＰ１４の送信側音声合成部４７を通過して、声音変換動作を受けない。ハンズフリーで通話している場合は、エコーキャンセラー１３でそのエコー信号は除去される。音声通信のみが行われている場合、送信ディジタル音声１２のみが多重回路１５を経由して変調部１７でＱＳＰＫ変調される。変調部１７で変調された変調信号１８は、送信部１９で送信周波数に変換され増幅されて、アンテナスイッチ２を介してアンテナ１より送信される。
【００２４】
送信時テレビ電話モード：
ビデオカメラ３で撮影されたアナログ映像信号６が送信側第１Ａ／Ｄコンバータ５でデジタル変換されて送信側第１Ａ／Ｄコンバータ５から出力される送信デジタル映像７は、映像圧縮回路８で帯域圧縮される。このように帯域圧縮された圧縮映像は多重回路１５で圧縮化された圧縮音声と多重化され、圧縮化された圧縮映像と圧縮音声は、変調部１７で変調され送信部１９で周波数変換されて、アンテナ１から送出される。送信ディジタル音声１２は、送信側ＤＳＰ１４で音声変更を受け得る。ハンズフリーで通話している場合は、エコーキャンセラー１３でそのエコー信号は除去される。
【００２５】
受信時電話モード：
アンテナ１で受信した受信電波は、アンテナスイッチ２を経て受信部２１に入力され、受信部２１でその受信電波の増幅と周波数同調が行われ、受信部２１から取り出された変調信号は復調部２２でＱＰＳＫ復調される。このようにＱＰＳＫ復調された受信デジタル音声は分離回路２３を経由し、受信側ＤＳＰ２７の音声伸張部４９で伸張される。音声伸張された伸張音声５４は、これが声音変換されない場合は、図４の受信側音声合成部５３で音声合成されず受信側音声合成部５３を単に通過する。伸張音声５４は、これが声音変換される場合は、受信側音声合成部５３で音声合成される。音声合成され、又は、音声合成されずに受信側音声合成部５３から出力される受信デジタル音声２９は、受信側第１Ｄ／Ａコンバータ３１でアナログ音声に変換されてスピーカ３２から出力される。受信デジタル音声２９は、ハンズフリーで使われているときは、ハンズフリー用スピーカ３３から出力される。
【００２６】
受信時テレビ電話モード：
復調信号２４は、分離回路２３で受信音声信号２５と受信映像信号２６とに分離され、送信時に圧縮されている受信映像信号２６は映像伸張回路２８で伸張され、映像伸張回路２８で伸張された伸張映像３４は、受信側第２Ｄ／Ａコンバータ３５で受信アナログ映像３６に変換されてディスプレイ３７で表示される。
【００２７】
音声通話のみの場合に声色が変えられると、通話相手はこちらの端末の通話者が誰であるかわからなくなって、誤解されたり犯罪に利用される恐れがある。このような恐れがないように、音声通話モードでは音色の変換は行ってはならない。受話時の意思による受話声音の音声変換には、問題は全く発生しない。
【００２８】
テレビ電話モード時の声色変更とは、声帯模写のように送話者や通信相手の音声を違う人の声色に変換したり、相手に聞いて欲しいか又は聞きやすい声質に変換することである。図１に示される声色データ蓄積部３９には、発声者の声色データが複数格納されている。このような音色データは、人が発声した声がサンプリングされてスペクトル分析され、その声色を特徴づけているスペクトル情報が所定のデータ形式で記述されているデータである。声色変更時は、好みの声色データがＣＰＵバス５５を経由して声色データ蓄積部３９から読み出される。その好みの声音データは、受話変更の場合には送信側ＤＳＰ１４に転送される。声色データは、受話変更の場合には受信側ＤＳＰ２７に転送される。送話声色変更の場合には、図３に示されるように、音声圧縮部４８で音声圧縮処理される前に、声色データに基づいてデジタル音声信号の声色が変更される。受話声色変更の場合には、図４に示されるように、音声伸張部４９で声伸張処理された後に、声色データに基づいてデジタル音声信号５４が変更される。ハンズフリーで使われているときは、ハンズフリー用スピーカ３３から出力される。
【００２９】
図３と図４は、声音変換方法を示している。図３に示される送話変更の際には、エコーキャンセラー１３から送られてくる送信ディジタル音声１２は、基本周波数抽出部４５と通話状況抽出部４６に送られる。基本周波数抽出部４５では、送話者の基本周波数が逐次に抽出される。その基本周波数は、送話者の音程を決定する声帯波中の周波数成分である。通話状況抽出部４６は、送話者の声の強弱のような通話状況を抽出する。送信側音声合成部４７は、基本周波数が基本周波数抽出部４５で抽出された周波数に一致し、振幅変化が通話状況抽出部４６の分析結果に対応し、スペクトル特性がＣＰＵバス５５の声色データに従った合成音声データ５６を生成する。このように合成された合成音声データ５６が、送話者のデジタル音声信号として送信側音声合成部４７から出力され、音声圧縮部４８で圧縮される。受話変更の際には、受信音声信号２５は、音声伸張部４９で音声伸張された後に、受信側基本周波数抽出部５１と受信側通話状況抽出部５２と声色データとにより、既述された通りの合成処理を受ける。
【００３０】
図５は、本発明によるＴＶ電話の音声変換方法の実施の形態を示し、特に、送話者の声色変換の変更方法を示している。ステップＳ１で操作部４２から手入力により声色変更の指示を受けるＣＰＵ３８は、送話者の声色の変更か受話者の声色の変更かを確認し（ステップＳ２）、その指示が受話者側の声色変更である場合には、ステップＳ３で声色モードを選択してその声音変換を実行する（ステップＳ４）。送話者側の声色変更の場合には（ステップＳ２）、テレビ電話モードかどうか確認し（ステップＳ５）、テレビ電話モードではない場合には、声色変更は行われない（ステップＳ６）。テレビ電話モードが選択されている場合には、ＣＰＵ３８は声色モードを選択して（ステップＳ７）、音声変更を実行する（ステップＳ８）。音声変更の実行中は、図２（ｂ）に示されるように、ディスプレイ３７に”音声変更中”を表示する。
【００３１】
送話側の音声変更を行う場合、その送話者は自分の声が声色変更を行うことによってどのように変化するかを知りたい。テレビ電話モードで、マイクロホン４に入力された送話者の音声は送信側第２Ａ／Ｄコンバータ９でデジタル変換される。この場合には、エコーキャンセラー１３は使わないので、エコーキャンセラー機能を動作させず音声信号を通過させた後、送信側ＤＳＰ１４で送話者側声色変更を行う。送話側声色変更が行われた音声信号５６は、ＣＰＵ３８のバスを経由してＥＥＰＲＯＭ、ＦＬＡＳＨ・ＲＯＭのような記憶媒体を用いた声色確認用一時蓄積部４１に映像と共に蓄積される。次に、一時的に蓄積した音声は、受信側ＤＳＰ２７に入力され、受信側ＤＳＰ２７の音声伸張部４９で音声伸張され、このように伸張された自己音声は、受信側基本周波数抽出部５１と受信側通話状況抽出部５２と音声合成部５３とを素通りして、受信側第１Ｄ／Ａコンバータ３１でアナログ音声信号に変換され、スピーカ３２又はハンズフリー用スピーカ３３から出力される。送話者は、このような変更自己音声を聞くことにより、変更の程度と変更後の音質を確認することができる。
【００３２】
特開平６−１６４４５４（伝送システム、加入者端末ユニット及びサブバンドエコーキャンセラー）のような技術が図６に示されるように、入力音声信号を複数の帯域に分けてエコーキャンセラーの処理を行うサブバンド符号化６１を用いるエコーキャンセラー６２が知られている。このようなエコーキャンセラーは、本発明によるＴＶ電話の音声変換システムが用いるエコーキャンセラ１３として利用することができる。このようなサブバンド符号化処理６１による帯域分割を利用して、各帯域毎に振幅を変えることによって、自分が相手に聞いて欲しい声や、相手にとって聞きやすい声に変換することができる。
【００３３】
テレビ電話では、映像によって、通話相手の確認ができるので、テレビ電話モードでのみ、送信する声音を変えることができるようにすることにより、連絡用途だけではなく、楽しみで通話を行うことができ、映画の吹き替えのような楽しみ方が可能になる。自分の声を相手に聞いて欲しいと思う声に変えたり、明瞭な声に変えることもできる。
【００３４】
【発明の効果】
本発明によるＴＶ電話の音声変換システム、及び、その音声変換方法は、犯罪を誘発せずに声音変換を取り入れた電話通信の技術を確立することができる。
【図面の簡単な説明】
【図１】図１は、本発明によるＴＶ電話の音声変換システムの実施の形態を示す回路ブロック図である。
【図２】図２（ａ），（ｂ）は、ＴＶ携帯電話の２態様の外観をそれぞれに示す正面図である。
【図３】図３は、送信側の音声変換回路を示す回路ブロック図である。
【図４】図４は、受信側の音声変換回路を示す回路ブロック図である。
【図５】図５は、本発明によるＴＶ電話の音声変換方法の実施の形態を示す動作フロー図である。
【図６】図６は、エコーキャンセラーを示す回路ブロック図である。
【符号の説明】
６…送信映像
１１…送信音声
１４…送信変更ユニット
１９…映像送信ユニット（音声送信ユニット）
２１…映像受信ユニット（音声受信ユニット）
２５…受信音声
２６…受信映像
２７…受信変更ユニット
３７…表示部
３８…変換ユニット（ＣＰＵ）
３９…声音データ蓄積部
４１…声音蓄積部
４２…操作部
【図１】
0004110564.tif 000002
【図２】
0004110564.tif 000003
【図３】
0004110564.tif 000004
【図４】
0004110564.tif 000005
【図５】
0004110564.tif 000006
【図６】
0004110564.tif 000007