(57)【特許請求の範囲】
【請求項１】
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、を備え、
前記装置は、形状を切り替えて利用可能な端末であって、
前記利用状態検出手段は、前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出する、
ことを特徴とする情報処理装置。
【請求項２】
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、を備え、
前記装置は、エコーキャンセラ機能を有するものであって、
前記利用状態検出手段は、前記エコーキャンセラ機能を要する利用状態であるかエコーキャンセラ機能を不要とする利用状態であるかを検出するとともに、前記エコーキャンセラ機能の要から不要又は不要から要への変化を検出し、
前記装置は、ヘッドホン用ジャックを備え、
前記利用状態検出手段は、前記ヘッドホン用ジャックが利用されているか否かを検出し、前記ヘッドホン用ジャックが利用されていないときは、前記エコーキャンセラ機能を要する利用状態であり、前記ヘッドホン用ジャックが利用されているときは、前記エコーキャンセラ機能を不要とする利用状態であると判別することにより、前記装置の利用状態を検出する、
ことを特徴とする情報処理装置。
【請求項３】
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、
前記音源分離手段の動作を制御するための情報を記憶する記憶手段と、を備え、
前記性能劣化防止手段は、前記記憶手段に、前記音源分離手段の動作を制御するための情報として、前記スイッチ手段の選択したスイッチ設定と設定した未利用チャネルとの情報を記録し、
前記音源分離手段は、前記記憶手段に記録された未利用チャネルの情報を参照して、利用可能な音声入力チャネルと未利用チャネルとを判別し、利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する、
ことを特徴とする情報処理装置。
【請求項４】
前記音源分離手段は、前記性能劣化防止手段が設定した前記未利用チャネルの音を無音としてエコーキャンセラ処理を行い、目的とする音を分離抽出する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、を備えた情報処理装置の音源分離方法であって、
スイッチ設定に従って前記スイッチ手段を制御するステップと、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出するステップと、
前記情報処理装置の利用状態を検出するステップと、
前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択するステップと、
前記複数の音声入力チャネルのうち、利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う性能の劣化を防止するステップと、を備え、
前記情報処理装置は、形状を切り替えて利用可能な端末であって、
前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出するステップを備える、
ことを特徴とする情報処理装置の音源分離方法。
【請求項６】
コンピュータに、
情報処理装置に備えられた複数のマイクにより、音を集音してマイク入力信号を出力する手順、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号をスイッチ手段を用いて選択出力する手順、
スイッチ設定に従って前記スイッチ手段を制御する手順、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を、複数の音声入力チャネルを介して入力する手順、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する手順、
前記情報処理装置の利用状態を検出する手順、
前記情報処理装置の利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択する手順、
前記複数の音声入力チャネルのうち、利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う性能の劣化を防止する手順、
を実行させ、
前記情報処理装置は、形状を切り替えて利用可能な端末であって、
前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出する手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声情報を処理可能な情報処理装置、情報処理装置の音源分離方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、複数のマイクを利用して取得した音から、周辺の雑音を除去し、目的とする音のみを復元する音源分離技術を利用した情報処理装置がある（例えば、非特許文献１参照）。この音源分離技術は、エコーキャンセラ（以後、「ＥＣ」と記す。）機能を組み合わせることにより、ＴＶ会議やＴＶ電話システムなどに利用される。
【０００３】
情報処理装置は、一定期間に複数のマイクで取得した音等の音声データを用いて音源分離処理を行い、音源分離処理後の音声を出力する。
【０００４】
このようなＴＶ電話システム等を携帯端末に搭載する場合、エコーと同じ音声のＥＣ参照信号を入力する必要があり、低コスト化等のため、情報処理装置は、Ａ／Ｄ変換機の数を増やさないように、複数の音声入力チャネルの１つをＥＣ参照信号入力用に切り替えるように構成される。
【０００５】
携帯端末を用いてＴＶ電話を行う場合、ユーザがヘッドホンで通話相手の声を聞く状態（ＥＣ機能が必要ない状態）からヘッドホンを外してスピーカで通話相手の声を聞く状態（ＥＣ機能が必要ある状態）に変更した際に、ＥＣ参照信号入力チャネルの音声データはマイク入力信号からＥＣ参照信号に切り替える。ここで、ＥＣ参照信号入力用に切り替えられる音声入力チャネルを「ＥＣ参照信号入力チャネル」と定義する。
【非特許文献１】戸上真人, 天野明雄, 新庄広, 鴨志田亮太, “人間共生ロボットEMIEWの聴覚機能,”人工知能学会, pp.59-64, 2005/10/14
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、切り替えるタイミングによって音源分離処理に使用される１つのフレーム（音源分離処理１回分に利用される音声データ）の中に、マイク入力信号とEC参照信号の２種類の信号が存在してしまい、音源分離処理が不正になり、雑音除去性能が劣化してしまう問題がある。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、マイク入力信号とＥＣ参照信号とを切り替える場合であっても雑音除去性能の劣化を防止することが可能な情報処理装置、情報処理装置の音源分離方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するため、本発明の第１の観点に係る情報処理装置は、
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、を備え、
前記装置は、形状を切り替えて利用可能な端末であって、
前記利用状態検出手段は、前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出する、ことを特徴とする。
【００１１】
本発明の第２の観点に係る情報処理装置は、
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、を備え、
前記装置は、エコーキャンセラ機能を有するものであって、
前記利用状態検出手段は、前記エコーキャンセラ機能を要する利用状態であるかエコーキャンセラ機能を不要とする利用状態であるかを検出するとともに、前記エコーキャンセラ機能の要から不要又は不要から要への変化を検出し、
前記装置は、ヘッドホン用ジャックを備え、
前記利用状態検出手段は、前記ヘッドホン用ジャックが利用されているか否かを検出し、前記ヘッドホン用ジャックが利用されていないときは、前記エコーキャンセラ機能を要する利用状態であり、前記ヘッドホン用ジャックが利用されているときは、前記エコーキャンセラ機能を不要とする利用状態であると判別することにより、前記装置の利用状態を検出する、ことを特徴とする。
【００１２】
本発明の第３の観点に係る情報処理装置は、
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する音源分離手段と、
装置の利用状態を検出する利用状態検出手段と、
前記利用状態検出手段が前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択し、前記音声入力手段が有する前記複数の音声入力チャネルのうち、前記音源分離手段が利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う音源分離処理の性能劣化を防止する性能劣化防止手段と、
前記音源分離手段の動作を制御するための情報を記憶する記憶手段と、を備え、
前記性能劣化防止手段は、前記記憶手段に、前記音源分離手段の動作を制御するための情報として、前記スイッチ手段の選択したスイッチ設定と設定した未利用チャネルとの情報を記録し、
前記音源分離手段は、前記記憶手段に記録された未利用チャネルの情報を参照して、利用可能な音声入力チャネルと未利用チャネルとを判別し、利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する、ことを特徴とする。
【００１３】
前記音源分離手段は、前記性能劣化防止手段が設定した前記未利用チャネルの音を無音としてエコーキャンセラ処理を行い、目的とする音を分離抽出するようにしてもよい。
【００１４】
本発明の第４の観点に係る情報処理装置の音源分離方法は、
音を集音してマイク入力信号を出力する複数のマイクと、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号を選択出力するスイッチ手段と、
スイッチ設定に従って前記スイッチ手段を制御するスイッチ制御手段と、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を複数の音声入力チャネルを介して入力する音声入力手段と、を備えた情報処理装置の音源分離方法であって、
スイッチ設定に従って前記スイッチ手段を制御するステップと、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出するステップと、
前記情報処理装置の利用状態を検出するステップと、
前記利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択するステップと、
前記複数の音声入力チャネルのうち、利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う性能の劣化を防止するステップと、を備え、
前記情報処理装置は、形状を切り替えて利用可能な端末であって、
前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出するステップを備える、ことを特徴とする。
【００１５】
本発明の第５の観点に係るプログラムは、
コンピュータに、
情報処理装置に備えられた複数のマイクにより、音を集音してマイク入力信号を出力する手順、
エコーキャンセラ参照信号又は前記複数のマイクがそれぞれ出力した前記マイク入力信号をスイッチ手段を用いて選択出力する手順、
スイッチ設定に従って前記スイッチ手段を制御する手順、
前記複数のマイクに対応する複数の音声入力チャネルを有し、前記スイッチ手段によって選択出力された信号を、複数の音声入力チャネルを介して入力する手順、
設定された利用可能な音声入力チャネルを通過した前記マイク入力信号又は前記エコーキャンセラ参照信号を用いてエコーキャンセラ処理を行い、目的とする音を分離抽出する手順、
前記情報処理装置の利用状態を検出する手順、
前記情報処理装置の利用状態の変化を検出したとき、前記利用状態の変化に基づいて前記スイッチ設定を選択する手順、
前記複数の音声入力チャネルのうち、利用可能な音声入力チャネルを設定するとともに、前記利用状態の変化に伴って変化する信号の音声入力チャネルを、予め設定された待機時間だけ、利用不能な未利用チャネルに設定することにより前記利用状態の変化に伴う性能の劣化を防止する手順、
を実行させ、
前記情報処理装置は、形状を切り替えて利用可能な端末であって、
前記端末の形状を検出し、前記端末の形状が切り替えられたときに前記利用状態の変化を検出する手順、
を実行させるためのものである。
【発明の効果】
【００１６】
本発明によれば、マイク入力信号とＥＣ参照信号とを切り替える場合であっても雑音除去性能の劣化を防止することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態に係る情報処理装置を図面を参照して説明する。尚、本実施形態では、情報処理装置を携帯端末１に適用する例について説明する。
【００１８】
本実施形態に係る携帯端末の構成を図１に示す。
本実施形態に係る携帯端末は、無線通信部１１と、音声入力部１２と、音声出力部１３と、スピーカ１４と、ヘッドホン用ジャック１５と、記憶部１６と、操作部１７と、撮像部１８と、表示部１９と、利用状態検出部２０と、制御部２１と、バス２２と、によって構成される。
【００１９】
バス２２は、各部間で相互にデータを伝送するためのものであり、無線通信部１１、音声入力部１２、音声出力部１３、記憶部１６、操作部１７、撮像部１８、表示部１９、利用状態検出部２０、制御部２１は、バスを介して接続される。
【００２０】
この携帯端末１は、ＴＶ電話機能を備える携帯電話装置であり、例えば、図２（ａ），（ｂ）に示すように上側筐体５１と下側筐体５２とに分かれた画面回転式で折り畳み可能なものである。
【００２１】
上側筐体５１には、表示部１９等が実装され、下側筐体５２には、操作部１７等が実装される。これら上側筐体５１と下側筐体５２はヒンジ部５３で接続される。
【００２２】
この携帯端末１は、図２（ａ），（ｂ）に示すように、ユーザが携帯端末１を開いた状態で手に持ち、ＴＶ電話を行う端末利用状態、あるいは、図３（ａ），（ｂ）に示すように、携帯端末１を閉じた状態で机の上に置き、ＴＶ電話を行う端末利用状態で利用される。
【００２３】
本実施形態では、図２（ａ），（ｂ）に示すような端末利用状態を「手持」とし、図３（ａ），（ｂ）に示すような端末利用状態を「卓上」とする。また、本実施形態では、携帯端末１の利用状態を「手持」から「卓上」に切り替えたり、「卓上」から「手持」に切り替えたりして端末利用状態が変化する場合を「形状切替中」と定義する。
【００２４】
本実施形態に係る携帯端末１は、この携帯端末１の端末利用状態の変化、あるいは、前述のＥＣ機能利用状態の変化を検出して、複数の音声入力チャネルのうちのいずれか１つをＥＣ参照信号入力用に切り替えるように構成されている。
【００２５】
また、本実施形態に係る携帯端末１は、この端末利用状態の変化、ＥＣ機能状態の変化を検出したときに、予め設定された待機期間中、音源分離処理に利用しない音声入力チャネルを設定することにより、複数のマイクから入力されたマイク入力信号とＥＣ参照信号とが混在しないように構成されている。
【００２６】
図１に戻り、無線通信部１１は、通話音声や撮像画像等を基地局を介して通話先に送信し、また、基地局を介して音声信号や画像データを通信相手から受信するものである。
【００２７】
音声入力部１２は、音声の入力処理を行うものであり、マイク１２０〜１２３と、スイッチＳＷ１，ＳＷ２と、Ａ／Ｄ変換器１２４と、を備える。
【００２８】
マイク１２０〜１２３は、それぞれ、音を集音してマイク入力信号を出力するものであり、集音した音の音声レベルに応じたマイク入力信号Ｓig０，Ｓig１，Ｓig２，Ｓig３を出力する。
【００２９】
携帯端末１が複数のマイクを備えるのは、音源分離処理により雑音を除去するためであり、本実施形態の音声入力部１２は、最良の雑音除去性能を得るため、一例として、４個のマイク１２０〜１２３を備えるものとする。
【００３０】
マイク１２０は、上側筐体５１に配置される。端末利用状態が図２（ａ），（ｂ）に示すような「手持」の場合、ユーザから見たときに、マイク１２１はマイク１２０から横方向に水平移動した右側に配置され、マイク１２２は、マイク１２１の裏に設置され、マイク１２３はマイク１２０から縦方向に移動した上側筐体５１の左側に配置される。
【００３１】
端末利用状態が図２（ａ），（ｂ）に示す「卓上」の場合、マイク１２１は、ユーザから見たときに、マイク１２３と同じ高さの下側筐体５２の上側に位置し、マイク１２２は、マイク１２１の裏に位置し、マイク１２０はマイク１２１から縦方向に移動した下側筐体５２の下側に位置する。
【００３２】
マイク１２３は、図２（ａ），（ｂ）に示すように、携帯端末１の利用状態が「手持」の場合、ＥＣ参照信号Ｒef入力用マイクとして利用される。マイク１２０は、図３（ａ），（ｂ）に示すように、閉じて机の上に置いてＴＶ電話を行う「卓上」の場合、ＥＣ参照信号Ｒefの取り込みを行うマイクとして利用される。
【００３３】
スイッチＳＷ１，ＳＷ２は、ＥＣ参照信号Ｒef又はマイク入力信号を選択出力するものであり、制御部２１によって制御される。本実施形態では、「手持」の時に利用するＥＣ参照信号入力チャネルと「卓上」の時に利用するＥＣ参照信用入力チャネルとを異なることとしたため、スイッチを２個とする。
【００３４】
スイッチＳＷ１は、マイク１２３のマイク入力信号Ｓig３とＥＣ参照信号Ｒefとを切り替えていずれか一方を選択出力するスイッチである。スイッチＳＷ２は、マイク１２１のマイク入力信号Ｓig０とＥＣ参照信号Ｒefとを切り替えていずれか一方を選択出力するスイッチである。
【００３５】
Ａ／Ｄ変換器１２４は、４つのマイク１２０〜１２３に対応する４つの音声入力チャネルch０、ch１、ch２、ch３を有し、各音声入力チャネルch０、ch１、ch２、ch３を介して信号を入力し、入力した信号をデジタルデータに変換するものである。
【００３６】
音声入力チャネルch０、ch１、ch２、ch３には、それぞれ、スイッチＳＷ２によって選択出力されたマイク入力信号Ｓig０又はＥＣ参照信号Ｒef、マイク入力信号Ｓig１，Ｓig２、スイッチＳＷ１によって選択出力されたマイク入力信号Ｓig３又はＥＣ参照信号Ｒefが供給される。
【００３７】
音声出力部１３は、制御部２１の制御下に、スピーカ１４、ヘッドホン用ジャック１５に音声を出力するものである。また、音声出力部１３は、スピーカ１４から出力される音声と同じ信号を、ＥＣ参照信号Ｒefとして音声入力部１２に供給する。
【００３８】
スピーカ１４は、音声出力部１３が出力した受話音声等を出力するものである。スピーカ１４は、図２（ｂ）、図３（ｂ）に示すように、下側筐体５２の背面に配置される。
【００３９】
ヘッドホン用ジャック１５は、ユーザがヘッドホンを使用して出力音声を聞くときに利用されるものであり、ヘッドホンプラグが差し込まれて利用される。ヘッドホン用ジャック１５は、図３（ｂ）に示すように、下側筐体５２の側面に配置される。
【００４０】
記憶部１６は、制御部２１のプログラムデータ、音声データ等を記憶するものであり、内蔵メモリ、外部メモリのいずれによって構成される。
【００４１】
記憶部１６は、プログラムデータとして、制御部２１が実行する制御プログラム、ＴＶ電話アプリケーションプログラム等のデータを記憶する。
【００４２】
また、記憶部１６は、音声データとして、Ａ／Ｄ変換器１２４が出力したデジタルデータを格納する。
【００４３】
また、記憶部１６は、動作モード情報１６１と、システム設定情報１６２と、を記憶する。
動作モード情報１６１は、音源分離部２１１の動作を制御するための情報であり、制御部２１又は性能劣化防止部２１２によって設定される。
【００４４】
動作モード情報１６１は、図４（ａ）に示すように、端末利用状態、ＥＣ機能利用状態、未利用チャネルの各項目（情報）を含む。
【００４５】
「端末利用状態」は、現在の携帯端末１の端末利用状態が「手持」、「卓上」、「形状切替中」のうちどの端末利用状態であるかを示す項目である。
【００４６】
「ＥＣ機能利用状態」は、現在のＥＣ機能利用状態を示す項目であり、ＥＣ機能が利用されている場合、ＥＣ機能利用状態の欄には「ＯＮ」の情報が記録され、ＥＣ機能が利用されていない場合、ＥＣ機能利用状態の欄には「ＯＦＦ」の情報が記録されて、ＥＣ機能利用状態が設定される。
【００４７】
ただし、ＥＣ機能を「ＯＮ」から「ＯＦＦ」に切り替えるか、あるいは、「ＯＦＦ」から「ＯＮ」に切り替える場合、性能劣化防止部２１２は、不正な音源分離処理を防止するため、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録する。
【００４８】
「未利用チャネル」は、音源分離処理に利用しないようにする音声入力チャネルを示す項目である。性能劣化防止部２１２は、この未利用チャネルの欄に未利用チャネルの情報を記録することにより未利用チャネルを設定し、音源分離部２１１は、この欄の情報を参照して、音源分離処理を行う。
【００４９】
システム設定情報１６２は、端末利用状態とＥＣ機能利用状態の変化が発生する際に、どの音声入力チャネルの信号が変化するか、どのようにＳＷ１、ＳＷ２を制御するかを示す情報である。
【００５０】
このシステム設定情報１６２は、ＴＶ電話システムを利用開始する前に予め設定され、記憶部１６に記憶され、図４（ｂ）に示すように、端末利用状態、ＥＣ機能利用状態、データ変化発生チャネル、スイッチ設定の各項目を含む。
【００５１】
「端末利用状態」は、端末利用状態を示すものであり、本実施携帯では、端末利用状態を「手持」と「卓上」と「形状切替中」との３通りの状態としたので、端末利用状態の欄には、「手持」、「卓上」、「形状切替中」の３通りの端末利用状態の情報が記録される。
【００５２】
「ＥＣ機能利用状態」は、動作モード情報１６１の「ＥＣ機能利用状態」と同様に、ＥＣ機能利用状態を示す項目であり、ＥＣ機能利用状態の欄には「ＯＮ」又は「ＯＦＦ」が記録される。
【００５３】
「データ変化発生チャネル」は、スイッチＳＷ１，ＳＷ２を切り替えることによってマイク入力信号Ｓig０又はＳig３がＥＣ参照信号Ｒefに、あるいは、ＥＣ参照信号Ｒefがマイク入力信号Ｓig０又はＳig３に変化する音声入力チャネルを示すものである。
【００５４】
端末利用状態が「手持」の場合、音声入力チャネルch３に信号の変化が発生するので、本実施形態では、「手持」の場合のデータ変化発生チャネルの欄には、「ch３」の情報が記録される。
【００５５】
同様に、端末利用状態が「卓上」の場合、音声入力チャネルch０に信号の変化が発生するので、「卓上」の場合のデータ変化発生チャネルの欄には、「ch０」の情報が記録される。
【００５６】
端末利用状態が「形状切替中」の場合、音声入力チャネルch０，ch３に信号の変化が発生するので、「形状切替中」の場合のデータ変化発生チャネルの欄には、「ch０、ch３」の情報が記録される。
【００５７】
「スイッチ設定」は、各端末利用状態、各ＥＣ機能利用状態において、スイッチＳＷ１、ＳＷ２の制御を示すものである。本実施形態では、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」のときに、音声入力チャネルch３がＥＣ参照信号入力用チャネルに切り替えられるようにする。
【００５８】
このため、スイッチＳＷ１によってＥＣ参照信号Ｒefが選択され、スイッチＳＷ２によってマイク入力信号Sig０が選択されるように、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合のスイッチ設定欄には「ＳＷ１＝Ｒef、ＳＷ２＝Ｓig０」の情報が記録される。
【００５９】
同様に、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＦＦ」のとき、スイッチＳＷ１によってマイク入力信号Ｓig３が選択され、スイッチＳＷ２によってマイク入力信号Ｓig０が選択されるように、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＦＦ」の行のスイッチ設定欄には「ＳＷ１＝Ｓig３、ＳＷ２＝Ｓig０」の情報が記録される。
【００６０】
また、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＮ」のとき、スイッチＳＷ１によってマイク入力信号Ｓig３が選択され、スイッチＳＷ２によってＥＣ参照信号Ｒefが選択されるように、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＮ」の行のスイッチ設定欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｒef」の情報が記録される。
【００６１】
また、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＦＦ」のときにスイッチＳＷ１によってマイク入力信号Ｓig３が選択され、スイッチＳＷ２によってマイク入力信号Ｓig０が選択されるように、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＦＦ」の行のスイッチ設定欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｓig０」の情報が記録される。
【００６２】
なお、端末利用状態＝形状切替中、ＥＣ機能利用状態＝「ＯＮ」のときには、スイッチ設定の変更を行わないようにするため、端末利用状態＝形状切替中、ＥＣ機能利用状態＝「ＯＮ」の場合のスイッチ設定欄には、「設定なし」の情報が記録される。
【００６３】
操作部１７は、キーボード等によって構成され、データや指示を入力するものであり、図２（ａ）に示すように、携帯端末１の下側筐体５２に配置される。操作部１７は、入力されたデータや操作情報を制御部２１に供給する。
【００６４】
撮像部１８は、カメラ等によって構成され、制御部２１の制御下に、撮像して画像を取得するものである。この撮像部１８のレンズ、シャッタ機構等（図示せず）は、例えば、下側筐体５２に配置される。
【００６５】
表示部１９は、ＬＣＤパネルとドライバ回路等とによって構成され、無線通信部１１から取得したＴＶ電話の通信相手の画像等を表示するものであり、図２（ａ）に示すように、携帯端末１の上側筐体５１に配置される。
【００６６】
利用状態検出部２０は、制御部２１の制御下において、装置の利用状態として、端末利用状態とＥＣ機能利用状態とを検出するものである。
【００６７】
利用状態検出部２０は、ヒンジ部５３に携帯端末１が開いているか閉じているかを検出するセンサ（図示せず）を含み、このセンサの検出信号に基づいて、「手持」になっているか「卓上」になっているか、その端末利用状態を検出する。
【００６８】
利用状態検出部２０は、ヘッドホン用ジャック１５の状態を検出することにより、ＥＣ機能利用状態が「ＯＮ」か「ＯＦＦ」かを検出する。
【００６９】
音声出力部１８は、音声出力の切り替えを行うスイッチ（図示せず）を内蔵し、ヘッドホンプラグが差し込まれると、スイッチは、ヘッドホンプラグ側に音声信号を出力し、差し込まれていないと、スイッチはスピーカ１４側に音声信号を出力する。
【００７０】
利用状態検出部２０は、このスイッチの切り替えを検出することにより、ヘッドホン用ジャック１５の状態を検出する。
【００７１】
ヘッドホンプラグがヘッドホン用ジャック１５に差し込まれている場合、ユーザがヘッドホンで通話相手の声を聞いていることになり、利用状態検出部２０は、ヘッドホン用ジャック１５が利用されていると判別する。
【００７２】
このような場合、通話相手の声がマイク１２０〜１２３に拾われないので、ＥＣ機能を働かせる必要はない。従って、利用状態検出部２０は、ヘッドホン用ジャック１５が利用されている場合、ＥＣ機能利用状態の検出結果を「ＯＦＦ」とする。
【００７３】
また、ヘッドホンプラグがヘッドホン用ジャック１５から引き抜かれている場合、ユーザがスピーカ１４で通話相手の声を聞いていることになり、この場合、利用状態検出部２０は、ヘッドホン用ジャック１５が利用されていないと判別する。
【００７４】
このような場合、ＥＣ機能を働かせて通話相手の声をキャンセルする必要がある。従って、利用状態検出部２０は、ヘッドホン用ジャック１５が利用されていない場合、ＥＣ機能利用状態の検出結果を「ＯＮ」とする。
【００７５】
利用状態検出部２０は、端末利用状態の検出結果を記憶部１６の動作モード情報１６１の端末利用状態の欄に記録し、ＥＣ機能利用状態の検出結果をＥＣ機能利用状態の欄に記録する。
【００７６】
また、利用状態検出部２０は、端末利用状態の変化を検出したとき、ＥＣ機能利用状態の変化を検出したとき、この端末利用状態、ＥＣ機能利用状態の変化を制御部２１に通知する。
【００７７】
本実施形態では、マイク入力信号又はＥＣ参照信号が切り替わるときの変化パターンを、図５に示すように４通りとし、利用状態検出部２０は、この変化パターンに従って、変化を通知するための変化通知信号を制御部２１の性能劣化防止部２１２に供給する。
【００７８】
制御部２１は、ＣＰＵ（Central Processing Unit）等から構成され、記憶部１６が記憶する動作プログラムに従って、携帯端末１全体を制御する。
【００７９】
制御部２１は、利用状態検出部２０に、端末利用状態、ＥＣ機能利用状態の検出を依頼する。制御部２１は、利用状態検出部２０から利用状態検出終了の通知を受け取ると、図４（ａ）に示す動作モード情報１６１を参照する。
【００８０】
制御部２１は、動作モード情報１６１を参照した結果、現在の端末利用状態、ＥＣ機能利用状態を判別し、判別した端末利用状態、ＥＣ機能利用状態に基づいてシステム設定情報１６２のスイッチ設定の欄を参照する。そして、このスイッチ設定の欄に記録された情報に基づいてスイッチＳＷ１，ＳＷ２を制御する。
【００８１】
また、制御部２１は、このようにスイッチＳＷ１，ＳＷ２を制御すると、音声入力取り込み処理を行う。制御部２１は、音声入力取り込み処理を１フレーム毎に行う。
【００８２】
この制御部２１は、音源分離部２１１と、性能劣化防止部２１２と、を備え、音声入力を１フレーム毎に取り込む毎に、音源分離部２１１に音源取得完了通知を発行する。
【００８３】
音源分離部２１１は、制御部２１から音源取得完了通知が発行されて、音声入力部１２が入力した音を処理し、予め設定されている特定領域から到来した目的とする音のみを分離抽出するものである。音源分離部２１１は、制御部２１から音源取得完了通知が発行され、処理開始の指示を受け、記憶部１６に記憶された図４（ａ）に示す動作モード情報１６１に基づいてＥＣ処理および音源分離処理を行う。
【００８４】
音源分離部２１１は、動作モード情報１６１の端末利用状態の欄に記録された「端末利用状態」とＥＣ機能利用状態の欄に記録された「ＥＣ機能利用状態」とに基づいて、図４（ｂ）に示すシステム設定情報１６２を参照する。
【００８５】
音源分離部２１１は、ＥＣ機能利用状態が「ＯＦＦ」の場合、すべての音声入力チャネルch０〜ch３の信号を用いて音源分離処理を行う。
【００８６】
音源分離部２１１は、ＥＣ機能利用状態が「ＯＮ」の場合、システム設定情報１６２のデータ変化発生チャネルの欄に記録されているデータ変化発生チャネルをＥＣ参照信号チャネルとして、ＥＣ処理を行う。音源分離部２１１は、ＥＣ処理を行うと、ＥＣ処理後の音声データを用いて音源分離処理を行う。
【００８７】
また、音源分離部２１１は、ＥＣ機能利用状態の欄に「ＥＣ切替中」の情報が記録されている場合、あるいは、端末利用状態の欄に「形状切替中」の情報が記録されている場合、図４（ａ）に示す動作モード情報１６１の未利用チャネルの欄に記録されている情報を参照する。
【００８８】
音源分離部２１１は、未利用チャネルの欄に記録されている音声入力チャネルのデータを使用せずに、残り音声入力チャネルのデータを使用して音源分離処理を行う。
【００８９】
音源分離部２１１は、音源分離処理を行うと、処理した結果のデータを記憶部１６に記憶し、制御部２１は、記憶部１６に記憶されたデータを無線通信部１１に伝送し、ＴＶ電話の通信相手に送信するように無線通信部１１を制御する。
【００９０】
性能劣化防止部２１２は、利用状態検出部２０から供給された変化通知信号の種別に基づいて音声入力部１２のスイッチＳＷ１，ＳＷ２を切り替え、これにより音源分離部２１１の動作を制御し、雑音除去性能の劣化を防止するものである。
【００９１】
具体的に、性能劣化防止部２１２は、利用状態検出部２０から変化通知信号が供給されると、この信号の種別を判別する。
【００９２】
性能劣化防止部２１２は、判別した変化通知信号の種別に基づいて図４（ｂ）に示すシステム設定情報１６２を参照し、この欄に記録された情報に基づいてスイッチＳＷ１，ＳＷ２のスイッチ設定を選択する。
【００９３】
即ち、変化通知信号の種別がEC_ON信号又はEC_OFF信号の場合、性能劣化防止部２１２は、図４（ａ）に示す動作モード情報１６１の端末利用状態の欄を参照する。
【００９４】
性能劣化防止部２１２は、この欄に記録されている端末利用状態と変化通知信号が示すＥＣ機能利用状態とに基づいて、図４（ｂ）に示すシステム設定情報１６２のスイッチ設定の欄を参照する。そして、性能劣化防止部２１２は、この欄に記録された情報に基づいてスイッチＳＷ１，ＳＷ２のスイッチ設定を選択する。
【００９５】
変化通知信号の種別が手持状態信号又は卓上状態信号の場合、性能劣化防止部２１２は、図４（ｂ）に示すシステム設定情報１６２のスイッチ設定の欄を参照し、この欄に記録された情報に基づいてスイッチＳＷ１，ＳＷ２のスイッチ設定を選択する。
【００９６】
スイッチ設定を選択すると、性能劣化防止部２１２は、図４（ａ）に示す動作モード情報１６１のＥＣ機能利用状態の欄又は端末利用状態の欄に情報を記録する。
【００９７】
変化通知信号の種別がEC_ON信号又はEC_OFF信号の場合、性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録し、手持状態信号又は卓上状態信号の場合、端末利用状態の欄に「形状切替中」の情報を記録する。
【００９８】
ＥＣ機能利用状態の欄又は端末利用状態の欄に情報を記録すると、性能劣化防止部２１２は、システム設定情報１６２のデータ変化発生チャネルの欄を参照し、このデータ変化発生チャネルを動作モード情報１６１の未利用チャネルの欄に記録する。
【００９９】
性能劣化防止部２１２は、変化通知信号が供給されてから予め設定された時間経過するまで待機する。
【０１００】
待機後、性能劣化防止部２１２は、変化通知信号の種別がEC_ON信号の場合、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＮ」の情報を記録し、EC_OFF信号のときは、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＦＦ」の情報を記録する。そして、性能劣化防止部２１２は、動作モード情報１６１の未利用チャネルの欄に「なし」の情報を記録する。
【０１０１】
また、変化通知信号の種別が手持状態信号の場合、性能劣化防止部２１２は、端末利用状態の欄に「手持」の情報を記録し、卓上状態信号のときは、端末利用状態の欄に「卓上」の情報を記録する。そして、性能劣化防止部２１２は、動作モード情報１６１の未利用チャネルの欄に「なし」の情報を記録する。
性能劣化防止部２１２は、このようにして音源分離部２１１の動作を制御する。
【０１０２】
次に実施形態に係る携帯端末１の動作を説明する。
ユーザが操作部１７を操作してＴＶ電話の開始を指示すると、操作部１７は、この操作情報を制御部２１に供給する。
【０１０３】
制御部２１は、操作部１７から供給された操作情報に基づいて記憶部１６からＴＶ電話処理のプログラムデータを読み出し、図６に示すフローチャートに従い、このＴＶ電話処理を実行する。
【０１０４】
制御部２１は、利用状態検出部２０に、携帯端末１の現在の利用状態を検出するように依頼する（ステップＳ１１）。
【０１０５】
利用状態検出部２０は、この依頼を受信すると、図７に示すフローチャートに従い、利用状態検出処理を実行する。
【０１０６】
利用状態検出部２０は、ヒンジ部５３に設けられたセンサからセンサ信号に基づいて携帯端末１の端末利用状態を検出する（ステップＳ３１）。
【０１０７】
利用状態検出部２０は、動作モード情報１６１の端末利用状態の欄に、検出した端末利用状態の情報「手持」又は「卓上」の情報を記録する（ステップＳ３２）。
【０１０８】
利用状態検出部２０は、ヘッドホン用ジャック１５の利用状態に基づいてＥＣ機能利用状態を検出する（ステップＳ３３）。
【０１０９】
利用状態検出部２０は、動作モード情報１６１のＥＣ機能利用状態の欄に、検出したＥＣ機能利用状態の情報「ＯＮ」又は「ＯＦＦ」の情報を記録する（ステップＳ３４）。
【０１１０】
利用状態検出部２０は、制御部２１に利用状態検出終了を通知し（ステップＳ３５）、この利用状態検出処理を終了させる。
【０１１１】
制御部２１は、利用状態検出部２０から利用状態検出終了の通知を受け取ると、動作モード情報１６１の端末利用状態の欄を参照して端末利用状態が「手持」であるか否かを判別する（ステップＳ１３）。
【０１１２】
端末利用状態が「手持」であると判別した場合（ステップＳ１３；Ｙｅｓ）、制御部２１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照してＥＣ機能利用状態が「ＯＮ」か否かを判別する（ステップＳ１４）。
【０１１３】
ＥＣ機能利用状態が「ＯＮ」と判別した場合（ステップＳ１４；Ｙｅｓ）、制御部２１は、システム設定情報１６２のスイッチ設定の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ参照信号Ｒefを選択するようにスイッチＳＷ１を制御し、音声信号Ｓig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１５）。
【０１１４】
ＥＣ機能利用状態が「ＯＦＦ」と判別した場合（ステップＳ１４；Ｎｏ）、制御部２１は、システム設定情報１６２のスイッチ設定の欄を参照し、この欄に記録されている情報に基づいて、音声信号Ｓig３を選択するようにスイッチＳＷ１を制御し、音声信号Ｓig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１６）。
【０１１５】
端末利用状態が「手持」ではないと判別した場合（ステップＳ１３；Ｎｏ）、制御部２１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ機能利用状態が「ＯＮ」か否かを判別する（ステップＳ１７）。
【０１１６】
ＥＣ機能利用状態が「ＯＮ」と判別した場合（ステップＳ１７；Ｙｅｓ）、制御部２１は、システム設定情報１６２のスイッチ設定の欄を参照し、この欄に記録されている情報に基づいて、音声信号Ｓig３を選択するようにスイッチＳＷ１を制御し、ＥＣ参照信号Ｒefを選択するようにスイッチＳＷ２を制御する（ステップＳ１８）。
【０１１７】
ＥＣ機能利用状態が「ＯＦＦ」と判別した場合（ステップＳ１８；Ｎｏ）、制御部２１は、システム設定情報１６２のスイッチ設定の欄を参照し、この欄に記録されている情報に基づいて、音声信号Ｓig３を選択するようにスイッチＳＷ１を制御し、音声信号Ｓig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１９）。
【０１１８】
制御部２１は、このようにスイッチＳＷ１，ＳＷ２を制御すると、音声取り込み処理を実行する（ステップＳ２０）。
【０１１９】
制御部２１は、図８に示すフローチャートに従い、この音声取り込み処理を実行する。
制御部２１は、音声入力部１２から１フレーム分の音声データを取得する（ステップＳ４１）。
【０１２０】
制御部２１は、１フレーム分の音声データを取得すると、音源分離部２１１に音声取得完了通知を発行する（ステップＳ４２）。制御部２１は、フレーム毎に、このステップＳ４１，Ｓ４２の処理を繰り返す。
【０１２１】
音源分離部２１１は、制御部２１から音声取得完了通知を受けると、図９〜１１に示すフローチャートに従い、音源分離処理を行う。
【０１２２】
音源分離部２１１は、動作モード情報１６１の端末利用状態の欄を参照し、この欄に記録されている情報に基づいて、動作モード情報１６１の端末利用状態が「形状切替中」であるか否かを判別する（ステップＳ５１）。
【０１２３】
動作モード情報１６１の端末利用状態が「形状切替中」であると判別した場合（ステップＳ５１；Ｙｅｓ）、音源分離部２１１は、動作モード情報１６１の未利用チャネルの欄に記録されている情報を参照する。
【０１２４】
端末利用状態が「形状切替中」のときは、未利用チャネルの欄には「ch０,ch３」が記録されるので、音源分離部２１１は、音声入力チャネルch０,ch３の信号を使用せずに、残りの音声入力チャネルch１，ch２の信号を使用して音源分離処理を行う（ステップＳ５２）。
【０１２５】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１２６】
動作モード情報１６１の端末利用状態が「形状切替中」ではないと判別した場合（ステップＳ６１；Ｎｏ）、音源分離部２１１は、動作モード情報１６１の端末利用状態の欄を参照し、この欄に記録されている情報に基づいて端末利用状態が「手持」か否かを判別する（ステップＳ５４）。
【０１２７】
端末利用状態が「手持」であると判別した場合（ステップＳ５４；Ｙｅｓ）、音源分離部２１１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ機能利用状態が「ＥＣ切替中」であるか否かを判定する（ステップＳ５５）。
【０１２８】
ＥＣ機能利用状態が「ＥＣ切替中」であると判定した場合（ステップＳ５５；Ｙｅｓ）、音源分離部２１１は、動作モード情報１６１の未利用チャネルの欄に記載されている情報を参照する。
【０１２９】
本実施形態では、端末利用状態が「手持」、ＥＣ機能利用状態が「ＥＣ切替中」の場合、未利用チャネルの欄には「ch３」が記録される。
【０１３０】
このため、音源分離部２１１は、音声入力チャネルch３の信号を使わずに、残りの音声入力チャネルch０，ch１，ch２の信号を使って音源分離処理を行う（ステップＳ５６）。
【０１３１】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１３２】
ＥＣ機能利用状態が「ＥＣ切替中」ではないと判定した場合（ステップＳ５５；Ｎｏ）、音源分離部２１１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ機能利用状態が「ＯＮ」か否かを判定する（ステップＳ５７）。
【０１３３】
ＥＣ機能利用状態が「ＯＮ」と判定した場合（ステップＳ５７；Ｙｅｓ）、音源分離部２１１は、システム設定情報１６２のデータ変化発生チャネルの欄を参照する。
【０１３４】
音源分離部２１１は、データ変化発生チャネルの欄に記載された音声入力チャネルを取得し、この音声入力チャネルの信号をＥＣ参照信号Ｒefとして利用し、ＥＣ処理を行う。
【０１３５】
本実施形態では、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の行のデータ変化発生チャネルの欄には「ch３」が記録されているため、音源分離部２１１は、音声入力チャネルch３の信号をＥＣ参照信号Ｒefとして利用し、音声入力チャネルch０〜ch２のデータのＥＣ処理を行う（ステップＳ５８）。
【０１３６】
音源分離部２１１は、ＥＣ処理後の音声データを用いて音源分離処理を行う（ステップＳ５９）。
【０１３７】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１３８】
ＥＣ機能利用状態が「ＯＮ」ではないと判定した場合（ステップＳ５７；Ｎｏ）、音源分離部２１１は、すべての音声入力チャネルの信号を用いて音源分離処理を行う（ステップＳ６０）。
【０１３９】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１４０】
端末利用状態が「手持」になっていないと判別した場合（ステップＳ５４；Ｎｏ）、音源分離部２１１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ機能利用状態が「ＥＣ切替中」になっているかどうかを判別する（ステップＳ６１）。
【０１４１】
ＥＣ機能利用状態が「ＥＣ切替中」になっていると判別した場合（ステップＳ６１；Ｙｅｓ）、音源分離部２１１は、動作モード情報１６１の未利用チャネルの欄に記載されている情報を参照する。
【０１４２】
本実施形態では、端末利用状態の欄に「卓上」が記録され、ＥＣ機能利用状態の欄に「ＥＣ切替中」が記録されているとき、未利用チャネルの欄には「ch０」が記録される。
【０１４３】
このため、音源分離部２１１は、音声入力チャネルch０の信号を使わずに、残りの音声入力チャネルch１〜ch３の信号を使って音源分離処理を行う（ステップＳ６２）。
【０１４４】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に保存し（ステップＳ５３）、この音源分離処理を終了させる。
【０１４５】
ＥＣ機能利用状態が「ＥＣ切替中」になっていないと判別した場合（ステップＳ６１；Ｎｏ）、音源分離部２１１は、動作モード情報１６１のＥＣ機能利用状態の欄を参照し、この欄に記録されている情報に基づいて、ＥＣ機能利用状態が「ＯＮ」になっているか否かを判定する（ステップＳ６３）。
【０１４６】
ＥＣ機能利用状態が「ＯＮ」と判定した場合（ステップＳ６３；Ｙｅｓ）、音源分離部２１１は、システム設定情報１６２のデータ変化発生チャネルの欄を参照する。
【０１４７】
本実施形態では、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＮ」の場合のデータ変化発生チャネルの欄には「ch０」の情報が記録されている。
【０１４８】
このため、音源分離部２１１は、音声入力チャネルch０の信号をＥＣ参照信号Ｒefとして利用し、音声入力チャネルch１〜ch３のデータのＥＣ処理を行う（ステップＳ６４）。
【０１４９】
音源分離部２１１は、ＥＣ処理後の音声データを用いて音源分離処理を行う（ステップＳ６５）。
【０１５０】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１５１】
ＥＣ機能利用状態が「ＯＮ」になっていないと判定した場合（ステップＳ６３；Ｎｏ）、音源分離部２１１は、すべての音声入力チャネルの信号を用いて音源分離処理を行う（ステップＳ６６）。
【０１５２】
音源分離部２１１は、音源分離処理を行った結果のデータを記憶部１６に記憶し（ステップＳ５３）、この音源分離処理を終了させる。
【０１５３】
このように音源分離部２１１が音源分離処理を実行すると、制御部２１は、記憶部１６に記憶されたデータを無線通信部１１に伝送し、ＴＶ電話の通信相手に送信するように無線通信部１１を制御する。
【０１５４】
この制御部２１が行う音声入力取り込み処理、音源分離部２１１が行う音源分離処理を、図１２に示すタイミングチャートを用いて説明する。
【０１５５】
制御部２１、音源分離部２１１は、フレーム単位で処理を行う。このフレーム長は、音源分離部２１１の１フレーム分の処理にかかる時間によって決定され、音源分離部２１１は、Ｔミリ秒より短い時間で音源分離処理を行うものとして、本実施形態では、Ｔミリ秒の音声データを１フレームとする。
【０１５６】
制御部２１は、時刻ｔ０において、音声の取り込みを開始すると、音声入力チャネルch０〜ch３から、１フレーム分のマイク入力信号Ｓig０〜Ｓig３を取得する（ステップＳ４１の処理）。
【０１５７】
音源分離部２１１は、制御部２１が１フレーム分の音声データの取得が終わる時点で、マイク入力信号Ｓig０〜Ｓig３を用いてＥＣ処理及び音源分離処理を行う。
【０１５８】
この例では、音声取り込み開始時刻がｔ０なので、１フレーム目の音声データ取得が終わる時刻はｔ０＋Ｔになり、音源分離部２１１は、時刻ｔ０＋Ｔにおいて、１フレーム目のマイク入力信号Ｓig０〜Ｓig３を用いて音源分離処理を開始する。
【０１５９】
音源分離部２１１は、音源分離処理を行うと、音源分離処理を行った結果のデータを記憶部１６に記憶する（ステップＳ５３の処理）。音源分離部２１１は、２フレーム目以後の音声データについても同様の処理を行う。
【０１６０】
制御部２１は、時刻ｔ０＋２Ｔにおいて、記憶された音源分離処理を行った結果の音声データを、無線通信部１１を介して、通信相手に送信する。
【０１６１】
次に、図１３に示すように、ユーザが、時刻ｔ１前に、ヘッドホンプラグ１５ａをヘッドホン用ジャック１５に差し込んでＴＶ通話をし、時刻ｔ１において、ヘッドホンプラグ１５ａをヘッドホン用ジャック１５から外したものとする。
【０１６２】
ＥＣ機能利用状態は「ＯＦＦ」から「ＯＮ」に変化し、利用状態検出部２０は、この変化を変化パターン１として検出し、変化通知信号として、EC_ON信号を制御部２１に通知する。
【０１６３】
制御部２１がこのEC_ON信号を受信すると、性能劣化防止部２１２は、このEC_ON信号を判別し、図１４に示すフローチャートに従い、性能劣化防止処理（１）を実行する。
【０１６４】
性能劣化防止部２１２は、動作モード情報１６１の端末利用状態の欄を参照し、この欄に記録されている情報に基づいて、端末利用状態が「手持」になっているか否かを判定する（ステップＳ１０１）。
【０１６５】
端末利用状態が「手持」になっていると判定した場合（ステップＳ１０１；Ｙｅｓ）、性能劣化防止部２１２は、システム設定情報１６２を参照する。性能劣化防止部２１２は、スイッチ設定の欄に記録された情報に基づいて、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合に、どのようにスイッチＳＷ１，ＳＷ２を制御するかを判別する。
【０１６６】
この場合、図４（ｂ）に示すように、システム設定情報１６２のＳＷ設定の欄には「ＳＷ１＝Ｒef、ＳＷ２＝Ｓig０」の情報が記録されている。
【０１６７】
このため、性能劣化防止部２１２は、ＥＣ参照信号Ｒefを選択するようにスイッチＳＷ１を制御し、マイク入力信号Ｓig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１０２）。
【０１６８】
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録する（ステップＳ１０３）。
【０１６９】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合に、どの音声入力チャネルの信号が変化するかを判別する。
【０１７０】
図４（ｂ）に示すように、システム設定情報１６２には、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合のデータ変化発生チャネルの欄には「ch３」の情報が記録されている。
【０１７１】
このため、性能劣化防止部２１２は、データ変化発生チャネルの信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch３」の情報を記録する（ステップＳ１０４）。
【０１７２】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１０５）。
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＮ」の情報を記録する（ステップＳ１０６）。
【０１７３】
性能劣化防止部２１２は、未利用チャネルの欄に「なし」の情報を記録する（ステップＳ１０７）。
【０１７４】
端末利用状態が「手持」ではないと判定した場合（ステップＳ１０１；Ｎｏ）、性能劣化防止部２１２は、システム設定情報１６２を参照する。性能劣化防止部２１２は、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＮ」の場合にスイッチ設定の欄に記録されている情報に基づいて、スイッチＳＷ１とスイッチＳＷ２とのいずれを制御するかを判別する。
【０１７５】
図４（ｂ）に示すように、システム設定情報１６２のスイッチ設定の欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｒef」の情報が記録されている。
【０１７６】
このため、性能劣化防止部２１２は、ＥＣ参照信号Refを選択するようにスイッチＳＷ１を制御し、マイク入力信号Sig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１０８）。
【０１７７】
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録する（ステップＳ１０９）。
【０１７８】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合に、どの音声入力チャネルの信号が変化するかを判別する。
【０１７９】
図４（ｂ）に示すように、システム設定情報１６２には、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合、データ変化発生チャネルの欄には「ch３」の情報が記録されている。
【０１８０】
このため、性能劣化防止部２１２は、データ変化発生チャネルの信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch３」の情報を記録する（ステップＳ１１０）。
【０１８１】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１０５）。
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＮ」の情報を記録する（ステップＳ１０６）。
【０１８２】
性能劣化防止部２１２は、動作モード情報１６１の未利用チャネルの欄に「なし」を記録する（ステップＳ１０７）。そして、性能劣化防止部２１２は、この性能劣化防止処理（１）を終了させる。
【０１８３】
図１３に示すように、ＥＣ機能利用状態が「ＯＦＦ」から「ＯＮ」に変化する時刻ｔ１において、性能劣化防止部２１２が、スイッチＳＷ１とＳＷ２とを切り替えると、スイッチＳＷ１によって選択出力されたマイク入力信号Ｓig３がＥＣ参照信号Ｒefに切り替わる。
【０１８４】
従来のものは、この時、スイッチＳＷ１の入力を切り替えると共に、動作モード情報１６１のＥＣ機能利用状態を「ＯＮ」に設定する。この場合、音源分離部２１１は、６フレーム目の音声データの処理で音声入力チャネルch３のＥＣ参照信号Ｒefを利用し、ＥＣ処理及び音源分離処理を行うことになる。
【０１８５】
しかし、６フレーム目のch３の信号には、ＥＣ参照信号Ｒefのみではなく、マイク入力信号Ｓig３も含まれる。この信号がＥＣ参照信号Ｒefとして利用されると、不正なＥＣ処理及び音源分離処理が行われ、６フレーム目の処理結果が不正になり、雑音除去性能が劣化することになる。
【０１８６】
本実施形態に係る性能劣化防止部２１２は、変化パターン１が発生した後、動作モード情報１６１のＥＣ機能利用状態をすぐに「ＯＮ」に設定しないで、その代りに「ＥＣ切替中」に設定し、Ｔミリ秒間を待ってから「ＯＮ」に設定する（ステップＳ１０５の処理）。
【０１８７】
このため、音源分離部２１１は、６フレーム目の処理タイミングでチャネルch３の音声データを利用せず、音源分離部２１１が７フレーム目の処理から利用する。このため、不正なＥＣ処理及び音源分離処理が発生しないので、雑音除去性能の劣化を防止される。
【０１８８】
図１５に示すように、端末利用状態が「卓上」になっている場合（ステップＳ１０１；Ｎｏ）も同様であり、時刻ｔ１において、変化パターン１が発生した場合、動作モード情報１６１のＥＣ機能利用状態をすぐに「ＯＮ」に設定しないで、「ＥＣ切替中」に設定する。
【０１８９】
但し、端末利用状態が「卓上」の場合、性能劣化防止部２１２は、チャネルch０を未利用チャネルに設定する（ステップＳ１１０の処理）。
【０１９０】
次に、図１６に示すように、ユーザが携帯端末１を「手持」の状態で時刻ｔ２において、ヘッドホンプラグ１５ａをヘッドホン用ジャック１５に差し込んでヘッドホン用ジャック１５を利用した場合、ＥＣ機能利用状態は、「ＯＮ」から「ＯＦＦ」に変化する。
【０１９１】
利用状態検出部２０は、このＥＣ機能利用状態の変化として変化パターン２を検出し、制御部２１に変化通知信号として、EC_OFF信号を通知する。
【０１９２】
制御部２１がこのEC_OFF信号を受信すると、性能劣化防止部２１２は、このEC_OFF信号を判別し、図１７に示すフローチャートに従い、性能劣化防止処理（２）を実行する。
【０１９３】
性能劣化防止部２１２は、動作モード情報１６１の端末利用状態の欄を参照し、この欄に記録されている情報に基づいて、端末利用状態が「手持」になっているか否かを判定する（ステップＳ１２１）。
【０１９４】
端末利用状態が「手持」になっていると判定した場合（ステップＳ１２１；Ｙｅｓ）、性能劣化防止部２１２は、システム設定情報１６２を参照し、スイッチ設定の欄に記録された情報に基づいて、どのようにスイッチＳＷ１，ＳＷ２を制御するかを判別する。
【０１９５】
図４（ｂ）に示すように、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＦＦ」の場合、システム設定情報１６２のＳＷ設定の欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｓig０」の情報が記録されている。
【０１９６】
このため、性能劣化防止部２１２は、マイク入力信号Ｓig３を選択するようにスイッチＳＷ１を制御し、マイク入力信号Ｓig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１２２）。
【０１９７】
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録する（ステップＳ１２３）。
【０１９８】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合に、どの音声入力チャネルの信号が変化するかを判別する。
【０１９９】
図４（ｂ）に示すように、システム設定情報１６２には、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＦＦ」の場合、データ変化発生チャネルの欄には「ch３」の情報が記録されている。
【０２００】
このため、性能劣化防止部２１２は、データ変化発生チャネルの信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch３」を記録する（ステップＳ１２４）。
【０２０１】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１２５）。
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＦＦ」の情報を記録する（ステップＳ１２６）。
【０２０２】
性能劣化防止部２１２は、未利用チャネルの欄に「なし」の情報を記録する（ステップＳ１２７）。
【０２０３】
端末利用状態が「手持」ではないと判定した場合（ステップＳ１２１；Ｎｏ）、性能劣化防止部２１２は、システム設定情報１６２を参照し、スイッチ設定の欄に記録されている情報に基づいて、スイッチＳＷ１とスイッチＳＷ２とのいずれを制御するかを判別する。
【０２０４】
図４（ｂ）に示すように、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＦＦ」の場合、システム設定情報１６２のスイッチ設定の欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｓig０」の情報が記録されている。
【０２０５】
このため、性能劣化防止部２１２は、マイク入力信号Sig３を選択するようにスイッチＳＷ１を制御し、マイク入力信号Sig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１２８）。
【０２０６】
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録する（ステップＳ１２９）。
【０２０７】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＦＦ」の場合に、どの音声入力チャネルの信号が変化するかを判別する。
【０２０８】
図４（ｂ）に示すように、システム設定情報１６２には、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＦＦ」の場合、データ変化発生チャネルの欄には「ch０」が記録されている。
【０２０９】
このため、性能劣化防止部２１２は、データ変化発生チャネルの信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch０」の情報を記録する（ステップＳ１３０）。
【０２１０】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１２５）。
性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態の欄に「ＯＦＦ」の情報を記録する（ステップＳ１２６）。
【０２１１】
性能劣化防止部２１２は、未利用チャネルの欄に「なし」の情報を記録する（ステップＳ１２７）。そして、性能劣化防止部２１２は、この性能劣化防止処理（２）を終了させる。
【０２１２】
性能劣化防止部２１２がスイッチＳＷ１を制御すると（ステップＳ１２２の処理）、図１６に示すように音声入力チャネルch３のＥＣ参照信号Ｒefがマイク入力信号Ｓig３に切り替わる。
【０２１３】
本実施形態では、不正なＥＣ処理及び音源分離処理が発生しないようにするために、変化パターン２が発生した後、性能劣化防止部２１２は、動作モード情報１６１のＥＣ機能利用状態をすぐに「ＯＦＦ」に設定せずに、「ＥＣ切替中」に設定する（ステップＳ１２３の処理）。
【０２１４】
そして、性能劣化防止部２１２は、Ｔミリ秒間待機して（ステップＳ１２５の処理）からＥＣ機能利用状態の欄に「ＯＦＦ」の情報を記録する（ステップＳ１２６の処理）。
【０２１５】
このため、音源分離部２１１は６フレーム目の音声入力チャネルch３の音声データを音源分離処理に利用せず、７フレーム目の処理から利用することになり、不正なＥＣ処理及び音源分離処理が発生しないので、雑音除去性能の劣化を防止される。
【０２１６】
図１８に示すように、端末利用状態が「卓上」になっている場合（ステップＳ１２１；Ｎｏ）も同様であり、時刻ｔ２において、変化パターン２が発生した場合、動作モード情報１６１のＥＣ機能利用状態をすぐに「ＯＦＦ」に設定しないで、「ＥＣ切替中」に設定する。
【０２１７】
但し、端末利用状態が「卓上」の場合、性能劣化防止部２１２は、チャネルch０を未利用チャネルに設定する（ステップＳ１３０の処理）。
【０２１８】
次に、図１９に示すように、時刻ｔ３において、携帯端末１を「手持」から「卓上」に切り替えた場合、端末利用状態は、「手持」から「卓上」に変化する。但し、ユーザはヘッドホンプラグ１５ａをヘッドホン用ジャック１５から外しているものとする。
【０２１９】
利用状態検出部２０は、この端末利用状態の変化を変化パターン３として検出し、制御部２１に変化通知信号として、卓上状態信号を通知する。
【０２２０】
制御部２１がこの卓上状態信号を受信すると、性能劣化防止部２１２は、この卓上状態信号を判別し、図２０に示すフローチャートに従い、性能劣化防止処理（３）を実行する。
【０２２１】
性能劣化防止部２１２は、システム設定情報１６２のスイッチ設定の欄を参照し、スイッチ設定の欄に記録された情報に基づいて、どのようにスイッチＳＷ１とスイッチＳＷ２とを制御するかを判別する。
【０２２２】
図４（ｂ）に示すように、端末利用状態＝「卓上」、ＥＣ機能利用状態＝「ＯＮ」の場合、システム設定情報１６２のＳＷ設定の欄には、「ＳＷ１＝Ｓig３、ＳＷ２＝Ｒef」の情報が記録されている。
【０２２３】
このため、性能劣化防止部２１２は、マイク入力信号Sig３を選択するようにスイッチＳＷ１を制御し、ＥＣ参照信号Ｒefを選択するようにスイッチＳＷ２を制御する（ステップＳ１４１）。
【０２２４】
性能劣化防止部２１２は、動作モード情報１６１の端末利用状態の欄に「形状切替中」の情報を記録する（ステップＳ１４２）。
【０２２５】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、どの音声入力チャネルの信号が変化するかを判別する。
【０２２６】
図４（ｂ）に示すように、システム設定情報１６２には、端末利用状態＝「形状切替中」、ＥＣ機能利用状態＝「ＯＮ」の場合のデータ変化発生チャネルの欄には「ch０、ch３」の情報が記録されている。
【０２２７】
このため、性能劣化防止部２１２は、データ変化発生チャネルの信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch０、ch３」の情報を記録する（ステップＳ１４３）。
【０２２８】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１４４）。
性能劣化防止部２１２は、端末利用状態の欄に「卓上」の情報を記録する（ステップＳ１４５）。
【０２２９】
性能劣化防止部２１２は、未利用チャネルの欄に「なし」の情報を記録する（ステップＳ１４６）。そして、性能劣化防止部２１２は、この性能劣化防止処理（３）を終了させる。
【０２３０】
図１９に示すように、端末利用状態が「手持」から「卓上」に切り替わる時刻ｔ３において、性能劣化防止部２１２がスイッチＳＷ１とＳＷ２とを切り替えると、音声入力チャネルch０のマイク入力信号Ｓig０は、ＥＣ参照信号Ｒefに切り替わり、音声入力チャネルch３のＥＣ参照信号Ｒefは、マイク入力信号Ｓig３に切り替わる。
【０２３１】
本実施形態では、変化パターン３が発生した後、不正なＥＣ処理及び音源分離処理が発生しないように、性能劣化防止部２１２が動作モード情報１６１の端末利用状態をすぐには「卓上」に設定せずに、「形状切替中」に設定する（ステップＳ１４２の処理）。
【０２３２】
そして、性能劣化防止部２１２は、Ｔミリ秒間を待ってから「卓上」に設定する（ステップＳ１４４，Ｓ１４５の処理）。
【０２３３】
このため、音源分離部２１１は、６フレーム目の音声入力チャネルch0の音声データ、音声入力チャネルch3の音声データを音源分離処理に利用せず、７フレーム目の処理から利用する。このため、不正なＥＣ処理及び音源分離処理が発生しないので、雑音除去性能の劣化が防止される。
【０２３４】
次に、図２１に示すように、時刻ｔ４において、ユーザが携帯端末１を「卓上」から「手持」に切り替えた場合、端末利用状態は、「卓上」から「手持」に変化する。但し、ユーザは、ヘッドホンをヘッドホン用ジャック１５から外しているものとする。
【０２３５】
利用状態検出部２０は、この端末利用状態の変化を変化パターン４として検出し、制御部２１に変化通知信号として、手持状態信号を通知する。
【０２３６】
制御部２１がこの手持状態信号を受信すると、性能劣化防止部２１２は、手持状態信号を判別し、図２２に示すフローチャートに従い、性能劣化防止処理（４）を実行する。
【０２３７】
性能劣化防止部２１２は、システム設定情報１６２のスイッチ設定の欄を参照し、どのようにスイッチＳＷ１とスイッチＳＷ２とを制御するかを判別する。
【０２３８】
図４（ｂ）に示すように、端末利用状態＝「手持」、ＥＣ機能利用状態＝「ＯＮ」の場合、システム設定情報１６２のＳＷ設定の欄には「ＳＷ１＝Ｒef、ＳＷ２＝Ｓig０」の情報が記録されている。
【０２３９】
このため、性能劣化防止部２１２は、ＥＣ参照信号Ｒefを選択するようにスイッチＳＷ１を制御し、マイク入力信号Sig０を選択するようにスイッチＳＷ２を制御する（ステップＳ１５１）。
【０２４０】
性能劣化防止部２１２は、動作モード情報１６１の端末利用状態の欄に「形状切替中」の情報を記録する（ステップＳ１５２）。
【０２４１】
次に、性能劣化防止部２１２は、未利用チャネルを設定するため、システム設定情報１６２を参照して、端末利用状態＝「形状切替中」の場合に、どの音声入力チャネルの信号が変化するかを判別する。
【０２４２】
図４（ｂ）に示すように、システム設定情報１６２には、「端末利用状態＝形状切替中」の場合のデータ変化発生チャネルの欄には「ch０、ch３」の情報が記録されている。
【０２４３】
このため、性能劣化防止部２１２は、データ変化発生チャネルch０、ch３の信号が利用されないように、動作モード情報１６１の未利用チャネルの欄に「ch０、ch３」の情報を記録する（ステップＳ１５３）。
【０２４４】
性能劣化防止部２１２は、Ｔミリ秒間を待機する（ステップＳ１５４）。
性能劣化防止部２１２は、端末利用状態の欄に「卓上」の情報を記録する（ステップＳ１５５）。
【０２４５】
性能劣化防止部２１２は、未利用チャネルの欄に「なし」の情報を記録する（ステップＳ１５６）。そして、性能劣化防止部２１２は、この性能劣化防止処理（４）を終了させる。
【０２４６】
図２１に示すように、端末利用状態が「卓上」から「手持」に切り替わる時刻ｔ４において、性能劣化防止部２１２がスイッチＳＷ１とスイッチＳＷ２とを切り替えると、音声入力チャネルch０のＥＣ参照信号Ｒefはマイク入力信号Ｓig０に切り替わり、音声入力チャネルch３のマイク入力信号Ｓig３はＥＣ参照信号Ｒefに切り替わる。
【０２４７】
本実施形態では、変化パターン４が発生した後、不正なＥＣ処理及び音源分離処理が発生しないように、性能劣化防止部２１２が動作モード情報１６１の端末利用状態をすぐには「手持」に設定せずに、「形状切替中」に設定する（ステップＳ１５２の処理）。
【０２４８】
そして、性能劣化防止部２１２は、Ｔミリ秒間を待ってから「手持」に設定する（ステップＳ１５４，Ｓ１５５の処理）。
【０２４９】
このため、音源分離部２１１は６フレーム目の音声入力チャネルch0の音声データ、音声入力チャネルch3の音声データを音源分離処理に利用せず、７フレーム目の処理から利用する。このため、不正なＥＣ処理及び音源分離処理が発生しないので、雑音除去性能の劣化が防止される。
【０２５０】
以上説明したように、本実施形態によれば、ＥＣ機能利用状態がが変化したとき、性能劣化防止部２１２は、スイッチ設定を行う。性能劣化防止部２１２は、それとともに、このときからＴミリ秒の間、動作モード情報１６１のＥＣ機能利用状態の欄に「ＥＣ切替中」の情報を記録し、データ変化発生チャネルを未利用チャネルに設定するようにした。
【０２５１】
また、性能劣化防止部２１２は、端末利用状態が変化したとき、このときからＴミリ秒の間、動作モード情報１６１の端末利用状態の欄に「形状切替中」の情報を記録し、データ変化発生チャネルを未利用チャネルに設定するようにした。
【０２５２】
従って、音源分離処理部２１１は、各フレームの音源分離処理開始時「ＥＣ切替中」になっている場合、あるいは「形状切替中」になっている場合、未利用チャネルが設定されている音声入力チャネルの信号を音源分離処理に利用しなくなる。
【０２５３】
このため、不正なＥＣ処理及び音源分離処理が発生しないので、マイク入力信号とＥＣ参照信号とを切り替える場合であっても雑音除去性能の劣化を防止することができる。
【０２５４】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、情報処理装置を携帯端末に適用した場合について説明した。しかし、情報処理装置は、携帯端末に限られるものではなく、例えば、デジタルビデオカメラ、ノートパソコン等であってもも同様に適用することができる。
【０２５５】
本実施形態では、音声入力部１２は、４個のマイク１２０〜１２３を備えるようにした。しかし、マイク数は４個に限られるものではなく、マイクは、２個以上であれば、必要に応じて何個備えるようにしてもよい。
【０２５６】
この場合、Ａ／Ｄ変換器１２４の入力チャネル数も４チャネルではなく、マイクの数に対応するチャンネル数とする必要がある。
【０２５７】
上記実施形態では、端末利用状態の変化パターンを、図５に示すように４通りとした。しかし、この変化パターンは４通りに限られるものではなく、５通り以上としてしてもよい。
【０２５８】
上記実施形態では、音源分離部２１１の処理（ステップＳ５２，Ｓ５６，Ｓ６２）として、未利用チャネルの信号を使用せずに、残りの音声入力チャネルの信号を使用して音源分離処理を行うようにした。
【０２５９】
しかし、音源分離部２１１は、この未利用チャネルの信号を利用して、他の処理に変更することもできる。例えば、音源分離部２１１は、この未利用チャネルの信号を、単純に無音としてＥＣ処理、音源分離処理を行うことができ、この処理結果を記憶部１６に記憶させることもできる。
【０２６０】
また、上記実施形態では、音源分離部２１１は、の処理（ステップＳ５２，Ｓ５６，Ｓ６２）として、未利用チャネル以外に複数の音声入力チャネルがあった場合、この複数の音声入力チャネルの信号をすべて音源分離処理の処理結果に用いるようにした。
【０２６１】
しかし、未利用チャネル以外の複数の音声入力チャネルの信号をすべて処理結果に用いる必要はなく、１つの音声入力チャネルの信号をそのまま処理結果に用い、この処理結果を記憶部１６に記憶させるようにしてもよい。
【０２６２】
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、情報処理装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０２６３】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２６４】
【図１】本発明の実施形態に係る携帯端末の構成を示すブロック図である。
【図２】端末利用形状が「手持」の場合の携帯端末の外観を示す図であり、（ａ）は、携帯端末の斜め前からの外観を示し、（ｂ）は、携帯端末の斜め後ろからの外観を示す。
【図３】端末利用形状が「卓上」の場合の携帯端末の外観を示す図であり、（ａ）は、携帯端末の斜め前からの外観を示し、（ｂ）は、携帯端末の斜め後ろからの外観を示す。
【図４】図１に示す記憶部が記憶する情報を示す図であり、（ａ）は、動作モード情報を示し、（ｂ）は、システム設定情報を示す。
【図５】図１に示す利用状態検出部が検出する変化パターン、その内容、変化通知信号の種別を示す図である。
【図６】図１に示す制御部が実行するＴＶ電話処理を示すフローチャートである。
【図７】図１に示す利用状態検出部が実行する利用状態検出処理を示すフローチャートある。
【図８】図１に示す制御部が実行する音声取り込み処理を示すフローチャートである。
【図９】図１に示す音源分離部が実行する音源分離処理を示すフローチャート（その１）である。
【図１０】図１に示す音源分離部が実行する音源分離処理を示すフローチャート（その２）である。
【図１１】図１に示す音源分離部が実行する音源分離処理を示すフローチャート（その３）である。
【図１２】音声取り込み処理と音源分離処理と音声出力とのタイミングを示すタイミングチャートである。
【図１３】端末利用状態が「手持」の場合にＥＣ機能利用状態が「ＯＦＦ」から「ＯＮ」に変化したときのタイミングを示すタイミングチャートである。
【図１４】図１に示す性能劣化防止部が実行する性能劣化防止処理（１）を示すフローチャートである。
【図１５】端末利用状態が「卓上」の場合にＥＣ機能利用状態が「ＯＦＦ」から「ＯＮ」に変化したときのタイミングを示すタイミングチャートである。
【図１６】端末利用状態が「手持」の場合にＥＣ機能利用状態が「ＯＮ」から「ＯＦＦ」に変化したときのタイミングを示すタイミングチャートである。
【図１７】図１に示す性能劣化防止部が実行する性能劣化防止処理（２）を示すフローチャートである。
【図１８】端末利用状態が「卓上」の場合にＥＣ機能利用状態が「ＯＮ」から「ＯＦＦ」に変化したときのタイミングを示すタイミングチャートである。
【図１９】ＥＣ機能利用状態が「ＯＮ」の場合に端末利用状態が「手持」から「卓上」に変化したときのタイミングを示すタイミングチャートである。
【図２０】図１に示す性能劣化防止部が実行する性能劣化防止処理（３）を示すフローチャートである。
【図２１】ＥＣ機能利用状態が「ＯＮ」の場合に端末利用状態が「卓上」から「手持」に変化したときのタイミングを示すタイミングチャートである。
【図２２】図１に示す性能劣化防止部が実行する性能劣化防止処理（４）を示すフローチャートである。
【符号の説明】
【０２６５】
１  携帯端末
１２  音声入力部
１５  ヘッドホン用ジャック
１６  記憶部
２０  利用状態検出部
２１  制御部
１２０〜１２３  マイク
２１１  音源分離部
２１２  性能劣化防止部
ＳＷ１，ＳＷ２  スイッチ
【図１】
0005070594.tif 000002
【図２】
0005070594.tif 000003
【図３】
0005070594.tif 000004
【図４】
0005070594.tif 000005
【図５】
0005070594.tif 000006
【図６】
0005070594.tif 000007
【図７】
0005070594.tif 000008
【図８】
0005070594.tif 000009
【図９】
0005070594.tif 000010
【図１０】
0005070594.tif 000011
【図１１】
0005070594.tif 000012
【図１２】
0005070594.tif 000013
【図１３】
0005070594.tif 000014
【図１４】
0005070594.tif 000015
【図１５】
0005070594.tif 000016
【図１６】
0005070594.tif 000017
【図１７】
0005070594.tif 000018
【図１８】
0005070594.tif 000019
【図１９】
0005070594.tif 000020
【図２０】
0005070594.tif 000021
【図２１】
0005070594.tif 000022
【図２２】
0005070594.tif 000023