(57)【要約】【課題】  時々刻々変わる音環境の状況の中で、本来伝えるべき音のみを相手に伝えるように音の情報制限を行なうことによって、音のプライバシを守ること。【解決手段】  音識別分離抽出により得られた、現在の音環境に存在する各音とその音の意味（種類）を求め、時刻、場所、電話番号、スケジュール帖、相手との関係などの通話者に関する客観的な情報から推定される状況において期待される音の意味（種類）とを比較し、その結果に応じて、どの音を許可／禁止するか選択判断を行ない、音を加工出力することにより、通話者の音に関するプライバシが場所や相手との関係に応じて選択的に守ることができる。【選択図】  図１５
2006201496.tif 000002
【特許請求の範囲】
【請求項１】
複数の音ストリームからなる音のうち、一部の音ストリームを変化させるフィルタリング装置であって、
複数の音ストリームが混合された混合音を取得し、前記混合音を音声の音ストリームおよび環境音の音ストリームに分解する音ストリーム分解手段と、
前記環境音の音ストリームを取得した際の環境情報を取得する環境情報取得手段と、
前記環境情報と前記環境音の音ストリームとを関連付けて蓄積する環境情報蓄積手段と、
通話時に、通話相手を判定する相手判定手段と、
前記通話相手との過去の通話時において、前記環境情報取得手段より得られた環境情報と、当該通話時において使用された環境音の音ストリームとを関連付けて蓄積する通話環境情報履歴蓄積手段と、
前記環境情報と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定する環境音決定手段と、
前記環境音決定手段で決定された音ストリームを前記基準尺度に基づいて加工し、前記音ストリーム分解手段で分解された音声の音ストリームと合成する合成手段とを備える
ことを特徴とするフィルタリング装置。
【請求項２】
前記環境音決定手段では、複数の環境音の音ストリームとその基準尺度とを決定し、
前記フィルタリング装置は、さらに、前記環境音決定手段で決定された前記複数の環境音の音ストリームを通話者に提示し、通話者からの環境音の音ストリームの選択指示を取得する音選択指示取得手段を備え、
前記合成手段は、前記音選択指示取得手段で取得された選択指示で示される前記環境音の音ストリームをその基準尺度に基づいて加工し、前記音ストリーム分解手段で分解された音声の音ストリームと合成する
ことを特徴とする請求項１に記載のフィルタリング装置。
【請求項３】
前記環境音決定手段は、前記環境情報と前記各音ストリームと前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームと環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音ストリームと環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定する
ことを特徴とする請求項１または２に記載のフィルタリング装置。
【請求項４】
さらに、通話者の画像および通話者の周囲の画像を取得する画像取得手段を備え、
前記環境情報蓄積手段は、前記環境情報と前記音ストリームと画像ストリームとを関係付けて蓄積し、
前記通話環境情報履歴蓄積手段は、前記通話相手との通話における、音ストリーム、画像ストリームおよび環境情報を蓄積し、
前記環境音決定手段は、記環境情報と前記各音ストリームと前記画像ストリームと前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームと環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音ストリームと環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする音ストリームと画像ストリームとその基準尺度とを決定し、
前記合成手段は、前記環境音決定手段で決定された音ストリームと画像ストリームとを、前記基準尺度に基づいて、前記音ストリーム分解手段で分解された音声の音ストリームおよび前記通話者の画像と合成する
ことを特徴とする請求項１または２に記載のフィルタリング装置。
【請求項５】
前記フィルタリング装置は、さらに、前記音ストリーム分解手段において音の特性ごとに分解された音ストリームより、その音の意味を所定の時間単位ごとに取得する音意味解析手段を備え、
前記環境情報蓄積手段は、前記環境情報と前記音ストリームと当該音ストリームの意味とを関係付けて蓄積し、
前記環境音決定手段は、前記環境情報と前記各音ストリームの意味と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームの意味と環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音と環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定する
ことを特徴とする請求項１または２に記載のフィルタリング装置。
【請求項６】
前記音意味解析手段は、音の種別を識別する音識別結果、個人の音声から個人を特定する話者識別結果、音声の意味を識別する音声認識結果、言語識別結果、音声の固有名詞を抽出する品詞構造解析のうちの少なくとも一つを音の意味として取得する
ことを特徴とする請求項５に記載のフィルタリング装置。
【請求項７】
前記合成手段は、前記音意味解析手段または前記相手判定手段において、通話相手が見知らぬ相手であることを検出した場合には、送信側の個人性を除去した音声を送信する
ことを特徴とする請求項１〜５のいずれか１項に記載のフィルタリング装置。
【請求項８】
前記合成手段は、前記音意味解析手段の解析結果に基づいて、通話者の発声内容から固有名詞部分を検出分離する
ことを特徴とする請求項５に記載のフィルタリング装置。
【請求項９】
前記環境情報蓄積手段は、非通話時または環境情報の変化時に情報を蓄積する
ことを特徴とする請求項１〜５のいずれか１項に記載のフィルタリング装置。
【請求項１０】
前記環境情報蓄積手段は、すでに蓄積したのとは異なる環境情報と環境音の音ストリームとを関連付けて蓄積する
ことを特徴とする請求項１〜９のいずれか１項に記載のフィルタリング装置。
【請求項１１】
前記環境音決定手段は、さらに通話者のスケジュール基づいて、前記選択加工対象とする音ストリームとその基準尺度とを決定する
ことを特徴とする請求項１〜１０のいずれか１項に記載のフィルタリング装置。
【請求項１２】
前記音選択指示取得手段は、通話者によって選択された前期音ストリームとその選択基準尺度を、前記通話環境情報履歴蓄積手段に蓄積する
ことを特徴とする請求項２に記載のフィルタリング装置。
【請求項１３】
複数の音ストリームからなる音のうち、一部の音ストリームを変化させるフィルタリング方法であって、
複数の音ストリームが混合された混合音を取得するステップと、
前記混合音の音響的特徴量、音源方向および音源位置のうちの少なくとも１つの音特性に基づいて、前記混合音を音声の音ストリームおよび環境音の音ストリームに分解するステップと、
前記環境音の音ストリームを取得した際の環境情報を取得する環境情報取得ステップと、
前記環境情報と前記環境音の音ストリームとを関連付けて環境情報蓄積手段に蓄積するステップと、
通話時に、通話相手を判定するステップと、
前記通話相手との過去の通話時において、前記環境情報取得ステップにおいて得られた環境情報と、当該通話時において使用された環境音の音ストリームとを関連付けて通話環境情報履歴蓄積手段に蓄積するステップと、
前記環境情報と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定するステップと、
決定された音ストリームを前記基準尺度に基づいて加工し、分解された音声の音ストリームと合成するステップとを含む
ことを特徴とするフィルタリング方法。
【請求項１４】
複数の音ストリームからなる音のうち、一部の音ストリームを変化させるフィルタリング方法のプログラムであって、
複数の音ストリームが混合された混合音を取得するステップと、
前記混合音の音響的特徴量、音源方向および音源位置のうちの少なくとも１つの音特性に基づいて、前記混合音を音声の音ストリームおよび環境音の音ストリームに分解するステップと、
前記環境音の音ストリームを取得した際の環境情報を取得する環境情報取得ステップと、
前記環境情報と前記環境音の音ストリームとを関連付けて環境情報蓄積手段に蓄積するステップと、
通話時に、通話相手を判定するステップと、
前記通話相手との過去の通話時において、前記環境情報取得ステップにおいて得られた環境情報と、当該通話時において使用された環境音の音ストリームとを関連付けて通話環境情報履歴蓄積手段に蓄積するステップと、
前記環境情報と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定するステップと、
決定された音ストリームを前記基準尺度に基づいて加工し、分解された音声の音ストリームと合成するステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音の送信者側の音に関するプライバシを守るフィルタリング装置に関するものである。
【背景技術】
【０００２】
携帯電話あるいは動画送受信機能付き携帯電話の普及にともなって、日常生活の中での個人の生活環境および周囲環境の状態が、自分の意に反して相手に知られてしまう機会が増えている。固定電話では、電話機自身が移動することはない。このため、電話を掛ける場合および受ける場合ともに、自ら電話機が設置されている場所を選ぶことにより、ある程度のプライバシを守ることは可能である。しかし、携帯電話では、電話を掛ける場合には、プライバシを守るための場所の確保よりも、どこからでも通話が可能という便利さの方を優先させることも多く、また、相手からの通話を受ける場合には、通話電源をＯＦＦにしない限り、どんな状況下においても電話を受信しなければならず、何れの場合にも、相手に自分の意図しない音や画像が伝わってしまうという問題がある。
【０００３】
また、たとえば携帯電話を使えば、デジタル記録された音映像の配信などが簡単に行なえるため、記録された音映像に関しても同様に、意図しない音や画像が配信されるのを防ぎ、個人のプライバシを守る必要があるといえる。
【０００４】
このような問題を、個人の音のプライバシあるいは画像のプライバシ保護と捉え、このような問題に対処するための装置等が各種提案されている。従来の音に関するプライバシを守る装置としては、独居老人など特定の個人の家庭内に設置された監視カメラの音映像の通信を制御する装置がある。この装置は監視を目的にしているため、常時使用されていることが前提であり、通常時としてみなす音を学習する。その学習結果を用いて、この装置は、通常時とみなされる閾値を越える音が発生した場合を異常音発生時とみなし、その場合のみ音声および画像をセンターに送信する。このことにより、通常時とみなされた場合に発生した生活音や音声の送信は行なわない。したがって、被監視対象者のプライバシを守ることができるとしている（例えば、特許文献１および２参照）。
【０００５】
また、特定のエリアや音源の音を相手に送信または受信するかどうかを制御することにより、プライベイト音響空間を提供するものもある（例えば、特許文献３参照）。
【０００６】
図３３は、特許文献３に記載された従来の音プライバシを確保するための通信制御装置を示す図である。
【０００７】
通信制御装置は、周波数分析部２３１と、抽出周波数判定部２３２と、周波数成分抽出部２３３と、音声波形復元部２３４と、抽出周波数記憶部２３５とを備えている。
【０００８】
周波数分析部２３１は、複数音源の音が混合されている複数の入力音声を複数のマイクにより集音し、複数の入力音声を周波数成分に分解する。抽出周波数判定部２３２は、制御部からのエリア指示信号をもとに、特定の音源を追尾し、抽出周波数記憶部２３５に記憶されている音声の周波数成分と比較し、一定値以上で、かつ最大値となる音声が入力されているマイクのあるエリアを、抽出または除去対象と判断する。抽出周波数成分と判断された周波数成分を周波数成分抽出部２３３にて抽出する。抽出された周波数成分を音声波形復元部２３４を用いて復元する。この復元された音声信号が拡声通話部（図示せず）に送られる。対象音源が移動し、他のマイクから対象の入力音声が入力された場合には、判断されるエリアも他のマイクのエリアに変更される。
【０００９】
また、テレビ電話の画像音声データを処理する際に、通話者の音声を抽出し、音声以外の背景音を背景雑音オーディオデータと置き換えて、通話者の音声に合成して送信することにより、送信相手に通話者が背景音からどんな状況にいるか悟られることを避けることによりプライバシ保護を行なうセキュリティ保護処理装置も提案されている（例えば、特許文献４参照）。
【００１０】
図３４は、特許文献４に記載された従来の音プライバシを獲得することを目的としたセキュリティ保護処理装置を示す図である。
【００１１】
セキュリティ保護処理装置３００は、サーバ３１０と、話者声音データ抽出部３０５と、オーディオ合成部３０７とを備えている。サーバ３１０は、背景雑音データ記憶部３０１と、背景雑音データ制御部３０３とを備えている。
【００１２】
話者声音データ抽出部３０５は、テレビ電話から公衆網を介して送信された喋り声と街の雑踏等の背景雑音とが重畳されたオーディオデータ６７より、喋り声に相当する話者声音データ６９のみを出力として取り出す。一方、背景雑音データ制御部３０３は、テレビ電話からの制御信号６３に従って、背景雑音データ記憶部３０１から背景雑音オーディオデータ６１を選択し、読み出すよう、背景雑音データ記憶部３０１を制御６５する。オーディオ合成部３０７により、通話者の喋り声に相当する話者声音データ６９と背景雑音オーディオデータ６１との合成が行われ、合成オーディオデータ７１が生成される。
【００１３】
また、状況に応じて機器の動作を決定する装置としては、使用者と音声にて対話しつつ車両に搭載されたさまざまな機器を制御する制御装置が提案されている。この制御装置は、使用者が置かれている状況（車両周囲の環境、社外状況、社内状況など）と、使用者の要求と、使用者の個人情報と、使用者の発話キーワード（ユーザ発声）と、機器の動作内容とに応じて、各項目について適宜内容を記述した複数の対話データベースを備え、検出した使用者の実状況と、推定した使用者の要求と、現在の使用者の個人情報と、マイクを開始入力した使用者の発話キーワードにマッチする対話データを、上記対話データベースから検索し、その対話データの「動作内容」の項目に記載されている内容に従い、スピーカからの発話を行なうとともに、情報検索用機器などのほかの機器を動作させる（例えば、特許文献５参照）。
【００１４】
また、従来の映像に関するプライバシを守る装置としては、カメラで人物を撮像する場合に、画像をオブジェクトに分解することにより、画像中の人物と背景とを画像認識装置で個別のオブジェクトに分解し、変換画像選択部がオブジェクト毎に他の画像へ変換して送信できるようにするものがある。これにより、人物本人の顔を知られたくない場合などにプライバシの保護を図ることができるも（例えば、特許文献６参照）。
【特許文献１】特開２００２−１３３５５８号公報（第１３頁、図４）
【特許文献２】特開平８−３２９３７３号公報（第１０頁、図４）
【特許文献３】特開２００１−２２４０９１号公報（第５頁、図４）
【特許文献４】特開２００２−２８１４６５号公報（第２４頁、図５）
【特許文献５】特開平１１−３５１９０１号公報
【特許文献６】特開２００１−１２７９９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本来、音のプライバシとは、時間や場所などによって表される環境情報や、相手との関係もしくは第三者の存在などによって相互作用を受けて、刻々と変化するものである。このため、単独の情報だけでは守りたい音のプライバシを決定することはできない。
【００１６】
また、混合音中から、守りたい音のみを分離抽出する機構がなければ、守りたい音のプライバシだけを選択もしくは加工することができない。
【００１７】
しかしながら、特許文献６の構成では、画像にのみ焦点が絞られており、また時刻や状況に応じて変化する音によるプライバシに対応するための技術が開示されていない。特許文献１または２に示される前記従来の構成では、混合音の分離をせずに学習した範囲を逸脱するかどうかに基づいて正常異常音判定を行なっているため、たとえ単独で正常音としてそれぞれ学習されていても、同時発生時の音が未学習の場合には、異常音として検出されてしまうという課題が有る。特許文献３に示される構成では、複数のマイクより混合音に対して周波数分析を行なっているものの、選択するための条件がマイクエリア信号にのみ依存しており、その場所に応じて、他の話者や特定音の存在などによって変動する音のプライバシに対応できない。特許文献４の構成では、背景音により推測されるプライバシ保護にのみ注目しているため、音声のプライバシに関しては触れられていない。また、一律に指定背景音に置き換えるか、もしくは、相手の電話番号により、背景音置き換え合成を行なうかどうかの判定を行なう方法しか開示されていない。そのため、前者では多様な状況変化に応じて変化する、後者は電話番号だけでは特定不能な場所や時間によっても変動する相手との関係に応じて変化するといった、送信相手に知られたくない音プライバシの変動に対応できない。特許文献５の構成では、状況に応じて動作付けされて機器制御が行なわれることが開示されているが、周囲の音に応じて状況を推定する動作が決定されていないため、周囲の音に応じた音プライバシを守ることはできないという課題を有している。
【００１８】
本発明は、上述の課題を解決するもので、音送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音に、音の選択加工基準を追随させることにより、音送信先に知られても良い音のみを選択あるいは音送信先に知られたくない音を加工する音のプライバシを守るフィルタリング装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明のある局面に係るフィルタリング装置は、複数の音ストリームからなる音のうち、一部の音ストリームを変化させるフィルタリング装置であって、複数の音ストリームが混合された混合音を取得し、前記混合音を音声の音ストリームおよび環境音の音ストリームに分解する音ストリーム分解手段と、前記環境音の音ストリームを取得した際の環境情報を取得する環境情報取得手段と、前記環境情報と前記環境音の音ストリームとを関連付けて蓄積する環境情報蓄積手段と、通話時に、通話相手を判定する相手判定手段と、前記通話相手との過去の通話時において、前記環境情報取得手段より得られた環境情報と、当該通話時において使用された環境音の音ストリームとを関連付けて蓄積する通話環境情報履歴蓄積手段と、前記環境情報と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定する環境音決定手段と、前記環境音決定手段で決定された音ストリームを前記基準尺度に基づいて加工し、前記音ストリーム分解手段で分解された音声の音ストリームと合成する合成手段とを備えることを特徴とする。
【００２０】
本構成によって、音送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音に、音の選択加工基準を追従させることにより、混合音環境に存在する各音の意味と環境情報により必要とされる音の意味のレベルで、音送信先に知られても良い音のみを選択あるいはさらに音送信先に知られたくない音を選択加工することができる。
【００２１】
また、前記環境音決定手段では、複数の環境音の音ストリームとその基準尺度とを決定し、前記フィルタリング装置は、さらに、前記環境音決定手段で決定された前記複数の環境音の音ストリームを通話者に提示し、通話者からの環境音の音ストリームの選択指示を取得する音選択指示取得手段を備え、前記合成手段は、前記音選択指示取得手段で取得された選択指示で示される前記環境音の音ストリームをその基準尺度に基づいて加工し、前記音ストリーム分解手段で分解された音声の音ストリームと合成するようにしてもよい。
【００２２】
本構成によって、上記の構成に比べ、通話者の選択加工指示を反映させて、音送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音に、音の選択加工基準を追従させることにより、混合音環境に存在する各音の意味と環境情報により必要とされる音の意味のレベルで、音送信先に知られても良い音のみを選択あるいはさらに音送信先に知られたくない音を選択加工することができる。
【００２３】
さらに、前記環境音決定手段は、前記環境情報と前記各音ストリームと前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームと環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音ストリームと環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定するようにしてもよい。
【００２４】
本構成によって、通話者の音選択指示取得手段と、環境情報だけでは特定しにくい状況を、音をも用いて推定状況行なうことによって、音送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音に、音の選択加工基準を追従させることにより、音送信先に知られても良い音のみを選択あるいはさらに音送信先に知られたくない音を選択加工することができる。
【００２５】
さらに、前記環境音決定手段は、前記環境情報と前記各音ストリームと前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームと環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音ストリームと環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定するようにしてもよい。
【００２６】
本構成によって、音画像送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音および画像に、音および画像の選択加工基準を追随させることにより、音画像送信先に知られても良い音および画像のみを選択あるいはさらに音画像送信先に知られたくない音および画像を選択加工することができる。
【００２７】
さらに、前記フィルタリング装置は、さらに、前記音ストリーム分解手段において音の特性ごとに分解された音ストリームより、その音の意味を所定の時間単位ごとに取得する音意味解析手段を備え、前記環境情報蓄積手段は、前記環境情報と前記音ストリームと当該音ストリームの意味とを関係付けて蓄積し、前記環境音決定手段は、前記環境情報と前記各音ストリームの意味と前記通話相手とで表される状況が、前記環境情報蓄積手段に蓄積されている音ストリームの意味と環境情報および前記通話環境情報履歴蓄積手段に蓄積されている過去の通話時の音と環境情報で表される状況に合致するかどうかを判断することにより、選択加工対象とする環境音の音ストリームとその基準尺度を決定するようにしてもよい。
【００２８】
本構成によって、音の意味をも用いて状況推定行なうことによって、音送信先の相手との関係や場所や時間などの環境情報の関連関係で時々刻々と変化する音に、音の選択加工基準を追随させることにより、音送信先に知られても良い音のみを選択あるいはさらに音送信先に知られたくない音を選択加工することができる。
【００２９】
また、前記音意味解析手段は、音の種別を識別する音識別結果、個人の音声から個人を特定する話者識別結果、音声の意味を識別する音声認識結果または言語識別結果、音声の固有名詞を抽出する品詞構造解析のうちの少なくとも一つを音の意味として取得するようにしてもよい。
【００３０】
本構成によって、音の意味を用いた状況の推定における音の選択の判断基準として、背景環境音の種別により通話者のいる場所がどんなシーンなのか判定し、音送信先の相手の音声から話者を推定し、音送信先の相手が未知の話者かどうかの判定し、通話者と音送信先の相手の発話内容により通話者に求められている回答内容を推定し、通話者の個人に設定される情報の機密度を用いた判定するような、より高度な音の意味を用いて、変動する音に音の選択加工基準を追随させることにより、音送信先に知られても良い音のみを選択あるいはさらに音送信先に知られたくない音を選択加工する音のプライバシを守ることができる。
【００３１】
また、前記合成手段は、前記音意味解析手段または前記相手判定手段において、通話相手が見知らぬ相手であることを検出した場合には、送信側の個人性を除去した音声を送信するようにしてもよい。
【００３２】
本構成によって、音送信先の相手が見知らぬ者と判断された場合には、通話者個人の音声の特徴を消し去ることで、音送信先の相手に通話者の音声から通話者個人の特定を妨げることができる。
【００３３】
また、前記合成手段は、前記音意味解析手段の解析結果に基づいて、通話者の発声内容から固有名詞部分を検出分離するようにしてもよい。
【００３４】
本構成によって、音送信先の相手との対話内容から、音送信先の相手が通話者の個人情報を聞き出すような話題している場合には、通話者の音を選択加工しない指示を与えることで、通話者の個人情報音という発声内容に関する音のプライバシを守ることができる。
【００３５】
また、前記環境情報蓄積手段は、非通話時または環境情報の変化時に情報を蓄積するようにしてもよい。
【００３６】
本構成によって、位置や時間によって決定される環境音と合致する音環境音の取得を行うことができるため、仮想環境音選択を必要とする場合において、より自然な仮想環境音を選択することができる。
【００３７】
また、前記環境情報蓄積手段は、すでに蓄積したのとは異なる環境情報と環境音の音ストリームとを関連付けて蓄積するようにしてもよい。
【００３８】
本構成によって、実際に発生した環境情報と、その際の音ストリームを関連付けて学習させることにより、再度生じた場合には、その状況に最適な音として、音を選択加工することができる。
【００３９】
また、前記環境音決定手段は、さらに通話者のスケジュール基づいて、前記選択加工対象とする音ストリームとその基準尺度とを決定するようにしてもよい。
【００４０】
本構成によって、スケジュールどおりの場所にいない場合、例えばその構成音ストリームを送信しないなど、音送信先に知られたくない音を選択加工することができる。
【００４１】
また、前記音選択指示取得手段は、通話者によって選択された前期音ストリームとその選択基準尺度を、前記通話環境情報履歴蓄積手段に蓄積するようにしてもよい。
【００４２】
本構成によって、場所、時刻、スケジュール、他の音の存在などで表される状況に関係付けて、前記尺度を学習蓄積しておくことで、音ストリームごとに一律に禁止許可するのではなく、状況に応じて、禁止許可が変化するような音ストリームに関してもその変化に追随させることができるようになる。
【００４３】
なお、本発明は、このような特徴的な手段を備えるフィルタリング装置として実現することができるだけでなく、フィルタリング装置に含まれる特徴的な手段をステップとするフィルタリング方法として実現したり、フィルタリング方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００４４】
本発明のフィルタリング装置によれば、混合音環境下に存在する音から分離識別により得た各音ストリームの意味と相手との関係と客観的環境情報により推定状況を決定することにより、背景音から通話者の状況を連想させることを抑えること、未知の相手には通話者音声の個人性の秘匿性を保つこと、情報開示レベルに応じて音声の発言内容を限定させることなどを実現することができ、その結果としてさまざまな状況に応じた音のプライバシレベルの変動に音の選択加工基準を追随させることが可能とする、通話者の音のプライバシを守る装置を提供することができる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の概要について、説明する。図１は、本発明の基本構成である音フィルタリング装置のブロック図である。図１に示す音フィルタリング装置は、入力音取得部５０１、音ストリーム分解部５０５、通話相手判定部５０７、通話環境情報履歴蓄積部５０８、状況合致仮想環境音選択判断部５０９、選択音加工合成部５１０および環境情報取得蓄積部５２５から構成される。
【００４６】
環境情報取得蓄積部５２５は、位置情報取得部５０３と、時刻情報取得部５０４と、音ストリームおよび環境情報蓄積部５０６とから構成される。
【００４７】
次に、本発明の形態における音フィルタリング装置のハードウエア構成について説明する。本実施の形態における構成のように音のみの通話を行なう場合には、携帯電話などでの通話や、テレビ電話使用時の画面ＯＦＦ時などの使用時に取得される音に対して処理を行なう。また、ハードウェア構成と併せて、本実施の形態における処理の流れについて説明する。
【００４８】
入力音取得部５０１は、マイクにより構成され、通話者の音声と通話者の周囲の実環境混合音とを取得する。音ストリーム分解部５０５は、入力音取得部５０１で取得された音の特徴量、音の音源位置や音源方向等の音の特性によって、音声と背景音からなる環境音との２つの音ストリームを生成する。
【００４９】
音のストリーム分解手法については、例えば雑音環境下の音声抽出を目的とした雑音除去のための提案手法を用いることができる。これらの手法は、入力信号中に含まれる音声信号を検出あるいは強調するために、推定した雑音信号を入力信号から取り除く手法である。そこで、これらの手法を音の分離手法として用いるためには、抽出された音声信号と、取り除かれる雑音信号との双方を用いることで、入力信号音を音声と周囲環境音の２つの音に分離したとみなすことができる。
【００５０】
より具体的な手法としては、各周波数帯域での定常雑音成分を推定し、入力信号から該推定雑音成分を差分した成分を音声成分とみなす、スペクトルサブトラクション（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ）（例えば、文献  Ｂｏｌｌ．  “Ｓｕｐｐｒｅｓｓｉｏｎ  ｏｆ  ａｃｏｕｓｔｉｃ  ｎｏｉｓｅ  ｉｎ  ｓｐｅｅｃｈ  ｕｓｉｎｇ  ｓｐｅｃｔｒａｌ  ｓｕｂｔｒａｃｔｉｏｎ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ＡＳＳＰ−２７（２）：  ｐｐ１１３−１２０，  １９７９）や、入力音と、推定定常騒音を除去した入力音に線形フィルタリングを行って得られた信号との差分が、最小二乗法に基づき最小化するように最適化されたフィルタリング係数を用いて、線形フィルタリングにより音声信号を抽出するウィナーフィルタ（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒｉｎｇ）（例えば、文献Ｓ．Ｖ．  Ｖａｓｅｇｈｉ，  “Ａｄｖａｎｃｅｄ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  ｄｉｇｉｔａｌ  ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ”，  Ｗｉｌｅｙ  ａｎｄ  Ｔｅｕｂｎｅｒ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，  Ｃｈｉｃｈｅｓｔｅｒ，  Ｓｔｕｔｔｇａｒｔ，  １９９６．）のような雑音除去手法が利用できる。また、複数のマイクロホンからなるマイクロホンアレイより得られる複数の入力音を、加算あるいは遅延させて構成される適応型ビームフォーマを用いて、推定された音源方向および位置に基づいて音を分離する方法（例えば、文献Ｄｏｎ  Ｈ．  Ｊｏｈｎｓｏｎ，  Ｄａｎ  Ｅ．  Ｄｕｄｇｅｏｎ，  “Ａｒｒａｙ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ：  Ｃｏｎｃｅｐｔｓ  ａｎｄ  Ｔｅｃｈｎｉｑｕｅｓ”，  Ｓｉｍｏｎ  ＆  Ｓｃｈｕｓｔｅｒ，  １９９２）なども利用できる。
【００５１】
また、近年、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ；  ＰＣＡ）や、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ；  ＩＣＡ）や、非負行列因子分解（Ｎｏｎ−Ｎｅｇａｔｉｖｅ  Ｍａｔｒｉｘ  Ｆａｃｔｏｒｉｚａｔｉｏｎ；  ＮＭＦ）といった統計的分析手法を、音響特徴量に対して適用することにより、異なる音の特性を持つ特徴量をひとつの音源とみなして音を分離する、ブラインド音源分離（例えば文献Ｊ．Ｋａｒｈｕｎｅｎ，  Ｐ．Ｐａｊｕｎｅｎ，  ”Ｂｌｉｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｕｓｉｎｇ  ｎｏｎｌｉｎｅａｒ  ＰＣＡ  ｃｒｉｔｅｒｉｏｎ：  ａ  ｌｅａｓｔ−ｓｑｕａｒｅｓ  ａｐｐｒｏａｃｈ”，  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，  Ｉｎｔｌ．  Ｃｏｎｆ．，Ｖｏｌ４，  ｐｐ２１４７−２１５２，  １９９７、文献Ｇ．Ｊ．  Ｊａｎｇ，  Ｔ．  Ｗ．  Ｌｅｅ，  Ｙ．Ｈ．  Ｏｈ，  Ｓｉｎｇｌｅ−ｃｈａｎｎｅｌ  ｓｉｇｎａｌ  ｓｅｐａｒａｔｉｏｎ  ｕｓｉｎｇ  ｔｉｍｅ−ｄｏｍａｉｎ  ｂａｓｉｓ  ｆｕｎｃｔｉｏｎｓ，  ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌｅｔｔｅｒｓ  Ｖｏｌ１０−６，  ｐｐ１６８−１７１，  ２００３．）などが提案されており、これらを利用することもできる。
【００５２】
音ストリームおよび環境情報蓄積部５０６は、非通話時には、音ストリーム分解部５０５において分解された環境音、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等による位置情報取得部５０３で取得された位置情報、時計等による時刻情報取得部５０４で取得された環境情報の時刻に関する情報とを、ユーザの環境情報として蓄積するものである。例えば、図２に示すように、２００４年８月２日の８時に駅（位置情報から判定）にて取得された環境音として、「Ｓｎｄ０８０２ａ．ｗａｖ」が対応付けられて蓄積されている。このように、２００４年８月２日の８時に駅にて取得された環境音では、通勤時間帯のプラットフォームでの環境音と、位置情報等の環境情報とが関係付けられて蓄積されている。一方、通話時には、これらの情報の蓄積は行なわれず、状況合致仮想環境音選択判断部５０９によって、入力される音ストリームおよび環境情報と、蓄積された音ストリームおよび環境情報との関連検索が行われる。
【００５３】
通話相手判定部５０７においては、通話時に取得する電話番号や、相手の位置情報などの情報に基づいて、通話相手の判定を行なう。
【００５４】
通話環境情報履歴蓄積部５０８においては、過去の通話履歴において、いつ、どこで、どの相手と、どのような環境で、仮想的な環境音を利用したか否か、利用した場合その環境音は何か等の履歴を蓄積するものである。例えば、図３に示すような表を履歴として蓄積している。図３の第１行目においては、２００４年７月１１日の８時４４分に、ユーザが駅にいたときに、仕事の付き合いのＡさんから電話を着信したことを表現している。さらに、その通話においては、環境音を利用せずに、実際の環境での通話を行ったことを示している。第３行目には、２００４年７月１４日の１２時１３分に、ユーザがスーパーにいたときに、第１行目と同じＡさんから通話着信があったことが記録されている。このとき、ユーザは仮想環境音をＯＮに設定し、背景環境音を禁止し、背景音を置き換える音を自宅環境音に指定している。また、第４行目においては、２００４年７月１８日の１４時２３分に、ユーザが病院にいたとき、仕事関係のＣさんから電話の着信があった、そのときは、ユーザはＣさんに対して、病院にいることを知られたくなかったため、呼び出しアナウンスだけを禁止するために、仮想環境音をＯＮにして通話を行った。なお、背景環境音を消すことも仮想環境音をＯＮにすることに含まれるものとする。このように、過去の通話の履歴に関する情報を、通話環境情報履歴蓄積部５０８は蓄積している。
【００５５】
状況合致仮想環境音選択判断部５０９は、音ストリームおよび環境情報蓄積部５０６と通話環境情報履歴蓄積部５０８と通話相手判定部５０７との情報から、現在の状況において、仮想環境の音や映像を利用すべきか否かを決定し、利用するのであれば、音ストリームおよび環境情報蓄積部５０６で蓄積されている、どの環境情報を選択すべきかを判断し、その候補を出力するものである。
【００５６】
選択音加工合成部５１０は、状況合致仮想環境音選択判断部５０９において選択された環境音や環境映像の情報と、ユーザの音声とを用いて合成音を生成するものである。例えば、ユーザは、実際には、病院から電話しているが、通話相手に対しては、ユーザの音声とオフィスでの環境音とが合成されて出力される。このようにすることにより、通話相手にはユーザが病院にいることが気づかれず、ユーザの音に関するプライバシを守ることができる。
【００５７】
発明の概要説明として、はじめに、非通話時の環境音学習時の動作を図４のフローチャートを用いて説明する。非通話時に学習開始設定時刻かどうかを確認し（ステップ７０１）、設定時刻であれば環境音取得を開始し（ステップ７０２）、所定時間経過するまでの間環境音を取得する（ステップ７０３）。取得が終了すると（ステップ７０４）、取得した環境音と時刻と現在位置等環境情報が、蓄積用環境音学習データとして、音ストリームおよび環境情報蓄積部５０６に登録される（ステップ７０５）。
【００５８】
次に、着信時に仮想環境音を選択する動作を図５のフローチャートを用いて説明する。はじめに、着信があったか否かを検出する（ステップ１２０１）。着信がなかった場合には、本ステップを繰り返す。着信があった場合には、次のステップへすすむ。通話相手判定部５０７は、着信があった相手の電話番号から着信相手を特定する（ステップ１２０２）。着信相手と着信のあった時刻の情報から、通話環境情報履歴蓄積部５０８の過去の事例の検索を行なう（ステップ１２０３）。検索した結果、事例がなかった場合には、普段の電話とは異なると判断し、ステップ１２０７へすすみ、事例があった場合には、ステップ１２０５へすすむ（ステップ１２０４）。過去の検索事例があった場合には、過去の事例においては、仮想環境音情報を利用したか否かを判断する（ステップ１２０５）。過去に仮想環境音を利用していた場合には、今回も仮想環境音を利用して通話を行なう。過去の通話において、仮想環境音を利用していなかった場合には、今回も仮想環境音を利用せずに通話を行なう（ステップ１２０６）。仮想環境音を利用して通話を行なうと判断した場合には、前日の類似した時刻に音ストリームおよび環境情報蓄積部５０６において仮想環境音が蓄積されているか否かを検索する（ステップ１２０７）。その結果、仮想環境音があった場合には、その仮想環境音での環境音を選択・利用する（ステップ１２０８）。検索した結果、存在しなかった場合には、類似時刻における仮想環境音を選択・利用する（ステップ１２０９）。最後に、通話履歴を通話環境情報履歴蓄積部５０８に蓄積する（ステップ１２１０）。
【００５９】
このような構成によると、ユーザの普段の生活において発生している環境音を予め自動的に蓄積しておき、携帯電話がかかってきたときに、通話相手やその時刻、場所に応じて適切な環境音を自動的に再生選択することにより、通話相手やその時刻、場所に応じて環境音を変化させながら音のプライバシを守ることが可能となる。
【００６０】
また、本実施の形態において、通話とは、固定電話、携帯電話、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）電話、テレビ電話などによって、通話者とその他の音送信先の相手間で行なわれる、音の送受信を行なう操作を指すが、いずれの装置を用いた通信であってもよい。
【００６１】
また、本実施の形態において、通話を、相手との音を同時に送受信する行為だけでなく、音送信を行なう相手先を想定して音コンテンツに対して音のプライバシを守る音選択加工操作をする行為とみなしてもよい。
【００６２】
このような構成に拠れば、オーディオ収録装置やビデオカメラなどの録画装置により収録されたオーディオソースに対して、送信する相手との関係に応じて、音選択加工操作を適応させることにより、収録者の音プライバシの観点で、音選択加工装置として利用することも可能である。
【００６３】
また、通話を音コンテンツの伝送とみなすことによって、送信相手との関係に応じて音選択加工基準を決定することで、コンテンツ伝送時に音のプライバシ保護が可能となる。
【００６４】
以下、さらに詳細な本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
テレビ会議などの通話において、相手のあるいは自分の音のプライバシを守るため、音声以外の背景音を、置き換えるという従来法には、蓄積された背景音のいずれかに置き換えるか背景音置換処理をせずにそのまま使用するかを自動的に判断する機構がない。このため、同じ相手でも、時間や場所などが異なると、そのときの状況に応じて、守りたい音のプライバシが変動するという現象に対応できないという課題があった。
【００６５】
そこで、本実施の形態においては、上記実施の概要の形態に加えて、スケジュールと連動させてその時、場所、相手との関係等より表現される状況に応じた音情報選択基準を求め、その複数の候補を利用者に提示選択させて、その選択された情報を蓄積することで、過去の類似した状況における音環境情報算出精度を向上させることにより、時々刻々と変動する通話者の音のプライバシを守るものである。
【００６６】
本実施の形態における音フィルタリング装置の構成を図６に示す。図６においては、図１と同じ構成要素については同じ符号を用い、説明を省略するものとする。本実施の形態に係る音フィルタリング装置は、図１の構成に加えさらに、スケジュール記憶部５１３、音選択指示取得部５１１を備える。
【００６７】
次に、本発明の形態におけるハードウエア構成例について説明する。本実施の形態における構成のように音のみの通話を行なう場合には、携帯電話などでの通話や、テレビ電話使用時の画面ＯＦＦ時などの使用時に取得される音に対して処理を行なう。
【００６８】
次に、図６を用いて、本実施の形態における処理の流れについて説明する。なお、図１と同じ構成要素および同じ処理を行なう場合には、その説明を省略する。
【００６９】
音ストリームおよび環境情報蓄積部５０６は、概要の構成から得られた位置情報、時刻情報に加え、スケジュール記憶部５１３から得られる現在時刻のスケジュールと関連させて、ユーザの環境情報として蓄積し、検索されるものである。例えば、図７に示すように、非通話時の２００４年８月２日の９時に会社（スケジュール情報から判定）にて、取得した環境音（Ｓｎｄ０８０２ｂ．ｗａｖ）がそれぞれ対応付けされて蓄積している。
【００７０】
状況合致仮想環境音選択判断部５０９は、概要で説明した構成である通話相手判定部５０７と通話環境情報履歴蓄積部５０８とによって得られる通話情報と、音ストリームおよび環境情報蓄積部５０６に蓄積された情報に加えて、現在の音ストリームが有する音の類似度を考慮して、現在のユーザの状況を推定し、その状況に最も合致するように、仮想環境音を決定する候補を出力するものである。
【００７１】
本実施の形態において、非通話時の環境音学習時に音の類似度を用いる動作を図８のフローチャートを用いて説明する。なお、図４と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。図４と同様に、非通話時に学習設定時刻に達すると、所定時間環境音を取得する（ステップ７０１、７０２、７０３、７０４）。取得した環境音と、既に学習登録済みの環境音とを比較するためにそれら信号間の類似度を求める（ステップ７０６）。類似度が所定閾値以上の場合（ステップ７０７）には学習対象とせず、所定閾値未満の場合にのみ、取得した環境音と時刻と現在位置等環境情報とが蓄積用環境音学習データとして、音ストリームおよび環境情報蓄積部５０６に登録される（ステップ７０５）。
【００７２】
ここで、入力環境音と学習環境音との類似度の具体的な算出方法としては、直接的に、スペクトルパワー変動の一致度をみるために、それぞれの波形で算出された自己予測信号との残差成分からなる信号間について、相互相関係数を求めて、それを類似度の尺度とする方法などがある。
【００７３】
このような構成によれば、類似した音環境下での仮想環境音用のデータを蓄積することを防ぐごとが出来るため、蓄積に必要なハードディスクなどの容量を抑えることが出来る。また、与える選択肢の数を抑える働きをもたせることになるため、環境情報に応じて効率的な検索が可能となる。
【００７４】
また、図８で用いた音の類似度を基に、音ストリームおよび環境情報蓄積部５０６に学習蓄積された環境情報において出現する音の特徴を捉えるように分析することができる。さらに、このような環境情報と関連付けられた音特徴を用いて、環境情報取得蓄積部５２５から取得した環境情報において期待される音ストリームと、現在の入力された音ストリームが、実際の環境情報で学習している音と実際の音が異なるかどうか判定を行なうことができる。
【００７５】
このような構成によれば、例えば、ＧＰＳなどにより位置情報などが取得できない場合に、スケジュールから得られた「オフィス」の音特徴に近いのか、「駅」の音特徴に近いのかを判定し、その結果に応じて選択基準を変更することで適切な環境音を選択することができるようになる。
【００７６】
さらに、本実施の形態において、通話着信時における仮想環境音を選択する際にスケジュールを考慮する場合における動作を図９のフローチャートを用いて説明する。なお、図５と共通するステップについては、共通の符号を用い、必要がなければ説明を省略する。通話環境情報履歴蓄積部５０８において、着信相手と着信のあった時刻の情報およびその時刻におけるユーザのスケジュール内容から、類似した過去の事例の検索を行なう（ステップ１３０３）。検索した結果、事例がなかった場合には、普段の電話とは異なると判断し、ステップ１３０７へすすみ、事例があった場合には、ステップ１２０５へすすむ（ステップ１２０４）。仮想環境を利用して通話を行なうと判断した場合には、音ストリームおよび環境情報蓄積部５０６において、類似した時刻および類似したスケジュール内容で、仮想環境が蓄積されているか否かを検索する（ステップ１３０７）。その結果、仮想環境があった場合には、その仮想環境での環境音と環境を選択・利用する（ステップ１３０８）。検索した結果、存在しなかった場合には、類似時刻における仮想環境を選択・利用する（ステップ１３０９）。最後に、通話履歴として、通話環境情報履歴蓄積部５０８に蓄積する。
【００７７】
また、状況合致仮想環境音選択判断部５０９において行われる状況の推定に関して、上記のように通話相手判定部５０７による通話相手との関係およびスケジュールの内容と実際の環境情報から推測させる現在の状況とが矛盾するかどうかという選択基準のもとに行っても良い。例えば、図１０のような事例を用いて状況推定の手順の説明を行なう。
【００７８】
図１０では、いずれの行の場合にも、利用者であるユーザは、スケジュール上、スーパーにいる予定になっており、またこの情報は、家族のみに公開するという条件がある。このような際に、１行目のように、上司の名前で登録されている番号から通話があったとき、スケジュール上公開先でない相手から通話がかかってきたと判定がなされ、状況はプライベイトと判断する。そして、この状況にふさわしい音の条件を、音ストリームおよび環境情報蓄積部５０６から選択し、現在の環境情報との乖離度合いをもとに、音ストリームの禁止度を決定する。この例では、音声のみを通過させるように設定される。
【００７９】
次に、図１０の２行目の例では、スケジュール公開されている相手である妻から電話が掛かっている場合には、スケジュールと合致しているため、この場合には、家族内プライバシはないものと考えられる状況と推定される。音の加工を行なう必要がないものとして、処理を行なうことが出来る。
【００８０】
図１０の３行目の例では、同じ相手の妻から電話が掛かってきた場合にでも、スケジュールと現在地が異なる場合には、家族内のプライバシが必要な状況と推定されて、状況合致仮想環境音選択判断部５０９において、変更が必要と判断され、相手が期待する音環境である、スーパーの音環境音を仮想環境音として選択することができる。
【００８１】
図１０の４行目の例では、着信した相手が見知らぬ人だと判定された場合には、プライバシを守るという判断から、こちらの声質を知らせないようにユーザの声質を変化させるように音を加工するようにすることもできる。具体的には、本来のピッチを変化させた音に加工する等音声モーフィングの技術を用いることが出来る。
【００８２】
さらに、音選択指示取得部５１１を用いて、状況合致仮想環境音選択判断部５０９において判断された音情報を用いるかどうかユーザに促し、確認指示を取得しても良い。
【００８３】
例えば、仕事関係の通話相手に対して、休日に着信した場合には、図７に示されるような通話環境情報履歴蓄積部５０８において、いつも仮想環境を利用していた場合には、今回も仮想環境を選択することをユーザに促す。ユーザの選択を取得する音選択指示取得部５１１の結果に応じて、音の合成を行なう。さらに、着信した時刻によって、音ストリームおよび環境情報蓄積部５０６において蓄積されている環境音や環境映像から、どの環境情報を利用すれば、不自然でないかを判断して、ユーザにすすめる。例えば、着信時刻と類似した時刻に取得した環境の音や映像を選択することが可能である。選択した環境情報は、必ずしも１つである必要はないため、着信したときに、環境情報の候補を提示してもよい。例えば、図１１に示すように、ユーザの携帯電話に対して、鈴木さんから着信があったことがわかると、ユーザが折畳式の携帯電話をあけると、そこには、過去の通話相手との履歴から「自宅」「オフィス」での環境音や環境映像を利用することを促す画面が表示されている。その２つから、ユーザが状況を選択することで、簡単に環境情報を選択し、しかも、自らの環境で取得した環境情報を利用することが可能になる。
【００８４】
ここで、判断した音情報を用いるかどうかユーザに促し、確認指示を取得するために、音選択指示取得部５１１を用いた場合には、ユーザに提示した選択候補の仮想環境音から、ユーザが選択した音環境の選択指示結果を、通話時刻、通話相手、通話場所等の他の環境情報とともに、通話環境情報履歴蓄積部５０８に蓄積する。
【００８５】
スケジュールと相手との関係を基に、決定される仮想環境音の選択を行ない、音選択指示取得部５１１で選択肢を決定させる際の動作を図１２のフローチャートを用いて説明する。なお、図５と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。
【００８６】
はじめに、着信を検知し（ステップ１２０１）、相手を電話番号から判定すると（ステップ１２０２）、相手との関係を判断やスケジュールから、最終的に、ステップ１４１２でユーザに提示される音選択加工条件を判定追加していく。着信相手が知人でない場合には（ステップ１４０３）、音声を加工する選択肢を抽出し（ステップ１４０４）、相手が上司など、現在のスケジュールが公開されていない知人である場合（ステップ１４０５）には、音声だけを通過させるような選択肢を抽出する（ステップ１４０６）。さらに、現在の時刻と場所から状況を推測させるため、現在時刻とのスケジュール内容との合致度を求め（ステップ１４０７）、合致している場合（ステップ１４０８）には、公開されている相手に対して、スケジュールどおりの状況であるためプライバシは保たれると判断できるので、仮想環境音を設定しない状況で着信を行なう（ステップ１２０６）。合致していない場合には、類似時刻あるいは類似スケジュールでの仮想環境音を設定したことがあったかどうかを検索（ステップ１４０９）し、検索の結果、設定したことがあった場合には、過去に設定した仮想環境と同じ設定値を用いる選択肢を抽出し（ステップ１４１０）、検索の結果、設定したことが無かった場合には、さらに、現在の音環境と類似している環境音下で、仮想環境音を設定したことが有るかどうかを検索する（ステップ１４１１）。その結果、検索があった場合には、該当時刻あるいは該当スケジュールで選択したときと同じ仮想環境音を選択肢として抽出し（ステップ１４１２）、無かった場合には、音声のみの仮想環境音を選択肢として抽出する（ステップ１４０６）。このようにして抽出された、音選択加工の条件である選択肢を、ユーザに提示し（ステップ１４１２）、ユーザにより選択された条件に基づいて、音を選択加工して着信処理を行ない（ステップ１４１３）、通話終了後などに、通話履歴として選択された条件と環境情報とを通話環境情報履歴蓄積部５０８に蓄積する（ステップ１２１０）。
【００８７】
この構成によると、ユーザの普段の生活において、環境音を自動的に蓄積し、携帯電話がかかってきたときに、通話相手やその時刻、場所に応じて適切な環境音の候補を自動的に選択し、ユーザに選択する機会を与えた上で、選択結果に基づいて仮想環境音を合成し、再生を開始するものである。
【００８８】
なお、本実施の形態においては、通話相手に応じて、その通話相手との過去の通話履歴から、環境音を利用するか否かを判定した。さらに、ユーザの移動の履歴を蓄積しておき、通勤や通学等とは、異なる場所にいるときには、環境音を利用するように構成することも可能である。例えば、図１３に示すように、普段は、自宅から会社への往復が多いユーザの場合に、家族旅行等で、普段の場所とは異なる位置で、ユーザが電話を着信した場合には、自動的に、仮想環境のモードで通話を行なうようにしてもよい。また、病院や、普段、利用していない店にいた場合においても、通話相手に場所を知られないように、仮想環境モードで通話に自動的に変更してもよい。
【００８９】
本実施の形態において、非通話時の環境音学習時に位置の変化および音の類似度を用いる動作を図１４のフローチャートを用いて説明する。なお、図４および図８と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。図４と同様に、非通話時に学習設定時刻に達する（ステップ７０１）もしくは、定刻でなくともユーザの現在位置が変化した場合（ステップ７０８）には、所定時間環境音を取得し（ステップ７０２、７０３、７０４）、取得した環境音と既学習環境音との類似度が所定閾値未満の場合（ステップ７０６、７０７）にのみ、取得した環境音と時刻と現在位置等環境情報とが蓄積用環境音学習データとして、音ストリームおよび環境情報蓄積部５０６に登録される（ステップ７０５）。
【００９０】
この構成によれば、音の類似度を考慮することによって、音響的に類似した仮想音響用データの蓄積を抑えつつ、設定時刻および場所の変化に応じて蓄積を行なうことが可能となる。それにより、ユーザの普段の生活において、通常と異なる場所に移動したことに基づいて環境音を自動的に蓄積しておくことができるため、携帯電話がかかってきたときに、場所に応じての選択肢を多くもつことにより、より適切な環境音の候補を自動的に選択、あるいは選択候補としてユーザに提示して仮想環境音を合成し、着信を開始することが出来る。
（実施の形態２）
実施の形態１においては、音ストリーム分解部５０５において、音声と環境音という分解を行ない、音ストリームおよび環境情報蓄積部５０６において、主に環境音をそのまま蓄積することにより、同時に発生した状況を表す位置や時間情報のみに限定されていた状況に合致する音を選択判断していた。一方、現実生活上で生じる様様な状況を考えると、同じ位置、時間、相手だけでは判断できない状況、つまりさらに細かい環境条件によって左右されるような状況が存在し、それらが時と場合によって変化してしまうのが実情である。したがって、プライバシを守るための音自身が、直接的により細かく描写された状況に応じて、音を選択することが必要になる。
【００９１】
実施の形態１では、音の類似度を利用して、仮想環境音の判定をも行っていたものの、その音自身がどのような意味をもつのかという識別は行なわれていないため、環境音に関する情報を直接用いて、状況を表す環境情報として記録することができなかった。
【００９２】
そこで、本実施の形態においては、実施の形態１で用いた現在地やスケジュールによる現在の状況と、相手との関係とに加え、さらに、音から推測される現在の音の意味に応じた音情報選択基準尺度に基づいて音選択加工を行なうことにより、時々刻々と変動する通話者の音のプライバシを守るものである。
【００９３】
本発明の実施の形態２における音フィルタリング装置の構成を図１５に示す。図１５においては、図６と同じ構成要素については同じ符号を用い、説明を省略するものとし、音フィルタリング装置は、図６の構成に加えて、さらに、環境音モデル記憶部１０３と音情報識別部１０７とからなる音の意味抽出部１０２と、音情報および環境情報蓄積部５２６と、状況合致仮想環境音選択判断部５０９とを備える。
【００９４】
次に、図１５を用いて、実施の形態２における処理の流れについて説明する。入力音取得部５０１は、通話者の周囲の実環境混合音を複数のマイクにより取得する。音ストリーム分解部５０５は、取得された音を、音の特徴量、音の音源位置や音源方向等の音の特性によって複数の音ストリームに分解する。ここでは、音ストリームＡ、ＢおよびＣを含む音が１つ目のマイクロホンで取得され、音ストリームＡおよびＢを含む音が２つ目のマイクロホンで取得され、属性の異なる音ストリームＡ、ＢおよびＣが生成分離されるものとする。
【００９５】
このように分解された音ストリームの意味が音の意味抽出部１０２において抽出される。ここでは、環境音モデル記憶部１０３を参照して音情報識別部１０７により、３つの音ストリームが「Ａ：音声、Ｂ：笑い声、Ｃ：ドアの音」と識別できるものとする。具体的な識別方式としては、音声や音楽や環境音に応じて、前記音特徴量について混合分布モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ。以降ＧＭＭ）により、各音ストリームをモデル化し、環境音モデル記憶部１０３に保存しておく。各モデルと音ストリームとの間で所定単位時間ごとに、ＧＭＭ尤度を算出し、最尤推定結果を識別結果とみなすことにより、環境音識別が可能である。
【００９６】
音情報および環境情報蓄積部５２６においては、音の意味抽出部１０２および音情報識別部１０７による音識別結果によって得られた音ストリームごとの音種別情報と、位置情報取得部５０３で取得した位置情報、時刻情報取得部５０４で取得した環境情報の時刻に関する情報、スケジュール記憶部５１３から取得したユーザの時間と場所や状況を表すスケジュール情報とを、ユーザの環境情報として、非通話時に蓄積、通話時には検索に利用させるものである。
【００９７】
例えば、図１６に示すように、２００４年８月２日の８時に駅（位置情報から判定）にて取得した環境音が、それぞれ対応付けされて蓄積されている。例えば、朝８時に駅にて取得した環境音では、通勤時間帯のプラットフォームでの環境音識別結果として、電車や駅のアナウンス等の音と、電車がプラットフォームに入ってくる音と笛の音と、電車のエンジン音やブレーキ音に関する音の種類に関する情報として蓄積されている。さらに、音情報および環境情報蓄積部５２６おいて、音の種別と環境情報に関連蓄積する際に、ユーザに音情報識別部１０７で得られた音ストリームの音識別情報を提示して、各音ストリームごとに禁止許可情報を指定入力させて、その際の環境情報と関連させて記録蓄積しても良い。
【００９８】
また、音情報および環境情報蓄積部５２６には、音情報だけでなく、実施の形態１と同様に、音ストリームから得られる環境音の組み合わせを蓄積しても良い。
【００９９】
通話環境情報履歴蓄積部５０８は、図１７に示した、過去の通話履歴において、いつ、どこで、どの相手と、どのような環境で、仮想的な環境音を利用したか否かという情報に加えて、禁止した音はなにか等の履歴を蓄積するものである。例えば、図１７に示すような表を履歴として蓄積している。図１７の第１行目においては、２００４年７月１１日の８時４４分に、ユーザが駅にいたときに、仕事の付き合いのＡさんから電話を着信したことを表現している。さらに、その通話においては、環境音や環境画像を利用せずに、実際の環境での通話を行ったことを示している。第３行目には、２００４年７月１４日の１２時１３分に、ユーザがスーパーに居たときに、第１行目と同じＡさんから通話着信があったことが記録されている。このとき、ユーザは仮想環境音をＯＮに設定し、背景音環境を禁止し、背景音を置き換える音を自宅環境音に指定している。また、４行目においては、２００４年７月１８日の１４時２３分に、ユーザが病院にいたとき、仕事関係のＣさんから電話の着信があった、そのときは、ユーザはＣさんに対して、病院にいることを知られたくなかったため、呼び出しアナウンスだけ禁止するようにして、通話を行った。このように、過去の通話の履歴に関する情報を、通話環境情報履歴蓄積部では蓄積している。
【０１００】
状況合致仮想環境音選択判断部５０９において、通話相手判定部５０７で判定された通話相手と、通話環境情報履歴蓄積部５０８とによって得られる通話情報と、音情報および環境情報蓄積部５２６の情報とに基づいて、現在の状況を推定し、その状況に最も合致するように、現在の音ストリームの中から、選択もしくは禁止を行なう音を選択し、その基準尺度を決定する。
【０１０１】
実施の形態１との機能の違いとしては、実施の形態１における状況合致仮想環境音選択判断部５０９では、選択する音をそのまま蓄積しておくことに対して、本実施の形態では、選択する音の意味を蓄積しておき、状況の推定を行なう点である。
【０１０２】
より具体的には、例えば、図１０に示したスケジュールにもとづく環境情報を用いた状況判断表を用いて、状況推定の手順の説明を行なう。現在地としてスーパーに居る際に、上司の名前で登録されている番号から通話があったとき、自動的にスケジュールを参照し、現時点では、スケジュールが家族にのみ公開されているとき、音送信先の相手がスケジュール公開相手ではないことを検出し、状況はプライベイトと判断する。そして、この状況にふさわしい音の条件を、音情報および環境情報蓄積部５２６から選択し、現在の環境情報との乖離度合いをもとに、音ストリームの禁止度を決定する。
【０１０３】
図１０における次の２例についても説明する。現在地としてスーパーに居る場合に、スケジュール公開されている相手である妻から電話が掛かっている場合には、スケジュールと合致しているため、この場合には、家族内プライバシはないものと考えられる状況と推定される。先ほどの例と同様にして、この状況にふさわしい音の条件を、音情報および環境情報蓄積部５２６から選択し、音声Ａとスーパーの状況がわかるように周囲音とみなされる笑声Ｂは許されるよう尺度が決定される。
【０１０４】
図１０の３つ目の例では、同じ相手の妻から電話が掛かってきた場合にでも、スケジュールと現在地が異なる場合には、家族内のプライバシが必要な状況と推定されて、状況合致仮想環境音選択判断部５０９において、変更が必要と判断されて、禁止許可する尺度が変更される。
【０１０５】
上記２つの例では、音送信先の相手は上司であり、プライベイトという条件から、音ストリームＢの笑い声と音ストリームＣのドアの音とは、禁止される方向で尺度が決定される。そして、選択音加工合成部５１０では、この状況合致仮想環境音選択判断部５０９において決定された尺度を用いて、相手に送信すべき音の禁止許可を考慮した選択音が加工される。この例では、Ｂの禁止度０．８を積算、Ｃの禁止度０．２を積算して、Ａと加算した音に加工される。なお、禁止度は０から１までの間の数値を示し、値が小さいほど禁止度合いが強いことを示す。
【０１０６】
なお、本実施の形態において、禁止度あるいは許可度の算出には、各環境音の発生頻度を用いて決定しても良い。例えば、音声のみが期待される環境において、禁止させたい環境音として、それぞれの発生頻度を直接考慮して、環境音全体に対する禁止度を決定すると、統計的に禁止度を決定することが出来る。
【０１０７】
また、音属性あるいはモデル間の距離を求めることにより、禁止させるモデルと、許可するモデルの平均からの距離に基づいて、重み付けしてもよい。禁止したいモデルが許可するモデルの平均に近ければ、より禁止度を大きく設定し、逆に許可したいモデルが、禁止したいモデルの平均に近ければ、許可度を大きく設定することなども可能となり、より精度良く細かい許可度および禁止度の設定が可能となる。
【０１０８】
なお、本実施の形態において、さらに必要に応じて、音情報および環境情報蓄積部５２６においては環境音そのものも蓄積しておき、実施の形態１と同様に、通話環境状況に応じて置き換える環境音を選択するようにしてもよい。また、実施の形態１と同様に、通話環境状況に応じて選択した候補を、利用者に選択させることにより精度を上げるように構成させてもよい。
【０１０９】
このような構成によれば、相手との関係、場所、スケジュール、音ストリームの意味を用いて、「プライベイト」／「家族内プライバシ無」／「家族内プライバシ有」といったその時々に推定判断された状況を考慮して、相手に送信する音を自動的に決定することで、時々刻々変動する音のプライバシのレベルにあわせて音のプライバシを守ることができる。
【０１１０】
ここで、本実施の形態における音フィルタリング装置の第二の構成を図１８に示す。本実施の形態における第一の構成に加え、さらに、状況合致仮想環境音選択判断５０９において、複数の音基準候補を出力しユーザに提示することにより、ユーザに選択の機会を与え、その結果を取得する音選択指示取得部５１１を設けて、選択された結果を、通話環境情報履歴蓄積部５０８に反映蓄積させることもできる。
【０１１１】
このような構成によれば、ユーザの状況に応じてユーザ自信が選択した記録をもとに、通話環境情報履歴蓄積部５０８が構築更新されてゆくので、第一の構成に比べて状況に合致した音の選択基準が選ばれることとなる。また、音情報および環境情報蓄積部５２６に蓄積されている音情報や環境情報あるいは通話環境情報履歴蓄積部５０８に蓄積されている環境情報履歴が不十分なために、状況合致仮想環境音選択判断部５０９から得られる出力結果が、不適合が多い場合にも、ユーザ自信の入力により訂正修正が可能であるため、たとえ、蓄積情報量が不足していても、選択音加工合成部５１０において、不適切なもしくは無意味な音が合成されることを避けることができる。
【０１１２】
また、推定状況に応じて自動選択された音ストリームの加工方法を、通話者の要望に直接応じて加工かつ学習することができるので、今後よりカスタマイズされた音選択方法が確立できる。
【０１１３】
また、本実施の形態において、音選択指示取得部５１１により、強制的に加工対象とする音を指定がなく、自動推定した音ストリーム選択加工条件が、そのまま採用された場合には、その頻度や重みを学習し、学習結果を音情報および環境情報蓄積部５２６に記憶することもできる。
【０１１４】
本発明の実施の形態２における音フィルタリング装置の非通話時環境音の音情報学習における第一の動作例を図１９のフローチャートを用いて説明する。なお、図８と共通するステップには、共通の符号を用い、必要が無ければ説明を省略する。
【０１１５】
はじめに、学習を開始すると（ステップ７０２）、入力音取得部５０１および音ストリーム分解部５０５によって、音の特徴量、音の音源位置や音源方向等の音の特性によって複数の音ストリームに分解されて、入力音から音属性が抽出される。
【０１１６】
音の意味抽出部１０２の音情報識別部１０７は、抽出された音ストリームを入力とし、音識別結果を出力する（ステップ１５０１）。所定時間経過（ステップ７０３）し、学習が終了（ステップ７０４）すると、抽出された音ストリームおよび出力された音識別結果にもとづき、現在の環境情報下において出現した音ストリームの種類とその識別属性および頻度をユーザに提示し（ステップ１５０４）、その音属性を禁止あるいは許可する情報とともに蓄積することもできる。（ステップ１５０５）。また、ステップ１５０４の提示の際には、具体的にその属性の音を再生提示させても良い。
【０１１７】
音情報の比較の具体的な手法としては、ＧＭＭを用いて音識別の際に得られる手法を用いて、入力音ストリームと学習モデル間の尤度がいずれの学習モデルの場合も所定閾値以下であるかどうかなどで判定することが出来る。これは、未だ学習されていない新規の入力音に対しては、どの学習モデルでも表現できていないことを利用する。
【０１１８】
本発明の実施の形態２における音フィルタリング装置の非通話時環境音の音情報学習における第二の動作例を図２０のフローチャートを用いて説明する。なお、図８および図１９と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。図１９の学習の例では、入力音の取り込みが終了するまで、新たな音の属性の検出があったかどうかは提示されなかったが、図２０では、入力音取り込み中であっても、音情報および環境情報蓄積部５２６に既学習蓄積されている音情報との比較が行われ、新しい音情報が検出された場合（ステップ１５０２）には、ユーザに提示（ステップ１５０４）し、その属性の音を禁止許可するなどの情報を入力させて、その情報を記録する。（ステップ１５０５）。
【０１１９】
このような構成によれば、新たな音響属性が出現したその場で、禁止許可を判断することが出来るため、より細かく情報を学習することが可能になる。
【０１２０】
また、本実施の形態の音情報および環境情報蓄積部５２６において、図１９または図２０で示された音環境学習動作を通じて得られた環境情報と環境音とを関係付ける方法として、ある環境音下における、音ストリームおよびその意味の組み合わせや、その出現頻度を用いてもよい。さらに、前記音ストリームおよびその意味の組み合わせや出現頻度から、環境情報下にあるかどうか検証判定することもできる。また、この検証判定を用いることにより、ひとつの環境情報に対して、音の意味を用いて、環境情報と音ストリームおよび音情報の関係付けとを分類すると、例えば同じ「オフィス」にいたとしても、テレビ電話において周囲の人々との笑い声を含めた会話が出来るようにしたい場合と、周囲の雰囲気を全く伝えたくない場合、などの複数の選択肢を与えることが出来るようになる。
【０１２１】
このような構成によれば、例えば、ＧＰＳなどの位置情報などの環境情報が取得できない場合に、スケジュールより「オフィス」に居るのかどうか判定することが出来るようになるため、その判定結果に応じて、仮想環境音情報の選択基準を変更し、適切な環境音を選択できるようになる。また、ひとつの環境情報に対して、複数の状況が存在する場合などにも対処できるようになるため、ユーザに選択提示することが出来るようになる。
【０１２２】
また、本実施の形態において、上記のように詳細な音ストリームの意味を考慮して、状況の推定を行なうことにより、より適切な音選択を行なうこともできる。より具体的には、スケジュールも現在地も、会議室にいるとした場合にでも、会議が早く終わった場合には、その情報は前記２つの情報だけでは推定することができない。そこで、音の意味による判断を行なうことにより、より現在の状況の把握が可能となる。
【０１２３】
本発明の実施の形態２における音フィルタリング装置の通話時環境音の音情報学習における動作を図２１のフローチャートを用いて説明する。なお、図９、図１９および図２０と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。通話中（ステップ１５００）に、図２０での学習時の例と同様に、新たな音属性の出現を検知するとユーザに提示し、許可禁止情報を入力させる。その際に、現在の音環境を示す、時刻や位置情報やスケジュールなどの環境情報においての、初めての音属性情報かどうかを判断（ステップ１５０３）してもよい。また、通話が終了すると、通話履歴として記録（ステップ１２１０）を行なう。
【０１２４】
このような構成によれば、場所を示す物理的位置情報やスケジュールで表現される環境情報だけでは分からない、音識別等の音から得られる情報に関しても、状況推定のための環境情報とすることができるので、より状況の判定の精度を上げることができる。また、状況の変化をも、音の変化によって、捉えることが出来るようになる。
（実施の形態３）
テレビ会議など、複数の情報開示レベルの異なる話者と一緒に通話している場合において、本来開示対象者に該当していない人にも、開示することが望ましくない情報がうっかりと聞き伝わってしまうという課題があった。これを防ぐため、通話の内容に含まれる情報のうち、相手に伝えてよい内容に注意しつつ種類を吟味しながら発話して、「“例の話“のあの件なんだけど、ＸＸＸ円でうまくいったよ。」などと、一部を「”例の話し“」と置き換えて発言したとしても、周囲の単語の情報から推測することが可能であった。これを完全に防ぐためには、情報開示レベルが合致した人だけから構成される別の機会を設けて新たな通話を行なう必要がある。
【０１２５】
そこで、本実施の形態においては、通話者毎に開示する情報をレベルに応じた音情報選択基準尺度に基づいて音選択加工を行ない、該通話者毎に加工された音を送信することにより、複数の通話相手先と同時に通話している場合にも、各通話者に対する開示レベルに応じた情報のみを与えることを可能とするものである。
【０１２６】
本発明の実施の形態３における音フィルタリング装置の構成を図２２に示す。図２２においては、図１５と同じ構成要素については同じ符号を用い、説明を省略するものとし、本実施の形態に係る音フィルタリング装置は、さらに、話者モデル記憶部１０４、音響モデル記憶部１０５、言語モデル記憶部１０６、話者識別部１０８、音声認識部１０９、固有名詞抽出部１１０および顧客情報記憶部５１４を備える。
【０１２７】
通話相手判定部５０７による電話番号等による相手判定に加えて、話者モデル記憶部１０４を参照して話者識別部１０８を用いて、話者の特定を行なってもよく、またその結果を用いて通話相手を判定しても良い。複数の人間が参加している会議の場では、発言者の同定が重要な環境情報ともなり得るためである。話者識別の具体的な手法としては、話者の音声特徴をＭＦＣＣ（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）などの特徴量ベクトルで表現してＧＭＭなどにより話者モデルを学習し、ＧＭＭ最尤推定などの結果、最尤の結果を出力する話者のモデルを入力音声の話者と一致するとみなす手法などがある。
【０１２８】
また、音響モデル記憶部１０５や言語モデル記憶部１０６を参照して音声認識部１０９を用いて話者の発声言語内容を詳細に把握する。音声認識部１０９の具体的な方法とは、言語（たとえば日本語）を構成する音素を音響的に例えばＭＦＣＣなどで表現した特徴ベクトルの時間的な系列をＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）などで学習した音響モデルを作成し、さらに音素間の遷移確率などの言語的な制約のもとに表現される音素列を仮定し、入力音声との間でＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングやＶｉｔｅｒｂｉアラインメントにより、その音響的尤度と言語単語列としての単語尤度などを求めることにより、得られた最尤状態系列による音素列あるいは単語列を、発声内容とみなす手法などがある。
【０１２９】
また、発言内容をさらに詳細に調べるために、出力された単語系列から文法的な品詞解析をおこなうことによって、固有名詞抽出部１１０を用いる。具体的には、構文解析などがある。
【０１３０】
また、本実施の形態において、状況と音の関係記憶部には、環境情報に対するこれらのさまざまなレベルの音の意味との関係を記録学習してもよいし、逆に、環境情報において期待される音そのものを蓄積してもよく、つまり、たとえば、環境音モデル記憶部１０３が、状況と音の関係記憶部と連携している場合があってもよい。また学習する記憶する内容は、環境情報と音ストリームの組み合わせの同時発生頻度を学習しても良い。
【０１３１】
会議の参加者は、各参加者の情報開示条件を顧客情報記憶部５１４から入手することにより、可能な参加者ごとの情報開示レベルを決定することができる。例えば、図２３に示す、顧客情報にもとづく環境情報を用いた状況判断表に書かれた例では、自社オフィスに居る社員Ａと秘密保持契約を有する顧客Ｂには、秘密保持契約の内容に該当する条件で開示レベルがあるが、顧客Ｃは、秘密保持契約が無いため、開示情報を一般的公開情報に留める必要がある。
【０１３２】
そこで、状況合致仮想環境音選択判断部５０９では、音情報および環境情報蓄積部５２６に記載されている条件を満たすように、オフィスにおける音選択条件にしたがうように、音ストリームＢの笑い声および音ストリームＣのドアの音を禁止するように、加工を行なう。さらに顧客Ｃに対しては、情報開示レベルを満たさない固有名詞を配信しないようにするため、音ストリームＡの音声に対して、固有名詞抽出部１１０によって得られた固有名詞の出現区間に基づいて、情報開示レベルを満たさない区間を消去あるいはマスキング音などで被うことにより、音の選択加工を行なう。音配信先選択部５１２において所定の配信先に、それぞれの加工音が送信されてゆく。
【０１３３】
図２３に示した、顧客情報にもとづく環境情報を用いた状況判断表の別の例としては、社員Ａは、電車内に居る場合には、こちらから発信する情報が社員Ａの周囲に洩れる可能性があるため、情報を制限する必要があり、そのため、選択開示する固有名詞は一般情報に限定される必要があり、そのことを示している。
【０１３４】
本発明の実施の形態３における音フィルタリング装置の通話時環境音の音選択加工時における動作を図２４のフローチャートを用いて説明する。なお、図９と共通するステップは、共通の符号を用い、必要が無ければ説明を省略する。
【０１３５】
はじめに、通話を検知し（ステップ１２０１）、通話相手を判定すると（ステップ１２０２）、該当者の情報開示レベルをサーバ等において検索取得し（ステップ１６０３）、選択固有名詞を決定する（ステップ１６０４）。通話相手に該当する人の情報開示レベルが、サーバ上に見つからない場合には、開示レベルは最低とすることも、通話を開始しないようにすることが出来る。通話を開始する（ステップ１６０５）と、発言者の発声内容を把握するために音声認識によりキーワード抽出を行ない（ステップ１６０６）、選択固有名詞が発声されたかどうかを検出する（ステップ１６０７）。検出された場合には、音加工のために、送信を一時遅らせるなどの処理を加えて、発生区間の検出周辺区間に対して、形態素解析を行って名詞句区間を抽出し（ステップ１６０８）、情報開示レベルに応じて、送信音を加工して（ステップ１６０９）、送信先ごとに送信する（ステップ１６１０）。例えば、送信音を「ピー」という音とし、固有名詞を隠すようにする。選択固有名詞の検出がない場合には、発声内容に関する音加工はなしで、送信のみを行ない、これらの処理を通信終了まで続行する。（ステップ１６１１）。
【０１３６】
このような構成によれば、相手との契約や相手の場所に応じて変動する情報開示レベル権限の変動に応じた情報の開示を行なうことが可能である。したがって、通信中の送信先ごとに情報開示レベルや音選択基準の異なる情報を同時に送信することも可能となる。
【０１３７】
ここで、本実施の形態における第二の構成を図２５に示す。本実施の形態における第一の構成に加え、さらに、状況合致仮想環境音選択判断部５０９において、複数の音基準候補を出力しユーザに提示することにより、ユーザに選択の機会を与え、その結果を取得する音選択指示取得部５１１を設けて、選択された結果を、通話環境情報履歴蓄積部５０８に反映蓄積させることもできる。
【０１３８】
このような構成によれば、ユーザの状況に応じてユーザ自信が選択した記録をもとに、通話環境情報履歴蓄積部５０８が構築更新されてゆくので、第一の構成に比べて状況に合致した音の選択基準が選ばれることとなる。また、音情報および環境情報蓄積部５２６に蓄積されている音情報や環境情報あるいは通話環境情報履歴蓄積部５０８に蓄積されている環境情報履歴が不十分なために、状況合致仮想環境音選択判断部５０９から得られる出力結果が、不適合が多い場合にも、ユーザ自信の入力により訂正修正が可能であるため、たとえ、蓄積情報量が不足していても、選択音加工合成部５１０において、不適切なもしくは無意味な音が合成されることを避けることができる。
【０１３９】
また、本実施の形態において、顧客情報をもとに情報開示レベルを決定したが、さらに実施の形態２と同様に、スケジュールや各通話者からの送信音から推測されるシーンや場所などの判断情報も環境情報として利用してもよい。
【０１４０】
また、本実施の形態において、通話者とは、実際の発言者のみならず、通話に参加者している発言者の周囲に居ることが期待される人を含めて考えることができる。その場合には、その参加者間の関係に応じてその開示レベルを決定させることも可能である。たとえば、一つの通話先につき、参加している人のうち最も開示レベルの高い人を基準として、一つの開示レベルを決定しても良い。
【０１４１】
また、本実施の形態において、情報開示レベルの異なる参加者が同時に同じ場所に居る場合に、相手側からの音の再生をスピーカでなく、各通話者がヘッドホンを用いている場合にのみ、本実施の形態を適応しても良い。また、スピーカで再生される場合には、参加者のうち、情報開示レベルが最低の人に合わせるように情報開示レベルを決定しても良い。
【０１４２】
このような構成によれば、同じ場所にいても、相手先からの送信内容に、異なる開示レベルの異なる通話者との音プライバシが確保された通話を行なうことが可能である。
【０１４３】
また、本実施の形態において、所定の開示レベルを持たない音送信先の相手が、開示レベルに含まれない内容の対話を行なった場合には、強制的に通話を中止するようにしてもよい。
【０１４４】
このような構成によれば、見知らぬ相手からの通話があっ場合に，個人情報を聞き出そうとしている場合などに、通話を中止させることができる。子供が電話に出た場合など不用意に個人のプライバシ情報が洩れないように保護する方法として有効である。
【０１４５】
また、本実施の形態において、通話先の相手が、見知らぬ相手であり、情報開示のレベルも低いような関係である場合には、相手先に送信する音声から個人性を除去するように音声のピッチを変換するなどの音処理をおこなってもよい。
【０１４６】
この構成によれば、個人の音声の特性を知られてしまうという音のプライバシの不用意な漏洩を避けることができる。相手との関係が構築されたり、情報開示レベルを上げたりしても良いと判断された場合には、この個人性除去の処理をしない設定を行なうようにしてもよい。
（実施の形態４）
特許文献５といった、音のプライバシを守るための従来方法においては、あらかじめ設定された環境音を蓄積しておき、設定に合致する電話番号などから着信があった場合にその背景音を置き換える方法が行なわれていた。しかしながら、相手との関係やユーザの利用環境は多種多様なので、あらかじめ、提供されているものを利用すると、不自然な場合が生じてしまうことがある。例えば、家庭内のキッチンでの環境音や画像を利用して通話を行っていたときに、事前に登録された環境音には、ユーザは一人暮らしであるにもかかわらず、子供の声が含まれている場合がある。また、テレビ電話等において、ユーザと通話者との間で映像情報を伝達する場合もある。このとき、環境画像に関しては、マンション暮らしのユーザに対して、あらかじめ蓄積されている環境画像を利用すると、そのユーザの住まいに関して知っている相手に対しては、実際とは異なる環境画像が利用されていることが、通話相手に知られてしまう。
【０１４７】
一方、多くのバリエーションをもたせるために、あらかじめ多くの環境音や環境画像を蓄積すると、電話等を着信したときに、どの環境音や画像を利用すべきかを、多くのコンテンツから検索する必要がある。そのため、着信に対して、応えるのに時間を要してしまうことがある。
【０１４８】
そこで、本実施の形態においては、ユーザの普段の生活において、環境音や環境画像を自動的に蓄積し、携帯電話がかかってきたときに、通話相手やその時刻、場所に応じて適切な環境音を自動的に再生するものである。
【０１４９】
本実施の形態における音フィルタリング装置の構成を図２６に示す。図２６においては、図１と同じ構成要素については同じ符号を用い、説明を省略するものとし、本実施の形態に係る音フィルタリング装置は、さらに、画像取得部５０２と、音画像ストリームおよび環境情報蓄積部５１６と、仮想環境音画像選択部５１９と、選択音画像合成部５２０とを備えている。
【０１５０】
この構成によると、ユーザの普段の生活において、環境音や環境画像を自動的に蓄積し、携帯電話がかかってきたときに、通話相手やその時刻、場所に応じて適切な環境音および環境画像を自動的に再生するものである。
【０１５１】
次に、本発明の形態におけるハードウエア構成例について図２７を用いて説明する。図２７においては、ユーザは衣服等に環境音を収録するマイクと環境画像を取得するカメラを装備している。さらに、これらの環境情報を取得した音は画像に関する情報を蓄積するものとして、ハードディスク等で構成される環境情報蓄積デバイスを装着している。これらのハードウエアにより、ユーザの生活エリアにおける環境音や環境画像を環境情報として自動的に取得する。
【０１５２】
次に、鞄の中やストラップ等でユーザに装着された携帯電話を保有し、携帯電話と環境情報蓄積デバイスはＢｌｕｅｔｏｏｔｈ等の無線ネットワークで情報の交換が可能になっている。携帯電話に着信があると、既に蓄積されている環境情報から適切なものを選択することで、そのユーザのプライバシを保持した上で、ユーザの生活エリアにおける環境音、環境画像を合成することで、通話相手と情報の交換をすることが可能になる。
【０１５３】
次に、図２６を用いて、本実施の形態における処理の流れについて説明する。入力音取得部５０１は、通話者の周囲の実環境混合音をマイクにより入力取得し、音ストリーム分解部５０５によって、音の特徴量、音の音源位置や音源方向等の音の特性によって、音声と背景音からなる環境音という２つの音ストリームが生成される。
【０１５４】
画像取得部５０２においては、図２７のように装着された小型カメラによって、ユーザの生活エリアにおける環境画像を取得するものである。これにより、各時刻における、ユーザが普段利用する道路や駅の環境画像を取得することが可能になる。
【０１５５】
音画像ストリームおよび環境情報蓄積部５１６においては、音ストリーム分解部５０５において分解された環境音情報、画像取得部５０２で取得した環境画像の情報、位置情報取得部５０３で取得した位置情報、時刻情報取得部５０４で取得した環境情報の時刻に関する情報を、ユーザの環境情報として蓄積するものである。例えば、図２８に示すように、２００４年８月２日の８時に駅（位置情報から判定）にて、取得した環境音と環境画像がそれぞれ対応付けされて蓄積している。例えば、朝８時に駅にて取得した環境音と環境画像では、通勤時間帯のプラットフォームでの環境音として、電車や駅のアナウンス等の音と、電車がプラットフォームに入ってくる映像が蓄積されている。さらに、スケジュール記憶部５１３から取得した該当時刻のスケジュールを合わせて、音画像ストリームおよび環境情報蓄積部５１６に蓄積利用し、より詳細な環境情報としてもよい。
【０１５６】
仮想環境音画像選択部５１９においては、音画像ストリームおよび環境情報蓄積部５１６と通話環境情報履歴蓄積部５０８と通話相手判定部５０７との情報から、現在の状況において、仮想環境の音や映像を利用すべきか否かを決定し、利用するのであれば、音画像ストリームおよび環境情報蓄積部５１６で蓄積されている、どの環境情報を選択すべきかを判断し、その候補を出力するものである。さらに、その判断した音画像情報を用いるかどうかユーザに促し、確認指示を取得する、音画像選択指示取得部５２１（図３２を参照）を用いても良い。例えば、仕事関係の通話相手に対して、休日に着信した場合には、通話環境情報履歴蓄積部５０８において、いつも仮想環境を利用していた場合には、今回も仮想環境を選択することをユーザに促す。ユーザの選択を取得する音選択指示取得部５１１の結果に応じて、音画像の合成を行なう。
【０１５７】
さらに、着信した時刻によって、音画像ストリームおよび環境情報蓄積部５１６において蓄積されている環境音や環境映像から、どの環境情報を利用すれば、不自然でないかを判断して、ユーザにすすめる。例えば、着信時刻と類似した時刻に取得した環境の音や映像を選択することが可能である。選択した環境情報は、必ずしも１つである必要はないため、着信したときに、環境情報の候補を提示してもよい。
【０１５８】
ここで、判断した音画像情報を用いるかどうかユーザに促し、確認指示を取得するために、音画像選択指示取得部５２１を用いた場合には、ユーザに提示した選択候補の仮想音画像環境から、ユーザが選択した音画像環境の選択指示結果を、通話時刻、通話相手、通話場所等の他の環境情報とともに、通話環境情報履歴蓄積部５０８に蓄積する。その蓄積例を図２９に示す。
【０１５９】
選択音画像合成部５２０においては、仮想環境音画像選択部５１９において選択された環境音や環境映像の情報と、ユーザの音声を用いて合成音や合成画像を生成するものである。例えば、図３０（ａ）に示すように、ユーザは、実際には、病院から電話しているが、図３０（ｂ）に示すように、通話相手に対しては、ユーザの音声とオフィスでの環境音、環境画像が合成されて出力される。
【０１６０】
なお、本実施の形態ではさらに、着信した時刻によって、音画像ストリームおよび環境情報蓄積部５１６において蓄積されている環境音や環境映像から、どの環境情報を利用すれば、不自然でないかを判断して、ユーザにすすめる。例えば、着信時刻と類似した時刻に取得した環境の音や映像を選択することが可能である。選択した環境情報は、必ずしも１つである必要はないため、着信したときに、環境情報の候補を提示してもよい、例えば、図１１のように仮想環境音に関する情報を提示すると同時に、関連する画像情報をあわせて提示し、ユーザが状況を選択することで、簡単に環境情報を選択し、しかも、自らの環境で取得した環境情報を利用することが可能になる。
【０１６１】
以上の動作を図３１のフローチャートを用いて説明する。はじめに、着信があったか否かを検出する（ステップ１１０１）。着信がなかった場合には、本ステップを繰り返す。着信があった場合には、次のステップへすすむ。通話相手判定部５０７において、着信があった相手の電話番号か、着信相手を特定する（ステップ１１０２）。着信相手と着信のあった時刻の情報から、通話環境情報履歴蓄積部５０８において、音画像ストリームおよび環境情報蓄積部５１６の検索を行なう（ステップ１１０３）。検索した結果、事例がなかった場合には、普段の電話とは異なると判断し、ステップ１１０７へすすみ、事例があった場合には、ステップ１１０５へすすむ（ステップ１１０４）。過去の検索事例があった場合には、過去の事例においては、仮想音画像環境情報を利用したか否かを判断する（ステップ１１０５）。過去に仮想音画像環境を利用していた場合には、今回も仮想音画像環境を利用して通話を行なう。過去の通話において、仮想音画像環境を利用していなかった場合には、今回も仮想音画像環境を利用せずに通話を行なう（ステップ１１０６）。仮想音画像環境を利用して通話を行なうと判断した場合には、前日の類似した時刻で音画像ストリームおよび環境情報蓄積部５１６において仮想音画像環境が蓄積されているか否かを検索する（ステップ１１０７）。その結果、仮想音画像環境があった場合には、その仮想音画像環境での環境音と環境画像を選択・利用する（ステップ１１０８）。検索した結果、存在しなかった場合には、類似時刻における仮想音画像環境を選択・利用する（ステップ１１０９）。最後に、通話履歴として、通話環境情報履歴蓄積部５０８に蓄積する。
【０１６２】
以上の動作を行なうことにより、ユーザの普段の環境音や環境映像を利用して、通話者と対話することが可能になり、ユーザのプライバシを守ることができ、通話相手に対しても、環境音や環境映像を合成していることが知られにくくなる。また、多くの、環境音や環境映像が蓄積されている場合においても、過去の事例から、適切な環境音や映像を簡単に選択することができ、不意な着信があったとしても、あわてることなく、環境情報を利用することが可能になる。
【０１６３】
なお、本実施の形態においては、図２８に示すように、定期的に環境音や環境画像を取得し、ユーザの普段の生活環境における、音と映像に関する情報を取得した。さらに、合成を行ないやすい環境音や環境映像の学習を行なうために、ひとつの環境情報を固定した条件において、環境音もしくは環境画像の特徴量間の距離などを用いて、異なる特徴を持つかどうか判定を行なったり、音ストリームの構成により判定を行なうなどしてもよい。さらに、上記のように環境情報にリンクして学習された環境情報音間で、類似距離判定を行なってもよい。これにより、音や画像特徴量的に似ている音を学習することを避けることができるため、蓄積に必要な情報量を減らすことができ、かつ最適な音や画像選択の時間も短縮できる。
【０１６４】
なお、本実施の形態においては、通話とは無関係に、あらかじめ時間や場所などの環境情報に応じた仮想環境音として学習しておき、実際の通話時に、スケジュールや相手との関係に応じて、最適な仮想環境音を使用選択し、音声との合成を行なうことにより、環境音から推測されるユーザのプライバシ漏洩の保護を考慮した通話を実現した。この手法を用いると、あらかじめ蓄積されている環境音に関するデータは有限であるため、通話時間が長くなると、環境音が足りなくなることが考えられる。そこで、通話時間に対して比較的に長い時間の環境音をサーバ等に記録しておき、繰り返し再生するようにしてもよい。また、場所などの環境条件と一致する環境で発生している実際の音を取得することにより、途切れることなく、再生させることができる。
【０１６５】
また、本実施の形態における第二の構成を図３２に示す。図３２においては、図３および図２６と同じ構成要素については同じ符号を用い、説明を省略するものとし、図２６における構成部に加え、さらに、音画像選択指示取得部５２１から構成される。
次に、図３２を用いて、本実施の形態における処理の流れについて説明する。図２６で示された処理の流れに加え、仮想環境音画像選択部５１９において、複数の音基準候補を出力しユーザに提示することにより、ユーザに選択の機会を与え、その結果を取得する音画像選択指示取得部５２１を設けて、選択された結果を、通話環境情報履歴蓄積部５０８に反映蓄積させることもできる。
【０１６６】
このような構成によると、ユーザの普段の生活において、環境音や環境画像を自動的に蓄積し、携帯電話がかかってきたときに、通話相手やその時刻、場所に応じて適切な環境音の候補を自動的に選択し、ユーザに選択する機会を与えて、選択結果に基づいて仮想環境音を合成し再生することができる。
【産業上の利用可能性】
【０１６７】
本発明にかかる音フィリルタリング装置は、相手との関係や時間や場所などの状況と音の意味に応じて音を選択することにより、不必要な音情報提供を制限する、音のプライバシの保護が可能になった。通話者のプライバシを守るため通信先の相手との関係および音の状況に応じて選択する機能を有し、携帯電話等に適応することで、相手から期待される環境音と異なる場合にも、周囲の音に気兼ねなく通話可能とする装置として有用である。また電話の用途にも応用できる。通話を音コンテンツの伝送とみなすことによって、送信相手との関係に応じて音選択加工基準を決定することで、コンテンツ伝送時に音のプライバシ保護が可能となった。
【図面の簡単な説明】
【０１６８】
【図１】本発明の概要の実施の形態における音フィルタリング装置の構成図である。
【図２】本発明の概要の実施の形態における環境情報蓄積部の蓄積内容を示す図である。
【図３】本発明の概要の実施の形態における音フィルタリング装置における通話環境情報履歴蓄積部で蓄積されている履歴情報を示す図である。
【図４】本発明の概要の実施の形態における音フィルタリング装置の非通話時環境音の学習における動作フローチャートである。
【図５】本発明の概要の実施の形態における音フィルタリング装置の通話着信時における仮想環境音の選択時における動作フローチャートである。
【図６】本発明の実施の形態１における音フィルタリング装置の構成図である。
【図７】本発明の実施の形態１における環境情報蓄積部の蓄積内容を示す図である。
【図８】本発明の実施の形態１における音フィルタリング装置の非通話時環境音の学習に音の類似度を考慮する場合における動作フローチャートである。
【図９】本発明の実施の形態１における音フィルタリング装置の通話着信時における仮想環境音の選択時にスケジュールを考慮する場合における動作フローチャートである。
【図１０】本発明の実施の形態１における音フィルタリング装置のスケジュールにもとづく環境情報を用いた状況判断表である。
【図１１】本発明の実施の形態１における環境情報の候補を提示する例を示す図である。
【図１２】本発明の実施の形態１における音フィルタリング装置の通話着信時における仮想環境音の選択時にスケジュールと音の類似度を考慮する場合における動作フローチャートである。
【図１３】本発明の実施の形態１における移動履歴軌跡の図である。
【図１４】本発明の実施の形態１における音フィルタリング装置の非通話時環境音の学習に位置の変化および音の類似度を考慮する場合における動作フローチャートである。
【図１５】本発明の実施の形態２における音フィルタリング装置の第一の構成図である。
【図１６】本発明の実施の形態２における環境情報蓄積部の蓄積内容を示す図である。
【図１７】本発明の実施の形態２における音フィルタリング装置における通話環境情報履歴蓄積部で蓄積されている履歴情報を示す図である。
【図１８】本発明の実施の形態２における音フィルタリング装置の第二の構成図である。
【図１９】本発明の実施の形態２における音フィルタリング装置の非通話時環境音の音情報学習における第一の動作フローチャートである。
【図２０】本発明の実施の形態２における音フィルタリング装置の非通話時環境音の音情報学習における第二の動作フローチャートである。
【図２１】本発明の実施の形態２における音フィルタリング装置の通話時環境音の音情報学習における動作フローチャートである。
【図２２】本発明の実施の形態３における音フィルタリング装置の第一の構成図である。
【図２３】本発明の実施の形態３における音フィルタリング装置の顧客情報にもとづく環境情報を用いた状況判断表である。
【図２４】本発明の実施の形態３における音フィルタリング装置の通話時環境音の音選択加工時における動作フローチャートである。
【図２５】本発明の実施の形態３における音フィルタリング装置の第二の構成図である。
【図２６】本発明の実施の形態４における音フィルタリング装置の第一の構成図である。
【図２７】本発明の実施の形態４におけるハードウエア構成例の図である。
【図２８】本発明の実施の形態４における環境情報蓄積部の蓄積内容を示す図である。
【図２９】本発明の実施の形態４における音フィルタリング装置における通話環境情報履歴蓄積部で蓄積されている履歴情報を示す図である。
【図３０】本発明の実施の形態４における、仮想環境音画像選択部５１９において選択された環境音や環境映像の情報と、ユーザの音声を用いて合成音や合成画像を生成する際のイメージ図である。
【図３１】本発明の実施の形態４における音フィルタリング装置の動作フローチャートである。
【図３２】本発明の実施の形態４における音フィルタリング装置の第二の構成図である。
【図３３】従来の入力音源から特定エリアの音を抽出／除去する通信装置の構成図である。
【図３４】従来の入力音から音声を抽出し背景音合成するセキュリティ保護処理装置の構成図である。
【符号の説明】
【０１６９】
１０２  音の意味抽出手段
１０３  環境音モデル記憶手段
１０４  話者モデル記憶手段
１０５  音響モデル記憶手段
１０６  言語モデル記憶手段
１０７  環境音識別手段
１０８  話者識別手段
１０９  音声認識手段
１１０  固有名詞抽出手段
５０１  入力音取得手段
５０２  画像取得手段
５０３  位置情報取得手段
５０４  時刻情報取得手段
５０５  音ストリーム分解手段
５０６  音ストリームおよび環境情報蓄積手段
５１６  音画像ストリームおよび環境情報蓄積手段
５２６  音情報および環境情報蓄積手段
５０７  通話相手判定手段
５０８  通話環境情報履歴蓄積手段
５０９  状況合致仮想環境音選択判断手段
５１９  仮想環境音画像選択手段
５１０  選択音加工合成手段
５２０  選択音画像合成手段
５１１  音選択指示取得手段
５２１  音画像選択指示取得手段
５１２  音配信先選択手段
５１３  スケジュール記憶手段
５１４  顧客情報記憶手段
【図１】
2006201496.tif 000003
【図２】
2006201496.tif 000004
【図３】
2006201496.tif 000005
【図４】
2006201496.tif 000006
【図５】
2006201496.tif 000007
【図６】
2006201496.tif 000008
【図７】
2006201496.tif 000009
【図８】
2006201496.tif 000010
【図９】
2006201496.tif 000011
【図１０】
2006201496.tif 000012
【図１１】
2006201496.tif 000013
【図１２】
2006201496.tif 000014
【図１３】
2006201496.tif 000015
【図１４】
2006201496.tif 000016
【図１５】
2006201496.tif 000017
【図１６】
2006201496.tif 000018
【図１７】
2006201496.tif 000019
【図１８】
2006201496.tif 000020
【図１９】
2006201496.tif 000021
【図２０】
2006201496.tif 000022
【図２１】
2006201496.tif 000023
【図２２】
2006201496.tif 000024
【図２３】
2006201496.tif 000025
【図２４】
2006201496.tif 000026
【図２５】
2006201496.tif 000027
【図２６】
2006201496.tif 000028
【図２７】
2006201496.tif 000029
【図２８】
2006201496.tif 000030
【図２９】
2006201496.tif 000031
【図３０】
2006201496.tif 000032
【図３１】
2006201496.tif 000033
【図３２】
2006201496.tif 000034
【図３３】
2006201496.tif 000035
【図３４】
2006201496.tif 000036