(57)【要約】【課題】２つの画像と２つの音声とが連動した割合で合成されるコンテンツを簡単に作成することができるようにする。【解決手段】携帯端末は、被写体用マイクロホンから入力される音声の信号と、撮影者用マイクロホンから入力される音声の信号とから、被写体音声と撮影者音声を分離し、分離した被写体音声と撮影者音声を比較することで、ミックスバランスを計算する。携帯端末は、計算したミックスバランスに基づいて、被写体音声と撮影者音声とを合成した結果である出力音声を生成する。携帯端末は、計算したミックスバランスに基づいて、被写体画像と撮影者画像とを合成した結果である出力画像を生成する。本開示は、例えば、携帯電話と携帯情報端末を融合させたモバイル性に優れた高機能の携帯端末に適用することができる。【選択図】図１
2013062640.tif 000002
【特許請求の範囲】
【請求項１】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
を備える信号処理装置。
【請求項２】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える請求項１に記載の信号処理装置。
【請求項３】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
請求項２に記載の信号処理装置。
【請求項４】
ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
請求項３に記載の信号処理装置。
【請求項５】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える請求項３に記載の信号処理装置。
【請求項６】
前記筐体は、ユーザにより携帯可能に形成されている
請求項３に記載の信号処理装置。
【請求項７】
前記一方の面に設けられる表示部を
さらに備える請求項３に記載の信号処理装置。
【請求項８】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える請求項３に記載の信号処理装置。
【請求項９】
信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成し、
前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する
信号処理装置。
【請求項１０】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
して、コンピュータを機能させるプログラム。
【請求項１１】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と
を備える信号処理装置。
【請求項１２】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える請求項１１に記載の信号処理装置。
【請求項１３】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
請求項１２に記載の信号処理装置。
【請求項１４】
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部を
さらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
請求項１３に記載の信号処理装置。
【請求項１５】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１６】
前記筐体は、ユーザにより携帯可能に形成されている
請求項１３に記載の信号処理装置。
【請求項１７】
前記一方の面に設けられる表示部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１８】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１９】
信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力し、
入力された前記割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
入力された前記割合に基づいて、前記第１の音声と前記第２の音声とを合成する
信号処理方法。
【請求項２０】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、２つの画像と２つの音声とが連動した割合で合成されるコンテンツを簡単に作成することができるようにした信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、複数のマイクロホンと、全体および各話者を撮像する複数のカメラとを備えるようにしたテレビ会議システムが提案されている（特許文献１参照）。
【０００３】
このテレビ会議システムにおいては、複数のマイクロホンからの音声により話者の方向を検出し、話者の方向に応じて生成された音声信号を送ることで、相手側においては、話者の方向から音声が聞こえるようにされている。また、検出した方向データを画像や音声データと一緒に送ることで、相手側において、検出方向の話者の画像上に、全体画像を重畳するようにされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１に記載の提案は、テレビ会議システムに関するものであるが、近年、カメラとマイクロホンが複数備えられた携帯情報端末が市場に出始めてきている。このような携帯情報端末においては、カメラとマイクロホンが複数備えられているにもかかわらず、まだ、単独でのカメラとマイクロホンの利用しか行われていなかった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、２つの画像と２つの音声とが連動した割合で合成されるコンテンツを簡単に作成することができるものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の信号処理装置は、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部とを備える。
【０００８】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、前記第１の画像の信号を入力する第１のカメラと、前記第２の画像の信号を入力する第２のカメラとをさらに備えることができる。
【０００９】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる。
【００１０】
ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部とをさらに備え、前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成することができる。
【００１１】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部をさらに備えることができる。
【００１２】
前記筐体は、ユーザにより携帯可能に形成されている。
【００１３】
前記一方の面に設けられる表示部をさらに備えることができる。
【００１４】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部をさらに備えることができる。
【００１５】
本開示の一側面の信号処理方法は、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する。
【００１６】
本開示の一側面のプログラムは、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部として、コンピュータを機能させる。
【００１７】
本開示の他の側面の信号処理装置は、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部とを備える。
【００１８】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、前記第１の画像の信号を入力する第１のカメラと、前記第２の画像の信号を入力する第２のカメラとをさらに備えることができる。
【００１９】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる。
【００２０】
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部をさらに備え、前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成することができる。
【００２１】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部をさらに備えることができる。
【００２２】
前記筐体は、ユーザにより携帯可能に形成されている。
【００２３】
前記一方の面に設けられる表示部をさらに備えることができる。
【００２４】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部をさらに備えることができる。
【００２５】
本開示の他の側面の信号処理方法は、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力し、入力された前記割合に基づいて、前記第１の画像と前記第２の画像とを合成し、入力された前記割合に基づいて、前記第１の音声と前記第２の音声とを合成する。
【００２６】
本開示の他の側面のプログラムは、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部として、コンピュータを機能させる。
【００２７】
本開示の一側面においては、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声が分離される。そして、前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とが合成され、前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とが合成される。
【００２８】
本開示の他の側面においては、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声が分離され、ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合が入力される。そして、入力された前記割合に基づいて、前記第１の画像と前記第２の画像とが合成され、入力された前記割合に基づいて、前記第１の音声と前記第２の音声とが合成される。
【発明の効果】
【００２９】
本開示によれば、２つの画像と２つの音声とが連動した割合で合成されるコンテンツを簡単に作成することができる。
【図面の簡単な説明】
【００３０】
【図１】本技術を適用した携帯端末の外観の構成例を示す外観図である。
【図２】携帯端末の内部の構成例を示すブロック図である。
【図３】画像音声合成部の構成例を示すブロック図である。
【図４】出力画像の例を示す図である。
【図５】携帯端末の処理を説明するフローチャートである。
【図６】携帯端末の内部の他の構成例を示すブロック図である。
【図７】携帯端末の他の処理を説明するフローチャートである。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００３２】
[携帯端末の外観の構成例]
図１は、本技術を適用した携帯端末の外観の構成例を示す図である。
【００３３】
携帯端末１１は、例えば、スマートフォンと呼ばれる、携帯電話と携帯情報端末を融合させたモバイル性に優れた高機能の携帯端末などである。携帯端末１１は、他に、タブレット端末や携帯電話機であってもよいし、モバイルＰＣ（Personal Computer）であってもよい。
【００３４】
携帯端末１１は、被写体用カメラ２１と撮影者用カメラ２２の２つのカメラ、被写体用マイクロホン２３と撮影者用マイクロホン２４の２つのマイクロホン、および表示部２５を備えている。被写体用カメラ２１は、被写体用マイクロホン２３に対応するカメラであり、撮影者用カメラ２２は、撮影者用マイクロホン２４に対応するカメラである。すなわち、携帯端末１１は、カメラおよびマイクロホンを２つずつ（２対）有している。これらの２対のカメラおよびマイクロホンは、単独で、あるいは、同時に信号を入力可能に構成されている。
【００３５】
携帯端末１１の筐体の一方の面には、表示部２５が設けられている。以下、表示部２５が設けられている面を表面とし、表示部２５が設けられている面の裏（反対側）を裏面として説明する。表示部２５は、例えば、LCD（Liquid Crystal Display）等で構成され、タッチパネルが積層されている。
【００３６】
１対の撮影者用カメラ２２および撮影者用マイクロホン２４は、表示部２５を見ながら自分（撮影者）の撮影と自分の音声の入力とができるように、携帯端末１１の筐体の表面に設けられている。
【００３７】
撮影者用カメラ２２は、表示部２５の上部に設けられており、撮影者を撮影し、撮影者画像３２の信号を入力する。撮影者用マイクロホン２４は、表示部２５の下部に設けられており、音声の信号を入力する。すなわち、撮影者用マイクロホン２４は、撮影時には撮影者側を向いているため、撮影者が声を発した場合には、撮影者用マイクロホン２４から入力される音声には、撮影者音声が含まれる比率が高い。
【００３８】
もう１対の被写体用カメラ２１および被写体用マイクロホン２３は、表示部２５を見ながら、例えば、展示会場の様子や講演者、あるいは、電車などの被写体の撮影と、被写体の音声の入力とができるように、携帯端末１１の筐体の裏面に設けられている。
【００３９】
被写体用カメラ２１は、裏面の上部に設けられており、被写体を撮影し、被写体画像３１の信号を入力する。被写体用マイクロホン２３は、裏面の下部に設けられており、音声の信号を入力する。すなわち、被写体用マイクロホン２３は、撮影時には被写体側を向いているため、被写体用マイクロホン２３から入力される音声には、被写体音声が含まれる比率が高い。
【００４０】
なお、図１の例において、携帯端末１１の筐体の表面側が示されているため、裏面に設けられる被写体用カメラ２１および被写体用マイクロホン２３を指し示すラインは点線で示されている。
【００４１】
携帯端末１１は、被写体用マイクロホン２３から入力される音声の信号と、撮影者用マイクロホン２４から入力される音声の信号とから、被写体音声と撮影者音声を分離し、分離した分離結果に応じてミックスバランス（合成割合）を計算する。携帯端末１１は、計算したミックスバランスに基づいて、被写体音声と撮影者音声とを合成した結果である出力音声を生成する。また、携帯端末１１は、計算したミックスバランスに基づいて、被写体画像と撮影者画像とを合成（重畳）した結果である出力画像を生成する。
【００４２】
例えば、ミックスバランスが、被写体音声が撮影者音声よりも大きいことを示す場合、被写体音声が撮影者音声よりも大きくなるように合成して出力音声が生成され、被写体画像が撮影者画像よりも大きくなるように合成して出力画像が生成される。
【００４３】
携帯端末１１は、生成した出力音声の信号と出力画像の信号とを、ネットワークを介して、図示せぬサーバに送信したり、記憶したりする。
【００４４】
以上のように、携帯端末１１においては、音声および画像が２対のカメラとマイクロホンにより入力され、入力された音声から分離される被写体音声と撮影者音声を比較したミックスバランスに応じて合成された出力音声と出力画像からなるコンテンツが得られる。すなわち、音声と画像が連動した割合で合成されるコンテンツが得られる。
【００４５】
したがって、撮影者は、外出先においてモバイル性に優れた携帯端末１１に備えられた２対のカメラおよびマイクロホンを用いて撮影するだけで、音声と画像が連動した割合で合成されるコンテンツを容易に得ることができ、それをサーバに送信することができる。
【００４６】
[携帯端末の内部の構成例]
図２は、携帯端末の内部の構成例を示す図である。
【００４７】
図２の例において、携帯端末１１は、図１の被写体用カメラ２１、撮影者用カメラ２２、被写体用マイクロホン２３、および撮影者用マイクロホン２４を含むように構成される。携帯端末１１は、さらに、信号処理部４１、操作入力部４２、通信部４３、および記憶部４４を含むように構成される。なお、図２の例においては、図１の表示部２５の図示は省略されている。
【００４８】
信号処理部４１は、例えば、デジタルシグナルプロセッサ（DSP）などで構成される。信号処理部４１は、音源分離部５１、音声比較部５２、および画像音声合成部５３を含むように構成される。
【００４９】
被写体用カメラ２１より入力された被写体画像３１の信号および撮影者用カメラ２２から入力された撮影者画像３２の信号は、画像音声合成部５３および記憶部４４に供給される。被写体用マイクロホン２３からの音声の信号および撮影者用マイクロホン２４からの音声の信号は、音源分離部５１に入力される。
【００５０】
被写体用マイクロホン２３からの音声には、撮影者用マイクロホン２４からの音声と比して被写体の音声が含まれる比率が高いが、被写体の音声だけでなく撮影者の音声や背景雑音なども含まれている。同様に、撮影者用マイクロホン２４からの音声には、被写体用マイクロホン２３からの音声と比して撮影者の音声が含まれる比率が高いが撮影者の音声だけでなく被写体の音声や背景雑音なども含まれている。
【００５１】
音源分離部５１は、被写体用マイクロホン２３からの音声の信号と撮影者用マイクロホン２４からの音声の信号とを用いて、音源を被写体音声と撮影者音声とに分離する。音源分離部５１においては、例えば、特開２００９−１４７６５４号公報や特開２００３−２７１１６７号公報に記載の非定常音源分離法などが用いられて、音源が被写体音声および撮影者音声に分離される。
【００５２】
なお、音源分離部５１において用いられる音源分離方法としては、上述した非定常音源分離法に限定されず、例えば、適応ビームフォーマやICAなどの音源分離方法であってもよく、どの方法が用いられてもよい。
【００５３】
音源分離部５１は、分離された被写体音声および撮影者音声の信号を、音声比較部５２、画像音声合成部５３、および記憶部４４に供給する。
【００５４】
音声比較部５２は、音源分離部５１による分離結果である被写体音声および撮影者音声を用いて、後段の画像および音声のミックスバランス（合成割合）を算出する。具体的には、音声比較部５２は、時間ｔの被写体音声の振幅幅x1(t)、撮影者音声の振幅幅x2(t)とすると、各信号のパワー比を用いて、被写体音声のミックスバランスm1(t)と、撮影者音声のミックスバランスm2(t)を求める。各ミックスバランスm1(t)およびm2(t)は、次の式（１）に示されるように求められる。
【００５５】
【数１】
2013062640.tif 000003
ここで、Ｅは、期待値演算を表す。
【００５６】
なお、音声比較部５２で求められるミックスバランスとしては、上述した式（１）以外にも、単純にパワーの小さい方を０にしたり、パワー比の二乗にしたりなど、さまざまなバランスが考えられるため、その求め方は、限定されない。
【００５７】
また、ミックスバランスとして、音声検知法（音声を統計モデルで学習するGuassian Miture Model）や、入力音声の倍音成分の割合を求めるSub harmonic summation法などから求められる各音声の音声らしさを用いるようにしてもよい。
【００５８】
画像音声合成部５３には、被写体用カメラ２１より入力された被写体画像３１の信号と撮影者用カメラ２２から入力された撮影者画像３２の信号が供給される。画像音声合成部５３には、音源分離部５１により分離された被写体音声および撮影者音声の信号、並びに、音声比較部５により求められたミックスバランスが供給される。
【００５９】
画像音声合成部５３は、音源分離部５１からのミックスバランスに応じて、被写体画像３１および撮影者画像３２を編集し、出力画像を生成する。また、画像音声合成部５３は、音源分離部５１からのミックスバランスに応じて、被写体音声および撮影者音声を編集し、出力音声を生成する。
【００６０】
すなわち、画像音声合成部５３は、音源分離部５１からのミックスバランスに応じて、被写体画像３１および撮影者画像３２のサイズを変更し、それらを合成（重畳）して、出力画像を生成する。画像音声合成部５３は、音源分離部５１からのミックスバランスに応じて、被写体音声および撮影者音声の音量を変更し、それらを合成して、出力音声を生成する。
【００６１】
画像音声合成部５３は、生成された出力画像および出力音声からなるコンテンツを、通信部４３および記憶部４４に供給する。
【００６２】
操作入力部４２は、筐体に設けられるボタンや、図１の表示部２５に積層されるタッチパネルなどで構成される。操作入力部４２は、ユーザによる操作を、被写体用カメラ２１、撮影者用カメラ２２、被写体用マイクロホン２３、および撮影者用マイクロホン２４、並び画像音声合成部５３のうち、操作内容に対応する部に供給する。
【００６３】
通信部４３は、画像音声合成部５３から供給された出力画像および出力音声からなるコンテンツを、インターネットなどのネットワークを介してサーバに送信する。
【００６４】
記憶部４４は、画像音声合成部５３により編集された出力画像および出力音声からなるコンテンツを記憶する。記憶部４４は、合成前の画像として、被写体用カメラ２１より入力された被写体画像３１の信号と撮影者用カメラ２２から入力された撮影者画像３２の信号を記憶する。また、記憶部４４は、合成前の音声として、音源分離部５１により分離された被写体音声および撮影者音声の信号を記憶する。
【００６５】
なお、記憶部４４においては、合成前の音声として、分離後の被写体音声および撮影者音声の信号が記憶されるが、それらの代わりに、被写体用マイクロホン２３から入力された音声および撮影者用マイクロホン２４から入力された音声が記憶されてもよい。
【００６６】
[画像音声合成部の構成例]
図３は、図２の画像音声合成部５３の構成例を示す図である。
【００６７】
図３の例において、画像音声合成部５３は、合成制御部６１、画像合成部６２、および音声合成部６３を含むように構成される。
【００６８】
合成制御部６１には、操作入力部４２を介してのユーザの指示と、音声比較部５２により求められたミックスバランスが供給される。合成制御部６１は、操作入力部４２を介してのユーザの指示のもと、供給されるミックスバランスに応じて、画像合成部６２の画像合成および音声合成部６３の音声合成を制御する。
【００６９】
画像合成部６２には、被写体用カメラ２１より入力された被写体画像３１の信号と撮影者用カメラ２２より入力された撮影者画像３２の信号が供給される。画像合成部６２は、合成制御部６１の制御のもと、被写体画像３１および撮影者画像３２のサイズを変更し、それを合成（重畳）して、出力画像を生成する。
【００７０】
音声合成部６３には、音源分離部５１により分離された被写体音声および撮影者音声が供給される。音声合成部６３は、合成制御部６１の制御のもと、被写体音声および撮影者音声の音量を変更し、それを合成し（足し合わせ）て、出力音声を生成する。
【００７１】
なお、音声合成部６３においては、上述した方法のほかに、被写体音声を、ステレオの左チャンネル、撮影者音声をステレオの右チャンネルにして、それぞれにミックスバランスm1(t)、m2(t)をかけるものを出力してもよい。
【００７２】
次に、これらの合成制御部６１、画像合成部６２、および音声合成部６３の処理について、図４を参照して説明する。
【００７３】
図４の例においては、上段から順に、時刻t0乃至t4に生成される出力画像１０１−１乃至出力画像１０１−４、被写体用カメラ２１より入力される被写体画像３１、音声比較部５２により求められる被写体音声のミックスバランスが示されている。また、それらの下段に、撮影者用カメラ２２より入力される撮影者画像３２、および音声比較部５２により求められる撮影者音声のミックスバランスが示されている。なお、被写体画像３１および撮影者画像３２に関しては、時刻t0乃至t4において矢印が示されているが、これは、左の被写体画像３１および撮影者画像３２が入力され続けていることを表している。
【００７４】
時刻t0乃至t1において、被写体音声のミックスバランスm1(t)は、0.8であり、撮影者音声のミックスバランスm2(t)は、0.2である。合成制御部６１は、m1(t)＝0.8およびm2(t)＝0.2の場合、被写体画像３１が１とすると、被写体画像３１上に、撮影者画像３２をm2(t)/m1(t)＝0.25倍して重畳して表示させるように、画像合成部６２を制御する。
【００７５】
その結果、画像合成部６２においては、画面全体の大きさの被写体画像３１上に0.25倍された撮影者画像３２が右下に重畳（Picture In Picture：PinP）される出力画像１０１−１が生成される。このとき、音声合成部６３も同様に制御されるので、音声合成部６３において、被写体音声が１とすると、撮影者音声は、0.25倍されて、被写体音声と合成され、合成された出力音声が生成される。
【００７６】
次の時刻t1乃至t2において、被写体音声のミックスバランスm1(t)は、1.0であり、撮影者音声のミックスバランスm2(t)は、0.0である。合成制御部６１は、m1(t)＝1.0およびm2(t)＝0.0の場合、被写体画像３１のみを表示させるように、画像合成部６２を制御する。
【００７７】
その結果、画像合成部６２においては、画面全体の大きさの被写体画像３１のみからなる出力画像１０１−２が生成される。このとき、音声合成部６３も同様に制御されるので、音声合成部６３において、被写体音声のみからなる出力音声が生成される。
【００７８】
時刻t2乃至t3において、被写体音声のミックスバランスm1(t)は、0.2であり、撮影者音声のミックスバランスm2(t)は、0.8である。合成制御部６１は、m1(t)＝0.2およびm2(t)＝0.8の場合、撮影者画像３２が１とすると、撮影者画像３２上に、被写体画像３１をm1(t)/m2(t)＝0.25倍して重畳して表示させるように、画像合成部６２を制御する。
【００７９】
その結果、画像合成部６２においては、画面全体の大きさの撮影者画像３２上に0.25倍された被写体画像３１が右下に重畳される出力画像１０１−３が生成される。このとき、音声合成部６３も同様に制御されるので、音声合成部６３において、撮影者音声が１とすると、被写体音声は、0.25倍されて、撮影者音声と合成され、合成された出力音声が生成される。
【００８０】
次の時刻t3乃至t4において、被写体音声のミックスバランスm1(t)は、0.0であり、撮影者音声のミックスバランスm2(t)は、1.0である。合成制御部６１は、m1(t)＝0.0およびm2(t)＝1.0の場合、撮影者画像３２のみを表示させるように、画像合成部６２を制御する。
【００８１】
その結果、画像合成部６２においては、画面全体の大きさの撮影者画像３２のみからなる出力画像１０１−４が生成される。このとき、音声合成部６３も同様に制御されるので、音声合成部６３において、撮影者音声のみからなる出力音声が生成される。
【００８２】
以上のように、被写体音声と撮影者音声のミックスバランスに応じて、画像および音声が合成される。すなわち、画像および音声が連動して合成されたコンテンツが生成される。
【００８３】
したがって、ユーザは、画像および音声が連動して合成されたコンテンツを即座に、かつ、容易に得ることができる。また、ユーザは、得られたコンテンツを、通信部４３を介して即座にサーバに送信できるので、その結果、他のユーザも、撮影者と被写体の２つの画像および音声が合成されたコンテンツを即座に楽しむことができる。
【００８４】
なお、図４の例においては、t4までしか示されていないが、t4以降も、それぞれの画像および音声が入力され、音声が分離されて、ミックスバランスが求められる。そして、合成制御部６１においては、被写体音声と撮影者音声のミックスバランスに応じて、画像および音声の合成が制御される。
【００８５】
また、上記説明においては、画像の合成方法として、PinPの例を説明したが、複数の画像を横に並べて表示するSide By Sideにおいて、ミックスバランスに応じて画像サイズを変更するようにしてもよい。
【００８６】
[携帯端末の処理例]
次に、図５のフローチャートを参照して、２対のカメラおよびマイクロホンを用いて撮影した画像および音声をリアルタイムで編集し、サーバに送信する携帯端末１１の処理について説明する。
【００８７】
操作入力部４２を介してユーザの指示が入力されると、被写体用カメラ２１、撮影者用カメラ２２、被写体用マイクロホン２３、および撮影者用マイクロホン２４が動作を開始する。そして、ステップＳ１１において、被写体用カメラ２１、撮影者用カメラ２２、被写体用マイクロホン２３、および撮影者用マイクロホン２４は、それぞれ、画像および音声を入力する。
【００８８】
入力された被写体用カメラ２１からの被写体画像３１の信号および撮影者用カメラ２２からの撮影者画像３２の信号は、画像音声合成部５３および記憶部４４に供給される。入力された被写体用マイクロホン２３からの音声の信号と撮影者用マイクロホン２４からの音声の信号は、音源分離部５１に供給される。
【００８９】
音源分離部５１は、ステップＳ１２において、被写体用マイクロホン２３からの音声の信号と撮影者用マイクロホン２４からの音声の信号を用いて、音源を被写体音声および撮影者音声に分離する。分離された被写体音声および撮影者音声の信号は、音声比較部５２、画像音声合成部５３、および記憶部４４に供給される。
【００９０】
音声比較部５２は、ステップＳ１３において、分離された被写体音声および撮影者音声を用いて、上述した式（１）により、被写体音声のミックスバランスm1(t)と、撮影者音声のミックスバランスm2(t)を計算する。求められたミックスバランスm1(t)およびm2(t)は、合成制御部６１に供給される。
【００９１】
合成制御部６１は、ステップＳ１４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)より大きいか否かを判定する。ステップＳ１４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)より大きいと判定された場合、処理は、ステップＳ１５に進む。
【００９２】
合成制御部６１は、ステップＳ１５において、被写体画像３１の圧縮率g1(t)と撮影者画像３２の圧縮率g2(t)を、次の式（２）のように設定し、設定した圧縮率g1(t)およびg2(t)を、画像合成部６２に供給する。
g1(t)＝１．０
g2(t)＝m2(t)/m1(t)                                            ・・・（２）
【００９３】
また、ステップＳ１４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)以下であると判定された場合、処理は、ステップＳ１６に進む。
【００９４】
合成制御部６１は、ステップＳ１６において、被写体画像３１の圧縮率g1(t)と撮影者画像３２の圧縮率g2(t)を、次の式（３）のように設定し、設定した圧縮率g1(t)およびg2(t)を、画像合成部６２に供給する。
g1(t)＝m1(t)/m2(t)
g2(t)＝１．０                                            ・・・（３）
【００９５】
ステップＳ１７において、画像合成部６２は、合成制御部６１から供給された圧縮率g1(t)およびg2(t)で、被写体画像３１と撮影者画像３２の画像サイズを変更し、被写体画像３１と撮影者画像３２を重畳する。これにより、被写体画像３１と撮影者画像３２が重畳された出力画像（例えば、図４の出力画像１０１−１）が生成される。
【００９６】
ステップＳ１８において、合成制御部６１は、音声合成部６３に、被写体音声のミックスバランスm1(t)および撮影者音声のミックスバランスm2(t)を供給し、出力音声y(t)を生成させる。
【００９７】
すなわち、音声合成部６３は、被写体音声の振幅幅x1(t)および撮影者音声の振幅幅x2(t)と、被写体音声のミックスバランスm1(t)および撮影者音声のミックスバランスm2(t)とを用いて、次の式（４）のように、出力音声y(t)を生成する。
y(t) ＝  m1(t)×x1(t)＋  m2(t)×x2(t)                     ・・・（４）
【００９８】
ステップＳ１９において、画像合成部６２および音声合成部６３は、合成制御部６１の制御のもと、生成された出力画像および出力音声を同期させて、コンテンツとして、通信部４３および記憶部４４に出力する。
【００９９】
これに対応して、通信部４３は、ネットワークを介して図示せぬサーバの所望のサイトに、コンテンツを送信する。記憶部４４は、コンテンツを記憶する。なお、記憶部４４においては、入力された被写体用カメラ２１からの被写体画像３１の信号および撮影者用カメラ２２からの撮影者画像３２の信号、分離された被写体音声および撮影者音声の信号、並びに、それらから生成されたコンテンツは関連付けて記憶される。
【０１００】
合成制御部６１は、ステップＳ２０において、処理を終了するか否かを判定する。操作入力部４２を介して、ユーザにより処理終了が指示されると、合成制御部６１は、ステップＳ２０において、処理を終了すると判定し、図５の処理は終了される。
【０１０１】
一方、ステップＳ２０において、処理を終了しないと判定されると、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
【０１０２】
以上のように、２対のカメラおよびマイクロホンを用いて入力された画像および音声が、リアルタイムで編集され、編集（すなわち、画像および音声が連動して合成）されたコンテンツがサーバに送信される。
【０１０３】
すなわち、ユーザは、リアルタイム編集を容易に行うことができ、ユーザにとって利便性が高い。また、他のユーザは、即座にコンテンツがサーバにアップされるので、リアルタイムに近い時間で、撮影者の画像やコメントなども含まれている、面白みのあるコンテンツを見ることができる。
【０１０４】
次に、上述したようにリアルタイム編集されたコンテンツを微調整する場合について説明する。
【０１０５】
図６は、コンテンツを微調整する場合の携帯端末の内部の構成例を示す図である。図６の例において、図２の例と対応する部分には対応する符号が付されており、繰り返しになる説明は、適宜省略する。
【０１０６】
図６の携帯端末１１は、操作入力部４２、通信部４３、および記憶部４４を備えている点が図２の携帯端末１１と共通している。図６の携帯端末１１は、図１の被写体用カメラ２１、撮影者用カメラ２２、被写体用マイクロホン２３、および撮影者用マイクロホン２４が省略されている点が、図２の携帯端末１１と異なっている。また、図６の携帯端末１１は、信号処理部４１が信号処理部１２１に入れ替わった点と、図１の表示部２５および再生部１２２が追加された点とが、図２の携帯端末１１と異なっている。
【０１０７】
操作入力部４２は、ユーザによる操作を、画像音声合成部５３および再生部１２２のうち、操作内容に対応する部に供給する。なお、特に、操作入力部４２は、再生部４５により再生され、表示部２５に表示される画像のユーザによる編集指示を画像音声合成部５３に供給する。
【０１０８】
記憶部４４は、再生部１２２からの指示により、記憶されている編集後のコンテンツである出力画像および出力音声を再生部１２２に供給する。このとき、記憶部４４は、そのコンテンツに関連付けて記憶されている被写体画像３１、撮影者画像３２、被写体音声、および撮影者音声を、信号処理部１２１に供給する。
【０１０９】
信号処理部１２１は、図２の音源分離部５１が除かれた点が信号処理部４１と異なっている。すなわち、信号処理部１２１は、音声比較部５２および画像音声合成部５３を含むように構成されている。
【０１１０】
音声比較部５２には、記憶部４４からの被写体音声および撮影者音声が入力される。音声比較部５２は、音源分離部５１からの被写体音声および撮影者音声を用いて、後段の画像および音声のミックスバランス（合成割合）を算出し、算出したミックスバランスを、画像音声合成部５３に供給する。
【０１１１】
画像音声合成部５３は、図３の画像音声合成部５３と同様に、合成制御部６１、画像合成部６２、および音声合成部６３により構成されている。音声比較部５２からのミックスバランスと、操作入力部５４からの操作は、合成制御部６１に供給される。
【０１１２】
合成制御部６１は、音声比較部５２により求められたミックスバランスを、操作入力部５４からのユーザの編集指示に応じて変更し、変更したミックスバランスに応じて、画像合成部６２の画像合成および音声合成部６３の音声合成を制御する。合成制御部６１は、生成された出力画像および出力音声を同期させて、通信部４３および記憶部４４に出力させる。
【０１１３】
画像合成部６２には、記憶部４４に記憶されていた被写体画像３１の信号と撮影者画像３２の信号が供給される。画像合成部６２は、合成制御部６１の制御のもと、被写体画像３１および撮影者画像３２のサイズを変更し、それを合成（重畳）して、出力画像を生成する。
【０１１４】
音声合成部６３には、記憶部４４に記憶されていた被写体音声および撮影者音声の信号が供給される。音声合成部６３は、合成制御部６１の制御のもと、被写体音声および撮影者音声の音量を変更し、それを合成し（足し合わせ）て、出力音声を生成する。
【０１１５】
再生部１２２は、例えば、操作入力部４２などから入力されるユーザの操作に対応して、画像音声合成部５３により編集されたコンテンツを再生し、コンテンツの画像を表示部２５に表示させ、コンテンツの音声を、図示せぬスピーカに出力する。
【０１１６】
なお、図６の例においては、記憶されている被写体音声および被写体画像のミックスバランスを再度求める例を説明したが、被写体音声および被写体画像のミックスバランスも記憶部４４などに記憶しておき、記憶しておいたものを用いるようにしてもよい。
【０１１７】
次に、図７のフローチャートを参照して、図５を参照して上述したようにしてリアルタイム編集されたコンテンツを微調整する処理の例について説明する。ユーザにより操作入力部４２を介して再編集が指示されると、図７の処理が開始される。再編集を行うユーザは、撮影者である場合もあるし、撮影者でない他のユーザであってもよい。なお、図７のステップＳ３４乃至Ｓ４０の処理は、図５のステップＳ１４乃至Ｓ２０と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は省略される。
【０１１８】
ステップＳ３１において、再生部１２２は、図５のステップＳ１９において出力され、記憶部４４に記憶されているコンテンツの画像および音声を再生する。再生された画像は、表示部２５に表示され、再生された音声は、図示せぬスピーカに出力される。
【０１１９】
音声比較部５２は、ステップＳ３２において、記憶部４４からの被写体音声および撮影者音声を用いて、被写体音声のミックスバランスm1(t)と、撮影者音声のミックスバランスm2(t)を計算する。求められたミックスバランスm1(t)およびm2(t)は、合成制御部６１に供給される。
【０１２０】
例えば、ユーザは、撮影者（自分）の音声が大きいため、小さくしたい場合に、表示部２５に表示されている撮影者画像３２の縮小を、操作入力部５４を介して指示する。画像の拡大縮小の操作方法としては、例えば、表示部２５に縮小ボタンを表示させ、それを押下させるようにしてもよいし、撮影者画像３２を小さくする操作を、表示部２５上で行わせるようにしてもよい。このようなユーザの操作を、操作入力部５４が検出し、合成制御部６１に供給する。
【０１２１】
合成制御部６１は、ステップＳ３３において、上述したようなユーザの操作に応じて、ミックスバランスを変更する。
【０１２２】
合成制御部６１は、例えば、次の式（５）のように、被写体音声のミックスバランスm1(t)と、撮影者音声のミックスバランスm2(t)を変更する。
【０１２３】
【数２】
2013062640.tif 000004
ここで、式（１）と同様に、x1(t)は、時間ｔの被写体音声の振幅幅、x2(t)は、撮影者音声の振幅幅、Ｅは期待値演算である。また、αは、被写体音声と撮影者音声の音量バランスを変えるためのパラメータであり、操作入力部５４から入力されるパラメータである。α＜１のときには、撮影者音声を小さくして、被写体音声を大きくすることに相当し、逆に、α＞１のときには、被写体音声を小さくして撮影者音声を大きくすることに相当する。
【０１２４】
合成制御部６１は、ステップＳ３４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)より大きいか否かを判定する。ステップＳ３４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)より大きいと判定された場合、処理は、ステップＳ３５に進む。
【０１２５】
合成制御部６１は、ステップＳ３５において、被写体画像３１の圧縮率g1(t)と撮影者画像３２の圧縮率g2(t)を、上述した式（２）のように設定し、設定した圧縮率g1(t)およびg2(t)を、画像合成部３２に供給する。
【０１２６】
また、ステップＳ３４において、被写体音声のミックスバランスm1(t)が撮影者音声のミックスバランスm2(t)以下であると判定された場合、処理は、ステップＳ３６に進む。
【０１２７】
合成制御部６１は、ステップＳ３６において、被写体画像３１の圧縮率g1(t)と撮影者画像３２の圧縮率g2(t)を、上述した式（３）のように設定し、設定した圧縮率g1(t)およびg2(t)を、画像合成部６２に供給する。
【０１２８】
ステップＳ３７において、画像合成部６２は、合成制御部６１から供給された圧縮率g1(t)およびg2(t)で、被写体画像３１と撮影者画像３２の画像サイズを変更し、被写体画像３１と撮影者画像３２を重畳する。これにより、被写体画像３１と撮影者画像３２が重畳された出力画像が生成される。
【０１２９】
ステップＳ３８において、合成制御部６１は、音声合成部６３に、被写体音声のミックスバランスm1(t)および撮影者音声のミックスバランスm2(t)を供給し、上述した式（４）のように、出力音声y(t)を生成させる。
【０１３０】
ステップＳ３９において、画像合成部６２および音声合成部６３は、合成制御部６１の制御のもと、生成された出力画像および出力音声を同期させて、コンテンツとして、通信部４３および記憶部４４に出力する。
【０１３１】
これに対応して、通信部４３は、ネットワークを介して図示せぬサーバの所望のサイトに、コンテンツを送信する。記憶部４４は、コンテンツを記憶する。
【０１３２】
再生部１２２および合成制御部６１は、ステップＳ４０において、処理を終了するか否かを判定する。操作入力部４２を介して、ユーザにより処理終了が指示されると、再生部１２２および合成制御部６１は、ステップＳ４０において、処理を終了すると判定し、図７の処理は終了される。
【０１３３】
一方、ステップＳ４０において、処理を終了しないと判定されると、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１３４】
なお、上記説明においては、ユーザの操作による２つの画像の割合に応じて、ミックスバランスを変更する例を説明したが、ユーザの操作による画像の割合に応じて、画像の合成や音声の合成を行うようにしてもよい。
【０１３５】
以上ように、２対のカメラおよびマイクロホンを用いて入力された画像および音声がリアルタイムで編集されたコンテンツの画像または音声が微調整（再編集）される。微調整においては、画像が拡大縮小され、その画像の拡大縮小に連動して、音声が拡大縮小される。
【０１３６】
すなわち、リアルタイムで編集されたコンテンツを微調整する際には、その大きさの割合を目で確認することができる画像を指示することによって、画像と音声を連動させて微調整を行うことができる。したがって、ユーザは、簡単に微調整を行うことができる。
【０１３７】
以上のように、２対のカメラおよびマイクロホンを有する携帯端末によれば、複数のマイクロホンによる音源の分離結果に基づいて、分離後の音量に連動して、画像のサイズも変更することができる。また、ユーザの画像サイズ変更に連動して撮影者と被写体の音声の音量バランスを変えることができる。
【０１３８】
そして、そのように変更された画像および音声からなるコンテンツが生成され、すぐにサーバに送信される。これにより、自分だけでなく、他のユーザもすぐに楽しむことができる。
【０１３９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４０】
[コンピュータの構成例]
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
【０１４１】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４２】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４３】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１４４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４６】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４９】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５４】
なお、本技術は以下のような構成も取ることができる。
（１）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
を備える信号処理装置。
（２）  前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える
前記（１）に記載の信号処理装置。
（３）  前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
前記（２）に記載の信号処理装置。
（４）  ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）  前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）  前記筐体は、ユーザにより携帯可能に形成されている
前記（３）に記載の信号処理装置。
（７）  前記一方の面に設けられる表示部を
さらに備える前記（３）に記載の信号処理装置。
（８）  前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）  信号処理装置が、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する信号処理方法。
（１０）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
して、コンピュータを機能させるプログラム。
（１１）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
を備える信号処理装置。
（１２）  前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える
前記（１１）に記載の信号処理装置。
（１３）  前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
前記（１２）に記載の信号処理装置。
（１４）  ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
前記（１１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）  前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える
前記（１１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）  前記筐体は、ユーザにより携帯可能に形成されている
前記（１３）に記載の信号処理装置。
（１７）  前記一方の面に設けられる表示部を
さらに備える前記（１３）に記載の信号処理装置。
（１８）  前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える前記（１１）乃至（１７）のいずれかに記載の信号処理装置。
（１９）  信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力し、
入力された前記割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
入力された前記割合に基づいて、前記第１の音声と前記第２の音声とを合成する
信号処理方法。
（２０）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と
して、コンピュータを機能させるプログラム。
【符号の説明】
【０１５５】
１１  携帯端末，  ２１  被写体用カメラ，  ２２  撮影者用カメラ，  ２３  被写体用マイクロホン，  ２４  撮影者用マイクロホン，  ２５  表示部，  ４１  信号処理部，  ４２  操作入力部，  ４３  通信部，  ４４  記憶部，  ５１  音源分離部，  ５２  音声比較部，  ５３  画像音声合成部，  ６１  合成制御部，  ６２  画像合成部，  ６３  音声合成部，  １２１  信号処理部，  １２２  再生部
【図１】
2013062640.tif 000005
【図２】
2013062640.tif 000006
【図３】
2013062640.tif 000007
【図４】
2013062640.tif 000008
【図５】
2013062640.tif 000009
【図６】
2013062640.tif 000010
【図７】
2013062640.tif 000011
【図８】
2013062640.tif 000012