【手続補正書】
【提出日】平成26年9月1日(2014.9.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
を備える信号処理装置。
【請求項２】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える請求項１に記載の信号処理装置。
【請求項３】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
請求項２に記載の信号処理装置。
【請求項４】
ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
請求項３に記載の信号処理装置。
【請求項５】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える請求項３に記載の信号処理装置。
【請求項６】
前記筐体は、ユーザにより携帯可能に形成されている
請求項３に記載の信号処理装置。
【請求項７】
前記一方の面に設けられる表示部を
さらに備える請求項３に記載の信号処理装置。
【請求項８】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える請求項３に記載の信号処理装置。
【請求項９】
信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成し、
前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する
信号処理方法。
【請求項１０】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
して、コンピュータを機能させるプログラム。
【請求項１１】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを
合成する音声合成部と
を備える信号処理装置。
【請求項１２】
前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える請求項１１に記載の信号処理装置。
【請求項１３】
前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる
面に設けられる
請求項１２に記載の信号処理装置。
【請求項１４】
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部を
さらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
請求項１３に記載の信号処理装置。
【請求項１５】
前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１６】
前記筐体は、ユーザにより携帯可能に形成されている
請求項１３に記載の信号処理装置。
【請求項１７】
前記一方の面に設けられる表示部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１８】
前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える請求項１３に記載の信号処理装置。
【請求項１９】
信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力し、
入力された前記割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
入力された前記割合に基づいて、前記第１の音声と前記第２の音声とを合成する
信号処理方法。
【請求項２０】
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と
して、コンピュータを機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
また、ミックスバランスとして、音声検知法（音声を統計モデルで学習するGaussian Mixture Model）や、入力音声の倍音成分の割合を求めるSub harmonic summation法などから求められる各音声の音声らしさを用いるようにしてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
画像音声合成部５３には、被写体用カメラ２１より入力された被写体画像３１の信号と撮影者用カメラ２２から入力された撮影者画像３２の信号が供給される。画像音声合成部５３には、音源分離部５１により分離された被写体音声および撮影者音声の信号、並びに、音声比較部５２により求められたミックスバランスが供給される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
操作入力部４２は、ユーザによる操作を、画像音声合成部５３および再生部１２２のうち、操作内容に対応する部に供給する。なお、特に、操作入力部４２は、再生部１２２により再生され、表示部２５に表示される画像のユーザによる編集指示を画像音声合成部５３に供給する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
音声比較部５２には、記憶部４４からの被写体音声および撮影者音声が入力される。音声比較部５２は、記憶部４４からの被写体音声および撮影者音声を用いて、後段の画像および音声のミックスバランス（合成割合）を算出し、算出したミックスバランスを、画像音声合成部５３に供給する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
画像音声合成部５３は、図３の画像音声合成部５３と同様に、合成制御部６１、画像合成部６２、および音声合成部６３により構成されている。音声比較部５２からのミックスバランスと、操作入力部４２からの操作は、合成制御部６１に供給される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
合成制御部６１は、音声比較部５２により求められたミックスバランスを、操作入力部４２からのユーザの編集指示に応じて変更し、変更したミックスバランスに応じて、画像合成部６２の画像合成および音声合成部６３の音声合成を制御する。合成制御部６１は、生成された出力画像および出力音声を同期させて、通信部４３および記憶部４４に出力させる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
例えば、ユーザは、撮影者（自分）の音声が大きいため、小さくしたい場合に、表示部２５に表示されている撮影者画像３２の縮小を、操作入力部４２を介して指示する。画像の拡大縮小の操作方法としては、例えば、表示部２５に縮小ボタンを表示させ、それを押下させるようにしてもよいし、撮影者画像３２を小さくする操作を、表示部２５上で行わせるようにしてもよい。このようなユーザの操作を、操作入力部４２が検出し、合成制御部６１に供給する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
【数２】
2013062640.tif 000001
ここで、式（１）と同様に、x1(t)は、時間ｔの被写体音声の振幅幅、x2(t)は、撮影者音声の振幅幅、Ｅは期待値演算である。また、αは、被写体音声と撮影者音声の音量バランスを変えるためのパラメータであり、操作入力部４２から入力されるパラメータである。α＜１のときには、撮影者音声を小さくして、被写体音声を大きくすることに相当し、逆に、α＞１のときには、被写体音声を小さくして撮影者音声を大きくすることに相当する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
合成制御部６１は、ステップＳ３５において、被写体画像３１の圧縮率g1(t)と撮影者画像３２の圧縮率g2(t)を、上述した式（２）のように設定し、設定した圧縮率g1(t)およびg2(t)を、画像合成部６２に供給する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
なお、本技術は以下のような構成も取ることができる。
（１）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
を備える信号処理装置。
（２）  前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える前記（１）に記載の信号処理装置。
（３）  前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
前記（２）に記載の信号処理装置。
（４）  ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）  前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）  前記筐体は、ユーザにより携帯可能に形成されている
前記（３）に記載の信号処理装置。
（７）  前記一方の面に設けられる表示部を
さらに備える前記（３）に記載の信号処理装置。
（８）  前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）  信号処理装置が、入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成し、前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する信号処理方法。
（１０）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と、
前記音声分離部による前記音声の分離結果に応じた割合に基づいて、前記第１の音声が対応する第１の画像と、前記第２の音声が対応する第２の画像とを合成する画像合成部と
して、コンピュータを機能させるプログラム。
（１１）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを合成する音声合成部と
を備える信号処理装置。
（１２）  前記２つの音声信号のうち、前記第１の音声が含まれる比率が高い一方の音声信号を入力する第１のマイクロホンと、
前記２つの音声信号のうち、前記第２の音声が含まれる比率が高い他方の音声信号を入力する第２のマイクロホンと、
前記第１の画像の信号を入力する第１のカメラと、
前記第２の画像の信号を入力する第２のカメラと
をさらに備える
前記（１１）に記載の信号処理装置。
（１３）  前記第１のマイクロホンと前記第１のカメラとは、筐体の一方の面に設けられ、
前記第２のマイクロホンと前記第２のカメラとは、前記筐体の前記一方の面とは異なる面に設けられる
前記（１２）に記載の信号処理装置。
（１４）  ユーザの操作に応じて、前記第１の画像と前記第２の画像との割合を入力する操作入力部と、
前記操作入力部により入力される割合に応じて、前記音声の分離結果に応じた割合を変更する割合変更部と
をさらに備え、
前記画像合成部は、前記割合変更部により変更された割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
前記音声合成部は、前記割合変更部により変更された割合に基づいて、前記第１の音声と前記第２の音声とを合成する
前記（１１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）  前記音声分離部による前記音声の分離結果に応じた割合を算出する割合算出部を
さらに備える前記（１１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）  前記筐体は、ユーザにより携帯可能に形成されている
前記（１３）に記載の信号処理装置。
（１７）  前記一方の面に設けられる表示部を
さらに備える前記（１３）に記載の信号処理装置。
（１８）  前記音声合成部により合成された音声のデータと、前記画像合成部により合成された画像のデータとをサーバに送信する送信部を
さらに備える前記（１１）乃至（１７）のいずれかに記載の信号処理装置。
（１９）  信号処理装置が、
入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離し、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力し、
入力された前記割合に基づいて、前記第１の画像と前記第２の画像とを合成し、
入力された前記割合に基づいて、前記第１の音声と前記第２の音声とを合成する
信号処理方法。
（２０）  入力される２つの音声信号を用いて、第１の音声と第２の音声とに音声を分離する音声分離部と、
ユーザの操作に応じて、前記第１の音声が対応する第１の画像と前記第２の音声が対応する第２の画像との割合を入力する操作入力部と、
前記操作入力部から入力された割合に基づいて、前記第１の画像と前記第２の画像とを合成する画像合成部と、
前記操作入力部から入力された割合に基づいて、前記第１の音声と前記第２の音声とを
合成する音声合成部と
して、コンピュータを機能させるプログラム。