(57)【要約】【課題】映像の再生動作の変化時の音響表現の違和感を低減すること。【解決手段】信号処理装置は、映像の再生に係る再生速度とその再生速度での再生を行う時間区間とを指定する情報と、映像と共に再生される音響信号と、を取得し、その情報に基づいて、基準速度と異なる再生速度での映像の再生を行う時間区間である変速再生区間における、音響信号の再生ゲインを抑制する。【選択図】  図４
2019020530.tif 000002
【特許請求の範囲】
【請求項１】
映像の再生に係る再生速度と当該再生速度での映像の再生を行う時間区間とを指定する情報と、前記映像と共に再生される音響信号と、を取得する取得手段と、
前記情報に基づいて、基準速度と異なる再生速度での映像の再生を行う時間区間である変速再生区間における、前記音響信号の再生ゲインを抑制する抑制手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記抑制手段は、再生される映像が前記変速再生区間に入るのに応じたタイミングで、前記再生ゲインを所定値まで低下させる、
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記抑制手段は、前記変速再生区間から前記基準速度での再生を行う区間に移るタイミングで前記再生ゲインが抑制されていない基準値に戻るように、前記変速再生区間において前記再生ゲインを徐々に上昇させる、
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記抑制手段は、前記変速再生区間における前記映像の動きの量が大きいほど、当該変速再生区間における前記再生ゲインの上昇を開始するタイミングが早くなるように、当該タイミングを決定する、
ことを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記抑制手段は、前記変速再生区間において前記再生ゲインを上昇させる区間のうち、前記映像の動きの量が大きい区間ほど、当該区間における前記再生ゲインの上昇の量を大きくする、
ことを特徴とする請求項３又は４に記載の信号処理装置。
【請求項６】
前記抑制手段は、前記映像のフレーム間の差分または動きベクトルの大きさに基づいて前記映像の動きの量を特定する、
ことを特徴とする請求項４又は５に記載の信号処理装置。
【請求項７】
前記取得手段は、さらに、前記映像に対応する視点に関する仮想視点情報を取得し、
前記抑制手段は、前記変速再生区間における前記視点の動きの量が大きいほど、当該変速再生区間における前記再生ゲインの上昇を開始するタイミングが早くなるように、当該タイミングを決定する、
ことを特徴とする請求項３から６のいずれか１項に記載の信号処理装置。
【請求項８】
前記抑制手段は、前記変速再生区間において前記再生ゲインを上昇させる区間のうち、前記視点の動きの量が大きい区間ほど、当該区間における前記再生ゲインの上昇の量を大きくする、
ことを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記所定値は、前記変速再生区間における前記再生速度と前記基準速度との比に応じて定まる値である、
ことを特徴とする請求項２から８のいずれか１項に記載の信号処理装置。
【請求項１０】
前記抑制手段は、前記変速再生区間における前記再生速度の前記基準速度に対する比の大きさが所定の速度比より大きい場合には、前記再生ゲインを抑制しない、
ことを特徴とする請求項９に記載の信号処理装置。
【請求項１１】
前記所定値は、前記基準速度での映像の再生を行う時間区間における前記音響信号の再生ゲインを０ｄＢとする場合に、−１０ｄＢ以下かつ−３０ｄＢ以上の値である、
ことを特徴とする請求項２から１０のいずれか１項に記載の信号処理装置。
【請求項１２】
前記抑制手段は、前記変速再生区間の時間長が所定長未満である場合には、前記再生ゲインを抑制しない、
ことを特徴とする請求項１から１１のいずれか１項に記載の信号処理装置。
【請求項１３】
前記取得手段は、
前記映像の生成のための撮影信号と、前記音響信号の生成のための録音信号とを取得し、
変速再生によって前記映像の時間長が前記撮影信号の時間長より長く又は短くなる場合、前記映像の時間長と同じ時間長を有する前記録音信号を取得し、
前記撮影信号と前記情報とに基づいて前記映像を生成し、
前記録音信号の再生速度を変更せずに前記音響信号を生成する、
ことを特徴とする請求項１から１２のいずれか１項に記載の信号処理装置。
【請求項１４】
前記取得手段は、
前記映像の生成のための撮影信号と、前記音響信号の生成のための録音信号とを取得し、
前記撮影信号と前記情報とに基づいて前記映像を生成し、
変速再生によって前記映像の時間長が前記撮影信号の時間長より長くなる場合、
前記変速再生区間と異なる区間について、当該区間に対応する時間区間において録音された前記録音信号を用いて前記音響信号を生成し、
当該変速再生区間と異なる区間における前記音響信号と当該変速再生区間に対応する区間で録音された前記録音信号とを用いて、前記変速再生区間における前記音響信号を生成する、
ことを特徴とする請求項１から１２のいずれか１項に記載の信号処理装置。
【請求項１５】
前記変速再生区間における前記音響信号に含まれる当該変速再生区間と異なる区間における前記音響信号は、前記変速再生区間の前の基準速度での再生が行われる区間における前記音響信号を含む、
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項１６】
前記変速再生区間に対応する区間で録音された前記録音信号に基づく音響信号が、前記変速再生区間における前記音響信号に含まれる当該変速再生区間と異なる区間における前記音響信号の後に再生されるように、前記変速再生区間における前記音響信号を生成する、
ことを特徴とする請求項１４又は１５に記載の信号処理装置。
【請求項１７】
信号処理装置の制御方法であって、
取得手段が、映像の再生に係る再生速度と当該再生速度での映像の再生を行う時間区間とを指定する情報と、前記映像と共に再生される音響信号と、を取得する取得工程と、
抑制手段が、前記情報に基づいて、基準速度と異なる再生速度での映像の再生を行う時間区間である変速再生区間における、前記音響信号の再生ゲインを抑制する抑制工程と、
を有することを特徴とする制御方法。
【請求項１８】
コンピュータを請求項１から１６のいずれか１項に記載の信号処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び音響の再生技術に関する。
【背景技術】
【０００２】
映像データを高フレームレートで撮影して、映像のスロー再生を行う技術が存在する。このようなスロー再生では、音響信号の波形をスロー再生に合わせて伸長すると、音響の周波数が低域にシフトし、視聴者に違和感を与えうる。これに対して、特許文献１には、録音データについても高サンプリングレートで取得して、違和感の少ない音響データを生成し、さらに、その音響データを繰り返し再生して無音区間を減らすことにより、違和感を低減する技術が記載されている。また、特許文献１には、音響の繰り返し再生時に、繰り返しごとに音量レベルを低下させることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−００９６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の手法は、映像が変速再生に切り替わった後に徐々に音量レベルを低下させるため、映像表現の変化時にただちに音量レベルが変化するものではない。このため、映像再生の途中で、通常再生からスロー再生やストップモーション再生などの変速再生に切り替わった際に音響表現に変化がないため、視聴者に違和感を与えてしまいうるという課題があった。
【０００５】
本発明は上記課題に鑑みなされたものであり、映像の再生動作の変化時の音響表現の違和感を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様による信号処理装置は、映像の再生に係る再生速度と当該再生速度での映像の再生を行う時間区間とを指定する情報と、前記映像と共に再生される音響信号と、を取得する取得手段と、前記情報に基づいて、基準速度と異なる再生速度での映像の再生を行う時間区間である変速再生区間における、前記音響信号の再生ゲインを抑制する抑制手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、映像の再生動作の変化時の音響表現の違和感を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】信号処理装置のハードウェア構成例を示すブロック図である。
【図２】信号処理装置の機能構成例を示すブロック図である。
【図３】信号処理装置が実行する処理の流れの例を示すフローチャートである。
【図４】実施形態に係る映像及び音響の再生を説明する図である。
【図５】映像の再生速度と音響再生ゲインとの関係の例を示す図である。
【図６】音響再生ゲインの時間変化例を示す図である。
【図７】生成される音響信号の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態は本発明を限定するものではなく、例えば、本実施形態で説明されている特徴の全てが必須とは限らず、その一部の構成要素や方法のステップが省略されてもよい。また、本発明の範囲内で、本実施形態に係る構成に、さらなる構成要素や方法のステップが追加されうる。
【００１０】
本実施形態では、撮影及び録音によって得られた撮影信号及び録音信号に基づいて映像信号及び音響信号を生成して、それらの映像信号及び音響信号に基づいて、映像と音響の再生制御を行う信号処理装置について説明する。なお、信号処理装置は、カメラやマイクを有する撮影装置であってもよいし、外部から撮影信号及び録音信号を取得して、それらの信号に対する信号処理を行うように構成されてもよい。また、撮影信号及び録音信号は、１つのカメラやマイクで得られる単一視点・単一聴点の信号であってもよいし、複数のカメラやマイクで得られる複数視点・複数聴点の信号であってもよい。なお、複数視点・複数聴点に関する撮影信号及び録音信号は、複数のカメラやマイクのそれぞれから取得されてもよいし、これらの信号を保存するサーバ等の外部装置から取得されてもよい。また、信号処理装置は、複数視点・複数聴点に関する撮影信号及び録音信号を取得した場合、例えばユーザから指定された視点に対応する映像信号及び音響信号を、それらの複数の撮影信号及び録音信号に基づいて生成しうる。すなわち、信号処理装置は、自由視点映像と自由聴点音響とを生成して出力することができるように構成されうる。
【００１１】
信号処理装置は、撮影時の時間通りに映像を再生する通常再生と、スロー再生やストップモーション再生等の撮影時の時間と異なる速度で映像を再生する変速再生とを実行可能である。このとき、信号処理装置は、通常再生から変速再生へとモードの切り替えが行われた場合に、視聴者がそのモードの切り替えが生じたことを音響からも認知することができるように、音響再生時のゲインを変更する。信号処理装置は、一例において、通常再生から変速再生へ切り替えるタイミングにおいて、音響再生ゲインを所定値まで低下させる。これによれば、視聴者は、音響再生ゲインの抑制に伴う音量の低下によって、再生モードが変更されたことを認識することができる。なお、以下では、音響再生ゲインを抑制する例について説明するが、本明細書及び添付の特許請求の範囲を通じて、用語「ゲイン」は、音圧のことを指すのみならず、音量を含む概念として記述する。
【００１２】
以下では、このような信号処理装置の構成と、信号処理装置が実行する処理の例について詳細に説明する。
【００１３】
（信号処理装置の構成）
図１は、本実施形態に係る信号処理装置１００のハードウェア構成例を示すブロック図である。信号処理装置１００は、そのハードウェア構成の一例として、記憶部１０１、制御部１０２、機能部１０３、入力部１０４、出力部１０５、及び通信部１０６を有する。なお、信号処理装置１００は、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレットコンピュータ等の任意のコンピュータによって実現されうる。例えば、信号処理装置１００は、ヘッドマウントディスプレイ（ＨＭＤ）に搭載されたコンピュータであってもよい。
【００１４】
記憶部１０１は、ＲＯＭ、ＲＡＭの両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部１０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。
【００１５】
本実施形態では、記憶部１０１は、カメラで撮影された撮影信号およびマイクで録音された録音信号を保持する。ここで、撮影信号および録音信号には、時刻情報が付与されており、さらに、カメラ及びマイクの位置及び姿勢情報が付与されうる。本実施形態では、例えば自由視点映像及び自由聴点音響への対応のために、カメラ及びマイクの位置及び姿勢情報が撮影信号および録音信号に付与されるものとする。
【００１６】
制御部１０２は、ＣＰＵ、または、ＭＰＵにより構成され、記憶部１０１に記憶されたプログラムを実行することにより信号処理装置１００全体を制御する。なお、制御部１０２は、記憶部１０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）との協働により信号処理装置１００全体を制御するようにしてもよい。
【００１７】
また、制御部１０２は、機能部１０３を制御して、信号処理装置１００の様々な機能を実行する。機能部１０３は、信号処理装置１００が所定の処理を実行するためのハードウェアである。例えば、信号処理装置１００がビデオカメラ機能を有する場合、機能部１０３は撮影部及び録音部であり、撮像及び録音処理を行う。また、例えば、信号処理装置１００がプロジェクタ機能を有する場合、機能部１０３は投影部であり、投影処理を行う。機能部１０３が処理するデータは、記憶部１０１に記憶されているデータであってもよいし、後述する通信部１０６を介して他の装置と通信したデータであってもよい。
【００１８】
入力部１０４は、ユーザからの各種操作の受付を行う。出力部１０５は、ユーザに対して各種出力を行う。ここで、出力部１０５による出力とは、画面上への表示や、スピーカーによる音響出力、振動出力等の少なくとも１つを含む。なお、タッチパネルのように入力部１０４と出力部１０５の両方を１つのモジュールで実現するようにしてもよい。本実施形態では、入力部１０４及び出力部１０５としてタッチパネルが用いられ、出力部１０５は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示して、入力部１０４は、そのＧＵＩを介してユーザ操作の受付を行う。また、出力部１０５は、少なくとも映像と音響とを出力するように構成されるが、例えば音響の出力については、ヘッドホン等の、タッチパネルと異なる音響出力機構を有しうる。すなわち、出力部１０５の映像表示機構が入力部１０４と共にタッチパネルによって構成され、出力部１０５の音響出力機構は、タッチパネルと別のハードウェアによって構成されうる。
【００１９】
通信部１０６は、有線または無線による通信の制御や、ＩＰ通信の制御を行う。信号処理装置１００は、通信部１０６を介して、撮影データや録音データ等を他の装置から取得し、記憶部１０１に格納することができる。なお、信号処理装置１００は、通信部１０６を介して撮影データや録音データを取得してもよいが、例えばそれらのデータを記憶する外部の記憶媒体を専用のドライブで読み込むことによって取得してもよい。
【００２０】
次に、信号処理装置１００の機能構成例について、図２を用いて説明する。信号処理装置１００は、その機能構成として、信号解析処理部２０１と同期出力部２０２とを有する。なお、これらの機能部は、制御部１０２が、記憶部１０１に記憶されているアプリケーションプログラムを実行することによって実現される。図２において、信号解析処理部２０１は、記憶部１０１に記憶された撮影信号や録音信号などの解析処理を行い、再生用の映像信号や音響信号を生成する。同期出力部２０２は、信号解析処理部２０１によって生成された映像信号および音響信号を同期させて、出力部１０５に出力するための制御を実行する。なお、同期出力部２０２は、出力部１０５に出力するのに代えて、又はこれに加えて、生成された映像信号及び音響信号を外部の装置に再生させるために通信部１０６を介して信号を外部へ出力してもよい。また、同期出力部２０２は、出力部１０５に出力するのに代えて、又はこれに加えて、生成された映像信号及び音響信号を記憶部１０１に記憶させてもよい。なお、本実施形態では信号処理装置１００が再生用の映像信号と音響信号の両方を生成する場合について説明するが、これに限られない。例えば信号処理装置１００は、映像の再生速度に関する情報を取得し、その情報に基づいて音響信号を生成して出力する。そして信号処理装置１００とは別の装置が、信号処理装置１００により生成される音響信号と共に再生される映像信号を生成して出力してもよい。すなわち、信号処理装置１００自身は映像信号を取得しなくてもよい。
【００２１】
（処理の流れ）
続いて、信号処理装置１００が実行する処理の流れの例について図３を用いて説明する。図３の処理は、例えば、制御部１０２が、記憶部１０１に記憶されているアプリケーションプログラムを実行することによって実現される。また、図３の処理は、信号処理装置１００が撮影信号及び録音信号を取得して再生用の映像信号及び音響信号の生成に関する処理を開始するための、ユーザによる指示を受け付けたタイミングで開始される。ただし、図３の処理の開始タイミングはこれに限定されない。
【００２２】
処理が開始されると、まず、Ｓ３０１において、信号処理装置１００は、例えばユーザ操作によって又は外部の装置からの要求に従って、映像信号の生成に用いる撮影信号の選択時間区間と、映像再生速度のタイムチャートとを取得する。撮影信号の選択時間区間は、撮影時間軸での時間区間のうち、映像再生の対象としてユーザ操作によって指定された時間区間を示す情報である。また、映像再生速度のタイムチャートは、選択された時間区間において、どのように映像再生速度を変化させるかを指定する情報である。なお、映像再生速度は、撮影時間軸での時間に基づいて記述されてもよいし、再生時間軸での時間に基づいて記述されてもよい。
【００２３】
ここでは、例えば、図４の撮影信号４０１に示すように、撮影信号の選択時間区間として時刻Ｔ０〜Ｔ３が選択されたものとする。なお、図４では、Ｔｉ（ｉは整数）は撮影及び録音時の時間を表し、Ｐｊ（ｊは整数）は再生（視聴）時の時間を表すものとする。ここで、映像再生速度４０２に示すように、時刻Ｔ０〜Ｔ１の時間長ΔＴ01（＝Ｔ１−Ｔ０）の撮影信号から生成する映像信号が、再生時間軸においてＰ０（＝０）〜Ｐ１の時間長ΔＰ01（＝Ｐ１−Ｐ０）で再生されるように設定されたとする。同様に、時刻Ｔ１〜Ｔ２の時間長ΔＴ12（＝Ｔ２−Ｔ１）の撮影信号から生成する映像信号が、再生時間軸においてＰ１〜Ｐ２の時間長ΔＰ12（＝Ｐ２−Ｐ１）で再生されるように設定されたものとする。また、時刻Ｔ２〜Ｔ３の時間長ΔＴ23（＝Ｔ３−Ｔ２）の撮影信号から生成する映像信号が、再生時間軸においてＰ２〜Ｐ３の時間長ΔＰ23（＝Ｐ３−Ｐ２）で再生されるように設定されたものとする。
【００２４】
ここで、撮影信号の時間長ΔＴと、ΔＴの撮影信号から生成する映像信号の再生時間軸における時間長ΔＰの比として、映像再生速度ｖ＝ΔＴ／ΔＰを定義する。この映像再生速度は、ｖ＝１のときが等速再生、０＜ｖ＜１のときがスロー再生、ｖ＝０のときがストップモーション再生に対応する。なお、以下では、ｖ＝１を基準速度と呼び、等速再生のことを基準速度再生と呼ぶ場合がある。また、以下では、スロー再生とストップモーション再生を含め、０≦ｖ＜１（より一般的にはｖ≠１）での再生を、変速再生と呼ぶ。図４の例では、ｖ01＝ΔＴ01／ΔＰ01＝１およびｖ23＝ΔＴ23／ΔＰ23＝１であるため、再生期間Ｐ０〜Ｐ１およびＰ２〜Ｐ３では基準速度再生が行われる。一方、ｖ12＝ΔＴ12／ΔＰ12＜１であるため、再生期間Ｐ１〜Ｐ２では、変速再生が行われる。なお、再生期間Ｐ１〜Ｐ２における変速再生は、Ｔ２＞Ｔ１の場合にはスロー再生であり、Ｔ２＝Ｔ１（ΔＴ12＝０）の場合にはストップモーション再生となる。
【００２５】
Ｓ３０２では、信号処理装置１００は、例えばユーザ操作によって又は外部の装置からの要求に従って、以降の処理において自由視点の映像信号や音響信号の生成に用いる仮想視点位置・姿勢のタイムチャートを取得する。仮想視点位置・姿勢のタイムチャートは、ユーザにより指定された、どのタイミングでどの視点からの映像を視聴するかを示す情報である。仮想視点位置・姿勢は、再生時間軸で記述され、例えば、図４ではＰ０〜Ｐ３の時間長ΔＰ03（＝Ｐ３−Ｐ０）にわたって指定される。なお、ユーザの操作入力には、ＧＵＩではなく、例えば位置・姿勢の入力に特化したジョイスティック等が用いられてもよい。
【００２６】
Ｓ３０３では、信号処理装置１００は、映像信号と同期再生する音響信号の生成用の、録音信号の時間区間を決定する。まず、信号処理装置１００は、撮影信号の選択時間区間の時間長ΔＴ03（＝Ｔ３−Ｔ０）と、生成する映像信号の時間長ΔＰ03の差分Ｄ（＝ΔＰ03−ΔＴ03）を算出する。ここで、映像再生速度のタイムチャートにｖ12＜１、すなわちΔＰ12＞ΔＴ12の変速再生が含まれている。このため、Ｄ＝ΔＰ03−ΔＴ03＝ΔＰ12−ΔＴ12＞０となる。この場合、信号処理装置１００は、一例として、映像信号の選択時間区間Ｔ０〜Ｔ３より過去の時間方向に期間Ｄだけ延長した時間区間（Ｔ０−Ｄ）〜Ｔ３を、映像信号と同期再生する音響信号の生成に用いる録音信号の時間区間とする。すなわち、信号処理装置１００は、再生時の映像信号と同じ時間長Ｔ３−Ｔ０＋Ｄ＝ΔＴ03＋Ｄ＝ΔＰ03を有する録音信号であって、かつ、再生終了時において映像信号の録画時刻と同じ時刻を有する録音信号の時間区間を決定する。なお、録音信号の時間区間を延長する際には、録音時間軸において過去方向への延長に限らず未来方向への延長がなされてもよい。また、再生時間軸の特定のタイミングで撮影信号と録音信号の使用時刻が一致するように、過去及び未来の両方向へ、録音信号の時間区間の延長がなされてもよい。なお、信号処理装置１００は、同様に、変速再生区間が複数ある場合にも、生成する映像信号の時間長から撮影信号の選択時間区間の時間長を引いた分だけ、録音信号の時間長を撮影信号の時間長より長くするようにして、録音信号の時間区間を決定する。これにより、音質劣化につながる波形伸長を行うことなく、映像信号と同じ時間長の音響信号を生成することができる。
【００２７】
図４の例の場合、再生時間軸の再生区間Ｐ０〜Ｐ１では時刻Ｔ０〜Ｔ１の撮影信号が用いられ、一方で、録音信号４０３に示すように、時刻（Ｔ０−Ｄ）〜（Ｔ１−Ｄ）の録音信号が用いられる。同様に、再生区間Ｐ１〜Ｐ２では時刻Ｔ１〜Ｔ２の撮影信号および時刻（Ｔ１−Ｄ）〜Ｔ２の録音信号が、再生区間Ｐ２〜Ｐ３ではともに時刻Ｔ２〜Ｔ３の撮影信号および録音信号が用いられる。例えばスポーツシーンでは、注目プレー時にスローやストップモーションといった変速再生が行われ、変速再生が解けた後の基準速度再生が行われる区間で得点シーンなどの盛り上がるシーン（重要度の高いシーン）が再生される。このとき、このようなシーンにおいて撮影信号と録音信号の時間区間が一致するようにすることで、効果的な演出を行うことができる。
【００２８】
Ｓ３０４では、信号処理装置１００は、Ｓ３０１で取得した撮影信号の選択時間区間および映像再生速度のタイムチャートと、Ｓ３０２で取得した仮想視点位置・姿勢のタイムチャートを用いて、撮影信号から再生用の映像信号を生成する。ここでは、複数の撮影信号と、それらを撮影した各カメラの位置・姿勢とに基づいて、撮影対象の三次元モデルを構築する。なお撮影対象の三次元モデルの構築は、公知技術を用いて行われる。これにより、信号処理装置１００は、タイムチャートに沿った任意の仮想視点位置・姿勢から撮影対象を見た場合の見え方を再現する映像信号を生成する。特に、ストップモーションやスロー等の変速再生が行われる区間では、単一時刻における複数カメラの撮影信号フレームから、視点が異なる複数の映像信号フレームを生成する。なお、生成される映像信号フレームの数は、映像再生フレームレートに依存して定まる。そして、生成された映像信号フレームは後のステップで再生時間軸において連続的に再生される。
【００２９】
なお、例えば撮影信号が単数（カメラが単数）の場合等には、Ｓ３０２で仮想視点情報を取得せず、撮影信号をそのまま映像信号として用いてもよい。そして、変速再生については、単に映像信号の映像再生フレームレートの設定を、変速再生速度に応じて変更するだけでもよい。または、映像再生フレームレートは一定で、同じ撮影信号フレームを複数回表示し、又は、時間的に隣接する撮影信号フレームを用いて補間処理を行うことで映像信号フレームを生成することにより、変速再生を実現してもよい。
【００３０】
Ｓ３０５では、信号処理装置１００は、Ｓ３０３で取得した録音信号の時間区間と、Ｓ３０２で取得した仮想視点位置・姿勢のタイムチャートとを用いて、録音信号からヘッドホン再生用の音響信号を生成する。ここでは、タイムチャートに沿って仮想視点位置・姿勢で音を聞いているとした場合の音場を再現するために、各録音信号の音（マイクにより収音された音）がそれぞれの方向から再生されているように聞こえる音響信号を生成する。
【００３１】
例えば、Ｓ３０４で生成した映像信号と同じ時間長を有する録音信号に対して、所定時間長（例えば映像再生フレームレートに合わせた時間長）の時間ブロックごとに、以下の処理が実行される。まず、グローバル座標系で記述された録音信号の位置（マイクの位置）を示す座標を、現時間ブロックに対応する仮想視点位置・姿勢で規定される頭部座標系の座標へと変換し、さらに直交座標表現から球面座標表現への変換を行う。そして、現時間ブロックの複数の録音信号に対して、各録音信号の方向（マイクの方向）に対応する左耳及び右耳の頭部伝達関数（ＨＲＴＦ）を適用して、ヘッドホン再生用の左右それぞれの信号について累積加算して、現時間ブロックにおける音響信号を生成する。これにより、各録音信号の音を再生する仮想スピーカが、ユーザの周囲に配置されるのと同様の音響効果を実現することができる。
【００３２】
なお、ＨＲＴＦは、例えば記憶部１０１にあらかじめ保持されているものや、通信部１０６を介して取得したものが用いられうる。なお、各録音信号の位置（マイクの位置）と仮想視点位置との間の距離を（例えば算出により）取得し、録音信号をその距離に応じて減衰させておくことにより、仮想視点位置に対する録音信号ごとの距離減衰を表現することができる。なお、録音信号の減衰は、例えば、その録音信号を、対応する距離又は距離の２乗（又は所定数乗）で除算することによって表現される。また、距離に対応する距離遅延を録音信号に付加することで、仮想視点位置に対する録音信号ごとの距離遅延差を表現するようにしてもよい。なお、音響信号の生成は、上述の手法に限られず、様々な手法が用いられうる。例えば、各録音信号を解析して多数の音源の位置及び音を特定し、その位置と仮想視点位置との関係から各音源について音の減衰量及び伝搬遅延を推定して、各音源からの音を推定値に応じて減衰及び遅延させて累積加算することにより、音響信号が生成されうる。
【００３３】
このようにして生成された現時間ブロックの音響信号が、窓関数を乗じられた後に前時間ブロックまでの音響信号にオーバーラップ加算されることにより、映像信号と同じ時間長の音響信号が生成される。なお、Ｓ３０４の映像信号の生成処理とＳ３０５の音響信号の生成処理は、並列で行われてもよい。
【００３４】
Ｓ３０６では、信号処理装置１００は、映像の変速再生速度から音響再生ゲインの抑制値を決定する。すなわち、本実施形態に係る信号処理装置１００は、音響の変化によって視聴者が状態変化を認識することができるようにするために、変速再生時に音響再生ゲインを抑制するが、その際にどれだけ抑制するかを示す所定値を決定する。
【００３５】
試聴実験の結果、映像の変速再生開始時に音量を抑制するための音響再生ゲインが、基準値（変速再生開始前の値）の−２０ｄＢ前後まで抑制されると音表現の変化が感じられることが分かった。一方、ゲインの抑制量が１０ｄＢよりも少ない場合、すなわち、ゲインが基準値の−１０ｄＢを超えている場合、変化が分かりにくい場合があった。また、ゲインの抑制量が大きく、ゲインが基準値の−３０ｄＢを下回ると無音に近くなり、視聴者に違和感を与える場合があった。このため、一例において、音響再生ゲインが基準値の−１０ｄＢ以下かつ−３０ｄＢ以上となるように抑制値が決定される。
【００３６】
ここで、変速再生時の再生速度に応じてゲインの抑制量を決定することにより、より再生状態に適した音響表現を行うことができる。すなわち、例えば、ｖ＝０のストップモーション再生や、ｖ＝０．０２（１／５０倍再生）等のスーパースロー再生のように、基準速度再生からの映像再生速度の変化が大きく、映像表現の変化も大きい場合は、ゲインの抑制量を大きくする。一方、変速再生でも例えばｖ＝０．２５（１／４倍再生）のスロー再生のように、映像再生速度の変化、すなわち映像表現の変化がそれほど大きくない場合は、ゲインの抑制量を小さくしうる。一例において、ストップモーションやスーパースロー再生時には、音響再生ゲインを−２０ｄＢ〜−３０ｄＢまで抑制し、スロー再生時には、音響再生ゲインを−１５ｄＢ程度までしか抑制しないようにしてもよい。また、変速再生でも、例えばｖ＝０．７５のスロー再生のように、映像表現の変化が小さい場合は、音響再生ゲインの抑制を行わなくてもよい。映像の変速再生速度と、音響再生ゲインとの関係の一例を図５に示す。
【００３７】
信号処理装置１００は、例えば図５のような関係を用いて、音響再生ゲインの抑制値を決定する。図５の例では、ｖ＞０．５（１／２倍速より速い速度での再生）の場合は、音響再生ゲインを抑制せず、ｖ≦０．５以下ではｖの値が小さいほど音響再生ゲインを小さくし、ｖ＝０．０５で−２０ｄＢ〜−３０ｄＢの下限値に達する。換言すれば、基準速度再生から変速再生に切り替わるタイミングにおいて映像再生速度の変化が大きいほど、音響再生ゲインが大幅に抑制される。なお、図５は一例であり、様々な態様で映像の変速再生速度と音響再生ゲインとの関係が規定されうる。例えば、０．５と異なる値が、その値を超えるｖに対して音響再生ゲインの抑制を行わないようにする所定の速度比として用いられてもよく、また、−２０ｄＢ〜−３０ｄＢと異なる値が抑制後の音響再生ゲインの下限値として用いられてもよい。その他の設定（例えばｖが所定の速度以下である場合の音響再生ゲインの上限値や、その上限値と下限値との間の区間における傾きなど）も任意に設定されうる。
【００３８】
図４の例では、Ｐ０〜Ｐ１の区間ではｖ＝１の基準速度再生が行われるため、音響再生ゲイン４０４として示すように、音響再生ゲインは抑制されず、基準値（０ｄＢ）が用いられる。そして、映像再生速度が基準速度再生から変速再生に切り替わる再生時間軸のＰ１のタイミングで、音響再生ゲインは、基準値から抑制値である−２０ｄＢまで抑制される。なお、抑制後の音響再生ゲインを−２０ｄＢとするのは一例であり、双方向矢印４０５によって示すように、変速再生速度と音響再生ゲインとの関係の規定及び実際の変速再生速度に応じて、抑制後の音響再生ゲインが決定されうる。ここでは、例えば、音響再生ゲインの抑制は図５に従って行われるものとし、かつ、Ｐ１〜Ｐ２の区間でｖ≦０．０５の変速再生が行われるものとする。この結果、Ｐ１のタイミングで、音響再生ゲインは−２０ｄＢに抑制される。
【００３９】
以上のように、映像の変速再生開始時に音響再生ゲインを抑制して映像表現と音表現の変化の開始タイミングを合わせることにより、コンテンツの表現力を高めることができる。なお、図４の音響再生ゲイン４０４によって示されるように、音響再生ゲインの抑制時にフェード処理（徐々に音響再生ゲインを下げる処理）を行ってもよいが、Ｐ１を境界として音響再生ゲインが不連続に変化するようにしてもよい。また、フェード処理が行われる場合、音響再生ゲインの変化を比較的急峻にすることにより、視聴者が音響表現の変化を感じやすくすることができる。なお、変速再生区間が複数設定されている場合、各変速再生速度に応じて変速再生区間ごとに異なる音響再生ゲインの抑制値が適用されうる。
【００４０】
Ｓ３０７では、信号処理装置１００は、Ｓ３０２で取得した仮想視点位置・姿勢の映像変速再生区間にわたる平均的な変化量を算出し、この平均変化量から、Ｓ３０６で決定した音響再生ゲインの抑制値を維持する時間の長さを決定する。すなわち、信号処理装置１００は、映像の変速再生開始時には、Ｓ３０６のように音響再生ゲインが抑制されるが、変速再生から基準速度再生に復帰する際には映像表現が元に戻るため、変速再生終了時には音響再生ゲインも基準値（０ｄＢ）に戻しうる。このとき、信号処理装置１００は、変速再生のほぼ全区間にわたって音響再生ゲインを抑制したまま維持し続けることができるが、表現の質を高めるために、早期に音響再生ゲインの抑制を解除して音響再生ゲインの上昇を開始させることができる。ここでは、信号処理装置１００は、変速再生区間にわたる仮想視点位置・姿勢の平均変化量が大きいほど、音響再生ゲインの抑制値の維持時間を短く、すなわち抑制値から音響再生ゲインを上昇開始させるまでの時間を短くする。
【００４１】
上述のように、Ｓ３０５では、仮想視点位置・姿勢および録音信号の位置情報を用いて録音信号から音響信号を生成したが、このとき仮想視点位置・姿勢の変化が大きいほど、音の位置（方向）の変化等も大きくなる。例えば、スポーツシーンにおいて仮想視点姿勢（方向）が注視点（注目選手等）を向き続ける状態で、仮想視点位置が注視点の周りを回転するように移動する場合、仮想視点の移動に伴って、周囲の歓声等の音響も回転することになる。このようにすることで、仮想視点の回転に伴って音響が回転する感覚を効果的に表現することができる。しかしながら、変速再生のほぼ全区間にわたって音響再生ゲインを抑制したまま維持し続けると、仮想視点の変化による音の方向の変化をあまり感じられなくなってしまう。このため、上述のように、信号処理装置１００は、映像の変速再生区間における仮想視点位置・姿勢の平均変化量が大きいほど、音響再生ゲインが抑制された状態を維持する時間を短くする。これにより、音響再生ゲインが上昇を開始するタイミングが早まるため、より長い時間にわたって、視聴者に仮想視点の変化による音（方向）の変化を感じさせることができる。一方で、信号処理装置１００は、変速再生区間における仮想視点の変化が乏しい場合は、変速再生区間のほぼ全域にわたって、音響再生ゲインが抑制された状態を維持し続けてもよい。このように、信号処理装置１００は、図４の音響再生ゲイン４０４における双方向矢印４０６で示すように、変速再生区間における仮想視点位置・姿勢の平均変化量に応じて、音響再生ゲインを抑制した状態を維持する時間長Ｋを決定する。
【００４２】
信号処理装置１００は、例えばメートル（［ｍ］）単位で記述された三次元位置ベクトルについての再生時間軸における単位時間当たりの変化のノルムとして、仮想視点の位置の変化量を算出しうる。また、信号処理装置１００は、例えば角度（［ｄｅｇ］）単位で記述されたロール・ピッチ・ヨー表現の三次元姿勢ベクトルについて、単位時間当たりの変化のノルムとして、仮想視点の姿勢の変化量を算出しうる。そして、信号処理装置１００は、例えば位置の変化量と姿勢の変化量を重み付け加算し、さらに、その加算結果を変速再生区間にわたって平均化したものを仮想視点位置・姿勢の平均変化量としうる。
【００４３】
なお、ここでの重み付け加算における重みは、録音時の環境に応じて定まりうる。すなわち、所定の方向から強い音が発せられており、他の方向からの音が弱い場合は、位置よりも姿勢が重視されるような重みが用いられうる。一方、仮想視点位置を取り囲む複数の位置から同様の音が発せられているような状況では、姿勢よりも位置が重視されるような重みが用いられうる。録音時の環境については、例えば、録音信号内に環境を示す値を含めることによって、その録音信号を利用する信号処理装置１００がその環境を判断できるようにしてもよい。また、信号処理装置１００は、例えば、複数の仮想視点の位置及び姿勢のサンプルについて音響の変化を算出し、その結果に基づいて、位置と姿勢とのいずれが出力されるべき音響に強く影響を与えるかを判定して、重みを決定してもよい。信号処理装置１００は、例えば記憶部１０１に記憶された複数の重みの候補の中から、状況に応じて１つを選択して使用しうる。
【００４４】
信号処理装置１００は、仮想視点位置・姿勢の平均変化量に応じて、例えば、映像変速再生の時間長ΔＰ12のうちのどの程度の割合を音響再生ゲインの抑制を維持する時間Ｋとするかを決定する。例えば、信号処理装置１００は、α＝ｍｉｎ（（仮想視点位置・姿勢の平均変化量）／（閾値），１）としてαを決定し、Ｋ＝（１−α）ΔＰ12のように、時間Ｋを決定することができる。また、信号処理装置１００は、仮想視点位置・姿勢の平均変化量と時間Ｋとを予め対応付けて記憶しておくことで、又は、仮想視点位置・姿勢の平均変化量から直接的に時間Ｋを算出可能な関数を用いて、時間Ｋを決定してもよい。ただし、この場合、信号処理装置１００は、対応付けられた又は算出された値がΔＰ12を超える場合は、Ｋ＝ΔＰ12とする。なお、仮想視点位置・姿勢の平均変化量と時間Ｋとが予め対応付けられて記憶される場合、その情報は、例えば記憶部１０１に記憶される。
【００４５】
維持時間Ｋを決定することで、図４の音響再生ゲイン４０４に示すように、再生時間軸において、音響再生ゲインを抑制値から上昇開始させるタイミングＰａ（＝Ｐ１＋Ｋ）が決定される。なお、信号処理装置１００は、特に映像変速再生の時間長ΔＰ12が短い場合は、維持時間Ｋ＝０（Ｐａ＝Ｐ１）として、抑制後すぐに音響再生ゲインを上昇開始するようにしてもよい。
【００４６】
なお、仮想視点位置・姿勢の変化量に代えて、又はこれに加えて、仮想視点位置・姿勢で規定される頭部座標系で記述された録音信号の位置（マイクの位置）の変化量が用いられてもよい。すなわち、変速再生区間にわたる頭部座標系で記述した録音信号の位置の平均変化量が大きいほど、音響再生ゲインが抑制された状態が維持される時間を短くするようにしてもよい。なお、複数の録音信号が用いられる場合は、各録音信号の位置の平均変化量のさらなる平均が、音響再生ゲインが抑制された状態を維持する時間の決定に用いられてもよい。なお、複数の録音信号の位置についての複数の平均変化量のさらなる平均は、例えば、仮想視点に近い音ほど大きい重みを用いた重み付き平均によって算出されうる。
【００４７】
なお、仮想視点位置・姿勢の変化量が大きいと、再生時間軸における単位時間当たりの映像信号の変化量が、換言すれば映像信号のフレーム間の差分が、大きくなる。そこで、仮想視点位置・姿勢の変化量に代えて、又はこれに加えて、映像信号の単位時間当たりのフレーム間の差分や、動きベクトル（オプティカルフロー）の大きさを映像信号の変化量として算出してもよい。そして、変速再生区間にわたる映像信号の変化量の平均値を平均変化量として用い、映像信号の平均変化量が大きいほど、音響再生ゲインが抑制された状態を維持する時間を短くするようにしてもよい。これによれば、例えば、単一のカメラの撮影信号をそのまま映像信号として用いるような仮想視点の概念がない場合でも、映像信号の平均変化量が小さければ、変速再生のほぼ全区間にわたって音響再生ゲインが抑制された状態を維持しうる。一方、カメラがパンし続けるなど映像信号の平均変化量が大きい場合には、音響再生ゲインを抑制値から上昇させ始めるタイミングを早くしうる。
【００４８】
なお、信号処理装置１００は、仮想視点位置・姿勢の平均変化量、頭部座標系で記述した録音信号の位置の平均変化量、映像信号の平均変化量を組み合わせて用いてもよい。
【００４９】
Ｓ３０８では、信号処理装置１００は、Ｓ３０２で取得した仮想視点位置・姿勢の映像変速再生区間における変化量に基づいて、音響再生ゲインを抑制値から基準値（０ｄＢ）まで戻す際の変化量を決定する。例えば、信号処理装置１００は、Ｓ３０２で取得した変化量が大きいほど、音響再生ゲインを抑制値から基準値（０ｄＢ）まで戻す際の変化量を大きくする。すなわち、仮想視点（映像信号）の変化量（動き）が大きいときは、変速再生区間における音響再生ゲインの抑制値からの上昇が開始されて以降の変化量も大きくし、仮想視点の動きが小さいときは変化量を小さくする。これにより、映像表現と音響表現の緩急を一致させて、表現力をさらに高めることができる。このような制御の例を図６に示す。
【００５０】
図６の例では、音響再生ゲインが抑制値から上昇し始めるＰａから、音響再生ゲインが基準値に戻るＰ２までの間に、仮想視点の動きに急→緩→急→緩→急のような緩急（メリハリ）があった場合の例を示している。この場合、音響再生ゲインは、仮想視点の動きが急な場合には大きい変化量（傾き）で、また、仮想視点の動きが緩やかである場合には小さい変化量で、上昇する。例えば、仮想視点位置・姿勢の各瞬間の変化量をＰａ〜Ｐ２の期間内における和で除算した割合に応じて、抑制値から基準値までの音響再生ゲインの変化量（全部で２０ｄＢ）を割り当てることにより、各瞬間における音響再生ゲインの変化量が決定されうる。
【００５１】
なお、Ｓ３０７と同様に、仮想視点位置・姿勢の変化量に代えて、又はこれに加えて、頭部座標系で記述した録音信号の位置の変化量、フレーム間の差分や動きベクトル（オプティカルフロー）の大きさ等の映像信号の変化量が用いられてもよい。
【００５２】
なお、仮想視点や映像信号の変化量が変速再生区間にわたって概ね一定の場合、図４の再生区間Ｐａ〜Ｐ２における音響再生ゲイン４０４のように、単調に音響再生ゲインを変化させてもよい。このとき、必ずしも直線状に変化させる必要はなく、例えばシグモイド関数形状など、任意の曲線形状に従って音響再生ゲインを変化させてもよい。
【００５３】
音響再生ゲインは、図４の音響再生ゲイン４０４に示すように、映像変速再生が終了して基準値に戻ったＰ２以降は、最後のＰ３まで基準値が維持される。
【００５４】
なお、映像変速再生の時間長ΔＰ12が特に短い場合は、音響再生ゲインの制御を行っても一瞬音量が小さくなるだけで瞬時に元に戻るため、視聴者にかえって違和感を与えてしまいうる。このため、映像変速再生の時間長が所定長未満の場合は、音響再生ゲインのタイムチャートを制御するＳ３０６〜Ｓ３０８の処理が行われないようにしてもよい。ここでの所定長は、例えば０．５秒である。なお、複数の変速再生区間が存在する場合は、各変速再生区間の時間長に応じて、変速再生区間ごとに音響再生ゲインの制御を行うか否かが決定されうる。
【００５５】
Ｓ３０９では、信号処理装置１００は、Ｓ３０４で生成した映像信号と、Ｓ３０５で生成した音響信号とを同期させて、それぞれ出力部１０５に出力することにより、映像信号と音響信号の同期再生を実行する。このとき、映像信号についてはＳ３０４で設定された映像再生フレームレートに応じて、音響信号についてはＳ３０６〜Ｓ３０８で決定した音響再生ゲインを適用して出力する。なお、信号処理装置１００は、出力部１０５への出力に代えて、又はこれに加えて、映像音響ファイルとして記憶部１０１に出力してもよいし、通信部１０６を介して他の装置へと送信してもよい。すなわち、信号処理装置１００は、生成された映像信号及び音響信号を同期させて再生させるための制御を実行するが、その再生は信号処理装置１００ではない外部の装置に行わせてもよい。
【００５６】
以上のような構成により、映像の変速再生が開始された時に音響再生ゲインが抑制されることで、音響表現の変化を映像表現の変化と一致させることができ、その結果、コンテンツの表現力を高めることができる。
【００５７】
なお、上述の実施形態では、音響再生ゲインの抑制の仕方については特に言及していないが、全周波数成分に対して均一に抑制してもよいし、高域のみや低域のみなど、特定の周波数成分のみを抑制するようにしてもよい。また、上述の実施形態では、図４に示すように、変速再生区間（Ｐ１〜Ｐ２）のほぼ全域にわたって音響信号のゲインが基準値（変速再生開始前の値）より小さくなる場合を中心に説明した。ただしこれに限らず、変速再生区間の少なくとも一部において音響信号のゲインが基準値と同じかそれより大きくなってもよい。また、上述の実施形態では、ゲインが抑制された音響信号の音量は０より大きい（音がなくならない）ものとしたが、これに限らず、変速再生区間の少なくとも一部において音量が０となってもよい。
【００５８】
また、Ｓ３０３では、生成する映像信号の時間長ΔＰ03と撮影信号の選択時間区間長ΔＴ03の差分Ｄ（＝ΔＰ03−ΔＴ03）だけ、録音信号の時間区間長を撮影信号の選択時間区間長より長くした。しかしながら、これに限られない。例えば、録音信号の時間区間を撮影信号の時間区間（ΔＴ03）と一致させ、差分Ｄに対応する時間分だけ、録音信号の特定の時間区間を繰り返し用いて音響信号を生成するようにしてもよい。例えば、図７のように、時刻（Ｔ１−Ｄ）〜Ｔ１を時間区間長Ｄの特定時間区間として、この区間の録音信号７０１を、時刻Ｔ０〜Ｔ１と時刻Ｔ１〜Ｔ２の録音信号の間に挿入する録音信号７０２として繰り返し用いる。すなわち、再生時間軸の再生区間Ｐ０〜Ｐ１では、ともに時刻Ｔ０〜Ｔ１の撮影信号および録音信号が用いられる。そして再生区間Ｐ１〜Ｐ２では、時刻Ｔ１〜Ｔ２の撮影信号と、時刻（Ｔ１−Ｄ）〜Ｔ２の録音信号が用いられる。また再生区間Ｐ２〜Ｐ３では、ともに時刻Ｔ２〜Ｔ３の撮影信号および録音信号が用いられる。これにより、繰り返しを含んだ録音信号の時間区間長の合計が、（Ｔ１−Ｔ０）＋（Ｔ２−Ｔ１＋Ｄ）＋（Ｔ３−Ｔ２）＝Ｔ３−Ｔ０＋Ｄ＝ΔＴ03＋Ｄ＝ΔＰ03となる。したがって、このような手法によっても、音質劣化につながる波形伸長を行うことなく、映像信号と同じ時間長の音響信号を生成することができる。なお、この場合、特定時間区間の録音信号を繰り返し用いるため、再生時間軸のＰ１のタイミングにおいて、時刻Ｔ１から時刻（Ｔ１−Ｄ）の録音信号に切り替わる不連続が生じる。しかしながら、映像再生速度が変速再生に切り替わるＰ１のタイミングで音響再生ゲインが抑制されるため、映像表現と音表現の変化開始を一致させて表現力を高めるとともに、録音信号の繰り返しによる不連続を目立たなくすることができる。
【００５９】
なお、映像の変速再生に合わせて音響信号を伸長して変速再生するようにしてもよい。この場合も、変速再生が開始されるタイミングで、音響再生ゲインが抑制されるため、伸長による音質劣化を目立たなくすることができる。また、徐々に音響再生ゲインを戻すことによって、視聴者が音質劣化に慣れることで、与える違和感を低減することができる。
【００６０】
なお、上述の実施形態では、一旦録画された映像及び音響の再生について説明したが、リアルタイム再生にも同様の手法を適用することができる。すなわち、映像再生速度が変速再生に切り替わったタイミングで音響再生ゲインを抑制し、基準速度再生に復帰したタイミングで音響再生ゲインを基準値に戻せばよい。また、変速再生中は、時間的に過去の録音信号を繰り返して用いることによって、波形伸長を行わずに音響信号の時間長を伸ばすことができる。
【００６１】
また、ｖ＞１の高速再生（早送り）が行われる場合にも、映像再生速度が基準速度再生から変速再生に切り替わるタイミングで音響再生ゲインを抑制することで、映像表現と音表現の変化開始を一致させて表現力を高めることができる。このとき、変速再生速度が大きいほど、音響再生ゲインの抑制値を小さい値としうる。すなわち、基準速度再生から変速再生に切り替わるタイミングで映像再生速度の変化が大きいほど、音響再生ゲイン抑制値を小さくするようにしてもよい。なお、高速再生の場合、生成する映像信号の時間長ΔＰ03が撮影信号の選択時間区間の時間長ΔＴ03より短くなる。このため、Ｓ３０３では、信号処理装置１００は、撮影信号の選択時間区間の時間長より差分Ｄｈ（＝ΔＴ03−ΔＰ03）だけ短い区間を、録音信号の時間区間として決定する。なお、この場合、基準速度再生に復帰するタイミングにおいて、録音信号の録音タイミングと撮影信号の撮影タイミングとが一致するように、録音信号の時間区間が決定されうる。
【００６２】
また、上述の実施形態では、ｖ＝１の等速再生を基準速度再生としたが、例えばｖ＝０．５のスロー再生を基準速度再生とし、変速再生を例えばｖ＝０．０２のスーパースロー再生やｖ＝０のストップモーション再生などとしてもよい。この場合、例えばｖ＝０．５の場合には、音響再生ゲインを抑制しない。なお、この場合は、音響信号を２倍の長さに伸長したものを基準の音声として用いることにより、上述の処理と同じ処理を行うことができる。ただし、音響信号の伸長を行わず、上述のように、より長い時間区間の録音信号を用いることを決定してもよいし、一部の時間区間の録音信号を繰り返し用いてもよい。
【００６３】
なお、信号処理装置１００は、Ｓ３０１において、映像信号を解析することによって映像再生速度のタイムチャートを取得してもよい。例えば、信号処理装置１００は、機械学習等を利用して、被写体に係る局所的な動きベクトルの大きさと、カメラ（視点）の動きに係る全体的な動きベクトルの大きさについての差分の変化量を監視して、被写体に係る映像再生速度の変化を検出する。例えば、信号処理装置１００は、被写体の動きや全体的な動きがそれまでの時間区間と比べて変化した場合、その動きの大きさの比によってｖを推定することができ、また、スロー再生やスーパースロー再生が行われる区間であるか否かを判定することができる。また、信号処理装置１００は、例えばスポーツシーンにおいてボールを検出し、最高地点に達した後のボールの落下速度と自由落下速度との比によってｖを推定し、また、スロー再生やスーパースロー再生が行われる区間であるか否かを判定することができる。なお、上述の例は一例であり、他の物体の動きにより、映像再生速度が推定されてもよい。また、Ｓ３０７〜Ｓ３０８における変化量も、映像信号から算出されうる。このように、映像信号から映像再生速度、仮想視点位置・姿勢の変化量等を推定することにより、ユーザ操作の手間を削減しつつ、上述の手法を適用することが可能となる。
【００６４】
また、信号処理装置１００は、撮影信号を解析して、ユーザが着目してスロー再生等を行う傾向にあるシーンを特定し、そのシーンについて変速再生とするように、タイムチャートを自律的に生成しうる。例えば、信号処理装置１００は、多数の撮影信号とその撮影信号において演出として変速再生すべきシーンを示す正解データとを入力とした機械学習を行い、その学習の結果に基づいて、映像再生速度のタイムチャートを生成するようにしうる。同様に、信号処理装置１００は、仮想視点位置・姿勢の変化量を、機械学習などに基づいて撮影信号から特定するようにしてもよい。これによれば、第三者が生成した変速再生区間を含む映像信号やユーザ入力がなくても、撮影信号に適した映像再生速度のタイムチャートを自動で生成することができる。
【００６５】
なお、撮影信号は必ずしもカメラで撮影されたものではなくてもよく、Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ（ＣＧ）等であってもよい。また、録音信号は必ずしも撮影信号と同時にマイクで録音されたものでなくてもよく、例えば、撮影信号に適合するように作成された効果音や、ＢＧＭ等であってもよい。
【００６６】
なお、出力部１０５の音響出力機構は、スピーカで構成されうる。この場合、信号処理装置１００は、各録音信号の音がそれぞれの方向から再生されるように、公知のパンニング処理等によりスピーカ再生用の音響信号を生成するようにしうる。
【００６７】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１００：信号処理装置、１０１：記憶部、１０２：制御部、１０４：入力部、１０５：出力部、２０１：信号解析処理部、２０２：同期出力部
【図１】
2019020530.tif 000003
【図２】
2019020530.tif 000004
【図３】
2019020530.tif 000005
【図４】
2019020530.tif 000006
【図５】
2019020530.tif 000007
【図６】
2019020530.tif 000008
【図７】
2019020530.tif 000009