(57)【要約】      （修正有）【課題】撮像時のフレームレートよりも低いフレームレートでの表示再生を行う場合に、より柔軟に音響出力させることが可能な情報処理装置、及びプログラムを提供する。【解決手段】情報処理装置は、第１のフレームレートで撮像された画像が第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、第１のフレームレートと第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う音響出力制御部１４、をその制御部に備える。音響出力制御部が行う音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む。【選択図】図２
2019050543.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う音響出力制御部、を備え、
前記音響出力制御部が行う前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、情報処理装置。
る情報処理装置。
【請求項２】
前記音響出力制御部は、前記再生速度情報に基づいて前記入力音響信号を伸長する時間伸長処理を行う時間伸長処理部を有し、
前記複数の前記音響出力方式は、前記時間伸長処理部により得られる時間伸長音響信号を音響出力部へ出力する時間伸長方式を含む、請求項１に記載の情報処理装置。
【請求項３】
前記時間伸長処理部は、調波構造に基づいて調波音に係る音響信号、非調波音に係る音響信号とを分離し、前記調波音に係る音響信号と、前記非調波音に係る音響信号とで異なる前記時間伸長処理を施す、請求項２に記載の情報処理装置。
【請求項４】
前記時間伸長処理部は、前記入力音響信号から雰囲気雑音に係る雰囲気雑音信号を分離し、前記雰囲気雑音を低減した雑音低減信号に対して前記時間伸長処理を施す、請求項３に記載の情報処理装置。
【請求項５】
前記時間伸長処理部は、前記時間伸長処理が施された音響信号に、前記雰囲気雑音信号、または前記雰囲気雑音信号に基づいて得られた音響信号を混合して前記時間伸長音響信号を得る、請求項４に記載の情報処理装置。
【請求項６】
前記複数の前記音響出力方式は、複数の異なる時間伸長処理による複数の前記時間伸長方式を含む、請求項２に記載の情報処理装置。
【請求項７】
前記音響出力制御部は、前記入力画像信号、前記入力音響信号、前記再生速度情報のうち、少なくともいずれか一つに基づいてシーン解析を行い、前記シーン解析の結果に基づいて、前記切替制御または前記混合制御を行う、請求項１に記載の情報処理装置。
【請求項８】
前記音響出力制御部が行う前記シーン解析は、前記入力音響信号から人の声を検出する人声検出を含む、請求項７に記載の情報処理装置。
【請求項９】
前記音響出力制御部は、前記人声検出により得られた前記入力音響信号に含まれる人の声の割合に応じて、前記混合の割合が異なるように前記混合制御を行う、請求項８に記載の情報処理装置。
【請求項１０】
前記音響出力制御部は、前記シーン解析の結果と、前記ユーザ入力情報とを対応付けて学習を行う、請求項７に記載の情報処理装置。
【請求項１１】
前記音響出力制御部は、前記第１のフレームレートと前記第２のフレームレートの前記比に応じて、前記混合の割合が異なるように前記混合制御を行う、請求項１に記載の情報処理装置。
【請求項１２】
前記複数の前記音響出力方式は、前記入力音響信号に基づく音響信号に、所定のエフェクト処理を施して得られるエフェクト音響信号を音響出力部へ出力する方式を含む、請求項１に記載の情報処理装置。
【請求項１３】
前記複数の前記音響出力方式は、予め用意された音響信号を音響出力部へ出力する方式を含む、請求項１に記載の情報処理装置。
【請求項１４】
第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う機能をコンピュータに実現させ、
前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、及びプログラムに関する。
【背景技術】
【０００２】
画像（動画像）が撮像された際のフレームレートとは異なるフレームレートで当該画像を表示再生することが行われている。例えば、一般的な撮像のフレームレートよりも高いフレームレートで撮像されたが画像を、撮像時のフレームレートよりも低いフレームレートで表示再生することで、滑らかなスローモーションで表示され、ユーザは被写体の動きをより詳細に把握可能となる。
【０００３】
このように、撮像時のフレームレートとは異なるフレームレートでの表示再生を行う場合、画像だけが出力（表示）されるのではなく、画像の表示再生に合わせて音響が出力されることが望ましい。例えば特許文献１には、このような表示再生を行う場合に、音声の出力方法を切替えながら音声を出力する再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−９９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、撮像時のフレームレートよりも低いフレームレートでの表示再生を行う技術において、より柔軟に音響出力させることが望まれていた。
【課題を解決するための手段】
【０００６】
本開示によれば、第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う音響出力制御部、を備え、前記音響出力制御部が行う前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、情報処理装置。
装置が提供される。
【０００７】
また、本開示によれば、第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う機能をコンピュータに実現させるためのプログラムであって、前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、プログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、撮像時のフレームレートよりも低いフレームレートでの表示再生を行う場合に、より柔軟に音響出力させることが可能となる。
【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係る情報処理装置の構成例を説明するための説明図である。
【図２】同実施形態に係る音響出力制御部１４の構成例を示すブロック図である。
【図３】時間伸長処理部４４の構成例を示す説明図である。
【図４】時間伸長処理部４５の構成例を示す説明図である。
【図５】本実施形態に係る動作例を示すフローチャート図である。
【図６】本開示の第２の実施形態に係る情報処理装置が備える音響出力制御部１４−２の構成を示すブロック図である。
【図７】同実施形態に係る音響出力制御部１４−２の動作例を示すフローチャート図である。
【図８】本開示の第３の実施形態に係る情報処理装置が備える音響出力制御部１４−３の構成を示すブロック図である。
【図９】同実施形態に係る音響出力制御部１４−３の動作例を示すフローチャート図である。
【図１０】本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
＜２−２．第２の実施形態＞
＜２−３．第３の実施形態＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞
【００１３】
＜＜１．背景＞＞
近年、１０００ｆｐｓ（frame  per  second）を超えるスーパーハイフレームレート（Super  High  Frame  Rate、Super-HFR、SHFR）と呼ばれる高いフレームレートで撮像されたＳＨＦＲ画像（動画像）の記録が実現している。このような高いフレームレートで撮像された画像を、要所において、撮像時のフレームレートよりも低いフレームレートで表示再生（所謂スロー再生）することで、新たな体験をユーザに与えることが可能となり得る。
【００１４】
このように、撮像時のフレームレートとは異なるフレームレートでの表示再生を行う場合、画像だけが出力（表示）されるのではなく、画像の表示再生に合わせて音響が出力されることが望ましい。例えば、画像の撮像の際に同時に取得された音響を用いて音響を出力させることが考えられる。
【００１５】
しかし、画像のフレームレートと音響の取得に係るサンプリングレートは通常異なっており、上記のようなＳＨＦＲ画像のスロー再生に合わせた音響を出力させようとすると、時間あたり極めて少量のサンプルからスロー再生時の音響信号を構築することになる。例えば、撮像に係るフレームレートが１０００ｆｐｓ、音響の取得に係るサンプリングレートが４８ｋＨｚである場合、画像１フレームあたりに同期する音響のサンプル数は４８０００÷１０００＝４８サンプルとなる。例えば１００分の１倍速でスロー再生される場合、スロー再生における１秒に対応するサンプル数は４８０サンプルとなる。このような少量のサンプル数からなる音響信号をスピーカへ出力した場合、スピーカから出力される音響は、例えばブザー音のように聞こえてしまう。
【００１６】
そのため、音響信号に対して信号処理を施すことで、スロー再生に応じた出力音響信号を得ることが考えられる。例えば、音響信号のサンプル補間を行うことが考えられる。例えば、上述した例で説明すると、４８０サンプルの音響信号を、１：１００の補間器とローパスフィルタに通すサンプル補間を行うことで、４８０００サンプルの音響信号を得ることが可能である。なお、サンプル補間の方法は、上述した補間器とローパスフィルタを用いた方法に限定されない。例えば、前値ホールドを用いる方法であってもよい。
【００１７】
しかし、このようなサンプル補間により生成された音響信号は、再生時間を引き延ばしたものであるため、周波数スペクトルが一様に下がる結果を生み、例えば、ピッチ（音高）が低下する。例えば、１０分の１倍速再生の場合（１：１０の補間器が用いられた場合）、１ｋＨｚの正弦波は、１００Ｈｚの正弦波として再生される。同様に、１０分の１倍速再生の場合、例えば１５０Ｈｚの人の声は１５Ｈｚで再生され、音高は可聴帯域外であり、音韻性も著しく低下し、人の声であることは判別可能であるものの、発言内容を理解することは困難である。
【００１８】
また、さらに遅く再生される場合、例えば１００分の１倍速再生の場合（１：１００の補間器が用いられた場合）、１ｋＨｚの正弦波は、１０Ｈｚの正弦波として再生される。同様に、１００分の１倍速再生の場合、例えば１５０Ｈｚの人の声は１．５Ｈｚで再生され、音高は可聴帯域外であり、音韻性もさらに著しく低下し、人の声であると判別することも困難となる。
【００１９】
このように、サンプル補間を行ったとしても、再生される音響がユーザにとって望ましくない場合がある。そこで、スロー再生時には、撮像の際に同時に取得された音響ではなく、他の音響、例えば効果音響やユーザのライブラリに含まれる楽曲など、予め用意された音響を出力させることも考えられる。
【００２０】
しかし、野球やゴルフ等において発生する打撃等のインパクト性を有するインパクト音には高域の成分が多く含まれているため、上述したサンプル補間により、周波数スペクトルが一様に低下したとしても、ユーザ体験上有意な音響を提供可能な場合がある。このように、画像のスロー再生に合わせて音響出力を行う場合には、単一の方式で音響出力させるだけでは不十分な場合があり、より柔軟に音響出力させることが望まれていた。
【００２１】
そこで、上記事情を一着眼点にして本開示の各実施形態を創作するに至った。以下に説明する本開示の実施形態では、入力画像信号、入力音響信号、再生速度情報、及びユーザの入力に関するユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行うことで、より柔軟に音響出力させることが可能である。以下、本開示の各実施形態について、図面を参照しながら順次詳細に説明する。
【００２２】
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
（装置構成例）
図１は、本開示の第１の実施形態に係る情報処理装置の構成例を説明するための説明図である。図１に示すように、本開示の第１の実施形態に係る情報処理装置１は、制御部１０、操作部３０、記憶部５０、表示部７０、及び音響出力部９０を備える。本実施形態に係る情報処理装置１は、撮影時のフレームレート（第１のフレームレート）よりも低いフレームレート（第２のフレームレート）で画像を表示再生することが可能な情報処理装置である。
【００２３】
制御部１０は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、制御部１０は、図１に示すように、表示制御部１２、及び音響出力制御部１４として機能する。
【００２４】
表示制御部１２は、表示部７０による表示に係る制御を行う。本実施形態に係る表示制御部１２は、図１に示すようにスロー再生処理部１２２を有する。スロー再生処理部１２２は、第１のフレームレートで撮像された画像を、第１のフレームレートよりも低い第２のフレームレートで表示再生（スロー再生）させるための処理を行う。
【００２５】
なお、第１のフレームレートで撮像された画像に係るデータ（入力画像信号）は記憶部５０から表示制御部１２へ提供されてもよいし、不図示の通信部を介して、他の装置から受信されてもよい。また、第２のフレームレートは、操作部３０を介したユーザの入力により特定されてもよいし、記憶部５０に記憶された設定に基づいて特定されてもよい。
【００２６】
音響出力制御部１４は、音響出力部９０による音響出力に係る制御を行う。音響出力制御部１４の詳細な構成については図２を参照して後述するが、本実施形態に係る音響出力制御部１４は、ユーザ入力情報に基づいて、音響出力に係る制御を行う。
【００２７】
操作部３０は、ユーザの入力を受け付ける。本実施形態に係る操作部３０は後述するように、音響出力方式の選択に関するユーザの入力を受け付け、ユーザ入力情報として制御部１０へ提供する。なお、ユーザ入力情報は、操作部３０から直接的に制御部１０へ提供される例に限定されず、予め操作部３０を介してユーザにより入力されたユーザ入力情報が記憶部５０に記憶され、記憶部５０から制御部１０へ提供されてもよい。また、操作部３０は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、またはダイヤル等により実現されてもよい。
【００２８】
記憶部５０は、制御部１０が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部５０には、第１のフレームレートで撮像された画像に係るデータ（入力画像信号）、当該画像の撮像時に取得された音響に係るデータ（入力音響信号）が記憶されている。また、記憶部５０は、後述するように音響出力制御部１４へ提供される予め用意された音響信号を記憶していてもよい。予め用意された音響信号は、例えばプリセットされた効果音響（生成音等）、またはユーザのライブラリに含まれるユーザ定義音や楽曲音響等に係る音響信号を含んでもよいし、無音信号を含んでいてもよい。
【００２９】
表示部７０は、表示制御部１２の制御に従い、画像を表示する。例えば、表示部７０は、上述したように、撮影時のフレームレート（第１のフレームレート）よりも低いフレームレート（第２のフレームレート）での表示再生を行う。
【００３０】
音響出力部９０は、音響出力制御部１４により制御され、例えば音響出力制御部１４から出力された出力音響信号を音響として出力する。
【００３１】
以上、本実施形態に係る情報処理装置１の構成例を説明した。なお、図１に示した構成は一例であり、係る例に限定されない。例えば、図１では情報処理装置１が表示部７０と音響出力部９０を備える構成を示しているが、情報処理装置１は表示部や音響出力部を備えていなくてもよい。例えば、表示制御部１２は、外部の表示部の表示を制御してもよいし、音響出力制御部１４は、外部の音響出力部の音響出力を制御しても（外部の音響出力部へ出力音響信号を出力させても）よい。また、記憶部５０の機能が情報処理装置１の外部に存在していてもよい。
【００３２】
（音響出力制御部の構成例）
続いて、図１に示した音響出力制御部１４のより詳細な構成について、図２を参照して説明する。図２は、本実施形態に係る音響出力制御部１４の構成例を示すブロック図である。図２に示すように、音響出力制御部１４は、音響処理部１４４、及び切替部１４７を有する。
【００３３】
音響処理部１４４は、第１のフレームレートと第２のフレームレートの比を示す再生速度情報に基づいて、入力音響信号に対して音響信号処理を施し、切替部１４７へ音響信号が施された音響信号を出力する。例えば、図２に示すように、音響処理部１４４は、時間伸長処理部４１〜４５、及びエフェクト処理部４６としての機能を有する。
【００３４】
時間伸長処理部４１〜４５は、再生速度情報に基づいて入力音響信号を伸長する時間伸長処理を行う。また、時間伸長処理部４１〜４５は、同一の入力音響信号に対してそれぞれ異なる時間伸長処理を行い、得られた時間伸長音響信号を切替部１４７へ出力する。なお、音響出力制御部１４が図１を参照して説明した音響出力部９０へ出力音響信号として係る時間伸長処理部４１〜４５のいずれかによる時間伸長音響信号を出力する方式を、時間伸長方式と呼ぶ場合がある。
【００３５】
時間伸長処理部４１は、上述したサンプル補間による時間伸長処理を行う。時間伸長処理部４１によるサンプル補間は、例えば補間器とローパスフィルタを用いる方法、ゼロ挿入後ローパスフィルタをかける方法、前値ホールドを用いる方法、ラグランジェ多項式やスプライン多項式で補間する方法等、多様な方法で行われ得る。
【００３６】
サンプル補間による時間伸長処理が行われると、上述したようにピッチが変換されて音高が下がる。そのため、サンプル補間による時間伸長処理は、例えば打撃等のインパクト性を有するインパクト音のように高域の成分が含まれる場合に有効である。また、再生速度が低すぎない（音高が低下しすぎない）場合には、サンプル補間による時間伸長処理は人の声や楽曲、音高さが感じられる雑音にも有効である。
【００３７】
時間伸長処理部４２は、音と音の間（マ）に無音時間を挿入することによる時間伸長処理を行う。このような無音時間の挿入による時間伸長処理は、例えばＢＧＭが無い場合の人の声のシーンにおいて有効である。なお、時間伸長処理部４２は、上述したサンプル補間による時間伸長処理を併用してもよい。また、時間伸長処理部４２は、表示再生との同期を考慮した位相管理を行ってもよい。係る位相管理には周知の技術を適用可能であるため、ここでの詳細な説明は省略する。
【００３８】
時間伸長処理部４３は、所定の周期で入力音響信号に含まれる波形を繰り返す時間伸長処理を行う。例えば時間伸長処理部４３は、入力音響信号の基本周波数や、人の声に同期した単位で波形を繰り返してもよい。係る時間伸長処理は、比較的音数の多いシーンにおいて有効であるが、場合によっては耳障りなビート音が発生する恐れがある。ビート音の発生を低減させるため、時間伸長処理部４３は、波形の繰り返しの前後で多めの音響サンプルを用意してクロスフェードしながら繰り返したり、音響に含まれる人の声の子音と母音を判別して判別結果に応じて繰り返し回数を変化させたりしてもよい。
【００３９】
時間伸長処理部４４は、調波構造に基づいて、入力音響信号を調波音に係る音響信号と、非調波音に係る音響信号とに分離し、調波音に係る音響信号と、非調波音に係る音響信号とで異なる時間伸長処理を施す。図３を参照して時間伸長処理部４４についてより詳細に説明する。図３は、時間伸長処理部４４の構成例を示す説明図である。図３に示すように、時間伸長処理部４４は、調波構造成分分離部４４１、減算部４４３、調波音処理部４４５、非調波音処理部４４７、加算部４４９を有する。
【００４０】
一般的な楽曲は、打楽器等による非調波音と、人の声や管弦楽器等による調波音から構成される。調波構造成分分離部４４１は、調波構造に基づいて、入力音響信号からこのような調波音に係る音響信号を分離し、減算部４４３、及び調波音処理部４４５へ出力する。
【００４１】
減算部４４３は、入力音響信号から、調波音に係る音響信号を減算（低減）し、非調波音に係る音響信号を得る。また、減算部４４３は非調波音に係る音響信号を非調波音処理部４４７へ出力する。
【００４２】
調波音処理部４４５は、調波構造成分分離部４４１から入力される調波音に係る音響信号に対して時間伸長処理を施し、加算部４４９へ出力する。調波音処理部４４５は、例えば比較的長めの時間単位（例えば数十〜数百ｍｓｅｃ）で波形を繰り返すことによる時間伸長処理を調波音に係る音響信号に対して施してもよい。調波音は、ある時間で一定の周波数スペクトル構造を持つため、このように波形の繰り返しによる時間伸長処理を施しても劣化が少ない。
【００４３】
非調波音処理部４４７は、減算部４４３から入力される非調波音に係る音響信号に対して、時間伸長処理を施し、加算部４４９へ出力する。非調波音処理部４４７は、上述した調波音処理部４４５が調波音に係る音響信号に対して施す時間伸長処理とは異なる時間伸長処理を非調波音に係る音響信号に対して施す。例えば、非調波音処理部４４７は、上述したサンプル補間による時間伸長処理を調波音に係る音響信号に対して施してもよい。あるいは、非調波音処理部４４７は、調波音処理部４４５による時間伸長処理における繰り返しの時間単位よりも短い時間単位で波形を繰り返すことによる時間伸長処理を調波音に係る音響信号に対して施してもよい。非調波音はインパクト性を有するため、音の白色性が高く、このようなサンプル補間による時間伸長処理、または短い時間単位での繰り返しによる時間伸長処理を施しても劣化が少ない。
【００４４】
加算部４４９は、調波音処理部４４５の出力信号と、非調波音処理部４４７の出力信号を加算（混合）して得た音響信号を、時間伸長音響信号として切替部１４７へ出力する。
【００４５】
上述したように、調波音に係る音響信号と、非調波音に係る音響信号とで異なる時間伸長処理を施すことで、例えば、運動会におけるダンス等、ＢＧＭが流れるシーンにおいてより適切な時間伸長処理が可能となる。
【００４６】
時間伸長処理部４５は、時間伸長処理部４４と同様に、調波音に係る音響信号と、非調波音に係る音響信号とで異なる時間伸長処理を施す。ただし、時間伸長処理部４５は、調波構造に基づく分離を行う前に、雰囲気雑音（アンビエント）に係る雰囲気雑音信号を分離し、係る雰囲気雑音を低減した雑音低減信号に対して時間伸長処理部４４と同様の時間伸長処理を施す。
【００４７】
図４を参照して時間伸長処理部４５についてより詳細に説明する。図４は、時間伸長処理部４５の構成例を示す説明図である。図４に示すように、時間伸長処理部４５は、調波構造成分分離部４４１、減算部４４３、調波音処理部４４５、非調波音処理部４４７、アンビエント分離部４５１、減算部４５３、アンビエントマッチ部４５５、及び加算部４５９を有する。なお、図４に示す各構成のうち、図３に示した各構成と実質的に同様の構成については、同一の符号を付してあるため、説明を省略する。
【００４８】
アンビエント分離部４５１は、入力音響信号から雰囲気雑音に係る雰囲気雑音信号を分離し、減算部４５３、及びアンビエントマッチ部４５５へ出力する。なお、雰囲気雑音とは、例えば波の音や風の音等、場の雰囲気がわかる雑音である。
【００４９】
減算部４４３は、入力音響信号から、雰囲気雑音信号を減算（低減）し、雑音低減信号を得る。また、減算部４５３は雑音低減信号を調波構造成分分離部４４１へ出力する。係る構成により、調波構造成分分離部４４１による分離性能が向上し、調波音に係る音響信号、及び非調波音に係る音響信号に対する時間伸長処理がより適切に施され得る。
【００５０】
アンビエントマッチ部４５５は、アンビエント分離部４５１から入力された雰囲気雑音信号に基づき、予め用意された複数の雰囲気雑音信号から、アンビエント分離部４５１から入力された雰囲気雑音信号と類似する音響信号を選出して加算部４５９へ出力する。なお、予め用意された複数の雰囲気雑音信号は、例えば図１に示した記憶部５０に記憶されていてもよい。
【００５１】
加算部４５９は、調波音処理部４４５、及び非調波音処理部４４７による時間伸長処理が施された音響信号に、アンビエントマッチ部４５５から出力された音響信号を加算（混合）して得た音響信号を、時間伸長音響信号として切替部１４７へ出力する。
【００５２】
上述した構成により、例えば、雰囲気雑音が含まれるようなシーンにおいて、通常速度（１倍速）の表示再生と第２のフレームレートでの表示再生との切替えの前後で出力される音響の雰囲気を維持することが可能となる。
【００５３】
なお、上記では、アンビエントマッチ部４５５から出力された音響信号が時間伸長処理が施された音響信号に加算（混合）される例を説明したが、本技術は係る例に限定されない。例えば、アンビエントマッチ部４５５から出力された音響信号の代わりにアンビエント分離部４５１から出力された雰囲気信号が時間伸長処理が施された音響信号に加算（混合）されてもよい。
【００５４】
図２に戻って説明を続ける。図２に示すエフェクト処理部４６は、入力音響信号に基づく音響信号に、所定のエフェクト処理を施して得られるエフェクト音響信号を切替部１４７へ出力する。エフェクト処理部４６が施すエフェクト処理は、例えばリバースプリエコーや、ポストディレイ、またはそれらの組み合わせを含んでもよい。このようなエフェクト処理は、例えば打撃等のインパクト性を有するインパクト音に対して有効である。
【００５５】
係る入力音響信号に基づく音響信号は、例えば入力音響信号そのものであってもよいし、入力音響信号に対し、サンプル補間による時間伸長処理を施した音響信号であってもよい。係るサンプル補間は、第１のフレームレートと第２のフレームレートとの間のフレームレートに対応するサンプル補間であってもよい。なお、エフェクト処理部４６は、時間伸長処理部４２と同様に、表示再生との同期を考慮した位相管理を行ってもよい。
【００５６】
以上、音響処理部１４４による音響信号処理の例について説明した。なお、上述した音響処理部１４４による音響信号処理は一例であって、音響処理部１４４は他の音響信号処理を行ってもよい。例えば、音響処理部１４４は、上述した音響信号処理のうち複数を組み合わせる音響処理を行う処理ブロックを有してもよく、係る例については変形例として後述する。
【００５７】
切替部１４７は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御を行う。例えば、切替部１４７は、複数の音響信号から１の出力音響信号を選択して、音響出力部９０へ出力する。
【００５８】
複数の音響出力方式は、例えば上述した時間伸長処理部４１〜４５により得られる時間伸長音響信号を音響出力部９０へ出力する時間伸長方式を含む。なお、時間伸長処理部４１〜４５は、それぞれ異なる時間伸長処理を行うため、本明細書において複数の音響出力方式は複数の時間伸長方式を含むものと見なされる。
【００５９】
また、複数の音響出力方式は、例えば上述したエフェクト処理部４６により得られるエフェクト音響信号を音響出力部９０へ出力する方式を含む。
【００６０】
さらに、複数の音響出力方式は、予め用意された音響信号を音響出力部９０へ出力する方式を含んでもよい。予め用意された音響信号は、例えばプリセットされた効果音響（生成音等）、またはユーザのライブラリに含まれるユーザ定義音や楽曲音響等に係る音響信号を含んでもよいし、無音信号を含んでもよい。なお、本明細書において、係る音響出力方式は、予め用意された音響信号ごとにそれぞれ異なる音響出力方式と見なされる。このような予め用意された音響信号を音響出力部９０へ出力することにより出力される音響は、シーンを選ばずに効果的なスローモーション体験をユーザに提供可能である。
【００６１】
また、本実施形態に係る切替部１４７は、ユーザ入力情報に基づいて、切替制御を行う。例えば、本実施形態に係る切替部１４７は、上述した複数の音響出力方式のうち、ユーザにより選択された音響出力方式を選択するように切替制御を行う。
【００６２】
（動作例）
以上、本開示の第１の実施形態に係る情報処理装置１の構成例、及び情報処理装置１が備える音響出力制御部１４の構成例について説明した。続いて、本実施形態に係る動作例を説明する。図５は、本実施形態に係る動作例を示すフローチャート図である。なお、図５には本実施形態に係る情報処理装置１の動作のうち、音響出力制御部１４に係る動作についてのみ示している。
【００６３】
図５に示すように、まずユーザ入力情報が取得される（Ｓ１０１）。なお、ステップＳＳ１０１の処理は、操作部３０を介したユーザ入力の受け付けに応じて行われる処理であってもよいし、予めユーザにより行われた設定入力に基づくユーザ入力情報が音響出力制御部１４へ提供される処理であってもよい。
【００６４】
また、音響処理部１４４が入力音響信号に対して音響信号処理を施す（Ｓ１０５）。なお、ステップＳ１０５における音響信号処理は、例えば音響処理部１４４に含まれる各処理ブロックにより並列に行われてもよい。また、ステップＳ１０１とステップＳ１０５の処理の順序は逆であってもよい。
【００６５】
続いて、切替部１４７が、ユーザ入力情報に基づいて音響出力方式の切替制御を行う（Ｓ１０９）。なお、上述したステップＳ１０１〜Ｓ１０９の処理は適宜繰り返されてもよい。
【００６６】
（効果）
以上、本開示の第１の実施形態について説明した。本実施形態によれば、ユーザにより選択された音響出力方式を選択するように切替制御が行われる。上述したように、シーンによって有効な音響出力方式は異なるため、ユーザはシーンに応じて音響出力方式を選択することが可能である。また、ユーザによって嗜好が異なることが考えられるが、本実施形態のように音響出力方式をユーザ自身で選択することで、よりユーザの好みにあった音響出力方式で音響が出力され得る。
【００６７】
＜２−２．第２の実施形態＞
上述した第１の実施形態では、ユーザの入力に基づいて音響出力方式の切替制御が行われた。続いて、以下では、本開示の第２の実施形態として、ユーザの入力を要することなく、自動的に音響出力方式の切替制御を行う例を説明する。なお、本実施形態に係る情報処理装置の構成は、音響出力制御部の機能構成が異なることを除いて図１に示した第１の実施形態に係る情報処理装置１の構成と実質的に同様である。そこで、以下では、第１の実施形態と同様の構成については説明を省略し、本実施形態に係る情報処理装置が備える音響出力制御部の構成について図６を参照して説明を行う。
【００６８】
（音響出力制御部の構成例）
図６は、本開示の第２の実施形態に係る情報処理装置が備える音響出力制御部１４−２の構成を示すブロック図である。図６に示すように、音響出力制御部１４−２は、シーン解析部１４２、音響処理部１４４、及び切替部１４８を有する。なお、図６に示す音響処理部１４４の機能構成は、図２〜図４を参照して説明した音響処理部１４４の機能構成と実質的に同様であるため、ここでの説明は省略する。
【００６９】
シーン解析部１４２は、入力画像信号、入力音響信号、及び再生速度情報に基づいてシーン解析を行う。また、シーン解析部１４２は、シーン解析の結果に基づいて出力音響方式を選択する。
【００７０】
シーン解析部１４２によるシーン解析には、画像や音響を含むデータから、当該画像や音響に係るシーンを解析するための周知のシーン解析手法が用いられてよい。例えば、シーン解析部１４２によるシーン解析は、入力音響信号から人の声を検出する人声検出や、入力画像信号から人の顔を検出する顔検出等を含んでもよい。また、シーン解析部１４２は、第１の実施形態において説明した各音響出力方式が有効なシーンで適切な音響出力方式が選択されるように、シーン解析の結果に基づいた出力音響方式の選択を行ってもよい。
【００７１】
切替部１４８は、第１の実施形態に係る切替部１４７と同様に、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御を行う。ただし、本実施形態に係る切替部１４８は、シーン解析部１４２により選択された音響出力方式に切替える点で第１の実施形態に係る切替部１４７と異なる。
【００７２】
（動作例）
以上、本実施形態に係る音響出力制御部１４−２の構成例について説明した。続いて、本実施形態に係る動作例を説明する。図７は、本実施形態に係る音響出力制御部１４−２の動作例を示すフローチャート図である。
【００７３】
図７に示すように、まず、シーン解析部１４２が入力画像信号、入力音響信号、及び再生速度情報に基づいてシーン解析を行う（Ｓ２０３）。続いて、シーン解析部１４２がシーン解析の結果に基づいて出力音響方式を選択する（Ｓ２０４）。
【００７４】
また、音響処理部１４４が入力音響信号に対して音響信号処理を施す（Ｓ２０５）。続いて、切替部１４８が、ステップＳ２０４における選択結果に基づいて出力音響信号の切替制御を行う（Ｓ２０９）。なお、上述したステップＳ２０１〜Ｓ２０９の処理は適宜繰り返されてもよい。
【００７５】
（効果）
以上、本開示の第２の実施形態について説明した。本実施形態によれば、シーン解析の結果に基づいて自動的に選択した音響出力方式に切替える切替制御が行われる。係る構成により、例えばユーザの入力操作が不要となり、ユーザの負担が軽減される。また、シーンに応じて有効な音響出力方式が自動的に選択されるため、各音響出力方式の有効なシーンについてユーザが把握していなくても、適切な音響出力が行われ得る。
【００７６】
＜２−３．第３の実施形態＞
上述した第２の実施形態では、シーン解析の結果に基づいて自動的に音響出力方式の切替制御が行われた。ところで、シーン解析の結果（パラメータ）と、音響出力方式の選択は識別問題であると言える。したがって、上述したシーン解析の結果に基づいた出力音響方式の選択は、機械学習により得られた識別器を用いて行うことも可能である。係る場合、高精度に識別可能な識別器を得るためには、多数の教師データを学習することが望ましい。
【００７７】
そこで、以下では、本開示の第３の実施形態として、ユーザ入力情報に基づいて切替制御を行うとともに、シーン解析の結果と、ユーザ入力情報とを対応付けて学習を行って識別器を得る例を説明する。なお、本実施形態に係る情報処理装置の構成は、音響出力制御部の機能構成が異なることを除いて図１に示した第１の実施形態に係る情報処理装置１の構成と実質的に同様である。そこで、以下では、第１の実施形態と同様の構成については説明を省略し、本実施形態に係る情報処理装置が備える音響出力制御部の構成について図８を参照して説明を行う。
【００７８】
（音響出力制御部の構成例）
図８は、本開示の第３の実施形態に係る情報処理装置が備える音響出力制御部１４−３の構成を示すブロック図である。図８に示すように、音響出力制御部１４−３は、シーン解析部１４３、音響処理部１４４、及び切替部１４９を有する。なお、図８に示す音響処理部１４４の機能構成は、図２〜図４を参照して説明した音響処理部１４４の機能構成と実質的に同様であるため、ここでの説明は省略する。
【００７９】
シーン解析部１４３は、図６を参照して説明した第２の実施形態に係るシーン解析部１４２と同様に、入力画像信号、入力音響信号、及び再生速度情報に基づいてシーン解析を行う。ただし、本実施形態に係るシーン解析部１４３は、シーン解析の結果と、ユーザ入力情報とを対応付けたデータを教師データ（正解データ）として学習を行って識別器を得る。なお、ここでユーザ入力情報はユーザによる音響出力方式の選択に係る情報であり、シーン解析部１４３は、シーン解析の結果と、ユーザにより選択された音響出力方式とを対応付けたデータを教師データ（正解データ）として学習を行う。また、学習により得られた識別器は、記憶部５０に記憶されてもよい。
【００８０】
なお、本実施形態に係る情報処理装置が複数のユーザにより用いられる場合、シーン解析部１４３は、ユーザごとに学習を行い、ユーザごとに識別器を生成してもよい。係る構成により、識別器にユーザの嗜好を反映させることが可能となる。
【００８１】
また、本実施形態に係るシーン解析部１４３は、学習により得られた識別器を用いて、シーン解析の結果に基づいて出力音響方式を選択してもよい。
【００８２】
切替部１４９は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御を行う。本実施形態に係る切替部１４９は、第１の実施形態に係る切替部１４７のようにユーザ入力情報に基づいて切替制御を行ってもよいし、第２の実施形態に係る切替部１４８のようにシーン解析部１４３により選択された音響出力方式に切替える切替制御を行ってもよい。
【００８３】
例えば、本実施形態に係る切替部１４９は、シーン解析部１４３により行われた学習が不十分である場合、ユーザ入力情報に基づいて切替制御を行ってもよい。また、本実施形態に係る切替部１４９は、シーン解析部１４３により、既に十分な学習が行われている場合、シーン解析部１４３により選択された音響出力方式に切替える切替制御を行ってもよい。
【００８４】
なお、シーン解析部１４３により十分な学習が行われたか否かは、例えばシーン解析部１４３が学習した教師データの量に基づいて判定されてもよい。あるいは、十分な学習が行われたか否かは、シーン解析部１４３が現在の識別器を用いて選択した出力音響方式とユーザにより選択された出力音響方式の一致率（正解率）に基づいて判定されてもよい。また、係る判定を行う構成は特に限定されないが、例えばシーン解析部１４３であってもよいし、切替部１４９であってもよい。
【００８５】
なお、シーン解析部１４３により十分な学習が行われたと判定された場合、シーン解析部１４３により十分な学習が行われたこと、またはユーザの入力操作が不要となったことを示す情報がユーザに通知されてもよい。係る通知は、表示部７０による表示や音響出力部９０による音響出力により行われてもよいし、他の方法で行われてもよい。係る構成により、ユーザは入力操作を行わずとも自動的に音響出力方式が切替えられることを把握することが可能となる。なお、このようにユーザに通知した後であっても、ユーザによる入力操作が行われた場合には、シーン解析部１４３はユーザ入力情報に基づいて切替制御を行ってもよい。
【００８６】
（動作例）
以上、本実施形態に係る音響出力制御部１４−３の構成例について説明した。続いて、本実施形態に係る動作例を説明する。図９は、本実施形態に係る音響出力制御部１４−３の動作例を示すフローチャート図である。
【００８７】
図９に示すように、まず、十分な学習が行われたか否かが判定される（Ｓ３００）。十分な学習が行われていないと判定された場合（Ｓ３００においてＮＯ）、ユーザ入力情報が取得される（Ｓ３０１）。
【００８８】
続いて、シーン解析部１４３が入力画像信号、入力音響信号、及び再生速度情報に基づいてシーン解析を行う（Ｓ３０３）。さらに、シーン解析部１４３がシーン解析の結果とユーザ入力情報とを対応付けたデータを教師データ（正解データ）として学習を行う（Ｓ３０４）。
【００８９】
また、音響処理部１４４が入力音響信号に対して音響信号処理を施す（Ｓ３０５）。続いて、切替部１４９が、ステップＳ３０１で取得されたユーザ入力情報に基づいて音響出力方式の切替制御を行う（Ｓ３０９）。
【００９０】
一方、既に十分な学習が行われたと判定された場合（Ｓ３００においてＹＥＳ）、シーン解析部１４３が入力画像信号、入力音響信号、及び再生速度情報に基づいてシーン解析を行う（Ｓ３１３）。さらに、シーン解析部１４３は、学習により得られた識別器を用いて、シーン解析の結果に基づいて出力音響方式を選択する（Ｓ３１４）。
【００９１】
また、音響処理部１４４が入力音響信号に対して音響信号処理を施す（Ｓ３１５）。続いて、切替部１４９が、ステップＳ３１４における選択結果に基づいて出力音響信号の切替制御を行う（Ｓ３１９）。なお、上述したステップＳ３０１〜Ｓ３１９の処理は適宜繰り返されてもよい。
【００９２】
（効果）
以上、本開示の第３の実施形態について説明した。本実施形態によれば、ユーザ入力情報に基づいて切替制御を行うとともに、シーン解析の結果と、ユーザ入力情報とを対応付けて学習を行って識別器が得られる。係る構成により、高精度に識別可能な識別器が得られる。また、十分な学習が行われて識別器が得られた後には、ユーザの入力操作が不要となり、ユーザの負担が軽減される。さらに、ユーザの嗜好が識別器に反映されるため、ユーザの嗜好に合った音響出力方式を自動的に選択することが可能である。
【００９３】
＜＜３．変形例＞＞
以上、本開示の各実施形態を説明した。以下では、本開示の各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の各実施形態に適用されてもよいし、組み合わせで本開示の各実施形態に適用されてもよい。また、各変形例は、本開示の各実施形態で説明した構成に代えて適用されてもよいし、本開示の各実施形態で説明した構成に対して追加的に適用されてもよい。
【００９４】
＜３−１．変形例１＞
上記では、音響出力制御部が複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御を行う例を説明したが、本技術は係る例に限定されない。音響出力制御部による音響出力に係る制御は、複数の音響出力方式により得られた音響信号の混合（ミキシング）を行う混合制御を含んでもよい。係る例について、変形例１として説明を行う。
【００９５】
以下では、本変形例に係る音響出力制御部が、上述したサンプル補間による時間伸長処理を用いた音響出力方式、無音時間を挿入することによる時間伸長処理を用いた音響出力方式、及び波形を繰り返す時間伸長処理を用いた音響出力方式、のそれぞれにより得られた音響信号の混合を行う例を説明する。なお、以下では、サンプル補間による時間伸長処理により得られた音響信号を第１の信号、無音時間を挿入することによる時間伸長処理により得られた音響信号を第２の信号、波形を繰り返す時間伸長処理により得られた音響信号を第３の信号と呼ぶ。
【００９６】
例えば、本変形例に係る音響出力制御部は、人声検出を含むシーン解析を行い、人の声が検出された場合に、人声検出により得られた人の声の割合に応じて、混合の割合が異なるように混合制御を行ってもよい。例えば、本変形例に係る音響出力制御部は、人の声の割合が大きい程、第１の信号の割合、及び第２の信号の割合が大きくなり、第３の信号の割合が小さくなるように混合制御を行ってもよい。上述したように、第１の信号、及び第２の信号に係る時間伸長処理は、人の声を含むシーンにおいて有効であるためである。
【００９７】
また、本変形例に係る音響出力制御部は、人の声の割合が大きい場合には、再生速度情報から特定される第１のフレームレートと第２のフレームレートの比に応じて、混合の割合が異なるように混合制御を行ってもよい。例えば、本変形例に係る音響出力制御部は、当該比が小さい（再生速度が小さい）場合には第１の信号の割合が大きくなるように、また、当該比が大きい（再生速度が大きい）場合には第２の信号の割合が大きくなるように混合制御を行ってもよい。上述したように、第１の信号に係る時間伸長処理は、再生速度に応じて音高が低下するため、再生速度が大きい場合には第１の信号よりも第２の信号の割合が大きくなることが望ましいためである。
【００９８】
なお、人の声の割合が小さい場合には、第１の信号に係る時間伸長処理や第２の信号に係る時間伸長処理よりも第３の信号に係る時間伸長処理の方が有効であり得るため、第１のフレームレートと第２のフレームレートの比に関わらず第３の信号の割合が大きくなるような混合制御が行われてもよい。
【００９９】
上述した本変形例に係る音響出力制御部が行う混合制御は、複数の音響出力方式により得られた音響信号を受け取る処理ブロックにより行われもよく、係る処理ブロックが上述した切替部の代わりに出力音響信号を音響出力部へ出力してもよい。また、上述した音響処理部が、上述した混合制御を行う処理ブロックを有してもよく、係る処理ブロックにより得られた音響信号が、上述した切替部へ出力されてもよい。係る場合には、複数の音響出力方式の１つとして、混合制御を行うことによる音響出力方式が選択され得る。
【０１００】
＜３−２．変形例２＞
上記実施形態では、音響処理部に含まれる各処理ブロックは別々に（並列に）処理を行う例を説明したが、本技術は係る例に限定されない。例えば、音響出力制御部は、選択された音響出力方式に係る処理ブロックのみが処理を行うように制御してもよい。係る構成によれば、切替時に信号ではなく処理を切替えるためディレイが発生する場合があるものの、処理量を抑制することが可能となる。
【０１０１】
＜＜４．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図１０を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１０は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１０に示す情報処理装置９００は、例えば、上述した第１の実施形態に係る情報処理装置１、第２の実施形態に係る情報処理装置、または第３の実施形態に係る情報処理装置を実現し得る。本開示の第１の実施形態に係る情報処理装置１、第２の実施形態に係る情報処理装置、または第３の実施形態に係る情報処理装置による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１０２】
図１０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１０３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１０を形成し得る。
【０１０４】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１０５】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１０６】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部７０、及び音響出力部９０を形成し得る。
【０１０７】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部５０を形成し得る。
【０１０８】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１０９】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１１０】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１１１】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
【０１１２】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１１３】
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。したがって、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１１４】
なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１１５】
＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像時のフレームレートよりも低いフレームレートでの表示再生を行う場合に、より柔軟に音響出力させることが可能である。
【０１１６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１７】
例えば、上記実施形態による各動作における各ステップは、必ずしも図２０のフローチャートに記載された順序に沿って時系列に処理する必要はない。各動作における各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う音響出力制御部、を備え、
前記音響出力制御部が行う前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、情報処理装置。
る情報処理装置。
（２）
前記音響出力制御部は、前記再生速度情報に基づいて前記入力音響信号を伸長する時間伸長処理を行う時間伸長処理部を有し、
前記複数の前記音響出力方式は、前記時間伸長処理部により得られる時間伸長音響信号を音響出力部へ出力する時間伸長方式を含む、前記（１）に記載の情報処理装置。
（３）
前記時間伸長処理部は、調波構造に基づいて調波音に係る音響信号、非調波音に係る音響信号とを分離し、前記調波音に係る音響信号と、前記非調波音に係る音響信号とで異なる前記時間伸長処理を施す、前記（２）に記載の情報処理装置。
（４）
前記時間伸長処理部は、前記入力音響信号から雰囲気雑音に係る雰囲気雑音信号を分離し、前記雰囲気雑音を低減した雑音低減信号に対して前記時間伸長処理を施す、前記（３）に記載の情報処理装置。
（５）
前記時間伸長処理部は、前記時間伸長処理が施された音響信号に、前記雰囲気雑音信号、または前記雰囲気雑音信号に基づいて得られた音響信号を混合して前記時間伸長音響信号を得る、前記（４）に記載の情報処理装置。
（６）
前記複数の前記音響出力方式は、複数の異なる時間伸長処理による複数の前記時間伸長方式を含む、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記音響出力制御部は、前記入力画像信号、前記入力音響信号、前記再生速度情報のうち、少なくともいずれか一つに基づいてシーン解析を行い、前記シーン解析の結果に基づいて、前記切替制御または前記混合制御を行う、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記音響出力制御部が行う前記シーン解析は、前記入力音響信号から人の声を検出する人声検出を含む、前記（７）に記載の情報処理装置。
（９）
前記音響出力制御部は、前記人声検出により得られた前記入力音響信号に含まれる人の声の割合に応じて、前記混合の割合が異なるように前記混合制御を行う、前記（８）に記載の情報処理装置。
（１０）
前記音響出力制御部は、前記シーン解析の結果と、前記ユーザ入力情報とを対応付けて学習を行う、前記（７）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記音響出力制御部は、前記第１のフレームレートと前記第２のフレームレートの前記比に応じて、前記混合の割合が異なるように前記混合制御を行う、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記複数の前記音響出力方式は、前記入力音響信号に基づく音響信号に、所定のエフェクト処理を施して得られるエフェクト音響信号を音響出力部へ出力する方式を含む、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記複数の前記音響出力方式は、予め用意された音響信号を音響出力部へ出力する方式を含む、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
第１のフレームレートで撮像された画像が前記第１のフレームレートよりも低い第２のフレームレートで表示再生される場合に、入力画像信号、入力音響信号、前記第１のフレームレートと前記第２のフレームレートの比を示す再生速度情報、及びユーザ入力情報、のうち少なくともいずれか一つに基づいて、音響出力に係る制御を行う機能をコンピュータに実現させるためのプログラムであって、
前記音響出力に係る制御は、複数の音響出力方式の中から１の音響出力方式を選択して切替える切替制御、または前記複数の音響出力方式により得られる音響信号の混合を行う混合制御を含む、プログラム。
【符号の説明】
【０１２０】
１  情報処理装置
１０  制御部
１２  表示制御部
１４  音響出力制御部
３０  操作部
５０  記憶部
７０  表示部
９０  音響出力部
【図１】
2019050543.tif 000003
【図２】
2019050543.tif 000004
【図３】
2019050543.tif 000005
【図４】
2019050543.tif 000006
【図５】
2019050543.tif 000007
【図６】
2019050543.tif 000008
【図７】
2019050543.tif 000009
【図８】
2019050543.tif 000010
【図９】
2019050543.tif 000011
【図１０】
2019050543.tif 000012