【手続補正書】
【提出日】平成28年6月27日(2016.6.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の目的を達成するために、例えば、本発明の、情報処理装置は、複数の視点から撮影して取得された複数の画像から、音源となる第１の被写体が第１の焦点距離で合焦している第１の画像と、音源となる第２の被写体が該第１の焦点距離とは異なる第２の焦点距離で合焦している第２の画像と、前記第１の焦点距離と前記第２の焦点距離との間の第３の焦点距離で合焦している第３の画像と、を生成する画像生成手段と、
前記第１の画像、前記第３の画像、前記第２の画像、を１枚ずつ表示部に表示する表示制御手段と、
前記第１の被写体から発せられる第１の音及び前記第２の被写体から発せられる第２の音を用いて、音を生成する音生成手段と、
前記表示制御手段が前記表示部に前記第１の画像を表示中に前記第１の音を再生し、前記表示制御手段が前記表示部に前記第２の画像を表示中に前記第２の音を再生し、前記表示制御手段が前記表示部に前記第３の画像を表示中に前記音生成手段が生成した音を再生する再生手段と
を備え、
前記第１の被写体及び前記第２の被写体は前記第３の焦点距離では合焦していないことを特徴とする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報処理装置であって、
複数の視点から撮影して取得された複数の画像から、音源となる第１の被写体が第１の焦点距離で合焦している第１の画像と、音源となる第２の被写体が該第１の焦点距離とは異なる第２の焦点距離で合焦している第２の画像と、前記第１の焦点距離と前記第２の焦点距離との間の第３の焦点距離で合焦している第３の画像と、を生成する画像生成手段と、
前記第１の画像、前記第３の画像、前記第２の画像、を１枚ずつ表示部に表示する表示制御手段と、
前記第１の被写体から発せられる第１の音及び前記第２の被写体から発せられる第２の音を用いて、音を生成する音生成手段と、
前記表示制御手段が前記表示部に前記第１の画像を表示中に前記第１の音を再生し、前記表示制御手段が前記表示部に前記第２の画像を表示中に前記第２の音を再生し、前記表示制御手段が前記表示部に前記第３の画像を表示中に前記音生成手段が生成した音を再生する再生手段と
を備え、
前記第１の被写体及び前記第２の被写体は前記第３の焦点距離では合焦していないことを特徴とする情報処理装置。
【請求項２】
前記第１の音及び前記第２の音のそれぞれは、複数の音収集部を用いて収集された音を分離して得られた音であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記音生成手段は、前記第１の音の音量と、前記第２の音の音量と、を調整して、音を生成することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第１の画像、前記第２の画像、前記第３の画像のそれぞれは、前記複数の画像を用いたリフォーカス処理を行うことで得られるリフォーカス画像であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記画像生成手段により生成され且つ前記第１の画像、前記第２の画像、前記第３の画像を含む、互いに焦点距離が異なる複数の画像を、焦点距離順に規定の間隔で１枚ずつ前記表示部に表示し、
前記音生成手段は、音源となる被写体が存在しない焦点距離に合焦している着目画像についての合成音を、焦点距離順において該着目画像と隣接する隣接画像において合焦している被写体から発せられる音を用いて生成し、
前記再生手段は、前記表示制御手段が前記表示部に前記着目画像を表示中に、前記合成音を再生する
ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
更に、
前記画像生成手段により生成され且つ互いに焦点距離が異なる、前記第１の画像、前記第２の画像、前記第３の画像を含むそれぞれの画像から、該画像において合焦している被写体の焦点領域が抽出可能か否かを判断する判断手段と、
前記焦点領域が抽出可能な画像と、前記焦点領域において合焦している前記被写体から発せられる音と、を関連づける関連づけ手段と
を備え、
前記再生手段は、前記表示制御手段が前記焦点領域が抽出可能な画像を前記表示部に表示中に、前記焦点領域が抽出可能な画像と関連づけられている音を再生し、前記表示制御手段が音と関連づけられていない画像を前記表示部に表示中に、音と関連づけられていない画像について生成された合成音を再生する
ことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記第３の画像は、互いに焦点距離が異なる２以上の画像を含み、
前記音生成手段は、前記第１の音の音量と、前記第２の音の音量と、を調整することで、前記２以上の第３画像の焦点距離に従って異なる複数の音を生成し、
前記表示制御手段が前記表示部に前記第１の画像、前記２以上の第３の画像、前記第２の画像の順に１枚ずつ画像を表示する場合、前記再生手段は、焦点距離に沿う順に表示される前記２以上の第３の画像の表示中は、前記第１の音の音量が徐々に小さくなるとともに前記第２の音の音量が徐々に大きくなるように生成された音を再生することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
更に、
前記撮影時に収集された音を取得する音取得手段を備え、
前記音生成手段は、前記音取得手段によって取得された音を用いて音を生成することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
情報処理装置であって、
複数の視点から撮影して取得された複数の画像から、焦点距離が互いに異なる複数の画像を生成する画像生成手段と、
前記画像生成手段が生成したそれぞれの画像を焦点距離順に規定の間隔で１枚ずつ、表示部に表示する表示制御手段と、
音源となる被写体が存在しない焦点距離に合焦している着目画像についての合成音であって、該着目画像の焦点距離の近傍の焦点距離で合焦し得る被写体を音源とする音を含む該合成音を生成する音生成手段と、
前記表示制御手段が前記音源となる被写体が合焦している画像を表示中に、該表示中の画像で合焦している被写体を音源とする音を再生し、前記表示制御手段が前記着目画像を表示中に、前記合成音を再生する再生手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
更に、
前記撮影時に収集された音を取得する音取得手段を備え、
前記音生成手段は、前記音取得手段によって取得された音を用いて音を生成することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像生成手段が、複数の視点から撮影して取得された複数の画像から、音源となる第１の被写体が第１の焦点距離で合焦している第１の画像と、音源となる第２の被写体が該第１の焦点距離とは異なる第２の焦点距離で合焦している第２の画像と、前記第１の焦点距離と前記第２の焦点距離との間の第３の焦点距離で合焦している第３の画像と、を生成する画像生成工程と、
前記情報処理装置の表示制御手段が、前記第１の画像、前記第３の画像、前記第２の画像、を１枚ずつ表示部に表示する表示制御工程と、
前記情報処理装置の音生成手段が、前記第１の被写体から発せられる第１の音及び前記第２の被写体から発せられる第２の音を用いて、音を生成する音生成工程と、
前記情報処理装置の再生手段が、前記表示制御工程で前記表示部に前記第１の画像を表示中に前記第１の音を再生し、前記表示制御工程で前記表示部に前記第２の画像を表示中に前記第２の音を再生し、前記表示制御工程で前記表示部に前記第３の画像を表示中に前記音生成工程で生成した音を再生する再生工程と
を備え、
前記第１の被写体及び前記第２の被写体は前記第３の焦点距離では合焦していないことを特徴とする情報処理方法。
【請求項１２】
前記第１の音及び前記第２の音のそれぞれは、複数の音収集部を用いて収集された音を分離して得られた音であることを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】
前記第３の画像は、互いに焦点距離が異なる２以上の画像を含み、
前記音生成工程では、前記第１の音の音量と、前記第２の音の音量と、を調整することで、前記２以上の第３画像の焦点距離に従って異なる複数の音を生成し、
前記表示制御工程で前記表示部に前記第１の画像、前記２以上の第３の画像、前記第２の画像の順に１枚ずつ画像を表示する場合、前記再生工程では、焦点距離に沿う順に表示される前記２以上の第３の画像の表示中は、前記第１の音の音量が徐々に小さくなるとともに前記第２の音の音量が徐々に大きくなるように生成された音を再生することを特徴とする請求項１１又は１２に記載の情報処理方法。
【請求項１４】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像生成手段が、複数の視点から撮影して取得された複数の画像から、焦点距離が互いに異なる複数の画像を生成する画像生成工程と、
前記情報処理装置の表示制御手段が、前記画像生成工程で生成したそれぞれの画像を焦点距離順に規定の間隔で１枚ずつ、表示部に表示する表示制御工程と、
前記情報処理装置の音生成手段が、音源となる被写体が存在しない焦点距離に合焦している着目画像についての合成音であって、該着目画像の焦点距離の近傍の焦点距離で合焦し得る被写体を音源とする音を含む該合成音を生成する音生成工程と、
前記情報処理装置の再生手段が、前記表示制御工程で前記音源となる被写体が合焦している画像を表示中に、該表示中の画像で合焦している被写体を音源とする音を再生し、前記表示制御工程で前記着目画像を表示中に、前記合成音を再生する再生工程と
を備えることを特徴とする情報処理方法。
【請求項１５】
コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2014082746.tif 000001