(57)【要約】【課題】所望のタイミングでフレームレートを切り替えて記録することができる撮像装置や、所望のタイミングで通常速度再生とスロー再生とを切り替え可能な再生装置を提供する。【解決手段】記録調整部９は、入力画像信号に基づいて重要なシーンか否かを判定する画像信号解析部９１と、入力音響信号に基づいて重要なシーンか否かを判定する音響信号解析部９２と、出力画像信号の記録フレームレートを設定する記録フレームレート設定部９３と、入力画像信号を一時的に保持する画像信号バッファと９４と、画像信号バッファ９４に保持された入力画像信号の記録フレームレートを調整して出力する記録画像信号調整部９６と、を備える。記録フレームレート設定部９３は、画像信号解析部９１及び音響信号解析部９２の判定結果に基づいて記録フレームレートを設定する。そのため、迅速に出力画像信号の記録フレームレートの切り替えを行うことが可能となる。【選択図】図２
2011139306.tif 000002
【特許請求の範囲】
【請求項１】
撮像により画像信号を構成するフレームを順次得る撮像部と、
前記撮像部による撮像に合わせた集音により、画像信号に対応した音響信号を得る集音部と、
画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、
画像信号及び音響信号を記録する記録部と、
前記記録部に記録する画像信号のフレームレートを制御するフレームレート制御部と、を備え、
前記フレームレート制御部が、前記解析部が特定のシーンであると判定する画像信号のフレームレートを、前記解析部が特定のシーンではないと判定する画像信号のフレームレートよりも高くすることを特徴とする撮像装置。
【請求項２】
前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記録部に記録される音響信号を調整する音響信号調整部をさらに備え、
前記音響信号調整部が、前記フレームレート制御部によって制御される画像信号のフレームレートに応じて、音響信号を時間方向に伸長することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
フレームを順次表示することで画像信号を再生する画像表示部と、
前記画像表示部による画像信号の再生に合わせて、画像信号に対応した音響信号を再生する音響再生部と、
画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、
前記画像表示部で再生される画像信号の再生速度を制御する再生速度制御部と、を備え、
前記再生速度制御部が、前記解析部が特定のシーンであると判定する画像信号の再生速度を、前記解析部が特定のシーンではないと判定する画像信号の再生速度よりも遅くすることを特徴とする再生装置。
【請求項５】
前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することを特徴とする請求項４に記載の再生装置。
【請求項６】
前記音響再生部で再生される音響信号を調整する音響信号調整部をさらに備え、
前記音響信号調整部が、前記画像表示部で再生される画像信号の再生速度に応じて、音響信号を時間方向に伸長することを特徴とする請求項４または請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像して記録する撮像装置や、記録した画像を再生する再生装置に関する。
【背景技術】
【０００２】
近年の撮像技術の発展に伴い、一定時間に撮像可能な画像（フレーム）の数が増大してきている。例えば、これまで３０ｆｐｓ（frames per second）や６０ｆｐｓの撮像フレームレート（所定時間（例えば、１秒間）の撮像で生成されるフレームの数）での撮像のみが行われていたが、近年になって、３００ｆｐｓや６００ｆｐｓなどの高い（大きいとも表現し得る）撮像フレームレート（高速撮像用の撮像フレームレート）での撮像も行われるようになってきている。さらに、このような高速撮像技術は、特殊撮影用の撮像装置だけでなく、一般ユーザを対象とした撮像装置にも適用されるようになってきた。
【０００３】
上記のように３００ｆｐｓや６００ｆｐｓなどの高速撮像用の撮像フレームレートで撮像した画像を、３０ｆｐｓや６０ｆｐｓなどの通常の再生フレームレート（所定時間（例えば、１秒間）の再生で表示されるフレームの数）で再生することで、スロー再生が実現される。具体的に例えば、６００ｆｐｓの撮像フレームレートで撮像した画像を、６０ｆｐｓの再生フレームレートで再生する場合、撮像時の１秒間を１０秒間で再生することになるため、１／１０倍の再生速度でスロー再生が実現される。
【０００４】
上記のスロー再生は、通常の再生フレームレート（６０ｆｐｓ）で再生される。そのため、スロー再生であっても、通常の再生と同程度の滑らかさで（コマ送りのようにならないで）再生することが可能となる。なお、例えば特許文献１において、上述のような高速撮像用の撮像フレームレートで撮像することで、スロー再生を実行可能とする撮像装置が提案されている。
【０００５】
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１９８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で提案される撮像装置では、撮像フレームレートを高速撮像用に切り替える（高くする）指示を、撮像時にユーザ自身が入力する必要がある。そのため、撮像フレームレートを高速撮像用に切り替えるべきタイミングを逃しやすくなり、問題となる。また、再生時も同様であり、ユーザの指示によって通常速度再生（再生されるフレームの時間間隔が現実（撮像時）の時間間隔と略等しくなる再生、以下同じ）及びスロー再生（再生されるフレームの時間間隔が現実（撮像時）の時間間隔よりも大きくなる再生、以下同じ）を切り替える構成であると、通常速度再生からスロー再生に切り替えるべきタイミングを逃しやすくなり、問題となる。
【０００８】
この問題について、図１６を参照して説明する。図１６は、撮像フレームレートを高速撮像用に切り替えるタイミング、または、通常速度再生からスロー再生に切り替えるタイミングの従来例について説明する図である。図１６は、ボールをバットで打つシーンを通常の撮像フレームレートで撮像する場合または通常速度再生する場合を例示したものであり、５つのフレーム１〜５を代表させ撮像または再生の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順または再生順を示し、番号が小さいフレームほど時間的に前に撮像されたまたは再生されるフレームとする。即ち、図１６に示すフレーム１〜５の中では、フレーム１が最も時間的に前に撮像された、または再生されるフレームとなる。
【０００９】
本例のような画像を撮像、または再生するユーザは、バットにボールが当たる瞬間（図中のフレーム３）及びその前後のシーン（図中のフレーム２〜４のシーン）を、高速撮像用の撮像フレームレートで撮像、またはスロー再生したいと考えることが多い。しかしながら、それを実現するようなタイミングでユーザが切り替え指示を入力することは、困難である。特に、ユーザが被写体、または画像を確認しながら切り替え指示を入力する場合、指示を入力するタイミングが適切なタイミング（フレーム３の直前、例えばフレーム２）から遅れることが多くなる。
【００１０】
なお、頻繁に（または常時）高速撮像用の撮像フレームレートで撮像すれば、撮像フレームレートを高速撮像用に切り替えるタイミングを逃すことは抑制され得る。しかしこの場合、膨大な数のフレームを記録する必要が生じ、記録可能時間が短くなったり、大容量の記録装置を備える必要が生じたりするため、問題となる。さらに、ユーザが撮像フレームレートを切り替える指示を頻繁に入力する場合、操作が煩雑となるため、問題となる。
【００１１】
同様に、頻繁に（または常時）スロー再生すれば、スロー再生に切り替えるべきタイミングを逃すことは抑制され得る。しかしこの場合、所望のシーンを再生するまでに無用に時間がかかる場合があるため、問題となる。さらに、ユーザが通常速度再生とスロー再生とを切り替える指示を頻繁に入力する場合、操作が煩雑となるため、問題となる。
【００１２】
そこで本発明は、所望のタイミングでフレームレートを切り替えて記録することができる撮像装置や、所望のタイミングで通常速度再生とスロー再生とを切り替え可能な再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明における撮像装置は、撮像により画像信号を構成するフレームを順次得る撮像部と、前記撮像部による撮像に合わせた集音により、画像信号に対応した音響信号を得る集音部と、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、画像信号及び音響信号を記録する記録部と、前記記録部に記録する画像信号のフレームレートを制御するフレームレート制御部と、を備え、前記フレームレート制御部が、前記解析部が特定のシーンであると判定する画像信号のフレームレートを、前記解析部が特定のシーンではないと判定する画像信号のフレームレートよりも高くすることを特徴とする。
【００１４】
以下の実施の形態では、解析部の一例として、画像信号解析部及び音響信号解析部を挙げて説明している。また、フレームレート制御部の一例として、記録フレームレート制御部、画像信号バッファ及び記録画像信号調整部を挙げて説明している。なお、フレームレート制御部には、ＣＰＵや撮像部なども含まれ得る。
【００１５】
また、上記構成の撮像装置において、前記フレームレート制御部が、撮像により得られた画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号のフレームレートを調整する記録画像信号調整部と、を備え、前記記録画像信号調整部が、前記解析部が特定のシーンではないと判定する画像信号のフレームレートを、前記解析部が特定のシーンであると判定する画像信号のフレームレートよりも低くすることとしても構わない。
【００１６】
このように構成すると、解析部が特定のシーンであると判定する時点のフレームだけでなく、それ以前のフレームをも含めて特定のシーンであると判定することができる。そのため、特定のシーンの画像信号のフレームレートをもれなく高くして記録することが可能となる。
【００１７】
また、上記構成の撮像装置において、前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００１８】
このように構成すると、ユーザがスロー再生したいと考え得る重要なシーンを、効果的に特定のシーンであると判定することが可能となる。
【００１９】
また、上記構成の撮像装置において、前記解析部が、主要被写体が画角内を移動し、かつ、当該主要被写体の大きさが所定の大きさ以上となることを確認する場合に、特定のシーンであると判定しても構わない。
【００２０】
このように構成すると、主要被写体が大きくかつ動きがあるシーンを、特定のシーンであると判定することが可能となる。
【００２１】
また、上記構成の撮像装置において、前記解析部が、単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ、信号レベルが所定の大きさ以上である音を確認する場合に、特定のシーンであると判定しても構わない。また、上記構成の撮像装置において、前記解析部が、人の感情を示す音声パターンを確認する場合に、特定のシーンであると判定しても構わない。
【００２２】
このように構成すると、インパルス音が生じるシーンや、人の感情が表現されたシーンを、特定のシーンであると判定することが可能となる。
【００２３】
また、上記構成の撮像装置において、前記記録部に記録する音響信号を調整する音響信号調整部をさらに備え、前記音響信号調整部が、前記フレームレート制御部によって制御される画像信号のフレームレートに応じて、音響信号を時間方向に伸長することとしても構わない。
【００２４】
このように構成すると、特定のシーンの画像信号をスロー再生する際に、再生される画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、音響信号調整部が、（特定のシーンであると判定される画像信号のフレームレート）／（特定のシーンではないと判定される画像信号のフレームレート）倍となるように、音響信号を時間方向に伸張しても構わない。
【００２５】
また、上記構成の撮像装置において、ユーザの指示が入力される操作部をさらに備え、前記操作部を介してユーザの指示が入力されたときに、前記解析部が、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００２６】
このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図（特定のシーンであるか否か）を反映させたフレームレートの制御を行うことが可能となる。
【００２７】
さらに、上記構成の撮像装置において、前記解析部が、前記操作部を介してユーザの指示が入力された時点の前後の所定時間内に得られる画像信号及び音響信号の少なくとも一方基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００２８】
このように構成すると、解析部が特定のシーンをもれなく判定することが可能となる。そのため、特定のシーンの画像信号のフレームレートをもれなく高くして記録部に記録することが可能となる。
【００２９】
また、本発明の再生装置は、フレームを順次表示することで画像信号を再生する画像表示部と、前記画像表示部による画像信号の再生に合わせて、画像信号に対応した音響信号を再生する音響再生部と、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、前記画像表示部で再生される画像信号の再生速度を制御する再生速度制御部と、を備え、前記再生速度制御部が、前記解析部が特定のシーンであると判定する画像信号の再生速度を、前記解析部が特定のシーンではないと判定する画像信号の再生速度よりも遅くすることを特徴とする。
【００３０】
以下の実施の形態では、解析部の一例として、画像信号解析部及び音響信号解析部を挙げて説明している。また、再生速度制御部の一例として、再生速度設定部、画像信号バッファ及び記録画像信号調整部や、再生画像信号選択部を挙げて説明している。なお、再生速度とは、例えば、再生される画像信号を構成するそれぞれのフレームの時間間隔を、当該フレームの撮像時（現実）の時間間隔と比較して表現されるものである。
【００３１】
また、上記構成の再生装置において、前記再生速度制御部が、再生する画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号の再生速度を調整する再生画像信号調整部と、を備え、前記再生画像信号調整部が、前記解析部が特定のシーンであると判定する画像信号の再生速度を、前記解析部が特定のシーンではないと判定する画像信号の再生速度よりも遅くすることとしても構わない。
【００３２】
このように構成すると、解析部が特定のシーンであると判定する時点のフレームだけでなく、それ以前のフレームをも含めて特定のシーンであると判定することができる。そのため、特定のシーンの画像信号の再生速度をもれなく遅くして再生することが可能となる。
【００３３】
さらに、上記構成の再生装置において、前記再生速度制御部が、再生する画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号のフレームレートを調整する再生画像信号調整部と、を備え、前記再生画像信号調整部が、前記解析部が特定のシーンではないと判定する画像信号のフレームレートを、前記解析部が特定のシーンであると判定する画像信号のフレームレートよりも低くなるように調整し、前記画像表示部が、前記再生画像信号調整部で調整された画像信号を所定の再生フレームレートで再生することとしても構わない。
【００３４】
このように構成すると、画像信号を一定の再生フレームレートで再生するのみで、通常速度再生とスロー再生とを実現することが可能となる。したがって、通常速度再生及びスロー再生のそれぞれを容易に行うことが可能となる。
【００３５】
また、上記構成の撮像装置において、前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００３６】
このように構成すると、ユーザがスロー再生したいと考え得る重要なシーンを、効果的に特定のシーンであると判定することが可能となる。
【００３７】
また、上記構成の再生装置において、前記解析部が、主要被写体が画角内を移動し、かつ、当該主要被写体の大きさが所定の大きさ以上となることを確認する場合に、特定のシーンであると判定しても構わない。
【００３８】
このように構成すると、主要被写体が大きくかつ動きがあるシーンを、特定のシーンであると判定することが可能となる。
【００３９】
また、上記構成の再生装置において、前記解析部が、単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ、信号レベルが所定の大きさ以上である音を確認する場合に、特定のシーンであると判定しても構わない。また、上記構成の再生装置において、前記解析部が、人の感情を示す音声パターンを確認する場合に、特定のシーンであると判定しても構わない。
【００４０】
このように構成すると、インパルス音が生じるシーンや、人の感情が表現されたシーンを、特定のシーンであると判定することが可能となる。
【００４１】
また、上記構成の再生装置において、前記音響再生部で再生する音響信号を調整する音響信号調整部をさらに備え、前記音響信号調整部が、前記画像表示部で再生される画像信号の再生速度に応じて、音響信号を時間方向に伸長することとしても構わない。
【００４２】
このように構成すると、特定のシーンの画像信号をスロー再生する際に、再生される画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、音響信号調整部が、上述したように示される再生速度と略等しい倍率となるように、音響信号を時間方向に伸張しても構わない。
【００４３】
また、上記構成の再生装置において、ユーザの指示が入力される操作部をさらに備え、前記操作部を介してユーザの指示が入力されたときに、前記解析部が、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００４４】
このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図（特定のシーンであるか否か）を反映させた再生速度の制御を行うことが可能となる。
【００４５】
さらに、上記構成の再生装置において、前記解析部が、前記操作部を介してユーザの指示が入力された時点の前後の所定時間内に得られる画像信号及び音響信号の少なくとも一方基づいて、特定のシーンであるか否かを判定することとしても構わない。
【００４６】
このように構成すると、解析部が特定のシーンをもれなく判定することが可能となる。そのため、特定のシーンの画像信号の再生速度をもれなく遅くすることが可能となる。
【００４７】
また、上記構成の再生装置において、前記再生速度制御部が、再生速度が異なる複数の画像信号のいずれかを選択し、前記画像表示部が、前記再生速度制御部で選択された画像信号を再生することとしても構わない。また、上記構成の再生装置において、前記再生速度制御部が、時間方向の伸長度合いが異なる複数の音響信号のいずれかを選択し、前記音響再生部が、前記再生速度制御部で選択された音響信号を再生することとしても構わない。
【００４８】
このように構成すると、再生時に再生速度の制御や音響信号の伸長をする必要が無くなる。そのため、迅速に画像信号の再生速度を制御するとともに、画像信号に対応した音響信号を再生することが可能となる。
【００４９】
また、本発明の画像処理装置は、複数のフレームによって構成される画像信号と、画像信号に対応した音響信号と、の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、入力される画像信号のフレームレートを制御して出力するフレームレート制御部と、を備え、前記フレームレート制御部が、前記解析部が特定のシーンであると判定する画像信号のフレームレートを、前記解析部が特定のシーンではないと判定する画像信号のフレームレートよりも高くして出力することを特徴とする。
【発明の効果】
【００５０】
本発明の構成とすると、特定のシーンであると判定される画像信号のフレームレートを、特定のシーンではないと判定される画像信号のフレームレートよりも高くして記録することになる。そのため、この記録した画像信号を所定の再生フレームレートで再生することで、特定のシーンを、それ以外のシーンと同程度の滑らかさで当該シーンよりも遅く再生（スロー再生）することが可能となる。
【００５１】
さらに、本発明の構成では、画像信号の特徴や音響信号の特徴に基づいて、特定のシーンであるか否かを判定し、記録する画像信号のフレームレートを制御する。そのため、シーンに応じて画像信号のフレームレートを迅速に調整することが可能となる。したがって、重要ではないシーンの画像信号のフレームを無用に多く記録することで記録部の容量を圧迫したり、重要なシーンの一部で記録するフレームの数を多くすることができないことで当該部分の滑らかなスロー再生が不可能になったりすることを、抑制することが可能となる。
【００５２】
また、本発明の構成とすると、特定のシーンであると判定される画像信号の再生速度を、特定のシーンではないと判定される画像信号の再生速度よりも遅くして再生することが可能となる。
【００５３】
さらに、本発明の構成は、画像信号の特徴や音響信号の特徴に基づいて、特定のシーンであるか否かを判定し、画像信号の再生速度を制御する。そのため、シーンに応じて再生速度を迅速に調整することが可能となる。したがって、重要なシーン以外もスロー再生することで所望のシーンを迅速に再生することができなかったり、重要なシーンの一部がスロー再生されなかったりすることを、抑制することが可能となる。
【００５４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００５５】
【図１】は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。
【図２】は、記録調整部の構成の一例を示すブロック図である。
【図３】は、入力画像信号に基づいて判定され得る重要なシーンの一例を示す図である。
【図４】は、入力音響信号に基づいて判定され得る重要なシーンの一例を示す図である。
【図５】は、通常のシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。
【図６】は、重要なシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。
【図７】は、入力画像信号の調整方法の一例について示す図である。
【図８】は、ピッチ位置伸張処理の一例について説明する図である。
【図９】は、エコー処理の一例について説明する図である。
【図１０】は、本発明の実施の一形態である再生装置の全体構成例を示すブロック図である。
【図１１】は、再生調整部の構成の一例を示すブロック図である。
【図１２】は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。
【図１３】は、重要なシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。
【図１４】は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の別例について示す図である。
【図１５】は、再生調整部の構成の別例を示すブロック図である。
【図１６】は、撮像フレームレートを高速撮像用に切り替えるべきタイミング、または、通常速度再生からスロー再生に切り替えるべきタイミングの従来例について説明する図である。
【発明を実施するための形態】
【００５６】
本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルビデオカメラなどの動画像の記録が可能なものである。
【００５７】
＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。
【００５８】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００５９】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号に対してノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれを調整して記録用の画像信号及び音響信号を生成する記録調整部９と、記録調整部９から出力される記録用の画像信号及び音響信号に対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部１０と、圧縮処理部１０で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、圧縮符号化信号を外部メモリ１１に記録したり読み出したりするドライバ部１２と、ドライバ部１２において外部メモリ１１から読み出した圧縮符号化信号を伸長して復号する伸長処理部１３と、を備える。
【００６０】
また、撮像装置１は、伸長処理部１３で復号されて得られる画像信号をモニタなどの画像表示部３０で表示可能な信号に変換する画像信号出力回路部１４と、伸長処理部１３で復号されて得られる音響信号をスピーカなどの音響再生部３１で再生可能な信号に変換する音響信号出力回路部１５と、を備える。
【００６１】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１６と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１７と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１８と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１９と、ＣＰＵ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、メモリ１７と各ブロックとの間でデータのやりとりを行うためのバス２１と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス２０，２１を省略する。
【００６２】
なお、画像表示部３０や音響再生部３１は、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。また、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。
【００６３】
次に、撮像装置１の全体動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。この撮像のタイミング（撮像フレームレート）は可変である。例えば、ＣＰＵ１６が撮像部ＳやＡＦＥ４、ＴＧ部１９などを制御することで、撮像フレームレートを変更する。
【００６４】
そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１７はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。
【００６５】
また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００６６】
画像信号の生成と同時に、集音部６は集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタル信号に変換し、音響処理部８に入力する。音響処理部８は、入力されるデジタルの音響信号にノイズ除去や強度制御などの各種音響処理を施す。
【００６７】
画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、はともに記録調整部９に入力され、記録用の画像信号及び音声信号へと調整される。なお、記録調整部９の構成や動作の詳細については、後述する。
【００６８】
記録調整部９から出力される記録用の画像信号及び音声信号は圧縮処理部１０に入力され、圧縮処理部１０において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部１０から出力される圧縮符号化信号は、ドライバ部１２を介して外部メモリ１１に記録される。
【００６９】
外部メモリ１１に記録された圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１３に読み出される。伸長処理部１３は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１４が、伸長処理部１３から出力される画像信号を画像表示部３０で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１３から出力される音響信号を音響再生部３１で再生可能な形式に変換して出力する。
【００７０】
なお、画像信号の記録を行わずに画像表示部３０などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮せずに画像信号出力回路部１４に出力することとしても構わない。同様に、画像信号を記録する際に、圧縮処理部１０で圧縮して外部メモリ１１に記録する動作と並行して、画像信号出力回路部１４を介して画像表示部３０などに画像信号を出力することとしても構わない。
【００７１】
また、記録調整部９が、画像処理部５及び音響処理部８の後段かつ圧縮処理部１０の前段に備えられ、画像信号及び音響信号の記録時に調整を行う構成について例示したが、記録調整部９が備えられる場所や調整を行うタイミングは、上述の限りではない。例えば、記録調整部９を伸長処理部１３の後段かつ画像信号出力回路部１４及び音響信号出力回路部１５の前段に備えても構わない。そして、再生時（外部メモリ１１から伸長処理部１３に読み出されて伸長された後、画像信号出力回路部１４及び音響信号出力回路部１５に入力される前）や、編集時（外部メモリ１１から伸長処理部１３に読み出されて伸長された後、外部メモリ１１に再度記録するために圧縮処理部１０に入力される前）に、画像信号及び音響信号を調整しても構わない。なお、再生時に調整を行う構成及び動作の具体例の詳細については、後述する。
【００７２】
また、調整の内容を設定するタイミング（例えば、記録時や編集時）と、調整を行うタイミング（例えば、編集時や再生時）とは、ずれても構わない。ただし、調整の内容を設定するタイミングの方が早いものとし、設定した調整の内容を画像信号や音響信号を含むファイルのヘッダ領域に記録したり、外部メモリ１１に別のファイルとして記録したりすることとする。
【００７３】
さらに、図１では撮像機能、再生機能、編集機能を備える撮像装置１を例示して説明したが、いずれかの機能を備えない装置（例えば、撮像装置、再生装置、編集装置など）であっても構わない。
【００７４】
＜記録調整部＞
次に、上述した記録調整部９の構成の詳細について、図面を参照して説明する。なお、以下では、記録調整部９が調整を行う画像信号及び音響信号を、それぞれ「入力画像信号」及び「入力音響信号」とする。また、記録調整部９によって調整されて出力される画像信号及び音響信号を、それぞれ「出力画像信号」及び「出力音響信号」とする。
【００７５】
まず、記録調整部９の構成について、図面を参照して説明する。図２は、記録調整部の構成の一例を示すブロック図である。図２に示すように、記録調整部９は、入力画像信号を解析して画像信号解析情報として出力する画像信号解析部９１と、入力音響信号を解析して音響信号解析情報として出力する音響信号解析部９２と、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて出力画像信号のフレームレート（記録フレームレート）を設定し記録フレームレート情報として出力する記録フレームレート設定部９３と、入力画像信号を一時的に保持する画像信号バッファと９４と、入力音響信号を一時的に保持する音響信号バッファと９５と、記録フレームレート情報に基づいて画像信号バッファ９４に保持された入力画像信号を調整し出力画像信号として出力する記録画像信号調整部９６と、記録フレームレート情報に基づいて音響信号バッファ９５に保持された入力音響信号を調整し出力音響信号として出力する記録音響信号調整部９７と、を備える。
【００７６】
記録フレームレートとは、出力画像信号を構成するそれぞれのフレームの時間間隔が撮像時（現実）のものである場合（即ち、通常速度再生する場合）に、所定時間（例えば、１秒間）に含まれるフレーム数を示すものである。また、記録画像信号調整部９６でフレームレートが調整されずに出力される出力画像信号の記録フレームレートは、入力画像信号のフレームレート（即ち、撮像フレームレート）と略等しくなる。
【００７７】
入力画像信号の撮像フレームレートは、例えば、操作部１８を介してユーザによって設定される所定の撮像モードの時に、高速撮像用（例えば、６００ｆｐｓ）に成り得る。このとき、常時高速撮像用の撮像フレームレートで撮像しても構わないし、通常のフレームレート（例えば、６０ｆｐｓ）での撮像中に、必要に応じて高速撮像用の撮像フレームレートに切り替わるものとしても構わない。後者の場合、例えばＣＰＵ１６が記録フレームレート情報を参照して、撮像部ＳやＡＦＥ４、ＴＧ部１９などを制御することで、撮像フレームレートを変更する構成としても構わない。
【００７８】
入力音響信号のサンプリングレートは、入力画像信号の撮像フレームレートにかかわらず、所定の高さ（例えば、４８ｋＨｚなど）となる。また、記録音響信号調整部９７で調整されて出力される出力音響信号のサンプリングレートも、入力音響信号と略等しいものとなる。なお、記録音響信号調整部９７が、サンプリングレートの変更を伴う調整を行うことで、入力音響信号のサンプリングレートと異なるサンプリングレートの出力音響信号を出力しても構わない。
【００７９】
次に、図２に示す記録調整部９の動作の詳細について、図面を参照して説明する。なお、以下では記録調整部９に備えられる各部の動作について、それぞれ説明する。
【００８０】
［画像信号解析部］
画像信号解析部９１は、入力画像信号を解析して特定の画像状態であるか否かを判定することで、スロー再生したいとユーザが考え得る重要なシーンを撮像しているか否かを判定する。入力画像信号に基づいて判定され得る重要なシーンの具体例について、図面を参照して説明する。図３は、入力画像信号に基づいて判定され得る重要なシーンの一例を示す図である。
【００８１】
図３は、画角の左方から右方かつ撮像者（撮像装置１）の遠方から手前に向かって、人が走ってくるシーンを、通常の撮像フレームレートで撮像する場合を例示したものであり、５つのフレーム１〜５を代表させ撮像の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順を示し、番号が小さいフレームほど時間的に前に撮像されたフレームとする。即ち、図３に示すフレーム１〜５の中では、フレーム１が最も時間的に前に撮像されたフレームとなる。
【００８２】
以下、ある主要被写体（移動物体）が画角内を移動し、当該主要被写体が画角内を占める割合が所定の大きさ（例えば、画角の半分）以上となるシーンを、重要なシーンと判定する例について、図３を参照して説明する。
【００８３】
図３では、フレーム１〜５にわたって主要被写体（人）が画角内を一方（図中の左方）から他方（図中の右方）へと移動している。また、フレーム１及びフレーム２では、主要被写体の大きさが所定の大きさよりも小さくなっており、フレーム３及びフレーム４では、主要被写体の大きさが所定の大きさよりも大きくなっている。さらに、フレーム３では主要被写体が画角の略中央に位置している。また、フレーム５では、主要被写体がフレームアウトしており、主要被写体の一部が含まれているのみとなっている。
【００８４】
この場合、画像信号解析部９１が、例えばフレーム３を解析することで、重要なシーンを撮像していると判定する。また、例えばフレーム１及び２を解析することで、その後に重要なシーンを撮像するだろうと予測する。さらに、例えばフレーム５を解析することで、重要なシーンの撮像が終了したと判定する。この判定結果は、画像信号解析情報として記録フレームレート設定部９３に入力される。
【００８５】
画像信号解析部９１は、例えば、顔検出処理や追尾処理を適用することで上記の判定を行う。特に、上記の判定の対象である主要被写体が人である場合や、ユーザが指定する特定の物体である場合にこれらの処理を行うと、精度良く主要被写体の状態を検出することができるため、好適である。
【００８６】
具体的に例えば、顔検出処理を行う場合、入力画像信号を構成して順次入力されるフレームから順次顔を検出して、検出した顔の下方（眉間から口の方向）であり顔と隣接する部分を主要被写体の胴体とみなし、胴体（または顔及び胴体）を含む領域を主要被写体の領域としてその位置及び大きさを上記判定に利用する。なお、顔領域のみを主要被写体の領域としても構わないし、顔領域の位置及び大きさに応じた胴体領域を設定しても構わない。
【００８７】
また具体的に例えば、追尾処理を行う場合、入力画像信号を構成して順次入力されるフレームから順次検出される追尾対象（主要被写体）の領域の位置及び大きさを、上記判定に利用する。なお、追尾対象となる主要被写体を設定する際や、その候補をユーザに提示して選択させる際に、顔検出処理によって検出された主要被写体を利用しても構わない。
【００８８】
顔検出処理の方法として、公知の顔検出方法を適用することができる。例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用して大量の教師サンプル（顔及び非顔のサンプル画像）から作成した重みテーブル（データベース）と、主要被写体を検出するための画像と、を比較することで顔検出を行っても構わない。また、特定の人の顔を検出（顔認識）したり、特定の向きの顔（横顔など）や特定の表情の顔（笑顔や泣き顔など）を検出したりしても構わない。
【００８９】
また、追尾処理の方法として、公知の追尾方法を適用することができる。例えば、設定及び記憶した追尾対象の輝度情報（例えば、輝度信号Ｙの信号値）や色情報（例えば、色差信号ＵＶやＲＧＢ信号、Ｈ（Hue）Ｓ（Saturation）Ｂ（Brightness）のＨの信号など、色を示す信号値。特に、胴体部分）を有する領域（即ち、主要被写体の領域）を、順次入力されるフレームからそれぞれ検出することで、追尾処理を行っても構わない。さらにこのとき、時間的に前に撮像されたフレームから検出される主要被写体領域の位置を、時間的に後に撮像されたフレームから主要被写体を検出する際に利用しても構わない。例えば、後のフレームにおいて主要被写体を検出する範囲を、前のフレームで検出された主要被写体領域及びその周辺領域に相当する範囲としても構わない。
【００９０】
なお、画像信号解析部９１が、入力画像信号を構成する一部のフレームを解析することとしても構わない。例えば、高速撮像用の撮像フレームレートで撮像されている入力画像信号を、数フレーム毎に解析することとしても構わない。このように構成すると、入力画像信号の解析にかかる負荷を軽減することが可能となる。
【００９１】
また、上述の例では、主要被写体が画角内の一方から他方へ移動し、かつ、所定の大きさ以上になるシーンを重要なシーンとして判定するとしたが、判定方法はこの例の限りではない。例えば、主要被写体（例えば、図１６のボール）がフレームインして（または、画角中央に所定の割合以上近づいて）から、フレームアウトする（または、画角中央から所定の割合以上遠ざかる）までを、重要なシーンとして判定しても構わない。
【００９２】
また、主要被写体となる物体を特定せずに、画角内の被写体（略全ての物体）の動きを検出して、重要なシーンを撮像しているか否かの判定を行うこととしても構わない。例えば、入力画像信号を構成して順次入力されるフレームを比較して画角内の被写体の動きを検出することで、重要なシーンを撮像しているか否かを判定しても構わない。この場合、例えば、代表点マッチングやブロックマッチングなどの種々のマッチング方法に代表される、公知の動き検出方法を適用することができる。
【００９３】
［音響信号解析部］
音響信号解析部９２は、入力音響信号を解析して特定の音響状態であるか否かを判定することで、スロー再生したいとユーザが考え得る重要なシーンを撮像しているか否かを判定する。入力音響信号に基づいて判定され得る重要なシーンの具体例について、図面を参照して説明する。図４は、入力音響信号に基づいて判定され得る重要なシーンの一例を示す図である。
【００９４】
図４は、ボールをバットで打つシーンを通常の撮像フレームレートで撮像する場合を例示したものであり、５つのフレーム１〜５を代表させ撮像の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順を示し、番号が小さいフレームほど時間的に前に撮像されたフレームとする。即ち、図４に示すフレーム１〜５の中では、フレーム１が最も時間的に前に撮像されたフレームとなる。
【００９５】
以下、時間的に急峻に信号レベルが変化し、かつ、信号レベルが所定の大きさ以上となる音（インパルス特性を有する音、以下、インパルス音とする）が集音されるシーンを、重要なシーンと判定する例について、図４を参照して説明する。
【００９６】
図４では、フレーム３の撮像時に集音されて得られる入力音響信号に、インパルス音（バットとボールとが衝突する音）が含まれている。また、その他のフレーム１〜２，４〜５の撮像時に集音されて得られる入力音響信号には、インパルス音は含まれていない。
【００９７】
この場合、音響信号解析部９２が、例えばフレーム３の撮像時に集音されて得られる入力音響信号を解析することで、重要なシーンを撮像していると判定する。さらに、例えばインパルス音が入力されることなく所定の時間が経過することで、重要なシーンの撮像が終了したと判定する。この判定結果は、音響信号解析情報として記録フレームレート設定部９３に入力される。
【００９８】
音響信号解析部９２は、例えば、音響信号の信号レベルを監視することで、インパルス音の有無を判定する。具体的に例えば、音響信号の単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ信号レベルが所定の大きさ以上であることを検出する場合に、インパルス音が入力されたと判定する。
【００９９】
なお、上述の例では、インパルス音が集音されるシーンを重要なシーンとして判定するとしたが、重要なシーンか否かの判定方法は、この例の限りではない。例えば、特定種類の音（笑い声や泣き声などの人の感情を示す音声、動物の鳴き声やユーザが事前に指定した所定の音など）が集音されたときに、重要なシーンとして判定しても構わない。入力音響信号から特定の種類の音の有無を検出するために、事前に当該種類の音の種々のパターンを記録して作成したデータベースを用意すると、好ましい。そして、例えば当該データベースと入力音響信号とを照合（パターンマッチング）することで、特定の音声の有無を判定することができる。
【０１００】
さらに、特定の音声の有無の検出精度を高めるべく、画像解析を行っても構わない。例えば、画像信号解析部９１が、特定の表情の顔（笑顔や泣き顔など）や動物などのデータベースを備え、入力音響信号が集音された際に撮像されたフレームからこれらを検出し、その有無を示す情報を画像信号解析情報に含ませて出力しても構わない。この場合、記録フレームレート設定部９３が画像信号解析情報と音響信号解析情報とを総合的に評価することで、重要なシーンであるか否かを判定することができる。
【０１０１】
［記録フレームレート設定部］
記録フレームレート設定部９３は、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて、出力画像信号の記録フレームレートを設定する。特に、上述のように入力画像信号が重要なシーンであると判定される場合の出力画像信号の記録フレームレートを、通常のシーン（重要なシーン以外のシーン、以下同じ）であると判定される場合の記録フレームレートよりも、高くする。そして、記録フレームレート設定部９３は、設定した記録フレームレートを示す情報である、記録フレームレート情報を出力する。
【０１０２】
［画像信号バッファ及び記録画像信号調整部］
記録画像信号調整部９６は、記録フレームレート情報に基づき、必要に応じて入力画像信号の撮像フレームレートを調整する。この調整方法について、図面を参照して説明する。図５は、通常のシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。また、図６は、重要なシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。なお、図５及び図６に示す例では、重要なシーンであるか否かに関わらず、入力画像信号が高速撮像用の撮像フレームレートで撮像されているものとする。
【０１０３】
図５に示すように、記録画像信号調整部９６は、通常のシーンであると判定された入力画像信号の一部のフレームを抽出し、出力画像信号として出力する。図５に示す例では、白塗りのフレームを抽出して出力画像信号に含め、これ以外のハッチングを付したフレームは抽出せずに出力画像信号に含めない（間引く）こととしている。
【０１０４】
一方、図６に示すように、記録画像信号調整部９６は、重要なシーンであると判定された入力画像信号の全てのフレームを抽出し、出力画像信号として出力する。これにより、重要なシーンの出力画像信号の記録フレームレートが、通常のシーンの画像信号の記録フレームレートよりも高いものとなる。
【０１０５】
以上のように構成することで、重要なシーンであると判定される出力画像信号の記録フレームレートを、通常のシーンであると判定される場合の記録フレームレートよりも高くして記録することが可能となる。そのため、この出力画像信号を所定の再生フレームレート（例えば、通常のシーンが通常速度再生される高さ）で再生することにより、重要なシーンを、通常のシーンと同程度の滑らかさで通常のシーンよりも遅く再生（スロー再生）することが可能となる。
【０１０６】
さらにこのとき、入力画像信号の特徴や入力音響信号の特徴に基づいて重要なシーンであるか否かが判定され、記録フレームレートが調整される。そのため、シーンに応じて記録フレームレートを迅速に調整することが可能となる。したがって、通常のシーンで無用に多くのフレームを記録することで記録装置（外部メモリ１１）の容量を圧迫したり、重要なシーンの一部で記録するフレームの数を多くすることができないことで当該部分の滑らかなスロー再生が不可能になったりすることを、抑制することが可能となる。
【０１０７】
また、以上のように調整を行う場合、画像信号バッファ９４に入力画像信号を保持する。そのため、画像信号解析部９１や音響信号解析部９２が、重要なシーンであると判定する根拠となるフレーム（例えば、図４のフレーム３）やそれ以前に撮像されたフレーム（例えば、図４のフレーム２）を含めて重要なシーンとして判定する場合でも、当該シーンの出力画像信号の記録フレームレートをもれなく高くすることが可能となる。
【０１０８】
なお、図６では、重要なシーンであると判定された入力画像信号の全てのフレームを出力画像信号とする場合について例示しているが、入力画像信号の一部のフレームを抽出して出力画像信号を生成しても構わない。ただし、重要なシーンであると判定される場合の出力画像信号の記録フレームレートが、通常のシーンであると判定される場合の出力画像信号の記録フレームレートよりも高くなるものとする。
【０１０９】
また、上述の入力画像信号の調整に加えて（または、代えて）、入力画像信号の撮像フレームレートを直接的に調整しても構わない。この調整方法の一例について、図面を参照して説明する。図７は、入力画像信号の調整方法の一例について示す図である。図７に示す例は、重要なシーンを撮像していると判定される場合の撮像フレームレートを、通常のシーンを撮像していると判定される場合の撮像フレームレートよりも高くするものである。この場合、例えば、ユーザによる撮像モードの切り替えや、画像信号解析情報及び（または）音響信号解析情報に基づいて重要なシーンを撮像するだろうと予測されるか否かに応じて、撮像フレームレートを調整しても構わない。
【０１１０】
また、上述のように、編集時や再生時に記録フレームレートや再生フレームレートを調整することとしても構わない。この場合、記録画像信号調整部９６が、記録（または再生）フレームレートを調整すべきフレームを示す情報を、入力画像信号に付加することで出力画像信号を生成しても構わない。また、出力画像信号に加えて、入力画像信号の一部（特に、調整した部分）や全部を記録しても構わない。
【０１１１】
［音響信号バッファ及び記録音響信号調整部］
記録音響信号調整部９７は、記録フレームレート情報に基づき、必要に応じて入力音響信号を調整する。特に、出力画像信号の記録フレームレートの高さに応じて、入力音響信号を時間方向に伸長する処理を行う。具体的に例えば、通常のシーンの記録フレームレートのときは伸長せずに、重要なシーンの記録フレームレートのときに、時間方向に対して（重要なシーンの記録フレームレート）／（通常のシーンの記録フレームレート）倍となるように伸張する。
【０１１２】
このような調整を行うことにより、重要なシーンの出力画像信号をスロー再生する際に、再生される出力画像信号に対応するように時間方向に伸張された音を再生することが可能となる。以下、この調整方法の各具体例について、図面を参照して説明する。
【０１１３】
―ピッチ維持伸長処理―
最初に、ピッチ維持伸張処理について図面を参照して説明する。図８は、ピッチ位置伸張処理の一例について説明する図である。図８において、ピッチ維持伸張処理が施されるある時間区間の入力音響信号をＡ１、当該入力音響信号Ａ１にピッチ維持伸張処理を施して得られる出力音響信号をＢ１とする。また、以下では説明の具体化のため、出力音響信号Ｂ１の時間区間を、入力音響信号Ａ１の時間区間の１０倍とする（即ち、１０倍に伸張する）。
【０１１４】
ピッチ維持伸張処理では、入力音響信号Ａ１及び出力音響信号Ｂ１の間でピッチが変化しないように、伸張処理が施される。この伸張方法として、公知の話速変換方法を適用することができる。例えば、図８に示すように、入力音響信号Ａ１のピッチに応じたブロック長にて入力音響信号Ａ１の時間区間を第１〜第Ｎのブロックに分割し（Ｎは２以上の整数、図８ではＮ＝３）、入力音響信号Ａ１の第１のブロックを１０回繰り返した信号と、第２のブロックを１０回繰り返した信号と、・・・、第（Ｎ−１）のブロックを１０回繰り返した信号と、第Ｎのブロックを１０回繰り返した信号とを、この順番で接続することで出力音響信号Ｂ１を生成する。
【０１１５】
なお、第１〜第Ｎのブロックのそれぞれを１０倍して接続する例について示したが、例えば、第１〜第Ｎのブロックのそれぞれを６倍した信号に、入力音響信号Ａ１の時間区間の４倍分の無音信号（信号レベルが０の信号）を付加することで、入力音響信号Ａ１を１０倍に伸張した出力音響信号を生成しても構わない。このとき、出力音響信号の後部に無音信号をまとめて付加しても構わないし、無音信号が後部に偏ることを防ぐために、第１〜第Ｎのブロックのそれぞれを６倍した信号のそれぞれの後部に、それぞれのブロックの時間区間の４倍分の無音信号を付加しても構わない。
【０１１６】
―エコー処理―
次に、エコー処理について図面を参照して説明する。図９は、エコー処理の一例について説明する図である。図９において、エコー処理が施されるある時間区間の入力音響信号をＡ２、当該入力音響信号Ａ２にエコー処理を施して得られる出力音響信号をＢ２とする。また、以下では説明の具体化のため、出力音響信号Ｂ２の時間区間を、入力音響信号Ａ１の時間区間の１０倍とする（即ち、１０倍に伸張する）。
【０１１７】
エコー処理では、入力音響信号Ａ２と同じ信号を、信号レベルを徐々に低減させながら複数回繰り返す。図９に示す出力音響信号Ｂ２は、エコー信号Ａ２［１］、Ａ２［２］、Ａ２［３］、Ａ２［４］、Ａ２［５］、Ａ２［６］、Ａ２［７］、Ａ２［８］、Ａ２［９］及びＡ２［１０］を、この順番で接続した信号である。ここで、エコー信号Ａ２［ｉ］は、その信号波形が入力音響信号Ａ２の信号波形と相似であり、その信号レベルがエコー信号Ａ２［ｉ＋１］の信号レベルよりも小さいものとなる（ｉは整数）。したがって、出力音響信号Ｂ２を再生すると、音量が徐々に小さくなりつつ入力音響信号Ａ２が繰り返し再生されることになる。たとえば、入力音響信号Ａ２がバッティングの打撃音である「カキーン」という音であるならば、エコー処理した再生により、「カキーン」という音が徐々に音量が小さくされつつ１０回繰り返し再生されることとなる。
【０１１８】
なお、１０個のエコー信号Ａ２［１］〜Ａ２［１０］を接続する例について示したが、例えば、６個のエコー信号Ａ２［１］〜Ａ２［６］を接続した信号に、入力音響信号Ａ２の時間区間の４倍分の無音信号を付加することで、入力音響信号Ａ２を１０倍に伸張した出力音響信号を生成しても構わない。また、記録フレームレート（即ち、伸張する倍率）に応じてエコーの回数（即ち、エコー信号Ａ２［ｉ］を繰り返す回数）、エコーをかける時間（即ち、エコー信号Ａ２［ｉ］を繰り返す時間）、及び（または）、エコーの減衰率（即ち、エコー信号Ａ２［ｉ＋１］の信号レベルの、エコー信号Ａ２［ｉ］の信号レベルに対する減衰率）を変更するようにしても構わない。
【０１１９】
―その他の処理―
入力音響信号を時間方向に対して伸張する種々の方法の具体例について示したが、上述した伸張方法以外の伸張方法を採用することも可能である。例えば、入力音響信号の信号波形を時間方向に沿って単純に伸張する伸張方法を採用しても構わないし、単純に伸張した信号に無音信号を付加する伸張方法を採用しても構わない。ただし、これらの伸張方法ではピッチが変わるため、音程が変質する。
【０１２０】
また例えば、入力音響信号を単純に複数回繰り返す伸張方法を採用しても構わない。信号を繰り返す点では上述のエコー処理と同様であるが、本伸張方法は、信号レベルも含めて等しい信号波形の信号を繰り返すものである。
【０１２１】
また、入力画像信号や入力音響信号の状態に基づいて、適宜伸張方法を選択して伸張処理を行っても構わない。
【０１２２】
例えば、入力音響信号に人の声が含まれている場合、声のピッチ（基本周波数）を変動させない伸張方法であるピッチ維持伸張処理を採用すると、好ましい。入力音響信号に人の声が含まれているか否かは、例えば、入力音響信号の自己相関値（例えば、ある基準区間のそれぞれの信号値と、基準区間から時間的にずらした評価区間のそれぞれの信号値との積を合算した値）を、特定の時間区間について順次求める（特定の時間区間内で評価区間を時間方向に順次ずらして自己相関値を算出する）ことで、判定することができる。この場合、特定の時間区間における自己相関値が、人の声帯振動のピッチ（概ね８０〜２７０Ｈｚ）を含む５０〜３００Ｈｚ内で周期的に大きくなる（閾値を超える）場合、当該特定の時間区間に人の声が含まれていると判定することができる。さらに、人の声に特有のスペクトル包絡（エンベロープ）が入力音響信号中にあるか否かを判定し、音楽と人の声とを区別して判定しても構わない。
【０１２３】
また例えば、入力音響信号に図４に示すようなインパルス音が含まれている場合、インパルス音を繰り返す伸張方法を採用すると、シーンに適合するため好ましい。入力音響信号にインパルス音が含まれているか否かは、例えば、上述のように単位時間当たりの信号レベルの変化量が所定の大きさ以上となるか否か、信号レベルが所定の大きさ以上となるか否かに基づいて、判定することができる。
【０１２４】
また、出力音響信号に加えて、入力音響信号の一部（特に、調整した部分）や全部を記録しても構わない。
【０１２５】
＜＜再生装置＞＞
次に、本発明の実施の一形態である再生装置の全体構成例について、図１０を参照して説明する。図１０は、本発明の実施の一形態である再生装置の全体構成例を示すブロック図である。なお、図１０は、撮像装置の全体構成例について示した図１に相当するものであり、図１と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
【０１２６】
図１０に示すように、再生装置１００は、外部メモリ１１と、ドライバ部１２と、伸長処理部１３と、伸長処理部１３で復号されて得られる画像信号及び音響信号を調整して出力する再生調整部９０と、再生調整部９０から出力される画像信号をモニタなどの画像表示部３０で表示可能な信号に変換する画像信号出力回路部１４と、再生調整部９０で復号されて得られる音響信号をスピーカなどの音響再生部３１で再生可能な信号に変換する音響信号出力回路部１５と、ＣＰＵ１６と、メモリ１７と、操作部１８と、ＴＧ部１９と、バス２０，２１と、画像表示部３０と、音響再生部３１と、を備える。なお、再生装置１００の各部の構成及び動作は、再生調整部９０を除いて上述の撮像装置１において述べたものと同様である。そのため、以下では再生調整部９０の構成及び動作の詳細について、主に説明する。
【０１２７】
＜再生調整部＞
まず、再生調整部９０の構成について、図面を参照して説明する。図１１は、再生調整部の構成の一例を示すブロック図である。なお、図１１は、記録調整部について示した図２に相当するものであり、図２と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
【０１２８】
図１１に示すように、再生調整部９０は、画像信号解析部９１と、音響信号解析部９２と、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて出力画像信号の再生速度を設定し再生速度情報として出力する再生速度設定部９０３と、画像信号バッファと９４と、音響信号バッファと９５と、再生速度情報に基づいて画像信号バッファ９４に保持された入力画像信号を調整し出力画像信号として出力する再生画像信号調整部９０６と、再生速度情報に基づいて音響信号バッファ９５に保持された入力音響信号を調整し出力音響信号として出力する再生音響信号調整部９０７と、を備える。
【０１２９】
再生速度とは、例えば、出力画像信号を構成するそれぞれのフレームの時間間隔を、当該フレームの撮像時（現実）の時間間隔と比較して示されるものである。具体的に例えば、出力画像信号のフレームの時間間隔が、撮像時（現実）の時間間隔と同じであれば再生速度は１倍（通常速度再生）となる。一方、出力画像信号のフレームの時間間隔が、撮像時（現実）の時間間隔の１０倍であれば再生速度は１／１０倍となる。
【０１３０】
画像信号解析部９１及び音響信号解析部９２は、上述の記録調整部９に備えられるものと同様の判定方法によって、重要なシーンを再生しようとしているか否かを判定する。また、画像信号バッファ９４及び音響信号バッファ９５は、図２に示す記録調整部９に備えられるものと同様に、入力画像信号及び入力音響信号を一時的に保持する。
【０１３１】
以下、再生速度設定部９０３と、再生画像信号調整部９０６と、再生音響信号調整部９０７と、の各動作について、図面を参照して説明する。
【０１３２】
［再生速度設定部］
再生速度設定部９０３は、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて、出力画像信号の再生速度を設定する。特に、上述のように入力画像信号が重要なシーンであると判定される場合の出力画像信号の再生速度が、通常のシーンであると判定される場合の再生速度よりも遅くなるように、出力画像信号の再生速度を調整する。そして、再生速度設定部９０３は、設定した再生速度を示す情報である、再生速度情報を出力する。
【０１３３】
［再生画像信号調整部］
再生画像信号調整部９０６は、再生速度情報に基づき、必要に応じて入力画像信号の再生速度を調整する。この調整方法について、図面を参照して説明する。図１２は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。また、図１３は、重要なシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。なお、図１２及び図１３に示す例では、重要なシーンであるか否かに関わらず、入力画像信号が高速撮像用の撮像フレームレートで撮像され、これと略等しい記録フレームレートで記録されているものとする。
【０１３４】
図１２に示すように、再生画像信号調整部９０６は、通常のシーンであると判定された入力画像信号の一部のフレームを抽出し、出力画像信号として出力する。図１２に示す例では、白塗りのフレームを抽出して出力画像信号に含め、これ以外のハッチングを付したフレームは抽出せずに出力画像信号に含めない（間引く）こととしている。なお、図１２では、抽出されるフレームの、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔と、が略等しくなる（フレームの時間間隔が伸長されない、即ち、再生速度が当該調整によって変化せずに１倍のまま維持される）場合を例示している。
【０１３５】
一方、図１３に示すように、再生画像信号調整部９０６は、重要なシーンであると判定された入力画像信号の全てのフレームを抽出し、出力画像信号として出力する。このとき、出力画像信号に含まれるそれぞれのフレームの時間間隔を、入力画像信号のものより伸長する。例えば、通常のシーンと略等しい再生フレームレートとなるように、それぞれのフレームの時間間隔を伸長する。これにより、重要なシーンの出力画像信号の再生速度が、通常のシーンの再生速度よりも遅いものとなる。ただし、それぞれのシーンの再生フレームレートは、略等しいものとなる。
【０１３６】
以上のように構成することで、重要なシーンであると判定される入力画像信号の再生速度を、通常のシーンであると判定される場合よりも遅くすることが可能となる。また、上記例のように、通常のシーンであると判定される場合の出力画像信号の再生フレームレートと、重要なシーンであると判定される場合の出力画像信号の再生フレームレートと、を略等しくすることにより、重要なシーンを、通常のシーンと同程度の滑らかさで通常のシーンよりも遅く再生（スロー再生）することが可能となる。
【０１３７】
さらにこのとき、入力画像信号の特徴や入力音響信号の特徴に基づいて重要なシーンであるか否かが判定され、入力画像信号の再生速度が調整される。そのため、シーンに応じて再生速度を迅速に調整することが可能となる。したがって、重要なシーン以外もスロー再生されることで所望のシーンを迅速に再生することができなかったり、重要なシーンの一部がスロー再生されなかったりすることを、抑制することが可能となる。
【０１３８】
また、以上のように調整を行う場合、画像信号バッファ９４に入力画像信号を保持する。そのため、画像信号解析部９１や音響信号解析部９２が、重要なシーンであると判定する根拠となるフレーム（例えば、図４のフレーム３）やそれ以前に撮像されたフレーム（例えば、図４のフレーム２）を含めて重要なシーンとして判定する場合でも、当該シーンをもれなくスロー再生することが可能となる。
【０１３９】
また、図１２及び図１３に示すように、通常のシーンであると判断される場合の入力画像信号のフレームを抽出する（間引く）調整を行うこととすると、通常のシーン及び重要なシーンのそれぞれであると判定される場合の出力画像信号を、一定の再生フレームレートで再生するのみで、通常速度再生とスロー再生とを実現することが可能となる。したがって、通常速度再生及びスロー再生のそれぞれを容易に行うことが可能となる。
【０１４０】
なお、図１２及び図１３では、入力画像信号の記録フレームレートが、高速撮像用の撮像フレームレート（例えば、６００ｆｐｓ）と略等しいものとしたが、通常の撮像フレームレート（例えば、６０ｆｐｓ）であっても構わない。この場合、重要なシーンであると判定されて時間間隔が伸長される出力画像信号の再生フレームレートが、通常の再生フレームレート（例えば、６０ｆｐｓ）よりもさらに低い（小さいとも表現し得る）再生フレームレート（例えば、１５ｆｐｓ）になるように、再生速度を調整しても構わない。
【０１４１】
また、通常のシーンであると判定される場合の調整方法を、図１２に示す調整方法とは異なるものとしても構わない。この調整方法について、図面を参照して説明する。図１４は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の別例について示す図である。図１４に示すように、本例の調整方法は、通常のシーンであると判定された入力画像信号の略全てのフレームを抽出する（間引くフレームを略０にする）。なお、本例の調整方法も、図１２に例示した調整方法と同様に、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔と、が略等しくなる（即ち、再生速度が当該調整によって変化せずに１倍のまま維持される）。ただし、本例の調整方法では、重要なシーンと判定された場合の出力画像信号の再生フレームレート（例えば、６０ｆｐｓ）よりも、通常のシーンと判定された場合の出力画像信号の再生フレームレートを高くする（例えば、６００ｆｐｓ）。
【０１４２】
また、図１２及び図１４では、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔を略等しいものとしたが、伸長または圧縮などの調整を行っても構わない。また、図１３では、重要なシーンであると判定された入力画像信号の全てのフレームを出力画像信号とする場合について例示しているが、入力画像信号の一部のフレームを抽出して時間間隔を伸長することで出力画像信号を生成しても構わない。ただし、重要なシーンであると判定される場合の出力画像信号が、通常のシーンであると判定される場合の出力画像信号よりも、再生速度が遅くなるものとする。
【０１４３】
［再生音響信号調整部］
再生音響信号調整部９０７は、再生速度情報に基づき、必要に応じて入力音響信号を調整する。特に、再生速度の大きさに応じて入力音響信号を時間方向に伸長する処理を行う。具体的に例えば、通常のシーンのときは入力音響信号を伸長せずに、重要なシーンのときに再生速度と略等しい倍率となるように入力音響信号を時間方向に伸張する。
【０１４４】
このような調整を行うことにより、重要なシーンの出力画像信号をスロー再生する際に、再生される出力画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、具体的な伸長方法として、例えば、上述の記録音響信号調整部９７に適用され得る種々の伸長方法を適用することが可能である。また、記録音響信号調整部９７と同様に、入力画像信号や入力音響信号の状態に基づいて、適宜伸張方法を選択して伸張処理を行っても構わない。
【０１４５】
＜再生調整部の別例＞
また、再生調整部９０を、図１５に示す再生調整部９０ａのような構成としても構わない。図１５は、再生調整部の構成の別例を示すブロック図である。なお、図１５は、再生調整部の一例について示した図１１に相当するものであり、図１１と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
【０１４６】
図１１に示すように、再生調整部９０は、画像信号解析部９１と、音響信号解析部９２と、再生速度設定部９０３と、再生速度情報に基づいて記録フレームレートが高い入力画像信号（高速撮像）と記録フレームレートが低い入力画像信号（通常撮像）とからいずれかを選択し出力画像信号として出力する再生画像信号選択部９１０と、再生速度情報に基づいて時間方向に伸長された入力音響信号（伸長）と時間方向に伸長されていない入力音響信号（通常）とからいずれかを選択し出力音響信号として出力する再生音響信号選択部９１１と、を備える。
【０１４７】
本例の構成では、高速撮像用の撮像フレームレートで撮像された入力画像信号（高速撮像）と、例えば当該入力画像信号のフレームの一部を抽出する（間引く）などして生成された入力画像信号（通常撮像）と、が記録されていることを前提とする。また、集音されて得られたままの入力音響信号（通常）と、例えば当該入力音響信号を時間方向に伸長するなどして生成された入力音響信号（伸長）と、が記録されていることを前提とする。
【０１４８】
画像信号解析部９１は、入力画像信号（通常撮像）に基づいて重要なシーンであるか否かの判定を行う。同様に、音響信号解析部９２は、入力音響信号（通常）に基づいて重要なシーンであるか否かの判定を行う。また、再生画像信号選択部９１０は、再生情報に基づいて入力画像信号（高速撮像）及び入力画像信号（通常撮像）のいずれかを選択し、選択した入力画像信号を出力画像信号として出力する。同様に、再生音響信号選択部９１１も、再生速度情報に基づいて入力音響信号（伸長）及び入力音響信号（通常）のいずれかを選択し、選択した入力音響信号を出力音響信号として出力する。
【０１４９】
本例のように構成すると、再生時に入力画像信号及び入力音響信号の調整処理を行う必要が無くなる。そのため、迅速に出力画像信号の再生速度を切り替えるとともに、出力画像信号に対応した出力音響信号を出力することが可能となる。
【０１５０】
また、画像信号解析部９１が、記録フレームレートの低い入力画像信号（通常撮像）に基づいて判定を行うため、判定にかかる負担を軽減することが可能となる。また、音響信号解析部９２が、調整されていない入力音響信号（通常）に基づいて判定を行うため、精度よく判定を行うことが可能となる。
【０１５１】
なお、図１１に示したような画像信号バッファ９４や音響信号バッファ９５を、再生画像信号選択部９１０及び再生音響信号選択部９１１の前段であり、それぞれの入力画像信号及び入力音響信号毎に備える構成としても構わない。また、再生画像信号選択部９１０及び再生音響信号選択部９１１のいずれか一方を、図１１に示した再生画像信号調整部９０６及び再生音響信号調整部９０７に置き換えても構わない。
【０１５２】
＜＜変形例＞＞
なお、記録調整部９を備える撮像装置１と、再生調整部９０，９０ａを備える再生装置１００と、のそれぞれを実施の一形態として示したが、撮像装置１が、記録調整部９及び再生調整部９０，９０ａの両方を備える構成であっても構わない。また、撮像装置１が、再生調整部９０，９０ａのみを備える構成であっても構わない。
【０１５３】
また、画像信号解析部９１や音響信号解析部９２は、入力画像信号や入力音響信号を常時判定しても構わないが、例えば、操作部１８を介してユーザが指示するタイミングで判定を行うこととしても構わない。このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図（重要なシーンであるか否か）を反映させた記録フレームレートの切り替えや、スロー再生を行うことが可能となる。
【０１５４】
この場合、画像信号解析部９１や音響信号解析部９２が、ユーザの指示が入力された時点の前後の所定時間内に得られる入力画像信号や入力音響信号について判定を行うこととすると、重要なシーンの記録フレームレートをもれなく高くする、または、重要なシーンをもれなくスロー再生することが可能となるため、好ましい。また、本例の構成とする場合、必要に応じて画像信号解析部９１や音響信号解析部９２の前段に、入力画像信号や入力音響信号を一時的に保持するバッファを備えても構わない。
【０１５５】
本発明の実施の形態における撮像装置１及び再生装置１００について、記録調整部９や再生調整部９０，９０ａなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１５６】
また、上述した場合に限らず、図１に示す撮像装置１や図１０に示す再生装置１００、図２に示す記録調整部９、図１１及び図１５に示す再生調整部９０，９０ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や再生装置１００、記録調整部９、再生調整部９０，９０ａの一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【０１５７】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１５８】
本発明は、画像を撮像して記録する撮像装置や、記録した画像を再生する再生装置に関する。特に、撮像した画像を滑らかにスロー再生可能とする撮像装置や再生装置に関する。
【符号の説明】
【０１５９】
１      撮像装置
９      記録調整部
９１    画像信号解析部
９２    音響信号解析部
９３    記録フレームレート設定部
９４    画像信号バッファ
９５    音響信号バッファ
９６    記録画像信号調整部
９７    記録音響信号調整部
１００  再生装置
９０，９０ａ    再生調整部
９０３  再生速度設定部
９０６  再生画像信号調整部
９０７  再生音響信号調整部
９１０  再生画像信号選択部
９１１  再生音響信号選択部
【図１】
2011139306.tif 000003
【図２】
2011139306.tif 000004
【図３】
2011139306.tif 000005
【図４】
2011139306.tif 000006
【図５】
2011139306.tif 000007
【図６】
2011139306.tif 000008
【図７】
2011139306.tif 000009
【図８】
2011139306.tif 000010
【図９】
2011139306.tif 000011
【図１０】
2011139306.tif 000012
【図１１】
2011139306.tif 000013
【図１２】
2011139306.tif 000014
【図１３】
2011139306.tif 000015
【図１４】
2011139306.tif 000016
【図１５】
2011139306.tif 000017
【図１６】
2011139306.tif 000018