(57)【要約】【課題】不自然なフレームワークによって動画像を撮像した場合であっても、人間の視覚的に自然なフレームワーク動画像を生成する動画像生成装置を提供する。【解決手段】フレーム抽出部４は、記録開始、及び、記録停止に係る操作、及び／又は、動画像撮像記録時のフレームワークによって生成されるフレームワーク信号に基づいて、動画像から開始フレーム、及び、停止フレームをそれぞれ抽出する。静止画像選択部５は、画像記録部２に記録された複数の静止画像から、開始フレームの画像、及び、停止フレームの画像が双方共に含まれている静止画像を選択する。フレームワーク動画像生成部６は、選択された静止画像の画像情報に基づいて、開始フレームから停止フレームまでに至る連続的な像変化を有するフレームワーク動画像を生成する。【選択図】図１
2009296109.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた静止画像から動画像を生成する動画像生成装置であって、
前記被写体を撮像して静止画像、及び、動画像を生成する撮像手段と、
前記静止画像、及び、前記動画像を記録する画像記録手段と、
前記画像記録手段に対して前記動画像の記録開始、及び、前記動画像の記録停止に係る操作を行うための動画像記録操作手段と、
前記記録開始、及び、前記記録停止に係る操作、及び／又は、前記動画像撮像記録時のフレームワークによって生成されるフレームワーク信号に基づいて、前記動画像から開始フレーム、及び、停止フレームをそれぞれ抽出するフレーム抽出手段と、
前記画像記録手段に記録された複数の前記静止画像から、前記開始フレームの画像、及び、前記停止フレームの画像が双方共に含まれている前記静止画像を選択する静止画像選択手段と、
選択された前記静止画像の画像情報に基づいて、前記開始フレームから前記停止フレームまでに至る連続的な画像変化を有するフレームワーク動画像を生成するフレームワーク動画像生成手段と、
を具備する
ことを特徴とする動画像生成装置。
【請求項２】
前記撮像手段の動きを感知して動き信号を生成する動きセンサ
を更に具備し、
前記フレームワーク信号は、前記動画像撮像記録時の前記動き信号に基づいて生成される信号である
ことを特徴とする請求項１に記載の動画像生成装置。
【請求項３】
前記被写体を前記撮像手段で撮像可能なように結像して光学像を生成し、該光学像を拡大、又は、縮小可能である光学手段と、
前記光学像を所望の拡大率にするために前記光学手段を操作する拡大率操作手段と、
を更に具備し、
前記フレームワーク信号は、前記動画像撮像記録時の前記拡大率操作手段の操作に基づいて生成される信号である
ことを特徴とする請求項１に記載の動画像生成装置。
【請求項４】
前記静止画像選択手段によって、前記開始フレームの画像、及び、前記停止フレームの画像が双方共に含まれている前記静止画像を前記画像記録手段の中から選択できなかった場合、前記フレームワーク動画像を生成するために撮像すべき前記静止画像を示唆する撮像示唆手段
を更に具備し、
前記静止画像選択手段は、前記撮像示唆手段による示唆に従って撮像された静止画像を強制的に選択する
ことを特徴とする請求項１に記載の動画像生成装置。
【請求項５】
前記動画像生成手段は、前記開始フレーム、及び、前記停止フレームに対応する画像を前記フレームワーク動画像に対して複数回に亘って挿入して、該対応画像の再生時間を調整する
ことを特徴とする請求項１に記載の動画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像から動画像を生成する動画像生成装置に関するものである。
【背景技術】
【０００２】
カメラをパンやチルトさせた際に見苦しくない動画像を得ることができる画像処理装置および方法並びにカメラ一体型ＶＴＲに関する技術が、例えば、特許文献１に開示されている。
【特許文献１】特開平１０−１９１１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
連続した撮像シーンの中で、パン・チルト・ズーム等のフレームワークを変化させながら被写体を撮像することがある。このようなフレームワークにおいて、操作者が未熟だったり、フレームワークの操作に失敗した場合には、プロのカメラマンが操作するような滑らかで自然なフレームワークとはならない場合がある。
【０００４】
この不自然なフレームワークによって撮像された動画像の記録をそのままに再生すると、見苦しい映像となってしまうという問題点がある。例えば、一連のシーンであるにも関わらず断片的な映像として視覚認識されたり、或いは、不自然な映像を観賞したために映像酔いを起こしたりするという課題があった。
【０００５】
この課題を解決する為に、例えば、特許文献１に示される画像処理装置は、動きベクトルから画像のパン速度あるいはチルト速度を算出し、それが、見掛け上、予め設定した基準値となるように画像フィールド・メモリを制御することにより、電子パンおよび電子チルトを実現している。このように、画像フィールド・メモリの制御によって、撮像された動画像のフレームワークを補正しているのである。これによって、操作者の技量によらず、スムーズで快適なパンおよびチルト画像を得ることができるのである。
【０００６】
しかしながら、特許文献１に示される画像処理装置による画像補正は、フレームワークの補正量に応じて画像サンプリング数が減少するので、この補正量が大きくなればなるほど画像解像度、及び、変調度とのトレードオフとなって画質劣化する。したがって、画像補正に大きな補正量を必要とするような不自然なフレームワーク動画像に対しては、前述した課題を解決するには至っていないのである。
【０００７】
本発明は、前述した課題を鑑みてなされたものであって、不自然なフレームワークによって動画像を撮像した（失敗撮像した）場合であっても、静止画像の画像情報に基づいてプロのカメラマンが操作するような滑らかで（人間の視覚的に自然な）フレームワーク動画像を生成する動画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、被写体を撮像して得られた静止画像から動画像を生成する動画像生成装置であって、前記被写体を撮像して静止画像、及び、動画像を生成する撮像手段と、前記静止画像、及び、前記動画像を記録する画像記録手段と、前記画像記録手段に対して前記動画像の記録開始、及び、前記動画像の記録停止に係る操作を行うための動画像記録操作手段と、前記記録開始、及び、前記記録停止に係る操作、及び／又は、前記動画像撮像記録時のフレームワークによって生成されるフレームワーク信号に基づいて、前記動画像から開始フレーム、及び、停止フレームをそれぞれ抽出するフレーム抽出手段と、前記画像記録手段に記録された複数の前記静止画像から、前記開始フレームの画像、及び、前記停止フレームの画像が双方共に含まれている前記静止画像を選択する静止画像選択手段と、選択された前記静止画像の画像情報に基づいて、前記開始フレームから前記停止フレームまでに至る連続的な画像変化を有するフレームワーク動画像を生成するフレームワーク動画像生成手段と、を具備することを特徴とする動画像生成装置である。
【０００９】
また、本発明の動画像生成装置は、前記撮像手段の動きを感知して動き信号を生成する動きセンサを更に具備し、前記フレームワーク信号は、前記動画像撮像記録時の前記動き信号に基づいて生成される信号であることを特徴とする。
【００１０】
また、本発明の動画像生成装置は、前記被写体を前記撮像手段で撮像可能なように結像して光学像を生成し、該光学像を拡大、又は、縮小可能である光学手段と、前記光学像を所望の拡大率にするために前記光学手段を操作する拡大率操作手段と、を更に具備し、前記フレームワーク信号は、前記動画像撮像記録時の前記拡大率操作手段の操作に基づいて生成される信号であることを特徴とする。
【００１１】
また、本発明の動画像生成装置は、前記静止画像選択手段によって、前記開始フレームの画像、及び、前記停止フレームの画像が双方共に含まれている前記静止画像を前記画像記録手段の中から選択できなかった場合、前記フレームワーク動画像を生成するために撮像すべき前記静止画像を示唆する撮像示唆手段を更に具備し、前記静止画像選択手段は、前記撮像示唆手段による示唆に従って撮像された静止画像を強制的に選択することを特徴とする。
【００１２】
また、本発明の動画像生成装置において、前記動画像生成手段は、前記開始フレーム、及び、前記停止フレームに対応する画像を前記フレームワーク動画像に対して複数回に亘って挿入して、該対応画像の再生時間を調整することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、不自然なフレームワークによって動画像を撮像した（失敗撮像した）場合であっても、静止画像の画像情報に基づいて人間の視覚的に自然なフレームワーク動画像を生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の実施形態による動画像生成装置の構成を示すブロック図である。
【００１５】
図１に於いて、この動画像生成装置は、撮像部１と、画像記録部２と、動画像記録操作部３と、フレーム抽出部４と、静止画像選択部５と、フレームワーク動画像生成部６と、動きセンサ７と、ズームレンズ（光学手段）８と、ズームリング／レバー（拡大率操作手段）９と、撮像示唆部１０と、より構成されている。
【００１６】
撮像部１は、被写体を撮像して静止画像、及び、動画像を生成する。画像記録部２は、この静止画像、及び、動画像を記録する。動画像記録操作部３は、この画像記録部２に対して動画像の記録開始、及び、動画像の記録停止に係る操作を操作者の指示に基づいて行うためのものである。フレーム抽出部４は、この記録開始、及び、記録停止に係る操作、及び／又は、動画像撮像記録時のフレームワークによって生成されるフレームワーク信号に基づいて、動画像から開始フレーム、及び、停止フレームをそれぞれ抽出する。
【００１７】
静止画像選択部５は、画像記録部２に記録された複数の静止画像から、フレーム抽出部４で抽出した開始フレームの画像、及び、停止フレームの画像が双方共に含まれている静止画像を選択する。フレームワーク動画像生成部６は、この選択された静止画像の画像情報に基づいて、開始フレームから停止フレームまでに至る連続的な画像変化を有するフレームワーク動画像を生成する。フレームワーク動画像の生成方法に関しては後述する。また、このフレームワーク動画像生成部６は、フレームワーク動画像の最初の部分及び最後の部分に開始フレーム、及び、停止フレームに対応する画像を複数枚挿入して、開始フレーム画像および停止フレーム画像の再生時間を調整可能にする。
【００１８】
動きセンサ７は、撮像部１の動きを感知して動き信号を生成する。ズームレンズ８は、撮像方向にある被写体から光学像を生成し、この光学像を拡大、又は、縮小可能であるものである。ズームリング／レバー９は、光学像を所望の拡大率にするためにズームレンズ８を操作する。
【００１９】
撮像示唆部１０は、静止画像選択部５によって、開始フレームの画像、及び、停止フレームの画像が双方共に含まれている静止画像を画像記録部２の中から選択できなかった場合、フレームワーク動画像を生成するために撮像すべき静止画像を示唆する。
【００２０】
以下、図１に沿って、動画像生成装置の動作を説明する。
図２は、フレームワークを施しながら撮像する風景全体（被写体）の一例を示している。
【００２１】
この風景の一部分がズームレンズ８によって光学像に結像され、この光学像を撮像部１で光電変換し動画像を生成する。この時、動画像記録操作部３に対して動画像の記録開始、及び、動画像の記録停止に係る操作がなされると、画像記録部２によってこの動画像の記録が開始、及び、停止される。
【００２２】
ここで、この動画像の記録開始、及び、記録停止に係る操作が操作信号として、フレーム抽出部４に入力される。フレーム抽出部４は、この記録開始、及び、記録停止の操作信号に基づいて、動画像からフレームワークの開始フレーム、及び、停止フレームを抽出するのである。
【００２３】
図３（ａ）は開始フレームの一例を示し、図３（ｂ）は停止フレームの一例を示している。
【００２４】
先ず、図２の風景全体の中から図３（ａ）に相当する被写体が動画像として撮像され、この時に動画像記録操作部３に対して動画像の記録開始に係る操作がなされると、この記録開始の操作信号に基づいて、フレーム抽出部４によって図３（ａ）で示された開始フレームが抽出される。
【００２５】
次に、図２で示した矢印の方向に向かって撮像方向がパンされ、図２の風景全体の中から図３（ｂ）に相当する被写体が撮像されるに至る。この時、動画像記録操作部３に対して動画像の記録停止に係る操作が操作者によってなされると、この記録停止の操作信号に基づいて、フレーム抽出部４によって図３（ｂ）で示された停止フレームが抽出されるのである。
【００２６】
または、前述したような動画像記録操作部３による操作信号に代わって、このフレーム抽出部４は、動きセンサ７から出力される動き信号に基づいてパン・チルトの動きを認知したフレームワーク信号を生成し、この時に撮像された動画像からフレームワークの開始フレーム、停止フレームを抽出することができる。
【００２７】
先ず、図２の風景全体の中から図３（ａ）に相当する風景の一部分が、静止した動画像として撮像され記録開始される。この時、動きセンサ７から静止の動き信号が出力されて、この静止の動き信号からフレームワーク信号が生成される。この静止時のフレームワーク信号に基づいて、フレーム抽出部４によって図３（ａ）で示された開始フレームが抽出される。
【００２８】
次に、図２で示された矢印の方向に向かって撮像方向がパンされ、図２の風景全体の中から図３（ｂ）に相当する風景の一部分が、静止した動画像として撮像されれば、この時、動きセンサ７から静止の動き信号が出力され、この静止の動き信号からフレームワーク信号が生成されて、このフレームワーク信号に基づいて、フレーム抽出部４によって図３（ｂ）で示された停止フレームが抽出されるのである。
【００２９】
或いは、図３（ｂ）に相当する風景にて折り返される動画像として撮像された場合には、この時、動きセンサ７から動きベクトル変更の動き信号が出力され、この変更の動き信号からフレームワーク信号が生成されて、このフレームワーク信号に基づいて、フレーム抽出部４によって図３（ｂ）で示された停止フレームが抽出されるのである。
【００３０】
尚、撮像方向は略一定の方向で、被写体に対する撮像部１の寄りと、引きと、に対するフレームワークに関しても、前述したように、静止の動き信号からフレームワーク信号を生成すれば良いのであるが、この場合に於いては、動きセンサ７を３軸センサ（例えば、各速度センサを３軸に配置）にする必要がある。（図示なし）
【００３１】
以上、動き信号からフレームワーク信号が生成される場合に関して説明してきたが、フレームワークはこれに限られるわけではなく、ズーミングにおけるフレームワークにも適用可能である。
【００３２】
図４（ａ）はズーミングによる開始フレームの一例を示し、図４（ｂ）は停止フレームの一例を示している。
【００３３】
前述したフレーム抽出部４は、ズームリング／レバー９から出力される光学像の拡大率の操作信号に基づいてズームイン・ズームアウトの操作を認知したフレームワーク信号を生成し、撮像された動画像からフレームワークの開始フレーム、停止フレームを抽出することができる。
【００３４】
先ず、図２の風景全体の中から図４（ａ）に相当する被写体が動画像として撮像され記録開始されて、この時には、未だズームリングは回っていないとする。その後、このズームリングが回されると、この時の回転信号に基づいて、ズーミング開始のフレームワーク信号が生成される。このフレームワーク信号に基づいて、フレーム抽出部４によって図４（ａ）で示された開始フレームが抽出される。
【００３５】
次に、この図４（ａ）で示された被写体画枠から、ズームアウトの方向に光学像が縮小されていき、図４（ｂ）に相当する被写体に至るまでズームアウトされた時に、ズームリングの回転が停止され、この回転停止によるフレームワーク信号に基づいて、フレーム抽出部４によって図４（ｂ）で示された停止フレームが抽出されるのである。尚、ズームインに関しては、ズームアウトと回転方向が逆であるだけで、その技術的内容については、ズームアウトと同様であるので、説明を省略する。
【００３６】
以上、フレーム抽出部４による、開始フレーム、及び、停止フレームの具体的な抽出例について説明してきたが、このように抽出された開始フレーム、及び、停止フレームからフレームワーク動画像を生成するためには、この開始フレームの画像と、停止フレームの画像と、の双方共に含まれている静止画像が必要である。
【００３７】
仮に、開始フレームの画像と、停止フレームの画像と、の双方共に含まれている静止画像が静止画像選択部５によって画像記録部２の中からサーチできなかった場合、この静止画像選択部５は、ユーザに対して静止画像の撮像を示唆するための示唆情報、例えば、示唆画像を撮像示唆部１０へ出力し、表示させる。撮像示唆部１０は、例えば、カメラに備えているビューファインダを利用したものであっても良い。
【００３８】
図５（ａ）は、開始フレームと停止フレームとを横に並べて示唆画像として表示する一例を示している。図５（ｂ）は、フレームワークの開始フレームと停止フレームを合成した広角画像を示唆画像として表示する一例を示している。尚、この示唆画像は、この広角画像を撮像するための画枠を示唆するための画像であるので、複数の部分画像から成る断片画像群のような画像であっても良い。
【００３９】
図５（ａ）、図５（ｂ）で示されたような示唆画像を撮像示唆部１０によって表示することで、示唆画像が示す被写体の静止画撮像がユーザに対して期待されているのである。ユーザがこの示唆画像による示唆に従って、この被写体を撮像した場合には、静止画像選択部５はここで撮像された静止画像を強制的に選択し、フレームワーク動画像生成部６へ出力する。
【００４０】
フレームワーク動画像生成部６は、前述した静止画像選択部５によって選択された静止画像の画像情報に基づいて、開始フレームから停止フレームまでに至る連続的な画像変化を有するフレームワーク動画像を生成する。
【００４１】
図６は、不自然なフレームワークにて動画像が失敗撮像された一例を示している。
【００４２】
図６で示されるような不自然なフレームワークによって失敗撮像された動画像の記録をそのままに再生すると、人間の視覚的に見苦しい映像となってしまって、ぐらついたフレームワークによる映像を観賞したために映像酔いを起こしたりすることもある。
【００４３】
そこで、フレームワークが失敗して撮像された動画像に関しては、前述したように、静止画像選択部５によって選択された静止画像の画像情報に基づいて、動画像を生成し直すと良いのである。
【００４４】
図７は、選択された静止画像からフレームワーク動画像が生成された一例を示している。
【００４５】
図７で示されるように、選択された静止画像の中を開始フレーム図３（ａ）の位置から停止フレーム図３（ｂ）の位置まで同一方向に一定間隔で位置をずらしながら、順次フレームが抽出される。そして、このように抽出されたフレーム群によってフレームワーク動画像が構成されるのである。
【００４６】
図８は、ズームアウトによるフレームワーク動画像が静止画像から生成された一例を示している。
【００４７】
図７に於いては、撮像方向の変化に伴ったフレームワークに関して示されているが、撮像方向が一定である場合であっても、例えば、ズームイン／アウトによるフレームワークに於いても同様にフレームワーク動画像の生成は可能である。
【００４８】
図８で示されるように、選択された静止画像を基に、開始フレーム図４（ａ）の拡大率から停止フレーム図４（ｂ）の拡大率に至るまでズームアウト（縮小）の方向に一定間隔で画像の拡大率をずらしながら、順次フレームが抽出される。このように抽出されたフレーム群によってフレームワーク動画像が構成されるのである。
【００４９】
本発明で示される動画像生成装置に於いては、静止画像から動画像を生成する際に選択される静止画像は、所望される動画像の画素数をトリミング（切り出し）して十分な画素数を有する画像であることが好ましい。何故ならば、トリミング後に十分な画素数を有する動画像であれば、その動画像の解像度、及び、変調度は劣化しないからである。
【００５０】
このようにして、ズームワークを含むフレームワークに失敗して、見た目に不自然な動画像が撮像された場合であっても、静止画像の画像情報に基づいてフレームワーク動画像をトリミングして生成し直すのであれば、人間の視覚的に自然な映像を得ることができるのである。
【００５１】
ここで、補足事項について説明する。一般的なユーザが動画像を撮像すると、撮像の開始直後からパン・チルト・ズームを開始してしまい、パン・チルト・ズームの終了直後に撮像を終了してしまいがちであるため、撮像シーンが被写体の不連続な動きのままにつながれてしまい、撮像シーンが次に移った時に見苦しい映像となることがある。
【００５２】
このような場合に於いては、開始フレームと停止フレームとを複数回に亘って挿入することによって、この開始フレーム、及び、停止フレームの再生時間が調整され、撮像シーン毎に落ち着きのある映像を得るようにすることができる。
【００５３】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、図１で示された撮像示唆部１０、ズームリング／レバー９、動きセンサ７、は省略可能なものである。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態による動画像生成装置の構成を示すブロック図である。
【図２】本発明の一実施形態において、フレームワークを施しながら撮像する風景（被写体）の一例を示している。
【図３】本発明の一実施形態におけるフレームワークの開始フレームと停止フレームとを示す図である。
【図４】本発明の一実施形態におけるフレームワークの開始フレームと停止フレームとを示す図である。
【図５】本発明の一実施形態における示唆画像を示す図である。
【図６】本発明を適用しない場合において、不自然なフレームワークにて動画像が失敗撮像された一例を示す図である。
【図７】本発明の一実施形態におけるフレームワーク動画像を示す図である。
【図８】本発明の一実施形態におけるフレームワーク動画像を示す図である。
【符号の説明】
【００５５】
１・・・撮像部、２・・・画像記録部、３・・・動画像記録操作部、４・・・フレーム抽出部、５・・・静止画像選択部、６・・・フレームワーク動画像生成部、７・・・動きセンサ、８・・・ズームレンズ、９・・・ズームリング／レバー、１０・・・撮像示唆部
【図１】
2009296109.tif 000003
【図２】
2009296109.tif 000004
【図３】
2009296109.tif 000005
【図４】
2009296109.tif 000006
【図５】
2009296109.tif 000007
【図６】
2009296109.tif 000008
【図７】
2009296109.tif 000009
【図８】
2009296109.tif 000010