(57)【要約】  記録装置において、高速度カメラ（３０１）は、一連の画像を高速のシャッター速度で連続して撮影する。次に、ＭＶ算出部（３０３）は、高速度カメラ（３０１）によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める。次に、記録器（３０７）は、高速度カメラ（３０１）によって撮影された画像を、この画像に対応する動きベクトルとともに記録する。一方、再生装置において、記録器（３０７）によって記録された一連の画像に、記録装置によって記録された動きベクトルを追加して再生する。
2007063819.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、
前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、
前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項２】
前記一連の画像からフレームを間引くフレーム間引き手段を備えることを特徴とする請求項１に記載の記録装置。
【請求項３】
前記間引かれたフレームに対応する動きベクトルを統合する動きベクトル統合手段を備え、
前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項２に記載の記録装置。
【請求項４】
前記一連の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項１〜３のいずれか一つに記載の記録装置。
【請求項５】
前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項１に記載の記録装置。
【請求項６】
前記符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号化データの一部として多重化することを特徴とする請求項５に記載の記録装置。
【請求項７】
前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項１に記載の記録装置。
【請求項８】
一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、
前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、
前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、
前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項９】
前記記録手段は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする請求項８に記載の記録装置。
【請求項１０】
前記一連の画像からフレームを間引くフレーム間引き手段を備えることを特徴とする請求項８または９に記載の記録装置。
【請求項１１】
前記間引かれたフレームに対応する動きベクトルを統合する動きベクトル統合手段を備え、
前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項１０に記載の記録装置。
【請求項１２】
前記一連の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項８に記載の記録装置。
【請求項１３】
前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項８に記載の記録装置。
【請求項１４】
符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号化データの一部として多重化することを特徴とする請求項８に記載の記録装置。
【請求項１５】
前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項８に記載の記録装置。
【請求項１６】
請求項１〜７のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、
を備えることを特徴とする再生装置。
【請求項１７】
前記動きベクトルに基づいて、フレームを補間するフレーム補間手段を備えることを特徴とする請求項１６に記載の再生装置。
【請求項１８】
前記動きベクトルを補間する動きベクトル補間手段を備えることを特徴とする請求項１７に記載の再生装置。
【請求項１９】
前記一連の画像を再生する速度を制御する速度制御手段を備えることを特徴とする請求項１６〜１８のいずれか一つに記載の再生装置。
【請求項２０】
請求項１〜７および９〜１５のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、
前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、
を備えることを特徴とする再生装置。
【請求項２１】
請求項７に記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された静止画を再生する第一の再生手段と、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、
を備えることを特徴とする再生装置。
【請求項２２】
請求項１５に記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された静止画を再生する第一の再生手段と、
前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、
を備えることを特徴とする再生装置。
【請求項２３】
一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、
前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、
前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、
を含むことを特徴とする記録方法。
【請求項２４】
一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、
前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、
前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、
前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、
を含むことを特徴とする記録方法。
【請求項２５】
請求項２３または２４に記載の記録方法をコンピュータに実行させることを特徴とする記録プログラム。
【請求項２６】
請求項２５に記載の記録プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像を撮影して記録する記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に関する。ただしこの発明の利用は、上述の記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に限らない。
【背景技術】
【０００２】
通常の写真の撮影は、ビデオ撮影と比べてシャッタースピードが高速である。これには被写体ブレや手ブレなどの動きブレを抑える目的もあり、静止画として良い画質を得るにはある程度高速なシャッタースピードが必要である場合が多い。しかし動画撮影時においては逆に、各フレームが動きブレを含むような低速なシャッタースピードとなる。これは、動きブレがないと、人間の目には動きの滑らかさのない間欠的な動きに見えてしまうからである。そのためＣＧアニメーションなどでは、わざわざ各コマにモーションブラー（動きブレ）を加える処理を行っている。【０００３】
つまり、低速シャッターの撮影では動きの滑らかな動画を撮影できるが、動きブレの少ない静止画を撮影することはできず、高速シャッターでの撮影では動きブレの少ない静止画を得ることができるが、動画再生時に動きが間欠的に見え不自然になってしまう。したがって、動画と静止画の同時撮影機能を実現しようとした場合、動画の滑らかさを優先させれば動きブレのある静止画しか得られず、静止画の画質を優先させれば動画の滑らかさが失われてしまうという問題がある。【０００４】
従来技術としては、通常の解像度のカメラに加え、低解像度高速度カメラを併用してフレーム間のマッチングをとるものがある（たとえば、特許文献１参照。）。また、再生時に残像を付加することにより自然な画質を得るものがある（たとえば、特許文献２参照。）。【０００５】
【特許文献１】特開２００３−２０３２３７号公報
【特許文献２】特開平５−２６８５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１の従来技術では、通常の（高解像度）カメラの他に低解像度高速度カメラが必要であり、動きブレを付加するブロックはない。この技術の目的は、フレーム間の対応点を正確に求める（＝動きベクトルを求める）ことであり、この場合の高速度カメラ画像はマッチングをとるためだけに用いられる。そして、低解像度高速度カメラ画像で得られたマッチング情報あるいは既知の対応点情報を拘束条件として高解像度画像での対応点を求めている。すなわち、静止画と動画の同時撮影を目的としたものはない。【０００７】
また、特許文献２の従来技術は、残像の付加のために再生時に動きベクトルを求めるものであり、高精度な動きベクトルを求めることが困難であるとともに、再生器のコストを上げてしまうという問題が挙げられる。
【課題を解決するための手段】
【０００８】
請求項１の発明にかかる記録装置は、一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記撮影手段によって撮影された画像を、該画像に対応する動きベクトルとともに記録する記録手段と、を備えることを特徴とする。【０００９】
請求項８の発明にかかる記録装置は、一連の画像を高速のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、を備えることを特徴とする。【００１０】
請求項１６の発明にかかる再生装置は、請求項１〜７のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、を備えることを特徴とする。【００１１】
請求項２０の発明にかかる再生装置は、請求項１〜７および９〜１５のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、を備えることを特徴とする。【００１２】
請求項２１の発明にかかる再生装置は、請求項７に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、を備えることを特徴とする。【００１３】
請求項２２の発明にかかる再生装置は、請求項１５に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、を備えることを特徴とする。【００１４】
また、請求項２３の発明にかかる記録方法は、一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、を含むことを特徴とする。【００１５】
請求項２４の発明にかかる記録方法は、一連の画像を高速のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、を含むことを特徴とする。【００１６】
また、請求項２５の発明にかかる記録プログラムは、請求項２３または２４に記載の記録方法をコンピュータに実行させることを特徴とする。【００１７】
また、請求項２６の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項２５に記載の記録プログラムを記録したことを特徴とする。
【図面の簡単な説明】
【００１８】
【図１】図１は、この発明の実施の形態にかかるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。
【図２】図２は、この発明の実施の形態にかかるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。
【図３】図３は、この発明の実施の形態にかかる再生装置の機能的な構成を説明するブロック図である。
【図４】図４は、モーションブラーなしの記録処理を説明するフローチャートである。
【図５】図５は、モーションブラーなしで記録された信号の再生処理を説明するフローチャートである。
【図６】図６は、モーションブラーありの記録処理を説明するフローチャートである。
【図７】図７は、フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。
【図８】図８は、フレームを間引いてＭＶ統合し、統合されたＭＶを符号化して映像を記録する記録装置の構成を説明するブロック図である。
【図９】図９は、フレーム間引き、ＭＶ統合、モーションブラーありの記録装置を説明するブロック図である。
【図１０】図１０は、ＭＶ統合部で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。
【図１１】図１１は、解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。
【図１２】図１２は、静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。
【図１３】図１３は、互換性確保機能を持つ記録装置の構成を説明するブロック図である。
【図１４】図１４は、フレーム補間処理を実行する再生装置を説明するブロック図である。
【図１５】図１５は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。
【図１６】図１６は、高品位なスロー再生を実現する再生装置の構成を説明するブロック図である。
【図１７】図１７は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。
【図１８】図１８は、動きブレ追加部がなく、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
【図１９】図１９は、動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
【図２０】図２０は、ＤＶＤビデオカメラまたはＨＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
【図２１】図２１は、ＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
【符号の説明】
【００１９】
３０１  高速度カメラ
３０２  メモリ
３０３  ＭＶ算出部
３０４  映像符号化器
３０５  ＭＶ符号化器
３０６  多重化器
３０７  記録器
４０１  再生器
４０２  逆多重化器
４０３  映像復号器
４０４  ＭＶ復号器
４０５  動きブレ追加部
４０６  静止画出力部
４０７  動画出力部
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照して、この発明にかかる記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。【００２１】
図１は、この発明の実施の形態にかかるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。この記録装置は、高速度カメラ３０１、メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７によって構成される。このモーションブラーとは、動いているものに発生する残像などの画像のブレであり、以降、モーションブラーまたは動きブレと表現する。【００２２】
高速度カメラ３０１は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。フレームレートとの関係は、フレームレート以上であるという以外関連はない。例えば、３０フレーム毎秒のフレームレートにおいて、シャッタースピードは１／６０秒であったり１／２５０秒であったり１／１０００秒であったりする。【００２３】
メモリ３０２は、高速度カメラ３０１で撮影された画像を記録する。メモリ３０２に記憶された画像は、ＭＶ算出部３０３と映像符号化器３０４に渡される。ＭＶ算出部３０３は、メモリ３０２から読み出した画像の間の動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する。算出された動きベクトルはＭＶ符号化器３０５に入力される。【００２４】
映像符号化器３０４は、メモリ３０２に記憶された画像情報を映像情報として符号化する。符号化された映像情報は、多重化器３０６に出力される。ＭＶ符号化器３０５は、ＭＶ算出部３０３で算出された動きベクトルを符号化する。符号化された映像情報と符号化された動きベクトルは、多重化器３０６に出力される。【００２５】
多重化器３０６は、符号化された情報を多重化する。多重化された情報は、記録器３０７によって記録される。メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７は、ＣＰＵが、ＲＯＭに記録されたプログラムを読み出し、ＲＡＭをワークエリアとして使用することにより実現できる。【００２６】
以上の構成により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、各フレーム画像と動きベクトルを記録する。高速シャッターを用いて撮影することにより動きブレの少ない鮮鋭な静止画を得て、そこから高精度な動きベクトルを推定する。【００２７】
なお、映像の符号化方式として、ＭＰＥＧなどの動き情報を利用する方式を用いる場合は、映像符号化器３０４にＭＶ算出部３０３で算出した動きベクトルを入力し、映像符号化器３０４が、動きベクトルから映像符号化に必要な動き情報を得るようにしてもよい。この場合、映像の復号に必要な動き情報は映像符号化データの中に多重される。【００２８】
また、上記映像符号化データの中の動き情報を、再生側で用いる動きベクトルとするようにしてもよい。その場合はＭＶ符号化器３０５は不要となり、多重化器での符号化された動きベクトルの多重化は行わない。【００２９】
図２は、この発明の実施の形態にかかるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。この記録装置は、図１に示したモーションブラーなしの記録装置において、動きブレ追加部３１０を、メモリ３０２と映像符号化器３０４の間に加え、ＭＶ算出部３０３からの入力を受け付ける構成にしたものである。【００３０】
動きブレ追加部３１０は、メモリ３０２に記録された映像を読み出し、また、ＭＶ算出部３０３で求められた動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレが追加された映像は、図１と同様に映像符号化器３０４に出力される。そして、図１と同様に、符号化された映像と動きベクトルを処理する。【００３１】
以上の構成により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、動きベクトルによって動きブレを追加した映像を、その元となる動くベクトルとともに記録することができる。【００３２】
なお、図１の場合と同様に、映像の符号化方式として、ＭＰＥＧなどの動き情報を利用する方式を用いる場合は、映像符号化器３０４にＭＶ算出部３０３で算出した動きベクトルを入力し、映像符号化器３０４が、動きベクトルから映像符号化に必要な動き情報を得るようにしてもよい。この場合も図１と同様に、映像の復号に必要な動き情報は映像符号化データの中に多重される。【００３３】
また図１の場合と同様に、上記映像符号化データの中の動き情報を、再生側で用いる動きベクトルとするようにしてもよい。その場合、ＭＶ符号化器３０５は不要となり、多重化器での符号化された動きベクトルの多重化は行わない。また、再生装置において映像復号器以外で動きベクトルを利用することを想定しない場合も、多重化器３０６で動きベクトルを多重する必要がないので、ＭＶ符号化器３０５は不要となる。【００３４】
図３は、この発明の実施の形態にかかる再生装置の機能的な構成を説明するブロック図である。この再生装置は、再生器４０１、逆多重化器４０２、映像復号器４０３、ＭＶ復号器４０４、動きブレ追加部４０５、静止画出力部４０６、動画出力部４０７によって構成される。この再生装置は、図１に示した記録装置で符号化された映像を受け取ることにより、映像を復号して再生することができる。【００３５】
再生器４０１は、符号化された映像と符号化された動きベクトルを多重化された状態で再生する。逆多重化器４０２は、符号化された映像と符号化された動きベクトルを逆多重化する。そして、それぞれ映像復号器４０３およびＭＶ復号器４０４に入力する。また、逆多重化器４０２では、音声等を出力する。【００３６】
映像復号器４０３は、符号化された映像を復号する。復号された映像は、動きブレ追加部４０５および静止画出力部４０６に出力される。ＭＶ復号器４０４は、逆多重化器４０２からの入力を受けて、動きベクトルを復号する。動きブレ追加部４０５は、復号された動きベクトルの入力を受け、映像復号器４０３で復号された映像について、動きブレを含めた映像を作成する。【００３７】
このように、再生時に動きベクトルを用いて動きブレを追加する。すなわち、記録時に得られた静止画に、記録時に得られた動きベクトルを用いて動きブレを加えることにより滑らかな動きの動画を同時に得る。動きベクトルとは、ある画像について参照すべき画像と現在の画像の間で差分をとったときの、動いた領域の移動の方向と移動距離が求まる移動量をいう。この動きベクトルを用いることにより、再生時に、動いた領域については動きベクトルから画像の動きブレを求めることができる。【００３８】
以上のように説明した再生装置により、撮影した一連の画像について動きベクトルとともに記録された映像について、再生時にこの算出した動きベクトルを読み出すことができる。それにより、この動きベクトルから求めることができる動きブレに従って、滑らかに映像を再生することができる。したがって再生側では、撮影した一連の画像を、動きブレのない鮮明な静止画像としても、滑らかな動画像としても同一のデータから再生することができる。【００３９】
なお、図２のモンションブラーありの記録装置に対応する再生装置では、再生側で動きブレを追加する必要がなく、また映像復号器４０３からは動きブレのない静止画は再生できないので、図３より動きブレ追加部４０５と静止画出力部４０６を除いたものになる。また、再生側で動きベクトルを利用しない場合は、ＭＶ復号器４０４も必要ないものとなる。【００４０】
次に、「高速」なシャッタースピードの設定方法の例について述べる。この「高速」なシャッタースピードは、動きベクトルを正確に求めるために必要であるが、映像内の被写体の移動スピードによっても異なる。そこで、その映像内の移動スピードを推定してその推定された移動量からシャッタースピードを決定してフィードバックを掛ける方法が考えられる。【００４１】
また、被写体の種類や撮影シーンなどによってもほぼ必要なシャッタースピードは決ってくる。そこで、例えばユーザーが撮影前に設定するモード設定ダイヤルを設け、風景や動きの遅い被写体では１／２５０、運動会などでは１／１０００、モータースポーツ等では１／１００００などのように各モードにあわせた基準値を設定しても良い。実際に使用するシャッタースピードはその基準値に対し、被写体の明るさ、撮影感度、絞り等から最終的に決定される。【００４２】
図４は、モーションブラーなしの場合の記録処理を説明するフローチャートである。まず、一連の画像を高速のシャッター速度で連続して撮影する（ステップＳ２０１）。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める（ステップＳ２０２）。次に、撮影された一連の画像を、この画像に対応する動きベクトルとともに記録する（ステップＳ２０３）。そして一連の処理を終了する。以上の処理により、高速度カメラを用いて撮影し、動きベクトル（ＭＶ）を検出し、各フレーム画像と動きベクトルを記録する。【００４３】
図５は、モーションブラーなしで記録された信号の再生処理を説明するフローチャートである。まず、記録装置によって記録された一連の画像と記録装置によって記録された動きベクトルを分離する（ステップＳ２１１）。次に、一連の画像が静止画像または動画像のいずれであるかを判定する（ステップＳ２１２）。【００４４】
動画像の場合（ステップＳ２１２：動画像）、分離された動きベクトルに基づいて動きブレを追加する（ステップＳ２１３）。そして、動画像を再生する（ステップＳ２１４）。静止画像の場合（ステップＳ２１２：静止画像）、静止画像を再生する（ステップＳ２１５）。すなわち、分離された画像をそのまま出力する。【００４５】
以上の再生処理により、撮影した一連の画像について動きベクトルとともに記録された映像をもとに、動きブレのない鮮明な静止画と、動きブレを追加した動きの滑らかな映像を同時に再生することができる。【００４６】
図６は、モーションブラーありの記録処理を説明するフローチャートである。まず、一連の画像を高速のシャッター速度で連続して撮影する（ステップＳ２２１）。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める（ステップＳ２２２）。次に、動きベクトルに基づいて動きブレを求め、一連の画像に求めた動きブレを追加する（ステップＳ２２３）。【００４７】
次に、動きブレを追加された一連の画像を記録する（ステップＳ２２４）。そして一連の処理を終了する。以上の処理により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、動きベクトルによって動きブレを追加した映像を、その元となる動くベクトルとともに記録することができる。【００４８】
以上のように、図１〜図６によって説明したこの発明の実施の形態によれば、ブレの少ない静止画と滑らかな動きの動画の同時記録再生ができる。すなわち、高速度カメラ３０１を使用することにより、静止画を撮影することができる一方で、高速で撮影された多数の静止画から求められる動きベクトルにより、動きブレを出すことができる。それにより、高速で撮影された多数の静止画からでも滑らかな動きの動画を再生することができる。【００４９】
また、通常多くの演算量が必要である動きベクトルの算出を記録側で実行するので、再生器４０１のコストを抑えられる。また、図２によって説明したこの発明の実施の形態によれば、記録側で高精度な動きベクトルを用いて動きブレを追加することにより、再生側での動きブレ追加が不要となり、従来の再生システムとの互換性を持って高画質な映像符号化が行えるともに、再生側での高精度な動きベクトルの応用が可能となる。【００５０】
また、高速度カメラ３０１を用いることにより、動きベクトル検出精度を向上させることができる。通常の動画撮影に用いられるシャッタースピードでは、動きブレが多く静止画として適さないと同時に、動きブレの多いフレームと少ないフレームでは物体形状が変ってしまっているため、動きベクトルを精度良く検出することができない。【００５１】
これに対し、高速度カメラ３０１を用いて撮影された画像は動きブレが少ないため、各フレームが高画質な静止画であるとともに、フレーム間の相関から物体の動きを精度良く検出することができる。また、各フレームにブレのない動画は見た目に不自然な動きとなるため、再生時に動きベクトルが示す動き方向と動き量に応じて動きブレを追加することで、動きの滑らかな動画として再生できる。【００５２】
また、映像／音声の符号化は、特定の方式を用いる必要はないが、例えば映像の符号化としてＭＰＥＧに代表される動き補償予測符号化を用いた場合、上記のように動きベクトルをもとに符号化に用いる動き情報を生成することにより、動きベクトルが高精度で検出されているため予測残差が小さくなり、符号量の発生を抑えることができる。そのため通常のＭＰＥＧ符号化を行った場合に比べ、同じビットレートで高画質が、同程度の画質で長時間記録が行えるなどのメリットがある。
【実施例】
【００５３】
以上の発明の実施の形態において、モーションブラーなし、モーションブラーありの記録装置、これに対応する再生装置とその処理について説明した。ここで、この発明の実施の形態で説明した記録装置および再生装置の適用例および変形例について説明する。【００５４】
図７は、フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。この図７に示す記録装置は、図１に示した記録装置において、フレーム間引き部５０１を、メモリ３０２と映像符号化器３０４の間に加えたものである。また、高速度カメラ３０１はシャッター速度が高速なだけでなく、通常の映像再生のフレームレートよりも高速なフレームレートで撮影可能なものとする。【００５５】
フレーム間引き部５０１は、メモリ３０２から読み出した映像から、フレームの間引き処理を実行する。すなわち、ＭＶ算出部３０３で動きベクトルを必要な分だけ取得するのに各フレームを用いた後は、高速度カメラ３０１で撮影したフレームのうち、必要なフレーム以外は間引く形で、一部のフレームだけ残して映像符号化器３０４に出力する。そして、図１と同様に、符号化された映像と動きベクトルを処理する。【００５６】
図８は、フレームを間引くとともにそれに合わせてＭＶを統合し、統合されたＭＶを符号化して映像とともに記録する記録装置の構成を説明するブロック図である。この記録装置は、図７に示した記録装置にＭＶ統合部６０１を加えた構成になっている。【００５７】
ＭＶ統合部６０１は、ＭＶ算出部３０３で求められた動きベクトルを統合する。統合した動きベクトルは、映像符号化器３０４とＭＶ符号化器３０５に出力される。映像符号化器３０４は、間引かれたフレームに従って映像を符号化する。ＭＶ符号化器３０５は、統合された動きベクトルを符号化する。符号化された映像および動きベクトルは、多重化器３０６で多重化され、記録器３０７で記録される。【００５８】
動きベクトルを求める際、フレーム間での変形を伴う場合、ＭＰＥＧ等で用いられているブロックマッチングではマッチングがとれない。形状変化に対応するためにピクセル単位のオプティカルフローから特徴点の移動ベクトルを求める方法もあるが、動き量が大きい場合や輝度変化がある場合はやはりマッチングがとれない。そのため、このような場合は正確な動きベクトルを求めるのが困難になる。【００５９】
以上のように説明した記録装置によれば、通常のビデオ撮影よりも高速のフレームレートで撮影を行えば、フレーム間の形状変化・移動量が小さくなるので、動きベクトルや特徴点の移動ベクトルを精度良く求めることができる。動きベクトルを求めた後は、通常の再生に適したフレームレートに間引き、それに合わせて動きベクトルも統合する。フレームを間引くので、高速で大量に撮影しつつも、実際のデータ量は必要最小限にすることができる。また、再生時は動きの不自然さがないよう、動きベクトルが示す動き方向と動き量に応じて動きブレを追加する。したがって、データ量は大きく増やすことはなく、動きブレについては精度を上げることができる。【００６０】
すなわち、通常のビデオ撮影よりも高速のフレームレートで撮影を行うことにより、フレーム間の物体の移動量が小さくなる。そのため、高精度な動きベクトルを求めることができる。また、高速度撮影を行って動きベクトルを求めてからフレームを間引くことにより、データ量を大きく増やすことなく高精度な動きベクトルを求めることができる。この場合、移動量が大きい場合や照度の変化が大きい場合には推定が困難であるオプティカルフローを求めたい場合などに特に有効である。【００６１】
なお、図７のように、動きベクトルは統合せずに高速のフレームレートに対応したものを符号化して多重化してもよい。これにより、再生装置において高速のフレームレートに対応した動きベクトルをそのまま利用してフレーム補間できるので、スロー再生をさらに高品位に行うことができる。この場合、動きベクトルのデータ量が増大するが、映像データと比較してデータ量が少ないので、大きな影響はない。【００６２】
また、フレーム間引きを通常のフレームレートよりも低くなるように行い、再生装置において動きベクトルを用いてフレーム補間し、通常のフレームレートで再生することもできる。本実施例では、動くベクトルが高精度なので、このようにして映像のデータ量を削減して記録しても、再生装置において良好な動画を再生することができる。この場合も、動きベクトルを統合して多重化しても、統合しないで多重化しても、どちらでも可能であるが、統合しないほうが、データ量が増加するが、フレーム補間の精度が高められる。【００６３】
図９は、フレーム間引き、ＭＶ統合、モーションブラーありの記録装置を説明するブロック図である。この記録装置は、図８に示した記録装置に動きブレ追加部３１０を加えた構成になっている。【００６４】
動きブレ追加部３１０は、メモリ３０２に記録された映像を読み出し、また、ＭＶ統合部６０１で統合された動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレを追加した映像は、図１と同様に映像符号化器３０４に出力する。そして、図１と同様に、符号化された映像と動きベクトルを処理する。【００６５】
図１０は、ＭＶ統合部６０１で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。この記録装置は、図９に示した記録装置のＭＶ算出部３０３で求められた動きベクトルを、ＭＶ統合部６０１によって統合処理して符号化・多重化処理する。【００６６】
すなわち、ＭＶ算出部３０３で求められた動きベクトルは、図９においてはＭＶ符号化器３０５に送られるとともにＭＶ統合部６０１にも送られる。そして、統合化前の動きベクトルが処理対象となる。図１０においては、ＭＶ算出部３０３で求められた動きベクトルは、ＭＶ統合部６０１で統合処理される。そして、統合処理された動きベクトルが、ＭＶ符号化器３０５に送られるとともに動きブレ追加部３１０にも送られる。すなわち、統合化後の動きベクトルがＭＶ符号化器３０５で処理される。【００６７】
図１１は、解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。この記録装置は、図１に示した記録装置に、解像度変換部９０１および動きブレ追加部３１０を加えた構成にしたものである。【００６８】
解像度変換部９０１は、メモリ３０２に記録された映像を読み出し、解像度を変換する。解像度変換処理後は、動きブレ追加部３１０が、ＭＶ算出部３０３から読み出した動きベクトルに基づいて映像に動きブレを追加する。なお、動きブレ追加部３１０は必須ではなく、記録時に動きブレを追加しておきたい場合は動きブレ追加部３１０で処理を実行するが、再生装置で動きブレを追加する構成になっているなど、記録時に動きブレを追加する必要がない場合は、動きブレ追加部３１０を用意せずに、解像度変換部９０１で処理された映像を、そのまま映像符号化器に出力することも出来る。そして、他の記録装置の構成と同様に、符号化された映像と動きベクトルの処理を実行する。【００６９】
図１２は、静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。この記録装置は、図１に示した記録装置のうち映像符号化器３０４を除き、解像度変換部９０１、動画符号化器９０２、静止画記録シャッター１２０１、静止画符号化器１２０２を加えた構成になっている。【００７０】
解像度変換部９０１は、メモリ３０２から読み出した映像の解像度を変換する。動画の場合、静止画に対して解像度が低くて良い場合が多いので、解像度変換部９０１は、この動画の解像度を必要であれば下げる。解像度を下げた映像は、動画復号化器９０２に出力する。動画符号化器９０２は、この解像度変換された画像を動画として符号化する。符号化された動画は多重化器３０６を経て、記録器３０７に出力される。動画の解像度を下げる必要がなければ、解像度変換部はなくて良い。【００７１】
静止画記録シャッター１２０１は、撮影した画像を静止画として記録する際に用いるシャッターである。静止画符号化器１２０２は、静止画記録シャッター１２０１からの画像指定の入力を受けて、メモリ３０２から読み出した画像を静止画として符号化する。符号化された静止画は多重化器３０６を経て、記録器３０７に出力される。【００７２】
以上のように、図１２の記録装置は、高速度カメラを用いて撮影して動きベクトルを求めた後、動画が必要な場合、必要に応じて解像度変換を行って記録し、静止画は静止画記録シャッターが押されたフレームだけ記録する。【００７３】
図１３は、図２と同様に、従来の再生システムとの互換性を持って動画符号化が行える記録装置の構成を説明するブロック図である。この記録装置は、図１に示した記録装置のうち映像符号化器３０４とＭＶ符号化器３０５を除き、解像度変換部９０１、動きブレ追加部３１０、動画符号化器９０２、静止画記録コントローラ１３０１、静止画符号化器１２０２を加えた構成になっている。【００７４】
解像度変換部９０１は、メモリ３０２から撮影された画像を読み出して、この画像の解像度を変換する。変換された画像は、動きブレ追加部３１０に出力する。動きブレ追加部３１０は、ＭＶ算出部３０３から出力された動きベクトルを使用して、解像度変換部９０１で解像度変換した画像に動きブレを追加する。動画符号化器９０２は、この動きブレを追加した画像を動画として符号化する。符号化された動画は多重化器３０６を経て、記録器３０７に出力される。【００７５】
静止画記録コントローラ１３０１は、例えば、静止画の間欠記録を指定する。その場合、動きベクトルは記録しないか、動きベクトルを再生装置における静止画間の画像補間に利用するために動きベクトルを統合して新たな動きベクトルとして記録するようにしてもよい。また例えば、静止画記録コントローラ１３０１は、静止画記録用シャッターであってもよい。その場合は動きベクトルを記録する必要はない。【００７６】
静止画符号化器１２０２は、メモリ３０２から読み出した画像を、静止画として符号化する。また、静止画記録コントローラ１３０１からの入力を受け、指示内容にしたがって、静止画を符号化する。符号化した静止画は多重化器３０６を経て、記録器３０７に出力される。【００７７】
ここで図１３の記録装置において、高速度カメラ３０１を用いて撮影して動きベクトルを求めた後、静止画はそのままあるいは必要なフレームだけ、動画は動きブレを加えて記録することにより、従来の再生システムとの動画符号化方式の互換性を保つことができる。【００７８】
（再生装置）
図１４は、フレーム補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図３に示した再生装置にフレーム補間部１４０１を加えた構成になっている。フレーム補間部１４０１により、フレームを間引き処理した映像を、もとのフレームで再生できるようにフレーム補間する。このフレーム補間部１４０１は、映像復号器４０３で復号された映像を、ＭＶ復号器４０４で復号された動きベクトルにしたがって、フレーム補間する。この場合、動きベクトルは間引きされていない元のフレームに対応したものとする。フレーム補間された映像は、静止画の場合は静止画出力部４０６に、動画の場合は動きブレ追加部４０５に出力する。【００７９】
図１５は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図１４に示した再生装置にＭＶ補間部１５０１に加えた構成であり、動きベクトルも映像と同様に間引して記録する記録装置に対応している。ＭＶ補間部１５０１は、ＭＶ復号器４０４で復号された動きベクトルを補間する。補間された動きベクトルは、間引きされていない元のフレームに対応したものとなり、図１４に示した再生装置と同様に、フレーム補間部１４０１、動きブレ追加部４０５に出力される。このような構成により、図１４、図１５に示した再生装置では、動きベクトルを利用してフレームを補間した後に動きブレを追加することにより、映像を滑らかに再生することができる。【００８０】
なお、図１４、図１５において、静止画出力部４０６への入力は、フレーム補間部１４０１からではなく、映像復号器４０３から取り出すようにしてもよい。また、図２のように動きブレ追加部を備えた記録装置に対応する再生装置の場合は、動きブレ追加部４０５は不要となる。【００８１】
図１６は、高品位なスロー再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、フレーム補間部１４０１、映像出力部１６０２、再生スピードコントローラ１６０１を加え、静止画出力部４０６と動画出力部４０７を除いた構成になっている。【００８２】
フレーム補間部１４０１は、映像復号器４０３から出力された復号映像を、フレーム補間する。フレーム補間部１４０１は映像復号器から入力されるフレームだけでなく、ＭＶ復号器４０４からの動きベクトルにも基づいて補間を実行する。【００８３】
映像出力部１６０２は、動きブレ追加部４０５で動きブレを追加された映像を再生する。再生スピードコントローラ１６０１は、再生器４０１、逆多重化器４０２、映像復号器４０３、動きブレ追加部４０５、フレーム補間部１４０１の各部に、スピード制御信号を入力することにより、各部における動作速度を制御し、それにより再生スピードを制御する。【００８４】
このように再生スピードコントローラ１６０１によって再生スピードを制御することができるので、映像の再生スピードを下げることもでき、それにより映像のスロー再生を実現することができる。その一方で、スロー再生により表示される単位時間当たりのフレーム数の減少に対して、フレーム補間部１４０１によってフレームを補間するので、スロー再生した映像を違和感なく視聴することができる。スロー再生された映像は、ＭＶ復号器４０４によって復号された動きベクトルにしたがって動きブレ追加部４０５による動きブレを追加する。それにより、映像出力部１６０２から滑らかな動きの映像を出力することができる。【００８５】
以上のように説明した図１６の再生装置によれば、記録装置において高精度に求まった動きベクトルを用いてフレーム補間することにより、高画質な補間画像を得ることができる。これを利用して、動きブレの少ない静止画から滑らかな動画までシームレスに高品位なスロー再生を行うことができる。【００８６】
高品位なスロー再生は、以下のｉ）〜ｉｉｉ）のいずれにおいても、補間するフレームに対応する動きベクトルが高精度に求まっていれば、可能となる。
ｉ）高いフレームレートで撮影して、通常の動画再生のレートまでフレーム間引きして画像を記録した場合。
ｉｉ）通常の動画再生のフレームレートで撮影してそのまま画像を記録した場合。
ｉｉｉ）通常のフレームレート以下に間引きして画像を記録した場合。【００８７】
図１７は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、ＭＶグルーピング部１７０２、オブジェクト処理部１７０１、映像出力部１６０２を加え、動きブレ追加部４０５、静止画出力部４０６、動画出力部４０７を除いた構成になっている。【００８８】
ＭＶグルーピング部１７０２は、ＭＶ復号器４０４で復号された動きベクトルをグループ化してオブジェクト処理部１７０１に出力する。オブジェクト処理部１７０１は、ＭＶグルーピング部１７０２から出力された、グループ化された動きベクトルの入力を受けて、映像復号器４０３から出力された映像に含まれるオブジェクトの、認識・追跡・分離を実行する。また、得られたオブジェクトについて色処理を実行したり、オブジェクトの置換処理を実行したりすることもできる。映像出力部１６０２は、オブジェクト処理部１７０１から出力された映像を再生する。【００８９】
このように、ＭＶ復号器４０４によって復号された動きベクトルは、ＭＶグルーピング部１７０２によって似た動きのベクトルがグルーピングされる。したがって、オブジェクト処理部１７０１によって似た動きのベクトルによるオブジェクトを、別々に処理することができる。【００９０】
ここでさらに、記録装置において高速度撮影を行うことによって、オプティカルフローなどのピクセル単位の動きも正確に求められるようになる。そして、ピクセル単位の動きを解析することによって、物体の距離の推定やオブジェクト認識の精度が高まり、立体視化やオブジェクトごとの別処理・オブジェクトの置換処理なども可能となる。そのようなことが、通常の動画撮影と同時に行える。【００９１】
以上のように説明した図１７の再生装置によれば、例えば似た動きのベクトルをグルーピングすることにより、動きベクトルが高精度に求まっているため、オブジェクト認識・追跡・分離ができる。したがって、オブジェクト毎に色や明るさを調整したり、オブジェクトを別のオブジェクトに置換したりすることができる。【００９２】
図１８は、図１２のように、動きブレ追加部がなく、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置の映像復号器４０３を動画復号器１１０２に置き換え、静止画出力部４０６と動画出力部４０７を映像出力部１１０３に置き換え、静止画復号器１１０１を加えた構成になっている。【００９３】
静止画復号器１１０１は、逆多重化器４０２で逆多重化された静止画を復号する。復号後の静止画は、映像出力部１１０３に出力する。動画復号器１１０２は、逆多重化器４０２で逆多重化された動画を復号する一方、ＭＶ復号器４０４は、動きベクトルを復号する。そして、動きブレ追加部４０５は、動画に動きブレを追加して、映像出力部１１０３に出力する。映像出力部１１０３は、入力された静止画または動画を再生する。【００９４】
以上のように説明した図１８の再生装置は、動画再生時は動きベクトルが示す動き方向と動き量に応じて動きブレを追加して再生し、静止画再生時には高解像度の静止画を再生することができる。【００９５】
図１９は、図１３のように、動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置の再生器４０１と逆多重化器４０２に、静止画復号器８０１、動画復号器８０２、映像出力部８０３を加えた構成になっている。【００９６】
静止画復号器８０１は、逆多重化器４０２から静止画が出力された場合、静止画を復号して映像出力部８０３に出力する。動画復号器８０２は、逆多重化器４０２から動画が出力された場合、動画を復号して映像出力部８０３に出力する。映像出力部８０３は、静止画復号器８０１から出力された静止画、または動画復号器８０２から出力された動画を再生する。【００９７】
以上のように説明した図１９の再生装置が対応する記録装置では、高速度カメラで得られたブレの少ない高画質な静止画をユーザー領域などに多重化するものとする。一方、動画は必要に応じて解像度変換を行ったあと動きベクトルが示す動き方向と動き量に応じて動きブレを追加し、従来の再生装置で再生可能な領域に多重化するものとする。これにより、従来の再生装置では通常の動画が再生でき、本記録装置に対応した図１９の再生装置では、通常の動画に加えてブレの少ない高画質な静止画も再生できる。【００９８】
このようにして、従来の動画再生装置と互換性を確保しつつ高画質な静止画の再生を行うことができる。なお、記録装置において、静止画を間欠記録して、静止画間の動きベクトルも記録するようにすれば、対応再生装置でＭＶ復号器を持てば、静止画を利用した高解像度の動画あるいは擬似動画を再生することができる。【００９９】
図２０は、ＤＶＤビデオカメラまたはＨＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図８に示した記録装置に、システムコントロールユニット２００１、レート調整部２００２、同期ヘッダ生成部２００３、音声符号化器２００４、パッキング部２００５〜２００７を加え、記録器３０７をＤＶＤ記録部２０１０、ＨＤＶ記録部２０２０に置き換えた構成になっている。この図１２を参照して、記録装置のＤＶＤビデオカメラ／ＨＤＶカメラへの応用例を示す。【０１００】
この記録装置では、高速度カメラ３０１から得られた映像について、ＭＶ算出部３０３は、動きベクトルを高い精度で求める。ＭＶ統合部６０１は、フレーム間引き部５０１によるフレーム間引きのレートに対応してこの動きベクトルを統合する。そして、映像符号化器３０４およびＭＶ符号化器３０５では、フレーム間引きされた映像と統合された動きベクトルがそれぞれ符号化される。ここで映像符号化にはＭＰＥＧを用いるものとし、統合された動きベクトルを映像符号化に利用している。【０１０１】
その際、動きベクトルは映像データ記録領域の中に動き情報として収納されるが、映像データ記録領域に収納しきれない動きベクトルデータや、オプティカルフローから求めた任意形状変化に対応する動きベクトルなどは、映像データとは別にパッキング部２００６でパッキングを行いプライベートストリームとして記録しても良い。【０１０２】
システムコントロールユニット２００１は、付加的な動きベクトルデータ分を記録することによるデータ量増加分に対応するため、必要であれば映像データや音声データのビットレート調整を制御する。レート調整部２００２は、システムコントロールユニット２００１による制御を受け、映像符号化器３０４、ＭＶ符号化器３０５、音声符号化器２００４のレートを制御する。同期ヘッダ生成部２００３は、システムコントロールユニット２００１による制御を受けて同期ヘッダを生成し、パッキング部２００５〜２００７に出力する。【０１０３】
一方、音声符号化器２００４は、入力された音声を符号化する。映像符号化器３０４、ＭＶ符号化器３０５、音声符号化器２００４は、レート調整部２００２によるレート調整を受けて、パッキング部２００５〜２００７にそれぞれ符号化したデータを出力する。パッキング部２００５〜２００７は、同期ヘッダ生成部２００３から出力された同期ヘッダを受けて、符号化されたデータのパッキングを実行する。すなわち、同期用のパケットヘッダーを付加する。そして、ＡＵＸデータとともに多重化器３０６に出力する。【０１０４】
多重化器３０６は、パッキングされたデータを多重化して、記録用ＤＶＤ２０１２に記録する場合は、ＤＶＤ記録部２０１０に、ＨＤＶ２０２２に記録する場合は、ＨＤＶ記録部２０２０に出力する。【０１０５】
その後、ＤＶＤ記録部２０１０は、変調器２０１１で変調を実行して記録用ＤＶＤ２０１２に記録する。記録用ＤＶＤ２０１２は、記録可能なＤＶＤ（デジタルビデオディスク）である。ＨＤＶ記録部２０２０は、変調器２０２１で変調を実行して、ＨＤＶ２０２２に記録する。ＨＤＶメディア２０２２は、ＨＤＶ規格の映像を記録することができるメディアである。【０１０６】
以上のように説明した図２０の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、ＤＶＤビデオカメラまたはＨＤＶカメラにおいて実現することができる。さらに、動きベクトルの精度が高いので、従来と同一のビットレートでより高画質な記録、あるいは同程度の画質でより長時間の記録を行うことができる。【０１０７】
図２１は、ＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図８に示した記録装置に、音声符号化器２００４、変調器２１００、ＤＶメディア２１０１を加えた構成になっている。この図１３を参照して、記録装置のＤＶ（デジタルビデオ）カメラへの応用例を示す。【０１０８】
映像符号化器３０４が映像を符号化し、ＭＶ符号化器３０５が動きベクトルを符号化するのと同様に、音声符号化器２００４は、入力された音声を符号化する。そして、それぞれ多重化器３０６に入力する。多重化器３０６には、音声の他映像、動きベクトルが入力されるのでこれらを多重化して変調器２１００に出力する。なお、ＤＶ規格では、映像符号化には動きベクトルを利用しない。【０１０９】
高速度カメラ映像から得られた高精度動きベクトルは、ＭＶ統合部６０１において、フレーム間引きのレートに対応して統合する。そして符号化されたのち、多重化器３０６において、映像データとは別にパッキングされ、付加データ領域あるいは未使用のリザーブ領域を利用して映像データ、音声データに多重される。そして、変調器２１００において変調した上で、ＤＶメディア２１０１に記録される。ＤＶメディア２１０１は、ＤＶ規格の映像を記録することができるメディアである。【０１１０】
以上のように説明した図２１の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、ＤＶカメラにおいて実現することができる。【０１１１】
なお、本発明における動きベクトルの符号化と多重化とは、ＭＰＥＧのような映像符号化における動きベクトルの符号化と多重化を含むものとする。また、各実施例は、本発明を限定するものではなく、各実施例で説明した各構成要素は、組み合わせることが可能であり、組み合わせにより種々変形例を作ることができる。たとえば、図１１の解像度変換と図９のフレーム間引きを同時に行って記録してもよい。【０１１２】
なお、以上のように説明した記録方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【図１】
2007063819.tif 000003
【図２】
2007063819.tif 000004
【図３】
2007063819.tif 000005
【図４】
2007063819.tif 000006
【図５】
2007063819.tif 000007
【図６】
2007063819.tif 000008
【図７】
2007063819.tif 000009
【図８】
2007063819.tif 000010
【図９】
2007063819.tif 000011
【図１０】
2007063819.tif 000012
【図１１】
2007063819.tif 000013
【図１２】
2007063819.tif 000014
【図１３】
2007063819.tif 000015
【図１４】
2007063819.tif 000016
【図１５】
2007063819.tif 000017
【図１６】
2007063819.tif 000018
【図１７】
2007063819.tif 000019
【図１８】
2007063819.tif 000020
【図１９】
2007063819.tif 000021
【図２０】
2007063819.tif 000022
【図２１】
2007063819.tif 000023
【手続補正書】
【提出日】平成19年9月28日(2007.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、
前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、
前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項２】
前記一連の画像からフレームを間引くフレーム間引き手段を備え、
前記算出手段は、前記撮影手段によって通常よりも高速のフレームレートで一連の画像を撮影されると、前記通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて動きベクトルを求め、
前記フレーム間引き手段は、前記算出手段によって動きベクトルが求められると、前記一連の画像のフレームのなかから所定のフレーム以外のフレームを間引くことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記算出手段によって通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて求められた動きベクトルを前記フレーム間引き手段によって間引かれたフレームに対応する動きベクトルとして統合する動きベクトル統合手段を備え、
前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項２に記載の記録装置。
【請求項４】
前記算出手段によって求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項１に記載の記録装置。
【請求項５】
前記符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号化データの一部として多重化することを特徴とする請求項５に記載の記録装置。
【請求項６】
前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項１〜５のいずれか一つに記載の記録装置。
【請求項７】
前記撮影手段によって撮影された一連の画像のうち、前記制御手段によるタイミング制御によって静止画として記録された画像以外の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項６に記載の記録装置。
【請求項８】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、
前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、
前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、
前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項９】
前記記録手段は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする請求項８に記載の記録装置。
【請求項１０】
前記一連の画像からフレームを間引くフレーム間引き手段を備え、
前記算出手段は、前記撮影手段によって通常よりも高速のフレームレートで一連の画像を撮影されると、前記通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて動きベクトルを求め、
前記フレーム間引き手段は、前記算出手段によって動きベクトルが求められると、前記一連の画像のフレームのなかから所定のフレーム以外のフレームを間引くことを特徴とする請求項８または９に記載の記録装置。
【請求項１１】
前記算出手段によって通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて求められた動きベクトルを前記フレーム間引き手段によって間引かれたフレームに対応する動きベクトルとして統合する動きベクトル統合手段を備え、
前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項１０に記載の記録装置。
【請求項１２】
前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備えることを特徴とする請求項８に記載の記録装置。
【請求項１３】
符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号化データの一部として多重化することを特徴とする請求項８に記載の記録装置。
【請求項１４】
前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段を備えることを特徴とする請求項８〜１３のいずれか一つに記載の記録装置。
【請求項１５】
前記撮影手段によって撮影された一連の画像のうち、前記制御手段によるタイミング制御によって静止画として記録された画像以外の画像の解像度を変換する解像度変換手段を備えることを特徴とする請求項１４に記載の記録装置。
【請求項１６】
請求項１〜７のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、
を備えることを特徴とする再生装置。
【請求項１７】
前記動きベクトルに基づいて、フレームを補間するフレーム補間手段を備えることを特徴とする請求項１６に記載の再生装置。
【請求項１８】
前記動きベクトルを補間する動きベクトル補間手段を備えることを特徴とする請求項１７に記載の再生装置。
【請求項１９】
前記一連の画像を再生する速度を制御する速度制御手段を備えることを特徴とする請求項１６〜１８のいずれか一つに記載の再生装置。
【請求項２０】
請求項１〜７および９〜１５のいずれか一つに記載の記録装置によってフレームレートの２倍以上のシャッター速度で撮影され、記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、
前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、
を備えることを特徴とする再生装置。
【請求項２１】
請求項６に記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された静止画を再生する第一の再生手段と、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、
を備えることを特徴とする再生装置。
【請求項２２】
請求項１４に記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された静止画を再生する第一の再生手段と、
前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、
を備えることを特徴とする再生装置。
【請求項２３】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、
前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、
前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、
を含むことを特徴とする記録方法。
【請求項２４】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、
前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、
前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、
前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、
を含むことを特徴とする記録方法。
【請求項２５】
請求項２３または２４に記載の記録方法をコンピュータに実行させることを特徴とする記録プログラム。
【請求項２６】
請求項２５に記載の記録プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
特許文献２  特開平５−２６８５１５号公報
発明の開示
発明が解決しようとする課題
［０００６］
しかしながら特許文献１の従来技術では、通常の（高解像度）カメラの他に低解像度高速度カメラが必要であり、動きブレを付加するブロックはない。この技術の目的は、フレーム間の対応点を正確に求める（＝動きベクトルを求める）ことであり、この場合の高速度カメラ画像はマッチングをとるためだけに用いられる。そして、低解像度高速度カメラ画像で得られたマッチング情報あるいは既知の対応点情報を拘束条件として高解像度画像での対応点を求めている。すなわち、静止画と動画の同時撮影を目的としたものはない。
［０００７］
また、特許文献２の従来技術は、残像の付加のために再生時に動きベクトルを求めるものであり、高精度な動きベクトルを求めることが困難であるとともに、再生器のコストを上げてしまうという問題が挙げられる。
課題を解決するための手段
［０００８］
請求項１の発明にかかる記録装置は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、を備えることを特徴とする。
［０００９］
請求項８の発明にかかる記録装置は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、を備えることを特徴とする。
［００１０］
請求項１６の発明にかかる再生装置は、請求項１〜７のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトル
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
に基づいて動きブレを追加する追加手段と、を備えることを特徴とする。
［００１１］
請求項２０の発明にかかる再生装置は、請求項１〜７および９〜１５のいずれか一つに記載の記録装置によってフレームレートの２倍以上のシャッター速度で撮影され、記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された動きベクトルをグルーピングするグルーピング手段と、前記グルーピングされた動きベクトルに対応するオブジェクト毎に処理する処理手段と、を備えることを特徴とする。
［００１２］
請求項２１の発明にかかる再生装置は、請求項６に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、を備えることを特徴とする。
［００１３］
請求項２２の発明にかかる再生装置は、請求項１４に記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像を動画として再生する第二の再生手段と、を備えることを特徴とする。
［００１４］
また、請求項２３の発明にかかる記録方法は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記撮影工程によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録工程と、を含むことを特徴とする。
［００１５］
請求項２４の発明にかかる記録方法は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、を含むことを特徴とする。
［００１６］
また、請求項２５の発明にかかる記録プログラムは、請求項２３または２４に記載の記録方法をコンピュータに実行させることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
［図１５］図１５は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。
［図１６］図１６は、高品質なスロー再生を実現する再生装置の構成を説明するブロック図である。
［図１７］図１７は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。
［図１８］図１８は、動きブレ追加部がなく、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
［図１９］図１９は、動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
［図２０］図２０は、ＤＶＤビデオカメラまたはＨＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
［図２１］図２１は、ＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
符号の説明
［００１９］
３０１  高速度カメラ
３０２  メモリ
３０３  ＭＶ算出部
３０４  映像符号化器
３０５  ＭＶ符号化器
３０６  多重化器
３０７  記録器
４０１  再生器
４０２  逆多重化器
４０３  映像復号器
４０４  ＭＶ復号器
４０５  動きブレ追加部
４０６  静止画出力部
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
４０７  動画出力部
発明を実施するための最良の形態
［００２０］
以下に添付図面を参照して、この発明にかかる記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
［００２１］
図１は、この発明の実施の形態にかかるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。この記録装置は、高速度カメラ３０１、メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７によって構成される。このモーションブラーとは、動いているものに発生する残像などの画像のブレであり、以降、モーションブラーまたは動きブレと表現する。
［００２２］
高速度カメラ３０１は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。例えば、３０フレーム毎秒のフレームレートにおいて、シャッタースピードは１／６０秒であったり１／２５０秒であったり１／１０００秒であったりする。
［００２３］
メモリ３０２は、高速度カメラ３０１で撮影された画像を記録する。メモリ３０２に記憶された画像は、ＭＶ算出部３０３と映像符号化器３０４に渡される。ＭＶ算出部３０３は、メモリ３０２から読み出した画像の間の動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する。算出された動きベクトルはＭＶ符号化器３０５に入力される。
［００２４］
映像符号化器３０４は、メモリ３０２に記憶された画像情報を映像情報として符号化する。符号化された映像情報は、多重化器３０６に出力される。ＭＶ符号化器３０５は、ＭＶ算出部３０３で算出された動きベクトルを符号化する。符号化された映像情報と符号化された動きベクトルは、多重化器３０６に出力される。
［００２５］
多重化器３０６は、符号化された情報を多重化する。多重化された情報は、記録器３０７によって記録される。メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７は、ＣＰＵが、ＲＯＭに記録されたプログラムを
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
ができる。また、高速度撮影を行って動きベクトルを求めてからフレームを間引くことにより、データ量を大きく増やすことなく高精度な動きベクトルを求めることができる。この場合、移動量が大きい場合や照度の変化が大きい場合には推定が困難であるオプティカルフローを求めたい場合などに特に有効である。
［００６１］
なお、図７のように、動きベクトルは統合せずに高速のフレームレートに対応したものを符号化して多重化してもよい。これにより、再生装置において高速のフレームレートに対応した動きベクトルをそのまま利用してフレーム補間できるので、スロー再生をさらに高品質に行うことができる。この場合、動きベクトルのデータ量が増大するが、映像データと比較してデータ量が少ないので、大きな影響はない。
［００６２］
また、フレーム間引きを通常のフレームレートよりも低くなるように行い、再生装置において動きベクトルを用いてフレーム補間し、通常のフレームレートで再生することもできる。本実施例では、動くベクトルが高精度なので、このようにして映像のデータ量を削減して記録しても、再生装置において良好な動画を再生することができる。この場合も、動きベクトルを統合して多重化しても、統合しないで多重化しても、どちらでも可能であるが、統合しないほうが、データ量が増加するが、フレーム補間の精度が高められる。
［００６３］
図９は、フレーム間引き、ＭＶ統合、モーションブラーありの記録装置を説明するブロック図である。この記録装置は、図８に示した記録装置に動きブレ追加部３１０を加えた構成になっている。
［００６４］
動きブレ追加部３１０は、メモリ３０２に記録された映像を読み出し、また、ＭＶ統合部６０１で統合された動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレを追加した映像は、図１と同様に映像符号化器３０４に出力する。そして、図１と同様に、符号化された映像と動きベクトルを処理する。
［００６５］
図１０は、ＭＶ統合部６０１で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。この記録装置は、図９に示した記録装置のＭＶ算出部３０３で求められた動きベクトルを、ＭＶ統合部６０１によって統合処理して符号化・多重化処理する。
［００６６］
すなわち、ＭＶ算出部３０３で求められた動きベクトルは、図９においてはＭＶ符号
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
て記録することにより、従来の再生システムとの動画符号化方式の互換性を保つことができる。
［００７８］
（再生装置）
図１４は、フレーム補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図３に示した再生装置にフレーム補間部１４０１を加えた構成になっている。フレーム補間部１４０１により、フレームを間引き処理した映像を、もとのフレームで再生できるようにフレーム補間する。このフレーム補間部１４０１は、映像復号器４０３で復号された映像を、ＭＶ復号器４０４で復号された動きベクトルにしたがって、フレーム補間する。この場合、動きベクトルは間引きされていない元のフレームに対応したものとする。フレーム補間された映像は、静止画の場合は静止画出力部４０６に、動画の場合は動きブレ追加部４０５に出力する。
［００７９］
図１５は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図１４に示した再生装置にＭＶ補間部１５０１に加えた構成であり、動きベクトルも映像と同様に間引して記録する記録装置に対応している。ＭＶ補間部１５０１は、ＭＶ復号器４０４で復号された動きベクトルを補間する。補間された動きベクトルは、間引きされていない元のフレームに対応したものとなり、図１４に示した再生装置と同様に、フレーム補間部１４０１、動きブレ追加部４０５に出力される。このような構成により、図１４、図１５に示した再生装置では、動きベクトルを利用してフレームを補間した後に動きブレを追加することにより、映像を滑らかに再生することができる。
［００８０］
なお、図１４、図１５において、静止画出力部４０６への入力は、フレーム補間部１４０１からではなく、映像復号器４０３から取り出すようにしてもよい。また、図２のように動きブレ追加部を備えた記録装置に対応する再生装置の場合は、動きブレ追加部４０５は不要となる。
［００８１］
図１６は、高品質なスロー再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、フレーム補間部１４０１、映像出力部１６０２、再生スピードコントローラ１６０１を加え、静止画出力部４０６と動画出力部４０７を除いた構成になっている。
［００８２］
フレーム補間部１４０１は、映像復号器４０３から出力された復号映像を、フレーム補
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
間する。フレーム補間部１４０１は映像復号器から入力されるフレームだけでなく、ＭＶ復号器４０４からの動きベクトルにも基づいて補間を実行する。
［００８３］
映像出力部１６０２は、動きブレ追加部４０５で動きブレを追加された映像を再生する。再生スピードコントローラ１６０１は、再生器４０１、逆多重化器４０２、映像復号器４０３、動きブレ追加部４０５、フレーム補間部１４０１の各部に、スピード制御信号を入力することにより、各部における動作速度を制御し、それにより再生スピードを制御する。
［００８４］
このように再生スピードコントローラ１６０１によって再生スピードを制御することができるので、映像の再生スピードを下げることもでき、それにより映像のスロー再生を実現することができる。その一方で、スロー再生により表示される単位時間当たりのフレーム数の減少に対して、フレーム補間部１４０１によってフレームを補間するので、スロー再生した映像を違和感なく視聴することができる。スロー再生された映像は、ＭＶ復号器４０４によって復号された動きベクトルにしたがって動きブレ追加部４０５による動きブレを追加する。それにより、映像出力部１６０２から滑らかな動きの映像を出力することができる。
［００８５］
以上のように説明した図１６の再生装置によれば、記録装置において高精度に求まった動きベクトルを用いてフレーム補間することにより、高画質な補間画像を得ることができる。これを利用して、動きブレの少ない静止画から滑らかな動画までシームレスに高品質なスロー再生を行うことができる。
［００８６］
高品質なスロー再生は、以下のｉ）〜ｉｉｉ）のいずれにおいても、補間するフレームに対応する動きベクトルが高精度に求まっていれば、可能となる。
ｉ）高いフレームレートで撮影して、通常の動画再生のレートまでフレーム間引きして画像を記録した場合。
ｉｉ）通常の動画再生のフレームレートで撮影してそのまま画像を記録した場合。
ｉｉｉ）通常のフレームレート以下に間引きして画像を記録した場合。
［００８７］
図１７は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、ＭＶグルーピング部１７０２、オブジェクト処理部１７０１、映像出力部１６０２を加え、動きブレ追加部４０５、静止画出力部４０６、動画出力部４０７を除いた構成になっている。
【手続補正書】
【提出日】平成21年2月12日(2009.2.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像を撮影して記録する記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に関する。ただしこの発明の利用は、上述の記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体に限らない。
【背景技術】
【０００２】
通常の写真の撮影は、ビデオ撮影と比べてシャッタースピードが高速である。これには被写体ブレや手ブレなどの動きブレを抑える目的もあり、静止画として良い画質を得るにはある程度高速なシャッタースピードが必要である場合が多い。しかし動画撮影時においては逆に、各フレームが動きブレを含むような低速なシャッタースピードとなる。これは、動きブレがないと、人間の目には動きの滑らかさのない間欠的な動きに見えてしまうからである。そのためＣＧアニメーションなどでは、わざわざ各コマにモーションブラー（動きブレ）を加える処理を行っている。
【０００３】
つまり、低速シャッターの撮影では動きの滑らかな動画を撮影できるが、動きブレの少ない静止画を撮影することはできず、高速シャッターでの撮影では動きブレの少ない静止画を得ることができるが、動画再生時に動きが間欠的に見え不自然になってしまう。したがって、動画と静止画の同時撮影機能を実現しようとした場合、動画の滑らかさを優先させれば動きブレのある静止画しか得られず、静止画の画質を優先させれば動画の滑らかさが失われてしまうという問題がある。
【０００４】
従来技術としては、通常の解像度のカメラに加え、低解像度高速度カメラを併用してフレーム間のマッチングをとるものがある（たとえば、特許文献１参照。）。また、再生時に残像を付加することにより自然な画質を得るものがある（たとえば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２０３２３７号公報
【特許文献２】特開平５−２６８５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１の従来技術では、通常の（高解像度）カメラの他に低解像度高速度カメラが必要であり、動きブレを付加するブロックはない。この技術の目的は、フレーム間の対応点を正確に求める（＝動きベクトルを求める）ことであり、この場合の高速度カメラ画像はマッチングをとるためだけに用いられる。そして、低解像度高速度カメラ画像で得られたマッチング情報あるいは既知の対応点情報を拘束条件として高解像度画像での対応点を求めている。すなわち、静止画と動画の同時撮影を目的としたものはない。
【０００７】
また、特許文献２の従来技術は、残像の付加のために再生時に動きベクトルを求めるものであり、高精度な動きベクトルを求めることが困難であるとともに、再生器のコストを上げてしまうという問題が挙げられる。
【課題を解決するための手段】
【０００８】
請求項１の発明にかかる記録装置は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、を備え、前記記録手段は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする。
【０００９】
請求項５の発明にかかる再生装置は、請求項１〜４のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、を備えることを特徴とする。
【００１０】
請求項９の発明にかかる再生装置は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段とを備えた記録装置によって記録された一連の画像を再生する再生装置であって、前記記録装置によって記録された静止画を再生する第一の再生手段と、前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、を備えることを特徴とする。
【００１１】
また、請求項１０の発明にかかる記録方法は、一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、を含み、前記記録工程は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする。
【００１２】
また、請求項１１の発明にかかる記録プログラムは、請求項１０に記載の記録方法をコンピュータに実行させることを特徴とする。
【００１３】
また、請求項１２の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項１１に記載の記録プログラムを記録したことを特徴とする。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態にかかるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。
【図２】この発明の実施の形態にかかるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。
【図３】この発明の実施の形態にかかる再生装置の機能的な構成を説明するブロック図である。
【図４】モーションブラーなしの記録処理を説明するフローチャートである。
【図５】モーションブラーなしで記録された信号の再生処理を説明するフローチャートである。
【図６】モーションブラーありの記録処理を説明するフローチャートである。
【図７】フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。
【図８】フレームを間引いてＭＶ統合し、統合されたＭＶを符号化して映像を記録する記録装置の構成を説明するブロック図である。
【図９】フレーム間引き、ＭＶ統合、モーションブラーありの記録装置を説明するブロック図である。
【図１０】ＭＶ統合部で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。
【図１１】解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。
【図１２】静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。
【図１３】互換性確保機能を持つ記録装置の構成を説明するブロック図である。
【図１４】フレーム補間処理を実行する再生装置を説明するブロック図である。
【図１５】動きベクトルの補間処理を実行する再生装置を説明するブロック図である。
【図１６】高品質なスロー再生を実現する再生装置の構成を説明するブロック図である。
【図１７】オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。
【図１８】動きブレ追加部がなく、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
【図１９】動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。
【図２０】ＤＶＤビデオカメラまたはＨＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
【図２１】ＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、この発明にかかる記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
【００１６】
図１は、この発明の実施の形態にかかるモーションブラーなしの記録装置の機能的な構成を説明するブロック図である。この記録装置は、高速度カメラ３０１、メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７によって構成される。このモーションブラーとは、動いているものに発生する残像などの画像のブレであり、以降、モーションブラーまたは動きブレと表現する。
【００１７】
高速度カメラ３０１は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。例えば、３０フレーム毎秒のフレームレートにおいて、シャッタースピードは１／６０秒であったり１／２５０秒であったり１／１０００秒であったりする。
【００１８】
メモリ３０２は、高速度カメラ３０１で撮影された画像を記録する。メモリ３０２に記憶された画像は、ＭＶ算出部３０３と映像符号化器３０４に渡される。ＭＶ算出部３０３は、メモリ３０２から読み出した画像の間の動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する。算出された動きベクトルはＭＶ符号化器３０５に入力される。
【００１９】
映像符号化器３０４は、メモリ３０２に記憶された画像情報を映像情報として符号化する。符号化された映像情報は、多重化器３０６に出力される。ＭＶ符号化器３０５は、ＭＶ算出部３０３で算出された動きベクトルを符号化する。符号化された映像情報と符号化された動きベクトルは、多重化器３０６に出力される。
【００２０】
多重化器３０６は、符号化された情報を多重化する。多重化された情報は、記録器３０７によって記録される。メモリ３０２、ＭＶ算出部３０３、映像符号化器３０４、ＭＶ符号化器３０５、多重化器３０６、記録器３０７は、ＣＰＵが、ＲＯＭに記録されたプログラムを読み出し、ＲＡＭをワークエリアとして使用することにより実現できる。
【００２１】
以上の構成により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、各フレーム画像と動きベクトルを記録する。高速シャッターを用いて撮影することにより動きブレの少ない鮮鋭な静止画を得て、そこから高精度な動きベクトルを推定する。
【００２２】
なお、映像の符号化方式として、ＭＰＥＧなどの動き情報を利用する方式を用いる場合は、映像符号化器３０４にＭＶ算出部３０３で算出した動きベクトルを入力し、映像符号化器３０４が、動きベクトルから映像符号化に必要な動き情報を得るようにしてもよい。この場合、映像の復号に必要な動き情報は映像符号化データの中に多重される。
【００２３】
また、上記映像符号化データの中の動き情報を、再生側で用いる動きベクトルとするようにしてもよい。その場合はＭＶ符号化器３０５は不要となり、多重化器での符号化された動きベクトルの多重化は行わない。
【００２４】
図２は、この発明の実施の形態にかかるモーションブラーありの記録装置の機能的な構成を説明するブロック図である。この記録装置は、図１に示したモーションブラーなしの記録装置において、動きブレ追加部３１０を、メモリ３０２と映像符号化器３０４の間に加え、ＭＶ算出部３０３からの入力を受け付ける構成にしたものである。
【００２５】
動きブレ追加部３１０は、メモリ３０２に記録された映像を読み出し、また、ＭＶ算出部３０３で求められた動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレが追加された映像は、図１と同様に映像符号化器３０４に出力される。そして、図１と同様に、符号化された映像と動きベクトルを処理する。
【００２６】
以上の構成により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、動きベクトルによって動きブレを追加した映像を、その元となる動くベクトルとともに記録することができる。
【００２７】
なお、図１の場合と同様に、映像の符号化方式として、ＭＰＥＧなどの動き情報を利用する方式を用いる場合は、映像符号化器３０４にＭＶ算出部３０３で算出した動きベクトルを入力し、映像符号化器３０４が、動きベクトルから映像符号化に必要な動き情報を得るようにしてもよい。この場合も図１と同様に、映像の復号に必要な動き情報は映像符号化データの中に多重される。
【００２８】
また図１の場合と同様に、上記映像符号化データの中の動き情報を、再生側で用いる動きベクトルとするようにしてもよい。その場合、ＭＶ符号化器３０５は不要となり、多重化器での符号化された動きベクトルの多重化は行わない。また、再生装置において映像復号器以外で動きベクトルを利用することを想定しない場合も、多重化器３０６で動きベクトルを多重する必要がないので、ＭＶ符号化器３０５は不要となる。
【００２９】
図３は、この発明の実施の形態にかかる再生装置の機能的な構成を説明するブロック図である。この再生装置は、再生器４０１、逆多重化器４０２、映像復号器４０３、ＭＶ復号器４０４、動きブレ追加部４０５、静止画出力部４０６、動画出力部４０７によって構成される。この再生装置は、図１に示した記録装置で符号化された映像を受け取ることにより、映像を復号して再生することができる。
【００３０】
再生器４０１は、符号化された映像と符号化された動きベクトルを多重化された状態で再生する。逆多重化器４０２は、符号化された映像と符号化された動きベクトルを逆多重化する。そして、それぞれ映像復号器４０３およびＭＶ復号器４０４に入力する。また、逆多重化器４０２では、音声等を出力する。
【００３１】
映像復号器４０３は、符号化された映像を復号する。復号された映像は、動きブレ追加部４０５および静止画出力部４０６に出力される。ＭＶ復号器４０４は、逆多重化器４０２からの入力を受けて、動きベクトルを復号する。動きブレ追加部４０５は、復号された動きベクトルの入力を受け、映像復号器４０３で復号された映像について、動きブレを含めた映像を作成する。
【００３２】
このように、再生時に動きベクトルを用いて動きブレを追加する。すなわち、記録時に得られた静止画に、記録時に得られた動きベクトルを用いて動きブレを加えることにより滑らかな動きの動画を同時に得る。動きベクトルとは、ある画像について参照すべき画像と現在の画像の間で差分をとったときの、動いた領域の移動の方向と移動距離が求まる移動量をいう。この動きベクトルを用いることにより、再生時に、動いた領域については動きベクトルから画像の動きブレを求めることができる。
【００３３】
以上のように説明した再生装置により、撮影した一連の画像について動きベクトルとともに記録された映像について、再生時にこの算出した動きベクトルを読み出すことができる。それにより、この動きベクトルから求めることができる動きブレに従って、滑らかに映像を再生することができる。したがって再生側では、撮影した一連の画像を、動きブレのない鮮明な静止画像としても、滑らかな動画像としても同一のデータから再生することができる。
【００３４】
なお、図２のモンションブラーありの記録装置に対応する再生装置では、再生側で動きブレを追加する必要がなく、また映像復号器４０３からは動きブレのない静止画は再生できないので、図３より動きブレ追加部４０５と静止画出力部４０６を除いたものになる。また、再生側で動きベクトルを利用しない場合は、ＭＶ復号器４０４も必要ないものとなる。
【００３５】
次に、「高速」なシャッタースピードの設定方法の例について述べる。この「高速」なシャッタースピードは、動きベクトルを正確に求めるために必要であるが、映像内の被写体の移動スピードによっても異なる。そこで、その映像内の移動スピードを推定してその推定された移動量からシャッタースピードを決定してフィードバックを掛ける方法が考えられる。
【００３６】
また、被写体の種類や撮影シーンなどによってもほぼ必要なシャッタースピードは決ってくる。そこで、例えばユーザーが撮影前に設定するモード設定ダイヤルを設け、風景や動きの遅い被写体では１／２５０、運動会などでは１／１０００、モータースポーツ等では１／１００００などのように各モードにあわせた基準値を設定しても良い。実際に使用するシャッタースピードはその基準値に対し、被写体の明るさ、撮影感度、絞り等から最終的に決定される。
【００３７】
図４は、モーションブラーなしの場合の記録処理を説明するフローチャートである。まず、一連の画像を高速のシャッター速度で連続して撮影する（ステップＳ２０１）。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める（ステップＳ２０２）。次に、撮影された一連の画像を、この画像に対応する動きベクトルとともに記録する（ステップＳ２０３）。そして一連の処理を終了する。以上の処理により、高速度カメラを用いて撮影し、動きベクトル（ＭＶ）を検出し、各フレーム画像と動きベクトルを記録する。
【００３８】
図５は、モーションブラーなしで記録された信号の再生処理を説明するフローチャートである。まず、記録装置によって記録された一連の画像と記録装置によって記録された動きベクトルを分離する（ステップＳ２１１）。次に、一連の画像が静止画像または動画像のいずれであるかを判定する（ステップＳ２１２）。
【００３９】
動画像の場合（ステップＳ２１２：動画像）、分離された動きベクトルに基づいて動きブレを追加する（ステップＳ２１３）。そして、動画像を再生する（ステップＳ２１４）。静止画像の場合（ステップＳ２１２：静止画像）、静止画像を再生する（ステップＳ２１５）。すなわち、分離された画像をそのまま出力する。
【００４０】
以上の再生処理により、撮影した一連の画像について動きベクトルとともに記録された映像をもとに、動きブレのない鮮明な静止画と、動きブレを追加した動きの滑らかな映像を同時に再生することができる。
【００４１】
図６は、モーションブラーありの記録処理を説明するフローチャートである。まず、一連の画像を高速のシャッター速度で連続して撮影する（ステップＳ２２１）。次に、撮影された一連の画像の前後関係に基づいて、動きベクトルを求める（ステップＳ２２２）。次に、動きベクトルに基づいて動きブレを求め、一連の画像に求めた動きブレを追加する（ステップＳ２２３）。
【００４２】
次に、動きブレを追加された一連の画像を記録する（ステップＳ２２４）。そして一連の処理を終了する。以上の処理により、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）を検出し、動きベクトルによって動きブレを追加した映像を、その元となる動くベクトルとともに記録することができる。
【００４３】
以上のように、図１〜図６によって説明したこの発明の実施の形態によれば、ブレの少ない静止画と滑らかな動きの動画の同時記録再生ができる。すなわち、高速度カメラ３０１を使用することにより、静止画を撮影することができる一方で、高速で撮影された多数の静止画から求められる動きベクトルにより、動きブレを出すことができる。それにより、高速で撮影された多数の静止画からでも滑らかな動きの動画を再生することができる。
【００４４】
また、通常多くの演算量が必要である動きベクトルの算出を記録側で実行するので、再生器４０１のコストを抑えられる。また、図２によって説明したこの発明の実施の形態によれば、記録側で高精度な動きベクトルを用いて動きブレを追加することにより、再生側での動きブレ追加が不要となり、従来の再生システムとの互換性を持って高画質な映像符号化が行えるともに、再生側での高精度な動きベクトルの応用が可能となる。
【００４５】
また、高速度カメラ３０１を用いることにより、動きベクトル検出精度を向上させることができる。通常の動画撮影に用いられるシャッタースピードでは、動きブレが多く静止画として適さないと同時に、動きブレの多いフレームと少ないフレームでは物体形状が変ってしまっているため、動きベクトルを精度良く検出することができない。
【００４６】
これに対し、高速度カメラ３０１を用いて撮影された画像は動きブレが少ないため、各フレームが高画質な静止画であるとともに、フレーム間の相関から物体の動きを精度良く検出することができる。また、各フレームにブレのない動画は見た目に不自然な動きとなるため、再生時に動きベクトルが示す動き方向と動き量に応じて動きブレを追加することで、動きの滑らかな動画として再生できる。
【００４７】
また、映像／音声の符号化は、特定の方式を用いる必要はないが、例えば映像の符号化としてＭＰＥＧに代表される動き補償予測符号化を用いた場合、上記のように動きベクトルをもとに符号化に用いる動き情報を生成することにより、動きベクトルが高精度で検出されているため予測残差が小さくなり、符号量の発生を抑えることができる。そのため通常のＭＰＥＧ符号化を行った場合に比べ、同じビットレートで高画質が、同程度の画質で長時間記録が行えるなどのメリットがある。
【実施例】
【００４８】
以上の発明の実施の形態において、モーションブラーなし、モーションブラーありの記録装置、これに対応する再生装置とその処理について説明した。ここで、この発明の実施の形態で説明した記録装置および再生装置の適用例および変形例について説明する。
【００４９】
図７は、フレームを間引いて映像を記録する記録装置の構成を説明するブロック図である。この図７に示す記録装置は、図１に示した記録装置において、フレーム間引き部５０１を、メモリ３０２と映像符号化器３０４の間に加えたものである。また、高速度カメラ３０１はシャッター速度が高速なだけでなく、通常の映像再生のフレームレートよりも高速なフレームレートで撮影可能なものとする。
【００５０】
フレーム間引き部５０１は、メモリ３０２から読み出した映像から、フレームの間引き処理を実行する。すなわち、ＭＶ算出部３０３で動きベクトルを必要な分だけ取得するのに各フレームを用いた後は、高速度カメラ３０１で撮影したフレームのうち、必要なフレーム以外は間引く形で、一部のフレームだけ残して映像符号化器３０４に出力する。そして、図１と同様に、符号化された映像と動きベクトルを処理する。
【００５１】
図８は、フレームを間引くとともにそれに合わせてＭＶを統合し、統合されたＭＶを符号化して映像とともに記録する記録装置の構成を説明するブロック図である。この記録装置は、図７に示した記録装置にＭＶ統合部６０１を加えた構成になっている。
【００５２】
ＭＶ統合部６０１は、ＭＶ算出部３０３で求められた動きベクトルを統合する。統合した動きベクトルは、映像符号化器３０４とＭＶ符号化器３０５に出力される。映像符号化器３０４は、間引かれたフレームに従って映像を符号化する。ＭＶ符号化器３０５は、統合された動きベクトルを符号化する。符号化された映像および動きベクトルは、多重化器３０６で多重化され、記録器３０７で記録される。
【００５３】
動きベクトルを求める際、フレーム間での変形を伴う場合、ＭＰＥＧ等で用いられているブロックマッチングではマッチングがとれない。形状変化に対応するためにピクセル単位のオプティカルフローから特徴点の移動ベクトルを求める方法もあるが、動き量が大きい場合や輝度変化がある場合はやはりマッチングがとれない。そのため、このような場合は正確な動きベクトルを求めるのが困難になる。
【００５４】
以上のように説明した記録装置によれば、通常のビデオ撮影よりも高速のフレームレートで撮影を行えば、フレーム間の形状変化・移動量が小さくなるので、動きベクトルや特徴点の移動ベクトルを精度良く求めることができる。動きベクトルを求めた後は、通常の再生に適したフレームレートに間引き、それに合わせて動きベクトルも統合する。フレームを間引くので、高速で大量に撮影しつつも、実際のデータ量は必要最小限にすることができる。また、再生時は動きの不自然さがないよう、動きベクトルが示す動き方向と動き量に応じて動きブレを追加する。したがって、データ量は大きく増やすことはなく、動きブレについては精度を上げることができる。
【００５５】
すなわち、通常のビデオ撮影よりも高速のフレームレートで撮影を行うことにより、フレーム間の物体の移動量が小さくなる。そのため、高精度な動きベクトルを求めることができる。また、高速度撮影を行って動きベクトルを求めてからフレームを間引くことにより、データ量を大きく増やすことなく高精度な動きベクトルを求めることができる。この場合、移動量が大きい場合や照度の変化が大きい場合には推定が困難であるオプティカルフローを求めたい場合などに特に有効である。
【００５６】
なお、図７のように、動きベクトルは統合せずに高速のフレームレートに対応したものを符号化して多重化してもよい。これにより、再生装置において高速のフレームレートに対応した動きベクトルをそのまま利用してフレーム補間できるので、スロー再生をさらに高品質に行うことができる。この場合、動きベクトルのデータ量が増大するが、映像データと比較してデータ量が少ないので、大きな影響はない。
【００５７】
また、フレーム間引きを通常のフレームレートよりも低くなるように行い、再生装置において動きベクトルを用いてフレーム補間し、通常のフレームレートで再生することもできる。本実施例では、動くベクトルが高精度なので、このようにして映像のデータ量を削減して記録しても、再生装置において良好な動画を再生することができる。この場合も、動きベクトルを統合して多重化しても、統合しないで多重化しても、どちらでも可能であるが、統合しないほうが、データ量が増加するが、フレーム補間の精度が高められる。
【００５８】
図９は、フレーム間引き、ＭＶ統合、モーションブラーありの記録装置を説明するブロック図である。この記録装置は、図８に示した記録装置に動きブレ追加部３１０を加えた構成になっている。
【００５９】
動きブレ追加部３１０は、メモリ３０２に記録された映像を読み出し、また、ＭＶ統合部６０１で統合された動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレを追加した映像は、図１と同様に映像符号化器３０４に出力する。そして、図１と同様に、符号化された映像と動きベクトルを処理する。
【００６０】
図１０は、ＭＶ統合部６０１で統合された動きベクトルを多重化して記録する記録装置を示すブロック図である。この記録装置は、図９に示した記録装置のＭＶ算出部３０３で求められた動きベクトルを、ＭＶ統合部６０１によって統合処理して符号化・多重化処理する。
【００６１】
すなわち、ＭＶ算出部３０３で求められた動きベクトルは、図９においてはＭＶ符号化器３０５に送られるとともにＭＶ統合部６０１にも送られる。そして、統合化前の動きベクトルが処理対象となる。図１０においては、ＭＶ算出部３０３で求められた動きベクトルは、ＭＶ統合部６０１で統合処理される。そして、統合処理された動きベクトルが、ＭＶ符号化器３０５に送られるとともに動きブレ追加部３１０にも送られる。すなわち、統合化後の動きベクトルがＭＶ符号化器３０５で処理される。
【００６２】
図１１は、解像度変換処理して映像を記録する記録装置の構成を示すブロック図である。この記録装置は、図１に示した記録装置に、解像度変換部９０１および動きブレ追加部３１０を加えた構成にしたものである。
【００６３】
解像度変換部９０１は、メモリ３０２に記録された映像を読み出し、解像度を変換する。解像度変換処理後は、動きブレ追加部３１０が、ＭＶ算出部３０３から読み出した動きベクトルに基づいて映像に動きブレを追加する。なお、動きブレ追加部３１０は必須ではなく、記録時に動きブレを追加しておきたい場合は動きブレ追加部３１０で処理を実行するが、再生装置で動きブレを追加する構成になっているなど、記録時に動きブレを追加する必要がない場合は、動きブレ追加部３１０を用意せずに、解像度変換部９０１で処理された映像を、そのまま映像符号化器に出力することも出来る。そして、他の記録装置の構成と同様に、符号化された映像と動きベクトルの処理を実行する。
【００６４】
図１２は、静止画記録シャッターを用いた記録装置の構成を説明するブロック図である。この記録装置は、図１に示した記録装置のうち映像符号化器３０４を除き、解像度変換部９０１、動画符号化器９０２、静止画記録シャッター１２０１、静止画符号化器１２０２を加えた構成になっている。
【００６５】
解像度変換部９０１は、メモリ３０２から読み出した映像の解像度を変換する。動画の場合、静止画に対して解像度が低くて良い場合が多いので、解像度変換部９０１は、この動画の解像度を必要であれば下げる。解像度を下げた映像は、動画復号化器９０２に出力する。動画符号化器９０２は、この解像度変換された画像を動画として符号化する。符号化された動画は多重化器３０６を経て、記録器３０７に出力される。動画の解像度を下げる必要がなければ、解像度変換部はなくて良い。
【００６６】
静止画記録シャッター１２０１は、撮影した画像を静止画として記録する際に用いるシャッターである。静止画符号化器１２０２は、静止画記録シャッター１２０１からの画像指定の入力を受けて、メモリ３０２から読み出した画像を静止画として符号化する。符号化された静止画は多重化器３０６を経て、記録器３０７に出力される。
【００６７】
以上のように、図１２の記録装置は、高速度カメラを用いて撮影して動きベクトルを求めた後、動画が必要な場合、必要に応じて解像度変換を行って記録し、静止画は静止画記録シャッターが押されたフレームだけ記録する。
【００６８】
図１３は、図２と同様に、従来の再生システムとの互換性を持って動画符号化が行える記録装置の構成を説明するブロック図である。この記録装置は、図１に示した記録装置のうち映像符号化器３０４とＭＶ符号化器３０５を除き、解像度変換部９０１、動きブレ追加部３１０、動画符号化器９０２、静止画記録コントローラ１３０１、静止画符号化器１２０２を加えた構成になっている。
【００６９】
解像度変換部９０１は、メモリ３０２から撮影された画像を読み出して、この画像の解像度を変換する。変換された画像は、動きブレ追加部３１０に出力する。動きブレ追加部３１０は、ＭＶ算出部３０３から出力された動きベクトルを使用して、解像度変換部９０１で解像度変換した画像に動きブレを追加する。動画符号化器９０２は、この動きブレを追加した画像を動画として符号化する。符号化された動画は多重化器３０６を経て、記録器３０７に出力される。
【００７０】
静止画記録コントローラ１３０１は、例えば、静止画の間欠記録を指定する。その場合、動きベクトルは記録しないか、動きベクトルを再生装置における静止画間の画像補間に利用するために動きベクトルを統合して新たな動きベクトルとして記録するようにしてもよい。また例えば、静止画記録コントローラ１３０１は、静止画記録用シャッターであってもよい。その場合は動きベクトルを記録する必要はない。
【００７１】
静止画符号化器１２０２は、メモリ３０２から読み出した画像を、静止画として符号化する。また、静止画記録コントローラ１３０１からの入力を受け、指示内容にしたがって、静止画を符号化する。符号化した静止画は多重化器３０６を経て、記録器３０７に出力される。
【００７２】
ここで図１３の記録装置において、高速度カメラ３０１を用いて撮影して動きベクトルを求めた後、静止画はそのままあるいは必要なフレームだけ、動画は動きブレを加えて記録することにより、従来の再生システムとの動画符号化方式の互換性を保つことができる。
【００７３】
（再生装置）
図１４は、フレーム補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図３に示した再生装置にフレーム補間部１４０１を加えた構成になっている。フレーム補間部１４０１により、フレームを間引き処理した映像を、もとのフレームで再生できるようにフレーム補間する。このフレーム補間部１４０１は、映像復号器４０３で復号された映像を、ＭＶ復号器４０４で復号された動きベクトルにしたがって、フレーム補間する。この場合、動きベクトルは間引きされていない元のフレームに対応したものとする。フレーム補間された映像は、静止画の場合は静止画出力部４０６に、動画の場合は動きブレ追加部４０５に出力する。
【００７４】
図１５は、動きベクトルの補間処理を実行する再生装置を説明するブロック図である。この再生装置は、図１４に示した再生装置にＭＶ補間部１５０１に加えた構成であり、動きベクトルも映像と同様に間引して記録する記録装置に対応している。ＭＶ補間部１５０１は、ＭＶ復号器４０４で復号された動きベクトルを補間する。補間された動きベクトルは、間引きされていない元のフレームに対応したものとなり、図１４に示した再生装置と同様に、フレーム補間部１４０１、動きブレ追加部４０５に出力される。このような構成により、図１４、図１５に示した再生装置では、動きベクトルを利用してフレームを補間した後に動きブレを追加することにより、映像を滑らかに再生することができる。
【００７５】
なお、図１４、図１５において、静止画出力部４０６への入力は、フレーム補間部１４０１からではなく、映像復号器４０３から取り出すようにしてもよい。また、図２のように動きブレ追加部を備えた記録装置に対応する再生装置の場合は、動きブレ追加部４０５は不要となる。
【００７６】
図１６は、高品質なスロー再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、フレーム補間部１４０１、映像出力部１６０２、再生スピードコントローラ１６０１を加え、静止画出力部４０６と動画出力部４０７を除いた構成になっている。
【００７７】
フレーム補間部１４０１は、映像復号器４０３から出力された復号映像を、フレーム補間する。フレーム補間部１４０１は映像復号器から入力されるフレームだけでなく、ＭＶ復号器４０４からの動きベクトルにも基づいて補間を実行する。
【００７８】
映像出力部１６０２は、動きブレ追加部４０５で動きブレを追加された映像を再生する。再生スピードコントローラ１６０１は、再生器４０１、逆多重化器４０２、映像復号器４０３、動きブレ追加部４０５、フレーム補間部１４０１の各部に、スピード制御信号を入力することにより、各部における動作速度を制御し、それにより再生スピードを制御する。
【００７９】
このように再生スピードコントローラ１６０１によって再生スピードを制御することができるので、映像の再生スピードを下げることもでき、それにより映像のスロー再生を実現することができる。その一方で、スロー再生により表示される単位時間当たりのフレーム数の減少に対して、フレーム補間部１４０１によってフレームを補間するので、スロー再生した映像を違和感なく視聴することができる。スロー再生された映像は、ＭＶ復号器４０４によって復号された動きベクトルにしたがって動きブレ追加部４０５による動きブレを追加する。それにより、映像出力部１６０２から滑らかな動きの映像を出力することができる。
【００８０】
以上のように説明した図１６の再生装置によれば、記録装置において高精度に求まった動きベクトルを用いてフレーム補間することにより、高画質な補間画像を得ることができる。これを利用して、動きブレの少ない静止画から滑らかな動画までシームレスに高品質なスロー再生を行うことができる。
【００８１】
高品質なスロー再生は、以下のｉ）〜ｉｉｉ）のいずれにおいても、補間するフレームに対応する動きベクトルが高精度に求まっていれば、可能となる。
ｉ）高いフレームレートで撮影して、通常の動画再生のレートまでフレーム間引きして画像を記録した場合。
ｉｉ）通常の動画再生のフレームレートで撮影してそのまま画像を記録した場合。
ｉｉｉ）通常のフレームレート以下に間引きして画像を記録した場合。
【００８２】
図１７は、オブジェクト別の再生を実現する再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置に、ＭＶグルーピング部１７０２、オブジェクト処理部１７０１、映像出力部１６０２を加え、動きブレ追加部４０５、静止画出力部４０６、動画出力部４０７を除いた構成になっている。
【００８３】
ＭＶグルーピング部１７０２は、ＭＶ復号器４０４で復号された動きベクトルをグループ化してオブジェクト処理部１７０１に出力する。オブジェクト処理部１７０１は、ＭＶグルーピング部１７０２から出力された、グループ化された動きベクトルの入力を受けて、映像復号器４０３から出力された映像に含まれるオブジェクトの、認識・追跡・分離を実行する。また、得られたオブジェクトについて色処理を実行したり、オブジェクトの置換処理を実行したりすることもできる。映像出力部１６０２は、オブジェクト処理部１７０１から出力された映像を再生する。
【００８４】
このように、ＭＶ復号器４０４によって復号された動きベクトルは、ＭＶグルーピング部１７０２によって似た動きのベクトルがグルーピングされる。したがって、オブジェクト処理部１７０１によって似た動きのベクトルによるオブジェクトを、別々に処理することができる。
【００８５】
ここでさらに、記録装置において高速度撮影を行うことによって、オプティカルフローなどのピクセル単位の動きも正確に求められるようになる。そして、ピクセル単位の動きを解析することによって、物体の距離の推定やオブジェクト認識の精度が高まり、立体視化やオブジェクトごとの別処理・オブジェクトの置換処理なども可能となる。そのようなことが、通常の動画撮影と同時に行える。
【００８６】
以上のように説明した図１７の再生装置によれば、例えば似た動きのベクトルをグルーピングすることにより、動きベクトルが高精度に求まっているため、オブジェクト認識・追跡・分離ができる。したがって、オブジェクト毎に色や明るさを調整したり、オブジェクトを別のオブジェクトに置換したりすることができる。
【００８７】
図１８は、図１２のように、動きブレ追加部がなく、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置の映像復号器４０３を動画復号器１１０２に置き換え、静止画出力部４０６と動画出力部４０７を映像出力部１１０３に置き換え、静止画復号器１１０１を加えた構成になっている。
【００８８】
静止画復号器１１０１は、逆多重化器４０２で逆多重化された静止画を復号する。復号後の静止画は、映像出力部１１０３に出力する。動画復号器１１０２は、逆多重化器４０２で逆多重化された動画を復号する一方、ＭＶ復号器４０４は、動きベクトルを復号する。そして、動きブレ追加部４０５は、動画に動きブレを追加して、映像出力部１１０３に出力する。映像出力部１１０３は、入力された静止画または動画を再生する。
【００８９】
以上のように説明した図１８の再生装置は、動画再生時は動きベクトルが示す動き方向と動き量に応じて動きブレを追加して再生し、静止画再生時には高解像度の静止画を再生することができる。
【００９０】
図１９は、図１３のように、動きブレ追加部があり、静止画を個別の符号化器で符号化して多重する記録装置に対応した再生装置の構成を説明するブロック図である。この再生装置は、図３に示した再生装置の再生器４０１と逆多重化器４０２に、静止画復号器８０１、動画復号器８０２、映像出力部８０３を加えた構成になっている。
【００９１】
静止画復号器８０１は、逆多重化器４０２から静止画が出力された場合、静止画を復号して映像出力部８０３に出力する。動画復号器８０２は、逆多重化器４０２から動画が出力された場合、動画を復号して映像出力部８０３に出力する。映像出力部８０３は、静止画復号器８０１から出力された静止画、または動画復号器８０２から出力された動画を再生する。
【００９２】
以上のように説明した図１９の再生装置が対応する記録装置では、高速度カメラで得られたブレの少ない高画質な静止画をユーザー領域などに多重化するものとする。一方、動画は必要に応じて解像度変換を行ったあと動きベクトルが示す動き方向と動き量に応じて動きブレを追加し、従来の再生装置で再生可能な領域に多重化するものとする。これにより、従来の再生装置では通常の動画が再生でき、本記録装置に対応した図１９の再生装置では、通常の動画に加えてブレの少ない高画質な静止画も再生できる。
【００９３】
このようにして、従来の動画再生装置と互換性を確保しつつ高画質な静止画の再生を行うことができる。なお、記録装置において、静止画を間欠記録して、静止画間の動きベクトルも記録するようにすれば、対応再生装置でＭＶ復号器を持てば、静止画を利用した高解像度の動画あるいは擬似動画を再生することができる。
【００９４】
図２０は、ＤＶＤビデオカメラまたはＨＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図８に示した記録装置に、システムコントロールユニット２００１、レート調整部２００２、同期ヘッダ生成部２００３、音声符号化器２００４、パッキング部２００５〜２００７を加え、記録器３０７をＤＶＤ記録部２０１０、ＨＤＶ記録部２０２０に置き換えた構成になっている。この図１２を参照して、記録装置のＤＶＤビデオカメラ／ＨＤＶカメラへの応用例を示す。
【００９５】
この記録装置では、高速度カメラ３０１から得られた映像について、ＭＶ算出部３０３は、動きベクトルを高い精度で求める。ＭＶ統合部６０１は、フレーム間引き部５０１によるフレーム間引きのレートに対応してこの動きベクトルを統合する。そして、映像符号化器３０４およびＭＶ符号化器３０５では、フレーム間引きされた映像と統合された動きベクトルがそれぞれ符号化される。ここで映像符号化にはＭＰＥＧを用いるものとし、統合された動きベクトルを映像符号化に利用している。
【００９６】
その際、動きベクトルは映像データ記録領域の中に動き情報として収納されるが、映像データ記録領域に収納しきれない動きベクトルデータや、オプティカルフローから求めた任意形状変化に対応する動きベクトルなどは、映像データとは別にパッキング部２００６でパッキングを行いプライベートストリームとして記録しても良い。
【００９７】
システムコントロールユニット２００１は、付加的な動きベクトルデータ分を記録することによるデータ量増加分に対応するため、必要であれば映像データや音声データのビットレート調整を制御する。レート調整部２００２は、システムコントロールユニット２００１による制御を受け、映像符号化器３０４、ＭＶ符号化器３０５、音声符号化器２００４のレートを制御する。同期ヘッダ生成部２００３は、システムコントロールユニット２００１による制御を受けて同期ヘッダを生成し、パッキング部２００５〜２００７に出力する。
【００９８】
一方、音声符号化器２００４は、入力された音声を符号化する。映像符号化器３０４、ＭＶ符号化器３０５、音声符号化器２００４は、レート調整部２００２によるレート調整を受けて、パッキング部２００５〜２００７にそれぞれ符号化したデータを出力する。パッキング部２００５〜２００７は、同期ヘッダ生成部２００３から出力された同期ヘッダを受けて、符号化されたデータのパッキングを実行する。すなわち、同期用のパケットヘッダーを付加する。そして、ＡＵＸデータとともに多重化器３０６に出力する。
【００９９】
多重化器３０６は、パッキングされたデータを多重化して、記録用ＤＶＤ２０１２に記録する場合は、ＤＶＤ記録部２０１０に、ＨＤＶ２０２２に記録する場合は、ＨＤＶ記録部２０２０に出力する。
【０１００】
その後、ＤＶＤ記録部２０１０は、変調器２０１１で変調を実行して記録用ＤＶＤ２０１２に記録する。記録用ＤＶＤ２０１２は、記録可能なＤＶＤ（デジタルビデオディスク）である。ＨＤＶ記録部２０２０は、変調器２０２１で変調を実行して、ＨＤＶ２０２２に記録する。ＨＤＶメディア２０２２は、ＨＤＶ規格の映像を記録することができるメディアである。
【０１０１】
以上のように説明した図２０の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、ＤＶＤビデオカメラまたはＨＤＶカメラにおいて実現することができる。さらに、動きベクトルの精度が高いので、従来と同一のビットレートでより高画質な記録、あるいは同程度の画質でより長時間の記録を行うことができる。
【０１０２】
図２１は、ＤＶカメラに応用した場合の記録装置の構成を説明するブロック図である。この記録装置は、図８に示した記録装置に、音声符号化器２００４、変調器２１００、ＤＶメディア２１０１を加えた構成になっている。この図１３を参照して、記録装置のＤＶ（デジタルビデオ）カメラへの応用例を示す。
【０１０３】
映像符号化器３０４が映像を符号化し、ＭＶ符号化器３０５が動きベクトルを符号化するのと同様に、音声符号化器２００４は、入力された音声を符号化する。そして、それぞれ多重化器３０６に入力する。多重化器３０６には、音声の他映像、動きベクトルが入力されるのでこれらを多重化して変調器２１００に出力する。なお、ＤＶ規格では、映像符号化には動きベクトルを利用しない。
【０１０４】
高速度カメラ映像から得られた高精度動きベクトルは、ＭＶ統合部６０１において、フレーム間引きのレートに対応して統合する。そして符号化されたのち、多重化器３０６において、映像データとは別にパッキングされ、付加データ領域あるいは未使用のリザーブ領域を利用して映像データ、音声データに多重される。そして、変調器２１００において変調した上で、ＤＶメディア２１０１に記録される。ＤＶメディア２１０１は、ＤＶ規格の映像を記録することができるメディアである。
【０１０５】
以上のように説明した図２１の記録装置によれば、動きブレの少ない映像と高精度の動きベクトルを記録するので、ブレの少ない静止画あるいは動きブレを含む滑らかな動きの動画の再生を、ＤＶカメラにおいて実現することができる。
【０１０６】
なお、本発明における動きベクトルの符号化と多重化とは、ＭＰＥＧのような映像符号化における動きベクトルの符号化と多重化を含むものとする。また、各実施例は、本発明を限定するものではなく、各実施例で説明した各構成要素は、組み合わせることが可能であり、組み合わせにより種々変形例を作ることができる。たとえば、図１１の解像度変換と図９のフレーム間引きを同時に行って記録してもよい。
【０１０７】
なお、以上のように説明した記録方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【符号の説明】
【０１０８】
３０１  高速度カメラ
３０２  メモリ
３０３  ＭＶ算出部
３０４  映像符号化器
３０５  ＭＶ符号化器
３０６  多重化器
３０７  記録器
４０１  再生器
４０２  逆多重化器
４０３  映像復号器
４０４  ＭＶ復号器
４０５  動きブレ追加部
４０６  静止画出力部
４０７  動画出力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、
前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、
前記算出手段によって求められた動きベクトルに基づいて動きブレを求め、前記撮影手段によって撮影された一連の画像に、前記動きブレを追加する追加手段と、
前記追加手段によって動きブレを追加された一連の画像を記録する記録手段と、
を備え、
前記記録手段は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする記録装置。
【請求項２】
前記一連の画像からフレームを間引くフレーム間引き手段を備え、
前記算出手段は、前記撮影手段によって通常よりも高速のフレームレートで一連の画像を撮影されると、前記通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて動きベクトルを求め、
前記フレーム間引き手段は、前記算出手段によって動きベクトルが求められると、前記一連の画像のフレームのなかから所定のフレーム以外のフレームを間引くことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記算出手段によって通常よりも高速のフレームレートで撮影された一連の画像の前後関係に基づいて求められた動きベクトルを前記フレーム間引き手段によって間引かれたフレームに対応する動きベクトルとして統合する動きベクトル統合手段を備え、
前記記録手段は、前記一連の画像を、前記統合された動きベクトルとともに記録することを特徴とする請求項２に記載の記録装置。
【請求項４】
前記求められた動きベクトルを用いて、前記一連の画像を符号化する符号化手段を備え、当該符号化手段は、前記一連の画像とともに動きベクトルを当該一連の画像の符号化データの一部として多重化することを特徴とする請求項１に記載の記録装置。
【請求項５】
請求項１〜４のいずれか一つに記載の記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加する追加手段と、
を備えることを特徴とする再生装置。
【請求項６】
前記動きベクトルに基づいて、フレームを補間するフレーム補間手段を備えることを特徴とする請求項５に記載の再生装置。
【請求項７】
前記動きベクトルを補間する動きベクトル補間手段を備えることを特徴とする請求項６に記載の再生装置。
【請求項８】
前記一連の画像を再生する速度を制御する速度制御手段を備えることを特徴とする請求項５〜７のいずれか一つに記載の再生装置。
【請求項９】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影手段と、前記撮影手段によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出手段と、前記撮影手段によって撮影された一連の画像を、該画像に対応する動きベクトルとともに記録する記録手段と、前記一連の画像に含まれる画像のうち、静止画を記録するタイミングを制御する制御手段とを備えた記録装置によって記録された一連の画像を再生する再生装置であって、
前記記録装置によって記録された静止画を再生する第一の再生手段と、
前記記録装置によって記録された一連の画像に、前記記録装置によって記録された動きベクトルに基づいて動きブレを追加して、動画として再生する第二の再生手段と、
を備えることを特徴とする再生装置。
【請求項１０】
一連の画像をフレームレートの２倍以上のシャッター速度で連続して撮影する撮影工程と、
前記撮影工程によって撮影された一連の画像の前後関係に基づいて、動きベクトルを求める算出工程と、
前記算出工程によって求められた動きベクトルに基づいて動きブレを求め、前記撮影工程によって撮影された一連の画像に、前記動きブレを追加する追加工程と、
前記追加工程によって動きブレを追加された一連の画像を記録する記録工程と、
を含み、
前記記録工程は、前記動きベクトルを、前記動きブレを追加された一連の画像とともに記録することを特徴とする記録方法。
【請求項１１】
請求項１０に記載の記録方法をコンピュータに実行させることを特徴とする記録プログラム。
【請求項１２】
請求項１１に記載の記録プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。
【国際調査報告】
2007063819.tif 000024
2007063819.tif 000025
2007063819.tif 000026
2007063819.tif 000027