(57)【要約】【課題】画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる画像記録装置を提供する。【解決手段】画像記録装置１００は、撮像することにより画像を生成する撮像部１０１と、撮像部１０１により生成される画像を高速撮影時のフレームレートで順次読み出し、順次読み出される画像のうち、通常撮影時のフレームレートで読み出される画像を高解像度で出力し、他の画像を低解像度で出力する画像信号処理部１０２と、画像信号処理部１０２から出力された複数の画像からなる画像列を符号化し、符号化データを生成する画像符号化部１０３および低解像度画像符号化部１０４と、生成された符号化データを記録媒体に記録する記録処理部１０５および記録機構部１０６とを備える。【選択図】図１
2009164725.tif 000002
【特許請求の範囲】
【請求項１】
画像を記録媒体に記録する画像記録装置であって、
撮像することにより画像を生成する撮像手段と、
前記撮像手段により生成される画像を第２のフレームレートで順次読み出し、順次読み出される画像のうち、前記第２のフレームレートよりも低い第１のフレームレートで読み出される画像を第１の解像度で出力し、他の画像を前記第１の解像度よりも低い第２の解像度で出力する画像処理手段と、
前記画像処理手段から出力された複数の画像からなる画像列を符号化し、符号化データを生成する符号化手段と、
前記符号化手段により生成された符号化データを記録媒体に記録する記録手段と
を備えることを特徴とする画像記録装置。
【請求項２】
前記画像処理手段は、
前記撮像手段により生成される画像を構成する複数の画素から、一部の複数の画素のみを読み出すことにより、前記第２の解像度の他の画像を生成する
ことを特徴とする請求項１記載の画像記録装置。
【請求項３】
前記画像処理手段は、
前記画像を構成する複数の画素のうち、水平方向に配列している複数の画素からなるラインを読み出し単位とし、前記画像に含まれる複数の読み出し単位のうち、１つまたは複数の読み出し単位を除く、残りの１つまたは複数の読み出し単位を読み出す
ことを特徴とする請求項２記載の画像記録装置。
【請求項４】
前記画像処理手段は、
前記画像を構成する複数の画素のうち、垂直方向に配列している複数の画素からなる列を読み出し単位とし、前記画像に含まれる複数の読み出し単位のうち、１つまたは複数の読み出し単位を除く、残りの１つまたは複数の読み出し単位を読み出す
ことを特徴とする請求項２記載の画像記録装置。
【請求項５】
前記画像処理手段は、
前記画像を構成する複数の画素のうち、垂直方向に配列している複数の画素からなるラインと、水平方向に配列している複数の画素からなる列とをそれぞれ複数特定し、特定された各ラインと各列との交点にある画素を読み出す
ことを特徴とする請求項２記載の画像記録装置。
【請求項６】
前記画像処理手段は、
前記第１のフレームレートで２つの画像を連続して読み出す間に、複数の前記他の画像を読み出す場合、複数の前記他の画像の間で互いに異なる空間的位置にある画素を読み出す
ことを特徴とする請求項２記載の画像記録装置。
【請求項７】
前記画像処理手段は、
前記第２のフレームレートで順次読み出される画像のうち、前記第１のフレームレートで読み出される画像および前記他の画像を除く画像を、前記第１の解像度で出力する
ことを特徴とする請求項１記載の画像記録装置。
【請求項８】
前記画像処理手段は、
前記撮像手段により生成される画像を前記第１の解像度で読み出し、読み出された画像に含まれる複数の画素から、一部の複数の画素を間引くことにより、前記第２の解像度の他の画像を生成する
ことを特徴とする請求項１記載の画像記録装置。
【請求項９】
前記符号化手段は、
前記第１の解像度の複数の画像からなる画像列を符号化する第１の符号化手段と、
前記第２の解像度の複数の画像からなる画像列を符号化する第２の符号化手段とを備える
ことを特徴とする請求項１記載の画像記録装置。
【請求項１０】
予め定められたフレームレートで撮影された複数の画像からなる画像列の符号化データを記録媒体から読み出し、前記画像列を再生する画像再生装置であって、
前記複数の画像は、第１の解像度で符号化された第１の画像と、前記第１の解像度よりも低い第２の解像度で符号化された第２の画像とを含み、
前記画像再生装置は、
前記記録媒体から前記符号化データを読み出す読み出し手段と、
前記読み出し手段により読み出された符号化データから第１および第２の画像を復号化する復号化手段と、
前記復号化手段により復号化された第２の画像の解像度を第１の解像度に変換する解像度変換手段と、
前記復号化手段により復号化された第１の画像と、前記第１の解像度に変換された第２の画像とを撮影された順に、前記画像再生装置の外部にある表示手段に表示させる再生手段と
を備えることを特徴とする画像再生装置。
【請求項１１】
前記解像度変換手段は、さらに、前記復号化手段により復号化された第１の画像の解像度を第２の解像度に変換し、
前記再生手段は、さらに、前記復号化手段により復号化された第２の画像と、前記第２の解像度に変換された第１の画像とを撮影された順に、前記表示手段に表示させる
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１２】
前記解像度変換手段は、
復号化された第１の画像を構成する画素を、復号化された第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記第２の画像の解像度を第１の解像度に変換する
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１３】
前記解像度変換手段は、
撮影順で連続する復号化された複数の第２の画像のうちの何れか１つを変換対象とする場合、変換対象以外の他の第２の画像を構成する画素を、前記変換対象の第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記変換対象の第２の画像の解像度を第１の解像度に変換する
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１４】
前記解像度変換手段は、
復号化された第１および第２の画像の間の動きを検出し、前記第１の画像に対して検出された動きを補償し、動きが補償された第１の画像を構成する画素を、復号化された第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記第２の画像の解像度を第１の解像度に変換する
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１５】
前記複数の画像は、複数の前記第２の画像を含んでおり、
前記解像度変換手段は、
復号化された複数の第２の画像の間の動きを検出し、一方の第２の画像に対して検出された動きを補償し、動きが補償された一方の第２の画像を構成する画素を、復号化された他方の第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記他方の第２の画像の解像度を第１の解像度に変換する
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１６】
前記復号化手段は、
前記符号化データから、第１の画像を復号化する第１の復号化手段と、
第２の画像を復号化する第２の復号化手段とを備える
ことを特徴とする請求項１０記載の画像再生装置。
【請求項１７】
画像を記録媒体に記録する画像記録方法であって、
撮像することにより画像を生成する撮像ステップと、
前記撮像ステップで生成される画像を第２のフレームレートで順次読み出し、順次読み出される画像のうち、前記第２のフレームレートよりも低い第１のフレームレートで読み出される画像を第１の解像度で出力し、他の画像を前記第１の解像度よりも低い第２の解像度で出力する画像処理ステップと、
前記画像処理ステップで出力された複数の画像からなる画像列を符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップで生成された符号化データを記録媒体に記録する記録ステップと
を含むことを特徴とする画像記録方法。
【請求項１８】
予め定められたフレームレートで撮影された複数の画像からなる画像列の符号化データを記録媒体から読み出し、前記画像列を再生する画像再生方法であって、
前記複数の画像は、第１の解像度で符号化された第１の画像と、前記第１の解像度よりも低い第２の解像度で符号化された第２の画像とを含み、
前記画像再生方法は、
前記記録媒体から前記符号化データを読み出す読み出しステップと、
前記読み出しステップで読み出された符号化データから第１および第２の画像を復号化する復号化ステップと、
前記復号化ステップで復号化された第２の画像の解像度を第１の解像度に変換する解像度変換ステップと、
前記復号化ステップで復号化された第１の画像と、前記第１の解像度に変換された第２の画像とを、撮影された順に表示する表示ステップと
を含むことを特徴とする画像再生方法。
【請求項１９】
画像を記録媒体に記録するためのプログラムであって、
撮像手段に撮像させることにより画像を生成させる撮像処理ステップと、
前記撮像手段により生成される画像を第２のフレームレートで順次読み出し、順次読み出される画像のうち、前記第２のフレームレートよりも低い第１のフレームレートで読み出される画像を第１の解像度で出力し、他の画像を前記第１の解像度よりも低い第２の解像度で出力する画像処理ステップと、
前記画像処理ステップで出力される複数の画像からなる画像列を符号化し、符号化データを生成する符号化ステップと、
記録機構手段に対して、前記符号化ステップで生成された符号化データを記録媒体に記録させる記録処理ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
予め定められたフレームレートで撮影された複数の画像からなる画像列の符号化データを記録媒体から読み出し、前記画像列を再生するためのプログラムであって、
前記複数の画像は、第１の解像度で符号化された第１の画像と、前記第１の解像度よりも低い第２の解像度で符号化された第２の画像とを含み、
前記プログラムは、
読み出し機構手段に対して、前記記録媒体から前記符号化データを読み出させる読み出し処理ステップと、
前記読み出し機構手段により読み出された符号化データから第１および第２の画像を復号化する復号化ステップと、
前記復号化ステップで復号化された第２の画像の解像度を第１の解像度に変換する解像度変換ステップと、
表示手段に対して、前記復号化ステップで復号化された第１の画像と、前記第１の解像度に変換された第２の画像とを、撮影された順に表示させる再生ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２１】
画像を記録媒体に記録するための集積回路であって、
撮像手段に撮像させることにより画像を生成させる撮像処理手段と、
前記撮像手段により生成される画像を第２のフレームレートで順次読み出し、順次読み出される画像のうち、前記第２のフレームレートよりも低い第１のフレームレートで読み出される画像を第１の解像度で出力し、他の画像を前記第１の解像度よりも低い第２の解像度で出力する画像処理手段と、
前記画像処理手段から出力される複数の画像からなる画像列を符号化し、符号化データを生成する符号化手段と、
記録機構手段に対して、前記符号化手段により生成された符号化データを記録媒体に記録させる記録処理手段と
を備えることを特徴とする集積回路。
【請求項２２】
予め定められたフレームレートで撮影された複数の画像からなる画像列の符号化データを記録媒体から読み出し、前記画像列を再生するための集積回路であって、
前記複数の画像は、第１の解像度で符号化された第１の画像と、前記第１の解像度よりも低い第２の解像度で符号化された第２の画像とを含み、
前記集積回路は、
読み出し機構手段に対して、前記記録媒体から前記符号化データを読み出させる読み出し処理手段と、
前記読み出し機構手段により読み出された符号化データから第１および第２の画像を復号化する復号化手段と、
前記復号化手段により復号化された第２の画像の解像度を第１の解像度に変換する解像度変換手段と、
表示手段に対して、前記復号化手段により復号化された第１の画像と、前記第１の解像度に変換された第２の画像とを、撮影された順に表示させる再生手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を記録する画像記録装置、およびその記録された画像を再生する画像再生装置に関する。
【背景技術】
【０００２】
カムコーダなどの画像記録装置は、ＣＣＤ（Charge Coupled Devices）などの撮像素子を備え、その撮像素子により生成される画像を転送して符号化し、符号化された画像を記録する。ここで、画像記録装置が高速撮影を行うためには、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化する必要があり、画像記録装置が高価となる問題がある。
【０００３】
そこで、従来、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化することなく高速撮影を行う画像記録装置が提案されている（例えば、特許文献１参照）。
【０００４】
図１０は、上記特許文献１記載の画像記録装置を説明するための説明図である。
【０００５】
この画像記録装置は、通常撮影時には、図１０の（ａ）に示すように、予め定められたフレームレートでフレーム１およびフレーム２を撮像素子から転送して符号化し、その符号化されたフレーム１およびフレーム２を記録する。
【０００６】
一方、高速撮影時には、画像記録装置は、図１０の（ｂ）に示すように、各フレーム１〜４を子画面にサイズ変更して画面分割多重し、画面分割多重により生成された画面を通常画像として記録する。具体的には、画像記録装置は、４倍速撮影する場合、高速撮影された各フレーム１〜４を１／４サイズの子画面にサイズ変更して、４枚の連続する１／４サイズの子画面を１枚の画面に画面分割多重したのちに、その１枚の画面を通常画像として記録する。これにより、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化することなく高速撮影を行うことができる。
【特許文献１】特許第２７１８４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の画像記録装置では、各フレームを縮小したのちに記録するため、各フレームの解像度が低下して画質が劣化する問題がある。
【０００８】
そこで、本発明は、かかる課題を解決するもので、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる画像記録装置および画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像記録装置は、画像を記録媒体に記録する画像記録装置であって、撮像することにより画像を生成する撮像手段と、前記撮像手段により生成される画像を第２のフレームレートで順次読み出し、順次読み出される画像のうち、前記第２のフレームレートよりも低い第１のフレームレートで読み出される画像を第１の解像度で出力し、他の画像を前記第１の解像度よりも低い第２の解像度で出力する画像処理手段と、前記画像処理手段から出力された複数の画像からなる画像列を符号化し、符号化データを生成する符号化手段と、前記符号化手段により生成された符号化データを記録媒体に記録する記録手段とを備えることを特徴とする。例えば、前記画像処理手段は、前記撮像手段により生成される画像を構成する複数の画素から、一部の複数の画素のみを読み出すことにより、前記第２の解像度の他の画像を生成する。
【００１０】
これにより、高速撮影時に第２のフレームレート（高フレームレート）で読み出される画像の全てが第１の解像度（高解像度）で記録されることなく、一部の画像（他の画像）が第１の解像度よりも低い第２の解像度（低解像度）で読み出されて符号化および記録されるため、高速撮影に必要な、撮像素子（撮像手段）からの画像転送速度、符号化速度および画像記録速度を低減することができる。つまり処理負荷を軽減することができる。さらに、高速撮影時に第２のフレームレート（高フレームレート）で読み出される画像のうち、第１のフレームレート（例えば通常撮影時の低フレームレート）で読み出される複数の画像は、第１の解像度（高解像度）で読み出されて符号化および記録されるため、記録されている符号化データを読み出して再生する画像再生装置は、従来例のように全ての画像が低解像度で記録されている場合よりも、画質を大きく劣化させることなく各画像（例えばフレーム）を再生することができる。
【００１１】
また、前記画像処理手段は、前記第１のフレームレートで２つの画像を連続して読み出す間に、複数の前記他の画像を読み出す場合、複数の前記他の画像の間で互いに異なる空間的位置にある画素を読み出すことを特徴としてもよい。
【００１２】
これにより、符号化データを読み出して再生する画像再生装置は、復号化された複数の他の画像の間で互いに画素を補間することができ、複数の他の画像を簡単に高解像度化することができ、画質の劣化をより確実に防ぐことができる。
【００１３】
また、上記目的を達成するために、本発明の画像再生装置は、予め定められたフレームレートで撮影された複数の画像からなる画像列の符号化データを記録媒体から読み出し、前記画像列を再生する画像再生装置であって、前記複数の画像は、第１の解像度で符号化された第１の画像と、前記第１の解像度よりも低い第２の解像度で符号化された第２の画像とを含み、前記画像再生装置は、前記記録媒体から前記符号化データを読み出す読み出し手段と、前記読み出し手段により読み出された符号化データから第１および第２の画像を復号化する復号化手段と、前記復号化手段により復号化された第２の画像の解像度を第１の解像度に変換する解像度変換手段と、前記復号化手段により復号化された第１の画像と、前記第１の解像度に変換された第２の画像とを撮影された順に、前記画像再生装置の外部にある表示手段に表示させる再生手段とを備えることを特徴とする。
【００１４】
これにより、記録媒体に格納されている例えば高速撮影された複数の画像をスロー再生するときには、第２の画像の解像度（第２の解像度）が第１の解像度に高解像度化されて表示されるため、つまり、第１および第２の画像が共に第１の解像度（高解像度）で撮影順に表示されるため、画質の劣化を防ぐことができる。
【００１５】
また、前記解像度変換手段は、さらに、前記復号化手段により復号化された第１の画像の解像度を第２の解像度に変換し、前記再生手段は、さらに、前記復号化手段により復号化された第２の画像と、前記第２の解像度に変換された第１の画像とを撮影された順に、前記表示手段に表示させることを特徴としてもよい。
【００１６】
これにより、第１および第２の画像が共に第２の解像度（低解像度）で撮影順に表示されるため、高速撮影された複数の画像を小画面でスロー再生することができる。
【００１７】
また、前記解像度変換手段は、復号化された第１の画像を構成する画素を、復号化された第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記第２の画像の解像度を第１の解像度に変換することを特徴としてもよい。または、前記解像度変換手段は、撮影順で連続する復号化された複数の第２の画像のうちの何れか１つを変換対象とする場合、変換対象以外の他の第２の画像を構成する画素を、前記変換対象の第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記変換対象の第２の画像の解像度を第１の解像度に変換することを特徴としてもよい。
【００１８】
例えば、記録媒体に格納されている複数の画像が高速撮影されて生成された画像である場合、連続する画像間における画像の動きは極めて小さい。したがって、変換対象の第２の画像に時間的に近い第１または他の第２の画像の画素を、変換対象の第２の画像上の、その画素の空間位置と同一の位置に補間することによって、第２の画像を第１の解像度に簡単に高解像度化することができる。
【００１９】
また、前記解像度変換手段は、復号化された第１および第２の画像の間の動きを検出し、前記第１の画像に対して検出された動きを補償し、動きが補償された第１の画像を構成する画素を、復号化された第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記第２の画像の解像度を第１の解像度に変換することを特徴としてもよい。または、前記複数の画像は、複数の前記第２の画像を含んでおり、前記解像度変換手段は、復号化された複数の第２の画像の間の動きを検出し、一方の第２の画像に対して検出された動きを補償し、動きが補償された一方の第２の画像を構成する画素を、復号化された他方の第２の画像における、当該画素の空間的位置と同一の位置に補間することにより、前記他方の第２の画像の解像度を第１の解像度に変換することを特徴としてもよい。
【００２０】
これにより、変換対象の第２の画像と第１の画像または他の第２の画像との間に動きがあっても、その動きが補償され、動き補償された第１の画像または他の第２の画像の画素が変換対象の第２の画像に補間されるため、その第２の画像を適切に高解像度化することができる。
【００２１】
なお、本発明は、以上のような画像記録装置および画像再生装置として実現することができるだけでなく、その画像記録装置が画像を記録する画像記録方法や、その画像再生装置が画像を再生する画像再生方法、それらの方法による記録または再生をコンピュータに実行させるプログラム、そのプログラムが記録された記録媒体、それらの方法による記録または再生を行うための集積回路として実現することもできる。また、上述のプログラムをインターネット等の伝送媒体又はＤＶＤ（Digital Versatile Disk）等の記録媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２２】
本発明の画像記録装置およびその画像再生装置によれば、高速撮影時に画質を大きく劣化させることなく、撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができるという作用効果を奏する。
【発明を実施するための最良の形態】
【００２３】
以下、本発明に係わる実施の形態について図面を参照しながら説明する。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１の画像記録装置の構成を示すブロック図である。本実施の形態の画像記録装置１００は、撮像部１０１と、画像信号処理部１０２と、画像符号化部１０３と、低解像度画像符号化部１０４と、記録処理部１０５と、記録機構部１０６と、記録操作部１０７とを備える。
【００２５】
撮像部１０１は、例えばＣＣＤ（Charge Coupled Devices）などの撮像素子により構成され、レンズなどの光学器具を介して入射される光信号を取得して電気信号に変換することにより、すなわち撮像することにより、複数の画素からなる画像（以下、撮影画像という）を生成する。
【００２６】
記録操作部１０７は、ユーザによる操作を受け付ける。例えば、記録操作部１０７は、通常撮影の開始または停止を受け付けたり、高速撮影の開始または停止を受け付けたりする。
【００２７】
画像信号処理部１０２は、記録操作部１０７で通常撮影の開始が受け付けられると、撮像部１０１により生成される撮影画像を低フレームレート（第１のフレームレート）で順次読み出し、その読み出した画像を全て画像符号化部１０３に出力する。ここで、画像信号処理部１０２は、撮影画像を構成する全ての画素を読み出して画像符号化部１０３に出力することにより、高解像度（第１の解像度）の画像を画像符号化部１０３に出力する。
【００２８】
また、画像信号処理部１０２は、記録操作部１０７で高速撮影の開始が受け付けられると、撮像部１０１により生成される撮影画像を高フレームレート（第２のフレームレート）で読み出す。このとき、画像信号処理部１０２は、高フレームレートで読み出される画像のうち、上述の低フレームレートに対応する画像だけを画像符号化部１０３に出力し、その他の画像を低解像度画像符号化部１０４に出力する。ここで、画像信号処理部１０２は、撮影画像を構成する全ての画素を読み出して画像符号化部１０３に出力することにより、低フレームレートに対応する画像を高解像度で画像符号化部１０３に出力する。また、画像信号処理部１０２は、撮影画像を構成する全ての画素のうち一部の画素のみを読み出して画像符号化部１０３に出力することにより、上述のその他の画像を低解像度（第２の解像度）で生成し、低解像度画像符号化部１０４に出力する。
【００２９】
なお、撮像部１０１から読み出される画像は、例えば、インターレース方式で読み出されたフィールド画像や、プログレッシブ方式で読み出されたフレーム画像などである。
【００３０】
画像符号化部１０３は、画像信号処理部１０２から順次出力される画像を取得し、複数の画像からなる画像列を符号化することにより符号化データを順次生成して記録処理部１０５に出力する。低解像度画像符号化部１０４も、上述の画像符号化部１０３と同様、画像信号処理部１０２から順次出力される画像を取得し、複数の画像からなる画像列を符号化することにより、符号化データを順次生成して記録処理部１０５に出力する。
【００３１】
記録機構部１０６は、記録処理部１０５による制御に基づいて、例えばＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）などの記録媒体にデータを書き込む。
【００３２】
記録処理部１０５は、画像符号化部１０３および低解像度画像符号化部１０４から出力される符号化データを順次取得し、記録機構部１０６を制御することにより、それらの符号化データをストリームとして上述の記録媒体に書き込む。
【００３３】
具体的には、記録処理部１０５は、通常撮影時には、画像符号化部１０３から出力される符号化データを順次取得して、それらの符号化データからなる高解像度ストリームを記録媒体に書き込む。また、記録処理部１０５は、高速撮影時には、画像符号化部１０３から出力される符号化データを順次取得して、それらの符号化データからなる高解像度ストリームを記録媒体に書き込むとともに、低解像度画像符号化部１０４から出力される符号化データを順次取得して、それらの符号化データからなる低解像度ストリームを記録媒体に書き込む。
【００３４】
このような画像記録装置１００は、通常撮影時には、所定の解像度で画像を順次読み出してそれらの複数の画像を符号化し、記録媒体に記録する。一方、高速撮影時には、画像記録装置１００は、通常撮影時の時間間隔で読み出される画像に加えて、これらの画像間にある高速撮影時にのみ記録される画像を読み出す。そして、画像記録装置１００は、高速撮影時に読み出される画像のうち、通常撮影時の時間間隔で読み出される画像に関しては、通常撮影時と同様に符号化して記録媒体に記録する。また、画像記録装置１００は、高速撮影時にのみ記録される画像に関しては、読み出し画素を間引くことにより、上述の所定の解像度よりも低い解像度で画像を撮像部１０１から読み出し、その低解像度の複数の画像を符号化して記録媒体に記録する。
【００３５】
図２は、低解像度化の例を説明するための図である。
【００３６】
例えば、画像信号処理部１０２は、撮像部１０１により生成された撮影画像を読み出すときには、その撮影画像に含まれる全ての画素を読み出さず、読み出し画素を間引くことにより、その画像の低解像度化を行う。具体的には、画像信号処理部１０２は、図２の（ａ）に示す撮影画像に含まれる全ての画素から、図２の（ｂ）に示すように、奇数または偶数のライン（行）に含まれる画素を間引いたり、図２の（ｃ）に示すように、奇数または偶数の列に含まれる画素を間引いたりする。または、画像信号処理部１０２は、図２の（ｄ）に示すように、奇数または偶数のラインと、奇数または偶数の列との少なくとも一方に含まれる画素を間引く。
【００３７】
言い換えれば、画像信号処理部１０２は、撮影画像を構成する全ての画素のうち、上述のように間引かれた画素を除く、残りの一部の画素を読み出す。つまり、画像信号処理部１０２は、図２の（ｂ）に示すように、ライン単位に、奇数ラインに含まれる画素のみを読み出し、図２の（ｃ）に示すように、列単位に、奇数列に含まれる画素のみを読み出す。また、図２の（ｄ）に示すように、画像信号処理部１０２は、撮影画像を構成する複数の画素のうち、奇数ラインと奇数列とをそれぞれ複数特定し、特定された各ラインと各列との交点にある画素を読み出す。
【００３８】
なお、図２中、間引き後の画像において、太線で濃く描かれた画素が読み出された画素を表し、薄く描かれた画素が記録時に間引かれた画素を表す。また、図２に示す間引き以外の間引きを行うことにより画像を低解像度化してもよく、画像ごとに間引き方法や、間引きされる画素の位置を変更してもよい。
【００３９】
図３は、高速撮影時に記録される画像の解像度を示す図である。
【００４０】
例えば、撮像部１０１は、図３の（ａ）に示すように、撮像することにより、解像度（画素数）「１９２０×１０８０」の撮影画像を生成する。なお、図３中の番号は、各画像の撮像順を示す。つまり、画像ｉ（ｉは整数）はｉ番目に撮像された画像である。
【００４１】
画像信号処理部１０２は、高速撮影時には、毎秒３００フレームの速度で各画像を撮像部１０１から読み出す。このとき、画像信号処理部１０２は、解像度「１９２０×１０８０」の画像を毎秒６０フレームの速度で撮像部１０１から読み出し、画像符号化部１０３に出力する。また、画像信号処理部１０２は、解像度「６４０×５４０」の画像を毎秒２４０フレームの速度で撮像部１０１から読み出し、低解像度画像符号化部１０４に出力する。この解像度「６４０×５４０」の画像は、高速撮影時にのみ記録される低解像度の画像であって、画像サイズが元の撮影画像から横方向に１／３になり、縦方向に１／２になるように、画素が間引かれた画像である。
【００４２】
具体的には、画像信号処理部１０２は、画像０を解像度「１９２０×１０８０」の高解像度で読み出し、次に、画像１〜４を解像度「６４０×５４０」の低解像度で読み出す。さらに、画像信号処理部１０２は、画像５を解像度「１９２０×１０８０」の高解像度で読み出し、次に、画像６〜９を解像度「６４０×５４０」の低解像度で読み出す。画像信号処理部１０２はこのような処理を繰り返し実行する。その結果、画像信号処理部１０２は、画像０，５，１０，１５からなる高解像度ストリームを生成して出力すると共に、画像１〜４，６〜９，１１〜１４からなる低解像度ストリームを生成して出力する。これらのストリームは、画像符号化部１０３または低解像度画像符号化部１０４により符号化され、記録処理部１０５および記録機構部１０６により記録媒体に記録される。
【００４３】
図３に示すように高速撮影する場合、高速撮影に必要となる撮像部１０１からの画像転送速度、符号化速度および画像記録速度は、通常撮影時と比較して、１＋４×（１／３）×（１／２）＝５／３、つまり約６６％増大する。一方、従来通り、すべての画像を高解像度「１９２０×１０８０」で読み出して記録する場合には、高速撮影に必要となる撮像部１０１からの画像転送速度、符号化速度および画像記録速度は、通常撮影時と比較して５倍となる。よって、本実施の形態における画像記録装置１００では、撮像部１０１からの画像転送速度、符号化速度および画像記録速度を大きく削減することができる。
【００４４】
一般に、本発明の実施の形態１における画像記録装置１００は、Ｎ倍速の高速撮影時に、高速撮影時にのみ記録される画像のサイズが撮影画像の１／Ｍになるように、画素を間引いてその画像を記録すると、高速撮影に必要な撮像部１０１からの画像転送速度、符号化速度および画像記録速度を、通常撮影時のＮ倍から１＋（Ｎ−１）／Ｍ倍まで低減することができる。
【００４５】
上述の通り、本実施の形態の画像記録装置１００では、高速撮影時にのみ記録される画像を低解像度で記録することで、高速撮影時に必要となる撮像部１０１からの画像転送速度、符号化速度および画像記録速度を低減することができる。さらに、高速撮影時にも、通常撮影時の時間間隔で読み出される画像の解像度は高いため、画質の劣化を防ぐことができる。
【００４６】
なお、ここでは高速撮影時にのみ記録される全ての画像は、通常撮影時の時間間隔で読み出される画像よりも低い解像度で記録されるものとしたが、その一部を通常撮影時の時間間隔で読み出される画像と同じ解像度で撮像部１０１から読み出し、画像符号化部１０３で符号化してもよい。これにより、撮像部１０１からの画像転送速度、符号化速度および画像記録速度は若干増加するものの、より高画質での高速撮影が可能となる。
【００４７】
また、画像符号化部１０３と低解像度画像符号化部１０４は、それぞれの機能のすべてまたは一部を共有してもよい。
【００４８】
図４は、本実施の形態における画像記録装置１００の動作を示すフローチャートである。
【００４９】
画像記録装置１００は、まず、記録操作部１０７により受け付けられた操作に基づいて、高速撮影をすべきか、通常撮影すべきかを判別する（ステップＳ１００）。ここで、通常撮影すべきと判別すると（ステップＳ１００の通常）、画像記録装置１００は、低フレームレートにより示されるタイミングで、撮像部１０１から高解像度で画像を読み出し（ステップＳ１０２）、その読み出した画像をバッファ（例えば画像信号処理部１０２内のバッファ）に格納する（ステップＳ１０４）。そして、画像記録装置１００は、符号化に用いる画像をそのバッファから取り出して（ステップＳ１０６）、符号化を行い（ステップＳ１０８）、その符号化により生成される符号化データを記録媒体に記録する（ステップＳ１１０）。なお、ステップＳ１０６において、符号化に用いる画像がバッファに蓄積されていなければ、そのステップＳ１０６、Ｓ１０８およびＳ１１０の処理は省略される。さらに、画像記録装置１００は、記録操作部１０７により受け付けられた操作に基づいて、通常撮影を終了すべきか否かを判別する（ステップＳ１１２）。終了すべきでないと判別したときには（ステップＳ１１２のＮ）、画像記録装置１００は、ステップＳ１０２からの処理を繰り返し実行し、終了すべきと判別したときには（ステップＳ１１２のＹ）、通常撮影を終了する。
【００５０】
一方、画像記録装置１００は、ステップＳ１００で高速撮影をすべきと判別すると（ステップＳ１００の高速）、さらに、高フレームレートにより示される読み出しのタイミングで、そのタイミングが低フレームレート（通常のフレームレート）により示される読み出しのタイミングであるか否かを判別する（ステップＳ１１４）。
【００５１】
ここで、画像記録装置１００は、低フレームレートのタイミングであると判別すると（ステップＳ１１４のＹ）、上述と同様、撮像部１０１から画像を高解像度で読み出し（ステップＳ１１６）、その読み出した画像をバッファに格納する（ステップＳ１１８）。そして、画像記録装置１００は、符号化に用いる画像をそのバッファから取り出し（ステップＳ１２０）、符号化を行い（ステップＳ１２２）、その符号化により生成される符号化データを記録媒体に記録する（ステップＳ１２４）。なお、ステップＳ１２０において、符号化に用いる画像がバッファに蓄積されていなければ、そのステップＳ１２０、Ｓ１２２およびＳ１２４の処理は省略される。一方、画像記録装置１００は、低フレームレートのタイミングでないと判別すると（ステップＳ１１４のＮ）、間引きを行うことにより、撮像部１０１から画像を低解像度で読み出し（ステップＳ１２６）、その読み出した画像をバッファに格納する（ステップＳ１２８）。そして、画像記録装置１００は、符号化に用いる画像をそのバッファから取り出し（ステップＳ１３０）、符号化を行い（ステップＳ１３２）、その符号化により生成される符号化データを記録媒体に記録する（ステップＳ１２４）。なお、ステップＳ１３０において、符号化に用いる画像がバッファに蓄積されていなければ、そのステップＳ１３０、Ｓ１３２およびＳ１２４の処理は省略される。さらに、画像記録装置１００は、記録操作部１０７により受け付けられた操作に基づいて、高速撮影を終了すべきか否かを判別する（ステップＳ１３４）。終了すべでないと判別したときには（ステップＳ１３４のＮ）、画像記録装置１００は、ステップＳ１１４からの処理を繰り返し実行し、終了すべきと判別したときには（ステップＳ１３４のＹ）、高速撮影を終了する。
【００５２】
なお、図４に示す画像記録装置１００の動作では、撮像部１０１からの画像の読み出し、符号化、および記録を同期させているが、同期させなくてもよい。つまり、撮像部１０１から画像を読み出してバッファに格納する周期と、そのバッファに格納された１つまたは複数の画像を取り出して符号化する周期とを異ならせてもよい。
【００５３】
（実施の形態２）
図５は、本発明の実施の形態２の画像再生装置の構成を示すブロック図である。本実施の形態の画像再生装置２００は、読み出し処理部２１０と、画像復号化部２１１と、低解像度画像復号化部２１２と、解像度変換部２１３と、再生部２１４と、読み出し機構部２１５と、再生操作部２１６とを備える。
【００５４】
再生操作部２１６は、ユーザによる操作を受け付ける。例えば、再生操作部２１６は、通常再生の開始または停止を受け付けたり、スロー再生の開始または停止を受け付けたりする。
【００５５】
読み出し機構部２１５は、読み出し処理部２１０による制御に基づいて、上述の記録媒体に記録されているストリームを読み出し、読み出し処理部２１０に出力する。
【００５６】
読み出し処理部２１０は、再生操作部２１６に受け付けられた操作に応じて、読み出し機構部２１５に対して、ストリームの読み出しを実行させ、その読み出されたストリームを取得する。
【００５７】
具体的には、通常撮影により記録された高解像度ストリームの通常再生の開始が再生操作部２１６に受け付けられると、読み出し処理部２１０は、その高解像度ストリームの読み出しを読み出し機構部２１５に実行させる。そして、読み出し処理部２１０は、読み出し機構部２１５により読み出される高解像度ストリームを取得して、画像復号化部２１１に出力する。
【００５８】
また、高速撮影により記録されたストリーム（低解像度ストリームおよび高解像度ストリーム）の通常再生の開始が再生操作部２１６に受け付けられると、読み出し処理部２１０は、そのストリームのうち、高解像度画像ストリームの読み出しを読み出し機構部２１５に実行させる。そして、読み出し処理部２１０は、読み出し機構部２１５により読み出される高解像度ストリームを取得して、画像復号化部２１１に出力する。
【００５９】
さらに、高速撮影により記録されたストリームのスロー再生の開始が再生操作部２１６に受け付けられると、読み出し処理部２１０は、そのストリームの全て、つまり低解像度ストリームおよび高解像度ストリームの読み出しを読み出し機構部２１５に実行させる。そして、読み出し処理部２１０は、読み出し機構部２１５により読み出される高解像度ストリームを取得して、画像復号化部２１１に出力するとともに、読み出し機構部２１５により読み出される低解像度ストリームを取得して、低解像度画像復号化部２１２に出力する。
【００６０】
画像復号化部２１１は、読み出し処理部２１０から高解像度ストリームを取得し、その高解像度ストリームを復号化することにより、高解像度の画像を順次生成して出力する。
【００６１】
低解像度画像復号化部２１２は、読み出し処理部２１０から低解像度ストリームを取得し、その低解像度ストリームを復号化することにより、低解像度の画像を順次生成して出力する。
【００６２】
解像度変換部２１３は、低解像度画像復号化部２１２から低解像度の画像を順次取得し、その低解像度の画像を高解像度化して再生部２１４に出力する。すなわち、解像度変換部２１３は、低解像度画像復号化部２１２から取得した低解像度の画像に対応する高解像度の画像を画像復号化部２１１から取得する。そして、解像度変換部２１３は、その高解像度の画像を用いて低解像度の画像を高解像度化する。なお、低解像度の画像に対応する高解像度の画像とは、撮影順（表示順）でその低解像度の画像に近い高解像度の画像である。
【００６３】
このように、解像度変換部２１３は、低解像度画像復号化部２１２から出力される画像の解像度が、画像復号化部２１１から出力される画像の解像度と等しくなるように、高解像度化を行う。
【００６４】
再生部２１４は、画像復号化部２１１のみから高解像度の画像が出力されるときには、その高解像度の複数の画像を取得し、それらを撮影順（表示順）に配列して画像再生装置２００の外部にあるディスプレイ（表示部）に表示させる。また、再生部２１４は、画像復号化部２１１および解像度変換部２１３から高解像度の画像が出力されるときには、それらの高解像度の画像を取得し、それらを撮影順に配列して画像再生装置２００の外部にあるディスプレイに表示させる。
【００６５】
このような画像再生装置２００は、通常撮影により記録されたストリームの再生時、あるいは高速撮影により記録されたストリームの通常速度での再生時には、通常撮影時の低フレームレートで記録されたストリームを読み出し、復号化して再生する。通常速度での再生の場合、高速撮影された画像に関しても、通常撮影された画像と同等の解像度を有する。
【００６６】
一方、画像再生装置２００は、高速撮影により記録されたストリームをスロー再生する際には、通常撮影時のフレームレートで記録された高解像度ストリームに加えて、高速撮影時にのみ記録されている符号化された低解像度の複数の画像からなる低解像度ストリームも読み出す。そして、画像再生装置２００は、低解像度ストリームを復号化し、低解像度の画像で間引かれている画素の位置に、高解像度の画像の画素を補間することにより、その低解像度の画像を高解像度化する。その後、画像再生装置２００は、高解像度化された画像と、通常速度での撮影により生成された高解像の画像とを撮影された順番に表示する。
【００６７】
図６は、解像度変換部２１３による画像の高解像度化の一例を説明するための説明図である。
【００６８】
解像度変換部２１３は、例えば、高解像度の画像を用いて、低解像度の画像に画素を補間することにより、その低解像度の画像を高解像度化する。
【００６９】
具体的には、実施の形態１の画像記録装置１００の撮像部１０１は、図６に示すように、高フレームレートに応じたタイミングに、撮影画像ｆ１、ｆ２，ｆ３を生成する。つまり、時刻ｔ１に撮影画像ｆ１が生成され、時刻ｔ２に撮影画像ｆ２が生成され、時刻ｔ３に撮影画像ｆ３が生成される。なお、撮影画像ｆ１と撮影画像ｆ２との間には動きかがなく、撮影画像ｆ２と撮影画像ｆ３との間には動きがある。
【００７０】
このような撮影画像ｆ１〜ｆ３は、画像記録装置１００による高速撮影では、高解像度の画像ｆ１ａを表示するための符号化データを含む高解像度ストリーム、および低解像度の画像ｆ２ｂ，ｆ３ｂを表示するための符号化データを含む低解像度ストリームとして記録媒体に記録されている。すなわち、高解像度ストリームが復号化されることにより生成される画像ｆ１ａは撮影画像ｆ１と同一であり、低解像度ストリームが復号化されることにより生成される画像ｆ２ｂ，ｆ３ｂはそれぞれ、撮影画像ｆ２，ｆ３の縦方向および横方向のサイズが１／２になるように、その撮影画像ｆ２，ｆ３から画素が間引かれた画像である。なお、図６に示す画像ｆ２ｂ、ｆ３ｂのそれぞれにおいて、太線で濃く描かれた画素は、その画像に含まれている、記録媒体に記録されている画素であり、薄く描かれた画素は、記録媒体に記録されていない間引かれた画素である。
【００７１】
解像度変換部２１３は、低解像度の画像ｆ２ｂを高解像度化するときには、高解像度の画像ｆ１ａを用いる。ここで、上述のように、撮影画像ｆ１，ｆ２の間には動きがない。つまり、画像ｆ１ａ，ｆ２ｂの間にも動きがない。よって、解像度変換部２１３は、画像ｆ１ａと画像ｆ２ｂとの間でのブロックマッチングなどの方法による動き検出の結果、画像の動きベクトルの大きさが０であることを検出する。ここで、解像度変換部２１３は、画像ｆ２ｂの間引かれた各画素の空間的位置ごとに、画像ｆ１ａ上のその空間的位置と同一位置にある画素を、画像ｆ２ｂ上のその空間的位置に補間する。これにより、解像度変換部２１３は、低解像度の画像ｆ２ｂを画像ｆ２ｃに高解像度化する。
【００７２】
また、解像度変換部２１３は、低解像度の画像ｆ３ｂを高解像度化するときには、上述と同様、高解像度の画像ｆ１ａを用いる。ここで、上述のように、撮影画像ｆ２，ｆ３の間には動きがある。つまり、画像ｆ１ａ，ｆ３ｂの間にも画像の動きがある。よって、解像度変換部２１３は、画像ｆ１ａと画像ｆ３ｂとの間でのブロックマッチングなどの方法による動き検出の結果、画像の動きベクトルの大きさが０以外であることを検出する。ここで、解像度変換部２１３は、その動きベクトルに従って画像ｆ１ａの画像を動き補償する。解像度変換部２１３は、画像ｆ３ｂの間引かれた各画素の空間的位置ごとに、動き補償された画像ｆ１ａ上のその空間的位置と同一位置にある画素を、画像ｆ３ｂ上のその空間的位置に補間する。これにより、解像度変換部２１３は、低解像度の画像ｆ３ｂを画像ｆ３ｃに高解像度化する。このように動き補償して画素を補間することにより、画像間に動きがあっても、画質劣化なく解像度を変換することができる。
【００７３】
図７は、解像度変換部２１３による画像の高解像度化の他の例を説明するための説明図である。
【００７４】
解像度変換部２１３は、例えば、低解像度の画像を用いて、他の低解像度の画像に画素を補間することにより、他の低解像度の画像を高解像度化する。
【００７５】
具体的には、実施の形態１の画像記録装置１００の撮像部１０１は、図７に示すように、高フレームレートに応じたタイミングに、撮影画像ｆ１〜ｆ５を生成する。つまり、時刻ｔ１に撮影画像ｆ１が生成され、時刻ｔ２に撮影画像ｆ２が生成され、時刻ｔ３に撮影画像ｆ３が生成される。
【００７６】
このような撮影画像ｆ１〜ｆ５は、画像記録装置１００による高速撮影では、高解像度の画像ｆ１ａを表示するための符号化データを含む高解像度ストリーム、および低解像度の画像ｆ２ｂ〜ｆ５ｂを表示するための符号化データを含む低解像度ストリームとして記録媒体に記録されている。すなわち、高解像度ストリームを復号化することにより生成される画像ｆ１ａは撮影画像ｆ１と同一であり、低解像度ストリームを復号化することにより生成される画像ｆ２ｂ〜ｆ５ｂはそれぞれ、撮影画像ｆ２〜ｆ５の縦方向および横方向のサイズが１／２になるように、その撮影画像ｆ２〜ｆ５から画素が間引かれた画像である。なお、図７に示す画像ｆ２ｂ〜ｆ５ｂのそれぞれにおいて、太線で濃く描かれた画素は、その画像に含まれている、記録媒体に記録されている画素であり、薄く描かれた画素は、記録媒体に記録されていない間引かれた画素である。
【００７７】
また、低解像度の画像ｆ２ｂ〜ｆ５ｂでは、それぞれ異なる空間的位置の画素が記録されている。つまり、低解像度の画像ｆ２ｂ〜ｆ５ｂの何れかで間引かれた画素は、その画素が間引かれた画像以外の他の画像ｆ２ｂ〜ｆ５ｂに必ず含まれている。
【００７８】
そこで、解像度変換部２１３は、例えば低解像度の画像ｆ３ｂを高解像度化するときには、低解像度の画像ｆ２ｂ，ｆ４ｂ，ｆ５ｂを用いる。つまり、解像度変換部２１３は、画像ｆ３ｂの間引かれた各画素の空間的位置ごとに、その空間的位置に画素を有する画像のその画素を、画像ｆ３ｂ上のその空間的位置に補間する。これにより、解像度変換部２１３は、低解像度の画像ｆ３ｂを画像ｆ３ｃに高解像度化する。
【００７９】
高速撮影時には画像間の時間間隔が短いため、画像間で画像に動きがない、もしくは動きが小さい場合が多い。よって、低解像度の画像で間引かれている位置の画素を、前後の画像の同位置あるいは近隣の画素から予測することにより、誤りなく補間できる可能性が高い。よって、低解像度で記録された画像の画質は大きく劣化しない。
【００８０】
上述の通り、本発明の実施の形態２における画像再生装置２００は、通常撮影時のフレームレートで記録された高解像度ストリーム、および高速撮影時にのみ記録される低解像度ストリームを復号し、さらに低解像度の画像を、通常撮影時のフレームレートで撮影された画像の解像度に変換し、解像度変換された画像と、通常撮影時のフレームレートで撮影された画像とを撮影された順番に出力することにより、大きな画質劣化なしにスロー再生することができる。
【００８１】
なお、ここでは、高速撮影時にのみ記録される全ての画像は、通常撮影時のフレームレートで記録される画像よりも低い解像度で記録されているものとした。しかし、その一部が通常撮影時のフレームレートで記録される画像と同じ解像度（高解像度）で記録されていたとしても、その一部の画像を画像復号化部２１１により復号することが可能である。
【００８２】
また、画像復号化部２１１と低解像度画像復号化部２１２は、それぞれの機能の一部またはすべてを共有してもよい。
【００８３】
図８は、本実施の形態の画像再生装置２００の動作を示すフローチャートである。
【００８４】
画像再生装置２００は、まず、再生操作部２１６により指定された再生対象が通常撮影により記録されたストリームであるか否かを判別する（ステップＳ２００）。ここで、画像再生装置２００は、再生対象が通常撮影により記録されたストリームであると判別すると（ステップＳ２００のＹ）、そのストリームに含まれる高解像度の符号化データを記録媒体から読み出す（ステップＳ２０２）。その後、画像再生装置２００は、高解像度の符号化データを復号化して（ステップＳ２０４）、その復号化により生成された高解像度の画像をバッファ（例えば再生部２１４内のバッファ）に格納する（ステップＳ２０６）。さらに、画像再生装置２００は、表示すべき高解像度の画像をそのバッファから取り出し（ステップＳ２０８）、表示する（ステップＳ２１０）。なお、ステップＳ２０８において、表示すべき画像がバッファに蓄積されていなければ、そのステップＳ２０８およびＳ２１０の処理は省略される。そして、画像再生装置２００は、再生操作部２１６により受け付けられた操作に基づいて、または、表示された画像がそのストリームの最後であったか否かに基づいて、再生を終了すべきか否かを判別する（ステップＳ２１２）。ここで、終了すべきと判別すると（ステップＳ２１２のＹ）、画像再生装置２００は、再生処理を終了し、終了すべきでないと判別すると（ステップＳ２１２のＮ）、ステップＳ２０２からの処理を繰り返し実行する。
【００８５】
一方、画像再生装置２００は、ステップＳ２００で、再生対象が高速撮影により記録されたストリームであると判別すると（ステップＳ２００のＮ）、さらに、再生操作部２１６により受け付けられた操作に基づいて、通常再生すべきかスロー再生すべきかを判別する（ステップＳ２１４）。ここで、画像再生装置２００は、通常再生すべきと判別すると（ステップＳ２１４の通常再生）、ステップＳ２０２以降の処理を実行する。つまり、画像再生装置２００は、高速撮影により記録されたストリーム（高解像度ストリームおよび低解像度ストリーム）のうち、高解像度ストリームに含まれる符号化データを順次読み出して復号化し、表示する。
【００８６】
また、画像再生装置２００は、スロー再生すべきと判別すると（ステップＳ２１４のスロー再生）、高速撮影により記録された高解像度ストリームおよび低解像度ストリームから、高解像度の符号化データおよび低解像度の符号化データを並行して読み出す（ステップＳ２１８，Ｓ２２６）。画像再生装置２００は、読み出した高解像度の符号化データを復号化して（ステップＳ２２０）、その復号化により生成された高解像度の画像をバッファに格納する（ステップＳ２２２）。ここで、画像再生装置２００は、その高解像度の画像が低解像度の画像の高解像度化に必要か否かを判別する（ステップＳ２２４）。
【００８７】
画像再生装置２００は、復号化により生成された高解像度の画像が高解像度化に必要と判別すると（ステップＳ２２４のＹ）、さらに、その高解像度の画像を必要とする低解像度の画像が生成されているか否か、すなわち、その低解像度の画像の高解像度化が可能か否かを判別する（ステップＳ２３０）。画像再生装置２００は、高解像度化が可能と判別すると（ステップＳ２３０のＹ）、ステップＳ２２０で生成された高解像度の画像を用いてその低解像度の画像を高解像度化し（ステップＳ２３２）、その高解像度化された画像をバッファに格納する（ステップＳ２３４）。また、画像再生装置２００は、ステップＳ２３０で、高解像度の画像を必要とする低解像度の画像が未だ生成されていないため、その低解像度の画像の高解像度化が不可能と判別すると（ステップＳ２３０のＮ）、その高解像度の画像を一時的に保持しておく（ステップＳ２３６）。
【００８８】
一方、復号化により生成された高解像度の画像が低解像度の画像の高解像度化に必要でないと判別したときは（ステップＳ２２４のＮ）、画像再生装置２００は表示すべき高解像度の画像をバッファから取り出して（ステップＳ２３８）、表示する（ステップＳ２４０）。なお、ステップＳ２３８において、表示すべき画像がバッファに蓄積されていなければ、そのステップＳ２３８およびＳ２４０の処理は省略される。
【００８９】
また、画像再生装置２００は、ステップＳ２２６で読み出した低解像度の符号化データを復号化することにより低解像度の画像を生成する（ステップＳ２２８）。そして、画像再生装置２００は、その低解像度の画像を高解像化するために必要な高解像度の画像が既に生成されて保持されているか否か、すなわち、その低解像度の画像の高解像度化が可能か否かを判別する（ステップＳ２３０）。
【００９０】
ここで、画像再生装置２００は、低解像度の画像の高解像度化が可能と判別すると（ステップＳ２３０のＹ）、その低解像度の画像を高解像度の画像を用いて高解像度化し（ステップＳ２３２）、その高解像度化された画像をバッファに格納する（ステップＳ２３４）。一方、画像再生装置２００は、高解像度の画像が未だ生成されていないため、その低解像度の画像を高解像度化することができないと判別すると（ステップＳ２３０のＮ）、その低解像度の画像を一時的に保持しておく（ステップＳ２３６）。さらに、画像再生装置２００は表示すべき高解像度の画像をバッファから取り出して（ステップＳ２３８）、表示する（ステップＳ２４０）。なお、ステップＳ２３８において、表示すべき画像がバッファに蓄積されていなければ、そのステップＳ２３８およびＳ２４０の処理は省略される。
【００９１】
ステップＳ２４０の後、画像再生装置２００は、再生操作部２１６により受け付けられた操作に基づいて、または、表示された画像が高速撮影により記録されたストリームの最後であったか否かに基づいて、再生を終了すべきか否かを判別する（ステップＳ２４２）。ここで、終了すべきと判別すると（ステップＳ２４２のＹ）、画像再生装置２００は、再生処理を終了し、終了すべきでないと判別すると（ステップＳ２４２のＮ）、ステップＳ２１８およびＳ２２６からの処理を繰り返し実行する。
【００９２】
なお、図８に示す画像再生装置２００の動作では、記録媒体からの符号化データの読み出し、復号化、および表示を同期させているが、同期させなくてもよい。つまり、記録媒体から符号化データを読み出して復号化してバッファに格納する周期と、そのバッファに格納された画像を取り出して表示する周期とを異ならせてもよい。また、ステップＳ２３２では、画像再生装置２００は、高解像度の画像を用いて低解像度の画像を高解像度化したが、他の低解像度の画像を用いて高解像度化してもよい。
【００９３】
以上のように実施の形態１および２を用いて説明した本発明に係る画像記録装置１００および画像再生装置２００は、例えば、ビデオカメラやＤＶＤプレーヤなどに適用することができる。
【００９４】
図９は、画像記録装置１００および画像再生装置２００の適用例を示す図である。
【００９５】
例えば、画像記録装置１００は、図９の（ａ）に示すように、撮影した画像を例えばＤＶＤなどの記録媒体に記録するビデオカメラとして構成される。また、画像再生装置２００は、図９の（ｂ）に示すように、例えばＤＶＤなどの記録媒体に記録された画像を読み出して再生するＤＶＤプレーヤとして構成される。なお、図９の（ａ）に示すビデオカメラが画像記録装置１００および画像再生装置２００を備えていてもよい。
【００９６】
また、本発明に係る画像記録装置および画像再生装置について、実施の形態１および２を用いて説明したが、本発明は、これらに限定されるものではない。
【００９７】
例えば、実施の形態１では、画像信号処理部１０２は、撮像部１０１により生成された撮影画像のうち、一部の画素を除く残りの画素を読み出すことにより、低解像の画像を生成して低解像度画像符号化部１０４に出力した。しかし、画像信号処理部１０２は、撮像部１０１により生成された撮影画像を構成する全ての画素を読み出し、読み出した全ての画素から一部の画素を削除する（間引く）ことにより、低解像度の画像を生成してもよい。
【００９８】
また、実施の形態２では、解像度変換部２１３は、低解像度の画像を高解像度化するときには、高解像度の画像および他の低解像度の画像のうち何れか一方のみを用いたが、両方を用いてもよい。また、解像度変換部２１３は、高解像度の画像を動き補償し低解像度の画像の高解像度化に用いたが、他の低解像度の画像を動き補償し低解像度の画像の高解像度化に用いてもよい。
【００９９】
また、実施の形態２では、解像度変換部２１３は低解像度の画像を高解像度化することにより、低解像度画像復号化部２１２から出力される画像の解像度を、画像復号化部２１１から出力される画像の解像度に揃えた。しかし、逆に、解像度変換部２１３は高解像度の画像を低解像度化することにより、画像復号化部２１１から出力される画像の解像度を、低解像度画像復号化部２１２から出力される画像の解像度に揃えてもよい。この場合、再生部２１４は、ディスプレイの一部の小画面、または、他の小さいディスプレイに、全ての低解像の画像を撮影順に表示させる。
【産業上の利用可能性】
【０１００】
本発明の画像記録装置および画像再生装置は、高速撮影およびその再生を行う画像記録装置および画像再生装置に有用であって、特に、必要に応じて高速撮影画像を記録し、再生時に滑らかなスロー再生画像を表示するビデオカメラなどに有用である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態１の画像記録装置の構成を示すブロック図である。
【図２】同上の低解像度化の例を説明するための図である。
【図３】同上の高速撮影時に記録される画像の解像度を示す図である。
【図４】同上の画像記録装置の動作を示すフローチャートである。
【図５】本発明の実施の形態２の画像再生装置の構成を示すブロック図である。
【図６】同上の解像度変換部による画像の高解像度化の一例を説明するための説明図である。
【図７】同上の解像度変換部による画像の高解像度化の他の例を説明するための説明図である。
【図８】同上の画像再生装置の動作を示すフローチャートである。
【図９】本発明の画像記録装置および画像再生装置の適用例を示す図である。
【図１０】従来の画像記録装置における画像記録方法の一例を示す図である。
【符号の説明】
【０１０２】
１００  画像記録装置
１０１  撮像部
１０２  画像信号処理部
１０３  画像符号化部
１０４  低解像度画像符号化部
１０５  記録処理部
１０６  記録機構部
１０７  記録操作部
２００  画像再生装置
２１０  読み出し処理部
２１１  画像復号化部
２１２  低解像度画像復号化部
２１３  解像度変換部
２１４  再生部
２１５  読み出し機構部
２１６  再生操作部
【図１】
2009164725.tif 000003
【図２】
2009164725.tif 000004
【図３】
2009164725.tif 000005
【図４】
2009164725.tif 000006
【図５】
2009164725.tif 000007
【図６】
2009164725.tif 000008
【図７】
2009164725.tif 000009
【図８】
2009164725.tif 000010
【図９】
2009164725.tif 000011
【図１０】
2009164725.tif 000012