(57)【要約】【課題】いずれの再生タイミングにおいても、再生用途に応じた明瞭な表示ができるように構成された画像データ群を出力可能な画像処理装置を提供することを目的とする。【解決手段】撮像部１１０は、一定の露光時間で順次撮像し生成したフレーム画像データを撮像順に画像合成部１３０と中央画像選択部１４０とに送出する。画像合成部１３０は、撮像部１１０から受領した各フレーム画像データを、所定数毎に合成し得られた各長時間露光画像データを、長時間露光画像記録部１５０上の連続領域に生成順に連続して記録する。また、中央画像選択部１４０は、画像合成部１３０による合成対象である所定数のフレーム画像データ毎に、撮像部１１０からの送出順が中央であるフレーム画像データを選択し、短時間露光画像記録部１６０の連続領域に生成順（選択順）に連続して記録する。【選択図】図１
2008228282.tif 000002
【特許請求の範囲】
【請求項１】
撮像順にフレーム画像データを、順次出力する撮像手段と、
前記撮像手段が連続して順次出力する所定数のフレーム画像データを１単位の処理対象として、総露光時間が第１の時間である第1画像データを、順次生成する第１生成手段と、
前記処理対象毎に、総露光時間が第１の時間とは異なる第２の時間である第２画像データを、順次生成する第２生成手段と、
前記第１生成手段が生成した第１画像データと前記第２生成手段が生成した第２画像データのうち、生成に係る処理対象が共通する第１画像データと第２画像データとを関連付けて出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１生成手段が生成する第１画像データは、処理対象である前記所定数のフレーム画像データから選択した1つのフレーム画像データであり、
前記第２生成手段が生成する第２画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１画像データを含む２以上のフレーム画像データを合成した合成画像データであり、
前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２生成手段が合成を行う前記２以上のフレーム画像データは、３以上のフレーム画像データであって、処理対象である前記所定数のフレーム画像データのうち、前記撮像手段からの出力順が、前記第１画像データの前と後とである２つのフレーム画像データを含む
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記所定数は奇数であり、
前記第１生成手段が選択する前記１つのフレーム画像データは、処理対象である前記所定数のフレーム画像データのうち、前記撮像手段からの出力順が中央となるフレーム画像データであり、
前記第２生成手段が合成を行う前記３以上のフレーム画像は、処理対象である前記所定数のフレーム画像データの全てである
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記撮像手段は、各フレーム画像データを前記第１の時間と同じ露光時間で撮像することにより出力するものである
ことを特徴とする請求項２記載の画像処理装置。
【請求項６】
処理対象である前記所定数のフレーム画像データは、前記撮像手段により、前記第１の時間と同じ露光時間と当該第１の時間とは異なる第３の時間の露光時間とで撮像されて出力されたものであり、
前記第１生成手段が選択する前記１つのフレーム画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１の時間の露光時間で撮像されたフレーム画像データである
ことを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記第１の時間は、前記第３の時間より短い
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記画像処理装置は、更に
前記出力手段が出力した複数の第1画像データそれぞれについて、第１動きベクトルを検出する第１動きベクトル検出手段と、
前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データと当該出力手段により関連付けて出力された第１画像データについての前記第１動きベクトル検出手段が検出した第１動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と
を備えることを特徴とする請求項２記載の画像処理装置。
【請求項９】
前記画像処理装置は、更に
前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと、当該出力手段により当該第１画像データと関連付けて出力された第２画像データとの差分データを生成する差分抽出手段と、
前記差分抽出手段が出力した各差分データを圧縮符号化する圧縮符号化手段と
を備えることを特徴とする請求項２記載の画像処理装置。
【請求項１０】
前記撮像手段は、各フレーム画像データを前記第１の時間より短い第３の時間の露光時間で撮像することにより出力するものであり、
前記第１生成手段が生成する第１画像データは、処理対象である前記所定数のフレーム画像データのうち、２以上のフレーム画像データを合成した合成画像データであり、
前記第２生成手段が生成する第２画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１生成手段による合成対象である２以上のフレーム画像データを含む３以上のフレーム画像データを合成した合成画像データである
ことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記画像処理装置は、更に
前記出力手段が出力した複数の第１画像データそれぞれについて、第１動きベクトルを検出する第１動きベクトル検出手段と、
前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データと当該出力手段により関連付けて出力された第１画像データについての前記第１動きベクトル検出手段が検出した第１動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記画像処理装置は、更に
前記出力手段が出力した複数の第1画像データそれぞれについて、当該第１画像データについての前記第１動きベクトル検出手段が検出した第１動きベクトルを用いて圧縮符号化する第２圧縮符号化手段
を備えることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、
前記画像処理装置は、更に
前記第２圧縮符号化手段により圧縮符号化された複数の第１画像データである複数の第１符号化データと、前記第１圧縮符号化手段により圧縮符号化された複数の第２画像データである複数の第２符号化データとのうちいずれかの符号化データを復号して画像データを出力する復号手段と、
前記復号手段が出力した画像データを再生する再生手段と、
再生速度の切り替え指示を受け付ける受付手段と、
前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けて出力された第２画像データについての第２符号化データを前記復号手段に復号させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けて出力された第１画像データについての第１符号化データを前記復号手段に復号させる復号制御手段と
を備えることを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記画像処理装置は、更に
前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データと当該出力手段により関連付けて出力された第１画像データについての第１動きベクトルに基づいて第２動きベクトルを検出する第２動きベクトル検出手段を備え、
前記第１圧縮符号化手段は、複数の第２画像データそれぞれについて、当該第２画像データについての第２動きベクトルにより圧縮符号化する
ことを特徴とする請求項１１記載の画像処理装置。
【請求項１５】
前記画像処理装置は、更に
前記出力手段が出力した複数の第２画像データそれぞれについて、動きベクトルを検出する動きベクトル検出手段と、
前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと前記出力手段により関連付けて出力された第２画像データについての前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と、
前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データについての前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第２圧縮符号化手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１６】
前記画像処理装置は、更に
前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと、当該出力手段により当該第１画像データと関連付けて出力された第２画像データとの差分データを生成する差分抽出手段と、
前記差分抽出手段が出力した各差分データを圧縮符号化して各差分符号化データを生成する第１圧縮符号化手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１７】
前記画像処理装置は、更に
前記出力手段が出力した複数の第２画像データそれぞれについて圧縮符号化し、圧縮符号化された複数の第２画像データそれぞれについて、当該第２画像データを用いて生成された差分データについての前記第１圧縮符号化手段が生成した差分符号化データと関連付けて出力する第２圧縮符号化手段
を備えることを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、
前記画像処理装置は、更に
前記第２圧縮符号化手段により圧縮符号化された複数の第２画像データである複数の第２符号化データのうちいずれかの第２符号化データのみを復号して第２画像データを出力し、又は、当該第２画像データと共に、当該第２符号化データと前記第２圧縮符号化手段により関連付けて出力された差分符号化データを復号して差分データを出力する復号手段と、
前記復号手段から差分データが出力された場合に、当該差分データと、当該差分データと共に出力された第２画像データとを合成して第１画像データを出力する合成手段と、
前記復号手段から出力された第２画像データと前記合成手段から出力された第１画像データとのいずれかを再生する再生手段と、
再生速度の切り替え指示を受け付ける受付手段と、
前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けられている第２画像データについての第２符号化データのみを前記復号手段に復号させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データについての第２符号化データと共に当該第２符号化データと前記第２圧縮符号化手段により関連付けて出力された差分符号化データを復号させる復号制御手段と
を備えることを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、
前記画像処理装置は、更に
前記出力手段が関連付けて出力した第１画像データと第２画像データとのいずれかを再生する再生手段と、
再生速度の切り替え指示を受け付ける受付手段と、
前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けて出力された第２画像データを前記再生手段に再生させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けて出力された第１画像データを再生手段に再生させる再生制御手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項２０】
外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データとから、前記所定順序に従って関連付けられた第１画像データと第２画像データとを順次取得する取得手段と、
前記取得手段が取得した第１画像データについて、動きベクトルを検出する動きベクトル検出手段と、
前記取得手段が取得した第２画像データを、前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と、
前記取得手段が取得した第１画像データを、前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第２圧縮符号化手段と
を備えることを特徴とする画像処理装置。
【請求項２１】
外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データとから、前記所定順序に従って関連付けられた第１画像データと第２画像データとを順次取得する取得手段と、
前記取得手段が取得した第１画像データについて、第２画像データとの差分データを生成する差分抽出手段と、
前記差分抽出手段が出力した差分データを圧縮符号化する圧縮符号化手段と
を備えることを特徴とする画像処理装置。
【請求項２２】
外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データのうち、いずれかの画像データを取得する取得手段と、
前記取得手段が取得した画像データを再生する再生手段と、
再生速度の切り替え指示を受け付ける受付手段と、
前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けられた第２画像データを前記取得手段に取得させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けられた第１画像データを前記取得手段に取得させる取得制御手段と
を備えることを特徴とする画像処理装置。
【請求項２３】
前記受付手段が受け付けた再生速度の切り替え指示は、切り替え後の再生速度の指定を含み、
前記取得制御手段は、前記再生手段が第２画像データを再生している場合において、前記受付手段が受け付けた再生速度の切り替え指示において指定された切り替え後の再生速度が、所定の第１閾値未満であるときは、再生中の第２画像データより前記所定順序が後の第２画像データと関連付けられた第１画像データを前記取得手段に取得させ、指定された切り替え後の再生速度が、前記第１閾値以上であるときは、再生中の第２画像データより前記所定順序が後の第２画像データを前記取得手段に取得させる
ことを特徴とする請求項２２記載の画像処理装置。
【請求項２４】
前記取得制御手段は、前記再生手段が第１画像データを再生している場合において、前記受付手段が受け付けた再生速度の切り替え指示において指定された切り替え後の再生速度が、前記第１閾値より大きい所定の第２閾値以上であるときは、再生中の第１画像データより前記所定順序が後の第１画像データと関連付けられた第２画像データを前記取得手段に取得させ、指定された切り替え後の再生速度が前記第２閾値未満であるときは、再生中の第１画像データより前記所定順序が後の第１画像データを前記取得手段に取得させる
ことを特徴とする請求項２３記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの処理技術に関し、特に複数の動画像データの生成技術、各動画像データの圧縮符号化技術及び再生技術に関する。
【背景技術】
【０００２】
動画像を構成する各フレーム画像は、通常、その動画像を再生する際のフレームレート（以下、「通常レート」という）に対応した露光時間で撮像される。
【０００３】
例えば、通常レートが３０ｆｐｓ（Frame Per Second）である場合、各フレーム画像は、１／３０秒程度の露光時間で撮像される。このようにして撮像され得られた動画像データを通常レートで再生することにより、滑らかな動きの動画像表示が可能となる。
【０００４】
ところで、このようにして得られた動画像データを通常レートとは異なるレートで再生したい場合がある。例えば、動画像編集等のためにスロー再生等を行ったりする場合があるが、動きの早い被写体を撮像して得られた動画像データに対しスロー再生等を行うと、被写体がぼやけて表示されてしまうという問題がある。これは、被写体の動きが早いために、各フレーム画像において、いわゆる被写体ぶれが生じたことによるものである。
【０００５】
つまり、通常レートに対応した露光時間（以下、「長露光時間」という）よりも短い露光時間（以下、「短露光時間」という）で撮像すれば、被写体ぶれの少ないフレーム画像を得ることができ、この短露光時間で撮像して得られたフレーム画像データを、スロー再生等の際に用いることができれば、被写体ぶれの少ないくっきりとした表示が可能となる。
【０００６】
異なる露光時間で撮像する技術として、動画像撮像中に、一時的に露光時間を短くして静止画像を撮像する技術が知られている（例えば特許文献１）。以下、特許文献１の内容について、具体的に説明する。
【０００７】
図１５は、特許文献１に係る撮像装置１０００の機能構成図である。同図に示すとおり、撮像装置１０００は、制御部１００１、撮像部１００２、切替部１００３、長時間露光画像記録部１００４、短時間露光画像記録部１００５から構成される。
【０００８】
撮像装置１０００の制御部１００１は、図示しない操作部を介してユーザから動画像撮像開始の指示を受けると、切替部１００３を長時間露光画像記録部１００４側に設定すると共に、撮像部１００２に対し、長露光時間で各フレーム画像を撮像するよう制御する。これにより、撮像部１００２からは長露光時間で撮像し得られたフレーム画像データが順次出力され長時間露光画像記録部１００４に記録されることになる。
【０００９】
また、動画撮像中に操作部を介してユーザから静止画像撮像の指示を受けると、制御部１００１は、切替部１００３を短時間露光画像記録部１００５側に設定すると共に、撮像部１００２に対し、長露光時間より短い短露光時間で静止画像を１つ撮像するよう制御する。これにより、撮像部１００２からは短露光時間で撮像し得られた１つの静止画像データが出力され短時間露光画像記録部１００５に記録されることになる。
【００１０】
短時間露光画像記録部１００５への静止画像データの記録が完了すると、制御部１００１は、切替部１００３を長時間露光画像記録部１００４側に設定すると共に、撮像部１００２に対し、長露光時間で各フレーム画像を撮像するよう制御する。これにより、撮像部１００２からは、再び長露光時間で撮像し得られたフレーム画像データが順次出力され、各フレーム画像データが長時間露光画像記録部１００４に記録されることになる。
【００１１】
このように、特許文献１に係る撮像装置１０００によれば、長露光時間で撮像した各フレーム画像から構成される動画像の撮像中に、短露光時間で静止画像を撮像することが可能となる。
【００１２】
また、動画像データを再生している場合に、その動画像を撮像中に撮像された静止画像への表示切替を可能にする技術が知られている（例えば特許文献２）。以下、特許文献２に係る電子カメラについて簡単に説明する。
【００１３】
特許文献２に係る電子カメラは、特許文献１と同様、動画像撮像中に静止画像を撮像することができ、撮像し得られた静止画像データを、その静止画像の撮像時間（動画像撮像開始からの経過時間）と共に記録する。
【００１４】
また、特許文献２に係る電子カメラは、撮像し得られた動画像データ及び静止画像データの再生が可能であり、ある動画像を撮像中に静止画像を撮像した場合においてその動画像データを再生すると、その静止画像の撮像時間付近で撮像されたフレーム画像が表示される際に、静止画像が存在する旨の表示を行う。その表示を見たユーザが所定操作を行うと、特許文献２に係る電子カメラは、動画像から静止画像へ表示を切り替える。
【００１５】
特許文献１の技術と特許文献２の技術とを組み合わせることによって、動画像撮像中に静止画像を撮像した場合において、動画像データを再生したときは滑らかな動きの動画表示が可能であるとともに、静止画像の撮像時間付近のフレーム画像が表示されているときに、被写体ぶれの少ない静止画像に表示を切り替えることができる。
【００１６】
また、一般的な動画像処理技術として、複数の動画像データに対する圧縮符号化技術（例えば特許文献３）や、ある露光時間で撮像された複数のフレーム画像データを合成することにより、長露光時間のフレーム画像データを得る技術（例えば特許文献４）がある。特許文献３に係る動画像符号化装置の構成は図１７、特許文献４に係る撮像装置の構成は図１８に示す通りである。
【特許文献１】特開２００６−５０３０８号公報（第８頁、図１）
【特許文献２】特開２００４−３０４４２５号公報（第１８頁、図６）
【特許文献３】特開２００２−３４４９７２号公報（第３１頁、図１）
【特許文献４】特開２００４−４８４２１号公報（第９頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献１の技術と特許文献２の技術とを組み合わせても、動画像の再生時間（先頭フレームからの経過時間）が静止画像の撮像時間付近になった場合に限り、ユーザが、表示中の動画像のフレーム画像から、被写体ぶれの少ないくっきりとした静止画像へ表示を切り替えられるに過ぎない。
【００１８】
例えば、上述の例のように、通常レートで動画像データを再生している場合において、任意のタイミングでスロー再生等を行うときに、被写体ぶれの少ない画像に表示を切り替えることはできない。特許文献１の方法では、ユーザからの指示に応じて、静止画像の撮像を行うため、上述の任意のタイミングにおいて、短露光時間で撮像された画像が存在するとは限らないからである。
【００１９】
そこで、本発明は係る必要性に鑑みてなされたものであり、いずれの再生タイミングにおいても、再生用途に応じた明瞭な表示ができるように構成された画像データ群を出力可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するために、本発明に係る画像処理装置は、撮像順にフレーム画像データを、順次出力する撮像手段と、前記撮像手段が連続して順次出力する所定数のフレーム画像データを１単位の処理対象として、総露光時間が第１の時間である第1画像データを、順次生成する第１生成手段と、前記処理対象毎に、総露光時間が第１の時間とは異なる第２の時間である第２画像データを、順次生成する第２生成手段と、前記第１生成手段が生成した第１画像データと前記第２生成手段が生成した第２画像データのうち、生成に係る処理対象が共通する第１画像データと第２画像データとを関連付けて出力する出力手段とを備えることを特徴とする。
【００２１】
ここで、総露光時間とは、撮像手段が出力する各フレーム画像データにおいて被写体を撮像した際の露光時間、又は複数のフレーム画像データを合成して得られた合成画像データにおける露光時間をいう。
【００２２】
また、合成とは、複数のフレーム画像データにおいて、同じ位置にある画素の画素値の合計値、又は算出に用いたフレーム画像データ数でその合計値を割った値を、合成画像データの同じ位置にある画素の画素値とする処理を、全ての画素に対して行うことをいう。
【発明の効果】
【００２３】
上述の構成を備える本発明に係る画像処理装置は、処理対象である所定数のフレーム画像データ毎に総露光時間の異なる第１画像データと第２画像データとを生成することができる。従って、例えば、第１の時間を第２の時間より短い総露光時間として、第２の時間を通常レートに対応する総露光時間として、各第１画像データと各第２画像データとを生成した場合に、各第２画像データを用いて通常レートで再生することによって、滑らかな動画像表示を実現でき、また、各第１画像データを用いてスロー再生等を行うことによって、ぶれの少ないくっきりとした表示を実現できる。
【００２４】
また、第１画像データと第２画像データとは関連付けられて出力されるため、第１画像データ群と第２画像データ群とを用いて再生する場合に、例えば、第２画像データ群を順次再生している場合に、任意のタイミングで再生中の第２画像データから、関連付けられている第１画像データに切り替えて再生することが可能となる。
【００２５】
このように、本発明に係る画像処理装置は、いずれの再生タイミングにおいても、通常レートでの再生やスロー等での再生など、用途に応じた明瞭な表示ができるように構成された第１画像データ群と第２画像データ群とを出力できる。
【００２６】
また、前記第１生成手段が生成する第１画像データは、処理対象である前記所定数のフレーム画像データから選択した1つのフレーム画像データであり、前記第２生成手段が生成する第２画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１画像データを含む２以上のフレーム画像データを合成した合成画像データであり、前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力することとしてもよい。
【００２７】
これにより、第２生成手段は、第１生成手段が選択したフレーム画像データ（第１画像データ）を含む２以上のフレーム画像データを合成するため、総露光時間が第１画像データより長い第２画像データを生成することができる。
【００２８】
また、前記第２生成手段が合成を行う前記２以上のフレーム画像データは、３以上のフレーム画像データであって、処理対象である前記所定数のフレーム画像データのうち、前記撮像手段からの出力順が、前記第１画像データの前と後とである２つのフレーム画像データを含むこととしてもよい。
【００２９】
これにより、第２生成手段は、第１生成手段が選択したフレーム画像データ（第１画像データ）とその前と後とに撮像手段が出力した２つのフレーム画像データとを合成することにより第２画像データを生成する。従って、第１画像データの総露光時間帯は、第２画像データの総露光時間帯に包含されることになり、本発明に係る画像処理装置は、総露光時間帯の中央時間が対応しつつも総露光時間の異なる第１画像データと第２画像データとを出力することができる。
【００３０】
また、前記所定数は奇数であり、前記第１生成手段が選択する前記１つのフレーム画像データは、処理対象である前記所定数のフレーム画像データのうち、前記撮像手段からの出力順が中央となるフレーム画像データであり、前記第２生成手段が合成を行う前記３以上のフレーム画像は、処理対象である前記所定数のフレーム画像データの全てであることとしてもよい。
【００３１】
これにより、第１生成手段は所定数のフレーム画像データのうち、撮像手段からの出力順が中央となるフレーム画像データを選択するため、生成される第２画像データの総露光時間帯の中央となる時間帯に撮像された、フレーム画像データ（第１画像データ）を生成することができる。つまり、本発明に係る画像処理装置は、総露光時間帯における中央時間が一致しつつ総露光時間の異なる第１画像データと第２画像データとを出力することができる。
【００３２】
また、所定数のフレーム画像データの数を比較的多くすることにより、総露光時間が比較的大きく異なる第１画像データと第２画像データとを生成することができる。
【００３３】
また、前記撮像手段は、各フレーム画像データを前記第１の時間と同じ露光時間で撮像することにより出力するものであることとしてもよい。
【００３４】
これにより、撮像手段は、第１の時間と同じ露光時間で各フレーム画像を撮像するため、第２生成手段は、総露光時間が第１画像データの整数倍である第２画像データを生成することができる。
【００３５】
また、処理対象である前記所定数のフレーム画像データは、前記撮像手段により、前記第１の時間と同じ露光時間と当該第１の時間とは異なる第３の時間の露光時間とで撮像されて出力されたものであり、前記第１生成手段が選択する前記１つのフレーム画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１の時間の露光時間で撮像されたフレーム画像データであることとしてもよい。
【００３６】
これにより、撮像手段が異なる露光時間で撮像する場合でも、総露光時間の異なる第１画像データと第２画像データとを生成することができる。
【００３７】
また、前記第１の時間は、前記第３の時間より短いこととしてもよい。
【００３８】
これにより、第３の時間のほうが第１の時間より長い時間であるため、撮像手段が露光時間を一定の第１の時間として撮像する場合と比較し、第２生成手段は、より少ない合成回数で、総露光時間が第２の時間の第２画像データを生成することができる。
【００３９】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第1画像データそれぞれについて、第１動きベクトルを検出する第１動きベクトル検出手段と、前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データと当該出力手段により関連付けて出力された第１画像データについての前記第１動きベクトル検出手段が検出した第１動きベクトルを用いて圧縮符号化する第１圧縮符号化手段とを備えることとしてもよい。
【００４０】
ここで、第１動きベクトルを用いて圧縮符号化するとは、第１動きベクトル検出手段が検出した第１動きベクトルそのものに基づいて第２画像データを圧縮符号化する場合のみならず、この第１動きベクトルを初期値として第２画像データについて動きベクトルの再探索を行い、再探索によって得られた動きベクトルに基づいて第２画像データを圧縮符号化する場合をいう。
【００４１】
これにより、第２生成手段が生成する第２画像データは、第１生成手段が選択したフレーム画像データ（第１画像データ）を含む２以上のフレーム画像データを合成したものであるため、その第２画像データと関連付けて出力された第１画像データとは比較的よく似た画像データになる可能性が高い。つまり、もし仮に、第２画像データについて動きベクトルを検出した場合に、その動きベクトルと、その第２画像データと関連付けられた第１画像データについて検出した動きベクトルとの一致度は比較的高くなる。
【００４２】
従って、第１動きベクトル検出手段が検出した第１画像データについての第１動きベクトルそのものに基づいて、その第１画像データと関連付けられた第２画像データを圧縮符号化した場合にも、本発明に係る画像処理装置は、圧縮率を維持した圧縮符号化を行うことができる。
【００４３】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと、当該出力手段により当該第１画像データと関連付けて出力された第２画像データとの差分データを生成する差分抽出手段と、前記差分抽出手段が出力した各差分データを圧縮符号化する圧縮符号化手段とを備えることとしてもよい。
【００４４】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと、当該出力手段により当該第１画像データと関連付けて出力された第２画像データとの差分データを生成する差分抽出手段と、前記差分抽出手段が出力した各差分データを圧縮符号化して各差分符号化データを生成する第１圧縮符号化手段とを備えることとしてもよい。
【００４５】
これにより、上述のように関連付けられた第１画像データと第２画像データとは比較的よく似た画像データになる可能性が高いため、差分抽出手段が生成する差分データのデータサイズは比較的小さいものとなり、この差分データを圧縮符号化することにより、効率のよい圧縮符号化が実現できる。
【００４６】
また、前記撮像手段は、各フレーム画像データを前記第１の時間より短い第３の時間の露光時間で撮像することにより出力するものであり、前記第１生成手段が生成する第１画像データは、処理対象である前記所定数のフレーム画像データのうち、２以上のフレーム画像データを合成した合成画像データであり、前記第２生成手段が生成する第２画像データは、処理対象である前記所定数のフレーム画像データのうち、前記第１生成手段による合成対象である２以上のフレーム画像データを含む３以上のフレーム画像データを合成した合成画像データであることとしてもよい。
【００４７】
これにより、撮像手段は、第１の時間より短い露光時間（第３の時間）で撮像した場合にも、第１生成手段は、総露光時間が第１の時間である第１画像データを生成できるため、撮像手段が撮像する際の露光時間に関し、より汎用性の高い画像処理装置を実現できる。
【００４８】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第1画像データそれぞれについて、当該第１画像データについての前記第１動きベクトル検出手段が検出した第１動きベクトルを用いて圧縮符号化する第２圧縮符号化手段を備えることとしてもよい。
【００４９】
これにより、第１動きベクトル検出手段が検出した第１画像データについての第１動きベクトルを用いて、その第１画像データ及びその第１画像データと関連付けて出力された第２画像データをそれぞれ圧縮符号化することになる。即ち、第１動きベクトルそのものに基づいて第２画像データを圧縮符号化した場合には、第２画像データについての動きベクトルの検出処理を行わないことになるため、本発明に係る画像処理装置は装置全体として圧縮符号化のための処理量を削減することができる。
【００５０】
また、前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、前記画像処理装置は、更に前記第２圧縮符号化手段により圧縮符号化された複数の第１画像データである複数の第１符号化データと、前記第１圧縮符号化手段により圧縮符号化された複数の第２画像データである複数の第２符号化データとのうちいずれかの符号化データを復号して画像データを出力する復号手段と、前記復号手段が出力した画像データを再生する再生手段と、再生速度の切り替え指示を受け付ける受付手段と、前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けて出力された第２画像データについての第２符号化データを前記復号手段に復号させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けて出力された第１画像データについての第１符号化データを前記復号手段に復号させる復号制御手段とを備えることとしてもよい。
【００５１】
これにより、受付手段が、例えばユーザから再生速度の切り替え指示を受け付けると、再生中の第１画像データと第２画像データのうちのいずれかの画像データより所定順序が後の画像データと関係付けられた画像データが再生されるため、例えば、第１の時間を第２の時間より短い総露光時間として、第２の時間を通常レートに対応する総露光時間として、各第１画像データと各第２画像データとを生成した場合に、各第２画像データを用いて通常レートで再生することによって、滑らかな動画像表示を実現し、また、各第１画像データを用いてスロー再生等を行うことによって、ぶれの少ないくっきりとしたスロー再生等表示を実現できる。
【００５２】
また、第１画像データと第２画像データとは関連付けられて出力されるため、例えば、第２画像データ群を順次再生している場合に、受付手段が、任意のタイミングで再生速度の切り替え指示を受け付けると、再生中の第２画像データから、関連付けられている第１画像データに切り替えて再生することができる。
【００５３】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データと当該出力手段により関連付けて出力された第１画像データについての第１動きベクトルに基づいて第２動きベクトルを検出する第２動きベクトル検出手段を備え、前記第１圧縮符号化手段は、複数の第２画像データそれぞれについて、当該第２画像データについての第２動きベクトルにより圧縮符号化することとしてもよい。
【００５４】
これにより、第２動きベクトル検出手段は、第２画像データについての第２動きベクトルを、その第２画像データと関連付けて出力された第１画像データについての第１動きベクトルに基づいて検出するため、即ちその第１動きベクトルを初期値として、第２動きベクトルを検出することが可能となる。従って、本発明に係る画像処理装置は、第２画像データについて第１動きベクトルに基づかず個別に動きベクトルを検出するよりも、装置全体として圧縮符号化のための処理量を削減することができる。
【００５５】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第２画像データそれぞれについて、動きベクトルを検出する動きベクトル検出手段と、前記出力手段が出力した複数の第１画像データそれぞれについて、当該第１画像データと前記出力手段により関連付けて出力された第２画像データについての前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と、前記出力手段が出力した複数の第２画像データそれぞれについて、当該第２画像データについての前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第２圧縮符号化手段とを備えることとしてもよい。
【００５６】
これにより、動きベクトル検出手段が検出した第２画像データについての動きベクトルを用いて、その第２画像データ及びその第２画像データと関連付けて出力された第１画像データをそれぞれ圧縮符号化することになる。即ち、動きベクトル検出手段が検出した動きベクトルそのものに基づいて第１画像データを圧縮符号化した場合には、第１画像データについての動きベクトルの検出処理を行わないことになるため、本発明に係る画像処理装置は装置全体として圧縮符号化のための処理量を削減することができる。
【００５７】
また、前記画像処理装置は、更に前記出力手段が出力した複数の第２画像データそれぞれについて圧縮符号化し、圧縮符号化された複数の第２画像データそれぞれについて、当該第２画像データを用いて生成された差分データについての前記第１圧縮符号化手段が生成した差分符号化データと関連付けて出力する第２圧縮符号化手段を備えることとしてもよい。
【００５８】
これにより、差分符号化データと、その差分符号化データの符号化前の差分データを生成するために用いられた第２画像データについての符号化データ（第２符号化データ）とが関連付けて出力される。従って、再生時において、ある第１画像データを再生したい場合に、復号すべき差分符号化データと第２符号化データとの対応を明確化できる。
【００５９】
また、前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、前記画像処理装置は、更に前記第２圧縮符号化手段により圧縮符号化された複数の第２画像データである複数の第２符号化データのうちいずれかの第２符号化データのみを復号して第２画像データを出力し、又は、当該第２画像データと共に、当該第２符号化データと前記第２圧縮符号化手段により関連付けて出力された差分符号化データを復号して差分データを出力する復号手段と、前記復号手段から差分データが出力された場合に、当該差分データと、当該差分データと共に出力された第２画像データとを合成して第１画像データを出力する合成手段と、前記復号手段から出力された第２画像データと前記合成手段から出力された第１画像データとのいずれかを再生する再生手段と、再生速度の切り替え指示を受け付ける受付手段と、前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けられている第２画像データについての第２符号化データのみを前記復号手段に復号させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データについての第２符号化データと共に当該第２符号化データと前記第２圧縮符号化手段により関連付けて出力された差分符号化データを復号させる復号制御手段とを備えることとしてもよい。
【００６０】
これにより、各第１画像データについて、関連付けて出力された第２画像データとの各差分データとして圧縮符号化されている場合にも、受付手段が、例えばユーザから任意のタイミングで再生速度の切り替え指示を受け付けた場合に、復号制御手段は、再生手段が再生中の画像データが第１画像データか第２画像データかに応じて、復号手段に対し復号させるデータについて制御を行う。この結果、再生中の画像データより所定順序が後の画像データと関連付けられた画像データ（第１画像データが再生中のときは第２画像データ、第２画像データが再生中のときは第１画像データ）が復号又は合成されて表示されるため、いずれの再生タイミングにおいても、第１画像データと第２画像データとの表示を切り替えて再生することができる。
【００６１】
また、前記出力手段は、関連付ける第１画像データと第２画像データとの少なくともいずれか一方に所定順序を対応付けて出力するものであり、前記画像処理装置は、更に前記出力手段が関連付けて出力した第１画像データと第２画像データとのいずれかを再生する再生手段と、再生速度の切り替え指示を受け付ける受付手段と、前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けて出力された第２画像データを前記再生手段に再生させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けて出力された第１画像データを再生手段に再生させる再生制御手段とを備えることとしてもよい。
【００６２】
これにより、例えば、第１の時間を第２の時間より短い総露光時間とし、第２の時間を通常レートに対応する総露光時間とした場合に、各第２画像データを用いて通常レートで再生することによって、滑らかな動画像表示を実現し、また、各第１画像データを用いてスロー再生等を行うことによって、ぶれの少ないくっきりとしたスロー再生等表示を実現できる。
【００６３】
また、再生制御手段は、受付手段が、ユーザから任意のタイミングで再生速度の切り替え指示を受け付けた場合に、再生中の画像データより所定順序が後の画像データと関連付けられた画像データ（第１画像データが再生中のときは第２画像データ、第２画像データが再生中のときは第１画像データ）を再生手段に再生させる。従って、いずれの再生タイミングにおいても、通常レートで再生やスロー等で再生など、用途に応じた明瞭な表示が可能になる。
【００６４】
また、本発明に係る画像処理装置は、外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データとから、前記所定順序に従って関連付けられた第１画像データと第２画像データとを順次取得する取得手段と、前記取得手段が取得した第１画像データについて、動きベクトルを検出する動きベクトル検出手段と、前記取得手段が取得した第２画像データを、前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第１圧縮符号化手段と、前記取得手段が取得した第１画像データを、前記動きベクトル検出手段が検出した動きベクトルを用いて圧縮符号化する第２圧縮符号化手段とを備えることを特徴とする。
【００６５】
これにより、動きベクトル検出手段が検出した第１画像データについての動きベクトルを用いて、その第１画像データと、その第１画像データと関連付けられている第２画像データとをそれぞれ圧縮符号化し、第２画像データについての動きベクトルの検出処理を行わないため、本発明に係る画像処理装置は装置全体として圧縮符号化のための処理量を削減することができる。
【００６６】
また、本発明に係る画像処理装置は、外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データとから、前記所定順序に従って関連付けられた第１画像データと第２画像データとを順次取得する取得手段と、前記取得手段が取得した第１画像データについて、第２画像データとの差分データを生成する差分抽出手段と、前記差分抽出手段が出力した差分データを圧縮符号化する圧縮符号化手段とを備えることを特徴とする。
【００６７】
これにより、関連付けられた第１画像データと第２画像データとが比較的よく似た画像データである場合には、差分抽出手段が生成する差分データのデータサイズは比較的小さいものとなり、この差分データを圧縮符号化することにより、効率のよい圧縮符号化が実現できる。
【００６８】
また、本発明に係る画像処理装置は、外部記憶装置に記憶された、総露光時間が第１の時間である複数の第１画像データと総露光時間が第１の時間とは異なる第２の時間である複数の第２画像データとであって、各第１画像データは、いずれか１つの異なる第２画像データと関連付けられており、関連付けられた第１画像データと第２画像データとのいずれか一方が所定順序と対応付けられている複数の第１画像データと複数の第２画像データのうち、いずれかの画像データを取得する取得手段と、前記取得手段が取得した画像データを再生する再生手段と、再生速度の切り替え指示を受け付ける受付手段と、前記受付手段が再生速度の切り替え指示を受け付けると、前記再生手段が第１画像データを再生中の場合には、当該第１画像データより前記所定順序が後の第１画像データと関連付けられた第２画像データを前記取得手段に取得させ、前記再生手段が第２画像データを再生中の場合には、当該第２画像データより前記所定順序が後の第２画像データと関連付けられた第１画像データを前記取得手段に取得させる取得制御手段とを備えることを特徴とする。
【００６９】
これにより、取得制御手段は、受付手段が、ユーザから任意のタイミングで再生速度の切り替え指示を受け付けた場合に、再生中の画像データより所定順序が後の画像データと関連付けられた画像データ（第１画像データが再生中のときは第２画像データ、第２画像データが再生中のときは第１画像データ）を取得手段に取得させる。従って、いずれの再生タイミングにおいても、第１画像データと第２画像データとを切り替えて再生することができる。
【００７０】
また、前記受付手段が受け付けた再生速度の切り替え指示は、切り替え後の再生速度の指定を含み、前記取得制御手段は、前記再生手段が第２画像データを再生している場合において、前記受付手段が受け付けた再生速度の切り替え指示において指定された切り替え後の再生速度が、所定の第１閾値未満であるときは、再生中の第２画像データより前記所定順序が後の第２画像データと関連付けられた第１画像データを前記取得手段に取得させ、指定された切り替え後の再生速度が、前記第１閾値以上であるときは、再生中の第２画像データより前記所定順序が後の第２画像データを前記取得手段に取得させることとしてもよい。
【００７１】
これにより、例えば、再生速度が３種類以上（例えば、通常レートと、通常レートの１／２倍速と１／４倍速）ある場合であっても、受付手段が第２画像データ再生中の任意のタイミングでユーザ等から再生速度の切り替え指示を受け付けると、その指示に含まれる切り替え後の再生速度が第１閾値（例えば、通常レート）未満の場合、つまり、切り替え後の再生速度が通常レートの１／２倍速と１／４倍速とのいずれかである場合には、第１画像データによる再生に切り替えることができる。
【００７２】
また、前記取得制御手段は、前記再生手段が第１画像データを再生している場合において、前記受付手段が受け付けた再生速度の切り替え指示において指定された切り替え後の再生速度が、前記第１閾値より大きい所定の第２閾値以上であるときは、再生中の第１画像データより前記所定順序が後の第１画像データと関連付けられた第２画像データを前記取得手段に取得させ、指定された切り替え後の再生速度が前記第２閾値未満であるときは、再生中の第１画像データより前記所定順序が後の第１画像データを前記取得手段に取得させることとしてもよい。
【００７３】
これにより、例えば、再生速度が３種類以上（例えば、通常レートと、通常レートの１／２倍速と１／４倍速）あり、第１閾値が通常レートの１／２倍速である場合に、受付手段が第１画像データ再生中の任意のタイミングでユーザ等から再生速度の切り替え指示を受け付けると、その指示に含まれる切り替え後の再生速度が第１閾値よりも大きい第２閾値（例えば通常レート）以上の場合のみ第２画像データに切り替えて再生する。従って、第１閾値付近の再生速度への切り替え指示が頻繁に行われるときも、表示の切り替えを行わないため、切り替え処理に伴う処理負荷を軽減できる。
【発明を実施するための最良の形態】
【００７４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
≪実施の形態１≫
＜概要＞
実施の形態１に係る画像処理装置は、撮像機能を有する従来の画像処理装置（撮像装置）を改良したものであり、被写体を順次撮像して得られる各フレーム画像データを用いて、それぞれが露光時間の異なるフレーム画像データ群から構成される２つの動画像データを生成するものである。
【００７５】
実施の形態１に係る画像処理装置は、一定の露光時間で順次撮像して得られた各フレーム画像データについて、撮像順に所定数（以下、「合成数」といい、いずれの数であってもよいが、例えば“９”である）毎に以下の処理を行う。
【００７６】
具体的には、合成数分のフレーム画像データを合成することにより、総露光時間が、各フレーム画像データにおける撮像時の露光時間の合成数倍である画像データ（以下、「長時間露光画像データ」という）を生成し、合成数分のフレーム画像データのうち、撮像順が中央（上記例では５番目）となるフレーム画像データ（以下、「短時間露光画像データ」という）を選択し、この長時間露光画像データと短時間露光画像データとを関連付けて記録する。
【００７７】
つまり、実施の形態１に係る画像処理装置は、総露光時間が、撮像時の露光時間の合成数倍である長時間露光画像データと、その長時間露光画像データと関連付けられた、総露光時間が、撮像時の露光時間と同じ短時間露光画像データとを生成することができる。
【００７８】
このようにして得られた長時間露光画像データ群を通常レートでの動画像再生に用いることにより、滑らかな動きの動画像表示が可能となり、短時間露光画像データ群をスロー再生等に用いることにより、被写体ぶれの少ないくっきりとした表示が可能となる。
【００７９】
また、長時間露光画像データと短時間露光画像データとは関連付けて記録されるため、通常レートからスロー再生等に再生速度を切り替える場合に、再生中の長時間露光画像データと関連付けられている短時間露光画像データ以降の生成順の短時間露光画像データからスロー再生等を行うことが可能となる。
＜構成＞
図１は、本発明の実施の形態１に係る画像処理装置１００の機能ブロック図である。
【００８０】
画像処理装置１００は、同図に示すとおり、撮像部１１０、画像記憶部１２０、画像合成部１３０、中央画像選択部１４０、長時間露光画像記録部１５０、短時間露光画像記録部１６０、制御部１７０を備える。
【００８１】
ここで、撮像部１１０は、レンズ、ＣＣＤ（Charge Couple Device）、Ａ／Ｄ変換器（Analog to Digital conversion）等を含み、制御部１７０からの指示に応じた一定の露光時間で順次撮像し生成したフレーム画像データを撮像順に出力する機能を有する。
【００８２】
より詳細には、順次、被写体から入射する光をレンズによりＣＣＤに集光し、この光をＣＣＤで電気信号に変換し、この電気信号をＡ／Ｄ変換器によりデジタル信号に変換することによって、フレーム画像データ（例えば、６４０×４８０画素分の輝度データ群）を生成する。撮像部１１０は、生成したフレーム画像データを画像合成部１３０と中央画像選択部１４０とに送出すると共に、画像合成部１３０に対し垂直同期信号を送出する。
【００８３】
画像記憶部１２０は、メモリであり、画像合成部１３０が生成した後述する合成画像データを一時的に記憶する機能を有する。
【００８４】
画像合成部１３０は、撮像部１１０で順次生成されたフレーム画像データを合成数（例えば“９”）毎に合成することによって、総露光時間が、撮像時の露光時間の合成数倍である長時間露光画像データを生成し、生成した長時間露光画像データを長時間露光画像記録部１５０に記録する機能を有する。
【００８５】
以下、画像合成部１３０の機能を実現するためのハードウェア構成の一例として、カウンタ１３１、合成器１３２、スイッチ１３３、１３４を含む例を説明する。
【００８６】
カウンタ１３１は、撮像部１１０から垂直同期信号を受領する毎に、即ち撮像部１１０において生成されたフレーム画像データが送出される毎にカウントアップし、そのカウンタ値を中央画像選択部１４０に送出する。
【００８７】
カウンタ１３１には、合成数を示す値が予め制御部１７０により設定されており、合成数分をカウントすると、カウンタ１３１は、キャリーオーバーし、スイッチ１３３とスイッチ１３４とを切り替えるための切替信号を送出する。なお、カウント値の初期値は、“０”であり、キャリーオーバーした場合、カウント値は、初期値にリセットされる。
【００８８】
合成器１３２は、カウンタ１３１がキャリーオーバーするまでの間、画像記憶部１２０に記憶されている合成画像データと、撮像部１１０から受領したフレーム画像データとを合成して新たな合成画像データを生成して画像記憶部１２０に上書きする。
【００８９】
ここで、合成とは、合成画像データとフレーム画像データとの同一位置にある画素の輝度値同士を加算し、その加算値を、新たな合成画像データの同一位置にある画素の輝度値とする処理を、全画素に対して行うことをいう。この結果得られる合成画像データの画素の階調（輝度）ビット数は、各フレーム画像データより大きくなる。
【００９０】
カウンタ１３１がキャリーオーバーすると、切替信号によりスイッチ１３３とスイッチ１３４とが切り替えられるため、合成器１３２は、生成した新たな合成画像データ（合成数分のフレーム画像データを合成して生成された長時間露光画像データ）を画像記憶部１２０にではなく、長時間露光画像記録部１５０に記録する。
【００９１】
なお、このハードウェア構成例においては、合成数分のフレーム画像データを合成した長時間露光画像データをそのまま長時間露光画像記録部１５０に記録するものとして説明しているが、長時間露光画像データの各画素値を合成数（上述の例では”９”）で除算した結果を長時間露光画像記録部１５０に記録することにしてもよい。
【００９２】
また、スイッチ１３３が切り替えられた結果、画像記憶部１２０は“０”で初期化され、つまり、画像記憶部１２０に記憶されていた合成画像データは削除される。
【００９３】
なお、長時間露光画像記録部１５０に長時間露光画像データが記録され、画像記憶部１２０が初期化されると、スイッチ１３３とスイッチ１３４とは元の状態に切り替わる。
【００９４】
中央画像選択部１４０は、画像合成部１３０による合成対象である合成数分のフレーム画像データのうち、撮像部１１０からの送出順（撮像順と一致）が中央になるフレーム画像データを選択し、短時間露光画像記録部１６０に記録する機能を有する。
【００９５】
以下、中央画像選択部１４０の機能を実現するためのハードウェア構成の一例として、比較器１４１とスイッチ１４２とを含む例を説明する。
【００９６】
比較器１４１には、合成数（例えば“９”）分のフレーム画像データのうち、選択すべき画像の送出順を示す値（以下、「選択値」という）として、送出順が中央となる値（上述の例では“５”）が予め制御部１７０により設定されている。
【００９７】
比較器１４１は、カウンタ１３１から受領したカウント値と選択値とを比較し、一致する場合のみスイッチ１４２に対し、切替信号を送出してスイッチ１４２を切り替え、撮像部１１０から送出された１つのフレーム画像データを短時間露光画像記録部１６０に記録する。
【００９８】
長時間露光画像記録部１５０及び短時間露光画像記録部１６０は、メモリやハードディスク等の記録媒体で実現され、長時間露光画像記録部１５０は、画像合成部１３０が生成した各長時間露光画像データを記録する機能を有し、短時間露光画像記録部１６０は、中央画像選択部１４０が選択した各フレーム画像データ（短時間露光画像データ）を記録する機能を有する。なお、長時間露光画像記録部１５０と短時間露光画像記録部１６０とは、物理的に１つのメモリやハードディスク等により実現されてもよい。
【００９９】
また、長時間露光画像記録部１５０への各長時間露光画像データの記録、及び短時間露光画像記録部１６０への各短時間露光画像データの記録は、各記録部の連続領域に対して、各画像データの生成順に連続して行われるものとする。ただし、ここでの連続とは、物理的な連続のみならず、論理的な連続であってもよい。即ち、ファイルシステムを前提にすれば、１ファイルに連続して記録することも含まれる。
【０１００】
これにより、生成順が一致する長時間露光画像データと短時間露光データとを、関連付けられた長時間露光画像データと短時間露光データと特定することができる。従って、例えば、各長時間露光画像データを生成順に再生することにより、動画像再生を行っている場合に、再生中の長時間露光画像データから、その長時間露光画像データ以降の生成順の長時間露光画像データと関連付けられた短時間露光画像データに表示を切り替えることができるようになる。
【０１０１】
制御部１７０は、プロセッサ及びメモリを含み、メモリに記憶されたプログラムを実行することにより、各種制御を行う機能を有する。具体的には、合成数を示す値をカウンタ１３１に、選択値を示す値を比較器１４１に設定し、また、撮像部１１０に対し、撮像の際の露光時間や撮像レートを設定し、図示しない操作部を介して、ユーザから撮像開始の指示を受け付けると、撮像部１１０に撮像を開始させる。
＜動作＞
次に、上記構成を備える画像処理装置１００の動作について、図２を用いて説明する。
【０１０２】
図２は、画像処理装置１００の動作を示すタイミングチャートである。
【０１０３】
同図では、撮像部１１０は、毎秒２７０枚の撮像を行い、合成数が“９”であり、選択値が“５”である場合を一例として示している。
【０１０４】
同図において、フレーム画像データ１０は、撮像部１１０から送出される各フレーム画像データを示しており、ここでは、撮像部１１０からの送出順（撮像順も同様）が１番目から１２番目までのフレーム画像データを“Ｆ１”から“Ｆ１２”として図示している。また、垂直同期信号２０は、フレーム画像データが送出される際に、撮像部１１０から送出される垂直同期信号を示している。
【０１０５】
また、カウンタ値３０は、カウンタ１３１から比較器１４１に送出されるカウンタ１３１の値を示しており、切替信号４０は、カウンタ１３１がキャリーオーバーすると、カウンタ１３１からスイッチ１３３とスイッチ１３４とに送出される切替信号を示している。
【０１０６】
また、合成画像データ５０は、画像記憶部１２０に記憶されている合成画像データを示している。長時間露光画像データ６０は、長時間露光画像記録部１５０に新たに記録される長時間露光画像データを示している。
【０１０７】
また、切替信号７０は、比較器１４１に設定されている選択値とカウンタ値３０に示すカウンタ１３１の値とが一致した場合に、比較器１４１からスイッチ１４２に送出される切替信号を示しており、短時間露光画像データ８０は、短時間露光画像記録部１６０に新たに記録される短時間露光画像データを示している。
【０１０８】
以下、各タイミングでの動作について説明する。
【０１０９】
Ｔ１は、撮像部１１０から１番目のフレーム画像データが送出されるタイミングである。即ち、フレーム画像データ１０は“Ｆ１”である。
【０１１０】
同タイミングにおいて、撮像部１１０から垂直同期信号２０が送出され、カウンタ１３１はカウントアップし、カウンタ値３０は “１”となる。また、画像合成部１３０の合成器１３２は、フレーム画像データ１０（“Ｆ１”）と画像記憶部１２０に記憶されている合成画像データ、即ち合成画像データ５０（“０”で初期化されている）とを合成し、新たな合成画像データ“Ｃ１”を画像記憶部１２０に記録する。つまり、合成画像データ５０は、合成画像データ“Ｃ１”となる。この合成画像データ“Ｃ１”は、フレーム画像データ“Ｆ１”そのものである。
【０１１１】
Ｔ２は、撮像部１１０から２番目のフレーム画像データが送出されるタイミングである。即ち、フレーム画像データ１０は“Ｆ２”である。
【０１１２】
同タイミングにおいては、Ｔ１同様の動作によりカウンタ値３０は“２”となる。また、画像合成部１３０の合成器１３２は、フレーム画像データ１０（“Ｆ２”）と合成画像データ５０（“Ｃ１”）とを合成し、合成画像データ５０は、新たな合成画像データ“Ｃ２”となる。この合成画像データ“Ｃ２”は、フレーム画像データ“Ｆ１”とフレーム画像データ“Ｆ２”とを合成したものになっている。
【０１１３】
Ｔ３〜Ｔ４においては、Ｔ２と同様に動作する。
【０１１４】
Ｔ５は、撮像部１１０から５番目のフレーム画像データが送出されるタイミングである。即ち、フレーム画像データ１０は“Ｆ５”である。
【０１１５】
同タイミングにおいては、カウンタ値３０は“５”となり、比較器１４１に設定された選択値“５”と一致するため、比較器１４１は、切替信号７０を送出してスイッチ１４２を切り替え、フレーム画像データ１０（“Ｆ５”）は短時間露光画像記録部１６０に記録される。つまり、短時間露光画像データ８０は、フレーム画像データ“Ｆ５”となる。
【０１１６】
また、同タイミングにおいても、画像合成部１３０の合成器１３２は、フレーム画像データ１０（“Ｆ５”）と合成画像データ５０（“Ｃ４”）とを合成し、合成画像データ５０は、新たな合成画像データ“Ｃ５”となる。この合成画像データ“Ｃ５”は、フレーム画像データ“Ｆ１”からフレーム画像データ“Ｆ５”までのフレーム画像データを全て合成したものになっている。
【０１１７】
Ｔ６〜Ｔ８においては、上述したＴ２と同様に動作する。
【０１１８】
Ｔ９は、撮像部１１０から９番目のフレーム画像データが送出されるタイミングである。即ち、フレーム画像データ１０は“Ｆ９”である。
【０１１９】
同タイミングにおいては、カウンタ値３０は“９”となり、合成数“９”と一致するため、カウンタ１３１はキャリーオーバーし、切替信号４０を送出してスイッチ１３３とスイッチ１３４とを切り替える。
【０１２０】
また、同タイミングにおいても、画像合成部１３０の合成器１３２は、フレーム画像データ１０（“Ｆ９”）と合成画像データ５０（“Ｃ８”）とを合成し、新たな合成画像データ“Ｃ９”を生成する。
【０１２１】
上述のように、スイッチ１３４が切り替えられているため、合成画像データ“Ｃ９”は、長時間露光画像記録部１５０に記録される。つまり、長時間露光画像データ６０は、合成画像データ“Ｃ９”となる。また、スイッチ１３３も切り替えられているため、合成画像データ５０は、“０”で初期化され、記憶されていた合成画像データ “Ｃ８”は削除される。
【０１２２】
以降、Ｔ１〜Ｔ９と同様の動作が繰り返される。
＜考察＞
画像処理装置１００による効果について、特許文献１に係る撮像装置１０００による効果と対比して説明する。
【０１２３】
＜画像処理装置１００による効果＞
図３は、画像処理装置１００により生成される長時間露光画像データと短時間露光画像データとの関係を説明するための図である。
【０１２４】
同図において、各矩形は画像データを示しており、矩形の大きさは露光時間又は総露光時間の長さと対応している。なお、上述の動作の説明と同様に、撮像部１１０は、毎秒２７０枚の撮像を行い、合成数は“９”であり、選択値は“５”である場合を一例として示している。
【０１２５】
同図（ａ）は、撮像部１１０から順次送出される各フレーム画像データを示している。各矩形内の数字は、撮像部１１０からの送出順（撮像順と一致）を示しており、ここでは、１番目から３６番目に送出されたフレーム画像データを図示している。上述の通り、撮像部１１０は、毎秒２７０枚の撮像を行うため、各フレーム画像データの露光時間は、１／２７０秒になっている。
【０１２６】
同図（ｂ）は、画像合成部１３０により生成された各長時間露光画像データを示している。各矩形内の数字は、画像合成部１３０による生成順を示しており、ここでは、１番目から４番目に生成された長時間露光画像データを図示している。画像合成部１３０は、合成数“９”に従って、９つのフレーム画像データを合成しているため、総露光時間が１／３０秒（１／２７０秒×９）である各長時間露光画像データが得られている。
【０１２７】
同図（ｃ）は、中央画像選択部１４０により生成された各短時間露光画像データを示している。各矩形内の数字は、中央画像選択部１４０による生成順を示しており、ここでは、１番目から４番目に生成された短時間露光画像データを図示している。中央画像選択部１４０は、選択値“５”に従って、画像合成部１３０による合成対象である９つのフレーム画像データのうち、撮像部１１０からの送出順が５番目となるフレーム画像データを選択するため、総露光時間が、撮像時の露光時間と同じ１／２７０秒である各短時間露光画像データが得られている。
【０１２８】
ここで、例えば、同図（ｃ）において、矩形内の番号が“１”の短時間露光画像データの総露光時間帯は、同図（ｂ）において、矩形内の番号が“１”の長時間露光画像データの総露光時間帯に包含されていることがわかる。即ち、画像処理装置１００は、１つの撮像部１１０により生成された各フレーム画像データに基づいて、総露光時間帯の中央時間が一致しつつ、総露光時間の異なる複数の画像データ群を生成することができる。
【０１２９】
従って、長時間露光画像データ群と短時間露光画像群とを用いて動画再生を行う場合において、通常レートで再生するときは、長時間露光画像データ群を用いることにより滑らかな動きの動画表示が可能になる。また、任意のタイミングで通常レートからスロー再生等に切り替えて再生するときは、再生中の長時間露光画像データと関連付けられている、つまり総露光時間帯の中央時間が一致した短時間露光画像データ以降の生成順の短時間露光画像データに切り替えて表示することにより、被写体ぶれの少ないくっきりとした動画表示が可能となるという優れた効果を奏する。
【０１３０】
＜特許文献１に係る撮像装置１０００による効果＞
図１６は、特許文献１に係る撮像装置１０００により生成される長露光時間で撮像されたフレーム画像データと短露光時間で撮像された静止画像データとの関係を説明するための図である。
【０１３１】
同図は、図１５に示す、特許文献１に係る撮像装置１０００において、もし仮に、動画像撮像中に静止画像を連続撮像することができたとした場合に生成されうる、長露光時間で撮像されたフレーム画像データと短露光時間で撮像された静止画像データとの関係を示している。また、図１６において、各矩形は画像データを示しており、矩形の大きさは露光時間の長さと対応している。
【０１３２】
同図（ａ）は、撮像装置１０００の撮像部１００２が長露光時間で撮像した各フレーム画像データと短露光時間で撮像した各静止画像データとを示している。各矩形内の数字は、撮像部１００２からの送出順（撮像順と一致）を示しており、ここでは、長露光時間での撮像と短露光時間での撮像を交互に行った場合を一例として示している。
【０１３３】
即ち、同図では、１番目から８番目に送出された画像データを示しているが、そのうち、１、３、５、７番目に送出された画像データは、長露光時間（例えば、１／３３．７５秒）で撮像した各フレーム画像データであり、２、４、６、８番目に送出された画像データは、短露光時間（例えば、１／２７０秒）で撮像した各静止画像データである。
【０１３４】
同図（ｂ）は、図１５における長時間露光画像記録部１００４に記録される長露光時間で撮像された各フレーム画像データを示しており、図１６（ｃ）は、図１５における短時間露光画像記録部１００５に記録される短露光時間で撮像された各静止画像データを示している。
【０１３５】
例えば、同図（ｃ）において、矩形内の番号が“１”の短露光時間で撮像された静止画像データの露光時間帯は、同図（ｂ）において、矩形内の番号が“１”の長露光時間で撮像されたフレーム画像データの露光時間帯とずれていることがわかる。即ち、特許文献１に係る撮像装置１０００は、露光時間の異なる複数の画像データ群を生成することはできるが、本実施の形態に係る画像処理装置１００のように、露光時間帯（撮像時間帯）を対応させることはできない。
【０１３６】
従って、特許文献１に係る撮像装置１０００は、上述した本実施の形態に係る画像処理装置１００のような優れた効果を奏することはできない。
＜変形例１＞
実施の形態１に係る画像処理装置１００の撮像部１１０は、制御部１７０からの指示に応じた一定の露光時間で順次撮像するものとして説明した。
【０１３７】
以下、この撮像部１１０を、異なる露光時間で撮像可能なものに替えた一変形例について説明する。
【０１３８】
この変形例１に係る画像処理装置の撮像部は、２つの異なる露光時間で撮像可能な点以外は、実施の形態１に係る画像処理装置１００の撮像部１１０と同様であり、また、変形例１に係る画像処理装置の制御部についても、この撮像部に対し、２つの異なる露光時間で撮像させる設定を行う点以外は画像処理装置１００の制御部１７０と同様である。
【０１３９】
以下、変形例１に係る画像処理装置の効果について、説明する。
【０１４０】
図４は、変形例１に係る画像処理装置により生成される長時間露光画像データと短時間露光画像データとの関係を説明するための図である。同図において、各矩形は画像データを、矩形の大きさは露光時間又は総露光時間の長さと対応しているのは、図３と同様である。
【０１４１】
なお、ここでは、変形例１に係る画像処理装置の撮像部は、１／６７．５秒の露光時間（以下、「露光時間Ａ」という）と、１／２７０秒の露光時間（以下、「露光時間Ｂ」という）とで撮影可能であり、合成数は“３”であり、選択値が“２”である場合を一例として示している。
【０１４２】
同図（ａ）は、撮像部から順次送出される各フレーム画像データを示しており、送出順（撮像順と一致）が、１番目から１２番目までのフレーム画像データを図示している。このうち、１、３、４、６、７、９、１０、１２番目に生成されたフレーム画像データは露光時間Ａで撮像されたものであり、それ以外のフレーム画像データは露光時間Ｂで撮像されたものである。
【０１４３】
同図（ｂ）は、画像合成部１３０が生成した各長時間露光画像データを示しており、生成順が、１番目から４番目までの長時間露光画像データを図示している。画像合成部１３０は、合成数“３”に従って、３つのフレーム画像データを合成しているため、総露光時間が１／３０秒（１／６７．５秒×２＋１／２７０秒）である各長時間露光画像データが得られている。
【０１４４】
同図（ｃ）は、中央画像選択部１４０が選択した各短時間露光画像データを示しており、生成順が、１番目から４番目までの短時間露光画像データを図示している。中央画像選択部１４０は、選択値“２”に従って、画像合成部１３０による合成対象である３つのフレーム画像データのうち、撮像部からの送出順が２番目となるフレーム画像データを選択するため、総露光時間が、撮像時の露光時間Ｂと同じ１／２７０秒である各短時間露光画像データが得られている。
【０１４５】
このように変形例１に係る画像処理装置の画像合成部１３０は、実施の形態１に係る画像処理装置１００の画像合成部１３０の合成回数（上述の例では９回）よりも少ない合成回数（上述の例では３回）で、実施の形態１に係る画像処理装置１００と同様に総露光時間が１／３０秒の長時間露光画像を得ることができる。つまり、合成のための演算回数を削減することが可能である。
≪実施の形態２≫
＜概要＞
実施の形態２に係る画像処理装置は、ＭＰＥＧ−４  ＡＶＣ（Moving Picture Expert Group-4 Advanced Video Coding）規格に準拠し、複数の画像データ群をそれぞれ圧縮符号化し、複数のＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成する従来の画像処理装置（動画像符号化装置）を改良したものである。
【０１４６】
具体的には、実施の形態２に係る画像処理装置は、実施の形態１に係る画像処理装置１００が生成した各長時間露光画像データと各短時間露光画像データとを圧縮符号化する際に、各短時間露光画像データについて、その短時間露光画像データの動きベクトルを検出し、検出した動きベクトルを用いて、その短時間露光画像データと、その短時間露光画像データと関連付けられている長時間露光画像データとを圧縮符号化する。
【０１４７】
つまり、従来の画像処理装置においては、長時間露光画像データと短時間露光画像データとについてそれぞれ動きベクトルを検出していたが、実施の形態２に係る画像処理装置は、長時間露光画像データについて動きベクトルの検出を行わず、短時間露光画像データについて検出した動きベクトルを共用する。
【０１４８】
即ち、実施の形態２に係る画像処理装置は、長時間露光画像データについての動きベクトルを検出しない分、画像処理装置全体として、圧縮符号化のための処理量を削減することができる。
【０１４９】
また、このように短時間露光画像データについて検出した動きベクトルを共用することとしても、各長時間露光画像データについての圧縮率は維持することができる。以下、この理由について説明する。
【０１５０】
実施の形態１においても説明したが、短時間露光画像データの総露光時間帯の中央時間と、その短時間露光画像データと関連付けられている長時間露光画像データの総露光時間帯の中央時間とは一致するため、長時間露光画像と短時間露光画像とはよく似た画像になる可能性が高い。即ち、長時間露光画像データと短時間露光画像データとについてそれぞれ検出した動きベクトル同士の一致度が高くなる。
【０１５１】
よって、短時間露光画像データについて検出した動きベクトルで長時間露光画像データを圧縮符号化しても、各長時間露光画像データについての圧縮率を維持することができる。
＜構成＞
図５は、本発明の実施の形態２に係る画像処理装置２００の機能ブロック図である。
【０１５２】
画像処理装置２００は、同図に示すとおり、長時間露光画像記録部１５０、短時間露光画像記録部１６０、動きベクトル検出部２１０、第１圧縮符号化部２２０、第２圧縮符号化部２３０、長時間露光動画記録部２４０、短時間露光動画記録部２５０を備える。
【０１５３】
ここで、長時間露光画像記録部１５０、短時間露光画像記録部１６０は、実施の形態１に係る画像処理装置１００と同様であり、即ち、長時間露光画像記録部１５０には各長時間露光画像データが、短時間露光画像記録部１６０には各短時間露光画像データが記録されている。
【０１５４】
動きベクトル検出部２１０は、短時間露光画像記録部１６０に記録されている各短時間露光画像データ（例えば、６４０×４８０画素）について、所定サイズ、例えば１６×１６画素のマクロブロック単位で動きベクトルを検出する機能を有する。短時間露光画像データは被写体ぶれが少ない画像データであるため、精度の高い動きベクトルが得られる可能性が高い。
【０１５５】
より詳細には、処理対象の短時間露光画像データ（以下、「処理対象画像」という）における処理対象のマクロブロック（以下、「処理対象ブロック」という）について、処理対象画像に対して、中央画像選択部１４０による生成順が前又は後ろの短時間露光画像データ（以下、「参照画像」という）とのブロックマッチングを行い、参照画像において、処理対象ブロックと類似度が最も高いマクロブロックを見つけることにより、そのマクロブロックへの相対位置を示す動きベクトルを検出する。なお、以下では、参照画像は、中央画像選択部１４０による生成順が、処理対象画像の１つ前の短時間露光画像データであるとして説明する。
【０１５６】
動きベクトル検出部２１０は、動きベクトルを検出すると、検出した動きベクトルを第１圧縮符号化部２２０と第２圧縮符号化部２３０とに送出する。
【０１５７】
第２圧縮符号化部２３０は、動きベクトル検出部２１０から受領した処理対象画像についての各動きベクトルに基づいて短時間露光画像記録部１６０に記録されているその処理対象画像を符号化する機能を有する。具体的には、処理対象画像についての各動きベクトルに基づいて処理対象画像の予測画像を生成し、その予測画像と処理対象画像（原画像）との差分データと各動きベクトルとを符号化し、その結果であるＭＰＥＧ−４  ＡＶＣ形式の符号化列を短時間露光動画記録部２５０に記録する。
【０１５８】
なお、上記では、第２圧縮符号化部２３０は、いわゆるインター符号化方式による符号化を行うものとして説明したが、ある周期等の所定の条件を満たすものは他の画像を参照せずに符号化する、いわゆるイントラ符号化方式による符号化を行ってもよい。
【０１５９】
第１圧縮符号化部２２０は、基本的には第２圧縮符号化部２３０と同様の機能を有するが、長時間露光画像記録部１５０に記録されている各長時間露光画像データを符号化する点で、第２圧縮符号化部２３０とは異なる。
【０１６０】
具体的には、第１圧縮符号化部２２０は、動きベクトル検出部２１０から受領した処理対象画像についての各動きベクトルに基づいて、その処理対象画像（短時間露光画像データ）と関連付けられている長時間露光画像データの予測画像を生成し、その予測画像と長時間露光画像データ（原画像）との差分データと各動きベクトルとを符号化し、その結果のＭＰＥＧ−４  ＡＶＣ形式の符号化列を長時間露光動画記録部２４０に記録する。
【０１６１】
なお、第１圧縮符号化部２２０も、第２圧縮符号化部２３０と同様、いわゆるインター符号化方式による符号化のみならず、いわゆるイントラ符号化方式による符号化を行ってもよい。
【０１６２】
長時間露光動画記録部２４０及び短時間露光動画記録部２５０は、メモリやハードディスク等の記録媒体で実現され、長時間露光動画記録部２４０は、第１圧縮符号化部２２０が生成した、各長時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を、短時間露光動画記録部２５０は、第２圧縮符号化部２３０が生成した各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を記録する機能を有する。なお、長時間露光動画記録部２４０及び短時間露光動画記録部２５０は、物理的に１つのメモリやハードディスクにより実現されてもよく、また長時間露光画像記録部１５０、短時間露光画像記録部１６０と同一のメモリやハードディスクにより実現されてもよい。
＜動作＞
次に、上記構成を備える画像処理装置２００の動作について、図６を用いて説明する。
【０１６３】
図６は、画像処理装置２００の動作を示すフローチャートである。
【０１６４】
動きベクトル検出部２１０は、短時間露光画像記録部１６０から、短時間露光画像データを読み出す（ステップＳ１０）。
【０１６５】
動きベクトル検出部２１０は、読み出した短時間露光画像データを処理対象画像とし、その処理対象画像に対して、中央画像選択部１４０による生成順が１つ前の短時間露光画像データを参照画像として、マクロブロック単位で動きベクトルを検出し（ステップＳ１１）、検出した動きベクトルを第１圧縮符号化部２２０と第２圧縮符号化部２３０とに送出する。
【０１６６】
第２圧縮符号化部２３０は処理対象画像（短時間露光画像データ）を短時間露光画像記録部１６０から、第１圧縮符号化部２２０は処理対象画像（短時間露光画像データ）と関連付けられている長時間露光画像データを長時間露光画像記録部１５０から読み出す。
【０１６７】
第２圧縮符号化部２３０は、動きベクトル検出部２１０から受領した動きベクトルに基づいて、読み出した処理対象画像に対する予測画像を生成し、予測画像と処理対象画像（原画像）との差分データを符号化する。また、第１圧縮符号化部２２０も、動きベクトル検出部２１０から受領した動きベクトルに基づいて、読み出した長時間露光画像データに対する予測画像を生成し、予測画像と長時間露光画像データ（原画像）との差分データを符号化する（ステップＳ１２）。
【０１６８】
第２圧縮符号化部２３０は、生成した符号化列を、短時間露光動画記録部２５０へ記録し、第１圧縮符号化部２２０は、生成した符号化列を、長時間露光動画記録部２４０へ記録する（ステップＳ１３）。
【０１６９】
動きベクトル検出部２１０は、全ての短時間露光画像データについて動きベクトルの検出処理が完了していない場合には（ステップＳ１４：Ｎ）、ステップＳ１０の処理に戻り、全ての短時間露光画像データについて動きベクトルの検出処理が完了した場合には（ステップＳ１４：Ｙ）、処理を終了する。
＜考察＞
以下、画像処理装置２００における画像データの圧縮率について説明する。
【０１７０】
図７は、実施の形態１に係る画像処理装置１００と特許文献１に係る撮像装置１０００とが同じ被写体を撮像した場合に得られる画像データ例を示す図である。
【０１７１】
ここでは、左から右に移動する球体を撮像したものとして説明する。また、図１６の説明同様、特許文献１に係る撮像装置１０００においては、もし仮に、動画像撮像中に静止画像を連続撮像することができたとした場合を想定している。
【０１７２】
図７（ａ）は、実施の形態１に係る画像処理装置１００の長時間露光画像記録部１５０に記録されている、生成順が連続する２つの長時間露光画像データを示している。各長時間露光画像データは、移動する球体を順次撮像して生成した複数のフレーム画像データを合成したものであるため、左右にぶれた画像になっている。
【０１７３】
同図（ｂ）は、実施の形態１に係る画像処理装置１００の短時間露光画像記録部１６０に記録されている各短時間露光画像データを示している。この各短時間露光画像データは、同図（ａ）における各長時間露光画像データを生成する際に合成対象として用いた各フレーム画像のうち、撮像部１１０からの送出順（撮像順と一致）が中央となるフレーム画像データである。
【０１７４】
従って、同図（ａ）と（ｂ）との各フレーム同士は、総露光時間帯の中央時間が一致しているため、同図（ａ）の２フレーム目の長時間露光画像データについて１フレーム目の長時間露光画像データを参照画像として動きベクトルを求めた場合と、同図（ｂ）の２フレーム目の短時間露光画像データについて、１フレーム目の短時間露光画像データを参照画像として動きベクトルを求めた場合とで、それぞれの動きベクトルの一致度は高くなる。
【０１７５】
また、同図（ｃ）は、特許文献１に係る撮像装置１０００の長時間露光画像記録部１００４に記録されている、長露光時間で撮像された各フレーム画像データを示している。
【０１７６】
また、同図（ｄ）は、特許文献１に係る撮像装置１０００の短時間露光画像記録部１００５に記録されている、同図（ｃ）における長露光時間で撮像された各フレーム画像データの次にそれぞれ短露光時間で撮像された各静止画像データを示している。よって、同図（ｃ）の各フレーム画像データの露光時間帯と、同図（ｄ）の各静止画像データの露光時間帯とは、必ずずれている。つまり、各露光時間帯の中央時間が一致していない。
【０１７７】
従って、同図（ｃ）の２フレーム目のフレーム画像データについて１フレーム目のフレーム画像データを参照画像として動きベクトルを求めた場合と、同図（ｄ）の２フレーム目の静止画像データについて、１フレーム目の静止画像データを参照画像として動きベクトルを求めた場合とで、それぞれの動きベクトルの一致度は、上述した同図（ａ）と（ｂ）との場合と比較し低くなる。
【０１７８】
このように、実施の形態１に係る画像処理装置１００により生成された各長時間露光画像データと各短時間露光画像データとでは、動きベクトルの一致度が高くなり得る。従って、短時間露光画像データについて検出した動きベクトルを用いて、関連付けられている長時間露光画像データを圧縮符号化した場合でも、圧縮率を維持しつつ、かつ、長時間露光画像データについて個別に動きベクトルを検出しないため、圧縮符号化のための処理量を削減できる。
≪実施の形態３≫
＜概要＞
実施の形態３に係る画像処理装置は、ＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生する従来の画像処理装置（動画像再生装置）を改良したものであり、実施の形態２に係る画像処理装置２００が生成した各長時間露光画像についてのＭＰＥＧ−４  ＡＶＣ形式の符号化列と各短時間露光画像についてのＭＰＥＧ−４  ＡＶＣ形式の符号化列とのうちから、再生速度に応じて読み出し先を切り替えて再生を行うものである。
【０１７９】
具体的には、実施の形態３に係る画像処理装置は、通常レートで再生する場合には、再生順と対応する、符号化された長時間露光画像データを、各長時間露光画像についてのＭＰＥＧ−４  ＡＶＣ形式の符号化列から読み出し復号し、得られた長時間露光画像を順次表示する。これにより、滑らかな動画表示を実現できる。
【０１８０】
また、通常レートで再生中にユーザ等から再生速度の切替指示（例えば、スロー再生の指示）があると、再生中の長時間露光画像データの次の再生順の長時間露光画像と関係付けられている短時間露光画像データ以降の再生順の短時間露光画像データを、各短時間露光画像についてのＭＰＥＧ−４  ＡＶＣ形式の符号化列から順次読み出し復号し、ユーザからの指示が示す再生速度（スロー）で順次表示する。これにより、被写体ぶれの少ないくっきりとした表示を実現できる。
【０１８１】
このように、実施の形態３に係る画像処理装置は、再生速度に応じて表示させるフレーム画像データを、長時間露光画像データと短時間露光画像データとの間で切り替えて表示することができるため、いずれの再生速度で再生する場合にも明瞭な表示を実現することができる。
＜構成＞
図８は、本発明の実施の形態３に係る画像処理装置３００の機能ブロック図である。
【０１８２】
画像処理装置３００は、同図に示すとおり、長時間露光動画記録部２４０、短時間露光動画記録部２５０、切替部３１０、復号部３２０、表示部３３０、制御部３４０を備える。
【０１８３】
ここで、長時間露光動画記録部２４０、短時間露光動画記録部２５０は、実施の形態２に係る画像処理装置２００と同様であり、即ち、長時間露光動画記録部２４０には各長時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列が、短時間露光動画記録部２５０には各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列が記録されている。
【０１８４】
切替部３１０は、制御部３４０による制御に従い、フレーム画像データの読出し先を、長時間露光動画記録部２４０と短時間露光動画記録部２５０とのいずれかに切り替える機能を有する。
【０１８５】
復号部３２０は、長時間露光動画記録部２４０又は短時間露光動画記録部２５０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列から、再生順と対応するフレームの復号に必要なデータを読み出し、再生順と対応する、符号化されたフレーム画像データを制御部３４０からの指示に従った復号速度で復号し、復号したフレーム画像データを表示部３３０へ送出する機能を有する。なお、復号部３２０による具体的な復号の方法は、従来からあるＭＰＥＧ−４  ＡＶＣ形式の符号化列を復号可能な画像処理装置と同様であるため、説明は省略するが、ＭＰＥＧ−４  ＡＶＣ形式の符号化列に含まれている、再生順に対応する情報を用いて、各符号化されたフレーム画像の再生順を特定するものとする。
【０１８６】
表示部３３０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）を含み、復号部３２０から復号したフレーム画像データを受領する毎にそのフレーム画像データを表示する機能を有する。
【０１８７】
制御部３４０は、図示しないプロセッサとメモリとを備え、操作部（図示しない）を介して、ユーザから受け付けた指示に応じて、切替部３１０と復号部３２０とを制御する機能を有する。なお、制御部３４０の機能は、メモリに格納された制御プログラムをプロセッサが実行することによりソフトウェア的に実現される。
【０１８８】
具体的には、ユーザから再生指示又は再生速度切替指示を受け付けた場合に、その指示における再生速度が、所定の閾値（例えば、通常レートを示す値）以上である場合には、切替部３１０を長時間露光動画記録部２４０側に切り替えさせ、所定の閾値未満である場合には、切替部３１０を短時間露光動画記録部２５０側に切り替えさせる。また、ユーザからの指示における再生速度に応じた復号速度で復号するよう復号部３２０を制御する。
【０１８９】
なお、制御部３４０は、操作部を介してユーザから停止指示を受け付けた場合には、再生処理を終了するため、復号部３２０による復号処理を停止させるよう制御する。
＜動作＞
次に、上記構成を備える画像処理装置３００の動作について、図９を用いて説明する。
【０１９０】
図９は、画像処理装置３００の動作を示すフローチャートである。
【０１９１】
制御部３４０は、図示しない操作部を介して、ユーザから受け付けた再生指示における再生速度が所定の閾値以上であるかを判断する（ステップＳ２０）。
【０１９２】
ステップＳ２０において、再生速度が所定の閾値以上であると判断した場合には（ステップＳ２０：Ｙ）、制御部３４０は、切替部３１０を長時間露光動画記録部２４０側に切り替える（ステップＳ２１）。
【０１９３】
ステップＳ２０において、再生速度が所定の閾値未満であると判断した場合には（ステップＳ２０：Ｎ）、制御部３４０は、切替部３１０を短時間露光動画記録部２５０側に切り替える（ステップＳ２２）。
【０１９４】
復号部３２０は、切替部３１０の設定に応じて、長時間露光動画記録部２４０又は短時間露光動画記録部２５０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列から再生順と対応するフレームの復号に必要なデータを読み出す（ステップＳ２３）。なお、この際、必要に応じてシーク動作がなされる。即ち、後述するステップＳ２７において、再生速度変更指示を受け付けた場合（ステップＳ２７：Ｙ）には、再生順が最先のフレームからの再生ではない場合があるため、適切な再生順に対応するフレームの復号に必要なデータを読む出すためにシーク動作がなされる。
【０１９５】
復号部３２０は、ステップＳ２３で読み出したデータに基づいて、再生順と対応する、符号化されたフレーム画像データを制御部３４０からの指示に従った復号速度で復号する（ステップＳ２４）。
【０１９６】
また、復号部３２０は、復号したフレーム画像データを表示部３３０へ送出し、表示部３３０は、受領したデータに基づいてフレーム画像を表示する（ステップＳ２５）。
【０１９７】
制御部３４０は、操作部を介して、ユーザから停止指示を受け付けたかを判断する（ステップＳ２６）。ステップＳ２６において、停止指示を受け付けた場合には（ステップＳ２６：Ｙ）、制御部３４０は再生処理を終了させ、停止指示を受け付けていない場合には（ステップＳ２６：Ｎ）、制御部３４０は、操作部を介して、ユーザから再生速度変更指示を受け付けたかを判断する（ステップＳ２７）。
【０１９８】
ステップＳ２７において、再生速度変更指示を受け付けていない場合には（ステップＳ２７：Ｎ）、制御部３４０はステップＳ２３から処理を行い、再生速度変更指示を受け付けた場合には（ステップＳ２７：Ｙ）、制御部３４０は、ステップＳ２０から処理を行う。
【０１９９】
これにより、例えば所定の閾値が通常レートを示す値に設定されている場合において、制御部３４０がユーザから通常レートでの再生指示を受け付けたときは、長時間露光動画記録部２４０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列から、再生順に対応する符号化された各長時間露光画像データが、復号部３２０により順次読み出され、復号されて表示される。
【０２００】
また、通常レートでの再生が行われているときに、制御部３４０が、ユーザからスローまたは一時停止への速度変更指示を受け付けると、短時間露光動画記録部２５０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列から、再生中のフレーム画像データ（長時間露光画像データ）の次の再生順の長時間露光画像データと関連付けられている短時間露光画像データについて符号化されている短時間露光画像データが、復号部３２０により読み出され復号されて表示される。
【０２０１】
なお、ユーザからの速度変更指示が一時停止への変更指示であった場合には、いずれかの速度変更指示（例えば、通常レート又はスローへの速度変更指示）を受け付けるまで、その復号された短時間露光画像データを表示し続けることになる。
【０２０２】
一方、スロー再生の場合には、再度所定の閾値以上の、例えば通常レートへの速度変更指示を受け付けるまで、短時間露光動画記録部２５０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列から、再生順に従って、符号化されている各短時間露光画像データが、復号部３２０により順次読み出され、復号され表示されることになる。
【０２０３】
従って、本実施の形態に係る画像処理装置３００によれば、ユーザは従来通り再生速度の指示を行うだけで特別な操作を行うことなく、通常レートでの再生には、長時間露光動画記録部２４０に記録されている各長時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を用いた滑らかな動画表示が行われ、スロー再生や一時停止時には、短時間露光動画記録部２５０に記録されている各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を用いたぶれの少ないくっきりとした表示が行われることになる。
【０２０４】
このように、スロー再生や一時停止時にも被写体ぶれの少ないくっきりとした表示が可能になるため、本実施の形態に係る画像処理装置３００は、動画編集を行う場合や、一時停止して画面を印刷するような場合に適している。
≪実施の形態４≫
＜概要＞
実施の形態４に係る画像処理装置は、実施の形態２に係る画像処理装置２００と同様、ＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものであるが、画像処理装置２００とは異なる方法で１つのＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものである。
【０２０５】
具体的には、実施の形態４に係る画像処理装置は、各長時間露光画像データについては、画像処理装置２００と同様に圧縮符号化すると共に、各短時間露光画像データについて、その短時間露光画像データと関連付けられた長時間露光画像データとの差分データを生成し、生成した差分データを圧縮符号化し、その結果として１つのＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものである。
【０２０６】
関連付けられた長時間露光画像データと短時間露光画像データとは似た画像データとなることから、差分データのデータ量は小さくなり、実施の形態４に係る画像処理装置４００によれば、符号化列の記録効率の向上が期待できる。
＜構成＞
図１０は、本発明の実施の形態４に係る画像処理装置４００の機能ブロック図である。
【０２０７】
画像処理装置４００は、長時間露光画像記録部１５０、短時間露光画像記録部１６０、差分抽出部４１０、第１圧縮符号化部４２０、第２圧縮符号化部４３０、長・短時間露光動画統合記録部４４０を備える。
【０２０８】
ここで、長時間露光画像記録部１５０、短時間露光画像記録部１６０は、実施の形態１に係る画像処理装置１００と同様であり、即ち、長時間露光画像記録部１５０には各長時間露光画像データが、短時間露光画像記録部１６０には各短時間露光画像データが記録されている。
【０２０９】
差分抽出部４１０は、短時間露光画像記録部１６０に記録されている各短時間露光画像データについて、その短時間露光画像データと関連付けられた長時間露光画像記録部１５０に記録されている長時間露光画像データとの差分データを生成する機能を有する。
【０２１０】
ここで差分データとは、短時間露光画像データのある画素の画素値から、その短時間露光画像データと関連付けられた長時間露光画像データの同一位置の画素の画素値を減算する処理を、全ての画素に対して行うことで得られたデータをいう。
【０２１１】
なお、差分抽出部４１０は、差分データを生成する前に、その差分データの生成に用いる各長時間露光画像データの各画素値を合成数（実施の形態１の例では”９”）で除算する処理を行う。これにより、長時間露光画像データの画素の階調（輝度）ビット数を、各短時間露光画像データとあわせることができる。
【０２１２】
差分抽出部４１０は、生成した差分データを第２圧縮符号化部４３０に送出する。
【０２１３】
第２圧縮符号化部４３０は、差分抽出部４１０から受領した差分データを、可変長符号化等の方式で符号化し、符号化後の差分データ（以下、「差分符号化データ」という）を後述するＭＰＥＧ−４  ＡＶＣ形式の符号化列の一部として、長・短時間露光動画統合記録部４４０に記録する機能を有する。この際、第２圧縮符号化部４３０は、長・短時間露光動画統合記録部４４０上の記録領域等に関し、第１圧縮符号化部４２０と連携を取りながら記録を行う。
【０２１４】
第１圧縮符号化部４２０は、長時間露光画像記録部１５０に記録されている各長時間露光画像データをＭＰＥＧ−４  ＡＶＣに準拠した方式（例えば、いわゆるイントラ符号化方式やインター符号化方式）により符号化し、符号化後の各長時間露光画像データ（以下、「長時間露光符号化データ」という）をＭＰＥＧ−４  ＡＶＣ形式の符号化列として、長・短時間露光動画統合記録部４４０に記録する機能を有する。
【０２１５】
ＭＰＥＧ−４  ＡＶＣ形式などの符号化列のフォーマットには、ユーザー独自の情報を格納するためのヘッダが定義されており、それを用いてユーザー拡張ヘッダ領域（以下、「拡張領域」という）をピクチャ毎に確保することも可能である。この拡張領域には、各種メーカ等が独自に作成したデータ等を格納することが認められている。
【０２１６】
そこで、第１圧縮符号化部４２０は、各長時間露光符号化データについて、その長時間露光符号化データの拡張領域に、第２圧縮符号化部４３０が長・短時間露光動画統合記録部４４０に記録した差分符号化データ（その長時間露光符号化データの符号化前の長時間露光画像データを用いて生成された差分データの符号化データ）を埋め込むように、ＭＰＥＧ−４  ＡＶＣ形式の符号化列を構成し、長・短時間露光動画統合記録部４４０に記録する。ＭＰＥＧ−４  ＡＶＣ形式の符号化列の構成については後述する。
【０２１７】
なお、このＭＰＥＧ−４  ＡＶＣ形式の符号化列を従来の画像処理装置により再生した場合でも、拡張領域の内容は無視されて各長時間露光画像データのみに基づいて再生が行われるため、互換性が損なわれることはない。
【０２１８】
長・短時間露光動画統合記録部４４０は、メモリやハードディスク等の記録媒体で実現され、長・短時間露光動画統合記録部４４０は、第２圧縮符号化部４３０と第１圧縮符号化部４２０とが生成したＭＰＥＧ−４  ＡＶＣ形式の符号化列を記録する機能を有する。なお、長・短時間露光動画統合記録部４４０は、長時間露光画像記録部１５０、短時間露光画像記録部１６０と同一のメモリやハードディスクにより実現されてもよい。
＜データ＞
以下、長・短時間露光動画統合記録部４４０に記録されるＭＰＥＧ−４  ＡＶＣ形式の符号化列について簡単に説明する。
【０２１９】
図１１は、長・短時間露光動画統合記録部４４０に記録されるＭＰＥＧ−４  ＡＶＣ形式の符号化列の構成を説明するための図である。
【０２２０】
同図に示すとおり、ＭＰＥＧ−４  ＡＶＣ形式の符号化列は、各長時間露光符号化データ１ａ、１ｂ、１ｃ、１ｄと、差分符号化データ２ａ、２ｂ、２ｃ、２ｄとを含んで構成されており、各差分符号化データはＭＰＥＧ−４  ＡＶＣにおいて定められた拡張領域に記録されている。
【０２２１】
ここでは、一例として、長時間露光符号化データ１ａと１ｄとはＩスライスであり、長時間露光符号化データ１ｂと１ｃとはＰスライスである場合を示している。
【０２２２】
また、差分符号化データ２ａは、長時間露光符号化データ１ａの符号化前の長時間露光画像データと、その長時間露光画像データと関連付けられた短時間露光画像データとの差分データである。差分符号化データ２ｂ、２ｃ、２ｄについても、長時間露光符号化データ１ｂ、１ｃ、１ｄと同様の関係を有する。
【０２２３】
このように、ある長時間露光符号化データの拡張領域に、長時間露光符号化データの符号化前の長時間露光画像データを用いて生成された差分データの符号化データが格納されることになるため、このＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生する場合に、表示されるフレーム画像データを、長時間露光画像データと、長時間露光画像と差分データを用いて復元された短時間露光画像データとの間で切り替えることが可能となる。これについては、実施の形態５において詳しく説明する。
＜動作＞
次に、上記構成を備える画像処理装置４００の動作について、図１２を用いて説明する。
【０２２４】
図１２は、画像処理装置４００の動作を示すフローチャートである。
【０２２５】
差分抽出部４１０は、長時間露光画像記録部１５０と短時間露光画像記録部１６０とから、それぞれ関連付けられている長時間露光画像データと短時間露光画像データとを生成順に読み出す（ステップＳ３０）。
【０２２６】
差分抽出部４１０は、読み出した短時間露光画像データについて、読み出した長時間露光画像データとの差分データを生成し、生成した差分データを第２圧縮符号化部４３０へ送出する（ステップＳ３１）。
【０２２７】
第２圧縮符号化部４３０は、差分抽出部４１０から受領した差分データを可変長符号化等の方式で符号化し、得られた差分符号化データを、ＭＰＥＧ−４  ＡＶＣ形式の符号化列の一部として、長・短時間露光動画統合記録部４４０へ記録する（ステップＳ３２）。
【０２２８】
第１圧縮符号化部４２０は、ステップＳ３０で差分抽出部４１０が読み出した長時間露光画像データをＭＰＥＧ−４  ＡＶＣに準拠した方式で符号化する。また、第１圧縮符号化部４２０は、その長時間露光符号化データについての拡張領域に、ステップＳ３２で第２圧縮符号化部４３０が記録した差分符号化データを埋め込むようにしてＭＰＥＧ−４  ＡＶＣ形式の符号化列を構成し、長時間露光符号化データを記録する（ステップＳ３３）。
【０２２９】
全ての長時間露光画像データと短時間露光画像データとについて圧縮符号化処理が完了していない場合には（ステップＳ３４：Ｎ）、ステップＳ３０の処理に戻り、全ての長時間露光画像データと短時間露光画像データとについて圧縮符号化処理が完了した場合には（ステップＳ３４：Ｙ）、圧縮符号化処理を終了する。
＜変形例２＞
実施の形態４における符号化列は、長・短時間露光動画統合記録部４４０に、長・短時間露光動画データを統合した１つの符号化列として記録されている。しかしながら、長時間露光動画データについての符号化列と短時間露光動画データについての符号化列とを別々の記録媒体に記録することも可能である。
【０２３０】
この場合、第１圧縮符号化部４２０は、生成する符号化列の拡張領域に、第２圧縮符号化部４３０が生成する符号化列の対応するフレーム位置へのポインタを格納しておくことにより、別々の記録媒体でありながら、お互いの再生フレームの関連づけを保つことが可能となる。
≪実施の形態５≫
＜概要＞
実施の形態５に係る画像処理装置は、実施の形態３に係る画像処理装置３００と同様、再生速度に応じて、再生順と対応した長時間露光画像データと短時間露光画像データとを切り替えて表示するものであるが、実施の形態４に係る画像処理装置４００が生成したＭＰＥＧ−４  ＡＶＣ形式の符号化列を用いて再生を行う点で、画像処理装置３００とは異なる。
【０２３１】
具体的には、実施の形態５に係る画像処理装置は、画像処理装置４００が生成したＭＰＥＧ−４  ＡＶＣ形式の符号化列から、再生順と対応した長時間露光符号化データを読み出すと共に、スロー等で再生する場合にのみ、その長時間露光符号化データの拡張領域に格納されている差分符号化データも読み出す。
【０２３２】
通常レートで再生する場合には、実施の形態５に係る画像処理装置は、読み出した長時間露光符号化データを復号し得られた長時間露光画像データを表示する。これにより、滑らかな動画表示を実現できる。
【０２３３】
また、通常レートで再生中にユーザ等から再生速度の切替指示（例えば、スロー再生の指示）があると、実施の形態５に係る画像処理装置は、再生中の長時間露光画像データの次の生成順の長時間露光画像データと関係付けられた短時間露光画像データを表示するために、以下の通り動作する。
【０２３４】
即ち、再生中の長時間露光画像データの次の生成順の長時間露光画像データについての長時間露光符号化データとその拡張領域に格納されている差分符号化データを読み出して復号し、復号結果である長時間露光画像データと差分データとを合成して得られた短時間露光画像データを表示する。
【０２３５】
この結果、スロー等で再生する場合には、短時間露光画像データによる被写体ぶれの少ないくっきりとした表示を実現できる。
＜構成＞
図１３は、本発明の実施の形態５に係る画像処理装置５００の機能ブロック図である。
【０２３６】
画像処理装置５００は、同図に示すとおり、表示部３３０、長・短時間露光動画統合記録部４４０、分離部５１０、第２復号部５２０、第１復号部５３０、合成部５４０、切替部５５０、制御部５６０を備える。
【０２３７】
ここで、表示部３３０は、実施の形態３に係る画像処理装置３００と同様であるため、説明は省略する。また、長・短時間露光動画統合記録部４４０は、実施の形態４に係る画像処理装置４００と同様であり、即ち、長・短時間露光動画統合記録部４４０には、ＭＰＥＧ−４  ＡＶＣ形式の符号化列が記録されている。
【０２３８】
分離部５１０は、長・短時間露光動画統合記録部４４０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列における各長時間露光符号化データと各差分符号化データとを分離してそれぞれ第２復号部５２０と第１復号部５３０とに送出する機能を有する。
【０２３９】
具体的には、長・短時間露光動画統合記録部４４０からＭＰＥＧ−４  ＡＶＣ形式の符号化列を読み出し、再生順に対応する長時間露光符号化データを分離して第２復号部５２０に送出すると共に、制御部５６０による指示に応じて、その長時間露光符号化データの拡張領域に記録されている差分符号化データを分離して第１復号部５３０に送出する。
【０２４０】
第２復号部５２０は、分離部５１０から受領した長時間露光符号化データを復号し得られた長時間露光画像データを出力する機能を有する。なお、第２復号部５２０による具体的な復号の方法は、従来からあるＭＰＥＧ−４  ＡＶＣ形式の符号化列を復号可能な画像処理装置と同様であるため、説明は省略する。
【０２４１】
第１復号部５３０は、分離部５１０から受領した差分符号化データを復号し得られた差分データを合成部５４０に送出する機能を有する。第１復号部５３０による復号も、従来からある可変長符号化等の方式で符号化された符号化データの復号が可能な画像処理装置と同様であるため、説明は省略する。
【０２４２】
合成部５４０は、図示しない合成器を含み、第１復号部５３０から受領した差分データと第２復号部５２０から出力された長時間露光画像データとを合成し、その長時間露光画像データと関連付けられた短時間露光画像データを復元し出力する機能を有する。
【０２４３】
なお、ここでの合成も、実施の形態１に係る画像処理装置１００の画像合成部１３０と同様であるため、説明は省略する。
【０２４４】
切替部５５０は、制御部５６０による制御に従い、第２復号部５２０から出力された長時間露光画像データと合成部５４０から出力された短時間露光画像データのいずれかを表示部３３０に送出する機能を有する。
【０２４５】
制御部５６０は、図示しないプロセッサとメモリとを備え、操作部（図示しない）を介して、ユーザから受け付けた指示に応じて、分離部５１０と切替部５５０とを制御する機能を有する。なお、制御部５６０の機能は、メモリに格納された制御プログラムをプロセッサが実行することによりソフトウェア的に実現される。
【０２４６】
具体的には、ユーザから再生指示又は再生速度切替指示を受け付けた場合に、その指示における再生速度が、所定の閾値（例えば、通常レートを示す値）以上である場合には、分離部５１０に対して、第１復号部５３０への差分符号化データの送出を行わせないよう制御し、つまり、分離した長時間露光符号化データのみが、第２復号部５２０で復号されるように制御し、切替部５５０に対して、第２復号部５２０から出力された長時間露光画像データを表示部３３０に送出するよう制御する。
【０２４７】
また、再生速度が、所定の閾値未満である場合には、分離部５１０に対して、第１復号部５３０への差分符号化データの送出を行わせるよう制御し、つまり、分離した長時間露光符号化データは第２復号部５２０で、分離した差分符号化データは、第１復号部５３０でそれぞれ復号されるように制御し、切替部５５０に対して、合成部５４０から出力された短時間露光画像データを表示部３３０に送出するよう制御する。
【０２４８】
なお、制御部５６０は、操作部を介してユーザから停止指示を受け付けた場合には、再生処理を終了するため、分離部５１０によるＭＰＥＧ−４  ＡＶＣ形式の符号化列の読出処理を停止させるよう制御する。
＜動作＞
次に、上記構成を備える画像処理装置５００の動作について、図１４を用いて説明する。
【０２４９】
図１４は、画像処理装置５００の動作を示すフローチャートである。
【０２５０】
制御部５６０は、図示しない操作部を介して、ユーザから受け付けた再生指示における再生速度が所定の閾値以上であるかを判断する（ステップＳ４０）。
【０２５１】
ステップＳ４０において、再生速度が所定の閾値以上であると判断した場合には（ステップＳ４０：Ｙ）、制御部５６０は、第２復号部５２０から出力された長時間露光データを表示部３３０に送出するよう、切替部５５０を制御する（ステップＳ４１）。
【０２５２】
また、ステップＳ４０において、再生速度が所定の閾値未満であると判断した場合には（ステップＳ４０：Ｎ）、制御部５６０は、分離部５１０に対し、差分符号化データも分離するよう指示すると共に、合成部５４０から出力された短時間露光画像データを表示部３３０に送出するよう、切替部５５０を制御する（ステップＳ４２）。
【０２５３】
分離部５１０は、長・短時間露光動画統合記録部４４０に記録されているＭＰＥＧ−４  ＡＶＣ形式の符号化列を読み出し、再生順に対応する、長時間露光符号化データを分離して第２復号部５２０に送出すると共に、ステップＳ４２における指示がなされた場合には、その長時間露光符号化データの拡張領域に格納されている差分符号化データを分離して第１復号部５３０に送出する（ステップＳ４３）。
【０２５４】
第２復号部５２０は、分離部５１０から受領した長時間露光符号化データを復号して得た長時間露光画像データを出力する（ステップＳ４４）。
【０２５５】
第１復号部５３０は、分離部５１０から差分符号化データを受領した場合には（ステップＳ４５：Ｙ）、差分符号化データを復号して得られた、差分データを合成部５４０に送出する（ステップＳ４６）。
【０２５６】
合成部５４０は、第１復号部５３０から受領した差分データと第２復号部５２０が出力した長時間露光画像データとを合成して復元した短時間露光画像データを出力する（ステップＳ４７）。
【０２５７】
切替部５５０は、制御部５６０による制御に従い、第２復号部５２０から出力された長時間露光画像データ、又は合成部５４０から出力された短時間露光画像データを表示部３３０に送出し、表示部３３０は受領した画像データを表示する（ステップＳ４８）。つまり、ステップＳ４１の設定がなされた場合には、長時間露光画像データが表示され、ステップＳ４２の設定がなされた場合には、短時間露光画像データが表示される。
【０２５８】
制御部５６０は、操作部を介して、ユーザから停止指示を受け付けたかを判断する（ステップＳ４９）。ステップＳ４９において、停止指示を受け付けた場合には（ステップＳ４９：Ｙ）、制御部５６０は再生処理を終了し、停止指示を受け付けていない場合には（ステップＳ４９：Ｎ）、制御部５６０は、操作部を介して、ユーザから再生速度変更指示を受け付けたかを判断する（ステップＳ５０）。
【０２５９】
ステップＳ５０において、再生速度変更指示を受け付けていない場合には（ステップＳ５０：Ｎ）、制御部５６０はステップＳ４３から処理を行い、再生速度変更指示を受け付けた場合には（ステップＳ５０：Ｙ）、制御部５６０は、ステップＳ４０から処理を行う。
【０２６０】
これにより、例えば所定の閾値が通常レートを示す値に設定されている場合において、制御部５６０がユーザから通常レートでの再生指示を受け付けたときは、ＭＰＥＧ−４  ＡＶＣ形式の符号化列から、長時間露光符号化データのみが分離出力され復号され、長時間露光画像データが表示される。
【０２６１】
また、通常レートでの再生が行われているときに、制御部５６０が、ユーザからスローまたは一時停止への速度変更指示を受け付けると、次に分離出力される長時間露光符号化データと共に、その長時間露光符号化データの拡張領域に格納されている差分符号化データも分離出力され復号され、長時間露光画像データと差分データとから短時間露光画像データが復元され表示されることになる。
【０２６２】
従って、本実施の形態に係る画像処理装置５００においても、本実施の形態に係る画像処理装置３００と同様の効果が得られることになる。
＜補足＞
（１）実施の形態１に係る画像処理装置１００において、長時間露光画像記録部１５０への各長時間露光画像データの記録、及び短時間露光画像記録部１６０への各短時間露光画像データの記録は、各記録部の連続領域に連続して行われるものとして説明したが、これに代えて、各画像データと共に、その画像データの生成順を示す情報を記録するようにしてもよい。
【０２６３】
これにより、生成順が同一の画像データが、関連付けられた長時間露光画像データと短時間露光画像データとであると特定できる。また、各画像データを用いて動画再生を行う場合にも、その生成順により再生順を特定することができる。
【０２６４】
（２）実施の形態１に係る画像処理装置１００において、撮像部１１０、カウンタ１３１、比較器１４１はそれぞれ、予め制御部１７０に設定された露光時間や撮像レート、合成数、選択値等に従い動作するものとして説明したが、これらの設定を撮像中に制御部１７０が動的に変更できるようにしてもよい。
【０２６５】
これにより、制御部１７０が、例えば、一時的に撮像部１１０の撮像レートを上げて設定することにより、特殊効果を有する撮像を行うことが可能となる。
【０２６６】
（３）実施の形態１に係る画像処理装置１００においては、各短時間露光画像データを、合成数分のフレーム画像データ毎に、１つのフレーム画像データを選択することにより生成するものとして説明したが、複数のフレーム画像を合成することにより、各短時間露光画像データを生成することにしてもよい。
【０２６７】
その場合、例えば、実施の形態１で示した例と同様、総露光時間が１／２７０秒である各短時間露光画像データを生成するものとすると、撮像部１１０を更に短い露光時間（例えば、１／５４０秒）で撮像するものに変更する必要がある。各短時間露光画像データを２つのフレーム画像データを合成することにより生成することになる。
【０２６８】
（４）変形例１に係る画像処理装置における撮像部は、露光時間Ａ（例えば、１／６７．５秒）と露光時間Ｂ（例えば、１／２７０秒）との２つの露光時間で撮像可能であるものとして説明したが、露光時間Ａを更に長い露光時間に変更して撮像することとしてもよい。
【０２６９】
例えば、露光時間Ａを、長時間露光画像における総露光時間と同じ露光時間（例えば、１／３０秒）とすれば、長時間露光画像の生成においても、複数のフレーム画像データを合成する必要がなくなり、露光時間Ａで撮像したフレーム画像を選択すればよいことになる。これにより、合成に必要な処理量を減らすことができる。
【０２７０】
（５）実施の形態１に係る画像処理装置１００及び変形例１に係る画像処理装置は、総露光時間が異なる２種類の画像データ群（長時間露光画像データ群と短時間露光画像データ群）を生成するものとして説明したが、総露光時間が異なる３種類以上の画像データ群を生成してもよい。
【０２７１】
例えば、複数のフレーム画像データ（例えば“９”）毎に、撮像部からの送出順が中央となるフレーム画像データとその前と後ろとに送出された３つのフレーム画像データを合成することにより、総露光時間が短時間露光画像データと長時間露光画像データとの中間になる画像データ群（以下、「中時間露光画像データ群」という）を生成するようにしてもよい。
【０２７２】
この場合、３つの画像データ群を処理できるように変形した実施の形態２に係る画像処理装置２００（各短時間露光画像データを用いて検出した動きベクトルを用いて、関連付けられた中時間露光画像データを圧縮符号化するように変形したもの）を用いて、３つのＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成してもよい。
【０２７３】
また、この３つのＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生速度に応じて切り替えて表示させるように変形した実施の形態３に係る画像処理装置３００を用いて、３種類以上の再生速度の段階に対応できるようにしてもよい。
【０２７４】
例えば、通常レートでの再生では各長時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生し、通常レートの１／２倍速のスロー再生では、各中時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生し、通常レートの１／４倍速や一時停止の場合には、各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生することにしてもよい。
【０２７５】
（６）実施の形態２に係る画像処理装置２００は、長時間露光画像記録部１５０と短時間露光画像記録部１６０とにそれぞれ記録された、実施の形態１に係る画像処理装置１００が生成した長時間露光画像データ群と短時間露光画像データ群から、それぞれの画像群についてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものとして説明したが、実施の形態１に係る画像処理装置１００が生成したものに限らず、同様の方法により、又は異なる方法により生成した長時間露光画像データ群と短時間露光画像データ群とを外部から受信して、各ＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成してもよい。
【０２７６】
即ち、実施の形態２に係る画像処理装置２００が各ＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成する際に用いる長時間露光画像データ群と短時間露光画像データ群とは以下のものであればよい。
【０２７７】
総露光時間が第１の時間（例えば、１／２７０秒）である各短時間露光画像データと、総露光時間が第１の時間とは異なる第２の時間（例えば、１／３０秒）である各長時間露光画像データであって、各短時間露光画像データは、その短時間露光画像データが生成されたときの総露光時間帯を包含する総露光時間帯で生成された長時間露光画像データと関連付けられており、関連付けられた長時間露光画像データと短時間露光画像データとが再生順を特定するための情報と対応付けられている各短時間露光画像データと各長時間露光画像データであればよい。このことは、実施の形態４に係る画像処理装置４００についても同様である。
【０２７８】
（７）実施の形態２では、各短時間露光画像データについて、その短時間露光画像データの動きベクトルを検出し、検出した動きベクトルを用いて、その短時間露光画像データと、関連付けられた長時間露光画像データとを圧縮符号化した結果である各ＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものとして説明したが、その逆に、各長時間露光画像データについて、その長時間露光画像データの動きベクトルを検出し、検出した動きベクトルを用いて、その長時間露光画像データと関連付けられた短時間露光画像データとを圧縮符号化することとしてもよい。
【０２７９】
（８）実施の形態２に係る画像処理装置２００では、各短時間露光画像データについて、その短時間露光画像データの動きベクトルを検出し、検出した動きベクトルを用いて、その短時間露光画像データと、関連付けられた長時間露光画像データとを圧縮符号化するものとして説明したが、以下のように変形することも可能である。
【０２８０】
即ち、短時間露光画像データについて検出した動きベクトルを用いてその短時間露光画像データを圧縮符号化すると共に、その動きベクトルを初期値として、その短時間露光画像データと関連付けられた長時間露光画像データについて動きベクトルを再探索（つまり、短時間露光画像データについての動きベクトルが指す、長時間露光画像データに対する参照画像上のマクロブロックの周辺を再探索）し、再探索の結果得られた動きベクトルを用いてその長時間露光画像データを圧縮符号化することとしてもよい。
【０２８１】
長時間露光画像データについて、動きベクトルの再探索を行うため、より精度の高い動きベクトルを探索できる可能性があり、更に圧縮率を向上できる可能性がある。
【０２８２】
また、実施の形態２に係る画像処理装置２００より、動きベクトルの再探索分の処理量は増えるが、短時間露光画像データについての動きベクトルを初期値とすることなく、個別に長時間露光画像データについて動きベクトルを検出するよりは、効率的に長時間露光画像データについて動きベクトルを再探索することができるため、画像処理装置全体として圧縮符号化のための処理量を軽減できる。
【０２８３】
また、上記では、短時間露光画像データについての動きベクトルを初期値として、関連付けられた長時間露光画像データについての動きベクトルを再探索する例を説明したが、その逆であってもよい。即ち、長時間露光画像データについての動きベクトルを検出し、それを初期値として、関連付けられた短時間露光画像データについての動きベクトルを再探索してもよい。
【０２８４】
（９）実施の形態２に係る画像処理装置２００は、各短時間露光画像データについても、その短時間露光画像データから検出した動きベクトルを用いて圧縮符号化して、各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列を生成するものとして説明したが、各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列は生成しないこととしてもよい。
【０２８５】
即ち、各短時間露光画像データは、各長時間露光画像データについて圧縮符号化するための動きベクトルの検出にのみ使用することにしてもよい。各短時間露光画像データは、短露光時間で撮像した各フレーム画像データであるため、ぶれの少ないくっきりとした画像となっている。従って、精度の高い動きベクトルを検出できる可能性が高まる。これにより、生成されたＭＰＥＧ−４  ＡＶＣ形式の符号化列を再生する際に、いわゆるフレーム間補間を行う画像処理装置（動画像再生装置）において、画質の向上が期待できる。
【０２８６】
また、各フレーム画像データが、ぶれの少ないくっきりとした画像となっていることから、被写体の本来の動きと一致する動きベクトルを検出できる可能性が高まる。この被写体の本来の動きと一致する動きベクトルにより、いわゆるグローバルベクトルを特定し、特定したグローバルベクトルを手振れ補正等に用いる変形も可能である。
【０２８７】
（１０）実施の形態３に係る画像処理装置３００は、長時間露光動画記録部２４０と短時間露光動画記録部２５０とにそれぞれ記録された、実施の形態２に係る画像処理装置２００が生成した各長時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列と各短時間露光画像データについてのＭＰＥＧ−４  ＡＶＣ形式の符号化列とにより、動画像再生を行うものとして説明したが、実施の形態２に係る画像処理装置２００が生成したものに限らず、外部から受信したＭＰＥＧ−４  ＡＶＣ形式の各符号化列により再生してもよい。
【０２８８】
即ち、実施の形態３に係る画像処理装置３００が再生に用いる各ＭＰＥＧ−４  ＡＶＣ形式の符号化列は、上述の（６）において説明した条件を満たす長時間露光画像データ群と短時間露光画像データ群のうち、一方の各画像データについて検出した各動きベクトルを用いて、関連付けられた他方の画像データとをそれぞれ圧縮符号化した結果である各ＭＰＥＧ−４  ＡＶＣ形式の符号化列であればよい。
【０２８９】
（１１）各実施の形態及び各変形例に係る画像処理装置は、図１、図５、図８、図１０、図１３に示す各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実現してもよい。
【０２９０】
（１２）実施の形態２〜実施の形態５及び変形例２に係る画像処理装置は、ＭＰＥＧ−４  ＡＶＣに準拠した装置であるとして説明したが、他の規格（例えばＭＰＥＧ−１、ＭＰＥＧ−２やＭＰＥＧ−４）に準拠した装置であってもよい。
【０２９１】
（１３）各実施の形態及び各変形例に係る画像処理装置は個別の装置であるものとして説明したが、例えば、実施の形態１〜３に係る画像処理装置を、変形例１と実施の形態２及び３係る画像処理装置を、実施の形態１と実施の形態４及び５に係る画像処理装置を、実施の形態１と変形例２と実施の形態５に係る画像処理装置を、変形例１と実施の形態４及び５に係る画像処理装置を、変形例１及び２と実施の形態５に係る画像処理装置をそれぞれ１つの画像処理装置として実現してもよい。
【産業上の利用可能性】
【０２９２】
本発明に係る画像処理装置は、動画像データの生成、動画像データの圧縮符号化及び再生に利用される。
【図面の簡単な説明】
【０２９３】
【図１】本発明の実施の形態１に係る画像処理装置１００の機能ブロック図である。
【図２】画像処理装置１００の動作を示すタイミングチャートである。
【図３】画像処理装置１００により生成される長時間露光画像データと短時間露光画像データとの関係を説明するための図である。
【図４】変形例１に係る画像処理装置により生成される長時間露光画像データと短時間露光画像データとの関係を説明するための図である。
【図５】本発明の実施の形態２に係る画像処理装置２００の機能ブロック図である。
【図６】画像処理装置２００の動作を示すフローチャートである。
【図７】画像処理装置１００と撮像装置１０００とが同じ被写体を撮像した場合に得られる画像データ例を示す図である。
【図８】本発明の実施の形態３に係る画像処理装置３００の機能ブロック図である。
【図９】画像処理装置３００の動作を示すフローチャートである。
【図１０】本発明の実施の形態４に係る画像処理装置４００の機能ブロック図である。
【図１１】長・短時間露光動画統合記録部４４０に記録されるＭＰＥＧ−４  ＡＶＣ形式の符号化列の構成を説明するための図である。
【図１２】画像処理装置４００の動作を示すフローチャートである。
【図１３】本発明の実施の形態５に係る画像処理装置５００の機能ブロック図である。
【図１４】画像処理装置５００の動作を示すフローチャートである。
【図１５】特許文献１に係る撮像装置１０００の機能構成図である。
【図１６】特許文献１に係る撮像装置１０００により生成される長露光時間で撮像されたフレーム画像データと短露光時間で撮像された静止画像データとの関係を説明するための図である。
【図１７】特許文献３に係る動画像符号化装置の機能構成図である。
【図１８】特許文献４に係る撮像装置の機能構成図である。
【符号の説明】
【０２９４】
１００、２００、３００、４００、５００    画像処理装置
１１０    撮像部
１２０    画像記憶部
１３０    画像合成部
１３１    カウンタ
１３２    合成器
１３３、１３４、１４２    スイッチ
１４０    中央画像選択部
１４１    比較器
１５０    長時間露光画像記録部
１６０    短時間露光画像記録部
１７０、３４０、５６０    制御部
２１０    動きベクトル検出部
２２０、４２０    第１圧縮符号化部
２３０、４３０    第２圧縮符号化部
２４０    長時間露光動画記録部
２５０    短時間露光動画記録部
３１０、５５０    切替部
３２０    復号部
３３０    表示部
４１０    差分抽出部
４４０    長・短時間露光動画統合記録部
５１０    分離部
５２０    第２復号部
５３０    第１復号部
５４０    合成部
【図１】
2008228282.tif 000003
【図２】
2008228282.tif 000004
【図３】
2008228282.tif 000005
【図４】
2008228282.tif 000006
【図５】
2008228282.tif 000007
【図６】
2008228282.tif 000008
【図７】
2008228282.tif 000009
【図８】
2008228282.tif 000010
【図９】
2008228282.tif 000011
【図１０】
2008228282.tif 000012
【図１１】
2008228282.tif 000013
【図１２】
2008228282.tif 000014
【図１３】
2008228282.tif 000015
【図１４】
2008228282.tif 000016
【図１５】
2008228282.tif 000017
【図１６】
2008228282.tif 000018
【図１７】
2008228282.tif 000019
【図１８】
2008228282.tif 000020