(57)【要約】【課題】本発明は、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができ、より高速に一覧表示を行うことが可能となる動画記録装置を提供する。【解決手段】マークキー１０９によりマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成する。そして、マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらにマークに対応するフレーム画像以前のフレーム画像を参照することなく、マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する。そして、動画符号化データおよびマークを記録する。【選択図】図２
2009284226.tif 000002
【特許請求の範囲】
【請求項１】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成するマーク作成手段と、
前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像以前のフレーム画像を参照することなく、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、
前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする動画記録装置。
【請求項２】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から複数の所定フレーム数さかのぼった各フレーム画像に対してそれぞれマークを作成するマーク作成手段と、
前記複数のマークに対応する各フレーム画像をフレーム内符号化データとして符号化し、さらに前記複数のマークのうちの任意のマークに対応するフレーム画像より後のフレーム画像を当該任意のマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、
前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする動画記録装置。
【請求項３】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像に対してマークを作成するマーク作成手段と、
前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像からさかのぼった所定のフレーム数分のフレーム画像を双方向予測符号化するとともに、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、
前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする動画記録装置。
【請求項４】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成するマーク作成工程と、
前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像以前のフレーム画像を参照することなく、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、
前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする動画記録方法。
【請求項５】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から複数の所定フレーム数さかのぼった各フレーム画像に対してそれぞれマークを作成するマーク作成工程と、
前記複数のマークに対応する各フレーム画像をフレーム内符号化データとして符号化し、さらに前記複数のマークのうちの任意のマークに対応するフレーム画像より後のフレーム画像を当該任意のマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、
前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする動画記録方法。
【請求項６】
動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、
前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像に対してマークを作成するマーク作成工程と、
前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像からさかのぼった所定のフレーム数分のフレーム画像を双方向予測符号化するとともに、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、
前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする動画記録方法。
【請求項７】
請求項１乃至３のいずれか１項に記載の動画記録装置を備える撮像装置。
【請求項８】
請求項３乃至６のいずれか１項に記載の動画記録方法を装置に実行させるためのコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画データ内のフレーム画像を高速に一覧表示できるようにするための動画記録装置および方法、撮像装置、並びにプログラムに関する。
【背景技術】
【０００２】
動画データの圧縮符号化方式としては、ＤＶＤ−ＶＩＤＥＯやデジタルＴＶ放送で採用されているＭＰＥＧ−２、より高圧縮なＨ．２６４などが知られている。これらの動画符号化方式の多くは、より高い圧縮率を実現するためにフレーム間予測による時間軸方向のデータ圧縮を行っている。
【０００３】
例えば、ＭＰＥＧ−２では、動画内の各フレームはその符号化方法によりＩ／Ｐ／Ｂの３種類に分別される。Ｉフレームは、前後のフレームを参照せずに符号化（フレーム内符号化）されており、単独で復号化が可能なフレームである。Ｐフレームは、前方のＩフレームまたはＰフレームを参照し、その差分情報を用いて符号化（前向き片側予測符号化）されているフレームである。Ｐフレームを復号化するためには、参照している前方のＩフレームまたはＰフレームを先に復号化することが必要となる。そして、Ｂフレームは、前方および後方のＩフレームまたはＰフレームを参照し、その差分情報を用いて符号化（前後双方方向予測符号化）されているフレームである。Ｂフレームを復号化するためには、参照している前方および後方のＩフレームまたはＰフレームを先に復号化することが必要となる。
【０００４】
また、あるＩフレームから次に現れるＩフレームまでの一連のフレーム群をＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）と呼ぶ。あるＩフレーム以降のＰ／ＢフレームがそのＩフレームより前のフレームを参照することがあるＧＯＰ形式をＯｐｅｎ  ＧＯＰ形式と呼ぶ。あるＩフレーム以降のＰ／Ｂフレームが必ずそのＩフレーム以降のフレームのみを参照するＧＯＰ形式をＣｌｏｓｅｄ  ＧＯＰ形式と呼ぶ。
【０００５】
ところで、一連のシーンを２つのシーンに分割するための分割点を決める操作や動画内のフレーム画像を選択して静止画として取り出す操作などを行うときに、動画データ内のフレーム画像を一覧表示することで、望みのフレーム画像の選択がより容易になる。
【特許文献１】特開２００６−２５３７６８号公報
【特許文献２】特開２００６−１４８６１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
Ｃｌｏｓｅｄ  ＧＯＰ形式の動画データ内のある時点の前後のフレーム画像を一覧表示するとき、動画データから一覧表示する範囲のデータだけを局所的に復号化する必要がある。ここで一覧する範囲の先頭がＩフレームであるかＩフレーム以外のフレームであるかによって、一覧表示に必要な計算量に差が生じる。前者は一覧表示する動画の先頭のＩフレームを始点に後方のフレームを順次復号化することができるため、比較的高速に必要なフレームのすべてを復号化することができる。
【０００７】
一方、後者は一覧する動画の先頭フレームより前方までさかのぼってＩフレームを検索し、さらに検索されたＩフレームから一覧する動画の終端までを順次復号化しなければならない。Ｉフレームを検索する処理と、一覧表示に必要ないフレーム画像の復号化処理が含まれるため、後者は前者と比較してより多くの計算処理が必要となる。
【０００８】
また、Ｏｐｅｎ  ＧＯＰ形式の動画であれば、一覧表示する範囲の先頭がＩフレームであったとしても、そのＩフレーム以降のフレームを復号化するためにさらに前方のＧＯＰから復号化しなければならない場合がある。そして、Ｃｌｏｓｅｄ  ＧＯＰ形式と比べてより多くの計算処理が必要になることがある。
【０００９】
本発明は、上記問題に鑑みて成されたもので、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができ、より高速に一覧表示を行うことが可能となる動画記録装置および方法、撮像装置、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１記載の動画記録装置は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成するマーク作成手段と、前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像以前のフレーム画像を参照することなく、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする。
【００１１】
上記目的を達成するために、請求項２記載の動画記録装置は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から複数の所定フレーム数さかのぼった各フレーム画像に対してそれぞれマークを作成するマーク作成手段と、前記複数のマークに対応する各フレーム画像をフレーム内符号化データとして符号化し、さらに前記複数のマークのうちの任意のマークに対応するフレーム画像より後のフレーム画像を当該任意のマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする。
【００１２】
上記目的を達成するために、請求項３記載の動画記録装置は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段と、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像に対してマークを作成するマーク作成手段と、前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像からさかのぼった所定のフレーム数分のフレーム画像を双方向予測符号化するとともに、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化手段と、前記動画符号化手段による動画符号化データおよび前記マーク作成手段によるマークを記録する記録手段とを備えることを特徴とする。
【００１３】
上記目的を達成するために、請求項４記載の動画記録方法は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成するマーク作成工程と、前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像以前のフレーム画像を参照することなく、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする。
【００１４】
上記目的を達成するために、請求項５記載の動画記録方法は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から複数の所定フレーム数さかのぼった各フレーム画像に対してそれぞれマークを作成するマーク作成工程と、前記複数のマークに対応する各フレーム画像をフレーム内符号化データとして符号化し、さらに前記複数のマークのうちの任意のマークに対応するフレーム画像より後のフレーム画像を当該任意のマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする。
【００１５】
上記目的を達成するために、請求項６記載の動画記録方法は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成指示手段を備えた動画記録装置の動画記録方法において、前記マーク作成指示手段によってマーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像に対してマークを作成するマーク作成工程と、前記マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらに前記マークに対応するフレーム画像からさかのぼった所定のフレーム数分のフレーム画像を双方向予測符号化するとともに、前記マークに対応するフレーム画像より後のフレーム画像を前記マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する動画符号化工程と、前記動画符号化工程による動画符号化データおよび前記マーク作成工程によるマークを記録する記録工程とを備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができ、より高速に一覧表示を行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１８】
［第１の実施形態］
本発明の第１の実施形態として、動画記録再生が可能であって、動画撮影中の任意のタイミングにマークを記録し、動画撮影後に、マークが記録された動画フレームを含む周辺の動画フレームを一覧表示することができる撮像装置について説明する。マークを記録するタイミングは、動画撮影中にユーザが静止画を撮影しようとした時点を想定している。撮影後にマークが記録された動画フレームを含む周辺の動画フレームを一覧することにより、ユーザは静止画として最も好ましいフレームを撮影後に時間をかけて選択することができる。
【００１９】
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
【００２０】
１０１はアナログ映像信号を入力するためのカメラ部、１０２はカメラ部１０１のアナログ映像信号をデジタルの動画データにするための映像処理部である。カメラ部１０１は、被写体からの光を結像させるためのレンズ、レンズよって結像された被写体像を光電変換する撮像素子、撮像素子を駆動する回路、撮像素子から出力されるアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器等も含む。
【００２１】
１０３は映像処理部１０２で得られた動画データを一時的に保存しておくための一時記憶部である。１０４は一時記憶部１０３に保存された動画データを符号化するためのエンコーダ・デコーダ部である。１０５は符号化された動画データとそれに付随する管理データを記録するための動画記憶部である。動画の再生時は逆に、動画記憶部１０５から読み出された符号化された動画データがエンコーダ・デコーダ部１０４で復号化され、一時記憶部１０３に保存される。
【００２２】
１０６は装置全体の動作を制御するためのＣＰＵであり、プログラム記憶部１０７からプログラムを読み込んで動作する。１０８，１０９はユーザによる動作指示を受け付けるための録画・一時停止キーとマーキングキーである。マーキングキー１０９は、動画内の特定のフレーム画像を指すマークを作成する指示を行うためのマーク作成手段である。１１０は動画記憶部１０５に蓄えられた動画データを順次表示したり、動画データからフレーム画のサムネイル画像を作成し一覧表示したりするための表示部である。
【００２３】
図２は、本発明の第１の実施形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【００２４】
図２において、２０１ａは、一時記憶部１０３に順次保存される符号化前の動画フレームの列を示す。２０１ｂは、符号化前の動画フレームのそれぞれがエンコーダ・デコーダ部１０４によってＩ／Ｐ／Ｂのいずれかの方法で符号化され、動画記憶部１０５に記録された符号化後の動画フレームの列を示す。
【００２５】
２０４は、符号化後の動画フレームのサムネイル画像を一覧表示する画面の一例であり、表示部１１０に表示出力される画面を示している。一覧画面２０４では、撮影時にマーキングキー１０９によってマーキング指示（マーク作成指示）を受け付けた時点のフレーム２０２ｂに対応するサムネイル画像を中心に前後２フレームずつ、合計５フレームのサムネイル画像２０５が表示されている。２０６は、フレーム２０２ｂをサムネイル画像２０５よりやや拡大して表示した静止画サムネイルである。２０７には、静止画２０６に置き換えて静止画を作成するフレームのサムネイル画像が表示される。
【００２６】
一覧画面２０４を表示するためには、従来であればマーキング指示を受け付けた時点のフレーム２０２ｂから２枚さかのぼったフレームからさらにＩフレームを検索する。そして、得られたＩフレームから順次復号化して、表示する５フレーム分の復号化されたデータからサムネイル画像を作成しなければならなかった。動画の符号化がＯｐｅｎ  ＧＯＰ形式になっている場合、Ｉフレームを検索しても、以降のフレームがそのＩフレーム以前のフレームを参照していれば、もう１つ前のＧＯＰから復号化しなければならず、さらに多くの計算処理が必要となっていた。
【００２７】
本実施形態では、フレーム２０２ａの時点でマーキング指示を受け付けたとき、一時記憶部１０３に保存された符号化前の動画データを所定のフレーム数（例えば、２フレーム）さかのぼったフレームであるフレーム２０３ｂに対してマークを作成する。そして、マークに対応するフレーム２０３ｂを必ずＩフレーム（フレーム内符号化データ）として符号化する。そして、さらにマークに対応するフレーム２０３ｂより後のフレームを必ずフレーム２０３ｂ以降のフレームを参照して符号化（フレーム間符号化）し、フレーム２０３ｂ以前のフレームを参照することはないようにする。そして、マークおよび符号化された動画データ（動画符号化データ）２０１ｂを動画記憶部１０５に記録する。このように動画データを符号化して記録しておくことにより、一覧画面２０４を表示するときには、まずマークの作成されたフレーム２０３ｂを復号化し、続いてフレーム２０３ｂ以降のフレームをフレーム２０３ｂ以降のフレームを参照して順次復号化する。これによって、従来よりも少ない計算処理で一覧画面２０４を作成することができる。
【００２８】
次に、上述した動画符号化時のＣＰＵ１０６及びエンコーダ・デコーダ部１０４の動作処理を図３及び図４を参照して説明する。
【００２９】
図３は、第１の実施形態におけるＣＰＵ１０６の動作処理を示すフローチャートである。図４は、第１の実施形態におけるエンコーダ・デコーダ部１０４の動作処理を示すフローチャートである。
【００３０】
図３において、ＣＰＵ１０６は、動画記録待機状態において録画・一時停止キー１０８の状態を監視している（ステップＳ５０２）。録画・一時停止キー１０８が押されるとエンコーダ・デコーダ部１０４に対して動画記録開始指示を送る（ステップＳ５０３）。
【００３１】
ＣＰＵ１０６は、動画記録中はマーキングキー１０９と録画・一時停止キー１０８の状態を監視する。そして、マーキングキー１０９が押されると（ステップＳ５０４でＹＥＳ）、その時点から２フレーム前のフレームに対してマークを作成するとともに、エンコーダ・デコーダ部１０４に通知する（ステップＳ５０５）。
【００３２】
録画・一時停止キー１０８が押されると（ステップＳ５０６でＹＥＳ）、ＣＰＵ１０６は、エンコーダ・デコーダ部１０４に動画記録終了指示を送る（ステップＳ５０７）。
【００３３】
図４において、エンコーダ・デコーダ部１０４は、ＣＰＵ１０６から動画記録開始指示を受けると（ステップＳ５１２でＹＥＳ）、まず動画データの管理情報を作成し、動画記憶部１０５に記録する（ステップＳ５１３）。そして、エンコーダ・デコーダ部１０４は、動画記録終了指示を受けず（ステップＳ５１４でＮＯ）、ＣＰＵ１０６によりマークが作成されなかったときは（ステップＳ５１５でＮＯ）、ステップＳ５１７へ進む。
【００３４】
一時記憶部１０３には映像処理部１０２がフレームデータを蓄積しているので、これが１ＧＯＰ＋２フレーム分になったときに（ステップＳ５１７でＹＥＳ）、エンコーダ・デコーダ部１０４は、蓄積されたフレーム１ＧＯＰ分を読み出す（ステップＳ５１８）。そして、符号化して動画記憶部１０５へ記録する（ステップＳ５１９）。
【００３５】
マークが作成されたときは（ステップＳ５１５でＹＥＳ）、蓄積されているフレームデータが１ＧＯＰ＋２フレーム分に満たなくても、エンコーダ・デコーダ部１０４は、マークが作成されたフレームまでのフレームデータをＧＯＰとする（ステップＳ５１６）。そして、符号化して記録する（ステップＳ５１９）。
【００３６】
以上の処理により、マークが作成されたフレームは必ずＧＯＰの先頭、すなわちＩフレームとしてエンコードされ、そのＩフレーム以降のフレームは、必ずそのＩフレーム以降のフレームを参照して符号化されることになる。
【００３７】
一方、エンコーダ・デコーダ部１０４は、ＣＰＵ１０６から動画記録終了指示を受けると（ステップＳ５１４でＹＥＳ）、最後に蓄積されているフレームをＧＯＰとし（ステップＳ５２０）、符号化して記録する（ステップＳ５２１）。最後に管理情報を作成、記録する（ステップＳ５２２）。
【００３８】
上記第１の実施形態によれば、マーク作成指示がなされたときに、マーク作成指示を受け付けた時点のフレーム画像から所定のフレーム数さかのぼったフレーム画像に対してマークを作成する。そして、マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらにマークに対応するフレーム画像以前のフレーム画像を参照することなく、マークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する。そして、動画符号化データ及びマークを記録する。これにより、一覧表示の際には、記録時に作成したマークに対応するＩフレームから順次動画を復号化していけば、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができる。また、従来と比べて、一覧する動画の先頭フレームより前方までさかのぼってＩフレームを検索する計算処理と、検索されたＩフレームから一覧する動画の先頭までを復号化する計算処理が不要となるため、より高速に一覧表示を行うことが可能となる。
【００３９】
［第２の実施形態］
本発明の第２の実施形態に係る撮像装置は、動画フレームを一覧表示するときに１画面に表示するサムネイル画像の数を複数のパターンから選択できる点で上記第１の実施形態に係る撮像装置と異なる。その他の構成要素については、上述した図１の撮像装置と同一なので、その説明を省略する。
【００４０】
図５は、本発明の第２の実施形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【００４１】
図５において、３０１ａは、一時記憶部１０３に順次蓄えられる符号化前の動画フレームの列を示す。３０１ｂは、符号化前の動画フレームのそれぞれがエンコーダ・デコーダ部１０４によってＩ／Ｐ／Ｂのいずれかの方法で符号化され、動画記憶部１０５に記録された符号化後の動画フレームの列を示す。
【００４２】
３０５，３０９は、符号化後の動画フレームのサムネイル画像を一覧表示する画面の一例であり、表示部１１０に表示出力される画面を示している。一覧画面３０５では、撮影時にマーキングキー１０９によってマーキング指示（マーク作成指示）を受け付けた時点のフレーム３０２ｂに対応するサムネイル画像を中心に前後２フレームずつ、合計５フレームのサムネイル画像３０６が表示されている。一方、一覧画面３０９では、撮影時にマーキングキー１０９によってマーキング指示（マーク作成指示）を受け付けた時点のフレーム３０２ｂに対応するサムネイル画像を中心に前後４フレームずつ、合計９フレームのサムネイル画像３１０が表示されている。３０７は、フレーム３０２ｂをサムネイル画像３０６よりやや拡大して表示した静止画サムネイルである。３０８には、静止画３０７に置き換えて静止画を作成するフレームのサムネイル画像が表示される。
【００４３】
一覧画面３０５，３０９を表示するためには、従来であればマーキング指示を受け付けた時点のフレーム３０２ｂからそれぞれ２枚もしくは４枚さかのぼったフレームからさらにＩフレームを検索する。そして、得られたＩフレームから順次復号化して、表示するフレーム数の復号化されたデータからサムネイル画像を作成しなければならなかった。動画の符号化がＯｐｅｎ  ＧＯＰ形式になっている場合、Ｉフレームを検索しても、以降のフレームがそのＩフレーム以前のフレームを参照していれば、もう１つ前のＧＯＰから復号化しなければならず、さらに多くの計算処理が必要となっていた。
【００４４】
本実施形態では、フレーム３０２ａの時点でマーキング指示を受け付けたとき、一時記憶部１０３に保存された符号化前の動画データを複数の所定フレーム数（例えば２フレームおよび４フレーム）さかのぼった各フレーム３０３ｂ，３０４ｂにマークを作成する。そして、マークに対応する各フレーム３０３ｂ，３０４ｂを必ずＩフレーム（フレーム内符号化データ）として符号化する。そして、さらにマークに対応するフレーム３０４ｂより後のフレームを必ずフレーム３０４ｂ以降のフレームを参照して符号化（フレーム間符号化）し、フレーム３０４ｂ以前のフレームを参照することはないようにする。同様に、フレーム３０３ｂより後のフレームを必ずフレーム３０３ｂ以降のフレームを参照して符号化（フレーム間符号化）し、フレーム３０３ｂ以前のフレームを参照することはないようにする。そして、マークおよび符号化された動画データ（動画符号化データ）３０１ｂを動画記憶部１０５に記録する。
【００４５】
このように動画データを符号化して記録しておくことにより、一覧画面３０５を表示するときには、まずマーク２の作成されたフレーム３０３ｂを復号化し、続いてフレーム３０３ｂ以降のフレームをフレーム３０３ｂ以降のフレームを参照して順次復号化する。また、一覧画面３０９を表示するときには、まずマーク１の作成されたフレーム３０４ｂを復号化し、続いてフレーム３０４ｂ以降のフレームをフレーム３０４ｂ以降のフレームを参照して順次復号化する。これによって、従来よりも少ない計算処理で一覧画面３０５，３０９のいずれの画面も作成することができる。
【００４６】
また、表示するサムネイル画像の数が一覧画面３０５，３０９のいずれとも異なる一覧画面がさらにあったとしても、その画面に表示するサムネイル画像の先頭に対応するフレームを同様にＩフレームとして符号化しておく。そして、そのＩフレームより後のフレームは、必ずそのＩフレーム以降のフレームを参照して符号化するようにしておけば、同様に少ない計算処理で一覧画面を作成することができる。
【００４７】
上述した動画符号化時のＣＰＵ１０６及びエンコーダ・デコーダ部１０４の動作処理を図６及び図７を参照して説明する。
【００４８】
図６は、ＣＰＵ１０６の動作処理を示すフローチャートである。図７は、エンコーダ・デコーダ部１０４の動作処理を示すフローチャートである。なお、図６及び図７において、図３及び図４と同じ処理については同一の符号を付して、その説明は省略する。
【００４９】
本第２の実施の形態では、マーキングキー１０９が押されると、ＣＰＵ１０６が、その時点から４フレーム前および２フレーム前のフレームに対してマーク１，２を作成するとともに、エンコーダ・デコーダ部１０４に通知する（図６のステップＳ６０１）。
【００５０】
また、エンコーダ・デコーダ部１０４は、蓄積されたフレームデータが１ＧＯＰ＋４フレーム分になったときに（図７のステップＳ７０１でＹＥＳ）、蓄積されたフレーム１ＧＯＰ分を読み出す（図７のステップＳ５１８）。４フレーム分とは、マーキング指示（マーク作成指示）を受け付けた時点のフレーム３０２ｂから、想定される一覧画面３０５，３０９の内で最も遠いマーク位置までのフレーム距離である。
【００５１】
また、マークが作成されたときは（ステップＳ５１５でＹＥＳ）、エンコーダ・デコーダ部１０４は、マークが作成されたフレームまでをそれぞれＧＯＰにする（マークが作成されたフレームをそれぞれ次のＧＯＰの先頭フレームにする）（ステップＳ７０２）。
【００５２】
上記第２の実施形態によれば、マーク作成指示がなされたときに、マーク作成指示がされた時点のフレーム画像から複数の所定フレーム数さかのぼった各フレーム画像に対してそれぞれマークを作成する。そして、複数のマークに対応する各フレーム画像をいずれもフレーム内符号化データとして符号化し、さらに複数のマークのうちの任意のマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する。そして、動画符号化データおよびマークを記録する。これにより、一覧表示の際には、記録時に作成したマークに対応するＩフレームから順次動画を復号化していけば、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができる。また、従来と比べて、一覧する動画の先頭フレームより前方までさかのぼってＩフレームを検索する計算処理と、検索されたＩフレームから一覧する動画の先頭までを復号化する計算処理が不要となるため、より高速に一覧表示を行うことが可能となる。
【００５３】
［第３の実施形態］
本発明の第３の実施形態に係る撮像装置は、上記第１の実施形態で説明したものとは異なる符号化方法によりフレームの一覧表示を少ない計算処理で実現する点で上記第１の実施形態に係る撮像装置と異なる。その他の構成要素については、上述した図１の撮像装置と同一なので、その説明を省略する。なお、エンコーダ・デコーダ部１０４は通常の過去から未来へ向かう時間軸に基づいた動画符号化に加え、未来から過去へ逆方向に向かう時間軸に基づいた動画符号化も行うことができることを特徴としている。この逆方向の符号化は、一時記憶部１０３に蓄えられた符号化前の動画フレームデータを、最近のものから古いものへ向かって順に読み出して符号化することにより実現される。
【００５４】
図８は、本発明の第３の実形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【００５５】
図８において、４０１ａは、一時記憶部１０３に順次蓄えられる符号化前の動画フレームの列を示す。４０１ｂは、符号化前の動画フレームのそれぞれがエンコーダ・デコーダ部１０４によってＩ／Ｐ／Ｂのいずれかの方法で符号化され、動画記憶部１０５に記録された符号化後の動画フレームの列を示す。
【００５６】
４０４は、符号化後の動画フレームのサムネイル画像を一覧表示する画面の一例であり、表示部１１０に表示出力される画面を示している。一覧画面４０４では、撮影時にマーキングキー１０９によってマーキング指示を受け付けた時点のフレーム４０２ｂに対応するサムネイル画像を中心に前後２フレームずつ、合計５フレームのサムネイル画像４０５が表示されている。４０６は、フレーム４０２ｂをサムネイル画像４０５よりやや拡大して表示した静止画サムネイルである。４０７には、静止画４０６に置き換えて静止画を作成するフレームのサムネイル画像が表示される。
【００５７】
一覧画面４０４を表示するためには、従来であればマーキング指示を受け付けた時点のフレーム４０２ｂから２枚さかのぼったフレームからさらにＩフレームを検索する。そして、得られたＩフレームから順次復号化して、表示するフレーム数の復号化されたデータからサムネイル画像を作成しなければならなかった。動画の符号化がＯｐｅｎ  ＧＯＰ形式になっている場合、Ｉフレームを検索しても、以降のフレームがそのＩフレーム以前のフレームを参照していれば、もう１つ前のＧＯＰから復号化しなければならず、さらに多くの計算処理が必要となっていた。
【００５８】
本実施形態では、フレーム４０２ａの時点でマーキング指示を受け付けたとき、フレーム４０２ａを符号化して得られるフレーム４０２ｂにマークを作成する。そして、マークに対応するフレーム４０２ｂを必ずＩフレーム（フレーム内符号化データ）として符号化する。さらにマークに対応するフレーム４０２ｂからさかのぼった所定のフレーム数分（例えば、２フレーム分）のフレーム４０３ｂを双方向予測符号化する。それとともに、マークに対応するフレーム４０２ｂより後のフレームを必ずフレーム４０２ｂ以降のフレームを参照して符号化（フレーム間符号化）し、フレーム４０２ｂ以前のフレームを参照することはないようにする。そして、マーク及び符号化された動画データ（動画符号化データ）４０１ｂを動画記憶部１０５に記録する。このように動画データを符号化して記録しておくことにより、一覧画面４０４を表示するときには、まずマークの作成されたフレーム４０２ｂを復号化し、続いてフレーム４０２ｂ以前のフレームをフレーム４０３ｂの符号化データから復号化する。それともに、フレーム４０２ｂ以降のフレームをフレーム４０２ｂ以降のフレームを参照して順次復号化する。これによって、従来よりも少ない計算処理で一覧画面４０４を作成することができる。
【００５９】
上述した動画符号化時のＣＰＵ１０６及びエンコーダ・デコーダ部１０４の動作処理を図９及び図１０を参照して説明する。
【００６０】
図９は、ＣＰＵ１０６の動作処理を示すフローチャートである。図１０は、エンコーダ・デコーダ部１０４の動作処理を示すフローチャートである。なお、図９及び図１０において、図３、図４、図６、図７と同じ処理については同一の符号を付して、その説明は省略する。
【００６１】
本第３の実施形態では、マーキングキー１０９が押されると（図９のステップＳ５０４でＹＥＳ）、ＣＰＵ１０６が、その時点のフレームに対してマークを作成するとともに、エンコーダ・デコーダ部１０４に通知する（図９のステップＳ９０１）。
【００６２】
また、エンコーダ・デコーダ部１０４は、蓄積されたフレームデータが１ＧＯＰ分になったときに（図１０のステップＳ１００１でＹＥＳ）、蓄積されたフレーム１ＧＯＰ分、すなわち蓄積されたすべてのフレームを読み出す（ステップＳ５１８）。
【００６３】
また、マークが作成されたときは（ステップＳ５１５でＹＥＳ）、エンコーダ・デコーダ部１０４は、マークが作成されたフレームまでをそれぞれＧＯＰにする（マークが作成されたフレームをそれぞれ次のＧＯＰの先頭フレームにする）（ステップＳ７０２）。そして、マークが作成されたフレームから前方に２フレームまでを逆方向の符号化のためのＧＯＰにする（ステップＳ１００２）。
【００６４】
上記第３の実施形態によれば、マーク作成指示がなされたときに、マーク作成指示がされた時点のフレーム画像に対してマークを作成する。そして、マークに対応するフレーム画像をフレーム内符号化データとして符号化し、さらにマークに対応するフレーム画像からさかのぼった所定のフレーム数分のフレーム画像を双方向予測符号化する。それとともに、マークに対応するフレーム画像より後のフレーム画像をマークに対応するフレーム画像以降のフレーム画像を参照してフレーム間符号化する。そして、動画符号化データおよびマークを記録する。これにより、一覧表示の際には、記録時に作成したマークに対応するＩフレームから順次動画を復号化していけば、一覧表示に必要なフレーム画像の復号化を最小限の計算処理によって行うことができる。また、従来と比べて、一覧する動画の先頭フレームより前方までさかのぼってＩフレームを検索する計算処理と、検索されたＩフレームから一覧する動画の先頭までを復号化する計算処理が不要となるため、より高速に一覧表示を行うことが可能となる。
【００６５】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６８】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【図３】第１の実施形態におけるＣＰＵの動作処理を示すフローチャートである。
【図４】第１の実施形態におけるエンコーダ・デコーダ部の動作処理を示すフローチャートである。
【図５】本発明の第２の実施形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【図６】第２の実施形態におけるＣＰＵの動作処理を示すフローチャートである。
【図７】第２の実施形態におけるエンコーダ・デコーダ部の動作処理を示すフローチャートである。
【図８】本発明の第３の実形態における動画符号化方法と動画フレームを一覧表示する画面の作成方法を模式的に示した図である。
【図９】第３の実施形態におけるＣＰＵの動作処理を示すフローチャートである。
【図１０】第３の実施形態におけるエンコーダ・デコーダ部の動作処理を示すフローチャートである。
【符号の説明】
【００７０】
１０１  カメラ部
１０２  映像処理部
１０３  一時記憶部
１０４  エンコーダ・デコーダ部
１０５  動画記憶部
１０６  ＣＰＵ
１０７  プログラム記憶部
１０８  録画・一時停止キー
１０９  マーキングキー
１１０  表示部
【図１】
2009284226.tif 000003
【図２】
2009284226.tif 000004
【図３】
2009284226.tif 000005
【図４】
2009284226.tif 000006
【図５】
2009284226.tif 000007
【図６】
2009284226.tif 000008
【図７】
2009284226.tif 000009
【図８】
2009284226.tif 000010
【図９】
2009284226.tif 000011
【図１０】
2009284226.tif 000012