(57)【要約】【課題】  動画から代表フレームを検出する際により有意なフレームを検出する。【解決手段】  動画像からフレームを抽出し、抽出したフレームと該フレームよりも時間的に前に位置する代表フレームの時間的位置関係に基づいて、相関を求めるフレームを決定し、決定したフレームと抽出されたフレームの相関に基づいて記録すべきフレームを検出し、該検出されたフレームの近隣でより適したフレームを代表フレームとして決定し、決定されたフレームの情報を記憶する。【選択図】  図１１
2005191679.tif 000002
【特許請求の範囲】
【請求項１】
動画像からフレームを抽出する抽出手段と、
前記抽出手段で抽出したフレームと該フレームよりも時間的に前に位置する代表フレームの時間的位置関係に基づいて、相関を求めるフレームを決定する決定手段と、
前記決定手段で決定されたフレームと前記抽出手段で抽出されたフレームの相関に基づいて記録すべきフレームを検出するフレーム検出手段と、
前記検出手段で検出されたフレームの近隣でより適したフレームを代表フレームとして決定するフレーム決定手段と、
前記決定手段で決定されたフレームの情報を記憶するインデックス記憶手段を備えたことを特徴とする画像処理装置。
【請求項２】
前記フレーム決定手段は、前記フレーム検出手段で検出されたフレームを含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、この相関が区間内で最高となる個所を探索し、これを代表フレームとすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フレーム決定手段は、前記フレーム検出手段で検出された個所を含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、この相関の時間的な変化において、最も検出点に近い正の極を形成する個所を代表フレームとすることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記フレーム決定手段は、前記フレーム検出手段で検出された個所を含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、検出点を基点とする前後の各方向について、この相関が所定の閾値を下回った個所から、離れた区間を探索対象としないことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記フレーム決定手段は、前記フレーム検出手段で検出された個所を含む所定の時間幅の区間にカット点が含まれるとき、検出点を基点とする前後の各方向について、カット点より離れた区間を探索対象としないことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記フレーム決定手段は、相関の時間的な変化の移動平均に基づいて代表フレームを探索することを特徴とする請求項３乃至５記載の画像処理装置。
【請求項７】
動画像からフレームを抽出する抽出工程と、
前記抽出工程で抽出したフレームと該フレームよりも時間的に前に位置する代表フレームの時間的位置関係に基づいて、相関を求めるフレームを決定する決定工程と、
前記決定工程で決定されたフレームと前記抽出工程で抽出されたフレームの相関に基づいて記録すべきフレームを検出するフレーム検出工程と、
前記検出工程で検出されたフレームの近隣でより適したフレームを代表フレームとして決定するフレーム決定工程と、
前記決定工程で決定されたフレームの情報を記憶するインデックス記憶工程を備えたことを特徴とする画像処理方法。
【請求項８】
前記フレーム決定工程は、前記フレーム検出工程で検出されたフレームを含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、この相関が区間内で最高となる個所を探索し、これを代表フレームとすることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記フレーム決定工程は、前記フレーム検出工程で検出された個所を含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、この相関の時間的な変化において、最も検出点に近い正の極を形成する個所を代表フレームとすることを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記フレーム決定工程は、前記フレーム検出工程で検出された個所を含む所定の時間幅の区間において、所定の間隔をおいた２枚のフレームの相関を求め、検出点を基点とする前後の各方向について、この相関が所定の閾値を下回った個所から、離れた区間を探索対象としないことを特徴とする請求項７記載の画像処理方法。
【請求項１１】
前記フレーム決定工程は、前記フレーム検出工程で検出された個所を含む所定の時間幅の区間にカット点が含まれるとき、検出点を基点とする前後の各方向について、カット点より離れた区間を探索対象としないことを特徴とする請求項７記載の画像処理方法。
【請求項１２】
前記フレーム決定工程は、相関の時間的な変化の移動平均に基づいて代表フレームを探索することを特徴とする請求項９乃至１１記載の画像処理方法。
【請求項１３】
請求項７乃至１２のいずれか１つに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
【請求項１４】
請求項１３に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の索引を生成し記録する動画像処理に関するものである。
【背景技術】
【０００２】
近年、ディジタルカメラや、ディジタルビデオカムコーダ等の普及により、個人でも大量の動画を撮影するようになってきている。一般に、映像データはデータ量が膨大であるが、その内容の概略を知る場合や、所望のシーンを探す場合、従来は映像を早回ししたり、巻き戻しを行っていた。しかし、これは時間と手間がかかる等の問題点があった。
【０００３】
このような問題を緩和し、画像検索を効率よく行うために、例えば特許文献１のようにカット点の画像データを代表画面として検出しインデックス画像を作成する方法が考案された。ここで、カット点とは、一般には編集された動画において、素材の繋ぎ目となる点をいう。ディジタルビデオカムコーダで撮影した動画の場合には、撮影ボタンを押下し録画を開始してから終了するまでの一連の動画の単位をショットと呼んでおり、ショットの先頭がカット点となる。
【０００４】
また、カットの先頭が必ずしも代表画面としてふさわしいものではないという経験則から、特許公報２のビデオプリンタの様に、カット点から一定時間後のフレームを代表画面として検出し、紙にプリントする方法が考案された。
【特許文献１】特公平５−７４２７３号公報
【特許文献２】特開昭６４−１１３４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、代表画面をカット点を基準にして選び出すもので、単にカット点直後あるいはそれから一定時間後の画像を代表画面とするというものであった。これに対し、最後に検出した代表画像との変化関係によって代表画面を検出することで、パン（カメラの横方向に回転する操作）、チルト（縦に回転する操作）といったカメラ操作や被写体の変化によってショットの途中でフレーム内容が変化したときに検出する手法が考案された。しかし、このようなフレームの変化では、変化中のフレームより変化後のフレームの方が代表画面としてよりふさわしいが、従来方法では、その様なフレームを検出できなかった。
【０００６】
また、ショットの先頭の画像はカメラの支持が不安定であったり、被写体の動きが激しいためにぶれていたりして、代表画面として画質的に適切でない場合があるという問題点があった。静止画として見る場合には、画質の悪い代表画面は検出しないようにすることが望ましい。
【０００７】
本発明の目的は上記問題に鑑みたもので、カメラ操作や被写体の変化のようにフレーム内容が少しずつ変化するような動画区間において、最後に検出した代表画像の変化関係によって代表画面を検出する際、検出点の近隣でより代表フレームとしてふさわしいフレームを探索することで、より有意なフレームを検出し、動画の内容の概要把握や動画の所望のシーンの検索を効率的に行える画像処理装置および方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、動画像からフレームを抽出する抽出手段と、前記抽出手段で抽出したフレームと該フレームよりも時間的に前に位置する代表フレームの時間的位置関係に基づいて、相関を求めるフレームを決定する決定手段と、前記決定手段で決定されたフレームと前記抽出手段で抽出されたフレームの相関に基づいて記録すべきフレームを検出するフレーム検出手段と、前記検出手段で検出されたフレームの近隣でより適したフレームを代表フレームとして決定するフレーム決定手段と、前記決定手段で決定されたフレームの情報を記憶するインデックス記憶手段を備えたことを特徴とする。
【０００９】
また本発明は、動画像からフレームを抽出する抽出工程と、前記抽出工程で抽出したフレームと該フレームよりも時間的に前に位置する代表フレームの時間的位置関係に基づいて、相関を求めるフレームを決定する決定工程と、前記決定工程で決定されたフレームと前記抽出工程で抽出されたフレームの相関に基づいて記録すべきフレームを検出するフレーム検出工程と、前記検出工程で検出されたフレームの近隣でより適したフレームを代表フレームとして決定するフレーム決定工程と、前記決定工程で決定されたフレームの情報を記憶するインデックス記憶工程を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画から代表フレームを検出する際により有意なフレームを検出し、動画の内容の概要把握や動画の所望のシーンの検索を効率的に行えるという効果がある。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【実施例１】
【００１２】
図２は本発明の実施例１における交換可能な光磁気ディスク型記録媒体を用いるディジタルカムコーダの構成を示すブロック図である。
【００１３】
ドライブユニット２０５はメカ機構とサーボ機構、光ピックアップ等から成り、主制御部２０１によって、光磁気ディスク２０６とともに制御される。主制御部２０１は、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４を有し、ＣＰＵ２０２はＲＯＭ２０３に格納された制御プログラムを実行することにより、以下で説明する処理を含む、本装置における各種制御を実現する。主制御部２０１は、図３に示されるように、ドライブユニット２０５を制御するためのドライブ制御部３０１の他に、光磁気ディスク２０６に動画の記録処理を行う動画記録部３０２、光磁気ディスク２０６に格納された動画を時間で管理するためのタイムコードを更新するタイムコードカウンタ３０３、撮影日時などを取得するための日時タイマ３０４、光磁気ディスク２０６に格納された動画のインデックスを生成するインデックス生成部３０５、インデックス生成部３０５で作成されたインデックスを印刷するインデックス印刷部３０６、動画を所望の位置を頭出しして再生する頭出し再生部３０７、動画の再生手順を作成するプレイリスト作成部３０８、プレイリスト作成部３０８で作成された再生手順に従って動画を再生するプレイリスト再生部３０９等から構成され、これらの処理は、内部のＲＯＭ２０３にプログラムとして格納されている。
【００１４】
まず、ドライブユニット２０５に光磁気ディスク２０６が装填されたときの初期化処理について説明する。光磁気ディスク２０６がドライブユニット２０５に装填されると、ドライブ制御部３０１によって、図４に示される光磁気ディスク２０６上のメディア管理情報４０１とショット管理情報４０２とインデックス管理情報４０３と印刷履歴情報４０４が、フラッシュメモリ２１１（途中で電源を落としても内容が消えないように不揮発性）に読み込まれる。
【００１５】
図５に、メディア管理情報４０１とショット管理情報４０２とインデックス管理情報４０３と印刷履歴情報４０４が読み込まれたフラッシュメモリ２１１の状態を示す。図５において、カムコーダＩＤ５０１は、個々のカムコーダを識別するための識別子であり、９桁の数字で表現され、カムコーダ製造時に記録されるものである。メディア・カウンタ５０２は、カムコーダが扱った未使用のメディアの数をカウントアップするものであり、カムコーダ製造時には０が格納されている。また、図５にメディア管理情報４０１の構成を示す。図５に示されるように、メディア管理情報４０１は、メディアＩＤ５０３と最新更新日時５０４と最大タイムコード５０５とショット数５０６とインデックス数５０７と印刷履歴数５０８とプレイリスト数５０９とから構成される。
【００１６】
ドライブ制御部３０１によって、メディア管理情報４０１がフラッシュメモリ２１１に読み込まれると、装填されている光磁気ディスク２０６が未使用であるかどうか判定される。光磁気ディスク２０６上のメディアＩＤ５０３は、製造時に０に設定されており、メディアＩＤ５０３の値が０であれば、未使用であると判定し、最大タイムコード５０５に初期値０を代入し、更に、ショット数５０６とインデックス数５０７と印刷履歴数５０８とプレイリスト数５０９にそれぞれ初期値０を代入し、続いて、メディア・カウンタ７０２を１だけカウントアップし、続いて、メディアを識別するためのＩＤを新たに生成して、メディアＩＤ５０３に生成された値を書き込む。生成されるＩＤの値は、フラッシュメモリ２１１上のカムコーダＩＤの９桁の数字を上９桁とし、メディア・カウンタ７０２の値３桁を下３桁とする１２桁の値とする。未使用でないと判定されれば、メディア・カウンタ７０２とメディアＩＤ５０３の更新は行なわない。
【００１７】
次に、撮影対象の動画の記録過程について説明する。入力部２１２の撮影開始ボタンが押されると、被写体からの反射光は光学系２０７を通して撮像素子２０８に投影され、電気信号に変換される。撮像素子２０８からは１フレームの全ての画素が順次走査で読み出され、撮像系処理部２０９において、ノイズ除去、自動ゲイン調整を行なった後、Ａ／Ｄ変換を行なってディジタル化し、輝度信号（Ｙ）と色差信号（Ｐｒ、Ｐｂ）に分離されてＹ／Ｐｒ／Ｐｂデータが生成される。このＹ／Ｐｒ／Ｐｂデータはバッファメモリ２１０に蓄積された後、動画記録部３０２においてＤＣＴを用いた圧縮アルゴリズムによって圧縮され、最後に同期符号やエラー訂正符号の付加などが行われてドライブユニット２０５を介して光磁気ディスク２０６上の動画記録領域６０５に記録される。このようにして入力部２１２の撮影終了ボタンが押されるまで、動画が記録される。
【００１８】
撮影開始ボタンが押され、サーボ機構が安定して上述の動画記録が開始されると、タイムコードカウンタ３０３はフレーム単位でカウントアップを開始し、インデックス生成部３０５において、インデックスの生成が開始され、フラッシュメモリ２１１上のインデックス管理情報４０３に記録される。このインデックスの生成及び記録の処理に関しては、後で詳しく説明する。また、動画記録が開始されると、フラッシュメモリ２１１上のショット数５０６の値を１だけカウントアップし、ショット管理情報６０２の中の有効なショット情報の末尾に、新たなショット情報を生成して追加する。図６に示されるように、ショット管理情報６０２は複数のショット情報から構成され、各ショット情報はショット番号とタイムコードと撮影日時が対応付けられている。新たに生成されるショット情報は、ショット数５０６の値をショット番号とし、最大タイムコード５０５をタイムコードとし、撮影ボタン４０１が押された時の日時タイマ５０４の日時の値を撮影日時としたものである。
【００１９】
また、動画の記録が撮影終了ボタンの押下によって終了すると、タイムコードカウンタ３０３は停止し、その時のタイムコードカウンタの値を、最大タイムコード５０６へ格納する。更に、日時タイマ３０４の日時の値を、フラッシュメモリ２１１上の最新更新日時５０４に書き込み、フラッシュメモリ２１１上のメディア管理情報４０１、ショット管理情報４０２、インデックス管理情報４０３を、光磁気ディスク２０６上のメディア管理情報４０１、ショット管理情報４０２、インデックス管理情報４０３に、それぞれ書き込む。
【００２０】
次に、図９に基づいて、インデックス生成部３０５におけるインデックスの記録過程について説明する。撮影開始ボタンが押され、上述の動画記録が開始されると、ステップＳ９０１において、バッファメモリ２１０に蓄積される動画の１フレーム分のＹ／Ｐｒ／Ｐｂデータを取り出す。次にステップＳ９０２において、取り出すことができたかどうかを判定し、取り出すことができた場合はステップＳ９０３へ進み、撮影終了ボタンが押されて取り出すことができなかった場合はステップＳ９０５へ進む。
【００２１】
ステップＳ９０３において、ステップＳ９０１で取り出した画像データから、代表画像の特徴量を抽出する。抽出する特徴量としては、代表画像を例えばＮ×Ｍのブロックに分割した各ブロックの平均色を各ブロックの位置に対応付けたものとする。次にステップＳ９０４において、画像データ、特徴量および、タイムコードをキャッシュバッファに格納する。キャッシュバッファを図１０に示す。
【００２２】
キャッシュバッファは画像データと特徴量の２本のリングバッファで構成され、インデックス生成の開始時に初期化される。画像データのキャッシュバッファは代表フレームの抽出処理で後述する探索範囲分の時間幅分のバッファを持ち、特徴量のキャッシュバッファは後述する相関を求めるフレームの決定方法で必要な大きさのバッファを持つ。
【００２３】
次にステップＳ９０５において、キャッシュが一定量溜まったかを調べる。一定量溜まった場合は、ステップＳ９０６に進み、溜まっていない場合はＳ９０１に進む。
【００２４】
ステップＳ９０６では代表フレームの抽出処理を行う。この処理の概要は、キャッシュバッファに存在する１つのフレームについて着目し、それが、代表フレームとなりうるかを評価し、代表フレームとなりうる場合は、その近辺で更に代表フレームとして適するかを探索し、代表フレームと判断された場合にはインデックスへ追加する処理を行う。
【００２５】
次にステップＳ９０７で、最後のフレームまで評価したか判定する。キャッシュバッファによって取り出すフレームと代表フレームとして評価するフレームに遅延が生じているので、先のＳ９０５でインデックス生成を開始してから一定時間代表フレームを評価していない分、フレームが取り出せなくなってからも同じ時間分の評価を行う。
【００２６】
次にステップＳ９０８に進み、全インデックス分の重要度を一括して設定する。ここでは重要度は、重要度を設定する代表フレームから次の代表フレームまでの時間、すなわち両フレームのタイムコードの差で表現するものとする。最後の代表フレームに関しては、動画の末尾のタイムコードとの差を重要度とする。これは、インデックスとして、変化の少ないフレームが代表画像として選ばれ、変化が少ない長いシーンが、人にとって印象に残りやすく、より重要と考えられるためである。
【００２７】
次に図１１に基づいて、代表フレームの抽出処理について説明する。
まずステップＳ２７０１に進み、相関を求めるフレームを決定する。相関を求めるフレームはｔｎと次式により求まるｔｃの２つのフレームである。
ｔｃ＝ｔｐ＋ａ＋ｂ（ｔｎ−ｔｐ）
ただし、ｔｃ＜ｔｎ
ここで、ｔｎは注目フレームのタイムコードである。インデックス生成の開始時に０に初期化され、本処理が呼び出される度に１フレーム分ずつ増加する。ｔｐは直前の代表フレームを指す。ｔｃは、相関を求めるフレームのタイムコードである。
【００２８】
ａは０または正の数である。ｂは０以上１以下の数であり、代表フレームの検出頻度を調整するパラメーターである。
【００２９】
例えば、ａ＝３（秒）、ｂ＝０とすることで、ａ＝０，ｂ＝０の場合に比べて、動きの激しい区間において局所的に多くのフレームが検出されるのを防ぐことが出来る。また、ａ＝０，ｂ＝０．５とすると、直前の代表フレームと注目フレームの中央を参照することになる。これによって、
ａ＝０，ｂ＝０の場合に比べて、動きの少ない個所においても代表フレームの検出量を抑制することが出来る。
【００３０】
ａ，ｂ両係数は、インデックス生成時に決定してもよく、また、検出された代表フレームの頻度等によってインデックス生成中に制御するようにしてもよい。
【００３１】
前述した特徴量のキャッシュバッファの容量はｂ＝０の場合は１フレーム分の特徴量を記憶できれば良い。また、たとえば、ｂ＝１の場合は動画全体分のバッファが必要である。しかし、実装時にメモリが確保できない場合は、次のような方法によって容易に解決ができる。第１の方法は、代表フレームの間隔に最大値を設け、一定時間以上代表フレームを検出できない場合は最後の代表フレームから所定時間後のフレームを代表フレームとして出力するようにすることである。
【００３２】
第２の方法は、ｔｃの分解能を１フレーム単位から、たとえば５フレーム単位のようにさらに落として特徴量を保存するフレームを５分の１に間引くようにすればよい。
【００３３】
次にステップＳ２７０２に進み、ｔｎがショットの先頭かどうかを評価する。ショットの先頭フレームは、必ず、代表画像として採用するため、ステップＳ２７０７に進む。
【００３４】
次にステップＳ２７０３に進み、相関を求めるフレームが特定できない場合、たとえば、ｔｃ≧ｔｎであるときには処理を終了する。
【００３５】
次にステップＳ２７０４に進み、キャッシュバッファ上からｔｎおよびｔｃに相当する特徴量を得て、２つの特徴量間の距離を求める。
特徴量の距離ｄは（式８）によって算出できる。
【００３６】
【数１】
2005191679.tif 000003
【００３７】
距離ｄが小さいほど、特徴量が類似している、すなわちフレームの相関が高いと判定される。ここで、Ｎ，Ｍは、それぞれ、画像の特徴量を抽出するためのブロックの水平方向、垂直方向の分割数であり、Ｙｉ（ｎ，ｍ）、Ｐｒｉ（ｎ，ｍ）、Ｐｂｉ（ｎ，ｍ）は、インデックスの特徴量中の第（ｎ，ｍ）ブロックの平均色の輝度、色差であり、Ｙｑ（ｎ，ｍ）、Ｐｒｑ（ｎ，ｍ）、Ｐｂｑ（ｎ，ｍ）は、ステップＳ６０４で抽出した特徴量中の第（ｎ，ｍ）ブロックの平均色の輝度、色差である。また、ｗ１、ｗ２、ｗ３は、それぞれ、距離ｄを算出する上での重みであり、精度が向上するように値を調整するものとする。
【００３８】
次にステップＳ２７０５に進み、距離を所定の閾値Ｓ１と比較する。距離が閾値Ｓ１以下の場合は、直前の代表フレームと類似しているため、ここで処理を終了する。距離が閾値Ｓ１を超える場合はステップＳ２７０６に進む。なお、この閾値Ｓ１は、インデックス生成時に決定してもよく、また、検出された代表フレームの頻度等によってインデックス生成中に制御するようにしてもよい。
【００３９】
ステップＳ２７０６では、ｔｎの近隣でより代表フレームとして適したフレームを探すため、探索処理を行う。この処理の詳細は後述する。ステップＳ２７０７以降では代表フレームの登録処理を行う。まず、ステップＳ２７０７にてキャッシュバッファ上の追加する代表フレームの画像データから縮小画像（サムネイル画像）を作成する。なお、キャッシュバッファ上の画像データは、キャッシュバッファに登録するときに縮小画像を作成してもよい。この場合、全フレームに対して縮小画像を作ることになるので、縮小率と割り当て可能なメモリ量、特徴量を抽出する過程で生成されるデータの再利用性、縮小処理のコスト等を勘案して決定すればよい。
【００４０】
次にステップＳ２７０８に進み、インデックス管理情報へ重要度以外の項目を追加する。重要度に関しては、前述したステップＳ９０８で全インデックス分の重要度を一括して設定するため、ここでは設定しない。
【００４１】
次に探索処理について説明する。探索処理の目的は、前段で代表フレームの候補として選ばれたフレームの近隣で、より代表フレームとして適したフレームを探索することである。そのために、本実施例における探索処理では一定の間隔で離れたフレームの相関を求めて、動きの少ない所、すなわち、ブレの少ない個所を選んでいる。
【００４２】
探索処理の詳細を図１２に基づいて説明する。まずステップＳ２８０１にて、変数の初期化を行う。すなわち、基準となるフレーム位置を示す変数ｔにｔｎ、また、最も動きが少ない個所の距離を示す変数ｍｉｎ＿ｄに∞を設定する。次にステップＳ２８０２にてループを制御するとともに、探索範囲を示す変数ｉに０を代入する。次にステップＳ２８０３にてループ終了判定を行い、ループが終了した場合は探索処理を終了し、探索結果を出力する。ここでｋは探索範囲の上限を示す所定の数である。
【００４３】
次にステップＳ２８０４に進み、前方探索を行うか判定する。これは次段で距離を求めるフレームが前の代表フレームやそれよりも時間的に前であった場合は、探索は不要である。また、Ｓ２７０１における係数ａの値によっては前方方向のフレームは直前の代表フレームと相関が高くなるため、後方の探索範囲より前方の探索範囲を狭くしてもよい。その場合は、ｉがｋ未満の所定の閾値を越えた時点で探索不可と判定してもよい。探索不可の場合はステップＳ２８０８に進み、探索可能な場合にはステップＳ２８０５へ進む。ステップＳ２８０５では、（ｔ−ｉ−ｎ）と（ｔ−ｉ）のフレームの特徴量をキャッシュバッファから得て距離を求める。距離の求め方はＳ２７０４で示した方法と同様である。ｎは０でない所定の整数である。ただし、暗いところで撮影すると撮像素子から映像を取り出す間隔を空けて明るさを確保する撮像系があり、この場合は同じ内容のフレームが続いてしまう。そのため、ｎを０に近くすることは適さない場合がある。
【００４４】
次にステップＳ２７０６に進み、この距離が今までの距離の最低値ｍｉｎ＿ｄを下回っているかを判断する。下回っていない場合はステップＳ２８０８に進む。下回った場合には今までの探索範囲の中で最も動画の動きが少ないと判断され、ステップｓ２７０７に進み、探索結果を更新する。すなわち、ｍｉｎ＿ｄにｄを代入し、ｔ−ｉのフレーム位置が代表フレームの候補となる。
【００４５】
次にステップＳ２８０８に進み以降、後方の探索を行う。ステップＳ２８０８では後方探索を行うか判定する。これは次段で距離を求めるフレームが次のショットになる場合は、探索は不要である。探索不可の場合はステップＳ２８１２に進み、探索可能な場合にはステップＳ２８０９へ進む。
【００４６】
ステップＳ２８０９では、（ｔ＋ｉ−ｎ）と（ｔ＋ｉ）のフレームの特徴量をキャッシュバッファから得て距離を求める。次にステップＳ２７１０に進み、この距離が今までの距離の最低値ｍｉｎ＿ｄを下回っているかを判断する。下回っていない場合はステップＳ２８１２に進む。下回った場合には、ステップＳ２７１１に進み、探索結果を更新する。すなわち、ｍｉｎ＿ｄにｄを代入し、ｔ＋ｉのフレーム位置が代表フレームの候補となる。次にステップＳ２８１２に進み、探索範囲を１フレーム分広げ、ステップＳ２８０３に進む。
【００４７】
（他の実施例）
上記実施例では記録媒体上の開始位置または開始時間を表わす情報としてタイムコードを用いたが、その他の情報、例えば実時間（時計）であってもよい。あるいは、先頭からのフレーム番号であってもよい。
【００４８】
また、上記実施例では、インデックスの生成方法や、インデックスの選択方法において、供給されたフレーム画像から特徴量を求めていたが、フレーム画像に色変換やエッジの抽出、トリミング、マスキングなど、ある処理を加えて２次的に得られる画像を用いてもよい。また、近隣のフレームとの時間的に平均したものでもよい。時間的に平均することで、ノイズやフラッシュなどで１フレームだけ前後のフレームと異なっていた場合にもその影響を抑えた代表画像の検出が可能となる。
【００４９】
また、上記実施例では画像の相関を求めるために、対応するブロックの差を利用していたので、カメラのパンやズームなどの操作や被写体移動したことでフレーム内のオブジェクトがブロック境界を越えて移動した場合には、相関を適正に求めることが出来なかった。相関を求めるにはフレームの色ヒストグラムを特徴量として求めておき、色ヒストグラムの変化量を用いてもよい。しかし、この場合には、フレームの内部をオブジェクトが移動した場合、移動によって見え隠れしたオブジェクトの背景の変化が、色ヒストグラムに影響し、オブジェクトの移動量は直接色ヒストグラムに影響を与えるものではないため、適正な相関値が得られない場合がある。そこで特開平１１−３９３０９で開示されているようなＤＰマッチングを２次元的な画像に応用した手法を利用してもよい。ＤＰマッチングを利用することによって、移動量を反映させた相関値を求めることが出来る。また、例えば、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されている、色やテクスチャや形状等の画像の特徴記述子を用いてもよい。
【００５０】
また、上記実施例では、探索方法において、図１３（ａ）のように距離の時間的変化を求め、区間内で最低となる個所、すなわちフレーム間の動きの静かな個所を出力するようにしていたが、図１３（ｂ）のように最も検出点に近い負の極を形成する個所を出力するようにしてもよい。なお、このとき距離の時間的変化は移動平均を求めることで手触れ（約５Ｈｚ〜１５Ｈｚ）における極ではなくパン（約１〜０．１Ｈｚ）の終了を探索することが出来る。
【００５１】
また、図１３（ｃ）のように検出点を基点とする前後の各方向について、この相関が所定の閾値Ｕを下回った個所から、離れた区間を探索対象としないようにしてもよい。
【００５２】
また、図１３（ｄ）のようの探索区間にカット点が含まれるとき、検出点を基点とする前後の各方向について、カット点より離れた区間を探索対象としないようにしてもよい。
【００５３】
また、上記実施例では、動きの静かな個所を求めるための探索方法として相関による方法を例にしたが、相関によらない方法でも良い。たとえば、ブレた画像は高周波成分が失われているため、高周波成分のエネルギーの時間的変化を求め、これを基に距離と同様な考えで探索を行ってもよい。また、ＭＰＥＧのＶＢＲ（可変ビットレート）で記録した動画の場合はＢフレームにおける単位時間あたりのビット量の少ない個所が静かな場所であるので、時間あたりのビット量の変化を基に距離と同様な考えで探索を行ってもよい。
【００５４】
また、インデックス情報には代表フレームに関する付属情報を一緒に記録してもよい。付属情報は、たとえば、音声情報、音声認識を行った文字情報、フレーム内に映っているテロップなどの文字を文字認識した文字情報、露出状態等のカメラの情報やパンやズーム等のカメラワーク情報などがある。これらの情報は代表画像とともに表示、印刷する際に併記して出力することで、人が所望の代表フレームを見つけやすくなる。また、文字情報は、代表画像のキーワードによる検索処理に利用することが出来る。
【図面の簡単な説明】
【００５５】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】実施例１のカムコーダのブロック図である。
【図３】主制御部のブロック図である。
【図４】光磁気ディスクの記録領域の模式図である。
【図５】フラッシュメモリの記録領域の模式図とメディア管理情報の模式図である。
【図６】ショット管理情報の模式図である。
【図７】インデックス管理情報の模式図である。
【図８】印刷履歴情報の模式図である。
【図９】インデックス生成部の処理を説明するためのフローチャートである。
【図１０】キャッシュバッファ情報の模式図である。
【図１１】代表フレームの検出手段の処理を説明するためのフローチャートである。
【図１２】探索手段の処理を説明するためのフローチャートである。
【図１３】探索方法の例である。
【図１】
2005191679.tif 000004
【図２】
2005191679.tif 000005
【図３】
2005191679.tif 000006
【図４】
2005191679.tif 000007
【図５】
2005191679.tif 000008
【図６】
2005191679.tif 000009
【図７】
2005191679.tif 000010
【図８】
2005191679.tif 000011
【図９】
2005191679.tif 000012
【図１０】
2005191679.tif 000013
【図１１】
2005191679.tif 000014
【図１２】
2005191679.tif 000015
【図１３】
2005191679.tif 000016