(57)【要約】【課題】  １台または複数台のデジタルカメラによって撮影された数多くの動画と静止画をユーザーが確認しやすくなる方法を提供する。【解決手段】  １台または複数台のデジタルカメラによって同時期に撮影された動画及び静止画を関連付けする際に、動画ファイルの作成日時と記録時間から動画の各シーンの撮影日時を算出し、動画の各シーンの撮影日時から、その撮影日時近辺で撮影された静止画を画像検索し、動画の各シーンと類似度の高い静止画を見つけ、動画と静止画との関連付けを行うことで、同時期に撮影した動画と静止画の類似度による関連付け及び分類を行う。【選択図】  図６
2006135394.tif 000002
【特許請求の範囲】
【請求項１】
動画と静止画が撮影可能な１台または複数台のデジタルカメラによって撮影された複数の動画及び静止画を関連付けする方法において、動画と静止画を撮影可能な１台または複数台のデジタルカメラによって撮影された動画及び静止画の画像検索を行い、その結果、検索された動画と静止画を関連付けすることを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項２】
動画と静止画が撮影可能な１台または複数台のデジタルカメラによって撮影された複数の動画及び静止画を関連付けする方法において、動画ファイルの作成日時と動画ファイルの記録時間から動画の各フレームの撮影日時を算出し、この算出した動画の各フレームの撮影日時により、関連付けしようとする静止画の中から撮影日時の近い静止画を検索することを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項３】
前記請求項２で検索された、各フレームの撮影日時を算出した動画と動画の各フレームの撮影日時により検索された静止画において、関連付けしようとする撮影日時の近い静止画と動画のフレームとの画像検索を行い、画像検索の結果を基にして類似度の高い動画のフレームと静止画を関連付けることを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項４】
前記請求項３で検索された、画像検索の結果、類似度の高い動画のフレームと静止画には、関連付けのために、動画または静止画または動画と静止画の両方のヘッダ情報記録部分またはそれ相当部分に、類似度の高い動画のフレーム及び、または静止画を特定するリンク情報を記録することを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項５】
前記請求項２に記載された動画の各フレームの撮影日時により、関連付けしようとする静止画の中から撮影日時の近い静止画を検索する方法において、動画の各フレームの撮影日時から静止画を検索する際に、検索を行う動画の時間間隔（フレームの間隔）をユーザーが任意に設定することができることを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項６】
前記請求項３による画像検索の結果、関連付けされた類似度の高い動画のフレームと静止画において、これら類似度の高い動画のフレームと静止画のそれぞれのサムネイルを作成し、それらが関連性を持つことを示す画像表示が可能なことを特徴とする動画と静止画の画像検索方法及び管理方法。
【請求項７】
前記請求項７に記載された、関連付けされた類似度の高い動画のフレームと静止画において、動画ファイルを類似度の高い静止画が検索されたフレームで区切り、その区切りにより作成した動画ファイルの章（チャプタ−）の代表画像として画像検索された類似度の高い１枚又は複数枚の静止画を設定することが可能なことを特徴とする動画と静止画の画像検索方法及び管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画または静止画が撮影可能なデジタルカメラを使用して撮影された動画と静止画の画像検索を行い、その結果、検索された動画及び静止画の関連付けと分類を行うことによって動画及び静止画を整理、管理する方法に関する。
【背景技術】
【０００２】
近年、被写体からの光画像信号を撮像素子によって電気画像信号に変換し撮像データとし、これをメモリに保存する構成をもつデジタルカメラが普及している。なかでも静止画を撮影できるとともにｍｏｔｉｏｎ  Ｊｐｅｇ形式やｍｐｅｇ形式などの動画を数分から数時間撮影できるデジタルカメラが主流となっている。
【０００３】
このようなデジタルカメラの進化と普及により、静止画と動画がそれらのデータを保存しているメモリユニット内に数多く混在し、これらの数多くの静止画及び動画の画像データからユーザーは所望する画像やシーンのみを検索するために、静止画を一枚一枚表示して確認し、数時間にわたって撮影された動画を再生して確認を行い、また静止画と動画を同時に表示させながら場面場面を確認し照合しながら画像データの確認を行っているのが現状であり、ユーザーにとっては多大な労力を必要とする。
【０００４】
１台のデジタルカメラを使用して同時期に撮影された数多くの静止画と動画の中からユーザーが所望する画像データを得るためにそれらの画像の中から検索を行う状況において、動画撮影中に撮影した静止画から動画を検索し易くする、または動画から静止画を検索し易くするための方法として、動画に撮影日時を含む静止画特定データを該当する動画のトラックに記録し、同時に静止画にも記録する方法で動画と静止画を関連付けする方法が提案されており、このような公知例として、特許文献１が提案されている。また、複数のデジタルカメラを使用して記録された動画や静止画の中からユーザーが所望する画像データを得るためにそれらの画像データを検索する状況において、これら複数のデジタルカメラを使用して記録された画像を関連付けし、表示、検索する方法として、撮影日時の情報により検索し、撮影日時順に画像を表示する方法が提案されており、このような公知例として、特許文献２が提案されている。
【特許文献１】特開２０００−６９４０７号公報
【特許文献２】特開２００２−１５８９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画とその動画撮影中に撮影した静止画との関連付けを動画のトラックに記録する方法は、１台のデジタルカメラで撮影した場合のみを想定しており、複数台のデジタルカメラで撮影された動画と静止画の関連付けを直接行うことはできず、異なるメーカーのデジタルカメラで撮影された動画と静止画を関連付けすることもまたできない。また、複数のデジタルカメラを使用して撮影された動画や静止画を撮影日時の情報により検索し、撮影日時順に画像を表示する方法では、撮影日時でのみ検索、表示が行われるため、検索された動画や静止画が関連した画像であるかどうかは識別できず、撮影日時が近くであればまったく無関係な画像が関連付けされてしまい、検索を行った後にユーザーが再度、画像の選別を行わなければならないといった不便が生じている。そのため、複数台のデジタルカメラで同時期に撮影した動画や静止画においても１台のデジタルカメラで撮影した場合と同様に動画と静止画を関連付けでき、またその関連付けされた動画と静止画が撮影日時だけでなく、画像として関連しているもの同士を関連付けし、分類できることが可能な仕組みが求められている。
【０００６】
このような点を鑑み、本発明は１台または複数台のデジタルカメラによって同時期に撮影された動画及び静止画を関連付けする際に、動画ファイルの作成日時と記録時間から動画の各シーンの撮影日時を算出し、動画の各シーンの撮影日時から、その撮影日時近辺で撮影された静止画を画像検索し、動画の各シーンと類似度の高い静止画を見つけ、動画と静止画との関連付けを行うことで、同時期に撮影した動画と静止画の類似度による関連付け及び分類を行い、１台または複数台のデジタルカメラによって撮影された数多くの動画と静止画をユーザーが確認しやすくなる方法を提供することを目的とする。また、数多くの動画と静止画をユーザーが管理しやすく、整理しやすくなる方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
動画と静止画の画像検索方法及び管理方法における課題解決の第１の手段は、動画と静止画が撮影可能な１台または複数台のデジタルカメラによって撮影された複数の動画及び静止画を関連付けする方法において、動画と静止画を撮影可能な１台または複数台のデジタルカメラによって撮影された動画及び静止画の画像検索を行い、その結果、検索された動画と静止画を関連付けすることを特徴としたものである。
【０００８】
動画と静止画の画像検索方法及び管理方法における課題解決の第２の手段は、動画と静止画が撮影可能な１台または複数台のデジタルカメラによって撮影された複数の動画及び静止画を関連付けする方法において、動画ファイルの作成日時と動画ファイルの記録時間から動画の各フレームの撮影日時を算出し、この算出した動画の各フレームの撮影日時により、関連付けしようとする静止画の中から撮影日時の近い静止画を検索することを特徴としたものである。
【０００９】
動画と静止画の画像検索方法及び管理方法における課題解決の第３の手段は、各フレームの撮影日時を算出した動画と動画の各フレームの撮影日時により検索された静止画において、関連付けしようとする撮影日時の近い静止画と動画のフレームとの画像検索を行い、画像検索の結果を基にして類似度の高い動画のフレームと静止画を関連付けることを特徴としたものである。
【００１０】
動画と静止画の画像検索方法及び管理方法における課題解決の第４の手段は、画像検索の結果、類似度の高い動画のフレームと静止画には、関連付けのために、動画または静止画または動画と静止画の両方のヘッダ情報記録部分またはそれ相当部分に、類似度の高い動画のフレーム及び、または静止画を特定するリンク情報を記録することを特徴としたものである。
【００１１】
動画と静止画の画像検索方法及び管理方法における課題解決の第５の手段は、動画の各フレームの撮影日時により、関連付けしようとする静止画の中から撮影日時の近い静止画を検索する方法において、動画の各フレームの撮影日時から静止画を検索する際に、検索を行う動画の時間間隔（フレームの間隔）をユーザーが任意に設定することができることを特徴としたものである。
【００１２】
動画と静止画の画像検索方法及び管理方法における課題解決の第６の手段は、画像検索の結果、関連付けされた類似度の高い動画のフレームと静止画において、これら類似度の高い動画のフレームと静止画のそれぞれのサムネイルを作成し、それらが関連性を持つことを示す画像表示が可能なことを特徴としたものである。
【００１３】
動画と静止画の画像検索方法及び管理方法における課題解決の第７の手段は、動画ファイルを類似度の高い静止画が検索されたフレームで区切り、その区切りにより作成した動画ファイルの章（チャプタ−）の代表画像として画像検索された類似度の高い１枚又は複数枚の静止画を設定することが可能なことを特徴としたものである。
【発明の効果】
【００１４】
特許請求項１の動画と静止画の画像検索方法及び管理方法の効果は、動画と静止画が撮影可能な１台または複数台のデジタルカメラによって撮影された複数の動画及び静止画の画像検索を行い、それぞれに関連付けをすることで長時間録画された動画を再生しながら、多数の静止画の中から動画の各シーンに対応する静止画をユーザーが見つけ出す手間を省くことができること。また、複数のデジタルカメラによって撮影された複数の動画及び静止画を関連付けできること、メーカーの異なるカメラで撮影した動画と静止画を関連付けできることである。
【００１５】
特許請求項２の動画と静止画の画像検索方法及び管理方法の効果は、動画の各シーンの撮影日時を算出することにより、関連付けしようとする多数の静止画の中から動画の各シーンの撮影日時に近い静止画を検索することでより類似度の高い動画と静止画を関連付けすることが可能になること。また、画像検索の検索時間を短縮することができることである。
【００１６】
特許請求項３の動画と静止画の画像検索方法及び管理方法の効果は、関連付けしようとする撮影日時の近い静止画と動画のフレームとの画像検索を行うことにより、より類似度の高い動画と静止画を関連付けすることが可能になることである。また、静止画を撮影した状況、状態が動画で確認、思い出すことが可能になることである。
【００１７】
特許請求項４の動画と静止画の画像検索方法及び管理方法の効果は、関連付けのために、動画または静止画または動画と静止画の両方のヘッダ情報記録部分またはそれ相当部分に、類似度の高い動画のフレーム及び、または静止画を特定するリンク情報を記録することにより、関連付けの繰返しの際にはより短時間での画像検索が可能になること。また、関連付けられた静止画から動画の相当するシーンへのジャンプ、または動画のシーンから関連付けられた静止画へのジャンプが可能になり、ユーザーの利便性が向上することである。
【００１８】
特許請求項５の動画と静止画の画像検索方法及び管理方法の効果は、検索を行う動画の時間間隔（フレームの間隔）をユーザーが任意に設定することができることにより、より短時間で動画と静止画の関連付け、画像検索を行うことが可能となることである。
【００１９】
特許請求項６の動画と静止画の画像検索方法及び管理方法の効果は、類似度の高い動画のフレームと静止画のそれぞれのサムネイルを作成し、それらが関連性を持つことを示すことにより、ユーザーが一見して動画と静止画の関連性を認識することが可能となることである。
【００２０】
特許請求項７の動画と静止画の画像検索方法及び管理方法の効果は、動画ファイルの章（チャプタ−）の代表画像として画像検索された類似度の高い静止画を設定することにより、ユーザーが動画と静止画の関連付けを認識でき、また、長時間の動画の概要を一見して認識することが可能となることである。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の第１の実施例について説明する。
【００２２】
図１は本発明を実現するために使用する動画及び静止画が撮影可能なデジタルカメラの概略構成ブロック図を示す。デジタルカメラ１はデジタルカメラを制御するＣＰＵ２、撮像素子４で受けた信号を処理する画像処理部３、制御用プログラムや画像検索結果を保存しておく不揮発メモリ５、撮影した画像を保存しておく着脱可能なメモリユニット６、撮影結果や画像検索結果を表示する表示デバイス７から構成されている。
【００２３】
図２は本発明を実現する実施例の一つとして動画及び静止画が撮影可能な３台のデジタルカメラを使用して同時期に同じ場所において、１台のデジタルカメラで動画を撮影し、２台のデジタルカメラで静止画を撮影し、これらの動画と静止画をそれぞれ関連付けする場合を例として概略を示している。デジタルカメラ（１）８では動画を撮影し、図２における実施例では、撮影した動画９の撮影時間は１時間、動画作成日時はこの実施例では、動画を撮影開始した日時が動画ファイルの作成日時として記録されるものであるものとする。この動画の作成日時（動画ファイルの作成日時）は動画フォーマットの形式により、動画を撮影開始した日時または動画を撮影終了した日時のどちらかで記録されるが、本発明はどちらの場合においても同様に取り扱うことが可能である。デジタルカメラ（２）１０では静止画を５枚撮影し、静止画１１にはそれら撮影した日時が記録されている。また同様にデジタルカメラ（３）１２でも静止画を５枚撮影し、静止画１３にもそれら静止画を撮影した日時が記録されている。これらのデジタルカメラで撮影された動画及び静止画の各データは着脱可能なメモリユニット６に記録、保存される。これらのデータをＰＣのハードディスクドライブなどの大容量ストレージデバイスに一括して保存し、関連する動画と静止画の関連付けを行う。関連付けを行う際には、動画９に記録されている動画作成日時と記録時間から動画の各フレームの撮影日時を算出する。図３は、動画の各フレームの撮影日時を算出し、撮影日時の近い静止画を検索した結果の例を示している。この時の動画各フレームの撮影日時を算出する間隔はあらかじめユーザーが事前に設定しておいた任意の間隔、例えば１分間隔、に従い算出される。この算出した動画９の各フレームの撮影日時から、関連付けしようとする静止画１１及び静止画１３の中から撮影日時の近い静止画を検索する。撮影日時の近い静止画を検索する際には、撮影日時前後の時間で近い静止画を検索する。この検索に使用する撮影日時前後の時間間隔、例えば撮影日時の前後５分、はユーザーが事前に設定しておくものとする。動画９の各フレームの撮影日時を基に検索された静止画は、次にその撮影日時の近い動画９のフレーム画像１４を基に画像検索が行われる。この動画１４と静止画１１、１３の画像検索により、ユーザーが事前に設定しておいた類似度以上の類似度の場合に、動画と静止画が関連付けされる。関連付けられた動画のフレーム画像１４と静止画１１、１３には、相互に関連付けされていることを示す情報及び該当する動画と静止画のリンク情報が動画及び静止画のヘッダ情報記録部分またはそれに相当する部分に書き込まれる。これにより関連付けの繰返しの際にはより短時間での画像検索が可能になり、また、関連付けられた静止画から動画の相当するシーンへのジャンプ、または動画のシーンから関連付けられた静止画へのジャンプが可能になる。図４は、動画のフレーム画像１４と静止画１１、１３の画像検索を行った結果、事前に設定してある類似度を満たす静止画が検索された例を示している。図４中の×印のついた静止画は事前に設定しておいた類似度を画像検索の結果、満足していないことを示している。図５は、前���一連の動画と静止画の関連付け作業を行った結果の表示例である。動画ファイルは、帯状に表示され、動画を撮影したデジタルカメラのＩＤと動画ファイル作成日時と記録時間を表示し、静止画との画像検索の結果、類似度の高い静止画が検索された動画のフレームについてのサムネイル画像１５を同時に表示している。動画ファイルとの画像検索により類似度が高く、動画と関連付けされた静止画は、その撮影日時の情報とその静止画のサムネイル画像１６がそれらの静止画を撮影したデジタルカメラごとに表示され、帯状に表示されている動画ファイルに対応している時間の位置に表示される。ユーザーの設定により、これら関連付けされた静止画のサムネイル画像１６を代表画像として、動画ファイルを章（チャプタ−）に区切り、新たな動画ファイルとして保存することができる。前記のように代表画像を静止画のサムネイル画像１６で表示し、章ごとに長時間の動画ファイルを区切ることができることで、長時間の動画ファイルをユーザーが確認することが容易になる効果がある。
【００２４】
図６は本発明を実現する制御及びユーザーが設定、操作する際の一連の流れを図示した例である。
【００２５】
Ｓｔｅｐ１では、動画及び静止画が撮影可能な複数台のデジタルカメラを使用して同時期に近い場所、場面において撮影した動画と静止画を撮影し、それぞれのデジタルカメラから着脱可能なメモリユニット６に記録、保存された動画と静止画のデータをＰＣのハードディスクドライブなどの大容量ストレージデバイスに一括して保存し、関連する動画と静止画の関連付けを行おうとしている状態である。次に動画９に記録されている動画作成日時と記録時間から動画の各フレームの撮影日時を算出するために必要となる動画各フレームの撮影日時を算出する間隔をユーザーが設定する  Ｓｔｅｐ２。次に算出された動画の各フレームの撮影日時と関連付けしようとする静止画１１及び静止画１３の中から撮影日時の近い静止画を検索するために必要となる撮影日時前後の検索時間間隔をユーザーが設定する  Ｓｔｅｐ３。次にユーザーは動画と静止画を関連付けする際に必要な画像の類似度を設定する  Ｓｔｅｐ４。この類似度に基づき、撮影日時で検索された動画の各シーンと静止画の画像検索が行われ、設定されている類似度以上であれば、関連した画像として関連付けを行う。これらＳｔｅｐ２、Ｓｔｅｐ３及びＳｔｅｐ４の順序はどの順序で行われてもよく、または同時に設定できるものでも良い。これらの動画と静止画を関連付けするために必要なユーザー設定が終了すると、動画９の各フレームの撮影日時を基に関連付けしようとする静止画の検索を行う  Ｓｔｅｐ５。動画の撮影日時による検索が行われた後、この段階で検索された静止画は、Ｓｔｅｐ４で設定された類似度を閾値として、画像検索が行われる  Ｓｔｅｐ６。この画像検索により検索された静止画はその動画のシーンに関連付けされる。この段階で、関連付けられた動画のフレーム画像１４と静止画１１、１３には、相互に関連付けされていることを示す情報及び該当する動画と静止画のリンク情報が動画及び静止画のヘッダ情報記録部分またはそれに相当する部分に書き込まれる  Ｓｔｅｐ７。検索され、関連付けされた結果を保存する  Ｓｔｅｐ８  場合には、次の段階で、これら関連付けされた静止画のサムネイル画像１６を代表画像として、動画ファイルを章（チャプタ−）に区切り、新たな動画ファイルとして保存することができる  Ｓｔｅｐ９。
【００２６】
以上のプロセスを経て、動画と静止画の画像検索及び関連付け、保存の一連のプロセスは終了する。
【図面の簡単な説明】
【００２７】
【図１】本発明で使用する動画及び静止画を撮影するデジタルカメラの一構成例の概念図である。
【図２】本発明の一実施例による概略図である。
【図３】本発明の一実施例による動画の各フレームの撮影日時を算出し、撮影日時の近い静止画を検索した結果の例を示している概略図である。
【図４】本発明の一実施例による動画のフレーム画像と静止画の画像検索を行った結果を示した概略図である。
【図５】本発明の一実施例による一連の動画と静止画の関連付け作業を行った結果の表示例である。
【図６】本発明の一実施例の制御及びユーザーが設定、操作する際の一連の流れ図である。
【符号の説明】
【００２８】
１  デジタルカメラ
２  ＣＰＵ
３  画像処理部
４  撮像素子
５  不揮発メモリ
６  メモリユニット
７  表示デバイス
８  動画撮影したデジタルカメラ（１）
９  動画ファイル
１０  静止画撮影したデジタルカメラ（２）
１１  静止画ファイル（１）
１２  静止画撮影したデジタルカメラ（３）
１３  静止画ファイル（２）
１４  動画のフレーム画像
１５  動画各シーンのサムネイル
１６  静止画のサムネイル
【図１】
2006135394.tif 000003
【図２】
2006135394.tif 000004
【図３】
2006135394.tif 000005
【図４】
2006135394.tif 000006
【図５】
2006135394.tif 000007
【図６】
2006135394.tif 000008