(57)【要約】【課題】  動画像から所望の静止画を迅速に検索できるようにする。【解決手段】  ユーザは動画像から静止画を検索する検索条件をシステム制御部（１１２）に設定する。システム制御部（１１２）は、記録媒体（１１１）に記録された動画像を再生し、ユーザに被写体を選択させる。システム制御部（１１２）は、ユーザが選択したフレームを基準に、ユーザが選択した被写体と同一の被写体が存在するフレームとの間で動き量を算出する。検索範囲決定部（１１５）は、この動き量に従い、動画像から静止画を抽出する画像検索範囲を決定する。画像検索部（１１６）は、検索範囲決定部（１１５）で決定された画像検索範囲内で、ユーザにより選択される被写体と同じ被写体であって検索条件に合う被写体を含むフレームを検索する。【選択図】  図２
2014134898.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなる動画像から静止画を検索する検索条件を設定する設定手段と、
前記動画像に含まれる被写体を選択する選択手段と、
前記選択手段で前記被写体を選択したフレームを中心に、前記被写体の状態に応じて前記動画像の画像検索範囲を決定する検索範囲決定手段と、
前記選択手段により選択される被写体と同じ被写体であって前記検索条件に合う被写体を含むフレームを前記画像検索範囲内で検索する検索手段
とを具備することを特徴とする画像検索装置。
【請求項２】
前記被写体の状態が前記被写体のフレーム間での動き量であることを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記検索範囲決定手段は、前記動き量が多い場合に前記画像検索範囲を狭く決定することを特徴とする請求項２に記載の画像検索装置。
【請求項４】
前記検索範囲決定手段は、前記動き量が少ない場合に前記画像検索範囲を広く決定することを特徴とする請求項２に記載の画像検索装置。
【請求項５】
前記被写体の状態が前記被写体のフレーム内での大きさの変化であることを特徴とする請求項１に記載の画像検索装置。
【請求項６】
前記検索範囲決定手段は、前記選択手段により選択される被写体と同じ被写体がフレーム内に検出され続けている期間を前記画像検索範囲として決定することを特徴とする請求項１に記載の画像検索装置。
【請求項７】
前記検索範囲決定手段は、同じシーン内で前記画像検索範囲を決定することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から所望の静止画像を検索する画像検索装置に関する。
【背景技術】
【０００２】
撮影した動画像からユーザが任意に選んだフレームを静止画像として保存できる機能を搭載したデジタルカメラが、登場している。
【０００３】
動画像のユーザが選択したフレームの前後には、ユーザが選択したフレームと似ているフレームが複数枚存在しているのが一般的である。従って、ユーザが選択したフレームよりさらに良い条件（被写体の大きさ、ピント、色合い等）のフレームが存在する可能性がある。このような、更に良い条件のフレームを見つけるためには、動画像を１フレームずつ順に再生して、確認する必要があるが、このような目視確認では、複数のフレームからベストショットを選択することは困難である。
【０００４】
この問題点を回避するために、画像検索技術を利用することが考えられる。特許文献１には、検索元画像を１枚指定し、検索元画像の特徴部分やその画像の付随情報を検索条件として設定し、当該検索条件に一致する静止画像を検索する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８１８２６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術は、検索条件の設定自体は容易になるものの、検索効率の改善、すなわち、検索時間の短縮が求められる。
【０００７】
本発明は、動画像から所望の静止画をより効率良く検索できる画像検索装置を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像検索装置は、複数のフレームからなる動画像から静止画を検索する検索条件を設定する設定手段と、前記動画像に含まれる被写体を選択する選択手段と、前記選択手段で前記被写体を選択したフレームを中心に、前記被写体の状態に応じて前記動画像の画像検索範囲を決定する検索範囲決定手段と、前記選択手段により選択される被写体と同じ被写体であって前記検索条件に合う被写体を含むフレームを前記画像検索範囲内で検索する検索手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像からユーザが選択した被写体の状態に応じて画像検索範囲を決定し、その画像検索範囲内で検索条件に合うフレームを検索するので、ユーザが所望するフレームを効率良く抽出できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の動作フローチャートである。
【図３】説明例１の模式図である。
【図４】説明例２の模式図である。
【図５】説明例３の模式図である。
【図６】説明例４の模式図である。
【図７】説明例５の模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明に係る画像検索装置の一実施例を適用したデジタルカメラの概略構成ブロック図を示す。本実施例では、フレーム検索範囲を被写体の動き量に応じて変更する。
【００１３】
図１において、１０１はフォーカスレンズを含む撮影レンズである。１０２は絞り機能を備えるシャッタである。１０３は光学像を電気信号に変換するＣＣＤ撮像素子やＣＭＯＳ撮像素子等で構成される撮像部である。１０４はＡ／Ｄ変換器であり、アナログ画像信号をデジタル信号に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【００１４】
１０８は画像処理部であり、Ａ／Ｄ変換器１０４からのデータ、又は、メモリ制御部１０７からのデータに対し所定の画素補間と縮小といったリサイズ処理及び色変換処理を行う。また、画像処理部１０８では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１１２が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理及びＡＥ（自動露出）処理、が行われる。画像処理部１０８は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１５】
Ａ／Ｄ変換器１０４からの出力データは、画像処理部１０８及びメモリ制御部１０７を介して、又はメモリ制御部１０７を介して、メモリ１０９に書き込まれる。メモリ１０９は、撮像部１０３によって得られＡ／Ｄ変換器１０４によりデジタルデータに変換された画像データ、及び、表示部１０６に表示するための画像データを格納する。メモリ１０９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１６】
また、メモリ１０９は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０５は、メモリ１０９に格納されている表示用画像データをアナログ信号に変換して表示部１０６に供給する。こうして、メモリ１０９に書き込まれた表示用画像データはＤ／Ａ変換器１０５を介して表示部１０６に供給され、表示部１０６により画像として表示される。表示部１０６は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０５からのアナログ信号に応じた表示を行う。
【００１７】
不揮発性メモリ１１８は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１８には、システム制御部１１２の動作用の定数及びプログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムである。
【００１８】
１１２はシステム制御部であり、デジタルカメラ全体を制御する。不揮発性メモリ１１８に記録されたプログラムを実行することで、後述する各処理を実現する。１１９はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１１９には、システム制御部１１２の動作用の定数及び変数が一時的に書き込まれ、並びに不揮発性メモリ１１８から読み出したプログラム等が展開される。また、システム制御部１１２は、メモリ１０９、Ｄ／Ａ変換器１０５及び表示部１０６等を制御することにより表示制御も行う。
【００１９】
１１３は操作部であり、システム制御部１１２に各種の動作指示を入力するための操作手段である。操作部１１３はシャッタボタン、電源ボタン、モード切り替えボタン（動作モードを静止画像記録モード、動画像記録モード、再生モード等のいずれかに切り替えるボタン）及びタッチパネルなどからなる。操作部１１３は、ユーザがデジタルカメラの操作に使用される。
【００２０】
１１７は圧縮伸長部であり、動画像データを記録再生のために圧縮伸長する手段であり、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式を使用する。動画像を再生する場合、メモリ１０９または記録媒体１１１に格納されている圧縮済みの動画像データを圧縮伸長部１１７で圧縮前の動画像データに伸長し、表示部１０６で画像として表示する。動画像データは一定レートの複数のフレームからなる。
【００２１】
被写体認識部１１４、検索範囲決定部１１５及び画像検索部１１６は、動画像の再生中または一時停止状態で利用される。被写体認識部１１４は、ユーザが操作部１１３により選択した被写体の形状を認識する。認識方法として例えば、ユーザが選択した座標点から上下左右に色情報が変化する座標点を４点検出し、検出された座標点からユーザが選択した被写体の形状を認識する。検索範囲決定部１１５は、被写体認識部１１４により認識された被写体の特徴を参照し、画像を検索する範囲を決定する。画像検索部１１６は、検索範囲決定部１１５により決定された検索範囲内で、被写体認識部１１４で認識された被写体が検索条件を満たしているフレームを検索する。
【００２２】
インターフェース（Ｉ／Ｆ）１１０は、メモリカードやハードディスク等の記録媒体１１１とのインターフェースである。記録媒体１１１は、メモリカード等の記録媒体であり、半導体メモリ又は磁気ディスク等から構成される。
【００２３】
図２は、本実施例の全体動作を示すフローチャートである。図２を参照して、本実施例の処理手順を説明する。なお、ステップＳ２０５で行う検索範囲の変更処理は、シーンをまたいで変化させることができるものとする。シーンとは、１回の記録開始から記録終了までを１シーンとする。
【００２４】
ステップＳ２０１で、ユーザは、フレーム検索条件を操作部１１３によりシステム制御部１１２に入力する。システム制御部１１２は、ユーザが設定したフレーム検索条件をメモリ１０９に保持する。検索条件には、例えば合焦度（フォーカスが合っている程度）、色合い、被写体の大きさ又は被写体の位置等が挙げられる。ここでは、被写体のフォーカスが最も合っていることをフレーム検索条件とする。
【００２５】
ステップＳ２０２で、撮影済みの動画像を再生する。具体的には、ユーザは、撮影済みの動画像データを操作部１１３により選択し、再生をシステム制御部１１２に指示する。システム制御部１１２は、ユーザが選択した動画像の圧縮済み動画像データを記録媒体１１１から圧縮伸長部１１７に読み出して伸長させ、表示部１０６に再生表示する。
【００２６】
ステップＳ２０３で、システム制御部１１２は、ユーザが動画像内の被写体を選択するのを待機する。ユーザが動画像内の何れかの被写体を選択すると、システム制御部１１２は、ステップＳ２０４に進む。
【００２７】
図３（ａ）は、ユーザが動画像データの被写体を選択する様子を示す模式図である。フレーム３０１、３０２、３０３、３０４、３０５は動画像を構成する。フレーム３０１からフレーム３０５に向かって時間が流れているとする。ユーザは動画像再生中に気にったフレーム３０３を見つけたら、フレーム３０３内の複数の被写体から検索対象とする被写体を選択する。
【００２８】
ステップＳ２０４で、システム制御部１１２は、ユーザが選択した被写体の形状を被写体認識部１１４に指示して認識させる。被写体認識部１１４は、認識した被写体の特徴をシステム制御部１１２に通知する。
【００２９】
ステップＳ２０５で、システム制御部１１２は、選択された被写体の特徴に従い、検索範囲決定部１１５に画像検索範囲を決定させる。本実施例では、検索範囲決定部１１５は、ステップＳ２０４で認識された被写体の動き量に応じて画像検索範囲を変更する。画像検索範囲は、例えば、図３（ｂ）に示すように、ユーザが選択したフレーム３０３を中心として、時間的に前方のｎ１フレームと後方のｎ２フレームで指定されるとする。被写体の動き量は、フレーム間で被写体が移動した量を意味する。例えば、システム制御部１１２は、被写体認識部１１４で認識される被写体のフレーム間での動きベクトルを算出し、フレーム間での被写体移動量を決定する。なお、フレーム間の移動距離と時間から被写体の移動速度を算出できる。
【００３０】
システム制御部１１２は、ユーザが選択したフレーム３０３を基準に、ユーザが選択した被写体３１１と同一の被写体が存在するフレームとの間で動きベクトルを算出する。図３（ｂ）に示す例では、システム制御部１１２は、フレーム３０３の被写体３１１に対して、フレーム３０２、３０４、３０５に写っている被写体３１０、３１２、３１３の動きベクトルを算出する。
【００３１】
システム制御部１１２は、被写体３１０、３１１、３１２、３１３の動きベクトルから被写体の移動速度を算出し、検索範囲決定部１１５に通知する。検索範囲決定部１１５は、システム制御部１１２からの移動速度情報に従い画像検索範囲を決定する。具体的には、検索範囲決定部１１５は、被写体移動速度が速い程、画像検索範囲を狭く決定し、被写体移動速度が遅い程、画像検索範囲を広く決定する。被写体の動き量が多いと、フレーム間で構図の変化が大きく、被写体の動き量が少ないとフレーム間で構図の変化が小さいことが考えられるからである。
【００３２】
図３（ｂ）は、ユーザが選択した被写体の動き量が多い例を示す。図３（ｂ）に示す例に対し、本実施例では、ユーザが選択した被写体３１１の動き量が多い場合に、画像検索範囲を規定するｎ１，ｎ２を小さくする。極端な例として、ｎ１とｎ２をともに１に決定する。これにより、ユーザが選択した被写体３１１の構図と大きく異なるフレーム３０５が画像検索範囲に含まれる可能性が低くなる。
【００３３】
図４は、ユーザが選択した被写体の動き量が少ない例を示す。図４に示す例では、ユーザが選択した被写体４１２に対して、被写体４１０、４１１、４１３、４１４の動き量に変化が少ない。そこで、この例では、検索範囲決定部１１５は、画像検索範囲を示すフレーム数ｎ１，ｎ２を大きく決定する。これにより、ユーザが選択した被写体４１２の構図と同じようなフレームが画像検索範囲に含まれる可能性が高くなる。
【００３４】
ステップＳ２０６で、画像検索部１１６が、ステップＳ２０４で認識された被写体がステップＳ２０１で設定した検索条件に合うフレームを、ステップＳ２０５で決定した画像検索範囲内で検索する。即ち、システム制御部１１２は、ステップＳ２０１，Ｓ２０４，Ｓ２０５で設定又は決定した情報をもとに、画像検索部１１６を制御して検索条件に一致するフレームを検索させる。
【００３５】
図３（ｂ）に示す例では、画像検索部１１６は、ステップＳ２０５で決定した画像検索範囲であるフレーム３０２，３０３，３０４の中から、ステップＳ２０１で設定した検索条件（被写体のフォーカスが最も合っているフレーム）を検索する。例えば、被写体３１０が最もフォーカスの合っている場合は、検索結果として、フレーム３０２が検出される。画像検索部１１６は、検索条件に一致したフレーム又は検索条件に最も近いフレームをシステム制御部１１２に通知する。
【００３６】
ステップＳ２０７で、システム制御部１１２は、ステップＳ２０６での検索結果であるフレームの画像を表示部１０６に表示する。即ち、システム制御部１１２は、画像検索部１１６から検索結果として通知されたフレームの画像データを記録媒体１１１から読み出し、その画像を表示部１０６に表示する。図３（ｂ）では、フレーム３０２が表示部１０６で表示される。
【００３７】
本実施例では、ユーザが選択した被写体の動き量に応じて画像検索範囲を変更するので、ユーザが選択したフレームより好ましいフレームを発見する確率を高めつつ、効率的な検索を実現できる。ユーザは気軽に検索の指標又は基準となる被写体を選択すれば良くなり、検索作業の容易化につながる。
【００３８】
被写体認識部１１４、検索範囲決定部１１５及び画像検索部１１６をシステム制御部１１２とは別の構成要素として図示しているが、これらの手段１１４，１１５，１１６をシステム制御部１１２の機能として実装しても良い。
【実施例２】
【００３９】
ユーザが選択した被写体の大きさの変化に応じて画像検索範囲を変更するようにした変更実施例を説明する。
【００４０】
このために、図２のステップＳ２０５を次のように変更する。即ち、ユーザが選択した被写体の大きさが、時系列にみて後方に向かって大きくなるような動画像の場合、検索範囲決定部１１５は、後方の検索範囲をより広く決定する。逆に前方に向かって大きくなるような動画像の場合、検索範囲決定部１１５は、前方の検索範囲をより広く決定する。
【００４１】
図５は、ユーザが選択した被写体が時間的に後方に向かって大きくなる例の模式図を示す。フレーム５０１，５０２，５０３，５０４，５０５は動画像を構成する。フレーム５０１からフレーム５０５に向かって時間が流れているとする。
【００４２】
ステップＳ２０５で、システム制御部１１２は、ユーザが選択した被写体５１２の形状を被写体認識部１１４に認識させる。被写体認識部１１４は、図５に示す例では、フレーム５０３の前後の所定範囲内で、被写体５１２と類似する被写体とその形状を認識する。図５では、被写体認識部１１４は、フレーム５０１，５０２，５０４，５０５で被写体５１２に類似する被写体５１０，５１１，５１３，５１４を検出する。
【００４３】
次に、システム制御部１１２は、ユーザが選択した被写体５１２の形状を基準に、被写体５１０，５１１，５１３，５１４の形状と大きさを互いに比較する。そして、検索範囲決定部１１５が、システム制御部１１２による形状と大きさの比較の結果に従い画像検索範囲を決定する。
【００４４】
例えば、検索範囲決定部１１５は、フレーム５０３を基準に、時間的に後方に向かって被写体５１２に対する被写体５１３，５１４の相対的大きさを算出する。同様に、検索範囲決定部１１５は、フレーム５０３を基準に時間的に前方に向かって被写体５１２に対する被写体５１１，５１０の相対的大きさを算出する。そして、検索範囲決定部１１５は、被写体５１２より大きな被写体が多く含まれているのが、ユーザが選択したフレーム５０３より前方なのか後方なのかを判断する。
【００４５】
図５に示す例では、フレーム５０３より時間的に後方に向かって被写体が大きくなっているので、検索範囲決定部１１５は、画像検索範囲の後方のフレーム数ｎ２をより大きく決定する。これにより、ユーザが選択した被写体５１２がより大きく写っているフレームをより多く画像検索範囲に含めることができる。
【００４６】
図６は、ユーザが選択した被写体が時間的に後方に向かって小さくなる例の模式図を示す。図６に示す例では、ユーザが選択した被写体６１２に対して、被写体６１３，６１４と時間的に後方に向かっていくほど被写体の大きさが小さくなる。逆に被写体６１１，６１０と時間的に前方に向かっていくほど、被写体が大きくなる。このような場合、検索範囲決定部１１５は、画像検索範囲の前方のフレーム数ｎ１をより大きく決定する。これにより、ユーザが選択した被写体６１２がより大きく写っているフレームをより多く検索範囲に含めることができる。
【００４７】
本実施例では、ユーザが選択した被写体の大きさに応じて画像検索範囲を変更するので、ユーザが選択した被写体をより大きなサイズで含む同フレームを発見でき、効率的な検索を実現できる。ユーザは気軽に検索の指標又は基準となる被写体を選択すれば良くなり、検索作業の容易化につながる。
【実施例３】
【００４８】
ユーザが選択した被写体が検出され続けている間を画像検索範囲とする変更実施例を説明する。このために、図２のステップＳ２０５を、ユーザが選択した被写体がフレーム内に検出され続けている期間を画像検索範囲に決定するように変更する。
【００４９】
図７は、本実施例の説明例を示す模式図である。フレーム７０１，７０２，７０３，７０４が動画像を構成する。フレーム７０１からフレーム７０４に向かって時間が流れているとする。
【００５０】
ステップＳ２０５で、システム制御部１１２は、ユーザが選択した被写体７１２と同じ被写体を、時間的に前方と後方に向かい同被写体が認識されなくなるまで被写体認識部１１４に認識させる。図７に示す例では、フレーム７０３より時間的に前方にあるフレーム７０２でユーザが選択した被写体７１２と同一の被写体７１１が検出される。しかし、前方にあるフレーム７０１と後方にあるフレーム７０４では、被写体７１２と同一の被写体は検出されない。
【００５１】
システム制御部１１２は被写体認識部１１４の認識結果を検索範囲決定部１１５に転送し、検索範囲決定部１１５は、ユーザが選択した被写体７１２と同じ被写体が検出され続けている範囲を画像検索範囲として決定する。図７に示す例では、フレーム７０３より前方の、画像検索範囲を示すフレーム数ｎ１は１となり、結局、フレーム７０２のみを画像検索範囲に含めることになる。他方、フレーム７０３より時間的に後方の、画像検索範囲を示すフレーム数ｎ２は０となる。なぜなら、フレーム７０３の直後のフレーム７０４において、ユーザが選択した被写体７１２と同一の被写体が検出されなかったからである。
【００５２】
本実施例では、ユーザが選択した被写体と同じ被写体を含む範囲を画像検索範囲として決定するので、ユーザが選択した被写体を含むフレーム中から好ましいフレームを検索することになり、効率的な検索を実現できる。ユーザは気軽に検索の指標又は基準となる被写体を選択すれば良くなり、検索作業の容易化につながる。
【実施例４】
【００５３】
上述した各実施例１〜３では、シーンを越えて画像検索範囲を決定するとしたが、１シーン内に限定しても良い。例えば、プレイリストなどで編集した１ファイルを１シーンとしてもよい。実施例１〜３で、時間的に前方での画像検索範囲をシーン開始フレームに制限し、時間的に後方での画像検索範囲をシーン終了フレームに制限することになる。
【００５４】
このように画像検索範囲を同一シーン内に限定することで、検索を効率化できる。
【図１】
2014134898.tif 000003
【図２】
2014134898.tif 000004
【図３】
2014134898.tif 000005
【図４】
2014134898.tif 000006
【図５】
2014134898.tif 000007
【図６】
2014134898.tif 000008
【図７】
2014134898.tif 000009