(57)【要約】【課題】例えば、家庭用ビデオカメラの一般的なユーザが撮影した動画像などからも重要なシーンを検出する。【解決手段】一般に、動画像においては撮影者の注目する被写体がズームインされ、その後にズームアウトされるカメラワークが多い。そこで、図１に示す一連の動画像のように、被写体（犬）が徐々にズームインされて、この後、ズームアウトされた場合、最も拡大された状態のフレームＦ４が重要なシーンとして検出されるようになされている。本発明は、例えば、ビデオカメラで撮影された動画像のダイジェスト再生画像を作成する場合、物体認識システムにおける教師画像を作成する場合などに適用できる。【選択図】図１
2010226557.tif 000002
【特許請求の範囲】
【請求項１】
動画像の代表フレームを検出する画像処理装置において、
入力された前記動画像を保持する保持手段と、
入力された前記動画像のズームのピークを検出する検出手段と、
保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出手段と
を含む画像処理装置。
【請求項２】
入力された前記動画像のオプティカルフローを演算し、演算した前記オプティカルフローに基づいて各フレームのズームの状態を示すスケールパラメータを算出する演算手段をさらに含み、
前記検出手段は、前記スケールパラメータの極値を、入力された前記動画像のズームのピークとして検出する
請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出し、ダイジェスト画像として出力する
請求項１または２に記載の画像処理装置。
【請求項４】
前記抽出手段は、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームと、前記フレームの前後の所定数のフレームを抽出し、物体認識における教師画像候補として出力する
請求項１または２に記載の画像処理装置。
【請求項５】
動画像の代表フレームを検出する画像処理装置の画像処理方法において、
入力された前記動画像を保持する保持ステップと、
入力された前記動画像のズームのピークを検出する検出ステップと、
保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出ステップと
を含む画像処理方法。
【請求項６】
動画像の代表フレームを検出する画像処理装置の制御用のプログラムであって、
入力された前記動画像を保持する保持ステップと、
入力された前記動画像のズームのピークを検出する検出ステップと、
保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出ステップと
を含む処理を画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、動画像を構成する複数のフレームのうちで注目すべきフレームを自動的に検出したり、動画像内で注目すべき物体を自動的に検出したりする場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
動画像の全体を視聴することなく、部分的に視聴することによって、動画像のおおまかな内容を把握させる方法としてダイジェスト再生と称する技術がある。ダイジェスト再生では、動画像の全体から、重要とみなされるシーンを検出し、重要とみなされるシーンのみを、順に再生していくものである。
【０００３】
動画像の全体から、重要とみなされるシーンを検出する方法としては、いわゆるシーンチェンジ検出し、シーンチェンジ後のフレームを重要なシーンとして検出する方法、HMM（隠れマルコフモデル）を用いた時系列学習器によって検出された動画シーケンス（フレーム）をハイライト、すなわち重要なシーンとして検出する方法などが存在する（例えば、特許文献１参照）。
【０００４】
さらに、スポーツ中継のテレビジョン番組を録画した動画像の場合、スロー再生されたフレームや、リプレーされたフレームなどを重要なシーンとして検出する方法もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、シーンチェンジに基づいて重要なシーンを検出する方法では、例えば、重要な被写体がゆっくりとズームインされるような場合、これを重要なシーンとして検出することができない。
【０００７】
また、上述したいずれの方法も、例えばテレビジョン番組のように、映像の撮影や編集を職業とする専門家によって作成された動画像に適用した場合には有効である。しかしながら、例えば、家庭用ビデオカメラの一般的なユーザが撮影した動画像などに対しては、必ずしも有効ではなく、重要なシーンを検出できないことがある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、例えば、家庭用ビデオカメラの一般的なユーザが撮影した動画像などからも重要なシーンを検出できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面である画像処理装置は、動画像の代表フレームを検出する画像処理装置において、入力された前記動画像を保持する保持手段と、入力された前記動画像のズームのピークを検出する検出手段と、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出手段とを含む。
【００１０】
本発明の一側面である画像処理装置は、入力された前記動画像のオプティカルフローを演算し、演算した前記オプティカルフローに基づいて各フレームのズームの状態を示すスケールパラメータを算出する演算手段をさらに含むことができ、前記検出手段は、前記スケールパラメータの極値を、入力された前記動画像のズームのピークとして検出するようにすることができる。
【００１１】
前記抽出手段は、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出し、ダイジェスト画像として出力するようにすることができる。
【００１２】
前記抽出手段は、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームと、前記フレームの前後の所定数のフレームを抽出し、物体認識における教師画像候補として出力するようにすることができる。
【００１３】
本発明の一側面である画像処理方法は、動画像の代表フレームを検出する画像処理装置の画像処理方法において、入力された前記動画像を保持する保持ステップと、入力された前記動画像のズームのピークを検出する検出ステップと、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出ステップとを含む。
【００１４】
本発明の一側面であるプログラムは、動画像の代表フレームを検出する画像処理装置の制御用のプログラムであって、入力された前記動画像を保持する保持ステップと、入力された前記動画像のズームのピークを検出する検出ステップと、保持されている動画像を構成する複数のフレームのうち、検出された前記ピークに対応する前記代表フレームを抽出する抽出ステップとを含む処理を画像処理装置のコンピュータに実行させる。
【００１５】
本発明の一側面においては、入力された動画像が保持され、入力された動画像のズームのピークが検出される。さらに、保持されている動画像を構成する複数のフレームのうち、検出されたピークに対応する代表フレームが抽出される。
【発明の効果】
【００１６】
本発明の一側面によれば、動画像から重要とみなされるシーンを検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の原理を説明するための図である。
【図２】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図３】オプティカルフローを説明するための図である。
【図４】スケールパラメータのピークを説明する図である。
【図５】ダイジェスト再生画像作成処理を説明するフローチャートである。
【図６】教師画像候補作成処理を説明するフローチャートである。
【図７】汎用コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
【００１９】
１．第１の実施の形態
【００２０】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
本発明の一実施の形態である画像処理装置は、動画像から重要とみなすことができるシーンを検出するものである。一般に、動画像においては撮影者の注目する被写体がズームインされ、その後にズームアウトされるカメラワークが多い。そこで、当該画像処理装置では、撮影者の注目する被写体が大写しされているフレームが重要なシーンとして検出されるようになされている。
【００２１】
すなわち、図１に示す一連の動画像のように、被写体（犬）が徐々にズームインされて、この後、ズームアウトされた場合、最も拡大された状態のフレームＦ４が重要なシーンとして検出されるようになされている。
【００２２】
図２は、本発明の一実施の形態である画像処理装置の構成例を示すブロック図である。
【００２３】
この画像処理装置１０は、動画像取得部１１、保持部１２、オプティカルフロー演算部１３、ピーク検出部１４、およびフレーム抽出部１５から構成される。
【００２４】
動画像取得部１１は、画像処理装置１０に接続された外部装置（例えば、ビデオカメラ、ビデオレコーダなど。いずれも不図示）から出力される動画像を取得して保持部１２およびオプティカルフロー検出部１３に出力する。
【００２５】
保持部１２は、動画像取得部１１から入力される動画像を保持するとともに、保持した動画像のフレームのうち、後段のフレーム抽出部１５からの要求に応じたフレームをフレーム抽出部１５に供給する。
【００２６】
オプティカルフロー演算部１３は、オプティカルフローを演算し、演算したオプティカルフローから、動画像におけるズームインおよびズームアウトの変化を示すスケールパラメータｓを算出してピーク検出部１４に出力する。
【００２７】
ここで、オプティカルフローとは、動画像のフレーム間において、被写体の同一の点を示す画素がどのように移動したか、すなわち、被写体上の点の動きベクトルに相当する。
【００２８】
フレーム間のオプティカルフローの演算（動きベクトルの演算）には、次式（１）に示す勾配法とも称されるLucas-Kanadeのオプティカルフロー計算式を適用できることが広く知られている。
【００２９】
【数１】
2010226557.tif 000003
（１）
【００３０】
なお、Lucas-Kanadeのオプティカルフロー計算式は、文献「“An Iterative Image Registration Technique with an Application to Stereo Vision”Bruce D. Lucas & Takeo Kanade, 7th International Joint Conference on Artificial Intelligence (IJCAI),1981, pp.674-679」に記載された公知技術である。ただし、オプティカルフローの演算は、上述した式（１）以外を用いるようにしてもよい。
【００３１】
例えば、図１に示された動画像からオプティカルフローを演算すると、その方向が、図３に示すように、ズームインの期間では被写体（犬）の中心に向かい、ズームアウトの期間では被写体（犬）の中心から外側に向かう。
【００３２】
演算したオプティカルフローからズームの変化（大きさ）を計算するには、オプティカルフローを用いて、フレーム間の対応点のペア(x,y)と(x'，y')から、アフィン変換行列（または射影変換行列）を求めればよい。
【００３３】
一般に、アフィン行列は次式（２）で表記される。
【００３４】
【数２】
2010226557.tif 000004
（２）
【００３５】
フレーム間の対応点のペアに回転や並進成分がなく、ズームイン（またはアウト）だけをしている場合、ズームの変化（大きさ）大きさは、次式（３）に示すようにスケールパラメータｓとして現れる。
【００３６】
【数３】
2010226557.tif 000005
（３）
【００３７】
このスケールパラメータｓがピーク検出部１４に出力される。
【００３８】
図２に戻る。ピーク検出部１４は、図４に示すように、オプティカルフロー演算部１３から入力されるスケールパラメータｓの極値（以下、ズームのピークとも称する）を検出し、検出結果をフレーム抽出部１５に通知する。
【００３９】
フレーム抽出部１５は、ピーク検出部１４からの検出結果に基づき、スケールパラメータｓの極値に対応するフレームを保持部１２から取得して後段に出力する。
【００４０】
［動作説明］
次に、画像処理装置１０の動作について説明する。
【００４１】
図５は、画像処理装置１０による、入力された動画像に対応するダイジェスト再生画像作成処理を説明するフローチャートである。このダイジェスト再生画像作成処理では、動画像を構成するフレームのうち、重要とみなされるフレームがダイジェスト再生画像として出力される。
【００４２】
ステップＳ１において、動画像取得部１１は、画像処理装置１０に接続された外部装置から入力される動画像を取得して保持部１２およびオプティカルフロー検出部１３に供給する。保持部１２は、動画像取得部１１から入力される動画像を保持する。
【００４３】
ステップＳ２において、オプティカルフロー演算部１３は、動画像取得部１１から供給される動画像のオプティカルフローを演算し、演算したオプティカルフローからスケールパラメータｓを算出してピーク検出部１４に出力する。ピーク検出部１４は、順次入力されるスケールパラメータｓを保持する。
【００４４】
ステップＳ３において、動画像取得部１１は、外部装置からの動画像の入力が終了したか否かを判定し、外部装置からの動画像の入力が終了するまで、処理をステップＳ１に戻して、保持部１２およびオプティカルフロー検出部１３に対して動画像の供給を継続する。
【００４５】
ステップ３において、外部装置からの動画像の入力が終了したと判定された場合、処理はステップＳ４に進められる。ステップＳ４において、ピーク検出部１４は、オプティカルフロー演算部１３から入力されるスケールパラメータｓの極値を検出し、検出結果をフレーム抽出部１５に通知する。
【００４６】
ステップＳ５において、フレーム抽出部１５は、ピーク検出部１４からの検出結果に基づき、スケールパラメータｓの極値に対応するフレームを保持部１２から取得し、ダイジェスト再生画像として後段に出力する。以上で、ダイジェスト再生画像作成処理は終了される。
【００４７】
以上説明したダイジェスト再生画像作成処理によれば、撮影者の注目した被写体が大写しとなった、重要であるとみなすことができるフレームを、ダイジェスト再生画像として出力することができる。
【００４８】
なお、上述したダイジェスト再生画像作成処理では、保持部１２により動画像の全体を保持し、ピーク検出部１４により動画像の全体を対象としてスケールパラメータｓの極値を検出するようにしたが、動画像を所定の時間単位で区切って処理するようにしてもよい。このようにすれば、保持部１２の容量を削減することができるとともに、ピーク検出部１４の処理を軽減することができる。
【００４９】
ところで、画像処理装置１０によって抽出される重要とみなされるフレームは、ダイジェスト再生画像としてのみならず、物体認識の教師画像に適用することもできる。
【００５０】
ここで、物体認識とは、動画像内から特定の被写体（例えば、人物の顔）だけを検出する技術をさすが、従来の物体認識において、教師画像は、人力により動画像内から認識すべき特定の被写体を切り出して用意する必要があった。
【００５１】
これに対し、物体認識の教師画像の作成処理に画像処理装置１０を利用すれば、撮影者の注目する被写体が大写しとなった重要とみなされるフレームを教師画像として利用することができる。なお、ズームのピークに対応するフレームのみならず、その前後の数フレームも教師画像として利用すれば、画像の拡大、縮小、平行移動、回転などに対して高いロバスト性をもった物体認識システムに学習できると考えられる。
【００５２】
次に、図６は、画像処理装置１０による、入力された動画像から物体認識の教師画像を作成する処理（以下、教師画像作成処理と称する）を説明するフローチャートである。この教師画像作成処理では、動画像を構成するフレームのうち、重要とみなされるフレームと、その前後数フレームが教師画像候補として出力される。
【００５３】
ステップＳ１１において、動画像取得部１１は、画像処理装置１０に接続された外部装置から入力される動画像を取得して保持部１２およびオプティカルフロー検出部１３に供給する。保持部１２は、動画像取得部１１から入力される動画像を保持する。
【００５４】
ステップＳ１２において、オプティカルフロー演算部１３は、動画像取得部１１から供給される動画像のオプティカルフローを演算し、演算したオプティカルフローからスケールパラメータｓを算出してピーク検出部１４に出力する。ピーク検出部１４は、順次入力されるスケールパラメータｓを保持する。
【００５５】
ステップＳ１３において、動画像取得部１１は、外部装置からの動画像の入力が終了したか否かを判定し、外部装置からの動画像の入力が終了するまで、処理をステップＳ１１に戻して、保持部１２およびオプティカルフロー検出部１３に対して動画像の供給を継続する。
【００５６】
ステップ１３において、外部装置からの動画像の入力が終了したと判定された場合、処理はステップＳ１４に進められる。ステップＳ１４において、ピーク検出部１４は、オプティカルフロー演算部１３から入力されるスケールパラメータｓの極値を検出し、検出結果をフレーム抽出部１５に通知する。
【００５７】
ステップＳ１５において、フレーム抽出部１５は、ピーク検出部１４からの検出結果に基づき、スケールパラメータｓの極値に対応するフレームとその前後所定数のフレームを保持部１２から取得し、教師画像候補として後段に出力する。後段に位置する物体認識システムにおいては、教師画像候補を全て学習に利用してもよいし、教師画像候補の中から学習に利用するものをユーザに選択させるようにしてもよい。以上で、教師画像作成処理は終了される。
【００５８】
以上説明した教師画像作成処理によれば、撮影者が注目した被写体が大写しとなった、重要であるとみなすことができるフレームと、その前後数フレームを、教師画像候補として出力することができる。
【００５９】
なお、上述したダイジェスト再生画像作成処理と同様、教師画像作成処理においても、動画像を所定の時間単位で区切って処理するようにしてもよい。このようにすれば、保持部１２の容量を削減でき、ピーク検出部１４の処理を軽減することができる。
【００６０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００６１】
図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００６２】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００６４】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００６５】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００６６】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００６７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００６９】
１０  画像処理装置，  １１  動画像取得部，  １２  保持部，  １３  オプティカルフロー演算部，  １４  ピーク検出部，  １５  フレーム抽出部
【図１】
2010226557.tif 000006
【図２】
2010226557.tif 000007
【図３】
2010226557.tif 000008
【図４】
2010226557.tif 000009
【図５】
2010226557.tif 000010
【図６】
2010226557.tif 000011
【図７】
2010226557.tif 000012