(57)【要約】【課題】入力された動画像から適切にハイライトシーンを検出する。【解決手段】画像処理装置１０は、動画像に含まれる画像の動き情報を取得する取得部１２と、基準値を設定する設定部１４と、取得部１２で取得された動き情報が設定部１４によって設定された基準値より大きい画像を動画像から少なくとも一つ選択する選択部１５と、を備える。【選択図】図２
2015159411.tif 000002
【特許請求の範囲】
【請求項１】
動画像に含まれる画像の動き情報を取得する取得部と、
基準値を設定する設定部と、
前記取得部で取得された前記動き情報が、前記設定部によって設定された前記基準値より大きい画像を前記動画像から少なくとも一つ選択する選択部とを備える
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記設定部は、前記動画像に含まれる画像の前記動き情報に基づいて、前記基準値である第１基準値を設定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記設定部は、前記動画像に含まれる画像の前記動き情報の時間軸における変化に基づいて前記基準値である第２基準値を設定する
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記設定部は、前記取得部によって取得された、前記動画像に含まれる画像の前記動き情報の時間平均を前記第１基準値とし、前記取得部によって取得された、前記動画像に含まれる画像の前記動き情報の時間軸における変化に基づいて設定された基準値を第２基準値とし、
前記設定部によって設定された、前記第１基準値と前記第２基準値とのうち、何れか一方を選択する基準値選択部とを備える
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記取得部は、前記動画像に含まれる画像間において画素の移動に関する第１オプティカルフロー情報を時系列に算出し、前記第１オプティカルフロー情報のうち所定条件を満たす大きさの第２オプティカルフロー情報を前記動き情報として取得することを特徴とする画像処理装置。
【請求項６】
請求項３または４に記載の画像処理装置において、
前記取得部は、前記動画像に含まれる画像間において画素の移動に関するオプティカルフロー情報にフィルタ処理を行って前記動き情報を取得し、
前記設定部は、前記取得部によって取得された、前記フィルタ処理後のオプティカルフロー情報の時間軸における変化に基づいて前記第２基準値を設定する
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記取得部は、前記オプティカルフロー情報に離散コサイン変換を行って前記動き情報を取得し、前記離散コサイン変換におけるモード係数を前記入力された動画像の再生時間に基づいて決める
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記設定部は、前記取得部で取得された前記動き情報を、前記モード係数のうちの最大モード数より小さい低次のモード数で逆変換して前記第２基準値を設定する
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記選択部は、前記動き情報が前記基準値より大きい画像を前記動き情報が大きい順に選択することを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の画像処理装置において、
前記入力された動画像のうち前記選択部で選択された画像をつなげて要約動画像を生成する要約動画生成部を備えることを特徴とする画像処理装置。
【請求項１１】
動画像に含まれる画像の動き情報を取得する取得処理と、
基準値を設定する設定処理と、
前記取得処理で取得された前記動き情報が、前記設定処理によって設定された前記基準値より大きい画像を前記動画像から少なくとも一つ選択する選択処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
動画像のハイライトシーンを特定する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４７２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、動画像の一定区間ごとの音声変化量の平均値に基づいてハイライトシーンを検出する。音声を利用する手法は、ハイライトシーンと歓声が一致するスポーツ動画の場合に有効であるものの、歓声がない動画像に対してハイライトシーンを検出をすることは困難であった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、動画像に含まれる画像の動き情報を取得する取得部と、基準値を設定する設定部と、取得部で取得された動き情報が設定部によって設定された基準値より大きい画像を動画像から少なくとも一つ選択する選択部と、を備えることを特徴とする。
本発明による画像処理プログラムは、動画像に含まれる画像の動き情報を取得する取得処理と、基準値を設定する設定処理と、取得処理で取得された動き情報が設定処理によって設定された基準値より大きい画像を動画像から少なくとも一つ選択する選択処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、適切にハイライトシーンを検出できる。
【図面の簡単な説明】
【０００７】
【図１】プログラムをパーソナルコンピュータに供給する例を説明する図である。
【図２】パーソナルコンピュータの機能として実現された画像処理装置の要部構成を例示する図である。
【図３】図３(a)は元の動画像のアスペクト比が４：３の場合のリサイズを説明する図、図３(b)は元の動画像のアスペクト比が１６：９の場合のリサイズを説明する図である。
【図４】リサイズ後のフレーム画像において画素座標集合を例示する図である。図４(a)は図３(a)の元の動画像に対応する図で、図４(b)は図３(b)の元の動画像に対応する図である。
【図５】時系列の注目ＯＦ数ｎ(t)を例示する図である。
【図６】時系列の注目ＯＦ数ｎ(t)を例示する図である。
【図７】画像処理装置が実行する処理の流れを例示するフローチャートである。
【図８】要約動画像の設定画面を例示する図である。
【図９】ハイライトシーンの候補のリストを例示する図である。
【図１０】ハイライトシーンの候補のリストを例示する図である。
【図１１】ハイライトシーンの候補のリストを例示する図である。
【図１２】ハイライトシーンの候補のリストを例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明に係る画像処理装置について説明する。画像処理装置は、入力される動画像（処理対象の画像）に基づいて、元の動画像より再生時間が短い動画像（以後、要約動画像と呼ぶ）を生成する。
【０００９】
本実施形態は、例えば、要約動画像を生成する画像処理プログラムを図１に示すコンピュータ装置に実行させることにより、要約動画像を生成する画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、要約動画像を生成する画像処理装置として使用する。
【００１０】
プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。
【００１１】
画像処理装置は、入力される動画像の中からハイライトシーンを抽出し、抽出したハイライトシーンをつなげることによって要約動画像を生成する。ここで、ハイライトシーンとは、動画像を構成するシーンのうち撮影者または動画視聴者（以後、単に視聴者と呼ぶ）が興味を持つシーンをいう。一般に、動画像の中で変化があるシーンは面白く、変化がないシーンは退屈とされる。そこで、画像処理装置は、動画像を構成するシーンの中から変化があるシーンを見つける。具体的には、動きがあるシーンを変化があるシーンとする。なお、本明細書でシーンとは、動画像に含まれる画像のうち、一つの画像でもよいし、一つ以上の画像の集合でもよい。
【００１２】
上述した「変化があるシーンは面白い」という考え方によれば、動画像において面白いシーンは、シーンのうちの一部分（以後注目体と呼ぶ）の動きがシーン全体の動きと大きく異なる。すなわち、動画像からサンプリングしたフレーム（動画像に含まれる画像）においてフレーム内の各画素の動きを表すオプティカルフローｖi（i は画素座標のインデックスを表す）を計算した場合に、注目体を構成する画素の動きを表すオプティカルフローｖi と、同じフレーム内にある全ての画素の動きを表すオプティカルフローの平均値ｖ(mean) とが大きく異なる。
【００１３】
これを数学的に言い換えると、次式（１）で示すように、オプティカルフローの平均値ｖ(mean) からの残差が、同じフレーム内にある全ての画素によるオプティカルフローの標準偏差σより大きくなる画素が、注目体を構成する画素といえる。
【数１】
2015159411.tif 000003
ここで、αは各画素のオプティカルフローが注目体のオプティカルフローに該当するか否かを決めるパラメータであり、本例では、例えばα＝１．４とする。
【００１４】
画像処理装置は、注目体のオプティカルフローの数はシーンの面白さに比例すると仮定してハイライトシーンを抽出する。すなわち、注目体のオプティカルフローの数が多いほど面白いシーンとして扱い、このシーンをハイライトシーンの候補とする。以降の説明では、画素の動きを表すオプティカルフローをＯＦと呼び、注目体を構成する画素の動きを表すＯＦを注目ＯＦと呼ぶ。さらに、１フレーム内の注目ＯＦの数を注目ＯＦ数と呼ぶ。ＯＦはベクトルであり、フレーム内の画像の動きを表す２種類の値（フレームの幅方向成分と高さ方向成分）を、フレームを構成する画素ごとに有する。
【００１５】
なお、この画像処理装置は、パーソナルコンピュータの機能として実現されることに限られず、例えば、タブレットコンピュータ、フォトビューワ、またはカメラ等の機能として実現されてもよい。また、ネットワークに接続されたサーバーの機能として実現されてもよい。
【００１６】
図２は、パーソナルコンピュータ１００（図１）の機能として実現された画像処理装置１０の要部構成を例示する図である。画像処理装置１０は、前処理部１１と、ＯＦ算出部１２と、フィルタ処理部１３と、ハイライトシーン抽出部１４と、シーン選択部１５と、シーン結合部１６と、記憶部１７と、を含む。
【００１７】
＜前処理＞
前処理部１１は、入力された動画像のフレームに対してリサイズ処理などの前処理を行う。入力された動画像は、時系列に並べられた複数のフレーム（例えば、フレーム１〜ｘ）を含んでいる。これらのフレームは、複数の画素（例えば、１９２０（幅）画素×１０８０（高さ）画素）によって構成されている。前処理部１１は、動画像から所定時間（ΔＴ０とする）ごとに２フレームずつサンプリングする。例えば、入力された動画像のフレームレートが３０ｆｐｓで、ΔＴ０＝１秒ごとに、０．１秒（ΔＴ１とする）離れた２フレームをサンプリングする場合、３０フレームごとに第１フレームと第４フレームとをサンプリングする。
【００１８】
前処理部１１はさらに、サンプリング後のフレーム画像を一般的な元の動画像のフレームサイズより小さいフレームサイズへリサイズする。図３は、リサイズを説明する図であり、図３(a)は元の動画像のアスペクト比が４(幅)：３(高さ)の場合の図であり、図３(b)は元の動画像のアスペクト比が１６(幅)：９(高さ)の場合の図である。
【００１９】
図３(a)において、前処理部１１は、サンプリングしたフレーム画像を元の動画像のアスペクト比を維持するように幅Ｗ０（例えば３２０）画素×高さＨ０（例えば２４０）画素へリサイズする。実線３０は、リサイズ画面を表す。リサイズ後、前処理部１１は上下左右をさらにトリミング（例えば０．８倍）してＯＦ計算対象領域を絞る。破線４０は、ＯＦ計算対象領域を表す。図３(b)において、前処理部１１はサンプリングしたフレーム画像を幅Ｗ０（例えば３２０）画素×高さＨ０（例えば１８０）画素へリサイズする。実線３０は、リサイズ画面を表す。リサイズ後、前処理部１１は上下のみをトリミング（例えば０．８倍）してＯＦ計算対象領域を絞る。破線４０は、ＯＦ計算対象領域を表す。
【００２０】
図３(b)のような横長画像の場合に左右をトリミングしないのは、動きの激しいスポーツ映像において、フィールド全体を撮影しつつ選手の動きを捉えるためにフレームの左右両端を使って広角的に撮影される場合を考慮するためである。つまり、４：３以上のアスペクト比を有する横長画像の場合は、なるべく左右両端をトリミングＯＦ計算対象領域４０に含める。なお、縦長画像の場合は、図３の例をそれぞれ９０度回転させればよい。
【００２１】
上述したように、サンプリングによって計算対象のフレーム数を削減し、サンプリング後のフレームに対してはリサイズによって各フレームにおけるＯＦ計算対象領域４０を絞ることで、後述するＯＦ計算の負担を軽減し得る。
【００２２】
次に前処理部１１は、各フレームのＯＦ計算対象領域４０において、ＯＦを所定の画素間隔ΔＰで算出するように、計算対象とする画素座標集合をあらかじめ用意しておく。ΔＰは、例えば５画素とする。これにより、ＯＦ計算対象領域において縦横５画素ごとに画素座標が設定される。
【００２３】
図４は、リサイズ後のフレーム画像において、計算対象とする画素座標集合を例示する図である。図４(a)は図３(a)の元の動画像に対応する図であり、図４(b)は図３(b)の元の動画像に対応する図である。それぞれＯＦ計算対象領域４０の中に、離散的に画素座標が設けられている。
【００２４】
＜ＯＦ算出＞
ＯＦ算出部１２は、ＯＦ計算対象領域４０のうち、図４(a)または図４(b)に示される画素座標集合を計算対象としてそれぞれＯＦを算出する。具体的には、上記ΔＴ１＝０．１秒離れた２フレームの画像に基づいて上記ＯＦを算出し、用意した画素座標集合に従ってＯＦをサンプリングする。ＯＦ算出部１２は、サンプリングしたＯＦの数をＮとし、サンプリングした全てのＯＦから平均値ｖ(mean) と標準偏差σを次式（２）により算出する。
【数２】
2015159411.tif 000004
【００２５】
ＯＦ算出部１２は、標準偏差σ が所定の閾値σthr 以下の場合は、その画素座標におけるＯＦはノイズと判定して注目ＯＦは無いと判断する。このときの注目ＯＦ数は０である。ＯＦ算出部１２は、標準偏差σ が所定の閾値σthr より大きい場合は、サンプリングした全てのＯＦｖi（i は画素座標のインデックスを表す）について、平均値ｖ(mean)からの残差と標準偏差σとを上式（１）を用いて比較する。閾値σthrは、例えば１画素とする。上式（１）を満たすｖiが注目ＯＦの候補となる。この注目ＯＦの候補数をｎとする。
【００２６】
ＯＦ算出部１２は、注目ＯＦの候補数ｎが所定の判定閾値βＮより小さい場合は、それらの注目ＯＦの候補はノイズと判定して注目ＯＦは無いと判断する。このときの注目ＯＦ 数は０である。ここでβは、注目ＯＦ数とみなすためのＮに対する割合閾値であり、本例ではβ＝０．０２とする。ＯＦ算出部１２は、注目ＯＦの候補数ｎが上記判定閾値βＮより大きい場合に、それらを注目ＯＦとして扱う。このときの注目ＯＦ数をあらためてｎとする。
【００２７】
＜フィルタ処理＞
上述した手法で得られる注目ＯＦ数ｎを、サンプリングした全てのフレームに対して求めると、時系列の注目ＯＦ数ｎが得られる。時系列の注目ＯＦ数をｎ(t)で表す。時系列の注目ＯＦ数ｎ(t)を例示する図５によれば、ｎ(t)の値はノイズ環境下の１次元信号のように激しく振動する。このため、ｎ(t)の値をそのまま用いると、短い間隔で注目ＯＦの候補が取得されてしまい、連続的に注目ＯＦの候補が取得できなくなってしまう。そのため、取得した注目ＯＦの候補を利用して要約動画作成すると、とぎれとぎれの要約動画になってしまう可能性がある。そこで、時系列の注目ＯＦ数ｎ(t)から高周波成分をカットするために、フィルタ処理部１３によって離散コサイン変換(discrete cosine transform; ＤＣＴ) を使ったフィルタ（以後、ＤＣＴフィルタと呼ぶ）処理を行う。
【００２８】
図５において、横軸は時間、縦軸は注目ＯＦ数を時間平均で規格化した値を表す。曲線５１は注目ＯＦ数ｎ(t)を表し、曲線５２は、フィルタ処理後の注目ＯＦ数ｎ＊(t)を表す。ＤＣＴフィルタによってカットする高周波のモード係数は、１つのハイライトシーンとして成立する最小時間Ｔsceneと、入力された動画像の再生時間Ｔとに基づいて決定する。シーンの移り変わり回数は高々Ｔ／Ｔscene 程度なので、ＤＣＴフィルタにおける最大モード数ｍmaxを次式（３）で表す。なお、最小時間Ｔsceneを以後シーン分解能と呼び、本実施形態では例えばＴscene＝１５秒とする。
【数３】
2015159411.tif 000005
【００２９】
ＤＣＴフィルタによれば、フィルタ処理後の注目ＯＦ数ｎ＊(t)が滑らかな波の変化で表現される。このとき、１波長が波の山と谷で定義される。上式（３）において係数２を乗算しているのは、１つのシーンをこの波の山に対応させるためである。
【００３０】
ＤＣＴフィルタにおいて最大モード数ｍmax より大きい周波数モードを考えることは、ＤＣＴフィルタ処理後の１つのシーンの長さ（すなわちＤＣＴフィルタ処理後の注目ＯＦ数ｎ＊(t)を表す波の山の幅）が上記シーン分解能Ｔscene より小さくなることから無意味である。よって、ＤＣＴフィルタ処理をＦ[…] で表すと、フィルタ処理後の注目ＯＦ数ｎ＊(t)は、次式（４）で表される。
【数４】
2015159411.tif 000006
ただし、Ｆ−１ｍmax Ｆ[…]は、最大モード数ｍmax までのモード係数を使った逆ＤＣＴ変換である。
【００３１】
＜ハイライトシーンの抽出＞
上述したように、本実施形態では注目ＯＦ数が多いほど面白いシーンと仮定し、このシーンをハイライトシーンの候補とする。ハイライトシーン抽出部１４は、フィルタ処理後の注目ＯＦ数ｎ＊(t)に基づいて、入力された動画像からハイライトシーンの候補を抽出する。ハイライトシーン抽出部１４は、フィルタ処理後の注目ＯＦ数ｎ＊(t)が所定値より大きい場合、ハイライトシーンに該当する可能性が高いと判定する。上記所定値、すなわちハイライトシーンか否かを判定する判定閾値ｎ（０）thr(t)を、注目ＯＦ数ｎ＊(t)の時間平均ｎ＊(mean)で表す。時間平均ｎ＊(mean)は、次式（５）に示すように、０モードのモード係数を使った逆ＤＣＴ変換に等しい。
【数５】
2015159411.tif 000007
【００３２】
上記判定閾値ｎ（０）thr(t) は、入力された動画像の再生時間Ｔにおいて一定であり、次式（６）が成立することから、判定閾値ｎ（０）thr(t) は、ハイライトシーンの絶対基準（第１基準）といえる。
【数６】
2015159411.tif 000008
図５における直線５３は、判定閾値ｎ（０）thr(t) に対応する。ハイライトシーン抽出部１４は、曲線５２が示す注目ＯＦ数から直線５３が示す注目ＯＦ数を差し引くことによってフィルタ処理後の注目ＯＦ数ｎ＊(t)に対する閾値処理を行う。図５の曲線５４は、ハイライトシーンの絶対基準に基づいた閾値処理後の注目ＯＦ数ｎ＊(t)に対応する。すなわち、曲線５４の値が大きくなる時刻が、入力された動画像においてハイライトシーンの候補に対応する。
【００３３】
上述したハイライトシーンの絶対基準に基づく閾値処理の特徴は、以下の通りである。
１．入力された動画像の中で一番面白い（注目ＯＦ数が最大）シーンが、閾値処理後のハイライトシーン順位で１番になる。
２．抽出された各シーンの時間は比較的長い。
【００３４】
一方、長時間の動画像などでは再生時間Ｔの前半と後半との間でシーンが大きく変わり、局所的にみると注目ＯＦ数の時間平均が時間軸上で大きく変わる場合も想定される。本実施形態では、このような注目ＯＦ数の低周波数的な変化（シーンの盛り上がり方）を考慮してハイライトシーンの候補の抽出を行う。この変化を考慮する判定閾値ｎ（low）thr(t) を、次式（７）に示す最大モード数ｍmax より小さい低次のモード数ｍlow を使って、次式（８）による逆ＤＣＴ変換で得る。
【数７】
2015159411.tif 000009
ここで、Ｒlow は、あらかじめ設定される倍率定数であり、本例では例えばＲlow ＝１／４とする。
【数８】
2015159411.tif 000010
【００３５】
上記判定閾値ｎ（low）thr(t) は、入力動画像の再生時間Ｔの時間軸上で局所的に変動するものであり、ハイライトシーンの相対基準（第２基準）といえる。図６は、図５と同様に時系列の注目ＯＦ数ｎ(t)を例示する図であり、横軸は時間、縦軸は注目ＯＦ数を時間平均で規格化した値を表す。曲線５１は、注目ＯＦ数ｎ(t)を表し、曲線５２は、フィルタ処理後の注目ＯＦ数ｎ＊(t)を表す。図６における曲線５３は、判定閾値ｎ（low）thr(t) に対応する。ハイライトシーン抽出部１４は、曲線５２が示す注目ＯＦ数から曲線５３が示す注目ＯＦ数を差し引くことによってフィルタ処理後の注目ＯＦ数ｎ＊(t)に対する閾値処理を行う。図６の曲線５４は、ハイライトシーンの相対基準に基づいた閾値処理後の注目ＯＦ数ｎ＊(t)に対応する。すなわち、曲線５４の値が大きくなる時刻が、入力された動画像においてハイライトシーンの候補に対応する。
【００３６】
ハイライトシーンに関する上記２つの基準に基づいた閾値処理後の注目ＯＦ数ｎ＊(t)を、次式（９）のように注目ＯＦ数ｎ＋(t)で表すことにする。
【数９】
2015159411.tif 000011
【００３７】
上述したハイライトシーンの相対基準に基づく閾値処理の特徴は、以下の通りである。
１．入力された動画像の中で注目ＯＦ数が最大のシーンがハイライトシーン順位で上位になるわけではない。
２．抽出された各シーンの時間は、絶対基準と比較すると短い場合が多い。
３．時間軸における動きの変化に基づいてハイライトシーンを取得されるため、動きの少ないシーンが続いていたとしても、相対的に動きが大きいシーンが抽出されるため、多様なシーンをハイライトシーンとして抽出することが可能となる。
【００３８】
本実施形態による画像処理装置は、上述したようにハイライトシーンを抽出し、抽出したハイライトシーンをつなげることによって要約動画像を生成する。ハイライトシーン抽出部１４は、ハイライトシーンの候補を抽出する閾値処理で用いる基準値を、あらかじめユーザー操作に基づいて上記絶対基準（第１基準）または上記相対基準（第２基準）にセットする。
【００３９】
図８は、要約動画像の設定画面を例示する図であり、本実施形態の場合はユーザー操作時にパーソナルコンピュータ１００のモニタ画面に表示される。ユーザーは、キーボードやポインティングデバイスを操作して目標要約時間Ｔ＊と、シーン候補を選択（抽出）する基準値を設定する。目標要約時間Ｔ＊は、要約動画像の再生時間に相当する。
【００４０】
ハイライトシーンの候補を抽出する閾値処理で用いる基準値を設定したハイライトシーン抽出部１４は、ハイライトシーンの閾値処理後の注目ＯＦ数ｎ＋(t)の値（図５および図６において曲線５４が示す波の山）が０より大きい時刻をハイライトシーンの候補とする。
【００４１】
＜ハイライトシーンを選ぶ＞
シーン選択部１５は、ハイライトシーン抽出部１４によって抽出されたハイライトシーンの候補（注目ＯＦ数ｎ＋(t)が示す波の山）の中から以下の手順でハイライトシーンを選ぶ。
１．シーン選択部１５は、図９に例示するように、ハイライトシーンの候補の各シーンの開始時刻と終了時刻のリストを作成し、開始時刻の時系列順に並べかえる。
２．シーン選択部１５は、時系列順の２つのシーン（例えばシーン３とシーン４）の間の時間が最小再生時間Ｔmin 以下の場合は、前後のシーンをつなげて１つのシーン（本例ではシーン３）へ統合し、統合後のシーンの開始時刻と終了時刻とからなる１つの新しいシーンとしてリストを更新する。最小再生時間Ｔmin は、視聴者がシーンと認識し得る最小の再生時間であり、例えば２秒とする。図１０は、更新後のリストを例示する図である。
【００４２】
３．シーン選択部１５は、リスト中の各シーンにおいてシーン再生時間（シーンの終了時刻と開始時刻の差）が最小再生時間Ｔmin 以下の場合、そのシーン（図１０においてシーン３）をリストから削除する。
４．シーン選択部１５は、リスト中の各シーンにおける注目ＯＦ数ｎ＋(t)の最大値を求める。図１１は、シーン３を削除後のリストに注目ＯＦ数ｎ＋(t)の最大値を例示する図である。
【００４３】
５．シーン選択部１５は、上記最大値の降順に、選択したシーンをそのままつなげた合計再生時間ｔsumが目標要約時間Ｔ＊に達するまでリストからシーンを選択する。図１２は、注目ＯＦ数ｎ＋(t)の最大値の降順にシーンを並べ替えたリストを例示する図である。目標要約時間Ｔ＊は、上記設定画面（図８）により設定した値である。
・ｔsum ＞Ｔ＊の場合
シーン選択部１５は、最後に選んだシーンを注目ＯＦ数ｎ＋(t)の極小値で複数のシーン（サブシーン）に分け、再度上記４．を行う。それでもまた合計再生時間ｔsum ＞Ｔ＊になる場合は、合計再生時間ｔsum が目標要約時間Ｔ＊を越える前までのシーンの合計時間をｔ’sum として以下の処理を行う。
【００４４】
（a）ｔ’sum ≦Ｔmin の場合
シーン選択部１５は、シーン合計時間ｔ’sum までの複数シーン（Ｔ＊を越えてしまうシーンは含めない）を選ぶ。
（b）ｔ’sum ＞Ｔmin の場合
シーン選択部１５は、目標要約時間Ｔ＊を越えてしまうシーンの時間がＴmin −ｔ’sum になるように、シーンの両端を削ったシーンを選ぶ。
【００４５】
・Ｔ＊≧ｔsum ＞Ｔ−Ｔmin の場合、
シーン選択部１５は、合計再生時間ｔsumが目標要約時間Ｔ＊に達するまでの全てのシーンを選ぶ。
【００４６】
＜ハイライトシーンの結合＞
シーン結合部１６は、選択したハイライトシーンを元の動画像における再生時刻順序で結合することにより、要約動画像を作る。具体的には、ハイライトシーンの候補のリストからシーン選択部１５が選んだシーンについての開始時刻と終了時刻とをそれぞれ読み出し、元の動画像のフレームのうち、上記開始時刻と終了時刻との間に含まれる全てのフレームを要約動画像のフレームとする。
【００４７】
＜フローチャートの説明＞
画像処理装置１０が実行する処理の流れについて、図７に例示するフローチャートを参照して説明する。画像処理装置１０は、要約動画像を生成する画像処理プログラムの実行が指示されると、図７による処理を開始する。図７のステップＳ１において、画像処理装置１０は所定の初期設定を行ってステップＳ２へ進む。
【００４８】
ステップＳ２において、画像処理装置１０は、外部機器（例えばビデオカメラ）から動画像を入力してステップＳ３へ進む。ステップＳ３において、画像処理装置１０の前処理部１１は、上述した前処理を行う。具体的には、入力された動画像のフレームに対してΔＴ０ごとに時間差分ΔＴ１にてサンプリングを行い、サンプリング後に幅Ｗ０画素×高さＨ０画素へリサイズ処理を行う。前処理部１１は、リサイズ処理後にトリミング（例えば０．８倍）を行ってＯＦ計算対象領域４０を狭くする。さらに、前処理部１１は、各フレームのＯＦ計算対象領域４０において、ＯＦを画素間隔ΔＰ（例えば５画素ごと）で算出するように、計算対象とする画素座標集合を用意する。
【００４９】
ステップＳ４において、画像処理装置１０のＯＦ算出部１２は、上述したＯＦ算出を行う。具体的には、ＯＦ計算対象領域４０のうち、図４(a)または図４(b)に示される画素座標集合を計算対象としてそれぞれＯＦを算出する。
【００５０】
ステップＳ５において、画像処理装置１０は、前処理（ステップＳ３）においてサンプリングした全てのフレームを対象にＯＦ算出を終了したか否かを判定する。画像処理装置１０は、全フレームを対象にＯＦ算出を終了した場合にステップＳ５を肯定判定してステップＳ６へ進み、全フレームを対象にＯＦ算出を終了していない場合にはステップＳ５を否定判定してステップＳ３へ戻る。ステップＳ３へ戻る場合は上述した処理を繰り返す。
【００５１】
ステップＳ６において、画像処理装置１０のフィルタ処理部１３は、時系列の注目ＯＦ数ｎ(t)に対し、上述したＤＣＴフィルタによるフィルタ処理を行う。上述したハイライトシーンの相対基準を得るための判定閾値ｎ（low）thr(t) は、例えば、倍率定数Ｒlow ＝１／４を用いて求める。なお、倍率定数Ｒlow の値を変更する項目を上記設定画面（図８）に含めて、ユーザー操作に基づいて適宜調整可能に構成してもよい。
【００５２】
ステップＳ７において、画像処理装置１０のハイライトシーン抽出部１４は、上記設定画面（図８）における設定内容に基づいて、ハイライトシーンの絶対基準（第１基準）に基づく閾値処理と、ハイライトシーンの相対基準（第２基準）に基づく閾値処理とを切換える。そして、ハイライトシーン抽出部１４は、ハイライトシーンの閾値処理後の注目ＯＦ数ｎ＋(t)の値（図５および図６において曲線５４が示す波の山）が０より大きい時刻をハイライトシーンの候補とする。なお、ステップＳ６〜Ｓ７の処理順序は、演算処理の都合上適宜入れ替えをして構わない。
【００５３】
ステップＳ８において、画像処理装置１０のシーン選択部１５は、ハイライトシーン抽出部１４によって抽出されたハイライトシーンの候補（注目ＯＦ数ｎ＋(t)が示す波の山）の中から、合計再生時間ｔsumが目標要約時間Ｔ＊に収まるようにハイライトシーンを選ぶ。
【００５４】
ステップＳ９において、画像処理装置１０のシーン結合部１６は、選択したハイライトシーンを元の動画像における再生時刻順序で結合することによって要約動画像を生成してステップＳ１０へ進む。
【００５５】
ステップＳ１０において、画像処理装置１０は、生成した要約動画像を記憶部１７に記憶させて図７による処理を終了する。
【００５６】
上述した実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１０は、入力された動画像に含まれるシーンの注目ＯＦ数ｎ＊(t)を算出するＯＦ算出部１２と、動画像に含まれるシーンの中から代表的なシーンを選ぶための基準値（判定閾値ｎ（０）thr(t)、判定閾値ｎ（low）thr(t)）を設定するハイライトシーン抽出部１４と、ＯＦ算出部１２で算出された注目ＯＦ数ｎ＊(t)がハイライトシーン抽出部１４によって設定された上記判定閾値より大きいシーンを動画像から選択するシーン選択部１５と、を備える。これにより、入力された動画像から映像情報のみに基づいて適切にハイライトシーンを検出できる。
【００５７】
（２）ハイライトシーン抽出部１４は、動画像に含まれるシーンの注目ＯＦ数ｎ＊(t)に基づいて基準値である第１基準値（判定閾値ｎ（０）thr(t)）を設定するので、動画像の中で一番面白い（注目ＯＦ数が最大）可能性が高いシーンを選択し得る。
【００５８】
（３）ハイライトシーン抽出部１４は、動画像に含まれるシーンの注目ＯＦ数ｎ＊(t)の時間軸における変化に基づいて基準値である第２基準値（判定閾値ｎ（low）thr(t)）を設定するので、動きの少ないシーンが続いていたとしても、相対的に動きが大きいシーンを選択し得る。これにより、多様なシーンをハイライトシーンとして選択できる。
【００５９】
（４）ハイライトシーン抽出部１４は、ＯＦ算出部１２によって算出された、動画像に含まれるシーンの注目ＯＦ数ｎ＊(t)の時間平均を第１基準値とし、ＯＦ算出部１２によって算出された、動画像に含まれるシーンの注目ＯＦ数ｎ＊(t)の時間軸における変化に基づいて設定された基準値を第２基準値とする。そして、ハイライトシーン抽出部１４によって設定された、第１基準値と第２基準値とのうち、何れか一方を選択するハイライトシーン抽出部１４を備えるので、異なる基準でハイライトシーンを選択し得る。
【００６０】
（５）ＯＦ算出部１２は、時系列に並ぶフレーム間（動画像に含まれる画像間）において画素の移動に関するオプティカルフローｖi を時系列に算出し、算出したオプティカルフローｖi のうち、オプティカルフローｖi の平均値ｖ(mean) からの残差が、同じフレーム内にある全ての画素によるオプティカルフローｖi の標準偏差σより大きくなる画素のオプティカルフローｖi を取得する。これにより、ノイズの影響を除いたオプティカルフローｖi を得ることができる。
【００６１】
（６）ＯＦ算出部１２は、上述した大きさのオプティカルフローｖi で構成される注目ＯＦ数ｎ(t)に対してフィルタ処理部１３でフィルタ処理を行って注目ＯＦ数ｎ＊(t)を取得し、ハイライトシーン抽出部１４は、ＯＦ算出部１２によって算出された、フィルタ処理後の注目ＯＦ数ｎ＊(t)の時間軸における変化に基づいて第２基準値を設定するので、注目ＯＦ数ｎ(t)から不要な高周波数成分を除去した上で、適切に第２基準値を設定できる。
【００６２】
（７）ＯＦ算出部１２は、注目ＯＦ数ｎ(t)にＤＣＴフィルタ処理を行って注目ＯＦ数ｎ＊(t)を取得し、ＤＣＴフィルタ処理におけるモード係数を入力された動画像の再生時間に基づいて決めるようにしたので、ＤＣＴフィルタ処理後の１つのシーンの長さがシーン分解能Ｔscene に合うように、適切にモード係数を決定し得る。
【００６３】
（８）ハイライトシーン抽出部１４は、ＯＦ算出部１２で取得された注目ＯＦ数ｎ＊(t)を、モード係数のうちの最大モード数より小さい低次のモード数で逆変換して第２基準値を設定するので、適切に第２基準値を設定できる。
【００６４】
（９）シーン選択部１５は、注目ＯＦ数ｎ＊(t)が上記基準値より大きいシーンを注目ＯＦ数ｎ＊(t)が大きい順に選択するので、注目体のオプティカルフローの数が多いほど面白いという仮定のもと、面白いシーンを優先して選ぶことができる。
【００６５】
（１０）入力された動画像のうちシーン選択部１５で選択されたシーンをつなげて要約動画像を生成するシーン結合部１６を備えるので、元の動画像より再生時間が短い要約動画像を適切に生成できる。
【００６６】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した説明では、フィルタ処理の一例としてＤＣＴフィルタを説明したが、高周波数成分を除去するものであれば、他のフィルタ処理を用いてもよい。例えば、一部分の帯域のみを通過させるバンドパスフィルタでもよい。また、所定の高周波領域のみをカットするようなフィルタでもよい。
【００６７】
（変形例２）
上述した説明において例示した各値（例えば入力動画像のフレームレート：３０ｆｐｓ、ΔＴ０＝１秒、ΔＴ１＝０．１秒、入力動画像の画素数、リサイズ時の画素数、トリミング倍率０．８倍、ＯＦを算出時におけるΔＰ＝５画素、閾値σthr＝１画素、割合閾値β＝０．０２、パラメータα＝１．４、倍率定数Ｒlow ＝１／４、最小再生時間Ｔmin＝２秒、およびシーン分解能Ｔscene＝１５秒など）は一例であり、適宜変更して構わない。
【００６８】
（変形例３）
上記実施形態では、上記設定画面（図８）によるユーザー操作に基づいて、ハイライトシーン抽出部１４がハイライトシーンの絶対基準（第１基準）に基づく閾値処理と、ハイライトシーンの相対基準（第２基準）に基づく閾値処理とを切換えるようにした。閾値処理は上記２通りに限られず、４通りなど複数通りの中からユーザーが任意に選択し得るようにしてもよい。また、モード係数の大小を変更する項目を上記設定画面（図８）に含めて、ユーザーがモード係数の大小の変更操作を行うと、ハイライトシーン抽出部１４が変更後のモード係数を適用した逆ＤＣＴ変換を行うことによって、上記判定閾値をリアルタイムに変更するように構成してもよい。
【００６９】
上記説明においては、実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００７０】
１０…画像処理装置
１１…前処理部
１２…ＯＦ算出部
１３…フィルタ処理部
１４…ハイライトシーン抽出部
１５…シーン選択部
１６…シーン結合部
１７…記憶部
３０…リサイズ画面
４０…ＯＦ計算対象領域
５１…注目ＯＦ数ｎ(t)
５２…フィルタ処理後の注目ＯＦ数ｎ＊(t)
５３…判定閾値
５４…注目ＯＦ数ｎ＋(t)
１００…パーソナルコンピュータ
１０１…通信回線
１０４…記録媒体
【図１】
2015159411.tif 000012
【図２】
2015159411.tif 000013
【図３】
2015159411.tif 000014
【図４】
2015159411.tif 000015
【図５】
2015159411.tif 000016
【図６】
2015159411.tif 000017
【図７】
2015159411.tif 000018
【図８】
2015159411.tif 000019
【図９】
2015159411.tif 000020
【図１０】
2015159411.tif 000021
【図１１】
2015159411.tif 000022
【図１２】
2015159411.tif 000023