(57)【要約】【課題】重要シーンの区切り位置を的確に特定することが可能な画像処理装置および画像処理プログラムを提供する。【解決手段】画像処理装置は、動画像から動き情報を取得する取得部と、動画像の時間軸上において、取得部により取得された動き情報のうち動き情報が相対的に小さい位置を区切り位置に設定する設定部と、を備える。【選択図】図７
2015192337.tif 000002
【特許請求の範囲】
【請求項１】
動画像から動き情報を取得する取得部と、
前記動画像の時間軸上において、前記取得部により取得された前記動き情報のうち前記動き情報が相対的に小さい位置を区切り位置に設定する設定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記動画像の時間軸上において前記動き情報が極小、もしくは極小近傍である地点を第１地点として検出する第１地点検出部を備え、
前記設定部は、前記第１地点検出部により検出された前記第１地点の前記動き情報に基づいて前記区切り位置を設定することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記動画像の時間軸上において前記動き情報が極大である地点を第２地点として検出する第２地点検出部を備え、
前記設定部は、１つの前記第１地点から他の前記第１地点までの区間において、前記区間に存在する全ての前記第２地点が、前記第２地点の動き情報と前記第２地点に隣接する前記第１地点の動き情報との差が所定量以下であるという条件を満たす場合、前記区間に対して１つの前記区切り位置を設定することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記設定部は、前記区間に存在する複数の前記第１地点の各々について、前記第１地点の動き情報と、前記第１地点に対応する前記第２地点の前記動き情報との比を算出し、算出された前記複数の第１地点の比に基づいて前記１つの区切り位置を設定することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記設定部は、前記区間に存在する複数の前記第１地点から１つの前記第１地点を選択して前記第１地点に前記区間の前方の前記第２地点に関する前記区切り位置を設定すると共に、前記複数の第１地点からもう１つの前記第１地点を選択して前記第１地点に前記区間の後方の前記第２地点に関する前記区切り位置を設定することを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記設定部は、前記動き情報の平均値以下の前記動き情報を有する前記第１地点に基づいて前記区切り位置を設定することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記設定部は、前記区切り位置により規定される１つの長さが所定時間以上になるように前記区切り位置を設定することを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理装置において、
前記設定部は、前記区切り位置の総数が所定数になるように、前記区切り位置を設定することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記取得部により取得された前記動き情報に所定のフィルタ処理を施すフィルタ処理部を備え、
前記設定部は、前記フィルタ処理部により前記フィルタ処理が施された前記動き情報に基づいて前記区切り位置の設定を試み、前記区切り位置の総数が前記所定数にならなかった場合には、前記フィルタ処理部に前記フィルタ処理とは異なるフィルタ処理を施させた後に再度前記区切り位置の設定を試みることを特徴とする画像処理装置。
【請求項１０】
動画像から動き情報を取得する取得ステップと、
前記動画像の時間軸上において、前記取得ステップにより取得された前記動き情報のうち前記動き情報が相対的に小さい位置を区切り位置に設定する設定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、動画像から重要シーンを特定する技術が知られている。例えば特許文献１には、カメラ内にモーションセンサを設けて撮影者の操作を検出し、その操作後に重要シーンがあると仮定して操作後のシーンを抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５３９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術には、動画像のうちの重要な場面に至る経緯を特定することができないという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、動画像から動き情報を取得する取得部と、前記動画像の時間軸上において、前記取得部により取得された前記動き情報のうち前記動き情報が相対的に小さい位置を区切り位置に設定する設定部と、を備えることを特徴とする。
請求項１０に記載の画像処理プログラムは、動画像から動き情報を取得する取得ステップと、前記動画像の時間軸上において、前記取得ステップにより取得された前記動き情報のうち前記動き情報が相対的に小さい位置を区切り位置に設定する設定ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、重要シーンの区切り位置を的確に特定することができる。
【図面の簡単な説明】
【０００７】
【図１】プログラムをパーソナルコンピュータに供給する例を説明する図である。
【図２】パーソナルコンピュータの機能として実現された画像処理装置の要部構成を例示する図である。
【図３】図３（ａ）は元の動画像のアスペクト比が４：３の場合のリサイズを説明する図、図３（ｂ）は元の動画像のアスペクト比が１６：９の場合のリサイズを説明する図である。
【図４】リサイズ後のフレーム画像において画素座標集合を例示する図である。図４（ａ）は図３（ａ）の元の動画像に対応する図で、図４（ｂ）は図３（ｂ）の元の動画像に対応する図である。
【図５】時系列の動き量の一例を示す図である。
【図６】フィルタ処理後の動き量の一例を示す図である。
【図７】シーン区切り候補設定部１４の動作を説明する説明図である。
【図８】画像処理装置１０が実行する処理のフローチャートである。
【図９】図８のステップＳ５０で呼び出されるシーン区切り候補設定処理のフローチャートである。
【図１０】図８のステップＳ６０で呼び出されるシーン区切り設定処理のフローチャートである。
【図１１】シーン区切り候補設定部１４の動作を説明する説明図である。
【図１２】第２実施形態のシーン区切り候補設定部１４が実行するシーン区切り候補設定処理のフローチャートである。
【図１３】第３実施形態の画像処理装置が実行する処理のフローチャートである。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を模式的に示す図である。本実施形態の画像処理装置は、入力される動画像（処理対象の画像）に対して、映像シーンの区切り位置（以下、シーン区切りと称する）を設定する。
【０００９】
本実施形態は、例えば、シーン区切りを設定する画像処理プログラムを図１に示すコンピュータ装置に実行させることにより、シーン区切りを設定する画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、シーン区切りを設定する画像処理装置として使用する。
【００１０】
プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。
【００１１】
なお、この画像処理装置は、パーソナルコンピュータの機能として実現されることに限られず、例えば、タブレットコンピュータ、フォトビューワ、またはカメラ等の機能として実現されてもよい。また、ネットワークに接続されたサーバーの機能として実現されてもよい。
【００１２】
図２は、パーソナルコンピュータ１００（図１）の機能として実現された画像処理装置１０の要部構成を例示する図である。画像処理装置１０は、前処理部１１と、動き量算出部１２と、フィルタ処理部１３と、シーン区切り候補設定部１４と、シーン区切り設定部１５と、を含む。
【００１３】
（前処理部１１の説明）
前処理部１１は、入力された動画像のフレームに対してリサイズ処理などの前処理を行う。入力された動画像は、時系列に並べられた複数のフレーム（例えば、フレーム１〜ｘ）を含んでいる。これらのフレームは、複数の画素（例えば、１９２０（幅）画素×１０８０（高さ）画素）によって構成されている。前処理部１１は、動画像から所定時間（ΔＴ０とする）ごとに２フレームずつサンプリングする。例えば、入力された動画像のフレームレートが３０ｆｐｓで、ΔＴ０＝１秒ごとに、０．１秒（ΔＴ１とする）離れた２フレームをサンプリングする場合、３０フレームごとに第１フレームと第４フレームとをサンプリングする。
【００１４】
前処理部１１はさらに、サンプリング後のフレーム画像を一般的な元の動画像のフレームサイズより小さいフレームサイズへリサイズする。図３は、リサイズを説明する図であり、図３（ａ）は元の動画像のアスペクト比が４(幅)：３(高さ)の場合の図であり、図３（ｂ）は元の動画像のアスペクト比が１６(幅)：９(高さ)の場合の図である。
【００１５】
図３（ａ）において、前処理部１１は、サンプリングしたフレーム画像を元の動画像のアスペクト比を維持するように幅Ｗ０（例えば３２０）画素×高さＨ０（例えば２４０）画素へリサイズする。実線３０は、リサイズ画面を表す。リサイズ後、前処理部１１は上下左右をさらにトリミング（例えば０．８倍）して動き量の計算対象領域を絞る。破線４０は、動き量の計算対象領域を表す。図３（ｂ）において、前処理部１１はサンプリングしたフレーム画像を幅Ｗ０（例えば３２０）画素×高さＨ０（例えば１８０）画素へリサイズする。実線３０は、リサイズ画面を表す。リサイズ後、前処理部１１は上下のみをトリミング（例えば０．８倍）して動き量の計算対象領域を絞る。破線４０は、動き量の計算対象領域を表す。
【００１６】
図３（ｂ）のような横長画像の場合に左右をトリミングしないのは、動きの激しいスポーツ映像において、フィールド全体を撮影しつつ選手の動きを捉えるためにフレームの左右両端を使って広角的に撮影される場合を考慮するためである。つまり、４：３以上のアスペクト比を有する横長画像の場合は、なるべく左右両端を動き量の計算対象領域４０に含める。なお、縦長画像の場合は、図３の例をそれぞれ９０度回転させればよい。
【００１７】
上述したように、サンプリングによって計算対象のフレーム数を削減し、サンプリング後のフレームに対してはリサイズによって各フレームにおける動き量の計算対象領域４０を絞ることで、後述する動き量計算の負担を軽減し得る。
【００１８】
次に前処理部１１は、各フレームの動き量の計算対象領域４０において、動き量を所定の画素間隔ΔＰで算出するように、計算対象とする画素座標集合をあらかじめ用意しておく。ΔＰは、例えば５画素とする。これにより、動き量の計算対象領域４０において縦横５画素ごとに画素座標が設定される。
【００１９】
図４は、リサイズ後のフレーム画像において、計算対象とする画素座標集合を例示する図である。図４（ａ）は図３（ａ）の元の動画像に対応する図であり、図４（ｂ）は図３（ｂ）の元の動画像に対応する図である。それぞれ動き量の計算対象領域４０の中に、離散的に画素座標が設けられている。
【００２０】
（動き量算出部１２の説明）
動き量算出部１２は、動き量の計算対象領域４０のうち、図４（ａ）または図４（ｂ）に示される画素座標集合を計算対象としてそれぞれオプティカルフローを算出する。具体的には、上記ΔＴ１＝０．１秒離れた２フレームの画像に基づいて上記オプティカルフローを算出し、用意した画素座標集合に従ってオプティカルフローをサンプリングする。動き量算出部１２は、サンプリングしたオプティカルフローの数をＮとし、サンプリングした全てのオプティカルフローから平均値ｖ(mean) と標準偏差σを次式（１）により算出する。
【数１】
2015192337.tif 000003
【００２１】
動き量算出部１２は、標準偏差σが所定の閾値σthr 以下の場合は、その画素座標におけるオプティカルフローはノイズと判定して注目オプティカルフローは無いと判断する。このときの注目オプティカルフロー数は０である。動き量算出部１２は、標準偏差σが所定の閾値σthr より大きい場合は、サンプリングした全てのオプティカルフローｖi（i は画素座標のインデックスを表す）について、平均値ｖ(mean)からの残差と標準偏差σとを次式（２）を用いて比較する。
【数２】
2015192337.tif 000004
ここで、αは各画素のオプティカルフローが注目体のオプティカルフローに該当するか否かを決めるパラメータであり、本例では、例えばα＝１．４とする。閾値σthrは、例えば１画素とする。上式（２）を満たすｖiが注目オプティカルフローの候補となる。この注目オプティカルフローの候補数をｎとする。
【００２２】
動き量算出部１２は、注目オプティカルフローの候補数ｎが所定の判定閾値βＮより小さい場合は、それらの注目オプティカルフローの候補はノイズと判定して注目オプティカルフローは無いと判断する。このときの注目オプティカルフロー数は０である。ここでβは、注目オプティカルフロー数とみなすためのＮに対する割合閾値であり、本例ではβ＝０．０２とする。動き量算出部１２は、注目オプティカルフローの候補数ｎが上記判定閾値βＮより大きい場合に、それらを注目オプティカルフローとして扱う。このときの注目オプティカルフロー数をあらためてｎとする。
【００２３】
動き量算出部１２は、ある１フレームから以上のようにして算出された注目オプティカルフローの平均値、すなわち注目体のオプティカルフローの平均値を、当該１フレームにおける被写体の動き量とする。図５は、このようにして算出された時系列の動き量の一例を示す図である。図５において、横軸は時間、縦軸は動き量に対応し、曲線５１は、算出された動き量を表す。なお、以下の説明において、時系列の動き量のうち、動き量が極大である地点を「山」、動き量が極小である地点を「谷」と称することがある。
【００２４】
曲線５１の谷５２ａ〜５２ｐの部分（動き量の極小値の部分）は、被写体が１つの動作から次の動作に移行する点であると考えられる。例えば入力される動画像が野球のバッティングシーンであると仮定すると、スイングを行う動作と走り出す動作とを切り替える際に、被写体の動き量が極小となる。すなわち、それらの動作の間に、動き量の谷５２ａ〜５２ｐができる。従って、このような動き量の谷５２ａ〜５２ｐの部分にシーン区切りを設定すれば、被写体が新しい動作を開始する位置にシーン区切りを設定することができると考えられる。
【００２５】
なお、動き量が極小となる部分を谷と呼び、その谷の位置にシーン区切りを設定すると述べたが、ここで「極小」とは、周辺の動き量から見て相対的に動き量が小さい部分の代表例として挙げたものであり、数値的に厳密に極小であることを要しない。実際には、本実施形態と同様の効果が得られるのであれば、極小の地点から多少ずれた地点にシーン区切りを設定しても問題ない。すなわち極小の地点の近傍の地点にシーン区切りを設定してもよい。なお極小の地点の近傍の地点とは、例えば、極小の地点から極小の地点の動き量に対して所定の大きさ（例えば１０パーセント）動き量が大きくなる地点までの間に含まれるいずれかの地点であってもよい。また、極小の地点の近傍の地点とは、極小の地点から所定の時間（例えば±３秒）の間に含まれるいずれかの地点であってもよい。このように近傍の地点とは、動き量の大きさ近さや時間的な近さによって決められてもよい。
【００２６】
（フィルタ処理部１３の説明）
サンプリングした全てのフレームに対して動き量算出部１２が動き量を算出すると、時系列の動き量が得られる。しかしながら、図５に例示したように、動き量の値はノイズ環境下の１次元信号のように激しく振動する。このため、算出された動き量をそのまま用いると、短い間隔で多数のシーン区切りが設定されてしまう可能性がある。そこで、時系列の動き量から高周波成分をカットするために、フィルタ処理部１３がフィルタ処理を行う。このフィルタ処理は、例えば離散コサイン変換（discrete cosine transform; ＤＣＴ）を行い、その後、所定の高周波成分に相当する係数を除いて逆ＤＣＴ変換を行う処理である。
【００２７】
図６は、フィルタ処理後の動き量の一例を示す図である。図６において、横軸は時間、縦軸は動き量に対応する。破線５３は、図５の曲線５１と同様に、動き量算出部１２により算出された動き量を表し、曲線５４は、破線５３により表される動き量にフィルタ処理を適用した後の動き量を表す。フィルタ処理を適用したことで、動き量が滑らかな波の変化で表現されるようになる。図５では動き量に１６箇所の谷５２ａ〜５２ｐが存在していたのに対して、図６では、より少ない４箇所の谷５５ａ〜５５ｄが存在する。
【００２８】
（シーン区切り候補設定部１４の説明）
シーン区切り候補設定部１４は、図６に例示した時系列の動き量から見つかった谷５５ａ〜５５ｄをシーン区切り候補に設定する。つまり、シーン区切り候補設定部１４は、動画像の時間軸上における動き量が相対的に小さい位置をシーン区切り候補に設定する。ただし、シーン区切り候補設定部１４は、所定の条件を満たす谷についてはシーン区切り候補から除外する。
【００２９】
図７は、シーン区切り候補設定部１４の動作を説明する説明図である。図７において、横軸は時間、縦軸は動き量に対応する。曲線５６は、フィルタ処理部１３により出力される時系列の動き量の一部を表している。図７に図示した曲線５６には、時系列順に、山５７ａ、谷５７ｂ、山５７ｃ、谷５７ｄ、山５７ｅが存在する。ここで、山５７ｃと、その両隣の谷５７ｂ、５７ｄに注目する。谷５７ｂと山５７ｃの動き量の差ｄ１や、山５７ｃと谷５７ｄとの動き量の差ｄ２は、他の隣接する谷と山との動き量の差に比べて相対的に小さい。つまり、時系列の動き量の全体を通して見ると、２つの谷５７ｂ、５７ｄは事実上１つの谷であり、その間の山５７ｃはノイズであると考えられる。
【００３０】
シーン区切り候補設定部１４は、このように隣接する２つの谷５７ｂ、５７ｄ（１つの山の両隣に現れる谷を「隣接する２つの谷」と称している）と、その２つの谷５７ｂ、５７ｄの間に存在する山５７ｃとの動き量の差が所定のしきい値未満である場合には、２つの谷５７ｂ、５７ｄのうち一方をシーン区切り候補から除外する。具体的には、２つの谷５７ｂ、５７ｄのうち動き量が大きい谷５７ｄをシーン区切り候補から除外する。シーン区切り候補設定部１４は、このようにして除外された谷を除く全ての谷の位置をシーン区切り候補に設定する。
【００３１】
なお、隣接する３つ以上の谷について、それらの谷の全てが、その間に存在する山との動き量の差が所定のしきい値未満である場合には、それら３つ以上の谷から最も動き量が小さい１つだけを選び、残りの谷を全てシーン区切り候補から除外すればよい。
【００３２】
換言すると、シーン区切り候補設定部１４は、まず動画像の時間軸上において動き量が極小である地点を谷として検出する。次に、シーン区切り候補設定部１４は、動画像の時間軸上において動き量が極大である地点を山として検出する。そして、シーン区切り候補設定部１４は、１つの谷から他の谷までの区間において、当該区間に存在する全ての山が、当該山の動き情報と当該山に隣接する谷の動き情報との差が所定量以下であるという条件を満たす場合、当該区間に対して１つのシーン区切り候補を設定する。
【００３３】
（シーン区切り設定部１５の説明）
シーン区切り設定部１５は、シーン区切り候補設定部１４により設定されたシーン区切り候補から、最終的なシーン区切りを決定し、入力された動画像に設定する。全てのシーン区切り候補をシーン区切りに設定すると、シーン区切りが多くなりすぎてしまう（つまり、個々のシーンが短くなりすぎてしまう）可能性があるので、シーン区切り設定部１５は、シーン区切り同士の間隔が所定時間（例えば動画像の総再生時間の１０％）以上になるようにシーン区切り候補を間引く。つまり、シーン区切りにより区切られた各シーンが、少なくとも所定時間以上の時間を有するように、シーン区切り候補の中からシーン区切りを決定する。
【００３４】
次に、図８〜図１０を用いて、画像処理装置１０が実行する処理について説明する。図８は、画像処理装置１０が実行する処理のフローチャートである。図８に示す処理は、パーソナルコンピュータ１００が実行するプログラムに含まれる。
【００３５】
まずステップＳ１０で、前処理部１１が動画像の入力を受け付ける。ステップＳ２０で、前処理部１１が、入力された動画像に対して前述した前処理を行う。ステップＳ３０で、動き量算出部１２が、前処理部１１により前処理が施された各フレームの動き量を算出する。ステップＳ４０で、フィルタ処理部１３が、動き量算出部１２により算出された時系列の動き量の高周波成分をカットする。
【００３６】
ステップＳ５０で、シーン区切り候補設定部１４が、フィルタ処理部１３により高周波成分がカットされた時系列の動き量に対して、後述するシーン区切り候補設定処理を実行する。ステップＳ６０で、シーン区切り設定部１５が後述するシーン区切り設定処理を実行する。ステップＳ７０で、シーン区切り設定部１５はシーン区切りが設定された動画像を出力する。
【００３７】
図９は、図８のステップＳ５０で呼び出されるシーン区切り候補設定処理のフローチャートである。まずステップＳ１１０で、シーン区切り候補設定部１４は動き量の谷（極小値）を全て列挙する。ステップＳ１２０で、シーン区切り候補設定部１４は隣接する２つの谷の組み合わせの中から未選択のものを１つ選択する。ステップＳ１３０でシーン区切り候補設定部１４は、選択した２つの谷のうち１つ目の谷と２つ目の谷の間にある山との動き量の差を演算する。ここで演算された差をｄ１とする。
【００３８】
ステップＳ１４０でシーン区切り候補設定部１４は、選択した２つの谷のうち２つ目の谷と２つの谷の間にある山との動き量の差を演算する。ここで演算された差をｄ２とする。ステップＳ１５０でシーン区切り候補設定部１４は、ｄ１とｄ２の少なくとも一方が所定のしきい値Ｔｈ１未満であるか否かを判定する。ｄ１もｄ２もしきい値Ｔｈ１以上であった場合、シーン区切り候補設定部１４は処理をステップＳ１９０に進める。他方、ｄ１とｄ２の少なくとも一方がしきい値Ｔｈ１未満であった場合、シーン区切り候補設定部１４は処理をステップＳ１６０に進める。
【００３９】
ステップＳ１６０でシーン区切り候補設定部１４は、ｄ１がｄ２よりも小さいか否かを判定する。ｄ１がｄ２よりも小さい場合、シーン区切り候補設定部１４は処理をステップＳ１７０に進める。ステップＳ１７０でシーン区切り候補設定部１４は、１つ目の谷をシーン区切り候補から除外する。他方、ステップＳ１６０において、ｄ１がｄ２以上であった場合、シーン区切り候補設定部１４は処理をステップＳ１８０に進める。ステップＳ１８０でシーン区切り候補設定部１４は、２つ目の谷をシーン区切り候補から除外する。
【００４０】
ステップＳ１９０でシーン区切り候補設定部１４は、隣接する２つの谷の組み合わせ全てについて処理が完了したか否か、すなわち、隣接する２つの谷の組み合わせに未選択のものが存在するか否かを判定する。未選択の組み合わせが存在する場合、シーン区切り候補設定部１４は処理をステップＳ１２０に進める。他方、全ての組み合わせについて処理が完了した場合、シーン区切り候補設定部１４は処理をステップＳ２００に進める。ステップＳ２００でシーン区切り候補設定部１４は、除外されなかった全ての谷の位置をシーン区切り候補に設定する。ステップＳ２０２でシーン区切り候補設定部１４は、動画像の終端位置をシーン区切り候補に設定する。
【００４１】
図１０は、図８のステップＳ６０で呼び出されるシーン区切り設定処理のフローチャートである。まずステップＳ２１０で、シーン区切り設定部１５は、変数Ｐ１を動画像の開始位置に設定する。ステップＳ２２０でシーン区切り設定部１５は、時系列順で次のシーン区切り候補を選択し、その位置を変数Ｐ２に設定する。最初にステップＳ２２０を実行したとき、変数Ｐ２には時系列順で１つ目のシーン区切り候補の位置が設定される。ステップＳ２３０でシーン区切り設定部１５は、変数Ｐ２の位置と変数Ｐ１の位置との差（時間差）が、所定のしきい値Ｔｈ２（例えば動画像の総再生時間の１０％）より大きいか否かを判定する。
【００４２】
例えば、変数Ｐ１が動画像の開始位置、変数Ｐ２が動画像の「０分１０秒」の位置、動画像の総再生時間が「２分２０秒」であれば、しきい値Ｔｈ２は「１４秒」であり、変数Ｐ２の位置と変数Ｐ１の位置との差（時間差）は「１０秒」であるので、ステップＳ２３０では否定判定が為される。
【００４３】
ステップＳ２３０で否定判定が為された場合、シーン区切り設定部１５は処理をステップＳ２６０に進める。他方、ステップＳ２３０で肯定判定が為された場合、すなわち変数Ｐ２と変数Ｐ１とがしきい値Ｔｈ２よりも離れていた場合、シーン区切り設定部１５は処理をステップＳ２４０に進める。
【００４４】
ステップＳ２４０でシーン区切り設定部１５は、変数Ｐ２の位置にシーン区切りを設定する。ステップＳ２５０でシーン区切り設定部１５は、変数Ｐ１に変数Ｐ２の内容を設定する。ステップＳ２６０でシーン区切り設定部１５は、シーン区切り候補設定部１４により設定された全てのシーン区切り候補のうち、ステップＳ２２０で選択されたことのない（変数Ｐ２に位置を設定されたことのない）シーン区切り候補が残っているか否かを判定する。そのようなシーン区切り候補が残っている場合、シーン区切り設定部１５は処理をステップＳ２２０に進める。そして、ステップＳ２２０で次のシーン区切り候補を選択して、以降の処理を実行する。なお、時系列順で最後のシーン区切り候補は、動画像の終端位置に設定されている（図９のステップＳ２０２）。従って、ステップＳ２２０において、変数Ｐ２に最後に設定される位置は動画像の終端位置である。ステップＳ２６０において、全てのシーン区切り候補が選択済であった場合、シーン区切り設定部１５は図１０に示す処理を終了する。
【００４５】
以上の処理によって、１つ乃至複数のシーン区切りが設定された動画像を得ることができる。シーン区切り設定部１５により設定されたシーン区切りは、例えば動画像の再生時にいわゆるチャプターマークとして巻き戻しや早送りの目印に利用することができる。また、設定されたシーン区切りを利用して、動画像を注目被写体の動作（シーン）ごとに分割し複数の動画像を作成することも可能である。その他、動き量算出部１２により算出された動き量と組み合わせて、動画像のハイライトシーンだけを抽出した（動き量の少ないシーンを排除した）ダイジェスト版の動画像を作成することも可能である。なお、シーン区切りを利用して入力動画像から複数の動画像を作成する場合、各々の動画像に含まれるシーンを重複させてもよい。
【００４６】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）動き量算出部１２は、動画像から動き量（動き情報）を取得する。シーン区切り設定部１５は、動画像の時間軸上において、動き量算出部１２により取得された動き量のうち動き量が相対的に小さい位置をシーン区切り（区切り位置）に設定する。このようにしたので、重要シーンの区切り位置を的確に特定することができる。
【００４７】
（２）シーン区切り候補設定部１４は、動画像の時間軸上において動き量が極小である地点を谷（第１地点）として検出する第１地点検出部として機能する。シーン区切り候補設定部１４は、検出した谷の動き量に基づいてシーン区切り候補を設定する。このようにしたので、動き量が小さい部分、すなわち被写体のある動作と別の動作とが切り替わる部分にシーン区切りを設定することになり、重要シーンを的確に区切ることができる。
【００４８】
（３）シーン区切り候補設定部１４は、動画像の時間軸上において動き量が極大である地点を山（第２地点）として検出する第２地点検出部として機能する。シーン区切り候補設定部１４は、１つの谷から他の谷までの区間において、当該区間に存在する全ての山が、当該山の動き量と当該山に隣接する谷の動き量との差が所定量以下であるという条件を満たす場合、当該区間に対して１つのシーン区切り候補を設定する。このようにしたので、図７の山５７ｃのように、ノイズと考えられる山が単独のシーンとして区切られることがない。
【００４９】
（４）シーン区切り設定部１５は、シーン区切りにより規定される１つのシーンの長さが所定時間以上になるようにシーン区切りを設定する。このようにしたので、短すぎるシーンが作成されることがなく、使い勝手が向上する。
【００５０】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る画像処理装置について説明する。第２の実施の形態に係る画像処理装置は、シーン区切り候補設定部１４が実行するシーン区切り候補設定処理（図７を用いて説明し図９にフローチャートで示した処理）の内容が異なることを除き、第１の実施の形態に係る画像処理装置と同一の構成を有する。以下、本実施形態のシーン区切り候補設定部１４が実行するシーン区切り候補設定処理について説明する。なお、他の部分については第１の実施の形態と同様であるため説明を省略する。
【００５１】
図１１は、シーン区切り候補設定部１４の動作を説明する説明図である。図１１において、横軸は時間、縦軸は動き量に対応する。曲線５８は、フィルタ処理部１３により出力される時系列の動き量の一部を表している。図１１に図示した曲線５８には、時系列順に、谷５９ａ、山５９ｂ、谷５９ｃ、山５９ｄ、谷５９ｅ、山５９ｆ、谷５９ｇが存在する。
【００５２】
本実施形態のシーン区切り候補設定部１４は、まず、動画像全体の動き量の平均値を演算する。図１１の直線６０は、この平均値を表している。次にシーン区切り候補設定部１４は、全ての谷５９ａ、５９ｃ、５９ｅ、５９ｇのうち、動き量が平均値を上回っている谷５９ｅをノイズと見なし、シーン区切り候補から除外する。そして、残りの谷５９ａ、５９ｃ、５９ｇを、シーン区切り候補に設定する。
【００５３】
図１２は、本実施形態のシーン区切り候補設定部１４が実行するシーン区切り候補設定処理のフローチャートである。本実施形態の画像処理装置においては、図９に示す処理の代わりに、図１２に示す処理が実行される。まずステップＳ３１０で、シーン区切り候補設定部１４は時系列の動き量の平均値を算出する。ステップＳ３２０で、シーン区切り候補設定部１４は動き量の谷（極小値）を全て列挙する。ステップＳ３３０で、シーン区切り候補設定部１４は全ての谷のうち未選択の谷を１つ選択する。
【００５４】
ステップＳ３４０でシーン区切り候補設定部１４は、選択した谷の動き量がステップＳ３１０で算出した平均値を超えるか否かを判定する。選択した谷の動き量が平均値を超える場合、シーン区切り候補設定部１４は処理をステップＳ３５０に進める。ステップＳ３５０で、シーン区切り候補設定部１４は選択中の谷をシーン区切り候補から除外してステップＳ３６０に進む。他方、ステップＳ３４０において、選択した谷の動き量が平均値以下であった場合、シーン区切り候補設定部１４は処理をステップＳ３６０に進める。
【００５５】
ステップＳ３６０でシーン区切り候補設定部１４は、全ての谷を選択済みか否かを判定する。未選択の谷が残っていた場合、シーン区切り候補設定部１４は処理をステップＳ３３０に進める。他方、全ての谷を選択済であった場合、シーン区切り候補設定部１４は処理をステップＳ３７０に進める。ステップＳ３７０でシーン区切り候補設定部１４は、除外されなかった全ての谷の位置をシーン区切り候補に設定する。ステップＳ３８０でシーン区切り候補設定部１４は、動画像の終端位置をシーン区切り候補に設定する。
【００５６】
上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）シーン区切り候補設定部１４は、平均値以上の動き量を有する谷を排除してシーン区切り候補を設定する。つまり、シーン区切り候補設定部１４は、平均値以下の動き量を有する谷に基づいてシーン区切り候補を設定する。このようにしたので、重要シーンの区切り位置を的確に特定することができる。
【００５７】
（第３の実施の形態）
以下、本発明の第３の実施の形態に係る画像処理装置について説明する。第３の実施の形態に係る画像処理装置は、総シーン数を所望の数になるようにシーン区切りを設定することを除き、第１の実施の形態に係る画像処理装置と同一の構成を有する。以下、本実施形態の画像処理装置が実行する処理について説明する。なお、他の部分については第１の実施の形態と同様であるため説明を省略する。
【００５８】
本実施形態のシーン区切り設定部１５は、シーン区切りにより区切られるシーンの数が所望の数になるようにシーン区切りを設定する。このときシーン区切り設定部１５は、第１の実施の形態と同様に、各々のシーン（すなわちシーン区切りの間隔）が少なくとも所定時間以上の時間を有するようにシーン区切りを設定する。
【００５９】
シーン区切り設定部１５は、まず、第１の実施の形態におけるシーン区切り設定処理と同一の処理（図１０に示す処理）を実行する。その後、この処理によって設定されるシーン数が所望の数より多ければ、いったんシーン区切りおよびシーン区切り候補の設定をリセットする。そして、逆ＤＣＴの次数を減らしてフィルタ処理からもう一度処理をやり直す。つまり、より低周波数の帯域までカットされた動き量に基づき、フィルタ処理、シーン区切り候補設定処理、およびシーン区切り設定処理をやり直す。逆に、図１０に示す処理を実行した結果、シーン数が所望の数より少なければ、逆ＤＣＴの次数を増やして、同様に処理をやり直す。
【００６０】
このように、本実施形態のシーン区切り設定部１５は、逆ＤＣＴの次数を調節することにより、所望のシーン数になるシーン区切りを設定する。なお、所望のシーン数はユーザが手動で設定してもよいし、動画像の総再生時間等から自動的に設定してもよい。例えば、動画像の総再生秒数の１％を所望のシーン数にすることができる。例えば総再生秒数が１８００秒であれば、シーン数を１８とする。
【００６１】
図１３は、本実施形態の画像処理装置が実行する処理のフローチャートである。本実施形態の画像処理装置においては、図８に示す処理の代わりに、図１３に示す処理が実行される。まずステップＳ４１０で、前処理部１１が動画像の入力を受け付ける。ステップＳ４２０で、前処理部１１が、入力された動画像に対して前述した前処理を行う。ステップＳ４３０で、動き量算出部１２が、前処理部１１により前処理が施された各フレームの動き量を算出する。
【００６２】
ステップＳ４４０で、フィルタ処理部１３が、逆ＤＣＴに利用する次数に初期値を設定する。ステップＳ４５０で、フィルタ処理部１３が、動き量算出部１２により算出された時系列の動き量の高周波成分をカットする。ステップＳ４６０で、シーン区切り候補設定部１４が、フィルタ処理部１３により高周波成分がカットされた時系列の動き量に対して、図９に示すシーン区切り候補設定処理を実行する。ステップＳ４７０で、シーン区切り設定部１５が、図１０に示すシーン区切り設定処理を実行する。
【００６３】
ステップＳ４８０で、シーン区切り設定部１５は、総シーン数が所望のシーン数であるか否かを判定する。総シーン数が所望のシーン数でなかった場合、シーン区切り設定部１５は処理をステップＳ４９０に進める。ステップＳ４９０でシーン区切り設定部１５は、フィルタ処理部１３によるフィルタ処理と、シーン区切り候補設定部１４によるシーン区切り候補設定処理と、シーン区切り設定部１５によるシーン区切り設定処理と、の結果をリセットする。ステップＳ５００でシーン区切り設定部１５は、フィルタ処理部１３が逆ＤＣＴに利用する次数を変更する。具体的には、ステップＳ４７０で設定された総シーン数が所望のシーン数よりも少ない場合には次数を増やし、逆に総シーン数が所望のシーン数よりも多い場合には次数を減らす。その後、シーン区切り設定部１５は、処理をステップＳ４５０に進める。
【００６４】
ステップＳ４８０において、総シーン数が所望のシーン数と一致していた場合、シーン区切り設定部１５は処理をステップＳ５１０に進める。ステップＳ５１０でシーン区切り設定部１５は、シーン区切りが設定された動画像を出力する。
【００６５】
上述した第３の実施の形態によれば、次の作用効果が得られる。
（１）フィルタ処理部１３は、動き量算出部１２により取得された動き量に所定のフィルタ処理を施す。シーン区切り設定部１５は、フィルタ処理部１３によりフィルタ処理が施された動き量に基づいてシーン区切りの設定を試み、シーン区切りの総数が所望の数にならなかった場合には、フィルタ処理部１３に前回のフィルタ処理とは異なるフィルタ処理を施させた後に再度シーン区切りの設定を試みる。具体的には、逆ＤＣＴの次数を前回とは異ならせる。このようにしたので、総シーン数を所望の数に設定することができる。
【００６６】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００６７】
（変形例１）
上述した各実施の形態で説明した、前処理部１１による前処理の方法、動き量算出部１２による動き量の算出方法、フィルタ処理部１３によるフィルタ処理の方法等は一例であり、上述した各実施の形態と異なる内容としてもよい。例えば、動き量を注目オプティカルフローの平均値ではなく、画面全体のオプティカルフローの平均値としてもよいし、オプティカルフロー以外の手法により動き量を算出してもよい。また、フィルタ処理は、高周波数成分を除去するものであれば、ＤＣＴフィルタとは異なるフィルタを用いてもよい。例えば、一部分の帯域のみを通過させるバンドパスフィルタでもよい。また、所定の高周波領域のみをカットするようなフィルタでもよい。
【００６８】
（変形例２）
上述した説明において例示した各値（例えば入力動画像のフレームレート：３０ｆｐｓ、ΔＴ０＝１秒、ΔＴ１＝０．１秒、入力動画像の画素数、リサイズ時の画素数、トリミング倍率０．８倍、オプティカルフローの算出時におけるΔＰ＝５画素、閾値σthr＝１画素、割合閾値β＝０．０２、パラメータα＝１．４など）は一例であり、適宜変更して構わない。
【００６９】
（変形例３）
第１の実施の形態において、隣接する２つの谷のうち一方をシーン区切り候補から除外する際、動き量の小さい方を残していたが、これを変更してもよい。例えば、谷５７ｂと谷５７ｄの動き量自体を比較して動き量の小さい方を残すのではなく、その間に存在する山５７ｃの動き量との差ｄ１、ｄ２を比較して、その差がより大きい谷５７ｂを残す（小さい谷５７ｄを除外する）ようにしてもよい。隣接する２つの谷について処理を行う場合、これは動き量の小さい方を残す第１の実施の形態と同一の結果となるが、隣接する３つ以上の谷について処理を行う場合、第１の実施の形態とは異なる結果が得られる。
【００７０】
その他の例としては、図７において、５７ａおよび５７ｂの差ｄ３と、５７ｄおよび５７ｅの差ｄ４とを更に求め、ｄ１およびｄ３の比と、ｄ２およびｄ４の比とを比較して大きい方の谷を除外することもできる。また、隣接する２つの谷のうち一方の谷の位置をシーン区切り候補とするのではなく、２つの谷の位置の中間地点をシーン区切り候補に設定してもよい。例えば、２つの谷の位置の中央をシーン区切り候補に設定してもよいし、ｄ１とｄ２との比率に応じた位置をシーン区切り候補に設定してもよい。
【００７１】
（変形例４）
第２の実施の形態において、動き量の平均値（図１１の直線６０により表される値）を動画像全体から演算するのではなく、動画像の一部から演算するようにしてもよい。例えば、動画像を３０秒ごとの区間に分割し、その区間ごとに動き量の平均値を演算する。そして、その区間内に存在する谷をシーン区切り候補から除外するか否かを決定する際に、その区間について演算された平均値を基準とする。また、平均値未満の山が存在する場合、その両隣の谷のうち一方のみをシーン区切り候補とし他方を除外するようにしてもよい。例えば図１１において、山５９ｂは平均値を下回っているので、谷５９ａと谷５９ｃのうち一方（例えば動き量が小さい方の谷５９ａ）をシーン区切り候補とし他方（例えば谷５９ｃ）をシーン区切り候補から除外する。
【００７２】
（変形例５）
第１の実施の形態と第２の実施の形態とを組み合わせてもよい。つまり、シーン区切り候補設定部１４が、図９に示す処理と、図１２に示す処理の両方を実行するようにしてもよい。
【００７３】
（変形例６）
第３の実施の形態において、逆ＤＣＴの次数を変更してシーン数（シーン区切りの数）を増減させる代わりに、所定の優先順でシーン区切り候補から所望のシーン数になるまでシーン区切りを選択してもよい。優先順の例としては、動き量自体の小さい順や、隣接する山との動き量の差が大きい順など、種々の優先順を設定することができる。
【００７４】
（変形例７）
上述した各実施形態において「シーン区切り」とは、２つのシーンを区切るものであって、２つのシーンの間に一点だけ設定されるものであった。本発明の「シーン区切り」は、このように２つのシーンに共通のある一点で区切るものに限定されない。具体的には、隣接する（連続する）２つのシーンについて、一方のシーンに関するシーン区切りと、他方のシーンに関するシーン区切りとを異ならせることも可能である。
【００７５】
例えば図７において、谷５７ｂと谷５７ｄに注目する。上述した各実施の形態では、「シーン区切り」をある一点に設定するものとしていたため、谷５７ｂと谷５７ｄのいずれか一方のみにシーン区切りを設定したり、その間のいずれか一点にシーン区切りを設定したりしていた。その結果、谷５７ｂから谷５７ｄまでの区間に含まれる各フレームは、１つ目のシーン（谷５７ｂ以前のシーン）に含まれるか、２つ目のシーン（谷５７ｄ以降のシーン）に含まれるか、のいずれか一方であった。ここで、１つ目のシーンに対応するシーン区切りを谷５７ｄの位置に設定し、２つ目のシーンに対応するシーン区切りを谷５７ｂの位置に設定してもよい。このように、２つのシーンを区切るシーン区切りを、シーンごとに異なる位置に対して設定すると、シーン区切りの利用方法を更に発展させることが可能である。
【００７６】
例えば、動画像をシーン区切りに応じて分割しシーンごとの複数の動画像を作成する場合を考える。このとき、谷５７ｂと谷５７ｄとに設定されたシーン区切りで動画像を分割することになるが、１つ目の動画像は始端から谷５７ｄの位置まで、２つ目の動画像は谷５７ｂの位置から終端まで、というように、分割される２つの動画像をオーバーラップさせることができるようになる。このようにすると、１つ目の動画像には、１つ目の動画像に含まれるシーンの余韻としての谷５７ｂから谷５７ｄまでのシーンを含めることができ、且つ、２つ目の動画像には、２つ目の動画像に含まれるシーンの準備動作としての谷５７ｂから谷５７ｄまでのシーンを含めることができる。
【００７７】
上記説明においては、実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００７８】
１０…画像処理装置、１１…前処理部、１２…動き量算出部、１３…フィルタ処理部、１４…シーン区切り候補設定部、１５…シーン区切り設定部、１００…パーソナルコンピュータ、１０１…通信回線、１０４…記録媒体
【図１】
2015192337.tif 000005
【図２】
2015192337.tif 000006
【図３】
2015192337.tif 000007
【図４】
2015192337.tif 000008
【図５】
2015192337.tif 000009
【図６】
2015192337.tif 000010
【図７】
2015192337.tif 000011
【図８】
2015192337.tif 000012
【図９】
2015192337.tif 000013
【図１０】
2015192337.tif 000014
【図１１】
2015192337.tif 000015
【図１２】
2015192337.tif 000016
【図１３】
2015192337.tif 000017