(57)【要約】【課題】和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とする。【解決手段】代表画像作成部１０２は、所定シーンの画像信号を処理し、この所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する。全画面動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動きを算出する。滞留数算出部１０４は、所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。シンボル描画部１０５は、各画面の滞留数に基づいて、代表画像の周縁部に、全画面動きを示すシンボルを描画する。和集合画像よりなるシーン代表画像として、その周縁部に全画面動きを示すシンボルが描画されたものを得ることができる。シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。【選択図】図１
2011199558.tif 000002
【特許請求の範囲】
【請求項１】
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
【請求項２】
上記所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出部をさらに備え、
上記滞留数算出部は、
所定の画面において、滞留していると判断するとき、該所定の画面の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の滞留数を上記滞留カウンタの値とすると共に、該滞留カウンタの値を１とし、さらに、最終画面の滞留数を上記滞留カウンタの値とし、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項３】
上記シンボル描画部は、所定画面の滞留数が１以上のとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルを描画する
請求項２に記載の画像処理装置。
【請求項４】
上記シンボル描画部は、
上記所定の画面の滞留数がＮ（Ｎは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルとして通常シンボルを描画し、
上記所定の画面の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルとして滞留シンボルを描画する
請求項３に記載の画像処理装置。
【請求項５】
上記シンボル描画部は、
上記所定の画面の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記滞留シンボルと共に、滞留数を描画する
請求項４に記載の画像処理装置。
【請求項６】
上記シンボル描画部は、最終画面において、上記代表画像の周縁部の該最終画面に対応した位置に、上記シンボルとして終端シンボルを描画する
請求項４に記載の画像処理装置。
【請求項７】
上記シンボル描画部は、
上記所定の画面の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記滞留シンボルと共に、滞留の順序を示すシンボルを描画する
請求項４に記載の画像処理装置。
【請求項８】
上記Ｎの値をユーザが設定するためのユーザ設定部をさらに備える
請求項４に記載の画像処理装置。
【請求項９】
上記シンボル描画部は、
全画面動き方向が途中で第１の方向から該第１の方向とは逆の第２の方向に変わるとき、
全画面動き方向が上記第１の方向にある各画面に対応した上記シンボルの描画位置と、全画面動き方向が上記第２の方向にある各画面に対応した上記シンボルの描画位置とを、上記第１の方向および上記第２の方向と直交する方向にずらす
請求項３に記載の画像処理装置。
【請求項１０】
上記滞留数算出部は、
上記所定の画面において、該所定の画面の全画面動きが０であるか否かにより、滞留しているか否かを判断する
請求項２に記載の画像処理装置。
【請求項１１】
上記滞留数算出部は、
上記所定の画面において、該所定の画面の全画面動きが閾値の範囲内にあるか否かにより、滞留しているか否かを判断する
請求項２に記載の画像処理装置。
【請求項１２】
上記滞留数算出部は、
各画面の全画面動きを累積していく累積手段を有し、
上記所定の画面において、累積手段の累積値が閾値の範囲内にあるか否かにより、滞留しているか否かを判断し、さらに、滞留していないと判断するとき上記累積手段の累積値を０にリセットする
請求項２に記載の画像処理装置。
【請求項１３】
上記所定シーンの画像信号を処理し、該所定シーン内の各画面の全画面動きを算出する全画面動き算出部をさらに備え、
上記シンボル描画部は、上記全画面動き算出部で算出された上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項１４】
所定シーンの画像信号を処理し、該所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成ステップと、
上記所定シーンの画像信号を処理し、該所定シーン内の各画面の全画面動きを算出する全画面動き算出ステップと、
上記全画面動き算出ステップで算出された上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成ステップで作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画ステップと
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、シーン毎の代表画像として和集合画像を作成する画像処理装置等に関する。
【背景技術】
【０００２】
従来、全体が撮像機（カメラ）の１画面分に収まらない被写体を、パンあるいはチルトなどの手法を用いて、複数フレームで撮影することが行われる。図１３は、水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示している。
【０００３】
また、従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている。この場合、例えば上述したようにパン手法を用いて撮影された撮像機（カメラ）の１画面分に収まらない被写体に関して、閲覧者、編集者等は、その全体像を把握することができない。
【０００４】
また、従来、例えば上述したようにパン手法を用いて撮影して得られた画像信号を処理し、複数画面（複数フレーム）の画像をつなぎ合わせた和集合画像を作成することが知られている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−２９８１３７号公報
【特許文献２】特開平０６−３２６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
シーン毎に、上述した和集合画像を代表画像（サムネイル）として作成することが考えられる。このように作成される代表画像にあっては、撮像機（カメラ）の１画面分に収まらない、例えば上述したようにパン手法を用いて撮影された被写体に関して、閲覧者、編集者等は、その全体像を把握することが可能となる。
【０００７】
しかし、この代表画像にあっても、どのような速度でパンされているか等の情報を得ることはできない。これでは、画像の閲覧者、編集者等が、そのシーンに、「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見る際に問題となる。
【０００８】
この発明の目的は、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とすることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置にある。
【００１０】
この発明においては、代表画像作成部により、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。そして、シンボル描画部により、所定シーン内の各画面の全画面動きに基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルが描画される。このように、この発明においては、和集合画像よりなるシーン代表画像の周縁部に全画面動きを示すシンボルが描画される。そのため、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。
【００１１】
この発明において、例えば、所定シーン内の各画面の全画面動きを算出する全画面動き算出部をさらに備え、シンボル描画部は、全画面動き算出部で算出された所定シーン内の各画面の全画面動きに基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルを描画する、ようにされる。
【００１２】
また、この発明において、例えば、全画面動き算出部で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出部をさらに備え、滞留数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の滞留数を滞留カウンタの値とすると共に、この滞留カウンタの値を１とし、さらに、最終画面の滞留数を上記滞留カウンタの値とし、シンボル描画部は、滞留数算出部で算出された各画面の滞留数に基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルを描画する、ようにされる。
【００１３】
例えば、滞留数算出部では、所定の画面の全画面動きが０であるか否かにより、滞留しているか否かが判断される。また、例えば、滞留数算出部では、各画面の全画面動きを累積していく累積手段の累積値が閾値の範囲内にあるか否かにより、滞留しているか否かが判断される。なお、累積手段は、滞留していないと判断されるとき、０にリセットされる。
【００１４】
また、この発明において、例えば、シンボル描画部は、所定画面の滞留数が１以上のとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルを描画する、ようにされる。
【００１５】
また、この発明において、例えば、シンボル描画部は、所定の画面の滞留数がＮ（Ｎは１以上の整数）以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルとして通常シンボルを描画し、所定の画面の滞留数がＮを超えるとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルとして滞留シンボルを描画する、ようにされる。
【００１６】
また、この発明において、例えば、シンボル描画部は、所定の画面の滞留数がＮを超えるとき、代表画像の周縁部のこの所定の画面に対応した位置に、滞留シンボルと共に、滞留数を描画する、ようにされる。
【００１７】
また、この発明において、シンボル描画部は、最終画面において、代表画像の周縁部のこの最終画面に対応した位置に、シンボルとして終端シンボルを描画する、ようにされる。
【００１８】
また、この発明において、例えば、シンボル描画部は、所定の画面の滞留数がＮを超えるとき、代表画像の周縁部のこの所定の画面に対応した位置に、滞留シンボルと共に、滞留の順序を示すシンボルを描画する、ようにされる。
【００１９】
また、この発明において、例えば、Ｎの値をユーザが設定するためのユーザ設定部をさらに備える、ようにされる。
【００２０】
また、この発明において、例えば、シンボル描画部は、全画面動き方向が途中で第１の方向からこの第１の方向とは逆の第２の方向に変わるとき、全画面動き方向が第１の方向にある各画面に対応したシンボルの描画位置と、全画面動き方向が第２の方向にある各画面に対応したシンボルの描画位置とを、第１の方向および第２の方向と直交する方向にずらす、ようにされる。
【発明の効果】
【００２１】
この発明によれば、和集合画像よりなるシーン代表画像の周縁部に全画面動きを示すシンボルが描画されるため、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。
【図面の簡単な説明】
【００２２】
【図１】この発明の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】滞留数算出部における処理手順の一例を示すフローチャートである。
【図３】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、滞留数算出処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示す図である。
【図４】シンボル描画部における処理手順の一例を示すフローチャートである。
【図５】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の描画例を示す図である。
【図６】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の他の描画例を示す図である。
【図７】滞留ブレＡmvが閾値の範囲内にあるか否かにより滞留か否かを判断する場合における、滞留数算出部の処理手順の一例を示すフローチャートである。
【図８】滞留シンボルに滞留の順序を示すシンボル（滞留ＩＤ）が加えられる場合における、シンボル描画部の処理手順の一例を示すフローチャートである。
【図９】全画面動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの描画例を示す図である。
【図１０】全画面動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの他の描画例を示す図である。
【図１１】全画面動きを水平方向、垂直方向にベクトル分解し、それぞれのベクトル方向にシンボルを描画する方法における描画例を示す図である。
【図１２】全画面動きを示すシンボルの線分以外の例を示す図である。
【図１３】水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示す図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２４】
＜１．実施の形態＞
［画像処理装置の構成例］
図１は、実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像入力部１０１と、和集合画像作成部１０２と、全画面動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５と、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。
【００２５】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および全画面動き算出部１０３に、順次供給する。
【００２６】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５は、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。
【００２７】
代表画像作成部１０２は、所定シーンの画像信号を処理し、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２は、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【００２８】
全画面動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き（動きベクトル）を算出する。この全画面動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００１−０８６３８７号公報、特開２００７−１０４５１６号公報、特開２００４−８８４７４号公報などに詳述されている。例えば、全画面動き算出部１０３は、上述した代表画像作成部１０２における全画面動き（動きベクトル）の算出処理と同様の処理で、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出する。
【００２９】
滞留数算出部１０４は、全画面動き検出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。
【００３０】
［滞留数算出処理］
図２のフローチャートは、滞留数算出部１０４における処理手順の一例を示している。滞留数算出部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、累積値（累積動き量）Ｔの値を０に設定する。そして、滞留数算出部１０４は、ステップＳＴ３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００３１】
次に、滞留数算出部１０４は、ステップＳＴ４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ５の処理に移る。このステップＳＴ５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。
【００３２】
次に、滞留数算出部１０４は、ステップＳＴ６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、現在フレームの全画面動きＭｖが０であるか否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ｍｖが０であるときは滞留であると判断し、Ｍｖが０以上であるときは滞留でないと判断する。
【００３３】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ７の処理に移る。このステップＳＴ７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とし、さらに、ステップＳＴ９において、滞留カウンタＣの値を１とする。
【００３４】
滞留数算出部１０４は、ステップＳＴ７の処理の後、およびステップＳＴ９の処理の後に、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４の処理に戻る。
【００３５】
また、ステップＳＴ４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ１１の処理に移る。このステップＳＴ１１において、滞留数算出部１０４は、処理フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ１１において、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を、現在フレーム（＝最終フレーム）の累積値として記録する。そして、滞留数算出部１０４は、ステップＳＴ１２において、処理を終了する。
【００３６】
図３は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、図２のフローチャートの処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示している。この例おいては、フレーム１からフレーム１０までは全画面動きＭｖが０であるので連続して滞留と判断される。そして、フレーム１１で全画面動きＭｖが５０であるので滞留でないと判断される。そのため、フレーム１からフレーム９までの滞留数は０とされ、フレーム１０の滞留数は１０とされる。
【００３７】
また、この例においては、フレーム１１からフレーム２５まで全画面動きＭｖが０でないので連続して滞留でないと判断される。そのため、フレーム１１からフレーム２５までの滞留数は１とされる。さらに、この例においては、フレーム２６からフレーム３９までは全画面動きＭｖが０であるので連続して滞留と判断される。そのため、フレーム２６からフレーム３９までの滞留数は０とされ、最終フレームであるフレーム４０の滞留数は１５とされる。
【００３８】
シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルを描画する。また、シンボル描画部１０５は、周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【００３９】
［シンボル描画処理］
図４のフローチャートは、シンボル描画部１０５における処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、シンボル描画部１０５は、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、シンボル描画部１０５は、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【００４０】
次に、シンボル描画部１０５は、ステップＳＴ２３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ２２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ２４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００４１】
次に、シンボル描画部１０５は、ステップＳＴ２５において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ２６の処理に移る。このステップＳＴ２６において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【００４２】
滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ２７において、処理フレームを次のフレームとし、その後に、ステップＳＴ２５の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ２８の処理に移る。このステップＳＴ２８において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ２８の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４３】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００４４】
また、シンボル描画部１０５は、このステップＳＴ２９において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ２９の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４５】
また、ステップＳＴ２５で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ３０の処理に移る。このステップＳＴ３０において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００４６】
また、シンボル描画部１０５は、このステップＳＴ３０において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【００４７】
図５は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、この描画例では、各シンボルは線分で表されている。この例においては、フレーム１からフレーム９までは滞留数が０であるのでシンボルの描画は行われない。そして、フレーム１０では滞留数が１０であるので、そのフレームに対応した位置（そのフレームの右上位置）に滞留シンボルが描画され、さらに、それに対応した位置に滞留数「１０」が描画される。
【００４８】
また、フレーム１１からフレーム２５までは滞留数が１であるので、そのフレームに対応した位置に通常シンボルが描画される。また、フレーム２６からフレーム３９までは滞留数が０であるのでシンボルの描画は行われない。そして、終端のフレーム４０では終端シンボルが描画され、さらに、それに対応した位置に滞留数「１５」が描画される。
【００４９】
なお、図５は、全画面動き方向が水平方向の場合の描画例を示しているが、全画面動き方向がその他の方向の場合も同様に描画が行われる。例えば、図６（ａ）は、全画面動き方向が垂直方向の場合の描画例を示し、図６（ｂ）は、全画面動き方向が斜め方向の場合の描画例を示している。
【００５０】
出力機器インタフェース１０６は、シンボル描画部１０５から供給される画像データ、つまり周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００５１】
［画像処理装置の動作例］
図１に示す画像処理部１００の動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【００５２】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および全画面動き検出部１０３に順次供給することが行われる。
【００５３】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５では、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
【００５４】
また、全画面動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される（図２参照）。
【００５５】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５に供給される。また、このシンボル描画部１０５には、代表画像作成部１０２で作成された代表画像（和集合画像）の画像信号（画像データ）が供給される。このシンボル描画部１０５では、所定シーン内の各画面の滞留数に基づいて、代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルが描画される（図４参照）。
【００５６】
この場合、滞留数が１である画面においては、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして通常シンボルが描画される。また、滞留数が２以上である画面においては、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【００５７】
シンボル描画部１０５では、シーン毎に、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。そして、出力機器インタフェース１０６では、シンボル描画部１０５から供給される画像信号、つまり周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【００５８】
これにより、例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００５９】
以上説明したように、図１に示す画像処理装置１００においては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、全画面動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数が算出される。
【００６０】
そして、シンボル描画部１０５により、この算出された所定シーン内の各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。つまり、シーン内に「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見ることができる。
【００６１】
従来のサムネイル形式では、画像に何が映っているかが分かるだけの表現能力しか存在しなかった。しかし、特に作りこまれた画像の場合には、その対象物が「どのような画像表現として映っているか」という時間的コンテクストも、観賞者や、対象画像を素材として使用したい人間にとっては重要な情報である。例えば、同じ横長の風景をパン撮影した画像でも、１フレームも滞留のないまま流し撮りされた画像と、最初と最後で４秒間カメラを止めて撮影した画像では、使用できる用途が大きく異なっている。
【００６２】
上述したように、シーン毎の代表画像（和集合画像）の周縁部に全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画されることで、自分が見たい、あるいは素材として使用したい画像に容易に到達しやすくなる。これにより、画像の閲覧や、編集時の代表画像としての用法のほかに、画像を検索する際の結果表示の代表画像として用いることができる。
【００６３】
また、複数の画像同士の関連性の構築にあたって、「表現のされ方」という内容での新たなメタデータによる関係性を付与することが可能になる。これは、画像の検索アルゴリズムへの寄与にもつながる。このように、複数の画像同士の関係性に新たな指標を代表画像としてユーザに可視化することは、目的の動画を探索する検索アプリケーションにも有効な効果をもたらす。
【００６４】
なお、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留数が１である画面で通常シンボルが描画され、滞留数が２以上である画面で滞留シンボルが描画されるようになっている（図４参照）。しかし、一般に、滞留数が１〜Ｎ（Ｎは１以上の整数）である画面で通常シンボルが描画され、滞留数がＮを超える画面で滞留シンボルが描画されるようにしてもよい。そして、この場合、Ｎの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【００６５】
また、図１に示す画像処理装置１００において、シンボル描画部１０５は、滞留数算出部１０４で算出された所定シーン内の各画面の滞留数に基づいて、全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）を描画するようになっている。しかし、例えば、シーン内の各画面の動きを示すために各画面に対応した位置に通常シンボルを描画するという構成も考えられる。その場合、シンボル描画部１０５では、全画面動き算出部１０３で算出された所定シーン内の各画面の全画面動きを直接利用して、シンボル描画を行うことができる。
【００６６】
また、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留シンボルおよび終端シンボルの描画位置に対応して、滞留数も合わせて描画される。しかし、この滞留数の描画は必ずしも必要なものではない。
【００６７】
＜２．変形例＞
なお、上述実施の形態において、滞留数算出部１０４は、全画面動き算出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する構成となっている。しかし、各画面の全画面動きの情報をメタデータとして予め備えている場合、滞留数算出部１０４は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部１０１から滞留数算出部１０４に各画面の全画面動きの情報が供給され、全画面動き算出部１０３は不要となる。
【００６８】
また、上述実施の形態において、滞留数算出部１０４では、現在フレームの全画面動きＭｖが０であるか否かにより滞留か否かを判断している。しかし、三脚を使用しないで撮影された場合、安価な三脚を使用して撮影された場合、あるいはダウンコンバート／アップコンバートされている場合などがある。このような場合、撮影者の意図や、視聴者の感覚としては「滞留している」とみなしてもよいが、全画面動きとしては微妙に０とは異なる値に算出され、結果的に滞留ではないと判断される場合がある。
【００６９】
そこで、全画面動きＭｖの累積値を滞留ブレＡmvとして定義し、この滞留ブレＡmvが閾値の範囲内にあるか否かにより、滞留か否かを判断することが考えられる。これにより、視聴者の感覚として滞留しているとみなしてもよい画面を、確実に滞留していると判断させることができる。図７のフローチャートは、その場合における、滞留数算出部１０４の処理手順の一例を示している。
【００７０】
滞留数算出部１０４は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、全画面動きＭｖの累積値（累積動き量）Ｔの値を０とし、さらに滞留ブレＡmvを０に設定する。そして、滞留数算出部１０４は、ステップＳＴ４３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００７１】
次に、滞留数算出部１０４は、ステップＳＴ４４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ４５の処理に移る。このステップＳＴ４５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。また、滞留数算出部１０４は、このステップＳＴ４５において、滞留ブレＡmvに全画面動きＭｖを加算して、滞留ブレＡmvを更新する。
【００７２】
次に、滞留数算出部１０４は、ステップＳＴ４６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、滞留ブレＡmvが閾値の範囲内か否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ａmvが閾値の範囲内にあるときは滞留であると判断し、Ａmvが閾値の範囲を超えるときは滞留でないと判断する。
【００７３】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ４７の処理に移る。このステップＳＴ４７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。また、滞留数算出部１０４は、このステップＳＴ４７において、滞留ブレＡmvの最大値および最小値を記録する。この記録情報は、滞留でないと判断される場合の滞留ブレＡmvがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００７４】
一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ４８の処理に移る。このステップＳＴ４８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とする。そして、滞留数算出部１０４は、ステップＳＴ４９において、滞留カウンタＣの値を１とし、滞留ブレＡmvを０にリセットする。
【００７５】
滞留数算出部１０４は、ステップＳＴ４７の処理の後、およびステップＳＴ４９の処理の後に、ステップＳＴ５０の処理に移る。このステップＳＴ５０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４４の処理に戻る。
【００７６】
また、ステップＳ４４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ５１の処理に移る。このステップＳＴ５１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ５１において、累積値Ｔに現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔを記録する。そして、滞留数算出部１０４は、ステップＳＴ５２において、処理を終了する。
【００７７】
なお、上述では全画面動きＭｖの累積値である滞留ブレＡmvが閾値の範囲内か否かにより滞留か否かを判断している。さらに、各画面（各フレーム）において、その画面の全画面動きＭｖが閾値の範囲内か否かにより滞留か否かを判断することも考えられる。その場合においても、滞留であると判断するとき、全画面動きＭｖの最大値および最小値を記録するようにされる。この記録情報は、滞留でないと判断される場合の全画面動きＭｖがどの程度であるかを示す全画面動きＭｖの挙動情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００７８】
また、上述実施の形態においては、全画面動きが単方向の場合を例にとって示した。しかし、全画面の動きが複方向の場合も考えられる。例えば、一度右にパンした後、左に戻すというように、各画面が順方向に移動した後、逆方向に移動する場合がある。この場合、全画面動き方向が順方向（第１の方向）にある各画面に対応したシンボルの描画位置と、全画面動き方向が逆方向（第２の方向）にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への全画面動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル（滞留ＩＤ）が加えられる。
【００７９】
図８のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、シンボル描画部１０５は、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、シンボル描画部１０５は、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【００８０】
次に、シンボル描画部１０５は、ステップＳＴ６３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ６２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ６４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とし、さらに、ステップＳＴ６５において、滞留ＩＤを１とする。
【００８１】
次に、シンボル描画部１０５は、ステップＳＴ６６において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ６７において、全画面動き方向が順方向から逆方向に変更になったか否かを判断する。方向が変更になっていないとき、シンボル描画部１０５は、直ちに、ステップＳＴ６８の処理に移る。一方、方向が変更になっているとき、シンボル描画部１０５は、ステップＳＴ６９において、描画位置を、上述の順方向および逆方向と直交する方向にシフトした後に、ステップＳＴ６８の処理に移る。
【００８２】
ステップＳＴ６８において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ７０において、処理フレームを次のフレームとし、その後に、ステップＳＴ６６の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ７１の処理に移る。このステップＳＴ７１において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（処理画面）に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ７１の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８３】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（処理画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００８４】
また、シンボル描画部１０５は、このステップＳＴ７２において、滞留シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この滞留シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画すると共に、滞留ＩＤを１だけインクリメントする。シンボル描画部１０５は、ステップＳＴ７２の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８５】
また、ステップＳＴ６６で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ７３の処理に移る。このステップＳＴ７３において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００８６】
また、シンボル描画部１０５は、このステップＳＴ７３において、終端シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この終端シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画する。そして、シンボル描画部１０５は、ステップＳＴ７３の処理の後、ステップＳＴ７４において、処理を終了する。
【００８７】
図９は、各シンボル、滞留数および滞留ＩＤの描画例を示している。なお、この描画例では、各シンボルは線分で表されている。この例においては、滞留ＩＤは、丸数字で表されている。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１０画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている滞留シンボルの描画位置は、２番目の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００８８】
そして、その後に、全画面動き方向が順方向から逆方向に変更される。そのため、シンボルの描画位置がシフトされている。この例においては、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、反対側の辺とされている。滞留ＩＤとして丸数字の３が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００８９】
図１０（ａ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例は、基本的には、図９に示す描画例と同様である。この例においては、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。また、図１０（ｂ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例も、基本的には、図９に示す描画例と同様である。この例においても、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。ただし、図１０（ａ）とは、順方向のシンボル描画位置と、逆方向のシンボル描画位置とが、置き換えられている。
【００９０】
なお、図９および図１０の描画例では、滞留ＩＤが丸数字である場合を示した。しかし、1，2，3などの各種数字の他、Ａ，Ｂ，Ｃ・・・、ア、イ、ウ・・・、イ、ロ、ハ・・・などのように、自明的に順序がわかるようなシンボル、あるいは、▽印のように明示的に進行方向を示すシンボルを用いてもよい。
【００９１】
また、上述では、シンボルの描画軸が一方向の場合を例として示した。しかし、全画面動きをはじめから水平方向、垂直方向にベクトル分解して、それぞれのベクトル方向に、シンボルを描画する方法も考えられる。図１１は、その場合の描画例を示している。この描画例は、全画面動き方向が、左上から右下方向の場合の例である。なお、この例では、全画面動き方向が斜めの一直線の方向の場合を示しているが、水平方向と垂直方向の移動スピード比が変わって途中で方向が変わった場合にも、この方法で描画できる。
【００９２】
また、上述では、図５、図６、図９〜図１１に示すように、全画面動きを示すシンボルが線分である例を示した。しかし、線分による表示の他に、数字、図１２（ａ）に示すようなシンボル、図１２（ｂ）に示すようなグラフ的図形、図１２（ｃ）に示すようなグラデーション、あるいは色合いといったものによる表示も考えられる。
【産業上の利用可能性】
【００９３】
この発明は、シーン毎の画像信号から、各シーンの代表画像（サムネイル）を作成する画像処理装置に適用できる。
【符号の説明】
【００９４】
１００・・・画像処理装置
１０１・・・画像入力部
１０２・・・代表画像作成部
１０３・・・全画面動き算出部
１０４・・・滞留数算出部
１０５・・・シンボル描画部
１０６・・・出力機器インタフェース
【図１】
2011199558.tif 000003
【図２】
2011199558.tif 000004
【図３】
2011199558.tif 000005
【図４】
2011199558.tif 000006
【図５】
2011199558.tif 000007
【図７】
2011199558.tif 000008
【図８】
2011199558.tif 000009
【図９】
2011199558.tif 000010
【図１０】
2011199558.tif 000011
【図１１】
2011199558.tif 000012
【図１３】
2011199558.tif 000013
【図６】
2011199558.tif 000014
【図１２】
2011199558.tif 000015