(57)【特許請求の範囲】
【請求項１】
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画部と、
上記所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出部を備え、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画する
画像処理装置。
【請求項２】
上記滞留数算出部は、
所定の画面において、滞留していると判断するとき、該所定の画面の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の滞留数を上記滞留カウンタの値とし、該所定の画面の滞留数を１とすると共に、該滞留カウンタの値を１とし、さらに、最終画面の滞留数を上記滞留カウンタの値とする
請求項１に記載の画像処理装置。
【請求項３】
上記シンボル描画部は、所定画面の滞留数が１以上のとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルを描画する
請求項２に記載の画像処理装置。
【請求項４】
上記シンボル描画部は、
上記所定の画面の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルとして通常シンボルを描画し、
上記所定の画面の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記シンボルとして滞留シンボルを描画する
請求項３に記載の画像処理装置。
【請求項５】
上記シンボル描画部は、
上記シンボルとして上記全画面動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記所定の画面の滞留数がＮ以下で描画する上記通常シンボルの長さを、該所定の画面の全画面動きの大きさに対応した長さとする
請求項４に記載の画像処理装置。
【請求項６】
上記シンボル描画部は、
上記出力機器における上記周縁部の表示領域の上記全画面動きの方向に直交する方向の長さをＨとし、上記全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとするとき、上記所定の画面の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとする
請求項５に記載の画像処理装置。
【請求項７】
上記シンボル描画部は、
上記描画されるシンボル間の近接を判定し、該判定結果に応じて、上記所定の画面の滞留数が１以上Ｎ以下で描画される上記通常シンボルの描画態様を変化させる
請求項４に記載の画像処理装置。
【請求項８】
上記シンボル描画部は、
上記全画面動きの方向の上記描画されるシンボル間の距離が上記出力機器の表示領域上で所定値を超えるように、上記通常シンボルを所定数の画面毎に描画する
請求項７に記載の画像処理装置。
【請求項９】
上記シンボル描画部は、
上記シンボルとして上記全画面動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記出力機器における上記周縁部の表示領域の、上記全画面動きの方向に直交する方向の長さをＨとし、上記全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとするとき、上記所定の画面の滞留数が１以上Ｎ以下で描画する上記通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、
上記所定数の画面毎に描画する上記通常シンボルを濃く描画し、その他の画面で上記通常シンボルを薄く描画する
請求項８に記載の画像処理装置。
【請求項１０】
上記シンボル描画部は、
上記全画面動きの方向の、上記描画されるシンボル間の距離が上記出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の全画面動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する
請求項７に記載の画像処理装置。
【請求項１１】
上記所定シーン内の各画面の前の画面との間の全画面動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、
上記等速数算出部は、
所定の画面において、滞留していると判断するとき、該所定の画面の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の等速数を上記等速カウンタの値とし、該所定の画面の等速数を１とすると共に、該等速カウンタの値を１とし、
上記シンボル描画部は、
上記所定の画面の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記加速シンボルまたは上記減速シンボルを表示し、
上記所定の画面の等速数が上記Ｍを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記等速シンボルを描画する
請求項１０に記載の画像処理装置。
【請求項１２】
上記等速数算出部は、
各画面の上記全画面動き差分を累積していく累積手段を有し、
上記所定の画面において、累積手段の累積値が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断し、さらに、等速動きをしていないと判断するとき上記累積手段の累積値を０にリセットする
請求項１１に記載の画像処理装置。
【請求項１３】
上記等速数算出部は、
上記所定の画面において、該所定の画面の上記全画面動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断する
請求項１１に記載の画像処理装置。
【請求項１４】
上記シンボル描画部は、
上記全画面動きの方向の１画面分の長さをＳとし、上記全画面動きの累積値をＴとし、上記全画面動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、上記出力機器における上記代表画像の表示領域の上記全画面動きの方向の長さをＷとして、該表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／（Ｓ＋Ｔ）の式で算出し、該距離ｄに基づいて、上記シンボル間の近接を判定する
請求項７に記載の画像処理装置。
【請求項１５】
上記シンボル描画部は、最終画面において、上記代表画像の周縁部の該最終画面に対応した位置に、上記シンボルとして終端シンボルを描画する
請求項４に記載の画像処理装置。
【請求項１６】
上記シンボル描画部は、
上記所定の画面の滞留数が上記Ｎを超えるとき、上記代表画像の周縁部の該所定の画面に対応した位置に、上記滞留シンボルと共に、滞留の順序を示すシンボルを描画する
請求項４に記載の画像処理装置。
【請求項１７】
上記シンボル描画部は、
全画面動き方向が途中で第１の方向から該第１の方向とは逆の第２の方向に変わるとき、
全画面動き方向が上記第１の方向にある各画面に対応した上記シンボルの描画位置と、全画面動き方向が上記第２の方向にある各画面に対応した上記シンボルの描画位置とを、上記第１の方向および上記第２の方向と直交する方向にずらす
請求項３に記載の画像処理装置。
【請求項１８】
上記所定シーンの画像信号を処理し、該所定シーン内の各画面の全画面動きを算出する全画面動き算出部をさらに備える
請求項１に記載の画像処理装置。
【請求項１９】
上記シンボル描画部は、
出力機器における上記代表画像の表示サイズに応じて上記全画面動きを示すシンボルを描画する
請求項１に記載の画像処理装置。
【請求項２０】
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成ステップと、
上記代表画像作成ステップで作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画ステップと、
上記所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出ステップを有し、
上記シンボル描画ステップでは、
上記滞留数算出ステップで算出された各画面の滞留数に基づいて、上記代表画像作成ステップで作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、シーン毎の代表画像として和集合画像を作成する画像処理装置等に関する。
【背景技術】
【０００２】
従来、全体が撮像機（カメラ）の１画面分に収まらない被写体を、パンあるいはチルトなどの手法を用いて、複数フレームで撮影することが行われる。図３６は、水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示している。
【０００３】
また、従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面（例えば、最初の画面等）を選択し、その画面の画像を代表画像とすることが行われている。この場合、例えば上述したようにパン手法を用いて撮影された撮像機（カメラ）の１画面分に収まらない被写体に関して、閲覧者、編集者等は、その全体像を把握することができない。
【０００４】
また、従来、例えば上述したようにパン手法を用いて撮影して得られた画像信号を処理し、複数画面（複数フレーム）の画像をつなぎ合わせた和集合画像を作成することが知られている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−２９８１３７号公報
【特許文献２】特開平０６−３２６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
シーン毎に、上述した和集合画像を代表画像（サムネイル）として作成することが考えられる。このように作成される代表画像にあっては、撮像機（カメラ）の１画面分に収まらない、例えば上述したようにパン手法を用いて撮影された被写体に関して、閲覧者、編集者等は、その全体像を把握することが可能となる。
【０００７】
しかし、この代表画像にあっても、どのような速度でパンされているか等の情報を得ることはできない。これでは、画像の閲覧者、編集者等が、そのシーンに、「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見る際に問題となる。
【０００８】
この発明の目的は、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とすることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画するシンボル描画部と、
上記所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出部を備え、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画する
画像処理装置にある。
【００１０】
この発明においては、代表画像作成部により、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。そして、シンボル描画部により、所定シーン内の各画面の全画面動きに基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルが描画される。この場合、全画面動きを示すシンボルは、出力機器における代表画像の表示サイズに応じて描画される。
【００１１】
このように、この発明においては、和集合画像よりなるシーン代表画像の周縁部に全画面動きを示すシンボルが描画される。そのため、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。また、全画面動きを示すシンボルが出力機器における代表画像の表示サイズに応じて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であってもシンボルを良好に表示可能となる。
【００１２】
この発明において、例えば、所定シーン内の各画面の全画面動きを算出する全画面動き算出部をさらに備え、シンボル描画部は、全画面動き算出部で算出された所定シーン内の各画面の全画面動きに基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルを描画する、ようにされる。
【００１３】
また、この発明において、例えば、所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する滞留数算出部をさらに備え、滞留数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の滞留数を０にすると共に、滞留カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の滞留数を上記滞留カウンタの値とし、この所定の画面の滞留数を１とすると共に、この滞留カウンタの値を１とし、さらに、最終画面の滞留数を上記滞留カウンタの値とし、シンボル描画部は、滞留数算出部で算出された各画面の滞留数に基づいて、代表画像作成部で作成された代表画像の周縁部に、全画面動きを示すシンボルを描画する、ようにされる。
【００１４】
また、この発明において、例えば、シンボル描画部は、所定画面の滞留数が１以上のとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルを描画する、ようにされる。
【００１５】
また、この発明において、例えば、シンボル描画部は、所定の画面の滞留数が１以上Ｎ（Ｎは１以上の整数）以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルとして通常シンボルを描画し、所定の画面の滞留数がＮを超えるとき、代表画像の周縁部のこの所定の画面に対応した位置に、シンボルとして滞留シンボルを描画する、ようにされる。
【００１６】
また、この発明において、例えば、シンボル描画部は、シンボルとして全画面動きの方向に直交する方向に延びる線分状のシンボルを描画し、所定の画面の滞留数がＮ以下で描画する通常シンボルの長さを、この所定の画面の全画面動きの大きさに対応した長さとする、ようにされる。例えば、出力機器における周縁部の表示領域の全画面動きの方向に直交する方向の長さをＨとし、全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとするとき、所定の画面の滞留数が１以上Ｎ以下で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。この場合、各画面で描画される通常シンボルの長さはその画面の全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００１７】
また、この発明において、例えば、シンボル描画部は、描画されるシンボル間の近接を判定し、この判定結果に応じて、所定の画面の滞留数が１以上Ｎ以下で描画される通常シンボルの描画態様を変化させる、ようにされる。この場合、例えば、シンボル描画部は、全画面動きの方向の１画面分の長さをＳとし、全画面動きの累積値をＴとし、全画面動きの中で滞留していないと判定された最小の動きをＶminとし、さらに、出力機器における代表画像の表示領域の全画面動きの方向の長さをＷとして、この表示領域上で最も近接しているシンボル間の距離ｄを、Ｗ＊Ｖmin／（Ｓ＋Ｔ）の式で算出し、この距離ｄに基づいて、シンボル間の近接を判定する、ようにされる。このように、シンボルの近接判定結果に応じて、所定の画面の滞留数がＮ以下で描画されるシンボルの描画態様を変化させることで、出力機器における代表画像の表示サイズが小さい場合であっても、描画シンボルから全画面動きの把握が容易となる。
【００１８】
この発明において、例えば、シンボル描画部は、全画面動きの方向の描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、通常シンボルを所定数の画面毎に描画する、ようにされる。この場合、通常シンボルは間引かれて描画されるため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。
【００１９】
この発明において、例えば、シンボル描画部は、シンボルとして全画面動きの方向に直交する方向に延びる線分状のシンボルを描画し、出力機器における周縁部の表示領域の、全画面動き方向に直交する方向の長さをＨとし、全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとするとき、所定の画面の滞留数が１以上Ｎ以下で描画する通常シンボルの長さｈを、Ｈ＊Ｍv／Ｍvmaxとし、所定数の画面毎に描画する通常シンボルを濃く描画し、その他の画面で上記通常シンボルを薄く描画する、ようにされる。
【００２０】
この場合、濃く描画される通常シンボルは間引かれているため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【００２１】
また、この発明において、例えば、シンボル描画部は、全画面動き方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の全画面動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する、ようにされる。
【００２２】
この場合、全画面動きを示すシンボルとして縮退シンボル（加速シンボル、等速シンボル、減速シンボル）が描画されるものであり、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。また、この場合、全画面動きの加速期間、等速期間、減速期間を容易に把握可能となる。
【００２３】
また、この発明において、例えば、所定シーン内の各画面の前の画面との間の全画面動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、等速数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の等速数を０にすると共に、等速カウンタを１だけインクリメントし、滞留していないと判断するとき、１つ前の画面の等速数を等速カウンタの値とし、この所定の画面の等速数を１とすると共に、この等速カウンタの値を１とし、シンボル描画部は、所定の画面の等速数が１以上Ｍ（Ｍは１以上の整数）以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、加速シンボルまたは減速シンボルを表示し、所定の画面の等速数がＭを超えるとき、代表画像の周縁部の該所定の画面に対応した位置に、等速シンボルを描画する、ようにされる。
【００２４】
例えば、等速数算出部では、所定の画面の全画面動き差分が閾値の範囲内にあるか否かにより、滞留しているか否かが判断される。また、例えば、滞留数算出部では、各画面の全画面動き差分を累積していく累積手段の累積値が閾値の範囲内にあるか否かにより、滞留しているか否かが判断される。なお、累積手段は、滞留していないと判断されるとき、０にリセットされる。
【発明の効果】
【００２５】
この発明によれば、和集合画像よりなるシーン代表画像の周縁部に全画面動きを示すシンボルが描画されるため、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。また、この発明によれば、全画面動きを示すシンボルが代表画像の出力機器における表示サイズに応じて描画されるため、出力機器における代表画像の表示サイズが小さい場合であってもシンボルを良好に表示可能となる。
【図面の簡単な説明】
【００２６】
【図１】この発明の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】滞留数算出部における処理手順の一例を示すフローチャートである。
【図３】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、滞留数算出処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示す図である。
【図４】シンボル描画部における処理手順の一例を示すフローチャートである。
【図５】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の描画例を示す図である。
【図６】所定シーンを構成するフレーム（画面）の数が４０の場合における各シンボルおよび滞留数の他の描画例を示す図である。
【図７】滞留ブレＡmvが閾値の範囲内にあるか否かにより滞留か否かを判断する場合における、滞留数算出部の処理手順の一例を示すフローチャートである。
【図８】滞留シンボルに滞留の順序を示すシンボル（滞留ＩＤ）が加えられる場合における、シンボル描画部の処理手順の一例を示すフローチャートである。
【図９】全画面動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの描画例を示す図である。
【図１０】全画面動き方向が順方向から逆方向に変更される場合における、各シンボル、滞留数および滞留ＩＤの他の描画例を示す図である。
【図１１】全画面動きを水平方向、垂直方向にベクトル分解し、それぞれのベクトル方向にシンボルを描画する方法における描画例を示す図である。
【図１２】全画面動きを示すシンボルの線分以外の例を示す図である。
【図１３】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１４】シンボル描画処理による描画例を示す図である。
【図１５】シンボル描画処理による描画例を示す図である。
【図１６】この発明の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１７】表示領域上で最も近接しているシンボルの距離ｄを算出するための画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、出力機器における代表画像の表示領域の全画面動き方向の長さＷを示すための図である。
【図１８】シンボル描画部の処理手順の一例を示すフローチャートである。
【図１９】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２０】シンボル描画処理による描画例を示す図である。
【図２１】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２２】シンボル描画処理による描画例を示す図である。
【図２３】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２４】シンボル描画処理による描画例を示す図である。
【図２５】この発明の第３の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２６】等速数算出部における処理手順の一例を示すフローチャートである。
【図２７】所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、この各フレームの全画面動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示す図である。
【図２８】シンボル描画部の処理手順の一例を示すフローチャートである。
【図２９】シンボル描画部の処理手順の一例を示すフローチャートである。
【図３０】シンボル描画処理による描画例を示す図である。
【図３１】加速、等速、減速の縮退シンボルの変形例を示す図である。
【図３２】縮退シンボルを用いた描画例を示す図である。
【図３３】縮退シンボルを用いた描画例を示す図である。
【図３４】この発明の第４の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図３５】シンボル描画部の処理手順の一例を示すフローチャートである。
【図３６】水平方向に延びる被写体を、撮像機（カメラ）で、パン手法を用いて撮影する例を示す図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
【００２８】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像入力部１０１と、代表画像作成部１０２と、全画面動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５と、出力機器インタフェース（Ｉ／Ｆ）１０６を有している。
【００２９】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および全画面動き算出部１０３に、順次供給する。
【００３０】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５は、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。
【００３１】
代表画像作成部１０２は、所定シーンの画像信号を処理し、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平０７−２９８１３７号公報、特開平０６−３２６９６５号公報などに詳述されている。例えば、代表画像作成部１０２は、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
【００３２】
全画面動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き（動きベクトル）を算出する。この全画面動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開２００１−０８６３８７号公報、特開２００７−１０４５１６号公報、特開２００４−８８４７４号公報などに詳述されている。例えば、全画面動き算出部１０３は、上述した代表画像作成部１０２における全画面動き（動きベクトル）の算出処理と同様の処理で、所定シーンを構成する各画面の全画面動き（動きベクトル）を算出する。
【００３３】
滞留数算出部１０４は、全画面動き検出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。
【００３４】
［滞留数算出処理］
図２のフローチャートは、滞留数算出部１０４における処理手順の一例を示している。滞留数算出部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、累積値（累積動き量）Ｔの値を０に設定する。そして、滞留数算出部１０４は、ステップＳＴ３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００３５】
次に、滞留数算出部１０４は、ステップＳＴ４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ５の処理に移る。このステップＳＴ５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。
【００３６】
次に、滞留数算出部１０４は、ステップＳＴ６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、現在フレームの全画面動きＭｖが０であるか否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ｍｖが０であるときは滞留であると判断し、Ｍｖが０以上であるときは滞留でないと判断する。
【００３７】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ７の処理に移る。このステップＳＴ７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とし、さらに、ステップＳＴ９において、滞留カウンタＣの値を１とする。
【００３８】
滞留数算出部１０４は、ステップＳＴ７の処理の後、およびステップＳＴ９の処理の後に、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４の処理に戻る。
【００３９】
また、ステップＳＴ４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ１１の処理に移る。このステップＳＴ１１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ１１において、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を、現在フレーム（＝最終フレーム）の累積値として記録する。そして、滞留数算出部１０４は、ステップＳＴ１２において、処理を終了する。
【００４０】
図３は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、図２のフローチャートの処理で求められる各フレーム（各画面）の滞留数および累積値の一例を示している。この例おいては、フレーム１からフレーム１０までは全画面動きＭｖが０であるので連続して滞留と判断される。そして、フレーム１１で全画面動きＭｖが５０であるので滞留でないと判断される。そのため、フレーム１からフレーム９までの滞留数は０とされ、フレーム１０の滞留数は１０とされる。
【００４１】
また、この例においては、フレーム１１からフレーム２５まで全画面動きＭｖが０でないので連続して滞留でないと判断される。そのため、フレーム１１からフレーム２５までの滞留数は１とされる。さらに、この例においては、フレーム２６からフレーム３９までは全画面動きＭｖが０であるので連続して滞留と判断される。そのため、フレーム２６からフレーム３９までの滞留数は０とされ、最終フレームであるフレーム４０の滞留数は１５とされる。
【００４２】
シンボル描画部１０５は、滞留数算出部１０４で算出された各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルを描画する。また、シンボル描画部１０５は、周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【００４３】
［シンボル描画処理］
図４のフローチャートは、シンボル描画部１０５における処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、シンボル描画部１０５は、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、シンボル描画部１０５は、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【００４４】
次に、シンボル描画部１０５は、ステップＳＴ２３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ２２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ２４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００４５】
次に、シンボル描画部１０５は、ステップＳＴ２５において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ２６の処理に移る。このステップＳＴ２６において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【００４６】
滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ２７において、処理フレームを次のフレームとし、その後に、ステップＳＴ２５の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ２８の処理に移る。このステップＳＴ２８において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ２８の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４７】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００４８】
また、シンボル描画部１０５は、このステップＳＴ２９において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ２９の処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。
【００４９】
また、ステップＳＴ２５で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ３０の処理に移る。このステップＳＴ３０において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００５０】
また、シンボル描画部１０５は、このステップＳＴ３０において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５は、ステップＳＴ３０の処理の後、ステップＳＴ３１において、処理を終了する。
【００５１】
図５は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、この描画例では、各シンボルは線分で表されている。この例においては、フレーム１からフレーム９までは滞留数が０であるのでシンボルの描画は行われない。そして、フレーム１０では滞留数が１０であるので、そのフレームに対応した位置（そのフレームの右上位置）に滞留シンボルが描画され、さらに、それに対応した位置に滞留数「１０」が描画される。
【００５２】
また、フレーム１１からフレーム２５までは滞留数が１であるので、そのフレームに対応した位置に通常シンボルが描画される。また、フレーム２６からフレーム３９までは滞留数が０であるのでシンボルの描画は行われない。そして、終端のフレーム４０では終端シンボルが描画され、さらに、それに対応した位置に滞留数「１５」が描画される。
【００５３】
なお、図５は、全画面動き方向が水平方向の場合の描画例を示しているが、全画面動き方向がその他の方向の場合も同様に描画が行われる。例えば、図６（ａ）は、全画面動き方向が垂直方向の場合の描画例を示し、図６（ｂ）は、全画面動き方向が斜め方向の場合の描画例を示している。
【００５４】
出力機器インタフェース１０６は、シンボル描画部１０５から供給される画像データ、つまり周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００５５】
［画像処理装置の動作例］
図１に示す画像処理部１００の動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【００５６】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および全画面動き検出部１０３に順次供給することが行われる。
【００５７】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４およびシンボル描画部１０５では、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
【００５８】
また、全画面動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される（図２参照）。
【００５９】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５に供給される。また、このシンボル描画部１０５には、代表画像作成部１０２で作成された代表画像（和集合画像）の画像信号（画像データ）が供給される。このシンボル描画部１０５では、所定シーン内の各画面の滞留数に基づいて、代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルが描画される（図４参照）。
【００６０】
この場合、滞留数が１である画面においては、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして通常シンボルが描画される。また、滞留数が２以上である画面においては、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【００６１】
シンボル描画部１０５では、シーン毎に、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。そして、出力機器インタフェース１０６では、シンボル描画部１０５から供給される画像信号、つまり周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【００６２】
これにより、例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【００６３】
以上説明したように、図１に示す画像処理装置１００においては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、全画面動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動きが算出される。また、滞留数算出部１０４により、この算出された所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数が算出される。
【００６４】
そして、シンボル描画部１０５により、この算出された所定シーン内の各画面の滞留数に基づいて、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画される。したがって、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。つまり、シーン内に「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見ることができる。
【００６５】
従来のサムネイル形式では、画像に何が映っているかが分かるだけの表現能力しか存在しなかった。しかし、特に作りこまれた画像の場合には、その対象物が「どのような画像表現として映っているか」という時間的コンテクストも、観賞者や、対象画像を素材として使用したい人間にとっては重要な情報である。例えば、同じ横長の風景をパン撮影した画像でも、１フレームも滞留のないまま流し撮りされた画像と、最初と最後で４秒間カメラを止めて撮影した画像では、使用できる用途が大きく異なっている。
【００６６】
上述したように、シーン毎の代表画像（和集合画像）の周縁部に全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）が描画されることで、自分が見たい、あるいは素材として使用したい画像に容易に到達しやすくなる。これにより、画像の閲覧や、編集時の代表画像としての用法のほかに、画像を検索する際の結果表示の代表画像として用いることができる。
【００６７】
また、複数の画像同士の関連性の構築にあたって、「表現のされ方」という内容での新たなメタデータによる関係性を付与することが可能になる。これは、画像の検索アルゴリズムへの寄与にもつながる。このように、複数の画像同士の関係性に新たな指標を代表画像としてユーザに可視化することは、目的の動画を探索する検索アプリケーションにも有効な効果をもたらす。
【００６８】
なお、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留数が１である画面で通常シンボルが描画され、滞留数が２以上である画面で滞留シンボルが描画されるようになっている（図４参照）。しかし、一般に、滞留数が１〜Ｎ（Ｎは１以上の整数）である画面で通常シンボルが描画され、滞留数がＮを超える画面で滞留シンボルが描画されるようにしてもよい。そして、この場合、Ｎの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【００６９】
また、図１に示す画像処理装置１００において、シンボル描画部１０５は、滞留数算出部１０４で算出された所定シーン内の各画面の滞留数に基づいて、全画面動きを示すシンボル（通常シンボル、滞留シンボル、終端シンボル）を描画するようになっている。しかし、例えば、シーン内の各画面の動きを示すために各画面に対応した位置に通常シンボルを描画するという構成も考えられる。その場合、シンボル描画部１０５では、全画面動き算出部１０３で算出された所定シーン内の各画面の全画面動きを直接利用して、シンボル描画を行うことができる。
【００７０】
また、図１に示す画像処理装置１００において、シンボル描画部１０５では、滞留シンボルおよび終端シンボルの描画位置に対応して、滞留数も合わせて描画される。しかし、この滞留数の描画は必ずしも必要なものではない。
【００７１】
［滞留数算出処理の他の例］
上述において、滞留数算出部１０４は、全画面動き算出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する構成となっている。しかし、各画面の全画面動きの情報をメタデータとして予め備えている場合、滞留数算出部１０４は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部１０１から滞留数算出部１０４に各画面の全画面動きの情報が供給され、全画面動き算出部１０３は不要となる。
【００７２】
また、上述実施の形態において、滞留数算出部１０４では、現在フレームの全画面動きＭｖが０であるか否かにより滞留か否かを判断している。しかし、三脚を使用しないで撮影された場合、安価な三脚を使用して撮影された場合、あるいはダウンコンバート／アップコンバートされている場合などがある。このような場合、撮影者の意図や、視聴者の感覚としては「滞留している」とみなしてもよいが、全画面動きとしては微妙に０とは異なる値に算出され、結果的に滞留ではないと判断される場合がある。
【００７３】
そこで、全画面動きＭｖの累積値を滞留ブレＡmvとして定義し、この滞留ブレＡmvが閾値の範囲内にあるか否かにより、滞留か否かを判断することが考えられる。これにより、視聴者の感覚として滞留しているとみなしてもよい画面を、確実に滞留していると判断させることができる。図７のフローチャートは、その場合における、滞留数算出部１０４の処理手順の一例を示している。
【００７４】
滞留数算出部１０４は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、滞留数算出部１０４は、滞留カウンタＣの値を０とし、全画面動きＭｖの累積値（累積動き量）Ｔの値を０とし、さらに滞留ブレＡmvを０に設定する。そして、滞留数算出部１０４は、ステップＳＴ４３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【００７５】
次に、滞留数算出部１０４は、ステップＳＴ４４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部１０４は、ステップＳＴ４５の処理に移る。このステップＳＴ４５において、滞留数算出部１０４は、累積値Ｔに、現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔの値を現在フレームの累積値として記録する。また、滞留数算出部１０４は、このステップＳＴ４５において、滞留ブレＡmvに全画面動きＭｖを加算して、滞留ブレＡmvを更新する。
【００７６】
次に、滞留数算出部１０４は、ステップＳＴ４６において、滞留か否かを判断する。ここで、滞留数算出部１０４は、滞留ブレＡmvが閾値の範囲内か否かにより、滞留か否かを判断する。すなわち、滞留数算出部１０４は、Ａmvが閾値の範囲内にあるときは滞留であると判断し、Ａmvが閾値の範囲を超えるときは滞留でないと判断する。
【００７７】
滞留数算出部１０４は、滞留であると判断するとき、ステップＳＴ４７の処理に移る。このステップＳＴ４７において、滞留数算出部１０４は、現在フレームの滞留数を０とし、滞留カウンタＣの値を１だけインクリメントする。また、滞留数算出部１０４は、このステップＳＴ４７において、滞留ブレＡmvの最大値および最小値を記録する。この記録情報は、滞留でないと判断される場合の滞留ブレＡmvがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００７８】
一方、滞留数算出部１０４は、滞留でないと判断するとき、ステップＳＴ４８の処理に移る。このステップＳＴ４８において、滞留数算出部１０４は、１フレーム（１画面）前の滞留数を滞留カウンタＣの値とすると共に、現在フレームの滞留数を１とする。そして、滞留数算出部１０４は、ステップＳＴ４９において、滞留カウンタＣの値を１とし、滞留ブレＡmvを０にリセットする。
【００７９】
滞留数算出部１０４は、ステップＳＴ４７の処理の後、およびステップＳＴ４９の処理の後に、ステップＳＴ５０の処理に移る。このステップＳＴ５０において、滞留数算出部１０４は、処理フレームを次のフレームとし、その後に、ステップＳＴ４４の処理に戻る。
【００８０】
また、ステップＳ４４で処理フレームが最終フレームであるとき、滞留数算出部１０４は、ステップＳＴ５１の処理に移る。このステップＳＴ５１において、滞留数算出部１０４は、現在フレーム（＝最終フレーム）の滞留数を滞留カウンタＣの値とする。また、滞留数算出部１０４は、このステップＳＴ５１において、累積値Ｔに現在フレームの全画面動きＭｖを加算して、現在フレームにおける累積値Ｔを求め、その累積値Ｔを記録する。そして、滞留数算出部１０４は、ステップＳＴ５２において、処理を終了する。
【００８１】
なお、上述では全画面動きＭｖの累積値である滞留ブレＡmvが閾値の範囲内か否かにより滞留か否かを判断している。さらに、各画面（各フレーム）において、その画面の全画面動きＭｖが閾値の範囲内か否かにより滞留か否かを判断することも考えられる。その場合においても、滞留であると判断するとき、全画面動きＭｖの最大値および最小値を記録するようにされる。この記録情報は、滞留でないと判断される場合の全画面動きＭｖがどの程度であるかを示す全画面動きＭｖの挙動情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【００８２】
［シンボル描画処理の他の例］
また、上述において、全画面動きが単方向の場合を例にとって示した。しかし、全画面の動きが複方向の場合も考えられる。例えば、一度右にパンした後、左に戻すというように、各画面が順方向に移動した後、逆方向に移動する場合がある。この場合、全画面動き方向が順方向（第１の方向）にある各画面に対応したシンボルの描画位置と、全画面動き方向が逆方向（第２の方向）にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への全画面動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル（滞留ＩＤ）が加えられる。
【００８３】
図８のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、シンボル描画部１０５は、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、シンボル描画部１０５は、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【００８４】
次に、シンボル描画部１０５は、ステップＳＴ６３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ６２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５は、ステップＳＴ６４において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とし、さらに、ステップＳＴ６５において、滞留ＩＤを１とする。
【００８５】
次に、シンボル描画部１０５は、ステップＳＴ６６において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５は、ステップＳＴ６７において、全画面動き方向が順方向から逆方向に変更になったか否かを判断する。方向が変更になっていないとき、シンボル描画部１０５は、直ちに、ステップＳＴ６８の処理に移る。一方、方向が変更になっているとき、シンボル描画部１０５は、ステップＳＴ６９において、描画位置を、上述の順方向および逆方向と直交する方向にシフトした後に、ステップＳＴ６８の処理に移る。
【００８６】
ステップＳＴ６８において、シンボル描画部１０５は、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。滞留数が０であるとき、シンボル描画部１０５は、ステップＳＴ７０において、処理フレームを次のフレームとし、その後に、ステップＳＴ６６の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５は、ステップＳＴ７１の処理に移る。このステップＳＴ７１において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（処理画面）に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５は、ステップＳＴ７１の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８７】
さらに、滞留数が２以上であるとき、シンボル描画部１０５は、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（処理画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【００８８】
また、シンボル描画部１０５は、このステップＳＴ７２において、滞留シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この滞留シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画すると共に、滞留ＩＤを１だけインクリメントする。シンボル描画部１０５は、ステップＳＴ７２の処理の後、ステップＳＴ７０で処理フレームを次のフレームとして、ステップＳＴ６６の処理に戻る。
【００８９】
また、ステップＳＴ６６で処理フレームが最終フレームであるとき、シンボル描画部１０５は、ステップＳＴ７３の処理に移る。このステップＳＴ７３において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【００９０】
また、シンボル描画部１０５は、このステップＳＴ７３において、終端シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部１０５は、この終端シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留ＩＤを描画する。そして、シンボル描画部１０５は、ステップＳＴ７３の処理の後、ステップＳＴ７４において、処理を終了する。
【００９１】
図９は、各シンボル、滞留数および滞留ＩＤの描画例を示している。なお、この描画例では、各シンボルは線分で表されている。この例においては、滞留ＩＤは、丸数字で表されている。滞留ＩＤとして丸数字の１が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に１０画面（フレーム）だけ滞留していることが分かる。また、滞留ＩＤとして丸数字の２が対応して描画されている滞留シンボルの描画位置は、２番目の滞留位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００９２】
そして、その後に、全画面動き方向が順方向から逆方向に変更される。そのため、シンボルの描画位置がシフトされている。この例においては、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、反対側の辺とされている。滞留ＩＤとして丸数字の３が対応して描画されている終端シンボルの描画位置が最終画面（最終フレーム）の位置であり、この位置に１５画面（フレーム）だけ滞留していることが分かる。
【００９３】
図１０（ａ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例は、基本的には、図９に示す描画例と同様である。この例においては、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。また、図１０（ｂ）は、各シンボル、滞留数および滞留ＩＤの他の描画例を示している。この描画例も、基本的には、図９に示す描画例と同様である。この例においても、全画面動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。ただし、図１０（ａ）とは、順方向のシンボル描画位置と、逆方向のシンボル描画位置とが、置き換えられている。
【００９４】
なお、図９および図１０の描画例では、滞留ＩＤが丸数字である場合を示した。しかし、1，2，3などの各種数字の他、Ａ，Ｂ，Ｃ・・・、ア、イ、ウ・・・、イ、ロ、ハ・・・などのように、自明的に順序がわかるようなシンボル、あるいは、▽印のように明示的に進行方向を示すシンボルを用いてもよい。
【００９５】
また、上述では、シンボルの描画軸が一方向の場合を例として示した。しかし、全画面動きをはじめから水平方向、垂直方向にベクトル分解して、それぞれのベクトル方向に、シンボルを描画する方法も考えられる。図１１は、その場合の描画例を示している。この描画例は、全画面動き方向が、左上から右下方向の場合の例である。なお、この例では、全画面動き方向が斜めの一直線の方向の場合を示しているが、水平方向と垂直方向の移動スピード比が変わって途中で方向が変わった場合にも、この方法で描画できる。
【００９６】
また、上述では、図５、図６、図９〜図１１に示すように、全画面動きを示すシンボルが線分である例を示した。しかし、線分による表示の他に、数字、図１２（ａ）に示すようなシンボル、図１２（ｂ）に示すようなグラフ的図形、図１２（ｃ）に示すようなグラデーション、あるいは色合いといったものによる表示も考えられる。
【００９７】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の全画面動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の全画面動きの方向（全画面動き方向）に直交する方向の長さをＨとし、全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとしている。
【００９８】
図１３のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。この図１３において、図４と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図１３のフローチャートにおいては、図４のフローチャートのステップＳＴ２８の代わりに、ステップＳＴ２８Ａが挿入されている。
【００９９】
シンボル描画部１０５は、ステップＳＴ２８Ａにおいて、滞留数が１であるとき、ステップＳＴ２８Ａの処理に移る。このステップＳＴ２８において、シンボル描画部１０５は、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５は、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの全画面動きの大きさＭvに対応した長さとする。
【０１００】
シンボル描画部１０５は、このステップＳＴ２８Ａの処理の後、ステップＳＴ２７で処理フレームを次のフレームとして、ステップＳＴ２５の処理に戻る。なお、詳細説明は省略するが、この図１３のフローチャートにおけるその他のステップは、図４のフローチャートの対応する処理と同様である。
【０１０１】
図１４（ａ）は、図１３のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４０の場合であって、各フレーム（各画面）の滞留数および累積値が図３に示すようであったときの例である。この描画例では、上述の図５に示す描画例とは異なり、通常シンボルの長さが、全画面動きの大きさに対応した長さとなっている。図１４（ｂ）は、図１４（ａ）におけるシンボル部分を拡大して示したものでる。上述したように通常シンボルの長さｈがＨ＊Ｍv／Ｍvmaxとされるので、全画面動きの中で最大の動きＭvmaxの画面で描画される通常シンボルの長さｈはＨとなっている。
【０１０２】
また、図１５も、図１３のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００の場合の例である。この場合、描画される通常シンボルが混み合った状態（塗りつぶされた状態）となっている。しかし、通常シンボルの長さが全画面動きの大きさに対応した長さとされているため、画面の細かな動きは分からないが、包絡線により、各画面の全画面動きのおおよその傾向を把握可能となる。
【０１０３】
このように、図１３のフローチャートによるシンボル描画処理を行うことで、各画面で描画される通常シンボルの長さはその画面の全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。[TY1]
【０１０４】
［シンボル描画処理の他の例］
また、上述において、シンボル描画部１０５では、滞留数が１（一般には滞留数が１〜Ｎ（Ｎは以上の整数））となる画面の全てで通常シンボルが描画されている。この場合、描画された通常シンボルが混み合って重複を起こす可能性がある。そのため、描画されるシンボル間の近接を判定し、その判定結果に応じて、通常シンボルの描画態様を変化させることが考えられる。
【０１０５】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１６は、第２の実施の形態としての画像処理装置１００Ｂの構成例を示している。この画像処理装置１００Ｂは、画像入力部１０１と、代表画像作成部１０２と、全画面動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｂと、出力機器インタフェース（Ｉ／Ｆ）１０６と、間引き数算出部１０８を有している。この図１６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１０６】
例えば、表示領域上で最も近接しているシンボル間の距離ｄが算出され、この距離ｄに基づいて、シンボル間の近接が判定される。距離ｄは、画面の全画面動き方向の長さＳ、全画面動きの累積値Ｔ、全画面動きの中で滞留していないと判定された最小の動きＶminおよび出力機器における代表画像の表示領域の全画面動き方向の長さＷを用い、（１）式で算出される。図１７は、長さＳ、累積値Ｔおよび長さＷが、どこに対応しているかを示している。
ｄ＝Ｗ＊Ｖmin／（Ｓ＋Ｔ）        ・・・（１）
【０１０７】
シンボル描画部１０５Ｂでは、表示領域上で最も近接しているシンボル間の距離ｄが所定値を超えるように、通常シンボルを所定数の画面毎に描画することが考えられる。この場合、通常シンボルは間引きされて描画される。図１８のフローチャートは、その場合における間引き数ｎを求める間引き数算出部１０８の処理手順の一例を示している。
【０１０８】
間引き数算出部１０８は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、間引き数算出部１０８は、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、間引き数算出部１０８は、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【０１０９】
次に、間引き数算出部１０８は、ステップＳＴ４３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５は、ステップＳＴ４２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。
【０１１０】
次に、間引き数算出部１０８は、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の全画面動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１１１】
次に、間引き数算出部１０８は、ステップＳＴ４５において、フレームの合算数ｎを１とする。そして、シンボル描画部１０５は、ステップＳＴ４６において、合算後のフレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、間引き数算出部１０８は、ステップＳＴ４７において、この算出された距離ｄが、描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１１２】
距離ｄが描画シンボルの弁別が可能な値であるとき、間引き数算出部１０８は、ステップＳＴ４８のシンボル描画部１０５Ｂの処理に移る。一方、距離ｄが描画シンボルの弁別が可能な値でないとき、間引き数算出部１０８は、ステップＳＴ４９の処理に移る。このステップＳＴ４９において、間引き数算出部１０８は、フレームの合算数ｎを１だけインクリメントする。そして、間引き数算出部１０８は、ステップＳＴ５０において、全画面動きをｎフレーム毎に合算して、その後に、ステップＳＴ４６の処理に戻る。
【０１１３】
図１９のフローチャートは、図１８のフローチャートにおけるステップＳＴ４８のシンボル描画処理を示している。シンボル描画部１０５Ｂは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、シンボル描画部１０５Ｂは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。つまり、処理フレームのフレーム番号ｋを０とする。また、間引き数ｎを表示する
【０１１４】
次に、シンボル描画部１０５Ｂは、ステップＳＴ５３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ｂは、ステップＳＴ５４の処理に移る。このステップＳＴ５４において、シンボル描画部１０５Ｂは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１１５】
滞留数が０であるとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５６の処理に移る。このステップＳＴ５６において、シンボル描画部１０５Ｂは、現在のフレーム番号ｋがｎの倍数か否かを判別する。
【０１１６】
シンボル描画部１０５Ｂは、フレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７の処理に移る。このステップＳＴ５７において、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５７の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。一方、フレーム番号ｋがｎの倍数でないとき、シンボル描画部１０５Ｂは、シンボルを描画せず、ステップＳＴ５５において、処理フレームを次のフレームとし、その後に、ステップＳＴ５３の処理に戻る。これにより、通常シンボルの描画はｎフレームで１回だけ行われ、間引きが行われる。
【０１１７】
また、ステップＳＴ５４で滞留数が２以上であるとき、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理に移る。このステップＳＴ５８において、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
【０１１８】
また、シンボル描画部１０５Ｂは、このステップＳＴ５８において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５８の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１１９】
また、ステップＳＴ５３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理に移る。このステップＳＴ５９において、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
【０１２０】
また、シンボル描画部１０５Ｂは、このステップＳＴ５９において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ｂは、ステップＳＴ５９の処理の後、ステップＳＴ６０において、処理を終了する。
【０１２１】
図２０は、図１８、図１９のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図１８、図１９のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。
【０１２２】
なお、図１８のフローチャートの処理では、距離ｄが描画シンボルの弁別が可能な値となるまで、ｎを１から変化させていき、間引きの割合に関係する最終的なｎの値を得るようにしている。しかし、ｎの値の求め方は、これに限定されるものではない。例えば、単純に、ｎの値を、ｄの逆数１／ｄに近い整数値としてもよい。また、例えば、ｎを１から変化させていく代わりに、ｄの逆数１／ｄに近い整数値から増減して、最終的なｎの値を得るようにしてもよい。
【０１２３】
［シンボル描画処理の他の例］
また、上述の図１９のフローチャートの処理では、シンボル描画部１０５で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の全画面動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さｈは、Ｈ＊Ｍv／Ｍvmaxとされる。ここで、出力機器における周縁部の表示領域の全画面動き方向に直交する方向の長さをＨとし、全画面動きの中で最大の動きをＭvmaxとし、さらに、各画面の全画面動きをＭvとしている。
【０１２４】
図２１のフローチャートは、その場合におけるシンボル描画部１０５Ｂの処理手順の一例を示している。この図２１において、図１９と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図２１のフローチャートにおいては、図１９のフローチャートのステップＳＴ５７の代わりに、ステップＳＴ５７Ａが挿入されている。
【０１２５】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ａの処理に移る。このステップＳＴ５７Ａにおいて、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの全画面動きの大きさＭvに対応した長さとする。
【０１２６】
シンボル描画部１０５Ｂは、このステップＳＴ５７Ａの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図２１のフローチャートにおけるその他のステップは、図１９のフローチャートの対応する処理と同様である。
【０１２７】
図２２は、図２１のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図２１のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。また、図２１のフローチャートによるシンボル描画処理を行うことで、フレーム番号ｋがｎの倍数毎に描画される通常シンボルの長さはその画面の全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
【０１２８】
［シンボル描画処理の他の例］
また、上述の図１９のフローチャートの処理では、フレーム番号ｋがｎの倍数の画面では通常シンボルが描画されるが、その他の画面では通常シンボルの描画は行われない。しかし、フレーム番号ｋがｎの倍数の画面では通常シンボルを濃色で濃く描画し、その他の画面では通常シンボルを淡色で薄く描画することも考えられる。
【０１２９】
図２３のフローチャートは、その場合におけるシンボル描画部１０５の処理手順の一例を示している。この図２３において、図２１と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図２３のフローチャートにおいては、図２１のフローチャートのステップＳＴ５７Ａの代わりにステップＳＴ５７Ｂが挿入され、さらに、フレーム番号ｋがｎの倍数でないときの処理ステップとして、ステップＳＴ６１が追加されている。
【０１３０】
シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数であるとき、ステップＳＴ５７Ｂの処理に移る。このステップＳＴ５７Ｂにおいて、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを、濃色で濃く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの全画面動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ５７Ｂの処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。
【０１３１】
また、シンボル描画部１０５Ｂは、ステップＳＴ５６でフレーム番号ｋがｎの倍数でないとき、ステップＳＴ６１の処理に移る。このステップＳＴ６１において、シンボル描画部１０５Ｂは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして通常シンボルを、淡色で薄く描画する。この場合、シンボル描画部１０５Ｂは、描画する通常シンボルの長さｈを、上述したように、Ｈ＊Ｍv／Ｍvmaxとし、現在フレームの全画面動きの大きさＭvに対応した長さとする。シンボル描画部１０５Ｂは、このステップＳＴ６１の処理の後、ステップＳＴ５５で処理フレームを次のフレームとして、ステップＳＴ５３の処理に戻る。なお、詳細説明は省略するが、この図２３のフローチャートにおけるその他のステップは、図２１のフローチャートの対応する処理と同様である。
【０１３２】
図２４は、図２３のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム（画面）の数が４００、そしてｎ＝１０の場合の例である。このように、図２３のフローチャートによるシンボル描画処理では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY2]。
【０１３３】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図２５は、第３の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、画像入力部１０１と、代表画像作成部１０２と、全画面動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ａと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７を有している。この図２５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１３４】
画像入力部１０１は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部１０１は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部１０２および全画面動き算出部１０３に、順次供給する。
【０１３５】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａは、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。代表画像作成部１０２は、所定シーンの画像信号を処理し、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。全画面動き算出部１０３は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き（動きベクトル）を算出する。滞留数算出部１０４は、全画面動き検出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する（図２、図７参照）
【０１３６】
等速数算出部１０７は、全画面動き検出部１０３で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の等速数を算出する。
【０１３７】
［等速数算出処理］
図２６のフローチャートは、等速数算出部１０７における処理手順の一例を示している。等速数算出部１０７は、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、等速数算出部１０７は、等速カウンタＣの値を０とし、動き差分小計ＡＤの値を０に設定する。そして、等速数算出部１０７は、ステップＳＴ７３において、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１３８】
次に、等速数算出部１０７は、ステップＳＴ７４において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、等速数算出部１０７は、ステップＳＴ７５の処理に移る。このステップＳＴ７５において、等速数算出部１０７は、現在フレームの全画面動きから前のフレームの全画面動きを引いて、現在フレームの全画面動き差分ＡＤを算出する。また、等速数算出部１０７は、動き差分小計ＡＤに、現在フレームの全画面動き差分Ｄを加算して、現在フレームにおける動き差分小計ＡＤを求める。
【０１３９】
次に、等速数算出部１０７は、ステップＳＴ７６において、等速か否かを判断する。ここで、等速数算出部１０７は、動き差分小計ＡＤが閾値の範囲内にあるか否か否かにより、等速か否かを判断する。すなわち、等速数算出部１０７は、ＡＤが閾値の範囲内にあるときは等速であると判断し、ＡＤが閾値の範囲を超えるときは等速でないと判断する。
【０１４０】
等速数算出部１０７は、等速であると判断するとき、ステップＳＴ７７の処理に移る。このステップＳＴ７７において、等速数算出部１０７は、現在フレームの等速数を０とし、等速カウンタＣの値を１だけインクリメントする。また、等速数算出部１０７は、このステップＳＴ７７において、動き差分の小計ＡＤの最大値および最小値を記録する。この記録情報は、等速でないと判断される場合の動き差分の小計ＡＤがどの程度であったかを示す情報（メタデータ）となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
【０１４１】
ステップＳＴ７６で等速でないと判断するとき、等速数算出部１０７は、ステップＳＴ７８の処理に移る。このステップＳＴ７８において、等速数算出部１０７は、１フレーム（１画面）前の等速数を等速カウンタＣの値とすると共に、現在フレームの等速数を１とし、さらに、現在フレームの全画面動き差分Ｄを記録する。そして、等速数算出部１０７は、ステップＳＴ７９において、等速カウンタＣの値を１とすると共に、動き差分の小計ＡＤを０にリセットする。
【０１４２】
等速数算出部１０７は、ステップＳＴ７７の処理の後、およびステップＳＴ７９の処理の後に、ステップＳＴ８０の処理に移る。このステップＳＴ８０において、等速数算出部１０７は、処理フレームを次のフレームとし、その後に、ステップＳＴ７４の処理に戻る。
【０１４３】
また、ステップＳＴ７４で処理フレームが最終フレームであるとき、等速数算出部１０７は、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、等速数算出部１０７は、現在フレーム（＝最終フレーム）の等速数を等速カウンタＣの値とする。また、等速数算出部１０７は、このステップＳＴ８１において、現在フレームの全画面動き差分Ｄを算出して、記録する。そして、等速数算出部１０７は、ステップＳＴ８２において、処理を終了する。
【０１４４】
図２７は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレームの全画面動きＭｖと、この各フレームの全画面動きＭvにより得られた滞留数、累積値、動き差分、等速数の一例を示している。滞留数、累積値は、上述の図２、図７のフローチャートで示す滞留数算出処理で得られたものである。また、動き差分および等速数は、上述の図２５のフローチャートで示す等速数算出処理で得られたものである。この例においては、フレーム１からフレーム１０までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１１で全画面動きＭｖが５０であって動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１からフレーム９までの等速数は０とされ、フレーム１０の等速数は１０とされる。
【０１４５】
また、この例においては、フレーム１１からフレーム１７までは動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム１８で動き差分Ｄが５０となるので等速でないと判断される。そのため、フレーム１１からフレーム１６までの等速数は０とされ、フレーム１７の等速数は７とされる。また、この例においては、フレーム１８からフレーム２０まで動き差分Ｄが５０となるので連続して等速でないと判断される。そのため、フレーム１８からフレーム２０の等速数は１とされる。
【０１４６】
また、この例においては、フレーム２１とフレーム２２の動き差分Ｄが０であるので連続して等速と判断される。そして、フレーム２３で動き差分Ｄが−５０となるので等速でないと判断される。そのため、フレーム２１の等速数は０とされ、フレーム２２の等速数は２とされる。また、この例においては、フレーム２３からフレーム２５まで動き差分Ｄが−５０となるので連続して等速でないと判断される。そのため、フレーム２３からフレーム２５の等速数は１とされる。また、この例においては、フレーム２６からフレーム３９までは動き差分Ｄが０であるので連続して等速と判断される。そのため、フレーム２７からフレーム３９までの等速数は０とされ、フレーム４０の等速数は１５とされる。
【０１４７】
なお、図２６のフローチャートに示す等速数算出処理では、ステップＳＴ７６における等速の判断を、動き差分小計ＡＤが閾値内にあるか否かで行っている。しかし、所定のフレームにおける等速の判断を、そのフレームにおける動き差分Ｄが閾値の範囲内にあるか否かで判断するようにしてもよい。
【０１４８】
シンボル描画部１０５Ａは、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルを描画する。この場合、シンボル描画部１０５Ａは、滞留数算出部１０４で算出された各画面の滞留数および等速数算出部１０７で算出された各画面の動き差分Ｄおよび等速数に基づいて描画処理を行う。また、シンボル描画部１０５Ａは、周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、出力機器インタフェース（Ｉ／Ｆ）１０６に供給する。
【０１４９】
［シンボル描画処理］
図２８のフローチャートは、シンボル描画部１０５Ａにおける処理手順の一例を示している。シンボル描画部１０５は、ステップＳＴ９１において、処理を開始し、その後に、ステップＳＴ９２の処理に移る。このステップＳＴ９２において、シンボル描画部１０５Ａは、全画面動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向などがある。この場合、シンボル描画部１０５Ａは、例えば、全画面動き算出部１０３で算出される各画面の全画面動き（動きベクトル）に基づいて、全画面動き方向を取得する。
【０１５０】
次に、シンボル描画部１０５Ａは、ステップＳＴ９３において、シンボル描画軸を決定する。この場合、シンボル描画部１０５Ａは、ステップＳＴ９２で取得した全画面動き方向に対応するようにシンボル描画軸を決定する。例えば、全画面動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部１０５Ａは、表示枠の大きさＷ、つまり上述した出力機器における代表画像の表示領域の全画面動き方向の長さＷを取得する。この長さＷの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース１０６を通じて出力機器から自動的に取得される。
【０１５１】
次に、シンボル描画部１０５Ａは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１５２】
距離ｄが描画シンボルの弁別が可能な値であるとき、シンボル描画部１０５Ａは、ステップＳＴ９７のシンボル描画の処理に移る。このステップＳＴ９７におけるシンボル描画の処理は、詳細説明は省略するが、上述の図４、図８、図１３のフローチャートで示すシンボル描画処理などと同様である。
【０１５３】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ａは、ステップＳＴ９８の縮退シンボル描画の処理に移る。図２９のフローチャートは、図２８のフローチャートにおけるステップＳＴ９８の縮退シンボル描画の処理を示している。
【０１５４】
シンボル描画部１０５Ａは、ステップＳＴ１０１において、処理を開始し、その後に、ステップＳＴ１０２の処理に移る。このステップＳＴ１０２において、シンボル描画部１０５Ａは、処理フレーム（処理画面）を最初のフレーム（最初の画面）とする。
【０１５５】
次に、シンボル描画部１０５Ａは、ステップＳＴ１０３において、処理フレームが最終フレーム（最終画面）であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部１０５Ａは、ステップＳＴ１０４の処理に移る。このステップＳＴ１０４において、シンボル描画部１０５Ａは、滞留数が０であるか、１であるか、あるいは２以上であるかを判断する。
【０１５６】
滞留数が０であるとき、シンボル描画部１０５Ａは、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、滞留数が１であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０６の処理に移る。このステップＳＴ１０６において、シンボル描画部１０５Ａは、現在フレームの等速数が０であるか、１であるか、あるいは２以上であるかを判別する。
【０１５７】
シンボル描画部１０５Ａは、等速数が０であるとき、シンボルを描画せずに、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。また、シンボル処理部１０５Ａは、等速数が１であるとき、ステップＳＴ１０７の処理に移る。このステップＳＴ１０７において、シンボル描画部１０５Ａは、動き差分が正か負かを判断する。
【０１５８】
動き差分が正であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０８の処理に移る。このステップＳＴ１０８において、シンボル描画部１０５Ａは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして画面の動きが加速されていることを示す加速シンボルを描画する。一方、動き差分が負であるとき、シンボル描画部１０５Ａは、ステップＳＴ１０９の処理に移る。このステップＳＴ１０９において、シンボル描画部１０５Ａは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして画面の動きが減速されていることを示す減速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１０８またはステップＳＴ１０９の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１５９】
また、ステップＳＴ１０６で等速数が２以上であるとき、シンボル描画部１０５Ａは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして画面の動きが等速であることを示す等速シンボルを描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１０の処理の後、ステップＳＴ１０５において、処理フレームを次のフレームとし、その後に、ステップＳＴ１０３の処理に戻る。
【０１６０】
また、ステップＳＴ１０４で滞留数が２以上であるとき、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理に移る。このステップＳＴ１１１において、シンボル描画部１０５Ａは、代表画像（和集合画像）の現在フレーム（現在画面）に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１１において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１１の処理の後、ステップＳＴ１０５で処理フレームを次のフレームとして、ステップＳＴ１０３の処理に戻る。
【０１６１】
また、ステップＳＴ１０３で処理フレームが最終フレームであるとき、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理に移る。このステップＳＴ１１２において、シンボル描画部１０５Ａは、代表画像（和集合画像）の現在フレーム（＝最終フレーム）に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。また、シンボル描画部１０５Ａは、このステップＳＴ１１２において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部１０５Ａは、ステップＳＴ１１２の処理の後、ステップＳＴ１１３において、処理を終了する。
【０１６２】
図３０は、所定シーンを構成するフレーム（画面）の数が４０の場合において、各フレーム（各画面）の滞留数、動き差分、等速数などが図２７に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、図３０の描画例においては、等速、加速、減速のフレーム継続数も表示しているが、この表示はなくともよい。
【０１６３】
出力機器インタフェース１０６は、シンボル描画部１０５Ａから供給される画像データ、つまり周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１６４】
［画像処理装置の動作例］
図２５に示す画像処理部１００Ａの動作例を説明する。画像入力部１０１に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機（カメラ）で撮像されて得られたものであり、撮像機（カメラ）から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
【０１６５】
画像入力部１０１では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部１０１では、各シーンの画像信号を代表画像作成部１０２および全画面動き検出部１０３に順次供給することが行われる。
【０１６６】
代表画像作成部１０２、全画面動き算出部１０３、滞留数算出部１０４、等速数算出部１０７およびシンボル描画部１０５Ａでは、各シーンが順次処理対象のシーン（所定シーン）とされて、処理される。すなわち、代表画像作成部１０２では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面（フレーム）の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
【０１６７】
また、全画面動き算出部１０３では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き（動きベクトル）が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部１０４に供給される。滞留数算出部１０４では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される（図２、図７参照）。さらに、等速数算出部１０７では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される（図２６参照）。
【０１６８】
滞留数算出部１０４で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部１０５Ａに供給される。また、等速数算出部１０７で算出された所定シーン内の各画面の等速数および動き差分は、シンボル描画部１０５Ａに供給される。また、このシンボル描画部１０５Ａには、代表画像作成部１０２で作成された代表画像（和集合画像）の画像信号（画像データ）が供給される。このシンボル描画部１０５Ａでは、所定シーン内の各画面の滞留数、等速数、動き差分などに基づいて、代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルが描画される（図２８、図２９参照）。
【０１６９】
この場合、表示領域上で最も近接しているシンボル間の距離ｄが算出される。そして、この距離ｄが描画シンボルの弁別可能な値であるときは、滞留数が１である画面において、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして通常シンボルが描画される（図４、図８、図１３参照）。また、距離ｄが描画シンボルの弁別可能な値でないとき、滞留数が１で、かつ等速数が１以上である画面において、代表画像（和集合画像）のその画面に対応した位置に、縮退シンボルとして、加速シンボル、等速シンボル、減速シンボルが描画される（図２９参照）。
【０１７０】
また、滞留数が２以上である画面においては、代表画像（和集合画像）のその画面に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
【０１７１】
シンボル描画部１０５Ａでは、シーン毎に、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の画像信号（画像データ）が得られ、この画像信号（画像データ）は出力機器インタフェース（Ｉ／Ｆ）１０６に供給される。そして、出力機器インタフェース１０６では、シンボル描画部１０５Ａから供給される画像信号、つまり周縁部に全画面動きを示すシンボルが描画された代表画像の画像信号（画像データ）を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
【０１７２】
これにより、例えば、画像表示装置においては、周縁部に全画面動きを示すシンボルが描画された代表画像（和集合画像）の表示が行われる。また、例えば、記録装置においては、画像入力部１０１に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
【０１７３】
以上説明したように、図２５に示す画像処理装置１００Ａにおいては、代表画像作成部１０２により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、全画面動き算出部１０３により、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動きが算出される。また、滞留数算出部１０４により、算出された所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および動き累積値が算出される。さらに、等速数算出部１０７により、算出された所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される。
【０１７４】
そして、シンボル描画部１０５Ａにより、この算出された所定シーン内の各画面の滞留数、動き差分、等速数などに基づいて、代表画像作成部１０２で作成された代表画像（和集合画像）の周縁部に、全画面動きを示すシンボルが描画される。したがって、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。つまり、シーン内に「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見ることができる。
【０１７５】
また、図２５に示す画像処理装置１００Ａにおいては、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボル（通常シンボル）の弁別が可能な値でないときは、縮退シンボルとしての加速、等速、減速などシンボルが描画される。そのため、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて全画面動きの把握が困難になるということを防止できる。また、この場合、全画面動きの加速期間、等速期間、減速期間を容易に把握可能となる。
【０１７６】
なお、図３０に示す描画例における加速、等速、減速の縮退シンボルは一例であって、これに限定されるものではない。例えば、図３１に示すように、加速、等速、減速の縮退シンボルとして、図形、記号、矢印太さ、矢印向き、矢印の色、言語的シンボル（漢字[加|等|減]、英語[acc|eq|br]など）、矢印の色違い重畳など、が考えられる。また、図示は省略するが、出力機器の形態によっては、点滅や動きのあるアイコンによる表示手法なども適用可能である
【０１７７】
図３２（ａ）〜（ｆ）は、種々の縮退シンボルを用いた描画例を示している。この際、矢印の向きについては、基準線に対して上向き、下向き、という形でもよい。また、上述したように画面動きの大きさに対応した長さの通常シンボルを描画する場合と同様のアルゴリズムを用いて、その包絡線に沿った矢印（図３２（ｄ）参照）とすることで、各画面の動きの大まかな分布も表すことができる。また、図３３（ａ）〜（ｃ）に示すように、多角形や、長方形の色、グラデーション等を用いての表示なども考えられる。
【０１７８】
また、図２５に示す画像処理装置１００Ａにおける上述の縮退シンボルの描画処理では、撮像機（カメラ）の等速運動時にはシンボル数が劇的に減る。しかし、ここでは加速シンボルや減速シンボルが込み合った形で描画される可能性がある。シンボルの形状を工夫することによって、可読性を担保することも可能であるが、以下の方法によって、さらに加速シンボルや減速時シンボルの数を縮退することも可能である。
【０１７９】
１つは、等速数で１が連続していることを検知しておき、連続しているうちの最後の１のタイミングでのみ加速シンボルや減速シンボルを描画する手法である。他の１つは、動き差分の、さらに前フレームとの差分を計算する。これを、動き加速差分と呼ぶ。この動き加速差分に基づいて、図２６のフローチャートの処理と同様の処理によって、加速等速数を算出し、この加速等速数を上述の等速数と同様に用いて（図２９参照）、加速、減速のシンボルを描画するようにしてもよい。
【０１８０】
また、図２５に示す画像処理装置１００Ａにおいて、シンボル描画部１０５Ａでは、等速数が１である画面で加速または減速シンボルが描画され、等速数が２以上である画面で等速シンボルが描画されるようになっている（図２９参照）。しかし、一般に、等速数が１〜Ｍ（Ｍは１以上の整数）である画面で加速または減速シンボルが描画され、等速数がＭを超える画面で等速シンボルが描画されるようにしてもよい。そして、この場合、Ｍの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
【０１８１】
＜４．第４の実施の形態＞
上述の図２５に示す画像処理装置１００Ａにおけるシンボル描画処理では、表示領域上で最も近接しているシンボル間の距離ｄが描画シンボルの弁別が可能な値でないときは、縮退シンボル描画の処理を行うようになっている（図２８のステップＳＴ９８）。しかし、この距離ｄが描画シンボルの弁別が可能な値でないとき、ユーザの選択設定に応じて、縮退シンボル描画か、あるいは間引き描画のいずれかの処理が行われるようにすることもできる。
【０１８２】
［画像処理装置の構成例］
図３４は、第４の実施の形態としての画像処理装置１００Ｃの構成例を示している。この画像処理装置１００Ｃは、画像入力部１０１と、代表画像作成部１０２と、全画面動き算出部１０３と、滞留数算出部１０４と、シンボル描画部１０５Ｃと、出力機器インタフェース（Ｉ／Ｆ）１０６と、等速数算出部１０７と、間引き数算出部１０８を有している。この図３４において、図１、図１６、図２５と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【０１８３】
図３５のフローチャートは、その場合におけるシンボル描画部１０５Ｃの処理手順の一例を示している。この図３５において、図２８と対応するステップには同一の符号を付し、その詳細説明は省略する。シンボル描画部１０５Ｃは、ステップＳＴ９４で表示枠の大きさＷを取得した後、ステップＳＴ１２１において、フレームの合算数ｎを１として、その後に、ステップＳＴ９５の処理に移る。
【０１８４】
そして、シンボル描画部１０５Ｃは、ステップＳＴ９５において、フレームの最小動きＶminに対して、上述の（１）式で、距離ｄを算出する。そして、ステップＳＴ９６で、この算出された距離ｄは描画シンボルの弁別が可能な値（例えば２）であるか否かを判別する。距離ｄが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
【０１８５】
また、ステップＳＴ９６で距離ｄが描画シンボルの弁別が可能な値でないとき、シンボル描画部１０５Ｃは、ステップＳＴ１２２において、ユーザの選択設定が、縮退シンボル描画であるか間引き描画のいずれであるかを判別する。縮退シンボル描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ９８の縮退シンボル描画の処理に移る。
【０１８６】
一方、間引き描画に設定されているとき、シンボル描画部１０５Ｃは、ステップＳＴ１２３の処理に移る。このステップＳＴ１２３において、シンボル描画部１０５Ｃは、フレームの合算数ｎを１だけインクリメントする。そして、シンボル描画部１０５Ｃは、ステップＳＴ１２４において、全画面動きをｎフレーム毎に合算して、その後に、ステップＳＴ９５の処理に戻る。
【０１８７】
また、シンボル描画部１０５Ｃは、ステップＳＴ９６において、距離ｄが描画シンボルの弁別が可能な値であるとき、ステップＳＴ１２５のシンボル描画の処理に移る。このシンボル描画の処理は、図１８のフローチャートのステップＳＴ４８の処理に対応する（図１９参照）。
【産業上の利用可能性】
【０１８８】
この発明は、シーン毎の画像信号から、各シーンの代表画像（サムネイル）を作成する画像処理装置に適用できる。
【符号の説明】
【０１８９】
１００・・・画像処理装置
１０１・・・画像入力部
１０２・・・代表画像作成部
１０３・・・全画面動き算出部
１０４・・・滞留数算出部
１０５，１０５Ａ，１０５Ｂ，１０５Ｃ・・・シンボル描画部
１０６・・・出力機器インタフェース
１０７・・・等速数算出部
１０８・・・間引き数算出部
【図１】
0005598041.tif 000002
【図２】
0005598041.tif 000003
【図３】
0005598041.tif 000004
【図４】
0005598041.tif 000005
【図５】
0005598041.tif 000006
【図７】
0005598041.tif 000007
【図８】
0005598041.tif 000008
【図９】
0005598041.tif 000009
【図１０】
0005598041.tif 000010
【図１１】
0005598041.tif 000011
【図１３】
0005598041.tif 000012
【図１４】
0005598041.tif 000013
【図１６】
0005598041.tif 000014
【図１７】
0005598041.tif 000015
【図１８】
0005598041.tif 000016
【図１９】
0005598041.tif 000017
【図２０】
0005598041.tif 000018
【図２１】
0005598041.tif 000019
【図２２】
0005598041.tif 000020
【図２３】
0005598041.tif 000021
【図２５】
0005598041.tif 000022
【図２６】
0005598041.tif 000023
【図２７】
0005598041.tif 000024
【図２８】
0005598041.tif 000025
【図２９】
0005598041.tif 000026
【図３４】
0005598041.tif 000027
【図３５】
0005598041.tif 000028
【図３６】
0005598041.tif 000029
【図６】
0005598041.tif 000030
【図１２】
0005598041.tif 000031
【図１５】
0005598041.tif 000032
【図２４】
0005598041.tif 000033
【図３０】
0005598041.tif 000034
【図３１】
0005598041.tif 000035
【図３２】
0005598041.tif 000036
【図３３】
0005598041.tif 000037