(57)【特許請求の範囲】
【請求項１】
移動する映像撮影装置により撮影された映像を入力する映像入力部と、
前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、
前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定する映像種類判定部と、
前記映像種類判定部によって判定された前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工する映像加工部とを備え、
前記移動特徴量取得部は、
前記映像撮影装置の移動速度を取得する速度入力部と、
前記映像撮影装置の撮影位置を取得する第１位置入力部と、
前記撮影位置および前記移動速度にもとづいて、前記映像シーンに対応する前記移動特徴量を算出する移動特徴量算出部と
を含む
映像加工システム。
【請求項２】
前記映像加工部によって加工された映像を表示する表示部を更に備えた
請求項１に記載の映像加工システム。
【請求項３】
経路情報が格納された経路情報記憶部を更に備え、
前記移動特徴量算出部は、前記経路情報と前記映像撮影装置の前記撮影位置及び前記移動速度とにもとづいて、前記映像シーンに対応する前記移動特徴量を算出する
請求項１又は２に記載の映像加工システム。
【請求項４】
前記経路情報は、経路の位置、種類、車線数、交差点の位置、分岐点の位置、及び信号の有無のうちの少なくとも１つを含む
請求項３記載の映像加工システム。
【請求項５】
前記移動特徴量は、前記映像撮影装置の現在位置と設定ルートとのずれ量、走行速度、及び走行直進度のうちの少なくとも１つを含む
請求項１乃至４のいずれかに記載の映像加工システム。
【請求項６】
前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するランドマーク特徴量取得部を更に備え、
前記映像種類判定部は、前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する
請求項１乃至５のいずれかに記載の映像加工システム。
【請求項７】
前記ランドマーク特徴量取得部は、
前記映像撮影装置の撮影方位を取得する方位入力部と、
前記映像撮影装置の撮影位置を取得する第２位置入力部と、
前記ランドマークの属性情報であるランドマーク情報が格納されたランドマーク情報記憶部と、
前記ランドマーク情報、前記撮影位置、及び前記撮影方位とにもとづいて、前記映像シーンに対応する前記ランドマーク特徴量を算出するランドマーク特徴量算出部と
を含む
請求項６記載の映像加工システム。
【請求項８】
前記ランドマーク情報は、前記ランドマークの位置および形状を含む
請求項７記載の映像加工システム。
【請求項９】
前記ランドマーク特徴量は、前記ランドマークの画面上でのサイズおよび画面中心からのずれ量のうちの少なくとも１つを含む
請求項６乃至８のいずれかに記載の映像加工システム。
【請求項１０】
前記映像種類判定部は、前記移動特徴量および前記ランドマーク特徴量が閾値より大きいか否かを判断することによって、前記映像シーンの種類を判定する
請求項６乃至９のいずれかに記載の映像加工システム。
【請求項１１】
前記移動特徴量および前記ランドマーク特徴量に対する前記閾値は、利用用途によって変更される
請求項１０に記載の映像加工システム。
【請求項１２】
前記映像種類判定部は、
前記移動特徴量および前記ランドマーク特徴量のうちの少なくとも１つの値にもとづいて、前記映像シーンの重要度を算出し、前記算出された重要度が閾値より大きい場合に、前記映像シーンの種類を判定する
請求項６乃至９のいずれかに記載の映像加工システム。
【請求項１３】
前記映像シーンの種類は、曲がり角シーン、ランドマークシーン、渋滞シーン、信号待ちシーン、及びその他のシーンのうちの少なくとも１つを含む
請求項１乃至１２のいずれかに記載の映像加工システム。
【請求項１４】
前記映像加工部は、
前記曲がり角シーンと判定された前記映像シーンがスロー再生されるように、前記映像を加工し、
前記ランドマークシーンと判定された前記映像シーンに、ランドマーク情報のテロップが表示されるように、前記映像を加工し、
前記渋滞シーンと判定された前記映像シーンが削除されるように、前記映像を加工し、
前記信号待ちシーンと判定された前記映像シーンが削除されるように、前記映像を加工し、
前記その他のシーンと判定された前記映像シーンが高速再生されるように、前記映像を加工する
請求項１３記載の映像加工システム。
【請求項１５】
映像撮影装置により撮影された映像を加工する映像加工システムのサーバであって、
ランドマークの属性情報であるランドマーク情報を記憶するランドマーク情報記憶部と、
前記ランドマーク情報と、端末から受信した前記映像撮影装置の撮影位置および撮影方位とにもとづいて、映像シーンに対応するランドマーク特徴量を算出するランドマーク特徴量算出部と、
経路情報を記憶する経路情報記憶部と、
前記経路情報と、前記端末から受信した前記映像撮影装置の撮影位置および移動速度とにもとづいて、前記映像シーンに対応する移動特徴量を算出する移動特徴量算出部と、
前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する映像種類判定部と、
前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工する映像加工部と、
前記映像加工部により加工された映像を、通信ネットワークを介して前記端末に送信するサーバ側送信部とを備える
サーバ。
【請求項１６】
映像撮影装置により撮影された映像を加工する映像加工システムのサーバであって、
ランドマークの属性情報であるランドマーク情報を記憶するランドマーク情報記憶部と、
前記ランドマーク情報と、端末から受信した前記映像撮影装置の撮影位置および撮影方位とにもとづいて、映像シーンに対応するランドマーク特徴量を算出するランドマーク特徴量算出部と、
経路情報を記憶する経路情報記憶部と、
前記経路情報と、前記端末から受信した前記映像撮影装置の撮影位置および移動速度とにもとづいて、前記映像シーンに対応する移動特徴量を算出する移動特徴量算出部と、
前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する映像種類判定部と、
前記映像シーンの種類を、通信ネットワークを介して前記端末に送信するサーバ側送信部とを備える
サーバ。
【請求項１７】
映像撮影装置によって撮影された映像を加工する映像加工システムの端末であって、
前記映像を入力する映像入力部と、
前記映像撮影装置の撮影方位を入力する方位入力部と、
前記映像撮影装置の撮影位置を入力する位置入力部と、
前記映像撮影装置の移動速度を入力する速度入力部と、
映像シーンの種類を判定するサーバに、前記撮影方位、前記撮影位置および前記移動速度を、通信ネットワークを介して送信する端末側送信部と、
前記サーバから受信する前記映像シーンの種類にもとづいて、前記映像の加工方法を決定し、前記決定された加工方法に従って、前記映像を加工する映像加工部と、
前記映像加工部により加工された映像を表示する映像表示部とを備える
端末。
【請求項１８】
移動する映像撮影装置により撮影された映像を入力することと、
前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得することと、
前記移動特徴量及び前記ランドマーク特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定することと、
前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工することと
を含む
映像加工方法。
【請求項１９】
コンピュータが読み取り可能な記録媒体に記録された映像加工プログラムであって、
移動する映像撮影装置により撮影された映像を入力することと、
前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得することと、
前記移動特徴量及び前記ランドマーク特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定することと、
前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工することと
をコンピュータに実行させるための
映像加工プログラム。
【請求項２０】
移動手段に搭載された映像撮影装置により撮影された映像を入力する映像入力部と、
前記移動手段が有する計測器によって得られる前記映像撮影装置の位置及び移動速度の少なくとも１つに基づいて、前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、
前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定する映像種類判定部と
を備える
映像種類判定システム。
【請求項２１】
移動手段に搭載された映像撮影装置により撮影された映像を入力する映像入力部と、
前記移動手段が有する計測器によって得られる前記映像撮影装置の位置及び移動速度の少なくとも１つに基づいて、前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、
前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定する映像種類判定部と、
前記映像種類判定部によって判定された前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工する映像加工部と
を備える
映像加工システム。
【請求項２２】
前記映像加工部によって加工された映像を表示する表示部を更に備える
請求項２１に記載の映像加工システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動カメラの映像を加工する技術に関する。特に、本発明は、映像コンテンツの種類を判定し映像を加工する映像加工システム、映像加工方法および映像加工プログラムに関する。また、本発明は、映像コンテンツの種類を判定する映像種類判定システム、映像種類判定方法および映像種類判定プログラムに関する。また、本発明は、映像加工システムのサーバおよび端末に関する。
【背景技術】
【０００２】
ユビキタスカメラなどの移動カメラは、常時人間が携帯したり、車両に搭載されたりする。この場合、撮影者が意識的に映像を撮るのではなく、撮影者の通常の行動の映像が連続的に無意識に撮影される。そのため、移動カメラによる映像は、ユーザにとって重要と考えられないシーンを含むことが多い。移動カメラによる映像を効率的に閲覧するシステムを実現することが望まれる。【０００３】
特開２０００−９２３８６号公報には、移動カメラ映像の閲覧システムが開示されている。図１は、この従来技術に係る移動カメラ映像の閲覧システムの構成例を示すブロック図である。図１に示されるように、この閲覧システムは、映像再生部９０２と、現在位置管理部９０３と、領域重要度管理部９０４と、映像省略部９０５と、映像表示部９０６とを備えている。映像再生部９０２は、移動カメラ映像を再生する。現在位置管理部９０３は、再生されている映像の現在位置が移動空間のどの場所であるかを管理する。移動空間はいくつかのエリアに分割され、エリアごとに予め重要度が付与される。領域重要度管理部９０４は、各エリアがどれくらい重要であるかを管理し、現在位置が属する領域の重要度を算出する。映像省略部９０５は、映像を再生する際に単位領域の重要度に応じて映像を省略する。映像表示部９０６は、通常再生または省略して再生された映像を表示する。【０００４】
また、他の閲覧システムが、「T. Ueda et al., "Digest Creation of Video Data recorded by Wearable Cameras using Locational and Geographical Inoformation", Technical Report of the Institute of Electronics, Information and Communication Engineers, Vol.101, No. 193 (DE2001-101), pp.175-182, July, 2001」に開示されている。この映像処理システムによれば、撮影位置とランドマークとの距離および向きによりシーンの重要度が算出され、重要度が予め定められた閾値よりも大きいシーンのみが切り出され提供される。【０００５】
以上に示された従来の閲覧システムによれば、映像の重要度が撮影位置に基づいて検出される。そして、重要度の高いシーンのみが切り出されたり、重要度の高さに応じて再生速度が変化させられる。【０００６】
ユビキタスカメラなどが使用される場合、撮影者が意識的に映像を撮るのではなく、撮影者の通常の行動の映像が連続的に無意識に撮影される。そのため、撮影映像がそのまま再生された場合、閲覧者は不快な印象を受けることがある。例えば、撮影者が大きく左右に視線を変えたり、自動車が右折や左折をしたりする場合に撮影された映像においては、画像が大きく左右に揺れる。このような映像シーンは、高速で再生され表示されると、閲覧者に不快な印象を与えることがある。また、渋滞中を走行しているシーンなどの変化の無いシーンは、低速再生された場合などには、閲覧者に退屈感を感じさせることがある。【０００７】
また、移動カメラによる映像における重要なシーンは、オブジェクトとの相対位置だけによって決定されるものではない。撮影装置自体が自ら移動しているので、移動情報そのものが重要シーンと深い相関がある場合がある。道を曲がったり停まったりという行動は、歩行者や自動車の運転手の意図が込められているので、道を曲がったり停まったりする場合の映像も重要度が高くなる。【０００８】
しかし、上述の従来の閲覧システムでは、撮影位置やランドマークとの距離／向きに基づいて重要度が決定されているにすぎない。よって、従来の閲覧システムにおいて、映像シーンがどのような種類のものであるか適切に判断することはできない。また、映像シーンの種類に応じて映像を適切に再生することはできない。【０００９】
更に、移動映像における重要度の基準は、閲覧者の映像を閲覧する目的によって変化する。従来の閲覧システムでは重要度の判定基準が固定されているで、閲覧者の目的の変化に対応することが困難である。例えば、ある目的地までの行き方の確認が目的の場合には、全行程の映像が重要で、特に曲がり角といったシーンが最も重要になる。一方、過去に行ったドライブの映像を振り返って見たいという目的の場合には、道なりに見えた山やビルなどのランドマークが重要になる。【００１０】
尚、画像処理に関連する一般的な技術として以下のものが知られている。【００１１】
特開２００２−１４２１８９号公報に開示された画像処理装置は、入力手段と、評価手段と、処理手段を有している。入力手段は、動画像データを有するデータストリームを入力する。評価手段は、動画像データを複数のシーンに分割し、互いに異なる複数の条件に従って、シーン毎に動画像データを評価する。処理手段は、評価手段による評価の結果に基づいて、シーンを選択する。【００１２】
特開２００２−２７１７３３号公報には、サッカーの試合のダイジェスト映像を作成する装置が開示されている。このダイジェスト作成装置は、サッカーの試合映像を複数の時間帯で分割し、それぞれの時間帯における各チームの状態（攻勢、劣勢など）を判定することにより、試合の流れを示す情報を生成する。そして、ダイジェスト作成装置は、生成された情報と重要度を用いて映像シーンの抽出を行う。【００１３】
特開２００２−３３０３９３号公報には、番組映像上のある時点における意味的な重要度を判定し、番組付加情報を受信しながら重要度を動的に算出するための映像ダイジェスト生成方法が開示されている。また、特開２００３−８７７１２号公報には、試合の経過を取り込んで事象の重要度を判定することができるスポーツ映像のダイジェスト作成方法が開示されている。【００１４】
特開平８−９５５９６号公報には、音情報を用いて映像や音の外郭や雰囲気を短時間のうちに把握できる方法が開示されている。この方法は、画像情報と音情報からなる映像情報を入力するステップと、入力された映像情報中の音情報から種々の特徴量を抽出するステップと、抽出された特徴量に基づいて映像情報を加工するステップと、加工により生成された映像情報を出力するステップとを有する。
【発明の開示】
【００１５】
本発明の目的は、映像シーンの種類を判定できる映像種類判定システム、映像種類判定方法および映像種類判定プログラムを提供することにある。
【００１６】
本発明の他の目的は、映像シーンの種類を判定して、映像シーンの種類に応じた加工方法に従って映像を加工できる映像加工システム、映像加工方法、映像加工プログラム、映像加工システムのサーバおよび端末を提供することにある。
【００１７】
本発明の第１の観点において、映像種類判定システムは、移動する映像撮影装置により撮影された映像を入力する映像入力部と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、移動特徴量にもとづいて映像に含まれる映像シーンの種類を判定する映像種類判定部とを備える。
【００１８】
本発明の第２の観点において、映像加工システムは、映像入力部と、移動特徴量取得部と、映像種類判定部と、映像加工部とを備える。映像入力部は、移動する映像撮影装置により撮影された映像を入力する。移動特徴量取得部は、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する。映像種類判定部は、移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定する。映像加工部は、映像種類判定部によって判定された映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工する。
【００１９】
この映像加工システムは、映像加工部によって加工された映像を表示する表示部を更に備えてもよい。これにより、加工された映像を再生して表示することが可能となる。
【００２０】
移動特徴量取得部は、映像撮影装置の移動速度を取得する速度入力部と、映像撮影装置の撮影位置を取得する第１位置入力部と、撮影位置および移動速度にもとづいて、映像シーンに対応する移動特徴量を算出する移動特徴量算出部とを含んでもよい。
【００２１】
また、この映像加工システムは、移動中に通過し得る経路の属性情報である経路情報が格納された経路情報記憶部を更に備えてもよい。この時、移動特徴量算出部は、経路情報と映像撮影装置の撮影位置及び移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。予め記憶された経路情報を用いることによって、容易に移動特徴量が求められる。
【００２２】
上記経路情報は、経路の位置、種類、車線数、交差点の位置、分岐点の位置、及び信号の有無のうちの少なくとも１つを含む。
【００２３】
上記移動特徴量は、映像撮影装置の現在位置と設定ルートとのずれ量、走行速度、及び走行直進度のうちの少なくとも１つを含む。
【００２４】
また、映像加工システムは、映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するランドマーク特徴量取得部を更に備えてもよい。この時、映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。この場合、移動特徴量だけでなくランドマーク特徴量も用いられるので、より多くの映像シーンの種類を判定することが可能となる。
【００２５】
ランドマーク特徴量取得部は、映像撮影装置の撮影方位を取得する方位入力部と、映像撮影装置の撮影位置を取得する第２位置入力部と、ランドマークの属性情報であるランドマーク情報が格納されたランドマーク情報記憶部と、ランドマーク特徴量算出部とを備える。ランドマーク特徴量算出部は、ランドマーク情報、撮影位置、及び撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。この場合、映像方位及び撮影位置を用いることにより、容易にランドマーク特徴量を求めることが可能となる。
【００２６】
ランドマーク情報は、ランドマークの位置および形状を含む。ランドマーク特徴量は、ランドマークの画面上でのサイズおよび画面中心からのずれ量のうちの少なくとも１つを含む。
【００２７】
映像種類判定部は、移動特徴量およびランドマーク特徴量が閾値より大きいか否かを判断することによって、映像シーンの種類を判定してもよい。閾値判定を行うことによって、容易に映像シーンの種類を判定することが可能となる。移動特徴量およびランドマーク特徴量に対する閾値は、利用用途によって変更されてもよい。
【００２８】
映像種類判定部は、移動特徴量およびランドマーク特徴量のうちの少なくとも１つの値にもとづいて、映像シーンの重要度を算出してもよい。この時、映像種類判定部は、算出された重要度が閾値より大きい場合にのみ、映像シーンの種類を判定する。これにより、重要な映像シーンについてのみ画像処理を行うことが可能となる。
【００２９】
映像加工部は、特定の映像シーンの映像のみを加工してもよい。
【００３０】
表示部は、映像を表示するとともに、その映像が撮影された位置を含む地図を表示してもよい。
【００３１】
また、表示部は、映像の利用用途をユーザが設定入力するためのユーザインタフェイスを備えていてもよい。映像閲覧の利用用途とは、例えば、ドライブシミュレーションや観光ドライブ案内の用途のことを意味する。また、ユーザインタフェースは、例えば、利用用途を設定入力するためのスライドバーが表示部に表示されることによって実現される。
【００３２】
映像シーンの種類は、曲がり角シーン、ランドマークシーン、渋滞シーン、信号待ちシーン、及びその他のシーンのうちの少なくとも１つを含む。この場合、映像加工部は、曲がり角シーンと判定された映像シーンがスロー再生されるように映像を加工し、ランドマークシーンと判定された映像シーンに、ランドマーク情報のテロップが表示されるように映像を加工し、渋滞シーンと判定された映像シーンが削除されるように映像を加工し、信号待ちシーンと判定された映像シーンが削除されるように映像を加工し、その他のシーンと判定された映像シーンが高速再生されるように映像を加工する。
【００３３】
本発明の第３の観点において、映像撮影装置により撮影された映像を加工する映像加工システムのサーバが提供される。このサーバは、ランドマーク情報記憶部と、ランドマーク特徴量算出部と、経路情報を記憶する経路情報記憶部と、移動特徴量算出部と、映像種類判定部と、映像加工部と、サーバ側送信部とを備える。ランドマーク情報記憶部は、ランドマークの属性情報であるランドマーク情報を記憶する。ランドマーク特徴量算出部は、ランドマーク情報と、端末から受信した映像撮影装置の撮影位置および撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。移動特徴量算出部は、経路情報と、端末から受信した映像撮影装置の撮影位置および移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。映像加工部は、映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工する。サーバ側送信部は、映像加工部により加工された映像を、通信ネットワークを介して端末に送信する。
【００３４】
本発明の第４の観点において、映像撮影装置により撮影された映像を加工する映像加工システムのサーバが提供される。このサーバは、ランドマーク情報記憶部と、ランドマーク特徴量算出部と、経路情報を記憶する経路情報記憶部と、移動特徴量算出部と、映像種類判定部と、サーバ側送信部とを備える。ランドマーク情報記憶部は、ランドマークの属性情報であるランドマーク情報を記憶する。ランドマーク特徴量算出部は、ランドマーク情報と、端末から受信した映像撮影装置の撮影位置および撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。移動特徴量算出部は、経路情報と、端末から受信した映像撮影装置の撮影位置および移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。サーバ側送信部は、映像シーンの種類を、通信ネットワークを介して端末に送信する。この場合、映像がサーバに送信される場合と比較して、通信ネットワーク上の通信量を大幅に低減することができる。
【００３５】
本発明の第５の観点において、映像加工システムの端末は、映像を入力する映像入力部と、映像撮影装置の撮影方位を入力する方位入力部と、映像撮影装置の撮影位置を入力する位置入力部と、映像撮影装置の移動速度を入力する速度入力部と、映像を加工するサーバに、映像、撮影方位、撮影位置および移動速度を、通信ネットワークを介して送信する端末側送信部と、サーバから受信する加工後の映像を表示する映像表示部とを備える。
【００３６】
本発明の第６の観点において、映像加工システムの端末は、映像を入力する映像入力部と、映像撮影装置の撮影方位を入力する方位入力部と、映像撮影装置の撮影位置を入力する位置入力部と、映像撮影装置の移動速度を入力する速度入力部と、端末側送信部と、映像加工部と、映像表示部とを備える。端末側送信部は、映像シーンの種類を判定するサーバに、撮影方位、撮影位置および移動速度を、通信ネットワークを介して送信する。映像加工部は、サーバから受信する映像シーンの種類にもとづいて、映像の加工方法を決定し、決定された加工方法に従って映像を加工する。映像表示部は、映像加工部により加工された映像を表示する。この場合、映像がサーバに送信される場合と比較して、通信ネットワーク上の通信量を大幅に低減することができる。
【００３７】
本発明の第７の観点において、映像種類判定方法は、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップとを含む。
【００３８】
本発明の第８の観点において、映像加工方法は、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップと、（Ｄ）映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工するステップとを含む。
【００３９】
この映像加工方法は、更に、（Ｂ’）映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するステップを含んでもよい。この場合、上記（Ｃ）ステップにおいて、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類が判定される。
【００４０】
本発明の第９の観点において、映像種類判定プログラムは、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップとをコンピュータに実行させる。
【００４１】
本発明の第１０の観点において、映像加工プログラムは、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップと、（Ｄ）映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工するステップとをコンピュータに実行させる。
【００４２】
この映像加工プログラムは、更に、（Ｂ’）映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するステップをコンピュータに実行させてもよい。この場合、上記（Ｃ）ステップにおいて、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類が判定される。
【００４３】
本発明によれば、移動特徴量にもとづいて、映像シーンの種類を判定することができる。また、本発明によれば、判定された映像シーンの種類に応じた加工方法に従って映像を加工することができる。
【図面の簡単な説明】
【００４４】
【図１】図１は、従来の移動カメラ映像の閲覧システムの構成例を示すブロック図である。
【図２】図２は、本発明の第１の実施の形態に係る映像加工システムの構成の例を示すブロック図である。
【図３】図３は、ランドマーク特徴量取得部の構成の一例を示すブロック図である。
【図４】図４は、移動特徴量取得部の構成の一例を示すブロック図である。
【図５】図５は、本発明の第２の実施の形態に係る映像加工システムの構成の例を示すブロック図である。
【図６】図６は、本発明の第３の実施の形態に係る映像加工システムの構成の例を示すブロック図である。
【図７】図７は、本発明に係る映像加工システムの動作を示すフローチャートである。
【図８】図８は、本発明による映像加工処理を説明するための図である。
【図９】図９は、本発明による映像加工処理を説明するための図である。
【図１０】図１０は、本発明による映像加工処理を説明するための図である。
【図１１】図１１は、直進度の算出方法の例を示す説明図である。
【図１２】図１２は、映像加工処理における設定情報の例を示す説明図である。
【図１３】図１３は、表示画面の一例を示す概念図である。
【図１４】図１４は、本発明に係る映像加工システムの動作を示すフローチャートである。
【図１５】図１５は、本発明による映像加工処理を説明するための図である。
【図１６】図１６は、表示画面の他の例を示す概念図である。
【発明を実施するための最良の形態】
【００４５】
（第１の実施の形態）
以下、本発明の第１の実施の形態を図面を参照して説明する。図２は、本発明の第１の実施の形態に係る映像加工システムの構成の一例を示すブロック図である。図２に示されるように、映像加工システムは、映像を取得する映像取得部１と、ランドマーク特徴量取得部２と、移動特徴量取得部３と、映像種類判定部４と、映像加工部５と、表示部６とを含む。【００４６】
図３は、ランドマーク特徴量取得部２の構成の一例を示すブロック図である。図３に示されるように、ランドマーク特徴量取得部２は、映像撮影装置の方位を取得する方位取得部２０１と、映像撮影装置の位置を取得する位置取得部２０２と、ランドマーク情報を記憶するランドマーク情報記憶装置２０３と、方位取得部２０１が取得した方位、位置取得部２０２が取得した位置およびランドマーク情報にもとづいてランドマーク特徴量を算出するランドマーク特徴量算出部２０４とを含む。【００４７】
なお、ランドマーク情報とは、ランドマークの位置、高さ、形状などランドマークの属性情報である。また、ランドマーク特徴量とは、映像中のランドマークの特徴を示す特徴量である。【００４８】
図４は、移動特徴量取得部３の構成の一例を示すブロック図である。図４に示されるように、移動特徴量取得部３は、映像撮影装置の速度を取得する速度取得部３０１と、映像撮影装置の位置を取得する位置取得部３０２と、経路情報を記憶する経路情報記憶装置３０３と、速度取得部３０１が取得した方位、位置取得部３０２が取得した位置および経路情報にもとづいて移動特徴量を算出する移動特徴量算出部３０４とを含む。【００４９】
なお、経路情報とは、経路の位置、種類、車線数、交差点／分岐点の位置および信号の有無など、映像撮影装置が移動中に通過しうる経路の属性情報である。また、移動特徴量とは、映像撮影装置の移動状態の特徴を示す特徴量である。【００５０】
映像取得部１は、例えば、コンピュータの演算処理装置（図示されない）、プログラムおよび入力インタフェース（図示されない）によって実現される。映像取得部１は、移動撮影装置（映像撮影装置）により撮影された映像を入力する。移動撮影装置は、例えば、ＣＣＤデジタルカメラやビデオカメラなどの映像機器である。移動撮影装置は、車両、人物、船舶、航空機などの移動手段の位置や向きによって、撮影位置や撮影方向が変化する。【００５１】
ランドマーク特徴量取得部２は、映像を撮影した映像撮影装置の方位および位置と、ランドマーク情報記憶装置２０３に予め登録されているランドマークの位置や高さの情報（ランドマーク情報）とにもとづいて、ランドマーク特徴量を算出する。【００５２】
ランドマーク特徴量取得部２は、ランドマーク特徴量として、ランドマークの画面上の位置（画面中心からのずれ量）やサイズを求める。ランドマークとは、ビル、橋、塔のような人工建築物や、山や湖のような自然構造物など、位置および形状を記述可能な物体である。なお、移動位置および時刻が既知であれば、時刻と位置データとの組み合わせ集合によって記述することが可能な電車などの移動物体をランドマークとして用いてもよい。【００５３】
ランドマークを記述するために、ランドマークの代表点が用いられる。例えば、ランドマークを記述するために、ランドマークの重心点の緯度、経度および高さが用いられる。また、例えば、ランドマークを構成するポリゴンなどの各点の位置の緯度、経度および高さを表したデータ群が用いられてもよい。【００５４】
ランドマーク情報記憶装置２０３は、例えば、磁気ディスク装置によって実現される。ランドマーク情報記憶装置２０３は、ランドマーク情報として、ランドマークの位置、高さおよび形状を予め記憶する。なお、ランドマーク情報記憶装置２０３は、ランドマークの位置、高さおよび形状に加えて、ランドマークの歴史、利用料金、有名度などの付随情報をランドマーク情報として記憶してもよい。【００５５】
位置取得部２０２は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。ここで、映像撮影装置の位置は、緯度、経度および高さを用いて記述される。位置取得部２０２は、映像撮影装置の緯度、経度および高さの情報を、例えば、ＧＰＳ（Global Positioning System）装置から入力する。【００５６】
方位取得部２０１は、例えば、コンピュータの演算処理装置および入力インタフェースによって実現される。方位取得部２０１は、映像撮影装置の撮影方向（方位）を、磁気コンパス、電子コンパスまたはジャイロセンサから入力する。【００５７】
ランドマーク特徴量算出部２０４は、例えば、コンピュータの演算処理装置及びプログラムによって実現される。画角は、映像撮影装置のカメラの焦点距離およびＣＣＤ素子のサイズから計算され、予め既知であるとする。ランドマーク特徴量算出部２０４は、ランドマーク情報記憶装置２０３に予め登録されているランドマークの位置を用いて、映像撮影装置の位置からみた場合のランドマークの各点の方向と距離とを算出する。ランドマーク特徴量算出部２０４は、撮影方向および画角とにもとづいて、ランドマークの相対位置をカメラの画面上の位置に変換してランドマーク特徴量として算出する。また、ランドマーク特徴量算出部２０４は、ランドマークの画面上のサイズをランドマーク特徴量として算出する。【００５８】
移動特徴量取得部３は、映像撮影装置の移動状態の特徴を示す移動特徴量を算出する。移動特徴量取得部３は、映像撮影装置の位置、移動速度、および経路情報記憶装置３０３に予め登録されている経路情報にもとづいて、移動特徴量として、走行状態や直進度（走行直進度）、寄り道度、走行速度を算出する。【００５９】
経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。経路情報記憶装置３０３は、経路情報として、経路の位置、種類（国道や私道など）、車線数、交差点／分岐点の位置および信号の有無などを予め記憶する。【００６０】
位置取得部３０２は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。位置取得部３０２は、映像撮影装置の緯度、経度および高さの情報を、例えば、ＧＰＳからの入力によって取得する。なお、位置取得部３０２は、ランドマーク特徴量取得部２に含まれる位置取得部２０２と同じものであってもよい。【００６１】
速度取得部３０１は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。速度取得部３０１は、映像撮影装置の移動速度を、例えば、スピードメータやカーナビゲーション装置から入力する。これにより、速度取得部３０１は、映像撮影装置の移動速度を取得する。【００６２】
移動特徴量算出部３０４は、例えば、コンピュータの演算処理装置およびプログラムによって実現される。「走行状態」を求める場合、移動特徴量算出部３０４は、映像撮影装置の移動速度と、経路の位置、種類（国道や私道など）、車線数、交差点／分岐点の位置および信号の有無などの経路情報とを用いて、信号または渋滞で停止している状態か、低速走行状態か、通常走行状態かを判定する。なお、経路情報が利用できない場合には、移動特徴量算出部３０４は、映像撮影装置の移動速度のみを用いて状態判定を行う。【００６３】
「直進度」を求める場合、移動特徴量算出部３０４は、連続する位置における速度ベクトルのなす角度の大きさに基づいて直線度を算出する。移動特徴量算出部３０４は、直進度と、経路情報に含まれる交差点位置情報とを用いた閾値判定によって、交差点を右折する状態であるか左折する状態であるかの状態判定を行うこともできる。なお、移動手段が自動車などである場合には、移動特徴量算出部３０４は、連続する位置を利用するとともに、ハンドルや車輪の回転角度を用いて直進度を求めてもよい。【００６４】
また、移動特徴量算出部３０４は、ナビゲーションシステムなどにより目標地点へのルートが設定されている場合には、映像撮影装置の現在位置とルート（設定移動ルート）との距離のずれ（以下、ルートずれ量と記す）を、「寄り道度」として求める。【００６５】
映像種類判定部４は、例えば、コンピュータの演算処理装置及びプログラムによって実現される。映像種類判定部４は、映像コンテンツの種類（映像シーンの種類）を、各映像シーンにおける「ランドマーク特徴量」および「移動特徴量」にもとづいて判定する。映像種類判定部４は、ランドマーク特徴量における画角内のランドマークの数、画面上の位置およびサイズと、移動特徴量における走行状態、直進度およびルートずれ量とをそれぞれ閾値判定することによって、映像シーンの種類を判定する。【００６６】
なお、本実施の形態において、ランドマーク特徴量取得部２は必ずしも必須の構成要素ではない。映像加工システムがランドマーク特徴量取得部２を含まない場合には、映像種類判定部４は、移動特徴量取得部３が求めた移動特徴量のみにもとづいて、映像シーンの種類を判定する。【００６７】
また、全ての映像シーンの種類を判定するのでなく、映像種類判定部４は、重要な映像シーンのみについて映像シーンの種類を判定するようにしてもよい。この場合、映像種類判定部４は、「移動特徴量」および「ランドマーク特徴量」にもとづいて映像シーンの重要度を求める。そして、映像種類判定部４は、求めた重要度にもとづいて重要と判断された映像シーンのみについて、映像シーンの種類を判定する。【００６８】
映像加工部５は、例えば、コンピュータの演算処理装置、プログラムおよび記憶装置（図示されない）によって実現される。映像加工部５は、映像種類判定部４が種類を判定した映像シーンに対する加工方法を、映像コンテンツの利用用途（観光案内、ドライブルート把握、監視など）に応じて決定する。なお、「監視」の例として、移動型ロボットに搭載されたカメラを用いて病院や工場内の監視することが挙げられる。また、映像加工部５は、映像取得装置１が取得した映像を、映像コンテンツの利用用途に応じて決定した加工方法に従って加工し出力する。【００６９】
なお、利用用途については、ユーザが指示／選択してもよいし、映像の撮影場所および抽出したランドマークによって自動的に選択されるようにしてもよい。【００７０】
映像コンテンツの利用用途に対する加工方法は予め設定される。例えば、映像加工部５は、加工方法の設定情報を予め記憶している。映像加工部５は、加工方法設定として予め汎用な加工方法のパターンを使用してもよいし、ユーザが好みに応じて作成および変更したものを用いてもよい。【００７１】
特に、ランドマークが存在することを理由に抽出されたシーンでは、そのランドマークの存在をユーザに知らせるために、ランドマーク名がテロップで表示されると効果的である。そのため、映像加工部５は、画面上にテロップ表示させる加工を行う。また、曲がり角であることを理由に抽出されたシーンでは、画面に映る風景が大きく左右に流れるので、映像加工部５は、通常またはスロー再生をさせる加工を行うとともに、曲る方向を表示させる加工を行う。【００７２】
表示部６は、例えば、コンピュータの表示装置（図示されない）によって実現される。表示部６は、映像加工部５により加工された映像コンテンツを表示する。なお、表示部６は、映像とともに地図上での撮影位置および撮影方向を同期させて表示してもよい。【００７３】
本実施の形態において、映像入力部は、映像取得部１に対応する。速度入力部は、速度取得部３０１に対応する。第１の位置入力部は、位置取得部３０２に対応する。経路情報記憶部は、経路情報記憶装置３０３に対応する。方位入力部は、方位取得部２０１に対応する。第２の位置入力部は、位置取得部２０２に対応する。ランドマーク情報記憶部は、ランドマーク情報記憶装置２０３に対応する。【００７４】
また、本実施の形態において、映像加工システムを実現するためのコンピュータの記憶装置は、映像種類判定の処理や映像加工の処理を実行させるための各種プログラムを記憶している。例えば、映像加工システムを実現するコンピュータの記憶装置には、コンピュータに、映像撮影装置が撮影した映像を入力する映像入力処理と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得処理と、移動特徴量にもとづいて、入力した映像の映像シーンの種類を判定する映像種類判定処理とを実行させるための映像種類判定プログラムが格納されている。【００７５】
また、例えば、映像加工システムを実現するコンピュータの記憶装置には、コンピュータに、映像撮影装置が撮影した映像を入力する映像入力処理と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得処理と、移動特徴量にもとづいて、入力した映像の映像シーンの種類を判定する映像種類判定処理と、判定した映像シーンの種類にもとづいて映像の加工方法を決定し、決定した加工方法に従って映像を加工する映像加工処理とを実行させるための映像加工プログラムが格納されている。【００７６】
以上のように、本実施の形態によれば、映像加工システムは、移動特徴量及び／あるいはランドマーク特徴量にもとづいて、映像シーンの種類を判定することができる。また、映像加工システムは、映像シーンの種類および利用用途に応じた加工方法に従って映像を加工することができる。【００７７】
また、本実施の形態によれば、映像シーンの種類を判定できるので、冗長な映像シーンであることや、画角が大きく変動する映像シーンであることを判定することが可能となる。その場合、各映像シーンに対して高速再生やスロー再生の加工を施すことによって、冗長性が高く変化の多い移動映像を見やすくなるように加工することが可能となる。また、本実施の形態によれば、利用目的に応じて、各映像シーンに対応する加工方法を切り替えることによって、利用目的に応じた加工映像を提供することが可能となる。【００７８】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図面を参照して説明する。図５は、本実施の形態に係る映像加工システムの構成の例を示すブロック図である。図５に示されるように、本実施の形態において、映像加工システムは、端末４０ａとサーバ５０ａとを含む。また、図５に示されるように、端末４０ａとサーバ５０ａとは、通信ネットワーク１００を介して接続されている。なお、本実施の形態では、通信ネットワーク１００が無線通信ネットワークであるとする。【００７９】
端末４０ａは、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末である。図５に示されるように、端末４０ａは、映像取得部１、方位取得部２０１、位置取得部４０２、速度取得部３０１および表示部６を含む。【００８０】
映像取得部１、方位取得部２０１、位置取得部４０２および速度取得部３０１は、端末４０ａの演算処理装置（図示されない）、演算処理装置によって実行されるプログラム、入力インタフェース（図示されない）およびネットワークインタフェース（図示されない）によって実現される。また、表示部６は、端末４０ａの演算処理装置、表示装置（図示されない）およびネットワークインタフェースによって実現される。【００８１】
なお、映像取得部１が映像を取得する手順、方位取得部２０１が映像撮影装置の方位を取得する手順、速度取得部３０１が映像撮影装置の移動速度を取得する手順、および表示部６が映像コンテンツを表示する手順は、第１の実施の形態と同様である。また、位置取得部４０２が映像撮影装置の位置を取得する手順は、第１の実施の形態で示された位置取得部２０２および位置取得部３０２が映像撮影装置の位置を取得する手順と同様である。【００８２】
サーバ５０ａは、図５に示されるように、ランドマーク情報記憶装置２０３、ランドマーク特徴量算出部２０４、経路情報記憶装置３０３、移動特徴量算出部３０４、映像種類判定部４および映像加工部５を含む。【００８３】
ランドマーク情報記憶装置２０３および経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。ランドマーク特徴量算出部２０４、移動特徴量算出部３０４および映像加工部５は、サーバ５０ａの演算処理装置（図示されない）、プログラムおよびネットワークインタフェース（図示せず）によって実現される。映像種類判定部４は、サーバ５０ａの演算処理装置及びプログラムによって実現される。【００８４】
ランドマーク情報記憶装置２０３が記憶するランドマーク情報、および経路情報記憶装置３０３が記憶する経路情報の内容については、第１の実施の形態と同様である。また、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順、移動特徴量算出部３０４が移動特徴量を算出する手順、映像種類判定部４が映像種類を判定する手順、および映像加工部５が映像を加工する手順は、第１の実施の形態と同様である。【００８５】
本実施の形態では、端末４０ａは、映像、映像撮影装置の方位、位置および速度情報を、通信ネットワーク１００を介してサーバ５０ａ（映像加工部５、ランドマーク特徴量算出部２０４、移動特徴量算出部３０４）に送信する。サーバ５０ａは、受信した映像撮影装置の方位および位置にもとづいてランドマーク特徴量を算出する。また、サーバ５０ａは、受信した映像撮影装置の位置および速度情報にもとづいて移動特徴量を算出する。【００８６】
サーバ５０ａ（映像種類判定部４）は、ランドマーク特徴量および移動特徴量にもとづいて映像の種類を判定する。また、サーバ５０ａ（映像加工部５）は、受信した映像を、映像の種類に応じて加工する。そして、サーバ５０ａは、加工した映像を、通信ネットワーク１００を介して端末４０ａに送信する。すると、端末４０ａ（表示部６）は、受信した加工後の映像を表示する。【００８７】
本実施の形態において、ランドマーク情報記憶部は、サーバ５０ａのランドマーク情報記憶装置２０３に対応する。経路情報記憶部は、サーバ５０ａの経路情報記憶装置３０３に対応する。サーバ側送信部は、サーバ５０ａの制御部およびネットワークインタフェース部に対応する。【００８８】
また、本実施の形態において、映像入力部は、端末４０ａの映像取得部１に対応する。方位入力部は、端末４０ａの方位取得部２０１に対応する。位置入力部は、端末４０ａの位置取得部４０２に対応する。速度入力部は、端末４０ａの速度取得部３０１に対応する。端末側送信部は、端末４０ａの演算処理装置およびネットワークインタフェースに対応する。映像表示部は、端末４０ａの表示部６に対応する。【００８９】
本実施の形態によれば、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末は、映像、撮影方位、撮影位置および移動速度を取得してサーバに送信する。これにより、第１の実施の形態と同様に、映像シーンおよび利用用途に応じた加工方法に従って加工された映像を表示することが可能となる。【００９０】
（第３の実施の形態）
次に、本発明の第３の実施の形態を図面を参照して説明する。図６は、本実施の形態に係る映像加工システムの構成の例を示すブロック図である。図６に示されるように、本実施の形態において、映像加工システムは、端末４０ｂとサーバ５０ｂとを含む。また、図６に示されるように、端末４０ｂとサーバ５０ｂとは、通信ネットワーク１００を介して接続される。なお、本実施の形態では、第２の実施の形態と同様に、通信ネットワーク１００が無線通信ネットワークであるとする。【００９１】
端末４０ｂは、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末である。図６に示されるように、端末４０ｂは、映像取得部１、方位取得部２０１、位置取得部４０２、速度取得部３０１、映像加工部５および表示部６を含む。【００９２】
映像取得部１は、端末４０ｂの演算処理装置（図示されない）、プログラムおよび入力インタフェース（図示されない）によって実現される。また、方位取得部２０１、位置取得部４０２および速度取得部３０１は、端末４０ｂの演算処理装置、プログラム、入力インタフェースおよびネットワークインタフェース（図示されない）によって実現される。また、映像加工部５は、端末４０ｂの演算処理装置、プログラムおよびネットワークインタフェースによって実現される。また、表示部６は、端末４０ｂの演算処理装置および表示装置（図示されない）によって実現される。【００９３】
なお、映像取得部１が映像を取得する手順、方位取得部２０１が映像撮影装置の方位を取得する手順、速度取得部３０１が映像撮影装置の移動速度を取得する手順、映像加工部５が映像を加工する手順、および表示部６が映像コンテンツを表示する手順は、第１の実施の形態と同様である。また、位置取得部４０２が映像撮影装置の位置を取得する手順は、第１の実施の形態で示された位置取得部２０２および位置取得部３０２が映像撮影装置の位置を取得する手順と同様である。【００９４】
サーバ５０ｂは、図６に示されるように、ランドマーク情報記憶装置２０３、ランドマーク特徴量算出部２０４、経路情報記憶装置３０３、移動特徴量算出部３０４および映像種類判定部４を含む。【００９５】
ランドマーク情報記憶装置２０３および経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。ランドマーク特徴量算出部２０４、移動特徴量算出部３０４および映像種類判定部４は、サーバ５０ｂの演算処理装置（図示されない）、プログラムおよびネットワークインタフェース（図示されない）によって実現される。【００９６】
なお、ランドマーク情報記憶装置２０３が記憶するランドマーク情報、および経路情報記憶装置３０３が記憶する経路情報の内容については、第１の実施の形態と同様である。また、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順、移動特徴量算出部３０４が移動特徴量を算出する手順、および映像種類判定部４が映像種類を判定する手順は、第１の実施の形態と同様である。【００９７】
本実施の形態では、端末４０ｂは、映像撮影装置の方位、位置および速度情報のみを、通信ネットワーク１００を介してサーバ５０ｂ（ランドマーク特徴量算出部２０４、移動特徴量算出部３０４）に送信する。サーバ５０ｂ（ランドマーク特徴量算出部２０４）は、受信した映像撮影装置の方位および位置にもとづいてランドマーク特徴量を算出する。また、サーバ５０ｂ（移動特徴量算出部３０４）は、受信した映像撮影装置の位置および速度情報にもとづいて移動特徴量を算出する。【００９８】
サーバ５０ｂ（映像種類判定部４）は、ランドマーク特徴量および移動特徴量にもとづいて映像の種類を判定する。そして、サーバ５０ｂは、映像種類の判定結果を、通信ネットワーク１００を介して端末４０ｂに送信する。【００９９】
端末４０ｂ（映像加工部５）は、受信した映像種類の判定結果にもとづいて、映像取得部１によって取得された映像を加工する。そして、端末４０ｂ（表示部６）は、加工された映像を表示する。【０１００】
本実施の形態において、ランドマーク情報記憶部は、サーバ５０ｂのランドマーク情報記憶装置２０３に対応する。経路情報記憶部は、サーバ５０ｂの経路情報記憶装置３０３に対応する。サーバ側送信部は、サーバ５０ｂの演算処理装置およびネットワークインタフェースに対応する。【０１０１】
また、本実施の形態において、映像入力部は、端末４０ｂの映像取得部１に対応する。方位入力部は、端末４０ｂの方位取得部２０１に対応する。位置入力部は、端末４０ｂの位置取得部４０２に対応する。速度入力部は、端末４０ｂの速度取得部３０１に対応する。端末側送信部は、端末４０ｂの演算処理装置およびネットワークインタフェースに対応する。映像表示部は、端末４０ｂの表示部６に対応する。【０１０２】
本実施の形態によれば、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末は、撮影方位、撮影位置および移動速度を取得してサーバに送信する。これにより、映像シーンの判定結果を得ることが可能となる。また、撮影方位、撮影位置および移動速度に加えて映像をサーバに送信する場合（第２の実施の形態）と比較して、通信ネットワーク上の通信量が大幅に低減される。【０１０３】
第１動作例：
次に、第１の実施の形態で示しされた映像加工システムの動作例を図面を参照して説明する。図７は、映像加工システムの動作の例を示すフローチャートである。以下、このフローチャートを用いて、映像加工システムの動作例を説明する。【０１０４】
映像取得部１は、ＣＣＤカメラなどの映像撮影装置から画像を取得し記録する（ステップＳ１）。方位取得部２０１は映像撮影装置の撮影方向を取得し、位置取得部２０２は映像撮影装置の撮影位置を取得する（ステップＳ２）。以下、方位取得部２０１により取得される撮影方向および位置取得部２０２により取得される撮影位置は、「撮影情報」と参照される。【０１０５】
なお、この動作例では、位置取得部２０２と位置取得部３０２とが同じものである場合が示される。従って、ステップＳ２において取得された撮影位置は、ランドマーク特徴量を求めるために用いられるだけでなく、移動特徴量取得部３が移動特徴量を求める場合にも用いられる。【０１０６】
ランドマーク特徴量取得部２は、映像取得部１が取得した映像に関連付けて撮影情報を記録する。例えば、映像の１コマの記録方法としてＪＰＥＧが用いられる場合であれば、ヘッダに撮影情報が記録されてもよい。また、取得時間がタイムスタンプとして、映像や撮影情報に記録されてもよい。これにより、映像と撮影情報とが一対一に対応する。【０１０７】
一般に、ビデオカメラなどの映像撮影装置は、一秒間に３０コマ程度の映像の記録を行う。しかし、ＧＰＳなどが、位置情報（緯度、経度）を、毎秒一回以上取得することは困難である。そのため、移動方向および速度を用い、直近の位置情報を補正することによって、現在の位置情報が推定されればよい。なお、映像の取得および位置情報の取得をリアルタイムに同時に行える場合には、時間情報の同期を行う必要はない。【０１０８】
ランドマーク特徴量算出部２０４は、ランドマーク情報記憶装置２０３に格納されたランドマーク情報を抽出し取得する（ステップＳ３）。ここで、各ランドマークをＯｉ（ｉ＝１〜Ｎ）とする。ランドマークがＫ個の頂点を持つ多角形柱として定義され、各頂点の位置が経度、緯度および高さを用いて（ｘ，ｙ，ｚ）と表されるとする。この場合、ランドマークＯｉのｋ個目の上部の頂点は、（ＯｉＬｏｎｋ，ＯｉＬａｔｋ，ｈｉ）と表されるとする。【０１０９】
ランドマーク特徴量算出部２０４は、撮影位置、撮影方位、ランドマークの位置および予め求めた画角にもとづいて、ランドマーク特徴量を算出する（ステップＳ４）。ランドマーク特徴量として、本動作例では、画面上のランドマークの位置（ＬＦ１）、画面上のランドマークのサイズ（ＬＦ２）、画面上にランドマークが映る割合（ＬＦ３）および画角内に存在するランドマークの数（ＬＦ０）が用いられる。以下、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順を説明する。【０１１０】
ランドマーク特徴量算出部２０４は、撮影位置からの各ランドマークＯｉ（ｉ＝１〜Ｎ）の相対位置をカメラ画角に変換する。これにより、ランドマークが画角内に存在するかどうかの判定が行われ、また、ランドマークの画面上の位置およびサイズが算出される。なお、カメラ画角に変換するとは、ランドマークが画面上のどの位置に映るかを計算することをいう。【０１１１】
ランドマーク特徴量算出部２０４は、前処理として、ランドマーク情報記憶装置２０３に格納された全てのランドマーク情報に対応するランドマークのうち、画角内に存在する可能性のあるランドマークを選択する。そして、ランドマーク特徴量算出部２０４は、選択されたランドマークに対して、カメラ画角への変換処理を行う。【０１１２】
現フレームにおける撮影位置の緯度および経度を（ＣａｒＬｏｎ，ＣａｒＬａｔ）、撮影方位をｄｉｒ、ランドマークＯｉの多角形の頂点の数をＫ＝４と仮定する。以下、ランドマークが画角内に存在するか否かの判定手順を図面を用いて説明する。なお、本例において、撮影方位は、北を０度とした場合の時計方向周りの角度で表される。【０１１３】
図８は、ランドマークが水平画角内に存在するか否かを判定する処理を説明するための図である。ランドマーク特徴量算出部２０４は、撮影位置からランドマークＯｉ（本例では、ランドマークＡ）の各頂点への方角ＯｂｊＤｉｒｋと移動方向（撮影方向）との角度差ｄｉｆｆｋを以下の式（１）を用いて求める。【０１１４】
【数１】
0004645905.tif 000002
【０１１５】
ランドマーク特徴量算出部２０４は、式（１）を用いて求めた角度差ｄｉｆｆｋが画角内であるか否かを、下記式（２）を用いて判定する。例えば、図８に示されるように、カメラの水平画角ＣａｍｅｒａＡｎｇｌｅＨが５０度であるとすると、角度差ｄｉｆｆｋが画角内であるためには、角度差ｄｉｆｆｋが±２５度以内であればよい。【０１１６】
【数２】
0004645905.tif 000003
【０１１７】
図９は、ランドマークが垂直画角内に存在するか否かを判定する処理を説明するための図である。ランドマーク特徴量算出部２０４は、撮影位置からランドマークまでの距離ｄｉｓｔｉとランドマークの高さｈｉとにもとづいて、撮影位置からランドマークの頂点を見上げた角度ｌｏｏｋｕｐｉを下記式（３）を用いて算出する。【０１１８】
【数３】
0004645905.tif 000004
【０１１９】
ランドマーク特徴量算出部２０４は、式（３）を用いて求めた角度ｌｏｏｋｕｐｉが画角内であるか否かを下記式（４）を用いて判定する。例えば、図９に示されるように、カメラの垂直画角ＣａｍｅｒａＡｎｇｌｅＶが３８度であるとする。角度ｌｏｏｋｕｐｉが式（４）を満たす場合に、ランドマーク特徴量算出部２０４は、ランドマーク全体が見えている可能性があると判定する。【０１２０】
【数４】
0004645905.tif 000005
【０１２１】
なお、上述の式（１）〜式（４）において、撮影位置からランドマークＯｉの各頂点への方角ＯｂｊＤｉｒｋや撮影位置からランドマークまでの距離ｄｉｓｔｉが用いられたが、２地点間の距離および方位は、以下の方法により求められる。【０１２２】
測点１の座標を（ｘ１，ｙ１）、測点２の座標を（ｘ２，ｙ２）とする。また、平均曲率半径をＲ０、座標系の原点における縮尺係数をｍ０とする。この場合、２地点間の測地線長Ｓは、以下の式（５）により求められる。【０１２３】
【数５】
0004645905.tif 000006
【０１２４】
また、測点１における測点２の方向角をＴ１、および測点２における測点１の方向角をＴ２は、以下の式（６）により求められる。【０１２５】
【数６】
0004645905.tif 000007
【０１２６】
なお、式（５）および式（６）で示された計算式は、日本国の国土地理院のホームページ（http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/xy2st/xy2st.htm）に記載されている。【０１２７】
以上の手順に従って、ランドマーク特徴量算出部２０４は、ランドマークＯｉが画角内に存在するか否かを、式（２）を満たす頂点ｋが存在するか否かによって判定することができる。また、ランドマーク特徴量算出部２０４は、頂点ｋに関する角度差ｄｉｆｆｋの符号（＋または−）によって、そのランドマークＯｉが映像の右側に存在するか左側に存在するのかを判定することができる。また、ランドマーク特徴量算出部２０４は、全ての頂点ｋが式（２）および式（４）を満たすか否かによって、ランドマーク全体が画角に存在するのか、一部が画角からはみ出しているのかを判定することができる。【０１２８】
ランドマーク特徴量算出部２０４は、式（２）および式（４）を満たすランドマークＯｉについてのみ、画面上におけるランドマークの位置やサイズの算出を行う。ランドマーク特徴量算出部２０４は、画角内に存在するランドマークＯｉの各頂点ｋ（＝１〜４）に対し、それぞれ画面上の位置（ｘｋ，ｙｋ）を算出する。そして、ランドマーク特徴量算出部２０４は、それら頂点を含む外接矩形（ｘｍｉｎ，ｙｍｉｎ）〜（ｘｍａｘ，ｙｍａｘ）を、下記式（７）を用いて抽出する。なお、式（７）おいて、“Ｍｉｎ”は最小値を抽出する関数であり、“Ｍａｘ”は最大値を抽出する関数である。【０１２９】
【数７】
0004645905.tif 000008
【０１３０】
また、ランドマーク特徴量算出部２０４は、角度差ｄｉｆｆ及び角度ｌｏｏｋｕｐに対応する点Ｐの画面上での位置（ｘ，ｙ）を求める。図１０は、点Ｐの画面上での位置（ｘ，ｙ）を求める処理を説明するための図である。画面は、例えば６４０ｘ４８０画素を有するとする。ランドマーク特徴量算出部２０４は、点Ｐの画面上での位置（ｘ，ｙ）を下記式（８）を用いて求める。【０１３１】
【数８】
0004645905.tif 000009
【０１３２】
次に、ランドマーク特徴量算出部２０４は、ランドマークが画角内に映る割合およびサイズを算出する。ランドマーク特徴量算出部２０４は、画像外の領域を含めたランドマーク全体の大きさＳｉｚｅを下記式（９）を用いて求める。また、ランドマーク特徴量算出部２０４は、ランドマークのうち画像内に映っている部分の大きさＳｉｚｅ’を式（１０）を用いて求める。【０１３３】
【数９】
0004645905.tif 000010
【０１３４】
【数１０】
0004645905.tif 000011
【０１３５】
また、ランドマーク特徴量算出部２０４は、ランドマークが画角内に映る割合Ｐｔを下記式（１１）を用いて算出する。【０１３６】
【数１１】
0004645905.tif 000012
【０１３７】
ランドマーク特徴量算出部２０４は、各ランドマークに対してランドマーク特徴量（ＬＦ１，ＬＦ２，ＬＦ３）を算出する。この場合、ランドマーク特徴量算出部２０４は、ランドマークＯｉの位置の特徴量ＬＦ１ｉとして、（ｘｍｉｎ，ｙｍｉｎ，ｘｍａｘ，ｙｍａｘ）を用いてもよい。また、簡略化のため、ランドマーク特徴量算出部２０４は、ランドマークＯｉの中心点を用いて、ＬＦ１ｉ＝（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）としてもよい。【０１３８】
また、ランドマーク特徴量算出部２０４は、ランドマークＯｉのランドマーク特徴量ＬＦ２およびＬＦ３のそれぞれを、ＬＦ２ｉ＝ＳｉｚｅおよびＬＦ３ｉ＝Ｐｔとして決定する。【０１３９】
また、ランドマーク特徴量算出部２０４は、画角内に存在すると判定されたランドマークの数を求める。ランドマーク特徴量算出部２０４は、ランドマーク特徴量ＬＦ０として、式（２）および式（４）を満たすランドマークの数を求める。【０１４０】
なお、ランドマーク特徴量算出部２０４は、その他のランドマーク特徴量として、ランドマークのジャンル（ＬＦ４）、ランドマークの有名度（ＬＦ５）、同一のランドマークが映っている積算時間を求めてもよい。【０１４１】
移動特徴量算出部３０４は、速度取得部３０１からの入力によって移動速度を取得する（ステップＳ５）。速度取得部３０１は、映像撮影装置の移動速度を、例えば、自動車であればスピードメータやカーナビゲーション装置から取得する。なお、移動特徴量算出部３０４は、移動速度を、位置取得部３０２が連続して取得した映像撮影装置の位置を時間微分することによって求めてもよい。【０１４２】
移動特徴量算出部３０４は、経路情報記憶装置３０３に格納された経路情報を取得する（ステップＳ６）。移動特徴量算出部３０４は、経路情報として経度／緯度の点列、道路の種類（国道や私道など）、道幅、車線数、交差点の有無、信号の有無および制限速度などを抽出する。この場合、移動特徴量算出部３０４は、上記ステップＳ２で取得された撮影位置に基づいて、経路情報記憶装置３０３に格納された経路情報のうち、映像撮影装置の移動ルートの付近に対応する経路情報を抽出する。【０１４３】
移動特徴量算出部３０４は、映像撮影装置の位置、移動速度および経路情報とにもとづいて移動特徴量を算出する（ステップＳ７）。なお、この場合、移動特徴量算出部３０４は、ステップＳ２で取得された映像撮影装置の撮影位置（移動位置）を用いる。また、本動作例では、移動特徴量として、走行状態（ＤＦ１）、直進度（ＤＦ２）および寄り道特徴量（ＤＦ３）が用いられる。【０１４４】
移動特徴量算出部３０４は、走行状態の特徴量ＤＦ１を、経路情報、移動速度Ｓｐ［ｋｍ／ｈｏｕｒ］および制限速度ＬＳ［ｋｍ／ｈｏｕｒ］を用いて以下の手順によって求める。移動特徴量算出部３０４は、移動速度Ｓｐが０であれば走行状態を“停止”とし、Ｓｐが（ＬＳ−１０）より小さければ走行状態を“低速”とし、Ｓｐが（ＬＳ−１０）以上であれば走行状態を“通常”とする。ここで、停止状態はＷＤＦ１＝０、低速走行状態はＷＤＦ１＝１、通常走行状態はＷＤＦ＝２で表されるとする。【０１４５】
例えば、「交差点＝無または有」、「信号＝有」および「ＷＤＦ＝０」の条件が満たされる場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝０」と決定する。また、「交差点＝無または有」、「信号＝無」および「ＷＤＦ１＝０」の条件が満たされる場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝１」と決定する。また、それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝２」と決定する。【０１４６】
また、移動特徴量算出部３０４は、直進度ＤＦ２を算出する。移動特徴量算出部３０４は、直進度を、現フレームの撮影位置と、所定の一定間隔前のフレームにおける撮影位置とを用いて算出する。図１１は、直進度の算出方法を説明するための図である。図１１においては、注目フレーム（現フレーム）時を含む５秒前までの撮影位置（Ｐ１〜Ｐ５）の軌跡が示されている。【０１４７】
移動特徴量算出部３０４は、１秒ごとに得られた５点の自車位置（撮影位置）Ｐ１〜Ｐ５から速度ベクトルＶ１〜Ｖ４を算出する。求められた速度ベクトルのなす角度の大きさが直進係数ｄｉｒｅｃｔと定義される。この時、移動特徴量算出部３０４は、直進係数ｄｉｒｅｃｔを下記式（１２）を用いて算出する。【０１４８】
【数１２】
0004645905.tif 000013
【０１４９】
交差点が離れており且つ直進係数が小さい場合、移動特徴量算出部３０４は、車はカーブ走行時であると判断し、特徴量ＤＦ２を中程度の値に設定する。また、直進係数が小さく且つ交差点が近い場合、移動特徴量算出部３０４は、車は右折または左折を行っていると判断し、特徴量ＤＦ２を大きな値に設定する。それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ２を小さな値に設定する。【０１５０】
例えば、予め所定の閾値ｔｈｒｅｓｄｉｒが設定されているとする。移動特徴量算出部３０４は、「ｄｉｒｅｃｔ＜ｔｈｒｅｓｄｉｒ」且つ「交差点＝無」の条件が満たされる場合には、特徴量ＤＦ２をＤＦ２＝２として設定する。また、移動特徴量算出部３０４は、「ｄｉｒｅｃｔ＜ｔｈｒｅｓｄｉｒ」且つ「交差点＝有」の条件が満たされる場合には、特徴量ＤＦ２をＤＦ２＝３として設定する。それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ２をＤＦ２＝１として設定する。【０１５１】
また、移動特徴量算出部３０４は、寄り道特徴量ＤＦ３を、映像撮影装置の現在位置とナビゲーションシステムの案内ルートとのルートずれ量Ｒｄ、及び交差点の有無に基づいて算出する。なお、移動特徴量算出部３０４は、ルートずれ量Ｒｄそのものを移動特徴量として求めてもよい。【０１５２】
例えば、予め所定の閾値ｔｈｒｅｓＲｄが設定されているとする。移動特徴量算出部３０４は、「Ｒｄ＜ｔｈｒｅｓＲｄ」且つ「交差点＝無または有」の条件が満たされる場合に、特徴量ＤＦ３をＤＦ３＝１として決定する。また、移動特徴量算出部３０４は、「Ｒｄ＞ｔｈｒｅｓＲｄ」且つ「交差点＝有」の条件が満たされる場合に、特徴量ＤＦ３をＤＦ３＝２として決定する。また、移動特徴量算出部３０４は、「Ｒｄ＞ｔｈｒｅｓＲｄ」且つ「交差点＝無」の条件が満たされる場合には特徴量ＤＦ３をＤＦ３＝３として決定する。ただし、移動特徴量算出部３０４は、ルートずれ量Ｒｄを下記式（１３）を用いて算出する。【０１５３】
【数１３】
0004645905.tif 000014
【０１５４】
式（１３）において、ｘ，ｙは撮影位置を示す経度および緯度であり、Ｒｄｘ，Ｒｄｙはナビゲーションシステムの案内ルートを構成する１点の経度および緯度である。また、式（１３）において、Ｍｉｎは最小値を抽出する関数である。【０１５５】
移動特徴量算出部３０４は、以上の手順に従って求めた移動特徴量＝（ＤＦ１，ＤＦ２，ＤＦ３）を出力する。【０１５６】
なお、移動特徴量算出部３０４は、上記ＤＦ１、ＤＦ２およびＤＦ３以外に、道路サイズの変化を示す量を、移動特徴量ＤＦ４として用いてもよい。例えば、国道に対して“値２”が割り当てられ、私道に対して“値１”が割り当てられている場合を考える。車が国道から私道に入った時、移動特徴量算出部３０４は、ＤＦ４＝−１を移動特徴量ＤＦ４として算出する。また、車が私道から私道に入った時、移動特徴量算出部３０４は、ＤＦ４＝０を移動特徴量ＤＦ４として算出する。また、車が私道から国道に入った時、移動特徴量算出部３０４は、ＤＦ４＝１を移動特徴量ＤＦ４として算出する。【０１５７】
次に、映像種類判定部４は、ランドマーク特徴量および移動特徴量にもとづいて、映像コンテンツの種類を判定する（ステップＳ８）。本動作例では、映像種類判定部４は、映像シーンをカテゴリに分類することによって、映像コンテンツの種類を判定する。映像シーンをカテゴリに分類するために、映像種類判定部４は、各映像シーンに対して以下に説明される処理を行う。なお、本例では、移動特徴量として走行状態（ＤＦ１）および直進度（ＤＦ２）が、ランドマーク特徴量として画角内に存在するランドマークの数（ＬＦ０）が用いられる場合が示される。【０１５８】
本動作例では、映像種類判定部４は、ＤＦ２＝３であれば「曲がり角／分岐点カテゴリ」、ＤＦ１＝１であれば「渋滞カテゴリ」、ＤＦ１＝０であれば「信号待ちカテゴリ」を、映像のカテゴリとして決定する。また、映像種類判定部４は、ＬＦ０＝０でなければ、「ランドマークカテゴリ」を映像のカテゴリとして決定する。また、いずれの条件にも合致しない場合、映像種類判定部４は、「その他カテゴリ」を映像のカテゴリとして決定する。映像種類判定部４は、決定されたカテゴリを出力する。なお、映像種類判定部４は、１つの映像シーンを１つのカテゴリに分類してもよいし、１つの映像シーンを複数のカテゴリに分類してもよい。【０１５９】
なお、本動作例では、移動特徴量ＤＦ１およびＤＦ２と、ランドマーク特徴量ＬＦ０とを用いることによって、映像シーンの種類を判定する場合が説明された。しかし、映像シーンの種類の判定方法は、これに限られない。例えば、映像種類判定部４は、ランドマーク特徴量として、ＬＦ０〜ＬＦ３を用いて映像シーンの種類を判定してもよい。この場合、映像種類判定部４は、各映像シーンを、画面内にランドマーク全体が映っている場合の「全体ランドマークシーン」、ランドマークが画面中央に映っている場合の「前方ランドマークシーン」、および画面内にランドマークが大きく映っている場合の「大映りランドマークシーン」などに分類する。【０１６０】
例えば、映像種類判定部４は、「ＬＦ０≠０且つＬＦ３＞０．９」であれば「全体ランドマークシーン」を選択してもよい。「ＬＦ０≠０且つ｜ＬＦ１の座標（ｘ，ｙ）−画面の中心座標｜＜所定の閾値」であれば、映像種類判定部４は、「前方ランドマークシーン」を選択してもよい。「ＬＦ０≠０且つＬＦ２＞所定の閾値」であれば「大映りランドマークシーン」を選択してもよい。また、映像種類判定部４は、更にランドマーク特徴量ＬＦ４及びＬＦ５を用いて、例えば、各映像シーンを、「山シーン」、「建物シーン」または「有名ランドマークシーン」に分類してもよい。【０１６１】
また、各移動特徴量および各ランドマーク特徴量に対する閾値が、利用用途によって変更されてもよい。映像種類判定部４は、閾値を利用用途によって変更させて映像シーンの種類を判定してもよい。【０１６２】
映像加工部５は、ステップＳ８で決定された映像シーンの種類（カテゴリ）とユーザによって指定された利用用途とにもとづいて、映像シーンに適用する映像の加工方法を、所定のルールに従って抽出する。図１２は、映像の加工方法に関する設定情報（ルール）の例を示している。本動作例では、映像加工部５は、記憶装置を有し、図１２に示される設定情報は予め記憶装置に記憶されている。映像加工部５は、図１２に示される設定情報に従って映像の加工方法を抽出する。なお、図１２に示される設定情報は、ユーザの入力によって更新することができる。【０１６３】
図１２に示すルールに従って、映像加工部５は、映像の加工の方法を以下のように設定する。例えば、映像種類がランドマークシーン（ランドマークカテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「テロップ付け」を選択する。また、映像種類がコーナリングシーン（曲がり角／分岐点カテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「スロー再生」および「案内指示表示」を選択する。また、映像種類が停止シーン（渋滞カテゴリまたは信号待ちカテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「スキップ（シーンカット）」を選択する。【０１６４】
また、映像種類がその他の非重要シーン（その他カテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「早回し再生（高速再生））」を選択する。また、映像種類がその他の非重要シーンであり、利用用途が観光である場合には、映像加工部５は、加工方法として「シーンカット」を選択する。【０１６５】
映像加工部５は、選択された加工方法に従って映像を加工する（ステップＳ９）。スロー再生加工を行う場合には、映像加工部５は、スロー再生倍率に従って映像フレーム間に補間フレームを挿入する。例えば、スロー再生倍率が２倍の場合、映像加工部５は、連続する第１フレームおよび第２フレームとの間に、補間フレームを挿入する。ここで、映像加工部５は、例えば、両フレームの画素値の平均を求めることによって補間フレームを作成することができる。【０１６６】
テロップ付け加工を行う場合には、映像加工部５は、画角内に存在する可能性のあるランドマーク名を画像上に重畳する。映像加工部５は、ランドマーク存在領域の上辺中央に表示するランドマークに被らないようにテロップを表示できるように加工する。また、テロップがルートの指示情報の表示である場合には、映像加工部５は、画面中央に表示するように加工する。ただし、表示スペースにランドマーク存在領域が重なっている場合は、映像加工部５は、ランドマーク存在領域の下辺と画面下端との中央位置に表示するように加工する。そのようにすれば、ランドマークに被らないように、道路領域上に重畳して表示できる。【０１６７】
シーンカット加工を行う場合には、映像加工部５は、フレームをスキップすることによって加工を行う。高速再生加工を行う場合には、映像加工部５は、高速倍率に従って前後フレーム間でフレームの間引きを行う。例えば、２倍速の場合、映像加工部５は、連続する２フレームにおいて、第２フレーム目をスキップすることにより２倍速再生を行う。【０１６８】
ランドマーク名のテロップやランドマークの付随情報およびルートの指示情報などが映像に重畳される場合、画面上の情報量が増える。そのため、高速再生や通常速度再生が行われると、ユーザが情報を把握しきれない場合がある。そこで、映像に重畳される情報量に応じて再生速度が遅く設定されてもよい。例えば、映像加工部５は、以下の式（１４）に基づいて、再生速度を設定してもよい。【０１６９】
「再生速度」＝「初期設定再生速度」／（１＋「重づけパラメータ」×「文字数」×「単語間の距離」）    ・・・（１４）【０１７０】
映像加工部５は、全ての映像フレームに対して判定処理が終了したか否かを判断する（ステップＳ１０）。判定処理が終了していないフレームが存在する場合には、映像加工システムは、未処理フレームに対して、ステップＳ１以降の処理を繰り返し行う。全てのフレームに対して判定処理が行われた場合、映像加工部５は、加工処理により生成されたフレーム群を出力する。なお、映像加工部５は、決定した加工方法に従って、特定の種類の映像シーンのみを加工して出力するようにしてもよい。【０１７１】
表示部６は、出力されたフレーム群を再生し、映像を表示する（ステップＳ１１）。図１３は、表示部６が映像を表示する表示画面の一例を示している。図１３に示されるように、表示部６は、再生する映像を撮影位置周辺の地図と同期して表示する。また、表示画面には、ユーザの利用用途（例えば、ドライブルートシミュレーションや観光ドライブ案内）を指定入力できるユーザインターフェイスとして、用途選択ボタン１２００などが含まれる。【０１７２】
第２動作例：
次に、第１の実施の形態で示した映像加工システムの第２の動作例を図面を参照して説明する。図１４は、映像加工システムの動作の例を示すフローチャートである。以下、このフローチャートを用いて、映像加工システムの動作例を説明する。【０１７３】
図１４に示されるように、本動作例では、第１の動作例で示した各処理に加えて重要度判定の処理を行う。以下、新たに追加された重要度判定の処理（ステップＳ７ｂ）について説明する。なお、重要度判定以外の処理については、第１の動作例に示した場合と同様である。【０１７４】
映像種類判定部４は、ランドマーク特徴量（ＬＦ１，ＬＦ２，ＬＦ３）を用いて、ランドマークシーン重要度ｆｌを算出する。ランドマークシーン重要度ｆｌは、処理対象の映像シーンにおけるランドマークに関する重要度を示す。また、映像種類判定部４は、移動特徴量（ＤＦ１，ＤＦ２，ＤＦ３）を用いて、ドライブ情報シーン重要度ｆｄを算出する。ドライブ情報シーン重要度ｆｄは、処理対象の映像シーンにおけるドライビングに関する重要度を示す。【０１７５】
映像種類判定部４は、ランドマークシーン重要度ｆｌを、下記式（１５）で表されるように、ランドマークごとの特徴量と重み付けパラメータとの積の和によって求める。また、映像種類判定部４は、ドライブ情報シーン重要度ｆｄを、下記式（１６）で表されるように、各要素（特徴量および重み付けパラメータ）の積によって求める。なお、本動作例では、ランドマーク特徴量としてＬＦ１，ＬＦ２，ＬＦ３が用いられ、移動特徴量としてＤＦ１，ＤＦ２が用いられる場合が示される。【０１７６】
【数１５】
0004645905.tif 000015
【０１７７】
【数１６】
0004645905.tif 000016
【０１７８】
ただし、式（１５）において、ｄｉｓｔ（ＬＦ１，ＤｉｓｐＣｅｎｔｅｒ）は、下記式（１７）に示されるように、ＬＦ１（＝（ＬＦ１ｘ，ＬＦ１ｙ））と画面中央（ＤｉｓｐＣｅｎｔｅｒＸ，ＤｉｓｐＣｅｎｔｅｒＹ）との距離（ピクセル）を求める関数である。【０１７９】
【数１７】
0004645905.tif 000017
【０１８０】
各特徴量の重み付けパラメータＷＬＦｉ（ｉ＝１〜３）およびＷＤＦｉ（ｉ＝１，２）は、以下のルールに沿って決定される。すなわち、交差点での直進度が小さいほど重要度が高くなるように重み付けが定められる。また、交差点での移動速度が小さいほど重要度が低くなるように重み付けが定められる。また、寄り道度が高いほど重要度が高くなるように重み付けが定められる。また、右左折時の道路サイズ差が大きいほど重要度が高くなるように重み付けが定められる。【０１８１】
また、ランドマーク全体が画面中央に大きく映っている場合に重要度が高くなるように重み付けが定められる。また、有名度の高いランドマークほど重要度が高くなるように重み付けが定められる。また、安定度が高い（画面上でブレが少ない）ランドマークほど重要度が高くなるように重み付けが定められる。また、既に出現済みのランドマークは重要度が低くなるように重み付けが定められる。また、ランドマークの数が多いほど重要度が高くなるように重み付けが定められる。また、長く映っているランドマークほど重要度が高くなるように重み付けが定められる。【０１８２】
映像種類判定部４は、ランドマークシーンの重要度ｆｌとドライブ情報シーン重要度ｆｄとを用いて、総合的な映像シーンの重要度を決定する。以下、この総合的な映像シーンの重要度は、総合重要度ｆｔと参照される。映像種類判定部４は、予め定められたランドマークシーンとドライブ情報シーンとの配分比率に従って、総合重要度ｆｔを求めてもよい。また、映像種類判定部４は、ユーザにより設定されるカスタマイズ軸（後述される）に応じた配分比率に従って、総合重要度ｆｔを求めてもよい。映像種類判定部４は、映像シーンにおける統合重要度ｆｔを、下記式（１８）および下記式（１９）を用いて決定する。【０１８３】
【数１８】
0004645905.tif 000018
【０１８４】
【数１９】
0004645905.tif 000019
【０１８５】
本動作例によれば、予め定められた所定の閾値より大きい統合重要度ｆｔを有する映像シーンが、重要シーンとして選択され、映像加工の対象として用いられる。すなわち、映像種類判定部４は、総合重要度ｆｔが所定の閾値より大きいか否かを判定する（ステップＳ７ｂ）。そして、総合重要度ｆｔが所定の閾値より大きいと判定された場合、映像種類判定部４は、その映像シーンについて映像種類判定処理を行う（ステップＳ８）。総合重要度ｆｔが所定の閾値より小さいと判断された場合、映像加工システムは、ステップＳ１以降の処理を繰り返し実行する。【０１８６】
図１５は、ユーザにより設定されるカスタマイズ軸により計算の重み配分を決定する方法を説明するための図である。図１５に示されるように、ユーザは、カスタマイズ軸を調整することによって、ルートシミュレーション用途と観光ドライブ用途との度合い（統合重み付け比率）を自由に設定する。つまり、ユーザの利用用途に応じて、ルートシミュレーション系と観光ドライブ系との重み付けが変更され得る。従って、各利用用途に適した重要度の判定を行うことが可能となる。【０１８７】
また、ユーザの利用用途（例えば、ドライブルートシミュレーションや、観光ドライブ案内）を決定できるユーザインターフェイスとして、スライドバーなどが用いられてもよい。図１６は、表示画面の他の例を示している。図１６に示されるように、表示画面には、利用用途を設定するための切り替えスライドバー１５００が含まれていてもよい。【０１８８】
本発明による映像加工システムは、例えば、カーナビゲーションなどのドライブルートシミュレーションシステムや、ドライブルートシミュレーションを実現するためのプログラムといった用途に適用可能である。また、本発明による映像加工システムは、映像コンテンツを効果的に閲覧するための自動要約システムや、自動要約を実現するためのプログラムといった用途にも適用可能である。
【図１】
0004645905.tif 000020
【図２】
0004645905.tif 000021
【図３】
0004645905.tif 000022
【図４】
0004645905.tif 000023
【図５】
0004645905.tif 000024
【図６】
0004645905.tif 000025
【図７】
0004645905.tif 000026
【図８】
0004645905.tif 000027
【図９】
0004645905.tif 000028
【図１０】
0004645905.tif 000029
【図１１】
0004645905.tif 000030
【図１２】
0004645905.tif 000031
【図１３】
0004645905.tif 000032
【図１４】
0004645905.tif 000033
【図１５】
0004645905.tif 000034
【図１６】
0004645905.tif 000035