(57)【要約】【課題】従来は、動画構成画像を部分画像に分割し、これら各ブロックの時間的前後関係で変動したブロックを数えシーンチェンジ点を検出するため、撮影した風景が無変化の画像でも、他車両の通過による画像特徴の変動でシーンチェンジ点とする過剰検出の課題があった。【解決手段】車載カメラで撮像された画像データを画像入力手段で入力し，この画像データから画像特徴抽出手段で画像特徴を抽出し、加速度センサまたはGPS衛星からのセンサデータをセンサデータ入力手段で入力し、入力センサデータの特徴をセンサ特徴抽出手段で抽出し、センサ特徴検出手段と画像特徴抽出手段の結果を基に、車両状態を車両状態検出手段で検出し、この車両状態検出手段と前記画像特徴抽出手段からシーンチェンジ点をシーンチェンジ判定手段で判定し、シーンチェンジ点の画像データ情報を記憶部に蓄積する。【選択図】図１
2010148053.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラにより撮像された画像データを入力する画像入力手段と，前記画像入力手段で入力された画像データから画像特徴を抽出する画像特徴抽出手段と、加速度センサまたはＧＰＳ衛星から得られる車両状況を示すセンサデータを入力するセンサデータ入力手段と、前記センサデータ入力手段で入力されたセンサデータを解析し、特徴を抽出するセンサ特徴抽出手段と、このセンサ特徴検出手段と前記画像特徴抽出手段の結果を基に、車両が走行中、停止、右左折しているかなどの車両状態を検出する車両状態検出手段と、この車両状態検出手段と前記画像特徴抽出手段からシーンチェンジ点を判定するシーンチェンジ判定手段と、前記シーンチェンジ判定手段でシーンチェンジ点と判定された画像データ情報を記憶部に蓄積するシーンチェンジ点記憶手段と、前記各手段を制御する処理制御手段を備えることを特徴とするシーンチェンジ検出装置。
【請求項２】
前記処理制御手段は、シーンチェンジ判定手段がシーンチェンジ点を検出した場合、前記画像入力手段の画像データの解像度を高くする制御を行うことを特徴とする請求項１に記載のシーンチェンジ検出装置。
【請求項３】
前記処理制御手段は、シーンチェンジ判定手段が検出したシーンチェンジ点の前後では画像データの間引き率を少なくし、それ以外の画像データでは間引き率を高くする制御を行うことを特徴とする請求項１に記載のシーンチェンジ検出装置。
【請求項４】
地図データを保持する地図データ記憶手段を備え、前記処理制御手段は、シーンチェンジ点記憶手段から得られる画像データを前記地図データ記録手段の地図データに重ね合わせて表示する信号を出力し、かつ、表示すきる地図の縮尺にあわせて、前記シーン判定手段の検出閾値を変更することを特徴とする請求項１に記載のシーンチェンジ検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はカメラで撮影した映像の検索、編集、加工、早見、インデックス作成などの支援のためにカメラでの撮影映像を画像処理し、シーンチェンジ検出を行うシーンチェンジ検出装置に関する。
【背景技術】
【０００２】
動画像を構成する各画像(フレーム)を部分画像(ブロック)に分割し、これらブロックの前後フレーム(現在着目しているフレームと直前に入力されたフレーム)において差分を評価し、変動が発生したブロック数をカウントすることでシーンチェンジ点を検出する方法として例えば、特許文献１に示される「シーンチェンジ検出方法およびシーン検出装置」がある。
【０００３】
【特許文献１】特開平１０−２９４９２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のシーンチェンジ検出装置は以上のように構成されており、各ブロック単位で色情報やエッジ情報などの特徴を抽出し、その変化量を前後フレームで評価しているため、車両が停止状態で撮影した風景や景色が変化していない画像においても、他の車両が前方を通過した場合、他車両の通過に伴う画像特徴の変動によりシーンチェンジ点であると反応し、過剰検出が発生するという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、画像データ撮影時の車両の状態を加速度センサやＧＰＳ(Global Positioning System)衛星のデータなどから車両の状態を判定する手段を備えることにより、景色や風景などのシーン変化に関係のない他車両の写り込みや樹木の揺らぎなどをシーンチェンジ点として検出することを抑制し、高精度にシーンチェンジ点を検出することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るシーンチェンジ検出装置は、車載カメラにより撮像された画像データを入力する画像入力手段と，前記画像入力手段で入力された画像データから画像特徴を抽出する画像特徴抽出手段と、加速度センサまたはGPS衛星から得られる車両状況を示すセンサデータを入力するセンサデータ入力手段と、前記センサデータ入力手段で入力されたセンサデータを解析し、特徴を抽出するセンサ特徴抽出手段と、このセンサ特徴検出手段と前記画像特徴抽出手段の結果を基に、車両が走行中、停止、右左折しているかなどの車両状態を検出する車両状態検出手段と、この車両状態検出手段と前記画像特徴抽出手段からシーンチェンジ点を判定するシーンチェンジ判定手段と、前記シーンチェンジ判定手段でシーンチェンジ点と判定された画像データ情報を記憶部に蓄積するシーンチェンジ点記憶手段と、前記各手段を制御する処理制御手段を備える。
【発明の効果】
【０００７】
この発明に係るシーンチェンジ検出装置によれば、カメラで撮影された画像データの特徴と、加速度センサまたはＧＰＳ衛星から得られる車両状況を示すセンサデータの特徴を用いて、車両情報判定手段で車両状態の判定を行い、この車両情報判定手段の判定結果と画像データの特徴とから、連続的かつ緩やかに画像が変化する風景や景色のシーンチェンジ点の検出を行うシーンチェンジ判定手段を備えることにより、風景や景色が変化しない車両が停止状態で撮影した画像における他車両の写り込みや急峻な画像変動による過剰検出を抑制することができる効果を奏する。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下、この発明の実施の形態について図面を参照して説明する。
図１は、この発明の実施の形態１を示す構成図である。図において、画像入力手段１は、車載カメラで撮影した画像の取り込みを行う。画像特徴抽出手段２は、画像入力手段１で得られた画像を部分画像に分割し、各部分画像において特徴点やオプティカルフローの検出を行う。センサデータ入力手段３は、画像入力手段１の画像データと時刻を同期して得られる加速度センサやＧＰＳ衛星からの車両状況を示すセンサデータの取り込みを行う。センサ特徴抽出手段４は、前記センサデータ入力手段３で得られたセンサデータから極大点や極小点などの特徴点を抽出する。車両状態判定手段５は、画像特徴抽出手段２で抽出された画像特徴とセンサ特徴抽出手段４で抽出されたセンサ特徴から車両状態(走行中、停止、右折、左折など)状態を判定する。シーンチェンジ判定手段６は、画像特徴抽出手段２の画像特徴と車両状態判定手段５の結果を用いてシーンチェンジ点を判定する。シーンチェンジ点記憶手段７は、シーンチェンジ判定手段６でシーンチェンジ点として判定された画像のフレーム番号や時刻情報を記憶する。処理制御手段８は、前記各手段の制御を行う。
【０００９】
図２は、この実施の形態１の処理の流れを示すフローチャートであり、本図により動作の説明を行う。この実施の形態では、センサとして加速度センサを用いることとして、シーンチェンジを検出する例について説明する。
【００１０】
まず、画像入力手段１は、車載カメラで撮影された画像の読み込みを行う（ステップＳＴ１１）。ここで図３に撮影された画像データと、ある時刻t(１≦t≦M，Mは入力される画像の総数)における画像例を示す。
【００１１】
次に、画像特徴抽出手段２は、ステップS１２において、入力された画像を部分画像に分割する。ここで、図４は図３の画像フレームの上部1/3を垂直方向にN分割した部分画像の例を示している。
【００１２】
次にステップS１３に進み、画像特徴抽出手段２は、各部分画像内においてエッジやコーナーに着目し、特徴点の抽出を行う。特徴点の抽出は、例えば、“  金澤  靖＆金谷  健一「コンピュータビジョンのための特徴点抽出」、電子情報通信学会誌、vol.87、no.12、pp.1043-1048、2004  ”に記載の方法を用いることで行うことができる。ここで、t番目の画像フレームのj番目の部分画像におけるｉ番目の特徴点を式１で表す。
【００１３】
【数１】
2010148053.tif 000003
【００１４】
ここで図５は図４の部分画像から抽出した特徴点の例であり、“○”印のある点が特徴点である。
【００１５】
次にステップS１４に進み、画像特徴抽出手段２は、部分画像の各画素においてオプティカルフローの検出を行う。オプティカルフローの検出としては、例えば、「 Lucas B D and Kanade T,“An iterative image registration technique with an application to stereo vision. ” Proceedings of Imaging understanding workshop, pp 121-130, 1981 」に開示されているような方法を用いて検出することができる。ここで、t番目の画像フレームのj番目の部分画像におけるｍ番目のオプティカルフローの角度を式２として表す。
【００１６】
【数２】
2010148053.tif 000004
【００１７】
ここで図６は図４の部分画像からオプティカルフローを抽出した例であり、“−”印がオプティカルフローの方向を示している。
【００１８】
次にステップS１５に進み、センサデータ入力手段３は、画像入力手段１で読み込んだ画像フレームと時刻が同期して得られた加速度センサデータの読み込みを行う。ここでは加速度センサとして、車両に対し水平方向と鉛直方向の重力加速度を検出するものとし、所定のサンプリング間隔で得られたM1個の加速度値をデータとして読み込んだものとする。図７は、センサデータ入力手段３から得られた加速度データの例である。この図では、検出した順番をnで示し、n番目の水平方向の加速度値をＡＸn（１≦n≦M1）、鉛直方向の加速度値をＡZn（１≦n≦M1）と表現している。
【００１９】
センサ特徴抽出手段４は、センサデータ入力手段３から得られた加速度データから特徴点を検出する（ステップＳＴ１６）。この実施の形態では、特徴点として極大点と極小点の検出を行う。センサ特徴抽出手段４の検出した水平および鉛直方向のu番目,v番目の特徴点の加速度値をＡＸ_Ｆu(１≦u≦Ｍ２，Ｍ２は図７の水平方向の加速度データから検出した特徴点の総数）、ＡZ_Ｆv（１≦v≦Ｍ３，Ｍ３は図７の鉛直方向の加速度データから検出した特徴点の総数）で表わす。図８は図７の加速度データから検出した特徴点を示す例であり、“●”印のある点が特徴点である。
【００２０】
次に車両状態判定手段５は、画像特徴抽出手段２の抽出したオプティカルフローとセンサ特徴抽出手段４の検出した特徴点から、車両状態(走行中、停止、右折、左折など)状態を判定する（ステップＳＴ１７）。車両状態の判定方法として、下記式３〜式６の評価式に加速度値を代入し、車両状態の判定を行う。ただし、Tｈ1〜Tｈ8は、車両状態を決定するための閾値であり、あらかじめ車両状態判定手段５で保持しているものとする。また、ここでは加速と減速時刻から得られる加速度を基に速度を計算し、速度が設定した閾値を下回っていた場合を停止状態とする。
ここで、図９は図８の加速度データの特徴点及び画像特徴抽出手段２をもとに得られた各時刻における車両状態を示した図である。
【００２１】
【数３】
2010148053.tif 000005
【００２２】
【数４】
2010148053.tif 000006
【００２３】
【数５】
2010148053.tif 000007
【００２４】
【数６】
2010148053.tif 000008
【００２５】
次に、ステップＳＴ１８に進み、前記車両状態判定手段５において、右折または左折と判定された時刻の画像フレームは、ステップＳＴ２０に進み、シーンチェンジ点記憶手段７によって画像フレームの時刻情報を記録する。
【００２６】
また、前記車両状態判定手段５において、停止状態を除く右折または左折と判定されなかった画像フレームは、ステップＳＴ１９に進み、シーンチェンジの判定を行う。
【００２７】
シーンチェンジ判定手段６は、例えば画像特徴抽出手段２で検出された各部分領域の特徴点数の変化を評価することでシーンチェンジ点の判定を行う（ステップＳＴ２０）。ここで図１０は、式７で表される各時刻における部分領域の特徴点数を示しており、シーンチェンジ判定処理が適用される停止状態、右折、左折を除いた時刻部分を斜線で表す。
【００２８】
【数７】
2010148053.tif 000009
【００２９】
シーンチェンジ判定手段６では、例えば下記式８の評価式に各時刻における部分領域の特徴点数を代入することによりシーンチェンジ点を検出する。この実施の形態では、連続的かつ緩やかに画像が変化する風景や景色のシーンチェンジ点を高精度に検出するために、あらかじめ設定した一定時間区間内の特徴点数の平均値を求め、この値を用いて時間区間毎の差分を評価し、閾値を超える時間区間の中心時刻をシーンチェンジ点とする。ここでt番目の時間区間の特徴点数の平均値のオプティカルフローの角度を式８として表す。図１１は、一定時間区間に区切った例を示すとともに、式８の評価式によりシーンチェンジ点として検出した例であり、“↓”がシーンチェンジ点を表している。
【００３０】
【数８】
2010148053.tif 000010
【００３１】
以上で明らかなように、この実施の形態１によれば、画像特徴と画像フレームと時刻が同期して得られたセンサデータの特徴を用いて、車両状態の判定を行う車両情報判定手段５と、連続的かつ緩やかに画像が変化する風景や景色のシーンチェンジ点の検出を行うシーンチェンジ判定手段６を備えることにより、風景や景色が変化しない車両が停止状態で撮影した画像における他車両の写り込みや急峻な画像変動による過剰検出を抑制することができる効果を奏する。
【００３２】
また、この実施の形態１によれば、シーンチェンジ判定手段６において、画像特徴抽出手段２から得られる特徴量を一定時間毎に区切り、各時間区間の変動を評価することで急峻に変化するノイズ成分の影響を抑制できるとともに、連続的に緩やかに変化する風景や景色などのシーンチェンジ点を高精度に検出することができる効果を奏する。
【００３３】
なお、この実施の形態１では、画像特徴の特徴量として、特徴点数やオプティカルフローの特徴を示したが、これに限るものではなく、例えば、色やエッジの総数などを部分画像で検出し、これらの変化量を評価するようにしてもよい。また、これらを組み合わせて用いるようにしてもよい。
【００３４】
なお、この実施の形態１では、シーンチェンジ判定手段６において一定の時間区間毎の特徴点数の平均値を用いてシーンチェンジ点の検出を行う例について示したが、これに限るものではなく、例えば、各時間区間内のメディアン値などを用いるようにしてもよい。
【００３５】
なお、この実施の形態１では、あらかじめ取得した画像データ及びセンサデータを用いて、シーンチェンジ点を検出する例について示したが、図１２のフローに示すように、画像入力手段およびセンサデータ入力手段により順次データの読み込みを行い逐次的に処理を行うようにしてもよい。この処理では、逐次データの読み込み処理するため、ステップＳＴ２０の後にステップＳＴ１１の処理に戻り、ステップＳＴ１１での画像入力データがなくなるまで、ループを繰り返す。
【００３６】
実施の形態２．
次に、この発明の実施の形態２であるシーン検出表示装置について説明する。
図1３はこの発明の実施の形態２によるシーン検出表示装置を示す構成図である。図1３において、画像入力手段１、画像特徴抽出手段特２、センサデータ入力手段３、センサ特徴抽出手段特徴４、車両状態判定手段５、シーンチェンジ判定手段６、シーンチェンジ点記憶手段７、処理制御手段８は、上記実施の形態１と同様であり、地図データ記憶手段９は、地図データとＧＰＳ衛星の緯度経度とを関連付けてデータを格納している記憶手段である。表示手段１０は、地図データ記憶手段９の地図データや画像入力手段１及びシーンチェンジ点記憶手段７から得られる画像データの表示処理を実施する。
【００３７】
図1４はこの発明の実施の形態２によるシーン検出表示装置の処理内容を示すフローチャートである。実施の形態１の動作と同様であるステップＳＴ１１からステップＳＴ２０については、同様の番号を付し説明を省略する。
【００３８】
表示手段１０は、ステップＳＴ１９でシーンチェンジ点と判定され、ステップＳＴ２０でシーンチェンジ点記憶手段７に記憶された画像フレームをディスプレイなどの表示デバイスへの出力を行う（ステップＳＴ２１）。
なお、この実施の形態２では、処理制御手段８は、画像データを表示する際、シーンチェンジ点の前後では画像の間引き率を少なくし、それ以外の画像では間引き率を高くする制御を行う。
【００３９】
以上のように、この実施の形態２によれば、シーンチェンジ点記憶手段７に記憶されているシーンチェンジ点の表示を行うことで、画像データの一部分のみを次々と再生することが可能なだけでなく、間引き率を変更した表示方法を行うことにより、画像データの全体の概要を把握しながら視認性を低下させることなく画像データのサーチや早見などを支援する効果を奏する。
【００４０】
なお、この実施の形態２では、処理制御手段８が、間引き率を変更して画像データを表示制御する例について示したが、シーンチェンジ点が検出された場合、画像入力手段１の画像データを取得する場合に解像度を高く変更し表示するなどしてもよい。
【００４１】
なお、この実施の形態２では、シーンチェンジ点を表示する例について示したが、画像データを表示する際、地図データを保持する記憶装置などから地図データを読み込み、この地図データに重ね合わせてシーンチェンジ点の表示を行う際、表示する地図の縮尺にあわせて、前記シーンチェンジ判定手段６における上記式８の検出閾値Th9を変更することで検出レベルを切り替えるようにしてもよい。
【００４２】
図１５は、地図の縮尺が小さい場合のシーンチェンジ点をサムネイル表示している例であり、図１６は、地図の縮尺が大きい場合のシーンチェンジ点をサムネイル表示している例である。
【産業上の利用可能性】
【００４３】
この発明によるシーンチェンジ検出装置は、車載カメラで撮影した画像データから抽出された画像データの特徴と加速度センサまたはＧＰＳ衛星から得られる車両状況を示すセンサデータから抽出されたセンサデータの特徴を基に車載カメラで撮影した走行映像（風景・景色）に対し、画像特徴とシーンの変わり目を自動検出し、メタデータとして付与することで、映像閲覧時のダイジェスト作成や映像編集時のチャプタ分割を行う際の利便性を向上ために利用される。
【図面の簡単な説明】
【００４４】
【図１】この発明の実施の形態１を示す構成図である。
【図２】実施の形態１の処理の流れを示すフローチャートである。
【図３】撮影された画像データと、ある時刻における画像の例を示す図である。
【図４】図３の画像フレームの上部1/3を垂直方向にN分割した部分画像の例を示す図である。
【図５】図４の部分画像から抽出した特徴点の例を示す図である。
【図６】図４の部分画像からオプティカルフローを抽出した例を示す図である。
【図７】センサデータ入力手段から得られた加速度データの例を示す図である。
【図８】加速度データから検出した特徴点を示す図である。
【図９】加速度データの特徴点及び画像特徴抽出手段をもとに得られた各時刻における車両状態を示した図である。
【図１０】各時刻における部分領域の特徴点数を示した図である。
【図１１】部分領域を一定時間区間に区切った例と、シーンチェンジ点の検出例を示した図である。
【図１２】実施の形態１における他の実施例の処理の流れを示すフローチャートである。
【図１３】この発明の実施の形態２によるシーン検出表示装置を示す構成図である。
【図１４】この発明の実施の形態２によるシーン検出表示装置の処理内容を示すフローチャートである。
【図１５】地図の縮尺が小さい場合のシーンチェンジ点のサムネイル表示例を示す図である。
【図１６】地図の縮尺が大きい場合のシーンチェンジ点をサムネイル表示例を示す図である。
【符号の説明】
【００４５】
１；画像入力手段、２；画像特徴抽出手段、３；センサデータ入力手段、４；センサ特徴抽出手段、５；車両状態判定手段、６；シーンチェンジ判定手段、７；シーンチェンジ点記憶手段、８；処理制御手段、９；地図データ記憶手段、１０；表示手段。
【図１】
2010148053.tif 000011
【図２】
2010148053.tif 000012
【図３】
2010148053.tif 000013
【図４】
2010148053.tif 000014
【図５】
2010148053.tif 000015
【図６】
2010148053.tif 000016
【図７】
2010148053.tif 000017
【図８】
2010148053.tif 000018
【図９】
2010148053.tif 000019
【図１０】
2010148053.tif 000020
【図１１】
2010148053.tif 000021
【図１２】
2010148053.tif 000022
【図１３】
2010148053.tif 000023
【図１４】
2010148053.tif 000024
【図１５】
2010148053.tif 000025
【図１６】
2010148053.tif 000026