(57)【要約】  映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する。また、映像加工手段は、映像酔いシーン検出手段の検出結果に基づきシーンの加工処理を行う。
2010137104.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記映像酔いシーン検出手段は、前記映像データの再生時の映像変化が大きい程、映像酔いが生じる蓋然性が高く、かつ、映像酔いの度合が強いと判断することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像データは、移動体に搭載された撮像装置から撮影されたものであり、
前記映像酔いシーン検出手段は、前記映像データと時間的に対応する前記移動体の挙動に関する情報に基づき前記シーンを検出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記映像酔いシーン検出手段は、前記移動体の側面方向の加速度に基づき前記シーンを検出することを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記映像酔いシーン検出手段は、前記移動体の停止時と時間的に対応する映像データを、映像酔いが発生しないと判断することを特徴とする請求項３または４に記載の映像処理装置。
【請求項６】
前記映像酔いシーン検出手段は、前記移動体の速度又は／及び前記移動体の加速度に基づき前記移動体が停止時であるか否か判断することを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記映像酔いシーン検出手段は、前記移動体の走行経路の曲率に基づき前記シーンを検出することを特徴とする請求項３乃至６のいずれか一項に記載の映像処理装置。
【請求項８】
前記映像酔いシーン検出手段は、前記移動体の進行方向の加速度に基づき前記シーンを検出することを特徴とする請求項３乃至７のいずれか一項に記載の映像処理装置。
【請求項９】
前記映像酔いシーン検出手段は、前記移動体の走行経路の進行方向の傾斜に基づき前記シーンを検出することを特徴とする請求項３乃至８のいずれか一項に記載の映像処理装置。
【請求項１０】
前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、
前記映像加工手段は、前記加工度合が大きいほど、当該加工度合に時間的に対応する映像データの再生速度を小さく設定することを特徴とする請求項１乃至９のいずれか一項に記載の映像処理装置。
【請求項１１】
前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、
前記映像加工手段は、前記加工度合が第１閾値以上の場合、当該加工度合に時間的に対応する映像データの表示サイズを縮小することを特徴とする請求項１乃至１０のいずれか一項に記載の映像処理装置。
【請求項１２】
前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、
前記映像加工手段は、前記加工度合が第２閾値以上の場合、当該加工度合に時間的に対応する映像データを構成するフレームを削除することを特徴とする請求項１乃至１１のいずれか一項に記載の映像処理装置。
【請求項１３】
前記移動体に搭載され、
前記映像酔いシーン検出手段は、測位システムから取得した最も新しい所定個数の位置情報に基づき前記曲率を算出し、
前記映像加工手段は、前記曲率の算出に使用した位置情報に時間的に対応する映像データを前記曲率の算出まで保持し、算出された曲率に基づき当該映像データを加工することを特徴とする請求項９乃至１２のいずれか一項に記載の映像処理装置。
【請求項１４】
複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出工程と、
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、
を備えることを特徴とする映像処理方法。
【請求項１５】
コンピュータにより実行される映像処理プログラムであって、
複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、
を備えることを特徴とする映像処理プログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体により撮影された映像データから特定のシーンを検出し、加工する映像処理技術に関する。
【背景技術】
【０００２】
従来から、撮影された複数の画像フレームからなる動画（映像データ）を目的に合わせ加工する技術が存在する。例えば、特許文献１には、動画撮影時の加速度に応じて、再生又は記録するフレーム数を調節し、動画の再生速度を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６２１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、ドライブレコーダなどの車載カメラにより取得された映像データを視聴する場合、移動体の揺れ等に起因して違和感が発生し、映像酔いが生じる可能性がある。ここで、「映像酔い」とは、映像を視聴している際に引き起こされる吐き気、めまい、頭痛、眼精疲労などの症状を指す。映像酔いは、主に、運動する視覚刺激に起因して発生する。従って、上述の場合、視聴者の映像酔いを防ぐためには、移動体から撮影された映像データを適切に加工する必要がある。特許文献１には、上記の問題は、何ら検討されていない。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、再生時の映像酔いを抑制するため、映像データを適切に加工することが可能な映像処理装置を適用することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備えることを特徴とする。【０００７】
請求項１４に記載の発明は、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出工程と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、を備える。【０００８】
請求項１５に記載の発明は、コンピュータにより実行される映像処理プログラムであって、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。
【図面の簡単な説明】
【０００９】
【図１】本発明の各実施例に係る映像処理システムの概略構成図である。
【図２】本発明に係る映像処理装置を適用したナビゲーション装置構成の一例である。
【図３】第１実施例に係る映像処理システムの機能ブロック図である。
【図４】加速度Ａｓの絶対値と加工度合Ｐとのマップ、及び映像速度倍率と加工度合Ｐとのマップの一例である。
【図５】時間経過に伴う加速度Ａｓの変化を示すグラフの一例である。
【図６】第１実施例の処理手順を示すフローチャートの一例である。
【図７】第１実施例の変形例２に係る映像処理装置の機能ブロック図の一部である。
【図８】第２実施例に係る映像処理システムの機能ブロック図の一部である。
【図９】第２実施例に係る映像処理装置が用いる半径Ｒの概念図、及び半径Ｒの逆数と加工度合Ｐとのマップの一例を示す。
【図１０】第２実施例の処理手順を示すフローチャートの一例である。
【図１１】第３実施例に係る映像処理システムの機能ブロック図である。
【図１２】第４実施例に係る映像処理システムの機能ブロック図である。
【図１３】第５実施例に係る映像処理システムの機能ブロック図である。
【発明を実施するための形態】
【００１０】
本発明の１つの観点では、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。
【００１１】
上記の映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する。ここで、「映像酔いが生じるシーン」とは、具体的には映像酔いを引き起こす映像に対応する１または連続した複数の画像フレームを指す。また、映像加工手段は、映像酔いシーン検出手段の検出結果に基づきシーンの加工処理を行う。ここで、「検出結果」とは、映像酔いシーンの有無に関する情報に限らず、例えば、その映像酔いの度合に関する情報を含んでもよい。このようにすることで、映像処理装置は、映像データを映像酔いが生じない映像データに適切に変換することができる。
【００１２】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像データの再生時の映像変化が大きい程、映像酔いが生じる蓋然性が高く、かつ、映像酔いの度合が強いと判断する。一般に、映像変化が激しいほど、映像酔いが発生することが知られている。従って、このようにすることで、映像酔いシーン検出手段は、適切に映像酔いが生じるシーンを検出することができる。
【００１３】
上記の映像処理装置の他の一態様では、前記映像データは、移動体に搭載された撮像装置から撮影されたものであり、前記映像酔いシーン検出手段は、前記映像データと時間的に対応する前記移動体の挙動に関する情報に基づき前記シーンを検出する。ここで、「移動体の挙動に関する情報」とは、例えば、加速度センサの検出値、ジャイロスコープの検出値、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の検出値等の移動体に備わる各種センサの検出値が該当する。また、「時間的に対応する」とは、映像データの撮影時刻と上述のセンサが移動体の挙動を検出した時刻とが略一致することをいう。このように、映像酔いシーン検出手段は、移動体の挙動が撮像装置の撮像環境に影響を与えることに着目することで、適切に映像酔いシーンを検出することができる。
【００１４】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の側面方向の加速度に基づき前記シーンを検出する。ここで、「側面方向」とは、移動体の進行方向と略垂直方向であり、かつ、走行経路と略平行である方向を指す。従って、この態様では、映像酔いシーン検出手段は、移動体がカーブを走行中など撮像装置の撮像環境が安定しない場合に生成された映像データを適切に映像酔いシーンとして検出することができる。
【００１５】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の停止時と時間的に対応する映像データを、映像酔いが発生しないと判断する。一般に、移動体の停止時に撮影された映像データは、映像酔いが生じないことが考えられる。一方、例えば移動体が側面方向に傾斜を有する斜面に停止した場合には、加速度センサから取得された移動体の側面方向の加速度は、停止中であっても当該傾斜に応じて大きくなる。従って、この場合であっても、映像酔いシーン検出手段は、移動体の停止時に撮影された映像データを映像酔いシーンと誤判断するのを防ぐことができる。
【００１６】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の速度又は／及び前記移動体の加速度に基づき前記移動体が停止時であるか否か判断する。このようにすることで、映像酔いシーン検出手段は、適切に移動体が停止中であるか否かを判断することができる。
【００１７】
上記の映像処理装置の他の一態様では、前記移動体の走行経路の曲率に基づき前記シーンを検出する。一般に、移動体の走行経路の曲がり度合が大きいカーブを走行中に撮影された映像データは、映像酔いを生じやすい。従って、映像処理装置は、走行経路の曲率に基づき映像酔いシーンを適切に検出することができる。
【００１８】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の進行方向の加速度に基づき前記シーンを検出する。一般に、急加減速中に撮影された映像は、映像酔いが生じやすい。従って、この態様では、映像酔いシーン検出手段は、例えば進行方向の加速度の絶対値が所定値以上の場合、当該映像データを映像酔いシーンとみなす。この場合、上述の所定値は、実験等に基づき適切な値に設定される。
【００１９】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の走行経路の進行方向の傾斜に基づき前記シーンを検出する。一般に、上り坂又は下り坂を走行中に撮影された映像は、映像酔いが生じやすい。従って、映像酔いシーン検出手段は、ＧＰＳによる位置情報及び地図情報等に基づき傾斜を把握することで、適切に映像酔いシーンを検出することができる。
【００２０】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が大きいほど、当該加工度合に時間的に対応する映像データの再生速度を小さく設定する。一般に、映像酔いは、その映像データの再生速度を小さくすることで低減される。従って、映像加工手段は、加工度合が大きいほど、当該映像データにフレームを補間等することにより映像データの再生速度を小さくすることで、適切に映像酔いシーンを加工することができる。
【００２１】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が第１閾値以上の場合、当該加工度合に時間的に対応する映像データの表示サイズを縮小する。第１閾値は、実験等に基づき適切な値に設定される。一般に、映像酔いは、映像データの表示サイズを縮小することで低減される。従って、映像加工手段は、加工度合が第１閾値より大きい映像データに対し、表示サイズを縮小することで、再生時の映像酔いを適切に防ぐことができる。
【００２２】
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が第２閾値以上の場合、当該加工度合に時間的に対応する映像データを構成するフレームを削除する。第２閾値は、実験等に基づき適切な値に設定される。このように、映像加工手段は、加工すべき度合が大きい、即ち、映像酔いが生じる可能性が高い部分を削除することで、再生時の映像酔いを確実に防ぐことができる。
【００２３】
上記の映像処理装置の他の観点では、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出工程と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、を備える。映像処理装置は、この方法を用いることにより、映像データを映像酔いが生じない映像データに適切に変換することができる。
【００２４】
上記の映像処理装置のさらに別の観点では、コンピュータにより実行される映像処理プログラムであって、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。映像処理装置は、上記のプログラムを搭載することで、映像データを映像酔いが生じない映像データに適切に変換することができる。なお、好適な例では、上記のプログラムは、記憶媒体に記憶される。
【実施例】
【００２５】
以下、図面を参照して本発明の好適な各実施例について説明する。【００２６】
［概要説明］
まず、後述する各実施例の説明に先立って、本発明に係る映像処理装置の概要について図１を用いて説明する。【００２７】
図１は、本発明に係る映像処理システムの概略構成図である。図１に示すように、映像処理システムは、映像処理装置１００と、映像入力装置２００と、映像出力装置３００と、を備える。映像処理システムは、車両などの移動体に搭載される。以後、一例として映像処理システムは車両に搭載されるものとして説明する。【００２８】
映像入力装置２００は、車両に設置された撮像装置、または、予め撮像装置によって撮影された複数の画像フレームから構成される映像データＳｖ及び撮像中に検出された各種センサの検出値（以後、「センサ値Ｓｅ」と呼ぶ。）を保持する記録装置として機能する。上述の各種センサについては後述する。【００２９】
映像処理装置１００は、映像入力装置２００及び映像出力装置３００と電気的に接続している。そして、映像処理装置１００は、映像入力装置２００から映像データＳｖの供給を受けると共に、車両に搭載された各種センサからのセンサ値Ｓｅまたは映像入力装置から供給されたセンサ値Ｓｅに基づき映像データＳｖ中に映像酔いが生じる部分（以後、「映像酔いシーン」と呼ぶ。）を特定する。そして、映像処理装置１００は、映像酔いシーンを加工することで映像酔いが発生しない映像データ（以後、「加工後映像データＳｖｒ」と呼ぶ。）を生成し、加工後映像データＳｖｒを映像記録装置３００へ供給する。映像処理装置１００は、映像酔いシーン検出部１と、映像加工部２と、を備える。【００３０】
映像酔いシーン検出部１は、車両の挙動または映像データＳｖ等を解析することにより、映像データＳｖ中の映像酔いシーンを特定する。具体的には、映像酔いシーン検出部１は、センサ値Ｓｅに基づき、カーブ（即ち所定値以上の曲率を有する走行経路）の検出、又は／及び、車両の急加減速の有無の検出、走行経路の傾斜の変化の検出を行い、これらに対応する映像データＳｖを映像酔いシーンとして特定する。また、映像酔いシーン検出部１は、検出した映像酔いシーンに対して映像加工部２が実行する加工の度合（以後、「加工度合Ｐ」と呼ぶ。）を決定する。【００３１】
より具体的には、映像酔いシーン検出部１は、例えば、以下に示す情報のうち、１又は任意に組み合わせた複数の情報に基づきカーブを検出すると共に、加工度合Ｐを決定する。
・舵角センサ及び車速センサの検出値に基づき算出された車両の角速度
・ＧＰＳまたは所定の地図情報に基づき特定される車両の位置情報
・ジャイロスコープの検出値に基づき算出された車両の角速度
・加速度センサから取得した車両の前後方向又は側面（左右）方向の加速度
・映像データＳｖを構成する各フレームを画像処理することで得られたパラメータ、その他映像データＳｖを画像処理することで得られた情報
なお、これらの情報に基づきカーブを検出する方法及び加工度合Ｐを算出する具体例については、後述する実施例で詳しく説明する。【００３２】
また、映像酔いシーン検出部１は、例えば、加速度センサの検出値又は／及び車速センサの検出値に基づき、車両の急加減速の有無を検出する。ここで、「急加減速」とは、例えば車両の側面方向又は前後方向の加速度の絶対値が所定値以上に達した場合を指す。上述の所定値は、実験等に基づき適切な値に設定される。【００３３】
さらに、映像酔いシーン検出部１は、例えば、以下の情報のうち、１又は任意に組み合わせた複数の情報に基づき、走行経路の走行経路の傾斜角に急激な変化（例えば上がり始め、下がり始め）を検出する。
・ジャイロスコープ等の検出値に基づき算出された車両の前後方向の傾斜度
・ＧＰＳまたは所定の地図情報に基づき算出された高度
・映像データＳｖを構成する各フレームを画像処理することで得られたパラメータ、その他映像データＳｖを画像処理することで得られた情報
映像加工部２は、映像酔いシーン検出部１から供給された加工度合Ｐに基づき、映像データＳｖを加工する。例えば、映像加工部２は、映像酔いシーンに対し、加工度合Ｐに応じてフレームの間引き又はフレームの補間を行うことで、映像酔いシーンの再生される速度の設定（以後、「映像速度」と呼ぶ。）を変更する。他の例として、映像加工部２は、映像酔いシーンの各フレームに対し、加工度合Ｐに応じて画像サイズを小さくする。さらに他の例として、映像加工部２は、映像酔いシーン部分に対応するフレームを削除する。映像加工部２は、これらの方法を１又は任意に複数選択し実行することにより、映像酔いが発生しない加工後映像データＳｖｒを生成することができる。【００３４】
映像出力装置３００は、映像処理装置１００から供給された加工後映像データＳｖｒをディスプレイなどに表示する表示装置、又は／及び、加工後映像データＳｖｒを記録する映像記録装置として機能する。【００３５】
以下の第１実施例乃至第５実施例では、上述した映像処理システムのより詳細な処理について説明する。【００３６】
［第１実施例］
次に、第１実施例について説明する。以下では、映像処理装置１００を適用したナビゲーション装置の概略構成について説明した後、映像処理装置１００が実行する映像処理方法、処理フロー、及び各変形例について順に説明する。【００３７】
（概略構成）
図２は、映像処理装置１００を適用したナビゲーション装置の概略構成の一例を示す。図２に示すように、ナビゲーション装置は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。なお、後述するように、第１実施例に係る映像処理装置１００は、ＣＰＵ２２及び加速度センサ１１に該当する。【００３８】
自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の前後方向又は／及び水平方向の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。【００３９】
ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。【００４０】
システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２４を含んでおり、映像処理装置１００全体の制御を行う。【００４１】
インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。【００４２】
ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＣＰＵ２２は、予め用意されたプログラムを実行することにより、上述の映像酔いシーン検出部１及び映像加工部２として機能する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。【００４３】
システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。【００４４】
ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図情報などのナビゲーション処理に用いられる各種データを記憶するユニットである。通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳ（Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）センタなどから配信される情報（以下、「ＶＩＣＳ情報」と呼ぶ。）を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、ＶＩＣＳ情報をシステムコントローラ２０等に入力する。【００４５】
表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。【００４６】
音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。【００４７】
入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。
（映像処理方法）
次に、映像処理装置１００が実行する映像処理方法について説明する。第１実施例では、映像処理装置１００は、水平方向の加速度（以後、「加速度Ａｓ」と呼ぶ。）に基づき走行中のカーブを検出し、当該カーブを走行中に撮影された映像データＳｖを映像酔いシーンとして特定する。さらに、映像処理装置１００は、加速度Ａｓの絶対値に基づき加工度合Ｐを算出し、当該加工度合Ｐに基づき映像酔いシーンの再生される速度を遅く設定する。これにより、映像処理装置１００は、映像酔いが抑制された加工後映像データＳｖｒを適切に生成する。【００４８】
以下、図３を参照し、上述した処理の詳細を説明する。図３は、第１実施例に係る映像処理システムの機能ブロック図の一例である。図３に示すように、映像処理装置１００は、車両から所定の方向に向けて撮影を行う撮像装置２００ｘから映像データＳｖの供給を受けると共に、データを記録可能な映像記録装置３００ｘへ加工後映像データＳｖｒを供給する。映像処理装置１００は、水平方向加速度判定部１５と、車両停止判定部１６と、カーブ検出部１７と、映像速度変換部２ｘと、加速度センサ１１と、を備える。【００４９】
水平方向加速度判定部１５は、加速度センサ１１から加速度Ａｓの供給を受けると共に、加速度Ａｓに基づき所定のマップ又は式を参照することで加工度合Ｐを算出する。上述のマップ又は式は、例えば実験等に基づき事前に作成され、ＲＯＭ２３又はデータ記憶ユニット３６などのメモリに保持される。【００５０】
これについて図４（ａ）を用いて具体的に説明する。図４（ａ）は、映像速度変換部２ｘで決定される加工度合Ｐと加速度Ａｓの絶対値とのマップの一例である。図４（ａ）では、加工度合Ｐは、０から１の間の値に設定され、１に近づく程映像速度変換部２ｘで映像データＳｖを加工すべき度合が大きくなることを示す
図４（ａ）に示すように、水平方向加速度判定部１５は、加速度Ａｓの絶対値が大きいほど、加工度合Ｐを大きく設定する。言い換えると、水平方向加速度判定部１５は、加速度Ａｓの絶対値が大きいほど走行経路のカーブの度合（曲率）が大きく、撮像装置２００ｘから供給される映像データＳｖに加工すべき度合が大きいより重度な映像酔いシーンが発生すると判断する。このようにすることで、水平方向加速度判定部１５は、加速度Ａｓの絶対値が大きい部分ほどこれと時間的に対応する映像データＳｖの映像速度が遅くなるように加工度合Ｐを適切に設定することができる。なお、上述の「時間的に対応する」とは、加速度センサ１１が加速度Ａｓを検出した時刻と撮像装置２００ｘが映像データＳｖを生成した時刻とが一致することを指す。【００５１】
次に、車両停止判定部１６が実行する処理について説明する。車両停止判定部１６は、加速度センサ１１から供給される加速度Ａｓの所定時間幅における変動幅（以後、「変動幅Ｗ」と呼ぶ。）に基づき、車両が停止中であるか否かを判定し、その判定結果（以後、「判定結果Ｊ」と呼ぶ。）をカーブ検出部１７に供給する。上述の所定時間幅は、実験等に基づき適切な値に設定される。具体的には、車両停止判定部１６は、変動幅Ｗが所定の閾値（以後、「閾値Ｗｔｈ」と呼ぶ。）以下の場合、車両は停止していると判定する。閾値Ｗｔｈは、例えば車両が停止しているとみなすことができる変動幅Ｗの上限値に実験等に基づき設定される。【００５２】
これについて補足説明する。一般に、車両の側面方向に傾斜を有する斜面に車両が停止中の場合、加速度センサ１１に基づき検出される加速度Ａｓの絶対値は、重力に起因して当該傾斜に応じて大きくなる。一方、上述の場合に撮像装置２００ｘから生成された映像データＳｖは、車両が停止していることから再生時の映像変化が少なく映像酔いが生じない。以上を考慮し、車両停止判定部１６は、車両が停止中か否か判断することで、斜面で車両が停止中に取得した映像データＳｖを映像酔いシーンと誤判断するのを防ぎ、不要な映像加工処理を実行するのを抑制することができる。【００５３】
ここで、上述した車両停止判定部１６の処理を、図５に示す具体例を用いて説明する。図５は、所定時間幅での加速度Ａｓの時間変化のグラフの一例である。ここで、時刻「Ｔ０」は車両が停止中の時刻を指し、時刻「Ｔ１」は車両が停車状態から始動した時刻を指し、時刻「Ｔ２」は車両が走行中の時刻を指す。【００５４】
図５に示すように、時刻Ｔ０から時刻Ｔ１まで、車両が停止していることに起因して加速度Ａｓは殆ど変化がない。従って、この期間での変動幅Ｗは、閾値Ｗｔｈより小さい所定幅「Ｗ０」以下となる。従って、この期間では、車両停止判定部１６は、車両が停止中であると判定する。【００５５】
一方、時刻Ｔ１から時刻Ｔ２までの期間では、車両が始動したことに起因して加速度Ａｓが変動する。これにより、変動幅Ｗは、閾値Ｗｔｈより大きい所定幅「Ｗ１」付近で推移する。従って、この期間では、車両停止判定部１６は、車両が停止中ではないと判定する。【００５６】
以上のように、車両停止判定部１６は、変動幅Ｗに基づき適切に車両が停止中であるか否かを判定することができる。【００５７】
次に、カーブ検出部１７が実行する処理について説明する。カーブ検出部１７は、車両停止判定部１６から供給される判定結果Ｊに基づき車両がカーブを走行中であるか否か判断すると共に、水平方向加速度判定部１５から供給される加工度合Ｐに基づき映像速度を制御する。具体的には、カーブ検出部１７は、判定結果Ｊに基づき車両が停止中ではないと判定した場合、水平方向加速度判定部１５から供給される加工度合Ｐを走行経路のカーブの曲がり度合と推定し、映像速度変換部２ｘに供給する。【００５８】
一方、カーブ検出部１７は、判定結果Ｊに基づき車両が停止中と判定した場合、水平方向加速度判定部１５から供給される加工度合Ｐを、映像データＳｖを加工しない値（即ち０）に設定する。これにより、カーブ検出部１７は、実際には映像酔いシーンが発生しない車両停止中の映像データＳｖを不要に加工するのを抑制することができる。【００５９】
次に、映像速度変換部２ｘが実行する処理について説明する。映像速度変換部２ｘは、カーブ検出部１７から供給される加工度合Ｐに基づき、所定のマップ又は式を参照することで、撮像装置２００ｘから供給される映像データＳｖのフレーム間にダミーのフレーム、例えば挿入位置の前後のフレームのコピー等を挿入することで映像データＳｖを補間する。上述のマップ又は式は、実験等に基づき作成され、ＲＯＭ２３又はデータ記憶ユニット３６に保持される。【００６０】
これについて図４（ｂ）を用いて具体例を示す。図４（ｂ）は、加工度合Ｐとこれに対応する映像速度の倍率（以後、「映像速度倍率」と呼ぶ。）とのマップの一例である。図４（ｂ）に示すように、映像速度変換部２ｘは、加工度合Ｐが大きいほど、映像速度倍率を小さくする。具体的には、映像速度変換部２ｘは、加工度合Ｐが大きいほど、ダミーフレームを挿入する間隔を小さくする。このようにすることで、映像速度変換部２ｘは、映像酔いが発生する蓋然性が高い映像シーンほど、映像速度を遅くし、再生時の映像酔いの発生を抑制する。【００６１】
そして、映像速度変換部２ｘは、加工後映像データＳｖｒを映像記録装置３００ｘへ供給する。映像記録装置３００ｘは、供給された加工後映像データＳｖｒをメモリに記憶する。【００６２】
なお、映像速度変換部２ｘは、カーブ検出部１７から供給される加工度合Ｐがこれと時間的に対応する映像データＳｖよりも遅れて供給される場合、例えば映像データＳｖを所定時間幅だけ蓄積後に加工する。所定時間幅は、例えば、上述の遅れ時間幅に実験等に基づき設定される。これにより、映像速度変換部２ｘは、加工度合Ｐとこれに基づき加工すべき映像データＳｖとを適切に対応づけて加工することができる。【００６３】
（処理フロー）
次に、第１実施例で映像処理装置１００が実行する処理手順について図６を用いて説明する。図６は、第１実施例で映像処理装置１００が実行する処理手順を示すフローチャートの一例である。映像処理装置１００は、図６に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。【００６４】
まず、映像処理装置１００は、加速度Ａｓを検出する（ステップＳ１０１）。具体的には、映像処理装置１００は、加速度センサ１１からの検出値に基づき加速度Ａｓを決定する。【００６５】
そして、映像処理装置１００は、変動幅Ｗが閾値Ｗｔｈより大きいか否かについて判定する（ステップＳ１０２）。具体的には、映像処理装置１００は、直前に取得した加速度Ａｓの所定個数のサンプルに基づき変動幅Ｗを算出し、閾値Ｗｔｈと比較する。これにより、映像処理装置１００は、車両が停止中か否かを適切に判定する。【００６６】
そして、変動幅Ｗが閾値Ｗｔｈより大きい場合（ステップＳ１０２；Ｙｅｓ）、映像処理装置１００は、車両は停止していないと判断し、加速度Ａｓに基づき加工度合Ｐを算出する（ステップＳ１０３）。例えば、映像処理装置１００は、図４（ａ）に示すマップを参照することで、加速度Ａｓの絶対値に基づき加工度合Ｐを決定する。そして、映像処理装置１００は、加工度合Ｐに基づき映像速度倍率を変更する（ステップＳ１０４）。例えば、映像処理装置１００は、図４（ｂ）に示すマップを参照することで、加工度合Ｐから映像速度倍率を算出する。そして、映像処理装置１００は、決定した映像速度倍率に基づき、加工度合Ｐに時間的に対応する映像データＳｖの映像速度をダミーフレームを挿入等することにより変更する。【００６７】
一方、変動幅Ｗが閾値Ｗｔｈ以下の場合（ステップＳ１０２；Ｎｏ）、映像処理装置１００は、車両が停止中であると判断し、映像速度倍率を変更しない（ステップＳ１０５）。これにより、実際には映像酔いシーンが発生しない車両の停止中の映像データＳｖを不要に加工するのを抑制することができる。【００６８】
以上説明したように、本実施例による映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じる映像酔いシーンを検出する。また、映像加工手段は、映像酔いシーン検出手段の検出結果である加工度合に基づきシーンの加工処理を行う。このようにすることで、映像処理装置は、映像データを映像酔いが生じない映像データに適切に変換することができる。【００６９】
（変形例１）
第１実施例の説明では、車両停止判定部１６は、車両の水平方向の加速度Ａｓに基づき車両が停止中か否か判定した。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、またはこれに加えて、車両停止判定部１６は、車両の前後方向の加速度（以後、「加速度Ａｆ」と呼ぶ。）に基づき車両が停止中か否か判定してもよい。【００７０】
これについて具体的に説明する。車両停止判定部１６は、加速度センサ１１から加速度Ａｆを取得すると共に、加速度Ａｆの所定時間幅での変動幅（以後、「変動幅Ｗｆ」と呼ぶ。）を算出する。上述の所定時間幅は実験等に基づき適切に設定される。そして、車両停止判定部１６は、変動幅Ｗｆが所定の閾値（以後、「閾値Ｗｔｈｆ」と呼ぶ。）以下の場合、加速度Ａｓの値にかかわらず、又は、これに加えて加速度Ａｓの変動幅Ｗが閾値Ｗｔｈ以下のときに、車両が停止していると判定する。閾値Ｗｔｈｆは、実験等に基づき適切な値に設定される。【００７１】
以上の処理を実行することによっても、車両停止判定部１６は、適切に車両が停止中か否かを判定することができ、映像酔いが生じない部分の映像データＳｖを不要に加工するのを抑制することができる。【００７２】
（変形例２）
第１実施例の説明では、映像速度変換部２ｘは、加速度Ａｓの絶対値に基づき算出された加工度合Ｐに応じて、時間的に対応する映像データＳｖの映像速度を変換した。しかし、本発明が適用可能な方法は、これに限定されない。これに加え、映像処理装置１００は、ユーザの入力に基づき、加工度合Ｐを調整してもよい。【００７３】
これについて、図７を用いて具体例を説明する。図７は、変形例２に係る映像処理装置１００の機能ブロックの一部を抽出したものである。図７に示すように、映像処理装置１００は、カーブ検出部１７と映像速度変換部２ｘとの間に効果強度調節部３を備える。効果強度調節部３は、入力装置６０等から供給された加工度合Ｐに関するユーザの入力に基づき、カーブ検出部１７から供給される加工度合Ｐを変更後、映像速度変換部２ｘへ当該変更後の加工度合Ｐを供給する。【００７４】
例えば、効果強度調整部３は、加工度合Ｐを小さくする旨のユーザの入力があった場合、所定の式又はマップに基づき加工度合Ｐを小さくする。一方、効果強度調整部３は、加工度合Ｐを大きくする旨の入力があった場合、所定の式又はマップに基づき加工度合Ｐを大きくする。上述の式又はマップは、実験等に基づき適切に作成される。他の例として、ユーザが加工度合Ｐを下げる割合を具体的に指定した場合には、効果強度調整部３は、当該指定した割合に基づき加工度合Ｐを変更する。【００７５】
以上のようにすることで、映像処理装置１００は、映像酔いの個人差を考慮して、適切に映像データＳｖを加工することができる。【００７６】
なお、変形例２は、後述する第２実施例乃至第５実施例にも適用することができる。これらの場合であっても、映像処理装置１００は、上述の効果強度調整部３を映像酔いシーン検出部１と映像加工部２との間に備え、映像酔いシーン検出部１から映像加工部２へ供給される加工度合Ｐをユーザ入力に基づき変更する。【００７７】
（変形例３）
第１実施例及び変形例１の説明では、車両停止判定部１６は、車両の加速度に基づき車両が停止中か否か判定した。これに代えて、又は、これに加えて、車両停止判定部１６は、車両の走行速度に基づき車両が停止中か否か判定してもよい。【００７８】
例えば、車両停止判定部１６は、距離センサ１３から供給された車速パルスに基づき車両の走行速度を検出する。そして、車両停止判定部１６は、走行速度が所定の閾値以下の場合、車両が停止していると判断する。上述の閾値は、例えば実験等に基づき車両が停止しているとみなせる走行速度の上限値に定められる。このように、車両停止判定部１６は、走行速度によっても車両が停止中か否か適切に判断することができる。【００７９】
［第２実施例］
第１実施例では、映像酔いシーン検出部１は、加速度Ａｓに基づき加工度合Ｐを算出した。第２実施例では、これに代えて、または、これに加えて、映像酔いシーン検出部１は、車両の位置情報に基づき加工度合Ｐを算出する。これにより、映像処理装置１００は、適切に加工度合Ｐを設定し、再生時の映像酔いの発生を防ぐ。【００８０】
これについて、図８を用いて具体的に説明する。図８は、第２実施例に係る映像処理システムの構成の一例である。図８に示すように、映像処理装置１００は、カーブ検出部１７と、ＧＰＳ１８と、映像速度変換部２ｘと、を備える。【００８１】
カーブ検出部１７は、ＧＰＳ１８から車両の現在の位置情報である緯度及び経度の情報（以後、「緯度経度情報Ｉｂ」と呼ぶ。）を取得し、緯度経度情報Ｉｂに基づき走行経路中のカーブを検出し、カーブの曲がり度合（曲率）に応じて加工度合Ｐを算出する。【００８２】
上述のカーブの曲がり度合の算出方法について図９（ａ）を用いて説明する。図９（ａ）は、走行経路の一部を円でフィッテングした例を示す。図９（ａ）において、地点７０ａ乃至７０ｄは、車両が経路６０を走行中にカーブ検出部１７がＧＰＳ１８により緯度経度情報Ｉｂを順に取得した地点を示す。【００８３】
カーブ検出部１７は、地点７０ａ乃至７０ｄで取得した緯度経度情報Ｉｂに基づき、破線に示す円を導出し、その円の半径（曲率半径）「Ｒ」を得る。半径Ｒは、例えば、図９（ａ）をｘｙ平面として地点７０ａ乃至７０ｄの座標に基づき、曲率半径を算出する既存の数学的な手法により算出される。【００８４】
このように、カーブ検出部１７は、直前に取得した所定個数の緯度経度情報Ｉｂに基づき、走行経路の曲がり度合を算出することができる。上述の所定個数は、実験等に基づき適切な値に設定される。【００８５】
次に、加工度合Ｐの算出方法について説明する。カーブ検出部１７は、半径Ｒの逆数（即ち、曲率）に基づき、加工度合Ｐを設定する。具体的には、カーブ検出部１７は、所定の式又はマップを参照することで、半径Ｒの逆数から加工度合Ｐを決定する。上述の式又はマップは、例えば実験等に基づき作成される。【００８６】
これについて、図９（ｂ）を用いて説明する。図９（ｂ）は、半径Ｒの逆数と加工度合Ｐとのマップの一例である。図９（ｂ）に示すマップは、ＲＯＭ２３又はデータ記憶ユニット３６に記憶される。【００８７】
図９（ｂ）に示すように、カーブ検出部１７は、半径Ｒの逆数が大きいほど、即ち走行経路の曲率が大きいほど、加工度合Ｐを大きく設定する。これにより、カーブ検出部１７は、カーブの走行中に撮影された映像酔いが発生する蓋然性が高い映像データＳｖに対し、曲率に応じて適切に加工度合Ｐを設定することができる。【００８８】
次に、再び図８の説明に戻り、映像速度変換部２ｘが実行する処理について説明する。映像速度変換部２ｘは、カーブ検出部１７から供給される加工度合Ｐに基づき、例えば図４（ｂ）に示すような所定のマップ等を参照することで、撮像装置２００ｘから供給される映像データＳｖのフレーム間にダミーのフレームを挿入することで映像速度を遅くする。上述のマップは、実験等に基づき作成され、ＲＯＭ２３又はデータ記憶ユニット３６に保持される。【００８９】
なお、映像速度変換部２ｘは、カーブ検出部１７から供給される加工度合Ｐがこれと時間的に対応する映像データＳｖよりも遅れて供給される場合、例えば映像データＳｖを所定時間幅だけ蓄積後に加工する。所定時間幅は、例えば、上述の遅れに相当する時間幅に実験等に基づき設定される。これにより、映像速度変換部２ｘは、加工度合Ｐとこれに基づき加工すべき映像データＳｖとを適切に対応づけて加工することができる。【００９０】
（処理フロー）
次に、第２実施例で映像処理装置１００が実行する処理手順について図１０を用いて説明する。図１０は、第１実施例で映像処理装置１００が実行する処理手順を示すフローチャートの一例である。映像処理装置１００は、図１０に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。【００９１】
まず、映像処理装置１００は、ＧＰＳ１８から緯度経度情報Ｉｂを読み込む（ステップＳ２０１）。【００９２】
次に、映像処理装置１００は、直前に取得した所定個数の緯度経度情報に基づき円の半径Ｒを算出する（ステップＳ２０２）。【００９３】
そして、映像処理装置１００は、半径Ｒに基づき加工度合Ｐを設定する（ステップＳ２０３）。例えば、映像処理装置１００は、半径Ｒの逆数に基づき、図９（ｂ）に示すようなマップを参照することにより、加工度合Ｐを決定する。【００９４】
次に、映像処理装置１００は、加工度合Ｐに基づき映像速度倍率を変更する（ステップＳ２０４）。その後、映像処理装置１００は、加工後映像データＳｖｒを映像記録装置３００ｘへ供給する。これにより、映像処理装置１００は、加工後映像データＳｖｒの再生時に映像酔いが生じるのを抑制することができる。【００９５】
（変形例）
上述の説明では、カーブ検出部１７は、ＧＰＳ１８から供給された緯度経度情報Ｉｂに基づき加工度合Ｐを算出していた。これに代えて、または、これに加えて、カーブ検出部１７は、データ記憶ユニット３６等に保持した走行経路に関する地図情報に基づき加工度合Ｐを算出してもよい。【００９６】
例えば、カーブ検出部１７は、ＧＰＳ１８から現在の緯度経度情報Ｉｂを取得すると共に、地図情報から当該緯度経度情報Ｉｂに相当する地点に関連付けられた半径Ｒの情報を取得する。そして、カーブ検出部１７は、当該情報に基づき、図９（ｂ）に示すようなマップ等を参照することにより、加工度合Ｐを算出する。これにより、カーブ検出部１７は、処理量を削減しつつ、半径Ｒを適切に設定することができる。【００９７】
他の例では、カーブ検出部１７は、ＧＰＳ１８から供給される緯度経度情報Ｉｂに基づき、地図情報を参照することで、走行中又はこれから走行する経路の詳細な形状を把握する。そして、カーブ検出部１７は、地図情報に基づき特定した経路形状から半径Ｒを算出する。【００９８】
以上のように、カーブ検出部１７は、地図情報によっても正確に半径Ｒを算出又は取得することができる。【００９９】
［第３実施例］
第３実施例では、第１実施例及び第２実施例に代えて、映像加工部２は、加工度合Ｐが一定以上の映像酔いシーンを削除する。これにより、映像処理装置１００は、再生時の映像酔いの発生を確実に防ぐ。【０１００】
これについて図１１を参照して説明する。図１１は、第３実施例に係る映像処理システムのブロック図である。図１１に示すように、映像処理装置１００は、映像酔いシーン検出部１と、映像編集部２ｙと、を備える。【０１０１】
映像酔いシーン検出部１は、各種センサの値に基づき、加工度合Ｐを算出する。例えば、映像酔いシーン検出部１は、第１実施例と同様、加速度Ａｓに基づき加工度合Ｐを算出する。他の例では、映像酔いシーン検出部１は、第２実施例と同様、ＧＰＳ１８からの緯度経度情報Ｉｂに基づき加工度合Ｐを算出する。【０１０２】
映像編集部２ｙは、映像酔いシーン検出部１から供給された加工度合Ｐに基づき、時間的に対応する映像データＳｖを適宜削除する。具体的には、映像編集部２ｙは、加工度合Ｐを所定の閾値（以後、「閾値Ｐｔｈ」と呼ぶ。）と比較し、閾値Ｐｔｈ以上の加工度合Ｐと時間的に対応する映像データＳｖを削除する。閾値Ｐｔｈは、実験等に基づき適切な値に設定される。そして、映像編集部２ｙは、加工後映像データＳｖｒを映像記録装置３００ｘへ供給する。【０１０３】
このように、映像処理装置１００は、映像酔いが発生する蓋然性が高い映像データＳｖを適切に削除することで、再生時に映像酔いが生じるのを確実に抑制することができる。【０１０４】
なお、映像速度変換部２ｘは、第１実施例及び第２実施例と同様、映像酔いシーン検出部１から供給される加工度合Ｐがこれと時間的に対応する映像データＳｖよりも遅れて供給される場合、例えば映像データＳｖを所定時間幅だけ蓄積後加工する。所定時間幅は、例えば、上述の遅れ時間幅に実験等に基づき設定される。これにより、映像速度変換部２ｘは、加工度合Ｐとこれに基づき加工すべき映像データＳｖとを適切に対応づけて加工することができる。【０１０５】
また、映像編集部２ｙは、映像酔いシーンの前後に位置するフレームをクロスフェードさせてもよい。これにより、映像編集部２ｙは、フレーム削除に起因した視覚上の違和感を低減することができる。【０１０６】
（変形例１）
第３実施例の説明では、映像加工部２は、映像編集部２ｙを備え、閾値Ｐｔｈ以上の加工度合Ｐに時間的に対応する映像データＳｖを削除した。これに加えて、映像加工部２は、さらに映像速度変換部２ｘを備えてもよい。【０１０７】
例えば、映像加工部２は、閾値Ｐｔｈ以上の加工度合Ｐに時間的に対応する映像データＳｖを削除すると共に、閾値Ｐｔｈ未満の加工度合Ｐに時間的に対応する映像データＳｖについては映像速度倍率を加工度合Ｐに応じて下げる。【０１０８】
以上のように、映像加工部２は、加工度合Ｐに応じて映像データＳｖの加工方法を変更することで、より適切に加工後映像データＳｖｒを作成することができる。【０１０９】
（変形例２）
第３実施例の説明では、映像速度変換部２ｘは、映像酔いシーン検出部１から供給された加工度合Ｐに基づき、時間的に対応する映像データＳｖを削除した。これに加え、映像処理装置１００は、ユーザの入力に基づき、加工度合Ｐ又は／及び閾値Ｐｔｈをさらに調整してもよい。例えば、第１実施例の変形例２と同様、映像処理装置１００は、映像酔いシーン検出部１と映像編集部２ｙとの間に効果強度調節部を備え、ユーザの入力に基づき加工度合Ｐ又は／及び閾値Ｐｔｈを調整後、映像編集部２ｙへ供給する。以上のようにすることで、映像処理装置１００は、映像酔いの個人差を考慮して、適切に映像データＳｖを加工することができる。【０１１０】
［第４実施例］
第４実施例では、第１実施例乃至第３実施例に代えて、映像加工部２は、加工度合Ｐが一定以上の映像酔いシーンのサイズを変更する。一般的に、同じように動きのある動画を見る場合、人間は小さなサイズの画像で見る方が、大きなサイズの画像で見るより映像酔いの程度が小さい。そこで、第４実施例では、加工度合Ｐが一定以上の映像酔いシーンのサイズを変更することにより、映像処理装置１００は、再生時の映像酔いの発生を防ぐ。【０１１１】
これについて図１２を用いて説明する。図１２は、第４実施例に係る映像処理システムのブロック図である。図１２に示すように、映像処理装置１００は、映像酔いシーン検出部１と、サイズ変換部２ｚと、を備える。【０１１２】
映像酔いシーン検出部１は、各種センサの値に基づき、加工度合Ｐを算出する。例えば、映像酔いシーン検出部１は、第１実施例と同様、加速度Ａｓに基づき加工度合Ｐを算出する。他の例では、映像酔いシーン検出部１は、第２実施例と同様、ＧＰＳ１８からの緯度経度情報Ｉｂに基づき加工度合Ｐを算出する。【０１１３】
サイズ変換部２ｚは、映像酔いシーン検出部１から供給された加工度合Ｐに基づき、時間的に対応する映像データＳｖのサイズ、即ち、映像データＳｖを構成する各フレームの縦横のサイズを変更する。【０１１４】
例えば、サイズ変換部２ｚは、加工度合Ｐを所定の閾値（以後、「閾値Ｐｔｈ２」と呼ぶ。）と比較し、閾値Ｐｔｈ２以上の加工度合Ｐと時間的に対応する映像データＳｖのサイズを所定の比率で縮小する。上述の比率は、実験等に基づき適切な値に設定される。他の例では、サイズ変換部２ｚは、加工度合Ｐが大きいほどサイズを縮小する比率を上げる。そして、映像編集部２ｙは、加工後映像データＳｖｒを映像記録装置３００ｘへ供給する。【０１１５】
以上により、映像編集部２ｙは、適切に映像酔いの発生しない加工後映像データＳｖｒを生成することができる。【０１１６】
（変形例１）
第４実施例の説明では、映像加工部２は、サイズ変換部２ｚを備え、加工度合Ｐに基づき映像データＳｖのサイズを縮小した。これに加えて、映像加工部２は、さらに映像速度変換部２ｘまたは／及び映像編集部２ｙを備えてもよい。この場合、映像加工部２は、例えば加工度合Ｐの値に応じて映像データＳｖの加工方法を変更する。【０１１７】
これについて具体例を述べる。映像加工部２は、閾値Ｐｔｈ２未満の加工度合Ｐに時間的に対応する映像データＳｖを加工度合Ｐに基づき映像速度を変更し、閾値Ｐｔｈ２以上閾値Ｐｔｈ未満の加工度合Ｐに時間的に対応する映像データＳｖを縮小し、閾値Ｐｔｈ以上の加工度合Ｐに時間的に対応する映像データＳｖを削除する。この例の場合、閾値Ｐｔｈは、閾値Ｐｔｈ２より大きい値に設定される。【０１１８】
以上のように、映像加工部２は、加工度合Ｐに応じて映像データＳｖの加工方法を変更することで、より適切に加工後映像データＳｖｒを作成することができる。【０１１９】
（変形例２）
第４実施例の説明では、映像速度変換部２ｘは、映像酔いシーン検出部１から供給された加工度合Ｐに基づき、当該加工度合Ｐと時間的に対応する映像データＳｖのサイズを縮小した。これに加え、映像処理装置１００は、ユーザの入力に基づき、加工度合Ｐ又は／及び閾値Ｐｔｈ２をさらに調整してもよい。例えば、第３実施例の変形例２と同様、映像処理装置１００は、映像酔いシーン検出部１と映像編集部２ｙとの間に効果強度調節部を備え、ユーザの入力に基づき加工度合Ｐ又は／及び閾値Ｐｔｈ２を調整する。以上のようにすることで、映像処理装置１００は、映像酔いの個人差を考慮して、適切に映像データＳｖを加工することができる。【０１２０】
［第５実施例］
第１実施例乃至第４実施例では、映像処理装置１００は、撮像装置２００ｘが撮影した映像データＳｖを、映像記録装置３００ｘに記録する前に加工した。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、映像処理装置１００は、既に記録された映像データＳｖを再生時に加工してもよい。【０１２１】
これについて図１３を用いて説明する。図１３は、第５実施例に係る映像処理システムの構成を示す。図１３に示すように、映像処理システムは、記録装置２００ｙと、映像処理装置１００と、表示装置３００ｙと、を備える。【０１２２】
記録装置２００ｙは、車両に搭載された撮像装置が生成した映像データＳｖを保持すると共に、映像データＳｖの生成時に検出された各種センサの値（センサ値Ｓｅ）を映像データＳｖと関連付けて保持する。上述のセンサ値Ｓｅは、例えば、加速度センサ１１の検出値（加速度Ａｓ、Ａｆ）やＧＰＳ１８から供給される緯度経度情報Ｉｂが該当する。【０１２３】
映像酔いシーン検出部１は、記録装置２００ｙからセンサ値Ｓｅを取得し、加工度合Ｐを算出する。例えば、映像酔いシーン検出部１は、センサ値Ｓｅが加速度Ａｓの場合、図４（ａ）のマップに基づき、加工度合Ｐを算出する。他の例では、映像酔いシーン検出部１は、センサ値Ｓｅが緯度経度情報Ｉｂの場合、センサ値Ｓｅに基づき半径Ｒを算出し加工度合Ｐを図９（ｂ）のマップに基づき決定する。【０１２４】
映像加工部２は、記録装置２００ｙから映像データＳｖを取得すると共に、映像酔いシーン検出部１から供給された加工度合Ｐに基づき映像データＳｖを加工する。例えば、映像加工部２は、上述したように、加工度合Ｐに基づき、時間的に対応する映像データＳｖの映像速度倍率を変更する。他の例では、映像加工部２は、加工度合Ｐに基づき時間的に対応する映像データＳｖを削除する。さらに別の例では、映像加工部２は、加工度合Ｐに基づき映像データＳｖのサイズを変更する。そして、映像加工部２は、加工後映像データＳｖｒを表示装置３００ｙに供給する。【０１２５】
表示装置３００ｙは、映像加工部２から供給された加工後映像データＳｖｒを表示する。【０１２６】
このように、映像処理装置１００は、再生時に記録装置２００ｙからセンサ値Ｓｅに基づき映像データＳｖを加工し表示装置３００ｙに出力することで、映像酔いの発生を防ぐことができる。【０１２７】
（変形例１）
第５実施例では、映像処理装置１００は、記録装置２００ｙから供給されたセンサ値Ｓｅに基づき、映像データＳｖを加工した。しかし、本発明が適用可能な構成はこれに限定されない。例えば、これに代えて、又は、これに加えて、映像処理装置１００は、［概要説明］で述べたように、映像データＳｖを構成する各フレームを画像処理することで得られたパラメータ、その他映像データＳｖを画像処理することで得られた情報に基づき、映像データＳｖを加工してもよい。この場合、例えば、映像処理装置１００は、上述のパラメータその他の情報に基づき加工度合Ｐを所定のマップ又は式に基づき設定し、加工度合Ｐに基づき映像データＳｖを加工する。上述のマップ等は、実験等に基づき適切に設定される。このように、映像処理装置１００は、変形例１によれば、センサ値Ｓｅを使用することなく、映像データＳｖのみに基づき、映像データＳｖを適切に加工することができる。【０１２８】
（変形例２）
第５実施例では、映像処理装置１００は、記録装置２００ｙから映像データＳｖ及びセンサ値Ｓｅを取得し、加工後映像データＳｖｒを表示装置３００ｙにより再生していた。しかし、本発明が適用可能な構成はこれに限定されない。これに代えて、映像処理装置１００は、再生時でない場合に、記録装置２００ｙから映像データＳｖ及びセンサ値Ｓｅを取得して加工後映像データＳｖｒを生成し、加工後映像データＳｖｒを記録装置２００ｙ又は他の映像記録装置へ記録してもよい。このような構成によっても、好適に本発明を適用することができる。【０１２９】
（変形例３）
第５実施例では、映像処理装置１００は、再生時に記録装置２００ｙから映像データＳｖ及びセンサ値Ｓｅを取得していた。これに代えて、映像処理装置１００は、記録装置２００ｙから映像データＳｖ及び加工度合Ｐを取得してもよい。即ち、この場合、加工度合Ｐは、記録装置２００ｙへ記録前に予めセンサ値Ｓｅに基づき算出される。これによっても、本発明を好適に適用することができる。【０１３０】
［適用分野］
本発明は、映像処理を行う各種の機器に適用することができる。例えば、ナビゲーション装置、ドライブレコーダ、自転車に搭載したカメラ等の各種の機器に幅広く適用される。従って、上述の図２の構成は一例であり、必ずしも本発明が適用可能な構成は、これに限定されない。例えば、第５実施例に示したように、映像処理装置１００は、センサ値Ｓｅを他の装置から受信してもよい。
【符号の説明】
【０１３１】
１  映像酔いシーン検出部
２  映像加工部
１１  加速度センサ
１８  ＧＰＳ
２２  ＣＰＵ
１００  映像処理装置
２００  映像入力装置
３００  映像出力装置
【図１】
2010137104.tif 000003
【図２】
2010137104.tif 000004
【図３】
2010137104.tif 000005
【図４】
2010137104.tif 000006
【図５】
2010137104.tif 000007
【図６】
2010137104.tif 000008
【図７】
2010137104.tif 000009
【図８】
2010137104.tif 000010
【図９】
2010137104.tif 000011
【図１０】
2010137104.tif 000012
【図１１】
2010137104.tif 000013
【図１２】
2010137104.tif 000014
【図１３】
2010137104.tif 000015
【手続補正書】
【提出日】平成23年4月22日(2011.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラから映像を取得する映像取得手段と、
前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断手段と、
前記カーブ判断手段が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工手段と、
前記移動体が停止しているか否かを検出する停止検出手段と、
前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記カーブ判断手段は、前記移動体の位置を検出するＧＰＳ、又は前記移動体に取り付けられる加速センサであることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像加工手段は、前記映像に対して表示サイズを小さくするように加工を加えることを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記映像加工手段は、前記映像に対してスロー表示するように加工を加えることを特徴とする請求項１または２に記載の映像処理装置。
【請求項５】
移動体に搭載されたカメラから映像を取得する映像取得工程と、
前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断工程と、
前記カーブ判断工程が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工工程と、
前記移動体が停止しているか否かを検出する停止検出工程と、
前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工工程を制御する制御工程と、
を有することを特徴とする映像処理方法。
【請求項６】
コンピュータにより実行される映像処理プログラムであって、
移動体に搭載されたカメラから映像を取得する映像取得手段、
前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断手段、
前記カーブ判断手段が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工手段、
前記移動体が停止しているか否かを検出する停止検出手段、
前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御手段
として前記コンピュータを機能させることを特徴とする映像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
請求項１に記載の発明は、映像処理装置は、移動体に搭載されたカメラから映像を取得する映像取得工程と、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断工程と、前記カーブ判断工程が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工工程と、前記移動体が停止しているか否かを検出する停止検出工程と、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御工程と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
請求項５に記載の発明は、映像処理方法は、移動体に搭載されたカメラから映像を取得する映像取得工程と、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断工程と、前記カーブ判断工程が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工工程と、前記移動体が停止しているか否かを検出する停止検出工程と、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工工程を制御する制御工程と、を有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項６に記載の発明は、コンピュータにより実行される映像処理プログラムであって、移動体に搭載されたカメラから映像を取得する映像取得手段、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断手段、前記カーブ判断手段が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工手段、前記移動体が停止しているか否かを検出する停止検出手段、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御手段として前記コンピュータを機能させる。
【国際調査報告】
2010137104.tif 000016
2010137104.tif 000017
2010137104.tif 000018
2010137104.tif 000019
2010137104.tif 000020
2010137104.tif 000021