(57)【要約】【課題】過度に大きな撮影領域を必要とすることなく、乗物に搭載された撮像装置によって撮影された映像における振動を補正する。【解決手段】フレームベクトル算出器１３は、車両１に搭載された撮像装置２によって撮影された映像のフレーム間における対象物２０の位置の変化を示すフレームベクトルを算出する。低周波成分抽出器１４は、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出する。高周波成分抽出器１５は、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出する。補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。映像補正器１７は、補正ベクトルに基づいて映像を補正する。【選択図】図２
2019180057.tif 000002
【特許請求の範囲】
【請求項１】
乗物に搭載された撮像装置によって撮影された映像のフレーム間における対象物の位置の変化を示すフレームベクトルを算出するフレームベクトル算出器と、
予め決められた周波数以下の前記フレームベクトルの時間的変動を示す前記フレームベクトルの低周波成分を抽出する低周波成分抽出器と、
前記フレームベクトルの低周波成分に基づいて、前記予め決められた周波数より高い前記フレームベクトルの時間的変動を示す前記フレームベクトルの高周波成分を抽出する高周波成分抽出器と、
前記フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する補正ベクトル算出器と、
前記補正ベクトルに基づいて前記映像を補正する映像補正器とを備える、
映像処理装置。
【請求項２】
前記予め決められた周波数は１Ｈｚである、
請求項１記載の映像処理装置。
【請求項３】
前記フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値以上になるとき、前記映像補正器は前記映像を補正する、
請求項１又は２記載の映像処理装置。
【請求項４】
前記フレームベクトルの高周波成分の変動量が正のしきい値以上になる時間期間と、前記フレームベクトルの高周波成分の変動量が負のしきい値以下になる時間期間とが、予め決められた時間長の間において、予め決められた回数を超えて交互に繰り返したとき、前記映像補正器は前記映像を補正する、
請求項３記載の映像処理装置。
【請求項５】
撮像装置と、
請求項１〜４のうちの１つに記載の映像処理装置と、
前記映像処理装置によって補正された映像を表示する表示装置とを備え、
乗物に搭載された、
映像処理システム。
【請求項６】
乗物に搭載された撮像装置によって撮影された映像のフレーム間における対象物の位置の変化を示すフレームベクトルを算出するステップと、
予め決められた周波数以下の前記フレームベクトルの時間的変動を示す前記フレームベクトルの低周波成分を抽出するステップと、
前記フレームベクトルの低周波成分に基づいて、前記予め決められた周波数より高い前記フレームベクトルの時間的変動を示す前記フレームベクトルの高周波成分を抽出するステップと、
前記フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出するステップと、
前記補正ベクトルに基づいて前記映像を補正するステップとを含む、
映像処理方法。
【請求項７】
乗物に搭載された撮像装置によって撮影された映像のフレーム間における対象物の位置の変化を示すフレームベクトルを算出するステップと、
予め決められた周波数以下の前記フレームベクトルの時間的変動を示す前記フレームベクトルの低周波成分を抽出するステップと、
前記フレームベクトルの低周波成分に基づいて、前記予め決められた周波数より高い前記フレームベクトルの時間的変動を示す前記フレームベクトルの高周波成分を抽出するステップと、
前記フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出するステップと、
前記補正ベクトルに基づいて前記映像を補正するステップとを含む、
コンピュータによって実行される命令を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、乗物に搭載された撮像装置によって撮影された映像を処理する映像処理装置、映像処理システム、映像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
撮影者によって保持された撮像装置、又は、乗物などの移動体に搭載された撮像装置によって画像又は映像を撮影する場合、撮影された画像又は映像には、撮像装置に加わる動き（手ぶれ、乗物の揺れ、など）に起因する振動が生じることがある。このような振動を補正するために、例えば、以下のような技術が知られている。
【０００３】
（１）撮像装置に加わる動きを相殺するように撮像装置の光学部品を移動させる。
（２）撮像装置のＣＭＯＳセンサを備える場合、ＣＭＯＳセンサの各画素における撮像時間のずれに起因して生じる動体ゆがみを補正する（フォーカルプレーン歪み補正）。
（３）撮影された映像において任意の対象物が動く方向及び距離を示す動きベクトルを算出し、動きベクトルによって表される動きを相殺するように映像全体を移動させる。
【０００４】
例えば特許文献１には、（３）の技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１９５４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した（３）の技術では、映像処理により映像の振動を補正するために、撮像装置は、表示装置の表示領域（又は、何らかの形式で最終的に出力する映像の領域）よりも大きな撮影領域にわたる映像を撮影する必要がある。表示領域が撮影領域の内部に位置していれば、動きベクトルによって表される動きを相殺するように映像全体を移動させることができる。しかしながら、表示領域が撮影領域の端部に達したとき、映像の振動を補正することはできなくなる。従って、より大きな動きを相殺するためには、より大きな撮影領域が必要になり、そのデータ量も増大する。また、小さな動きを相殺するための補正量が累積し、表示領域が撮影領域の端部に達してしまうこともある。このような状況を生じにくくし、映像の振動を確実に補正するためにも、大きな撮影領域（すなわち大きなデータ量）が必要になる。
【０００７】
従って、撮影される映像のデータ量を低減しながら、映像の振動を確実に補正することが求められる。
【０００８】
本開示は、過度に大きな撮影領域を必要とすることなく、乗物に搭載された撮像装置によって撮影された映像における振動を補正することができる映像処理装置を提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る映像処理装置は、フレームベクトル算出器、低周波成分抽出器、高周波成分抽出器、補正ベクトル算出器、及び映像補正器を備える。フレームベクトル算出器は、乗物に搭載された撮像装置によって撮影された映像のフレーム間における対象物の位置の変化を示すフレームベクトルを算出する。低周波成分抽出器は、予め決められた周波数以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出する。高周波成分抽出器は、フレームベクトルの低周波成分に基づいて、予め決められた周波数より高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出する。補正ベクトル算出器は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。映像補正器は、補正ベクトルに基づいて映像を補正する。
【発明の効果】
【００１０】
本開示の態様に係る映像処理装置によれば、フレームベクトルの高周波成分を抽出し、その変動を補償する補正ベクトルを算出することにより、過度に大きな撮影領域を必要とすることなく、乗物に搭載された撮像装置によって撮影された映像における振動を補正することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る映像処理システムを備えた車両１を示すブロック図である。
【図２】図１の映像処理システムの詳細構成を示すブロック図である。
【図３】図１の撮像装置２によって撮影された映像に現れる振動を示す図である。
【図４】図１の撮像装置２によって撮影された映像の１つのフレームにおいて、対象物２０が下方に変位した状態を示す図である。
【図５】図４の変位を補償するように表示領域２１を移動した状態を示す図である。
【図６】図１の撮像装置２によって撮影された映像の１つのフレームにおいて、対象物２０が上方に変位した状態を示す図である。
【図７】図６の変位を補償するように表示領域２１を移動した状態を示す図である。
【図８】図１の撮像装置２によって撮影された映像の１つのフレームにおいて、表示領域２１が撮影領域２２の端部に達した状態を示す図である。
【図９】図１の映像処理システムによるフレームベクトルの処理を概略的に示す図である。
【図１０】第２の実施形態に係る映像処理システムの構成を示すブロック図である。
【図１１】図１０のコンピュータ２２によって実行される振動補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１４】
（第１の実施形態）
以下、図１〜図９を参照して、第１の実施形態に係る映像処理システムについて説明する。
【００１５】
［１−１．構成］
図１は、第１の実施形態に係る映像処理システムを備えた車両１を示すブロック図である。車両１は、撮像装置２、映像処理装置３、及び表示装置４を備える。
【００１６】
車両１は、例えば自動車である。
【００１７】
撮像装置２は、車両１のボディのさまざまな位置に固定された１つ又は複数のカメラを含む。撮像装置２は、撮影された映像を映像処理装置３に送る前に、ＲＧＢから他の色空間（ＹＵＶなど）への変換、輝度の調整、コントラストの調整など、１つ又は複数の前処理をさらに行ってもよい。
【００１８】
映像処理装置３は、撮像装置２に加わる動きに起因する振動を補正するように、撮像装置２によって撮影された映像を処理する。
【００１９】
図２は、図１の映像処理システムの詳細構成を示すブロック図である。映像処理装置３は、動きベクトル抽出器１１、信頼度算出器１２、フレームベクトル算出器１３、低周波成分抽出器１４、高周波成分抽出器１５、補正ベクトル算出器１６、及び映像補正器１７を備える。
【００２０】
動きベクトル抽出器１１は、撮像装置２によって撮影された映像の各フレームから動きベクトルを抽出する。動きベクトル抽出器１１は、各フレームを、例えば３２×３２画素からなる複数のブロックに分割し、現在のフレームの各ブロックを直前のフレームの各ブロックに対してマッチングし、これにより、各ブロックの動きベクトルを抽出する。
【００２１】
信頼度算出器１２は、あるフレームにおいて複数の動きベクトルが抽出されたとき、これらの動きベクトルのうちのどれが、フレーム全体の動きを示すフレームベクトルに対応するかを決定するために、各動きベクトルの信頼度を算出する。
【００２２】
フレームベクトル算出器１３は、各動きベクトル及びそれらの信頼度に基づいて、フレーム全体の動きを示すフレームベクトルを算出する。フレームベクトルは、フレーム間における何らかの対象物の位置の変化を示す。
【００２３】
低周波成分抽出器１４は、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出する。ここで、予め決められた周波数ｆは、人が感知しやすく邪魔であると感じる振動の周波数以下に設定され、例えば約１Ｈｚに設定される。低周波成分抽出器１４は、例えば、現在のフレーム及び少なくとも１つの直前のフレームにわたるフレームベクトルの方向の平均値及び大きさの平均値を計算することにより、フレームベクトルの時間的変動を平滑化して低周波成分を抽出する。
【００２４】
高周波成分抽出器１５は、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出する。
【００２５】
補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。
【００２６】
映像補正器１７は、補正ベクトルに基づいてフレームベクトルの高周波成分の変動を補償するように、撮像装置２によって撮影された映像を補正する。
【００２７】
映像処理装置３は、専用のハードウェアによって実装されても、汎用のプロセッサによって実行されるソフトウェアとして実装されてもよい。
【００２８】
映像処理装置３は、撮像装置２によって撮影された映像の各フレームを、例えば１フレーム分の時間で処理して出力する。
【００２９】
表示装置４は、映像補正器１７によって補正された映像を表示する。撮像装置２が車両１の後方を撮影するカメラを含む場合、撮像装置２、映像処理装置３、及び表示装置４は、電子ミラーとして機能する。
【００３０】
撮像装置２、映像処理装置３、及び表示装置４は、映像処理システムを構成する。
【００３１】
［１−２．動作］
まず、図３〜図８を参照して、映像処理により映像の振動を補正する原理について説明する。
【００３２】
図３は、図１の撮像装置２によって撮影された映像に現れる振動を示す図である。表示装置４に表示される映像の表示領域２１は、対象物２０を含む。対象物２０は、撮像装置２に加わる動きに起因して、フレーム間において水平振動、垂直振動、及び／又は回転振動を生じることがある。
【００３３】
図４〜図８に示すように、映像処理により映像の振動を補正するために、撮像装置２は、表示装置４の表示領域２１よりも大きな撮影領域２２にわたる映像を撮影する。映像処理装置３は、撮影領域２２に含まれる表示領域２１のみを表示装置４に出力する。
【００３４】
図４は、図１の撮像装置２によって撮影された映像の１つのフレームにおいて、対象物２０が下方に変位した状態を示す図である。図５は、図４の変位を補償するように表示領域２１を移動した状態を示す図である。対象物２０が下方に変位しているとき、撮影領域２２の内部で表示領域２１を下方に移動させることにより、対象物２０の変位を補償することができる。
【００３５】
図６は、図１の撮像装置２によって撮影された映像の１つのフレームにおいて、対象物２０が上方に変位した状態を示す図である。図７は、図６の変位を補償するように表示領域２１を移動した状態を示す図である。対象物２０が上方に変位しているとき、撮影領域２２の内部で表示領域２１を上方に移動させることにより、対象物２０の変位を補償することができる。
【００３６】
図８は、図１の撮像装置２によって撮影された映像の１つのフレームにおいて、表示領域２１が撮影領域２２の端部に達した状態を示す図である。例えば、車両１がある方向に連続して移動する場合（例えば、長いカーブに沿って進む場合）、又は、撮影領域２２の大部分を占める対象物２０がある方向に連続して移動する場合、補正を繰り返すことにより、表示領域２１が撮影領域２２の端部に達してしまうことがある。表示領域２１が撮影領域２２の下端に達したとき、対象物２０が下方に変位しても、撮影領域２２の内部で表示領域２１をさらに下方に移動させることができない。従って、図８の状態では、対象物２０の変位を補償することができない。
【００３７】
第１の実施形態に係る映像表示システムでは、過度に大きな撮影領域２２を必要とすることなく、図８のような状態を生じにくくし、映像の振動を確実に補正する。
【００３８】
次に、図９を参照して、第１の実施形態に係る映像表示システムによる振動補正について説明する。
【００３９】
図９は、図１の映像処理システムによるフレームベクトルの処理を概略的に示す図である。
【００４０】
図９（ａ）は、フレームベクトル算出器１３によって算出されたフレームベクトルの時間的変化を示す。図９（ａ）〜図９（ｄ）の縦軸は、フレームベクトルの１つの成分（水平振動、垂直振動、又は回転振動）のみについて、その変動の大きさを示す。
【００４１】
図９（ｂ）は、低周波成分抽出器１４によって抽出されるフレームベクトルの低周波成分を示す。低周波成分抽出器１４は、予め決められた周波数ｆ以下、すなわち、単位時間長Ｔ０＝１／ｆよりもゆっくりと変化するフレームベクトルの低周波成分を抽出する。フレームベクトルの低周波成分は、例えば、道路のカーブ、勾配、又は緩やかな凹凸などによって生じる。映像のゆっくりとした振動は視認性の低下を生じにくいので、映像処理装置３は、以下に説明するように、フレームベクトルの低周波成分を無視し、フレームベクトルの高周波成分の振動のみを補正対象とする。
【００４２】
図９（ｃ）は、高周波成分抽出器１５によって抽出されるフレームベクトルの高周波成分を示す。図９（ａ）のフレームベクトルに対して、図９（ｂ）の低周波成分を相殺する信号を重畳することにより、図９（ｃ）の高周波成分が得られる。
【００４３】
図９（ｄ）は、図９（ｃ）のフレームベクトルの高周波成分において検出される補正対象の変動を示す。
【００４４】
補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。フレームベクトルの高周波成分の振動のみを補正対象とすることにより、視認性にあまり影響しない映像のゆっくりとした振動を無視することができる。視認性にあまり影響しない映像のゆっくりとした振動が生じても振動補正を行わないことにより、表示領域２１が撮影領域２２の端部に達しにくくすることができる。
【００４５】
補正対象の変動を検出するために、補正ベクトル算出器１６は、以下のように動作してもよい。
【００４６】
フレームベクトルの高周波成分の変動量について、互いに等しい絶対値を有する正のしきい値Ｔｈ１及び負のしきい値Ｔｈ２が設定される。補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値Ｔｈ１＝−Ｔｈ２以上になるとき、その変動を補償する補正ベクトルを算出する。図９（ｄ）の例では、時間期間Ｔ１，Ｔ１１において、フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値Ｔｈ１＝−Ｔｈ２以上になる。予め決められたしきい値を超える変動のみを補正対象とすることにより、例えば、走行中の車両１の周囲における単調な風景、車両１の近くの歩行者、自動車のアイドリングなどに起因する、視認性にあまり影響しない映像の小さな振動を無視することができる。視認性にあまり影響しない映像の小さな振動が生じても振動補正を行わないことにより、表示領域２１が撮影領域２２の端部に達しにくくすることができる。
【００４７】
補正対象の変動をより確実に検出するために、補正ベクトル算出器１６は、以下のように動作してもよい。
【００４８】
補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動量が正のしきい値Ｔｈ１以上になる時間期間と、フレームベクトルの高周波成分の変動量が負のしきい値Ｔｈ２以下になる時間期間とが、予め決められた時間長の間において、予め決められた回数を超えて交互に繰り返したとき、その変動を補償する補正ベクトルを算出する。図９（ｄ）の例では、予め決められた時間長以下に設定された時間期間Ｔ２，Ｔ１２において、変動量が正のしきい値Ｔｈ１以上になる時間期間と、変動量が負のしきい値Ｔｈ２以下になる時間期間とが１回ずつ発生する。時間期間Ｔ２，Ｔ１２の経過後、補正ベクトル算出器１６は補正ベクトルの算出を開始する。
【００４９】
また、補正ベクトル算出器１６は、予め決められた時間長にわたって、フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値Ｔｈ１＝−Ｔｈ２より小さいとき、補正ベクトルの算出を停止する（又は補正ベクトルをゼロに設定する）。図９（ｄ）の例では、予め決められた時間長に設定された時間期間Ｔ３，Ｔ１３において、フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値Ｔｈ１＝−Ｔｈ２より小さくなる。時間期間Ｔ３，Ｔ１３の経過後、補正ベクトル算出器１６は補正ベクトルの算出を停止する。
【００５０】
従って、図９（ｄ）の例では、補正ベクトル算出器１６は、時間期間Ｔ４，Ｔ１４にわたるフレームベクトルの高周波成分の変動を補正対象とし、補正ベクトルを算出する。
【００５１】
映像補正器１７は、図９に従って算出された補正ベクトルを用いて、映像を補正する。
【００５２】
第１の実施形態に係る映像処理システムによれば、フレームベクトルの高周波成分を抽出し、その変動を補償する補正ベクトルを算出するので、視認性にあまり影響しない映像の振動が生じても振動補正を行わないことにより、表示領域２１が撮影領域２２の端部に達しにくくすることができる。従って、過度に大きな撮影領域２２を必要とすることなく、車両１に搭載された撮像装置２によって撮影された映像における振動を補正することができる。
【００５３】
また、第１の実施形態に係る映像処理システムによれば、過度に大きな撮影領域２２を必要としないので、振動補正のために必要なデータ量を削減することができる。また、撮像装置２の撮影領域２２内の各画素を有効に使用し、表示装置４の視認性を向上することができる。
【００５４】
また、第１の実施形態に係る映像処理システムによれば、ジャイロセンサなどを使用せず、映像処理のみで振動補正を実施可能であるので、タイムラグなしで、高精度に映像の振動を補正することができる。
【００５５】
また、第１の実施形態に係る映像処理システムによれば、視認性に影響する振動のみを補正するので、人が裸眼で見ている状態に近い、自然な補正結果を得ることができる。
【００５６】
［１−３．効果等］
第１の実施形態に係る映像処理装置及び映像処理システムは、以下の構成を備えたことを特徴とする。
【００５７】
第１の実施形態に係る映像処理装置３は、フレームベクトル算出器１３、低周波成分抽出器１４、高周波成分抽出器１５、補正ベクトル算出器１６、及び映像補正器１７を備える。フレームベクトル算出器１３は、車両１に搭載された撮像装置２によって撮影された映像のフレーム間における対象物２０の位置の変化を示すフレームベクトルを算出する。低周波成分抽出器１４は、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出する。高周波成分抽出器１５は、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出する。補正ベクトル算出器１６は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。映像補正器１７は、補正ベクトルに基づいて映像を補正する。
【００５８】
これにより、過度に大きな撮影領域２２を必要とすることなく、車両１に搭載された撮像装置２によって撮影された映像における振動を補正することができる。
【００５９】
第１の実施形態に係る映像処理装置３によれば、予め決められた周波数ｆは１Ｈｚであってもよい。
【００６０】
これにより、人が感知しやすく邪魔であると感じる振動を有効に除去することができる。
【００６１】
第１の実施形態に係る映像処理装置３によれば、フレームベクトルの高周波成分の変動量の絶対値が予め決められたしきい値以上になるとき、映像補正器１７は映像を補正してもよい。
【００６２】
これにより、視認性にあまり影響しない映像の小さな振動が生じても振動補正を行わないことにより、表示領域２１が撮影領域２２の端部に達しにくくすることができる。
【００６３】
第１の実施形態に係る映像処理装置３によれば、フレームベクトルの高周波成分の変動量が正のしきい値以上になる時間期間と、フレームベクトルの高周波成分の変動量が負のしきい値以下になる時間期間とが、予め決められた時間長の間において、予め決められた回数を超えて交互に繰り返したとき、映像補正器１７は映像を補正してもよい。
【００６４】
これにより、補正対象の変動をより確実に検出することができる。
【００６５】
第１の実施形態に係る映像処理システムは、撮像装置２と、第１の実施形態に係る映像処理装置３と、映像処理装置によって補正された映像を表示する表示装置４とを備え、車両１に搭載される。
【００６６】
これにより、過度に大きな撮影領域２２を必要とすることなく、車両１に搭載された撮像装置２によって撮影された映像における振動を補正することができる。
【００６７】
（第２の実施形態）
以下、図１０及び図１１を参照して、第２の実施形態に係る映像処理システムについて説明する。
【００６８】
［２−１．構成］
図１０は、第２の実施形態に係る映像処理システムの構成を示すブロック図である。図１０の映像処理システムは、記憶装置３１、コンピュータ３２、及び表示装置３３を備える。
【００６９】
記憶装置３１は、図１の車両１に搭載された撮像装置２によって撮影された映像を予め格納している。
【００７０】
コンピュータ３２は、中央処理装置（ＣＰＵ）４１、ランダムアクセスメモリ（ＲＡＭ）４２、ハードディスクドライブ（ＨＤＤ）４３、入出力インターフェース（Ｉ／Ｆ）４４、及びバス４５を備える。ＣＰＵ４１、ＲＡＭ４２、ＨＤＤ４３、及びＩ／Ｆ４４は、バス４５を介して互いに接続される。ＣＰＵ４１は、Ｉ／Ｆ４４を介して記憶装置３１から映像を読み出し、図１１を参照して後述する振動補正処理のプログラムを実行し、補正された映像を表示装置３３に出力する。
【００７１】
表示装置３３は、コンピュータ３２によって補正された映像を表示する。
【００７２】
［２−２．動作］
図１１は、図１０のコンピュータ３２によって実行される振動補正処理を示すフローチャートである。ステップＳ１において、コンピュータ３２は、記憶装置３１から映像を取得する。ステップＳ２において、コンピュータ３２は、取得された映像内の対象物の動きベクトルを抽出する。ステップＳ３において、コンピュータ３２は、抽出された各動きベクトルの信頼度を算出する。ステップＳ４において、コンピュータ３２は、各動きベクトル及びそれらの信頼度に基づいて、フレーム全体の動きを示すフレームベクトルを算出する。ステップＳ５において、コンピュータ３２は、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出する。ステップＳ６において、コンピュータ３２は、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出する。ステップＳ７において、コンピュータ３２は、補正対象の時間区間を検出する。ステップＳ８において、コンピュータ３２は、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出する。ステップＳ９において、コンピュータ３２は、補正ベクトルに基づいて映像を補正する。
【００７３】
第２の実施形態に係る映像処理システムによれば、記憶装置３１に格納された映像を処理することにより、例えばドライブレコーダに記録された車両の走行中の映像の振動を補正し、その視認性を向上することができる。
【００７４】
［２−３．効果等］
第２の実施形態に係る映像処理システム、映像処理方法、及びプログラムは、以下の構成を備えたことを特徴とする。
【００７５】
第２の実施形態に係る映像処理システムは、車両１に搭載された撮像装置２によって撮影された映像を予め格納した記憶装置３１と、コンピュータ３２と、表示装置３３とを備える。
【００７６】
これにより、記憶装置３１に格納された映像の視認性を向上することができる。
【００７７】
第２の実施形態に係る映像処理方法は、車両１に搭載された撮像装置２によって撮影された映像のフレーム間における対象物２０の位置の変化を示すフレームベクトルを算出するステップを含む。本方法はさらに、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出するステップを含む。本方法はさらに、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出するステップを含む。本方法はさらに、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出するステップを含む。本方法はさらに、補正ベクトルに基づいて映像を補正するステップを含む。
【００７８】
これにより、過度に大きな撮影領域２２を必要とすることなく、車両１に搭載された撮像装置２によって撮影された映像における振動を補正することができる。
【００７９】
第２の実施形態に係る映像処理プログラムは、コンピュータによって実行される以下のステップを含む命令を含む。本プログラムは、車両１に搭載された撮像装置２によって撮影された映像のフレーム間における対象物２０の位置の変化を示すフレームベクトルを算出するステップを含む。本プログラムはさらに、予め決められた周波数ｆ以下のフレームベクトルの時間的変動を示すフレームベクトルの低周波成分を抽出するステップを含む。本プログラムはさらに、フレームベクトルの低周波成分に基づいて、予め決められた周波数ｆより高いフレームベクトルの時間的変動を示すフレームベクトルの高周波成分を抽出するステップを含む。本プログラムはさらに、フレームベクトルの高周波成分の変動を補償する補正ベクトルを算出するステップを含む。本プログラムはさらに、補正ベクトルに基づいて映像を補正するステップとを含む。
【００８０】
これにより、過度に大きな撮影領域２２を必要とすることなく、車両１に搭載された撮像装置２によって撮影された映像における振動を補正することができる。
【００８１】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、第１及び第２の実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第１及び第２の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【００８２】
そこで、以下、他の実施形態を例示する。
【００８３】
上述の実施形態では、低周波成分抽出器１４で低周波成分を抽出し、かつ、高周波成分抽出器１５で高周波成分を抽出するために、約１Ｈｚの周波数を設定する場合について説明した。しかしながら、設定される周波数は、これに限定されず、人が感知しやすく邪魔であると感じる任意の振動の周波数であってもよい。例えば、水平方向では１〜２Ｈｚ以上の振動が人に感知されやすく、垂直方向では４〜１２．５Ｈｚ以上の振動が人に感知されやすい。また、３〜４Ｈｚ以上では、水平振動よりも垂直振動の方が人に感知されやすい。従って、水平振動、垂直振動、及び回転振動について、互いに異なる周波数を設定してもよい。
【００８４】
映像処理システムは、自動車などの車両１に限らず、他の任意の乗物に搭載されてもよい。
【００８５】
第１及び第２の実施形態を組み合わせてもよい。例えば、図１の映像処理装置３に代えて、図１０のコンピュータ３２を用いてもよい。また、図１０のコンピュータ３２に代えて、専用のハードウェアによって実装された図１の映像処理装置３を用いてもよい。
【００８６】
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００８７】
従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８８】
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８９】
本開示の態様によれば、車載カメラのための映像処理システムとして利用可能であり、また、車載カメラによって撮影されて記録された映像を処理することにも利用可能である。
【符号の説明】
【００９０】
１…車両、
２…撮像装置、
３…映像処理装置、
４…表示装置、
１１…動きベクトル抽出器、
１２…信頼度算出器、
１３…フレームベクトル算出器、
１４…低周波成分抽出器、
１５…高周波成分抽出器、
１６…補正ベクトル算出器、
１７…映像補正器、
３１…記憶装置、
３２…コンピュータ、
３３…表示装置、
４１…中央処理装置（ＣＰＵ）、
４２…ランダムアクセスメモリ（ＲＡＭ）、
４３…ハードディスクドライブ（ＨＤＤ）、
４４…入出力インターフェース（Ｉ／Ｆ）、
４５…バス。
【図１】
2019180057.tif 000003
【図２】
2019180057.tif 000004
【図３】
2019180057.tif 000005
【図４】
2019180057.tif 000006
【図５】
2019180057.tif 000007
【図６】
2019180057.tif 000008
【図７】
2019180057.tif 000009
【図８】
2019180057.tif 000010
【図９】
2019180057.tif 000011
【図１０】
2019180057.tif 000012
【図１１】
2019180057.tif 000013