(57)【要約】【課題】処理量の増加を抑制する技術を提供する。【解決手段】動きベクトル検出部１３２は、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する。受付部１２０は、本車両の走行に関する走行情報を受けつける。制御部１２２は、受付部１２０において受けつけた走行情報をもとに、動きベクトル検出部１３２に設定されるサーチエリアの位置を変更する。【選択図】図１
2020036090.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載可能な画像処理装置であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、
前記変換処理部において生成した変換係数を量子化する量子化処理部と、
前記量子化処理部において量子化した変換係数を符号化する符号化処理部と、
本車両の走行に関する走行情報を受けつける受付部と、
前記受付部において受けつけた走行情報をもとに、前記動きベクトル検出部に設定される前記サーチエリアの位置を変更する制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記動きベクトル検出部に設定された前記サーチエリアであって、かつ前記第２フレーム内の所定の領域に設定された前記サーチエリアにおける前記第２画像データの特定精度が悪化した場合、前記受付部において受けつけた走行情報をもとにした変更とは異なるように、前記サーチエリアの位置を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、
前記制御部は、前記受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ前記受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、前記サーチエリアの大きさを小さくすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
車両に搭載可能な画像処理装置であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、
前記変換処理部において生成した変換係数を量子化する量子化処理部と、
前記量子化処理部において量子化した変換係数を符号化する符号化処理部と、
本車両の走行に関する走行情報を受けつける受付部と、
前記受付部において受けつけた走行情報をもとに、前記動きベクトル検出部における前記第１フレームと前記第２フレームとの間隔を変更する制御部と、
を備えることを特徴とする画像処理装置。
【請求項５】
前記制御部は、前記受付部において受けつけた走行情報における速度が増加すると、前記第１フレームと前記第２フレームとの間隔を広げることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、
前記制御部は、前記受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ前記受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、前記第１フレームの数を少なくすることを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
車両に搭載可能な画像処理装置であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、
前記変換処理部において生成した変換係数を量子化する量子化処理部と、
前記量子化処理部において量子化した変換係数を符号化する符号化処理部と、
本車両のライトが点灯しているか否かが示される点灯情報を受けつける受付部と、
前記受付部において受けつけた点灯情報をもとに、前記動きベクトル検出部における前記第１フレームと前記第２フレームとをカラーあるいはグレースケールで切りかえる制御部と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、
前記制御部は、前記受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ前記受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、前記受付部において受けつけた点灯情報にかかわらず、前記動きベクトル検出部における前記第１フレームと前記第２フレームとをグレースケールにすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両の走行に関する走行情報を受けつけるステップと、
受けつけた走行情報をもとに、前記検出するステップにおける前記サーチエリアの位置を変更するステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両の走行に関する走行情報を受けつけるステップと、
受けつけた走行情報をもとに、前記検出するステップにおける前記第１フレームと前記第２フレームとの間隔を変更するステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両のライトが点灯しているか否かが示される点灯情報を受けつけるステップと、
受けつけた点灯情報をもとに、前記検出するステップにおける前記第１フレームと前記第２フレームとをカラーあるいはグレースケールで切りかえるステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両の走行に関する走行情報を受けつけるステップと、
受けつけた走行情報をもとに、前記検出するステップにおける前記サーチエリアの位置を変更するステップとをコンピュータに実行させるためのプログラム。
【請求項１３】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両の走行に関する走行情報を受けつけるステップと、
受けつけた走行情報をもとに、前記検出するステップにおける前記第１フレームと前記第２フレームとの間隔を変更するステップとをコンピュータに実行させるためのプログラム。
【請求項１４】
車両に搭載可能な画像処理装置における画像処理方法であって、
第１フレーム内の第１画像データに対応する第２画像データを、前記第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、前記第１画像データと前記第２画像データとの位置関係をもとに動きベクトルを検出するステップと、
検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、
生成した変換係数を量子化するステップと、
量子化した変換係数を符号化するステップと、
本車両のライトが点灯しているか否かが示される点灯情報を受けつけるステップと、
受けつけた点灯情報をもとに、前記検出するステップにおける前記第１フレームと前記第２フレームとをカラーあるいはグレースケールで切りかえるステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に画像の符号化処理を実行する画像処理方法およびそれを利用した画像処理装置に関する。
【背景技術】
【０００２】
動画像圧縮符号化を行う画像処理装置は、有効画面内の一部に規定したサーチエリア内において動き検出を実行することによって、動きベクトルを生成する。また、画像処理装置は、動きベクトル、あるいは当該動きベクトルをもとにした残差ベクトルをＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）処理することによってＤＣＴ係数を生成してから、ＤＣＴ係数を量子化する。さらに、画像処理装置は、量子化したＤＣＴ係数を可変長符号化する。動きの速い画像および遅い画像の双方について適切なサーチエリアを設定するために、画像処理装置は、水平・垂直それぞれを１次元に落とし込んでベクトル探索を実行することによってサーチエリアを決定し、決定したサーチエリア内において動き検出を実行する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２７８６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動き検出に加えてベクトル探索を実行すると、処理量が増加し、消費電力も増加してしまう。一方、画像処理装置が、ドライブレコーダ等の場合、電気自動車のような車両に搭載される場合、消費電力の増加の抑制が求められる。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、処理量の増加を抑制する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像処理装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換（例えばＤＣＴ変換）処理を実行することによって、変換係数（例えばＤＣＴ係数）を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両の走行に関する走行情報を受けつける受付部と、受付部において受けつけた走行情報をもとに、動きベクトル検出部に設定されるサーチエリアの位置を変更する制御部と、を備える。
【０００７】
本発明の別の態様もまた、画像処理装置である。この装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両の走行に関する走行情報を受けつける受付部と、受付部において受けつけた走行情報をもとに、動きベクトル検出部における第１フレームと第２フレームとの間隔を変更する制御部と、を備える。
【０００８】
本発明のさらに別の態様もまた、画像処理装置である。この装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両のライトが点灯しているか否かが示される点灯情報を受けつける受付部と、受付部において受けつけた点灯情報をもとに、動きベクトル検出部における第１フレームと第２フレームとをカラーあるいはグレースケールで切りかえる制御部と、を備える。
【０００９】
本発明のさらに別の態様は、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両の走行に関する走行情報を受けつけるステップと、受けつけた走行情報をもとに、検出するステップにおけるサーチエリアの位置を変更するステップと、を備える。
【００１０】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両の走行に関する走行情報を受けつけるステップと、受けつけた走行情報をもとに、検出するステップにおける第１フレームと第２フレームとの間隔を変更するステップと、を備える。
【００１１】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両のライトが点灯しているか否かが示される点灯情報を受けつけるステップと、受けつけた点灯情報をもとに、検出するステップにおける第１フレームと第２フレームとをカラーあるいはグレースケールで切りかえるステップと、を備える。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、処理量の増加を抑制できる。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る画像処理装置の構成を示す図である。
【図２】図１の動きベクトル検出部における処理の概要を示す図である。
【図３】図３（ａ）−（ｃ）は、図１の制御部に保持されるテーブルのデータ構造と、図１の動きベクトル検出部における処理の概要を示す図である。
【図４】図４（ａ）−（ｃ）は、図１の制御部に保持されるテーブルのデータ構造と、図１の動きベクトル検出部における処理の概要を示す図である。
【図５】図５（ａ）−（ｈ）は、図１の制御部に保持されるテーブルのデータ構造と、図１の動きベクトル検出部における処理の概要を示す図である。
【図６】図６（ａ）−（ｄ）は、図５（ｃ）の処理の概要を示す図である。
【図７】図７（ａ）−（ｅ）は、図５（ｄ）の処理の概要を示す図である。
【図８】図８（ａ）−（ｄ）は、図５（ｅ）の処理の概要を示す図である。
【図９】図９（ａ）−（ｅ）は、図５（ｆ）の処理の概要を示す図である。
【図１０】図１０（ａ）−（ｄ）は、実施例２に係る動きベクトル検出部における処理の概要を示す図である。
【図１１】図１１（ａ）−（ｄ）は、図１０（ａ）に対する処理の概要を示す図である。
【図１２】実施例２に係る画像処理装置による変更手順を示すフローチャートである。
【図１３】実施例３に係る画像処理装置の構成を示す図である。
【図１４】図１４（ａ）−（ｆ）は、図１の動きベクトル検出部における処理の概要を示す図である。
【図１５】図１４の画像処理装置による変更手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
（実施例１）
本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、電気自動車等の車両に搭載される画像処理装置に関する。画像処理装置は、例えば、ドライブレコーダに含まれる。ドライブレコーダは、撮像装置において撮像した動画像に対して、画像処理装置に動画像圧縮符号化を実行させ、その処理結果を記録する。動画像圧縮符号化の一例は、ＭＰＥＧ(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ)である。ＭＰＥＧでは、動画像を構成する一連のフレームを圧縮するために３種類のピクチャを使用して符号化を実行する。３種類のピクチャは、Ｉ(Ｉｎｔｒａ−ｃｏｄｅｄ)ピクチャ、Ｐ(Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ)ピクチャ、Ｂ(Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ)ピクチャである。Ｉピクチャは、予測を行わずに入力したフレームをそのまま符号化したフレームであり、Ｐピクチャは一方向の動き補償予測を用いるフレームであり、Ｂピクチャは双方向予測を用いるフレームである。このような動画像圧縮符号化を実行するために、画像処理装置は、前述のごとく、動き検出、ＤＣＴ処理、量子化、符号化を順に実行する。
【００１６】
一方、車両が、電気自動車（Ｅｌｅｃｔｒｉｃ  Ｖｅｈｉｃｌｅ）である場合、走行中にバッテリを充電できない制約がある。バッテリの残量が低下した場合、車載のオーディオ機器であれば消音によって動作を停止させればよいが、ドライブレコーダは走行中の映像記録が目的であり撮影の継続が必要であるので、画像処理装置の動作を停止できない。そのため、車両に搭載可能な画像処理装置には、処理量の増加を抑制することによって、消費電力の増加を抑制することが求められる。
【００１７】
本実施例に係る画像処理装置は、本車両の走行に関する走行情報と、本車両のライトが点灯しているか否かが示される点灯情報とを車両から受けつける。走行情報では、車両の速度、操舵角、方向指示器が示している指示方向、選択されているギアが示される。画像処理装置は、これらの情報を使用する。（１）画像処理装置は、点灯情報が消灯を示している場合、フレームをカラーのまま動き検出を実行するが、点灯情報が点灯を示している場合、フレームをグレースケールに変換してから動き検出を実行する。（２）画像処理装置は、走行情報における速度をもとに、動き検出の際に参照すべきフレーム（以下、「参照フレーム」という）を調節する。画像処理装置は、速度が低速である場合、処理対象となるフレーム（以下、「処理対象フレーム」という）に近いフレームを参照フレームとして選択し、速度が高速である場合、処理対象フレームから離れたフレームを参照フレームとして選択する。（３）画像処理装置は、走行情報における速度、操舵角、指示方向、ギアをもとに、サーチエリアの位置を変更する。適切な位置にサーチエリアを設定するので、サーチエリアの大きさが小さくされる。
【００１８】
図１は、画像処理装置１０００の構成を示す。画像処理装置１０００は、速度センサ１１０、舵角センサ１１２、方向指示器１１４、ギアセンサ１１６、照明装置１１８、撮像部１３０に接続される。画像処理装置１０００は、受付部１２０、制御部１２２、動きベクトル検出部１３２、ＤＣＴ処理部１３４、量子化処理部１３６、符号化処理部１３８、逆量子化処理部１４０、逆ＤＣＴ処理部１４２、記憶部１４４を含む。画像処理装置１０００は、例えば、車両に搭載可能なドライブレコーダに含まれる。
【００１９】
撮像部１３０は、例えば、車両の前方を撮像することによって、動画像を生成する。動画像は、複数のフレームが時系列で並べられることによって形成される。各フレームは、デジタル信号であり、カラーで表現される。撮像部１３０は、生成した動画像に含まれた各フレームを動きベクトル検出部１３２に順次出力する。
【００２０】
動きベクトル検出部１３２は、撮像部１３０からフレームを処理対象フレームとして順次受けつける。また、動きベクトル検出部１３２は、記憶部１４４からフレームを参照フレームとして順次取得する。動きベクトル検出部１３２は、処理対象フレームと参照フレームとを使用して動きベクトルを検出する。図２は、動きベクトル検出部１３２における処理の概要を示す。参照フレーム２００と処理対象フレーム２０２は互いに異なったフレームとして示される。参照フレーム２００を「第１フレーム」と呼ぶ場合、処理対象フレーム２０２は「第２フレーム」と呼ばれる。
【００２１】
動きベクトル検出部１３２は、参照フレーム２００内において着目すべき画像を第１画像データ２１０として特定する。また、動きベクトル検出部１３２は、処理対象フレーム２０２において、参照フレーム２００内の第１画像データ２１０と同一の位置を対応位置２１２として特定する。さらに、動きベクトル検出部１３２は、対応位置２１２を含むサーチエリア２２０を処理対象フレーム２０２内に設定する。
【００２２】
これに続いて、動きベクトル検出部１３２は、処理対象フレーム２０２内に設定されるサーチエリア２２０から、マクロブロックを単位として、第１画像データ２１０に対応する第２画像データ２３０を特定する。このような特定には公知の技術が使用されればよいので、ここでは説明を省略する。さらに、動きベクトル検出部１３２は、第１画像データ２１０と第２画像データ２３０との位置関係をもとに、マクロブロック単位の動きベクトルを検出してから、マクロブロック単位の動きベクトルをもとに、フレーム単位の動きベクトル２４０を検出する。このような動きベクトル２４０は、対応位置２１２から第２画像データ２３０へ向かうように示される。
【００２３】
このような処理は、Ｐピクチャを生成する場合に限らず、Ｂピクチャを生成する場合にも実行される。以下では、説明を明瞭にするために、Ｐピクチャを生成する場合を説明するが、公知の技術を使用して、Ｐピクチャを生成する場合と同様にＢピクチャが生成されてもよい。図１に戻る。本実施例では、動きベクトル検出部１３２における処理量の増加を抑制するために、以下の処理が実行される。
【００２４】
速度センサ１１０は、車両における車軸の回転数に比例してパルス信号を発生させ、パルス信号の数量に比例した車両の速度を導出する。速度センサ１１０は、車両の速度を車速情報として受付部１２０に出力する。舵角センサ１１２は、車両のステアリングホイールの操舵角を検出するセンサである。舵角センサ１１２は、検出した操舵角を操舵角情報として受付部１２０に出力する。方向指示器１１４は、車両に搭載される保安部品であり、右左折や進路変更の際に、その方向を周囲に示すための装置である。方向指示器１１４は、右折あるいは左折が示された方向指示情報を受付部１２０に出力する。
【００２５】
ギアセンサ１１６は、車両のギアポジションの状態を検知し、検知したギアポジションをギア情報として受付部１２０に出力する。ギアポジションの状態は、シフトの状態に相当する。照明装置１１８は、車両のライト、例えば、ヘッドライト、室内灯であり、点灯したり消灯したりする。照明装置１１８は、点灯しているか否かが示される点灯情報を受付部１２０に出力する。
【００２６】
受付部１２０は、速度センサ１１０から速度情報を受けつけ、舵角センサ１１２から操舵角情報を受けつけ、方向指示器１１４から方向指示情報を受けつけ、ギアセンサ１１６からギア情報を受けつける。速度情報、操舵各情報、方向指示情報、ギア情報は、車両の走行に関する走行情報と総称される。また、受付部１２０は、照明装置１１８から点灯情報を受けつける。受付部１２０は、走行情報、点灯情報を制御部１２２に出力する。
【００２７】
制御部１２２は、受付部１２０から走行情報、点灯情報を受けつける。制御部１２２は、受けつけた走行情報、点灯情報のうちの少なくとも１つの情報をもとに、動きベクトル検出部１３２の処理を制御する。ここでは、動きベクトル検出部１３２の処理の制御として、例えば、（１）色表現制御、（２）参照フレーム２００の選択制御、（３）サーチエリア２２０の設定制御の少なくとも１つが実行される。
【００２８】
（１）色表現制御
図３（ａ）−（ｃ）は、制御部１２２に保持されるテーブルのデータ構造と、動きベクトル検出部１３２における処理の概要を示す。図３（ａ）は、制御部１２２に保持されるテーブルのデータ構造を示す。制御部１２２は、受けつけた点灯情報が消灯を示している場合に「カラー」の設定を選択し、受けつけた点灯情報が点灯を示している場合に「グレースケール」の設定を選択する。制御部１２２は、選択した設定を動きベクトル検出部１３２に出力する。
【００２９】
動きベクトル検出部１３２は、制御部１２２から受けつけた設定をもとに、参照フレーム２００と処理対象フレーム２０２とをカラーあるいはグレースケールに設定する。図３（ｂ）は、制御部１２２から受けつけた設定がカラーである場合を示す。その際、動きベクトル検出部１３２は、参照フレーム２００と処理対象フレーム２０２とをカラーのままにする。ここで、カラーの一例は、ＹＵＶで示される。ＹＵＶは、輝度信号Ｙと、２つの色差信号を使って表現される色空間であるが、カラーはＹＵＶに限定されない。図３（ｃ）は、制御部１２２から受けつけた設定がグレースケールである場合を示す。その際、動きベクトル検出部１３２は、参照フレーム２００と処理対象フレーム２０２とをカラーからグレースケールに変換する。ここで、グレースケールの一例は、ＹＵＶのうちのＹで示される。グレースケールはＹに限定されない。図１に戻る。
【００３０】
このように、制御部１２２は、受付部１２０において受けつけた点灯情報をもとに、動きベクトル検出部１３２における参照フレーム２００と処理対象フレーム２０２とをカラーあるいはグレースケールで切りかえる。つまり、車両のライトが点灯されるような夜間においては、暗闇をライトで照らしてはいるものの、色の情報量が少ないため、出力画像としてグレースケールとすることで、符号化処理自体の演算量を削減可能となり、動きベクトル検出部１３２は、グレースケールの参照フレーム２００と処理対象フレーム２０２とをもとに動き検出を実行する。なお、本実施の形態では、点灯情報として車両のライトをあげたが、これに限定するものではなく、車両に取り付けられた照度センサによって、車外の明るさを感知して設定を行ってもよい。
【００３１】
（２）参照フレーム２００の選択制御
図４（ａ）−（ｃ）は、制御部１２２に保持されるテーブルのデータ構造と、動きベクトル検出部１３２における処理の概要を示す。図４（ａ）は、制御部１２２に保持されるテーブルのデータ構造を示す。制御部１２２は、受けつけた速度情報がＡ以上である場合に、処理対象フレーム２０２から「１フレーム」離れたフレームを参照フレーム２００として選択する。ここで、「Ａ」は予め定められたしきい値である。
【００３２】
制御部１２２は、受けつけた速度情報がＢ以上である場合に、処理対象フレーム２０２から「２フレーム」離れたフレームを参照フレーム２００として選択する。ここで、「Ｂ」は予め定められたしきい値であり、Ａよりも大きくなるように設定される。制御部１２２は、受けつけた速度情報がＣ以上である場合に、処理対象フレーム２０２から「３フレーム」離れたフレームを参照フレーム２００として選択する。ここで、「Ｃ」は予め定められたしきい値であり、Ｂよりも大きくなるように設定される。制御部１２２は、選択したフレーム間隔の設定を動きベクトル検出部１３２に出力する。
【００３３】
動きベクトル検出部１３２は、制御部１２２から受けつけた設定をもとに、参照フレーム２００と処理対象フレーム２０２との間隔を設定する。図４（ｂ）は、制御部１２２から受けつけた設定が１フレーム間隔である場合を示す。第Ｎ−１フレーム３００、第Ｎフレーム３０２、第Ｎ＋１フレーム３０４は、時系列の順に並べられる。第Ｎフレーム３０２を処理対象フレーム２０２とする場合、第Ｎフレーム３０２よりも１フレーム前の第Ｎ−１フレーム３００が、Ｐピクチャを生成する際の参照フレーム２００とされる。その際、動きベクトル検出部１３２は、第１動きベクトル２４０ａを生成する。一方、Ｂピクチャを生成する際、第Ｎフレーム３０２よりも１フレーム後の第Ｎ＋１フレーム３０４も、第Ｎ−１フレーム３００に加えて参照フレーム２００とされる。その際、動きベクトル検出部１３２は、第１動きベクトル２４０ａと第２動きベクトル２４０ｂを生成する。
【００３４】
図４（ｃ）は、制御部１２２から受けつけた設定が２フレーム間隔である場合を示す。第Ｎ−２フレーム３１０、第Ｎ−１フレーム３１２、第Ｎフレーム３１４、第Ｎ＋１フレーム３１６、第Ｎ＋２フレーム３１８は、時系列の順に並べられる。第Ｎフレーム３１４を処理対象フレーム２０２とする場合、第Ｎフレーム３１４よりも２フレーム前の第Ｎ−２フレーム３１０が、Ｐピクチャを生成する際の参照フレーム２００とされる。その際、動きベクトル検出部１３２は、第１動きベクトル２４０ａを生成する。そのため、第Ｎ−１フレーム３１２は参照フレーム２００として選択されない。一方、Ｂピクチャを生成する際、第Ｎフレーム３１４よりも２フレーム後の第Ｎ＋２フレーム３１８も、第Ｎ−２フレーム３１０に加えて参照フレーム２００とされる。その際、動きベクトル検出部１３２は、第１動きベクトル２４０ａと第２動きベクトル２４０ｂを生成する。そのため、第Ｎ−１フレーム３１２と第Ｎ＋１フレーム３１６は参照フレーム２００として選択されない。図１に戻る。
【００３５】
このように、制御部１２２は、受付部１２０において受けつけた走行情報をもとに、動きベクトル検出部１３２における参照フレーム２００と処理対象フレーム２０２との間隔を変更する。特に、走行情報における速度が増加すると、制御部１２２は、参照フレーム２００と処理対象フレーム２０２との間隔を広げる。車両の速度が速く、着目画像が１フレーム間隔ではフレームアウトしてしまう場合において、撮影フレームレートを上げることによる処理量増加を抑えながら参照フレームを選択することができる。
【００３６】
（３）サーチエリア２２０の設定制御
図５（ａ）−（ｈ）は、制御部１２２に保持されるテーブルのデータ構造と、動きベクトル検出部１３２における処理の概要を示す。図５（ａ）は、制御部１２２に保持されるテーブルのデータ構造を示す。テーブルでは、方向、速度、サーチエリア設定の組合せが示される。制御部１２２は、速度情報をもとに高速、低速、停止を特定する。例えば、速度がゼロであれば、制御部１２２は停止を特定する。ゼロよりも大きい予め定められた値以下の速度であれば、制御部１２２は低速を特定する。予め定められた値よりも速度が速ければ、制御部１２２は高速を特定する。
【００３７】
また、制御部１２２は、方向指示情報、ギア情報をもとに車両の移動方向を特定する。例えば、方向指示情報が右折あるいは左折を示している場合、制御部１２２は、「右折」方向あるいは「左折」方向を特定する。方向指示情報が右折および左折を示しておらず、ギア情報が前進を示している場合、制御部１２２は、「直進」方向を特定する。方向指示情報が右折および左折を示しておらず、ギア情報が後退を示している場合、制御部１２２は、「後退」方向を特定する。サーチエリア設定に対して示される「Ｅ１」等は、対応位置２１２に対してサーチエリア２２０を設定すべき位置、サーチエリア２２０の形状の情報である。制御部１２２は、特定したサーチエリア設定を動きベクトル検出部１３２に出力する。
【００３８】
動きベクトル検出部１３２は、制御部１２２から受けつけたサーチエリア設定をもとに、処理対象フレーム２０２にサーチエリア２２０を設定する。図５（ｂ）−（ｆ）は、処理対象フレーム２０２上に配置される対応位置２１２に対して設定されるサーチエリア２２０を示す。ここでは、処理対象フレーム２０２が省略される。図５（ｂ）は、制御部１２２から受けつけたサーチエリア設定がＥ１である場合を示す。これは車両が停止している場合のサーチエリア２２０に相当する。車両が停止している場合、他車両等の障害物が移動するので、対応位置２１２を中心にする位置にサーチエリア２２０が設定される。また、サーチエリア２２０は、略正方形の形状あるいは対応位置２１２の形状に相似の形状を有する。「略」とは誤差を含むことを意味する。
【００３９】
図５（ｃ）は、制御部１２２から受けつけたサーチエリア設定がＥ２である場合を示す。これは車両の移動が直進かつ高速である場合のサーチエリア２２０に相当する。車両が直進する場合、対応位置２１２の下方向において、第２画像データ２３０の特定の可能性が高くなる。図６（ａ）−（ｄ）は、図５（ｃ）の処理の概要を示す。図６（ａ）に示すように、直進する車両１１０１ａに対してｔ０の時刻において、前方の物体１１０２ａは図６（ｂ）のようなカメラ画像となる。図６（ａ）のｔ１の時刻においては車両１１０１ｂが直進したことにより物体１１０２ｂとの距離は近づき図６（ｃ）のようなカメラ画像となる。これら図６（ｂ）を基準に図６（ｃ）と比較することで、物体１１０２に対応する領域の動きベクトル１１０３は図６（ｄ）に示すように下方向に算出されるので、直進時は下方向にサーチエリアを広く設定することによって対応位置の特定の可能性が高くなる。図５（ｃ）に戻る。
【００４０】
動きベクトル１１０３は着目ベクトル２５０として示される。つまり、着目ベクトル２５０は、走行情報をもとに特定された方向であって、かつ第２画像データ２３０を特定すべきために着目すべき方向を示す。動きベクトル検出部１３２は、対応位置２１２から着目ベクトル２５０が延びる方向にサーチエリア２２０が広くなるようにサーチエリア２２０を設定する。これは、対応位置２１２の上側よりも下側においてサーチエリア２２０が広くなるように設定されることに相当する。
【００４１】
具体的には、動きベクトル検出部１３２は、着目ベクトル２５０の先端にサーチエリア２２０の下側辺を設定し、予め定めた距離だけ対応位置２１２から上側に向かった位置にサーチエリア２２０の上側辺を設定する。また、動きベクトル検出部１３２は、対応位置２１２から均等の距離にサーチエリア２２０の左側辺と右側辺とを設定する。ここで、動きベクトル検出部１３２は、サーチエリア２２０の上下方向の長さよりもサーチエリア２２０の左右方向の長さを短くする。低速である場合の着目ベクトル２５０の長さは、高速である場合の着目ベクトル２５０の長さはよりも短くされる。そのため、制御部１２２から受けつけたサーチエリア設定がＥ３である場合、つまり車両の移動が直進かつ低速である場合、サーチエリア２２０は、図５（ｃ）よりも上下方向に短い形状を有する。
【００４２】
図５（ｄ）は、制御部１２２から受けつけたサーチエリア設定がＥ５である場合を示す。これは車両の移動が左折かつ低速である場合のサーチエリア２２０に相当する。車両が左折する場合、対応位置２１２の右方向において、第２画像データ２３０の特定の可能性が高くなる。図７（ａ）−（ｅ）は、図５（ｄ）の処理の概要を示す。図７（ａ）に示すように、左折する車両１２０１ａに対してｔ０の時刻において、前方の物体１２０２ａは図７（ｂ）のようなカメラ画像となる。図７（ｃ）のｔ１の時刻においては車両１２０１ｂが左折したことにより物体１２０２ｂの画像中の位置が右に移動し、図７（ｄ）のようなカメラ画像となる。これら図７（ｂ）を基準に図７（ｄ）と比較することで、物体１２０２に対応する領域の動きベクトル１２０３は図７（ｅ）に示すように右方向に算出されるので、左折時は右方向にサーチエリアを広く設定することによって対応位置の特定の可能性が高くなる。図５（ｄ）に戻る。
【００４３】
動きベクトル１２０３は着目ベクトル２５０として示される。動きベクトル検出部１３２は、対応位置２１２の左側よりも右側においてサーチエリア２２０を広くする。サーチエリア２２０の設定は、前述の処理と同様になされる。このようなサーチエリア２２０は、上下方向よりも左右方向に長い形状を有する。制御部１２２から受けつけたサーチエリア設定がＥ４である場合、つまり車両の移動が左折かつ高速である場合、サーチエリア２２０は、図５（ｄ）よりも左右方向に長い形状を有する。
【００４４】
図５（ｅ）は、制御部１２２から受けつけたサーチエリア設定がＥ９である場合を示す。これは車両の移動が後退かつ低速である場合のサーチエリア２２０に相当する。車両が後退する場合、対応位置２１２の上方向において、第２画像データ２３０の特定の可能性が高くなる。図８（ａ）−（ｄ）は、図５（ｅ）の処理の概要を示す。図８（ａ）に示すように、後退する車両１３０１ａに対してｔ０の時刻において、前方の物体１３０２ａは図８（ｂ）のようなカメラ画像となる。図８（ａ）のｔ１の時刻においては車両１３０１ｂが後退したことにより物体１３０２ｂとの距離は遠くなり、図８（ｃ）のようなカメラ画像となる。これら図８（ｂ）を基準に図８（ｃ）と比較することで、物体１３０２に対応する領域の動きベクトル１３０３は図８（ｄ）に示すように上方向に算出されるので、後退時は上方向にサーチエリアを広く設定することによって、対応位置の特定の可能性が高くなる。図５（ｅ）に戻る。
【００４５】
動きベクトル１３０３は着目ベクトル２５０として示される。動きベクトル検出部１３２は、対応位置２１２の下側よりも上側においてサーチエリア２２０を広くする。サーチエリア２２０の設定は、前述の処理と同様になされる。このようなサーチエリア２２０は、左右方向よりも上下方向に長い形状を有する。ここで、制御部１２２から受けつけたサーチエリア設定がＥ８である場合、つまり車両の移動が後退かつ高速である場合、サーチエリア２２０は、図５（ｅ）よりも上下方向に長い形状を有する。
【００４６】
これまで、制御部１２２は、方向指示情報、ギア情報をもとに車両の移動方向を特定しているが、操舵角情報を反映して車両の移動方向を特定してもよい。この場合、公知の技術を使用することによって、操舵角情報から車両の移動方向が特定される。図５（ｆ）は、制御部１２２において斜め右方向と低速の移動が特定された場合のサーチエリア２２０を示す。図９（ａ）−（ｅ）は、図５（ｆ）の処理の概要を示す。図９（ａ）に示すように、車線変更等で斜め右方向に移動する車両１４０１ａに対してｔ０の時刻において、前方の物体１４０２ａは図９（ｂ）のようなカメラ画像となる。図９（ｃ）のｔ１の時刻においては車両１４０１ｂが移動したことにより物体１４０２ｂの画像中の位置が斜め左下方向に移動し、図９（ｄ）のようなカメラ画像となる。これら図９（ｂ）を基準に図９（ｄ）と比較することで、物体１４０２に対応する領域の動きベクトル１４０３は図９（ｅ）に示すように斜め左下方向に算出されるので、斜め右方向に移動する時は斜め左下方向にサーチエリアを広く設定することによって対応位置の特定の可能性が高くなる。図５（ｆ）に戻る。
【００４７】
動きベクトル１４０３のように特定された方向に応じて、対応位置２１２から延びる着目ベクトル２５０の方向が設定される。対応位置２１２から着目ベクトル２５０が延びる方向にサーチエリア２２０が広くなるようにサーチエリア２２０が設定される。これは、対応位置２１２の右上側よりも左下側においてサーチエリア２２０が広くなるように設定されることに相当する。また、サーチエリア２２０は、略正方形の形状あるいは対応位置２１２の形状に相似の形状を有する。
【００４８】
図５（ｇ）と図５（ｈ）は、このように設定したサーチエリア２２０による効果を示す。図５（ｇ）は、公知の技術によって設定された比較対象サーチエリア２６０を示す。比較対象サーチエリア２６０は、対応位置２１２を中心にして配置される。また、比較対象サーチエリア２６０は、左右方向に３１画素、上下方向に３１画素のサイズを有するので、９６１画素のサイズを有する。図５（ｈ）は、図５（ｃ）のように設定したサーチエリア２２０を示す。サーチエリア２２０は、左右方向に１９画素、上下方向に３９画素を有するので、８０５画素となる。このようにサーチエリア２２０は、比較対象サーチエリア２６０と比較して約２０％縮小される。サーチエリア２２０が縮小されることによって、動きベクトル検出部１３２における処理量が低減される。一方、サーチエリア２２０は、比較対象サーチエリア２６０よりも小さいが、比較対象サーチエリア２６０よりも下方向に長いので、第２画像データ２３０が特定されやすくなる。図１に戻る。このように制御部１２２は、受付部１２０において受けつけた走行情報をもとに、動きベクトル検出部１３２に設定されるサーチエリア２２０の位置を変更する。
【００４９】
動きベクトル検出部１３２は、（１）から（３）の少なくとも１つを実行してサーチエリア２２０を設定することによって、前述のごとく、動きベクトル２４０を検出する。動きベクトル検出部１３２は、動きベクトル２４０をＤＣＴ処理部１３４に出力する。また、動きベクトル検出部１３２は、動きベクトル２４０と参照フレーム２００とを用いて予測フレームを生成し、処理対象フレーム２０２と予測フレームとの差分から残差ベクトルを導出し、残差ベクトルをＤＣＴ処理部１３４に出力してもよい。
【００５０】
ＤＣＴ処理部１３４は、対象ピクチャがＰピクチャ、または、Ｂピクチャである場合、動きベクトル検出部１３２から動きベクトル２４０を受けつける。ＤＣＴ処理部１３４は、動きベクトル２４０に直交変換処理（ＤＣＴ処理）を実行することによって、ＤＣＴ係数を生成する。また、ＤＣＴ処理部１３４は、動きベクトル検出部１３２から残差ベクトルを受けつけ、残差ベクトルにＤＣＴ処理を実行することによって、ＤＣＴ係数を生成してもよい。対象ピクチャがＩピクチャである場合は、撮像部１３０から出力された処理対象フレームに対してＤＣＴ処理を実行する。このように、ＤＣＴ処理部１３４は、動きベクトル検出部１３２において検出した動きベクトル２４０をもとにＤＣＴ処理を実行することによって、ＤＣＴ係数を生成する。ＤＣＴ処理部１３４は、ＤＣＴ係数を量子化処理部１３６に出力する。
【００５１】
量子化処理部１３６は、ＤＣＴ処理部１３４からＤＣＴ係数を受けつける。量子化処理部１３６は、予め定められた量子化ステップを使用してＤＣＴ係数を量子化する。量子化処理部１３６は、量子化したＤＣＴ係数を符号化処理部１３８、逆量子化処理部１４０に出力する。符号化処理部１３８は、量子化したＤＣＴ係数を量子化処理部１３６から受けつける。符号化処理部１３８は、量子化したＤＣＴ係数を可変長符号化する。符号化処理部１３８は、可変長符号化したＤＣＴ係数を符号化情報として記録したり、送信したりする。
【００５２】
逆量子化処理部１４０は、量子化したＤＣＴ係数を量子化処理部１３６から受けつける。逆量子化処理部１４０は、予め定められた量子化ステップを使用して、量子化したＤＣＴ係数を逆量子化する。逆量子化処理部１４０は、逆量子化ＤＣＴ係数を逆ＤＣＴ処理部１４２に出力する。逆ＤＣＴ処理部１４２は、逆量子化処理部１４０から逆量子化ＤＣＴ係数を逆ＤＣＴ処理して、逆ＤＣＴ係数を生成する。また、逆ＤＣＴ処理部１４２は、逆ＤＣＴ係数と記憶部１４４に記憶されたフレームを使用して、フレームを生成する。逆ＤＣＴ処理部１４２は、生成したフレームを記憶部１４４に記憶する。記憶部１４４は、逆ＤＣＴ処理部１４２において生成されたフレームを記憶する。
【００５３】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００５４】
本実施例によれば、走行情報をもとにサーチエリアの位置を変更するので、第２画像データの特定の可能性が高い位置にサーチエリアを設定できる。また、第２画像データの特定の可能性が高く位置にサーチエリアが設定されるので、サーチエリアを小さくできる。また、サーチエリアが小さくなるので、動きベクトルを検出するための処理量の増加を抑制できる。また、処理量の増加が抑制されるので、消費電力の増加を抑制できる。
【００５５】
また、走行情報をもとに、動きベクトル検出部における参照フレームと処理対象フレームとの間隔を変更するので、走行情報に応じた参照フレームを選択できる。また、走行情報に応じた参照フレームが選択されるので、無駄なフレームを参照フレームとして動きベクトルを検出することを抑制できる。また、無駄なフレームを参照フレームとして動きベクトルを検出することが抑制されるので、動きベクトルを検出するための処理量の増加を抑制できる。また、速度が増加すると、参照フレームと処理対象フレームとの間隔を広げるので、処理対象フレームに近い参照フレームとの間における動きベクトルの検出を省略できる。また、処理対象フレームに近い参照フレームとの間における動きベクトルの検出が省略されるので、動きベクトルを検出するための処理量の増加を抑制できる。
【００５６】
また、点灯情報が点灯を示している場合に、参照フレームと処理対象フレームとをカラーからグレースケールに切りかえるので、データ量を削減できる。また、データ量が削減されるので、動きベクトルを検出するための処理量の増加を抑制できる。
【００５７】
（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、車両に搭載される画像処理装置に関する。実施例２に係る画像処理装置は、実施例１と同様に、走行情報における速度、操舵角、方向、ギアをもとに、サーチエリアの位置を変更する。処理対象フレームの位置によっては、走行情報における速度、操舵角、指示方向、ギアをもとに特定した方向とは異なった方向において第２画像データを特定する可能性が高くなる。実施例２は、このような状況が発生した場合の処理に関する。実施例２に係る画像処理装置１０００は、図１と同様のタイプである。ここでは、実施例１との差異を中心に説明する。
【００５８】
図１０（ａ）−（ｄ）は、動きベクトル検出部１３２における処理の概要を示す。図１０（ａ）は、実施例２において想定する状況を示す。本車両４００、他車両４１０と総称される第１他車両４１０ａ、第２他車両４１０ｂが示される。本車両４００は、画像処理装置１０００を搭載して、左側から右側に向かって走行する。そのため、画像処理装置１０００の制御部１２２では、本車両４００の移動が直進かつ高速であると特定される。第１他車両４１０ａと第２他車両４１０ｂは、本車両４００と隣の車線を同じ方向に本車両４００よりも速い速度で左側から右側に向かって走行する。そのため、本車両４００は他車両４１０に追い越される。
【００５９】
図１１（ａ）−（ｄ）は、図１０（ａ）に対する処理の概要を示す。図１１（ａ）に示すように、直進する車両１５０１ａに対してｔ０の時刻において、前方の物体１５０２ａと車両１５０１ａよりも速い速度で移動する車両１５０３ａは図１１（ｂ）のようなカメラ画像となる。図１１（ａ）のｔ１の時刻においては車両１５０１ｂが直進したことにより物体１５０２ｂとの距離は近づくが、車両１５０１ａよりも速い速度で移動する車両１５０３ｂとの距離は遠くなり、図１１（ｃ）のようなカメラ画像となる。これら図１１（ｂ）を基準に図１１（ｃ）と比較することで、物体１５０２に対応する領域の動きベクトル１５０４は図１１（ｄ）に示すように下方向に算出されるが、車両１５０３に対応する領域の動きベクトル１５０５は図１１（ｄ）に示すように上方向に算出されるので、画像内で一律して下方向にサーチエリアを広く設定することによって対応位置の特定の可能性が高くなるとは限らない場合があり、処理を繰り返す過程で補正する必要がある。
【００６０】
図１０（ｂ）は、動きベクトル検出部１３２が設定するサーチエリア２２０を示す。対応位置２１２と総称される第１対応位置２１２ａ、第２対応位置２１２ｂ、サーチエリア２２０と総称される第１サーチエリア２２０ａ、第２サーチエリア２２０ｂ、着目ベクトル２５０と総称される第１着目ベクトル２５０ａ、第２着目ベクトル２５０ｂ、着目ベクトル２５２が示される。第１対応位置２１２ａは、処理対象フレーム２０２の中央部分に配置されるが、第２対応位置２１２ｂは、処理対象フレーム２０２の右側部分に配置される。ここで、中央部分は、処理対象フレーム２０２を左右方向に３等分した場合の中央の部分を示し、右側部分は右側の部分を示し、左側部分は左側の部分を示す。第２対応位置２１２ｂは、図示しない参照フレーム２００において検出された他車両４１０に相当する。
【００６１】
実施例１と同様に、動きベクトル検出部１３２は、第１対応位置２１２ａに対して、第１着目ベクトル２５０ａ、第１サーチエリア２２０ａを設定する。また、動きベクトル検出部１３２は、第２対応位置２１２ｂに対して、第２着目ベクトル２５０ｂ、第２サーチエリア２２０ｂを設定する。ここで、第２対応位置２１２ｂは、処理対象フレーム２０２の左側部分に配置されるので、カメラの設置位置、および道路形状に合わせて、第２着目ベクトル２５０ｂは処理対象フレーム２０２の中央部分の方に傾けられる。これらの設定は、前述のごとく、対応位置２１２の下方向において、第２画像データ２３０の特定の可能性が高くなるためである。
【００６２】
しかしながら、図１０（ａ）のように本車両４００を追い抜き、または追い越す他車両４１０は、上方向に移動する。そのため、動きベクトル検出部１３２は、図１０（ｂ）のような第２サーチエリア２２０ｂの上側からはみ出すように、他車両４１０に対応した第２画像データ２３０を特定しなければならない。しかし、各フレーム処理において第２サーチエリア２２０ｂからはみ出す範囲に対しても特定することは、サーチエリア領域を拡大することとなり、演算量の増加、すなわち消費電力の増加となる。そこで、動きベクトル検出部１３２は、その処理フレームにおいて予め設定された第２サーチエリア２２０ｂ内で、他車両４１０に対応した第２画像データ２３０の特定に留める。あるいは、動きベクトル検出部１３２は、第２サーチエリア２２０ｂにおいて、他車両４１０に対応した第２画像データ２３０を特定しない。このような状況下では、第２画像データ２３０を特定するための指標における残差が大きくなる。残差が大きくなることは、第２画像データ２３０の特定精度が悪化することに相当する。
【００６３】
動きベクトル検出部１３２において導出された残差は、制御部１２２に出力される。制御部１２２は、第２サーチエリア２２０ｂに対する残差がしきい値よりも大きい場合に、次の処理フレームにて、第２サーチエリア２２０ｂの位置の変更を決定する。変更した位置については後述する。一方、第１サーチエリア２２０ａに対する残差はしきい値以下であるとする。制御部１２２は、変更した位置を動きベクトル検出部１３２に通知する。
【００６４】
図１０（ｃ）は、制御部１２２からの変更の指示に応じて、動きベクトル検出部１３２が設定するサーチエリア２２０を示す。第１着目ベクトル２５０ａ、第１サーチエリア２２０ａは、図１０（ｂ）と同様に設定される。一方、第２対応位置２１２ｂから延びる第２着目ベクトル２５０ｂとは逆方向に着目ベクトル２５２が延びる。動きベクトル検出部１３２は、着目ベクトル２５２の方向に向かって、第２サーチエリア２２０ｂを移動させる。ここで、第２サーチエリア２２０ｂの移動量は予め定められている。このように次の処理フレームにて、第２サーチエリア２２０ｂの位置を変更することによって、第２画像データ２３０を特定するための指標における残差が小さくなる様に第２サーチエリア２２０ｂの補正を行う。
【００６５】
制御部１２２は、第２画像データ２３０を特定するための指標における残差がさらに小さくなるように、着目ベクトル２５２の方向に第２サーチエリア２２０ｂの位置を変更する。その結果、図１０（ｄ）のように第２サーチエリア２２０ｂが設定される。つまり、制御部１２２は、処理対象フレーム２０２内の左側部分あるいは右側部分に設定されたサーチエリア２２０における第２画像データ２３０の特定精度（位置を特定する精度）が悪化した場合、走行情報をもとにした変更とは異なるように、次の処理フレームにて、サーチエリア２２０の位置を変更させる。
【００６６】
以上の構成による画像処理装置１０００の動作を説明する。図１２は、画像処理装置１０００による変更手順を示すフローチャートである。残差がしきい値よりも大きい場合（Ｓ１０のＹ）、制御部１２２は、次の処理フレームにて、走行情報をもとに特定された方向とは逆方向の位置にサーチエリア２２０の配置を変更する（Ｓ１２）。残差がしきい値よりも大きくない場合（Ｓ１０のＮ）、ステップ１２はスキップされる。
【００６７】
本実施例によれば、サーチエリアにおける第２画像データの特定精度が悪化すると、走行情報をもとにした変更とは異なるように、サーチエリアの位置を変更するので、第２画像データの特定精度を改善できる。また、走行情報をもとにした方向とは逆方向にサーチエリアの位置を変更するので、第２画像データの特定精度を改善できる。
【００６８】
（実施例３）
次に、実施例３を説明する。実施例２は、これまでと同様に、車両に搭載される画像処理装置に関する。実施例３に係る画像処理装置は、実施例１と同様に、（１）から（３）の少なくとも１つの処理を実行するが、さらに処理量を低減することを目的とする。ここでは、これまでとの差異を中心に説明する。
【００６９】
図１３は、画像処理装置１０００の構成を示す。画像処理装置１０００は、図１の画像処理装置１０００の構成に加えて、バッテリ１５０、ナビゲーション装置１７０に接続される。ナビゲーション装置１７０は、位置情報取得部１６０、地図情報記憶部１６２、導出部１６４を含む。
【００７０】
位置情報取得部１６０は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）衛星からの信号をもとに、本車両４００に対する測位を実行する。測位には公知の技術が使用されればよいので、ここでは説明を省略するが、本車両４００の位置、本車両４００の進行方向、本車両４００の速度が取得される。例えば、位置は、緯度、経度によって示される。位置情報取得部１６０は、取得した各種情報（以下、「位置情報」という）を導出部１６４に出力する。地図情報記憶部１６２は、地図情報を記憶する。地図情報は公知のデータであればよいが、地図情報には充電スタンドの位置の情報が含まれる。充電スタンドは、電気自動車の充電が可能な施設である。
【００７１】
導出部１６４は、位置情報取得部１６０から位置情報を受けつける。導出部１６４は、地図情報記憶部１６２に記憶された地図情報を参照し、位置情報に最も近い充電スタンドを選択する。充電スタンドの選択には公知の技術が使用されればよいので、ここでは説明を省略する。導出部１６４は、本車両４００の位置から充電スタンドまでの距離を導出する。導出部１６４は、導出した距離の情報を受付部１２０に出力する。
【００７２】
バッテリ１５０は、電気自動車である本車両４００に電力を供給する。バッテリ１５０は、残量に関する残量情報を受付部１２０に出力する。残量情報の一例は、ＳＯＣ（Ｓｔａｔｅ  ｏｆ  Ｃｈａｒｇｅ）である。受付部１２０は、バッテリ１５０から残量情報を受けつけるとともに、導出部１６４から距離の情報を受けつける。受付部１２０は、残量情報と距離の情報とを制御部１２２に出力する。
【００７３】
制御部１２２は、受付部１２０から残量情報および距離の情報を受けつける。制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、動きベクトル検出部１３２の処理量をさらに低減するための制御を実行する。動きベクトル検出部１３２の処理量をさらに低減するための制御は、前述の（１）色表現制御、（２）参照フレーム２００の選択制御、（３）サーチエリア２２０の設定制御のそれぞれに対してなされる。ここでは、図１４（ａ）−（ｆ）を使用しながら、（１）色表現制御、（２）参照フレーム２００の選択制御、（３）サーチエリア２２０の設定制御の順に説明する。図１４（ａ）−（ｆ）は、動きベクトル検出部１３２における処理の概要を示す。
【００７４】
（１）色表現制御
これまで、制御部１２２は、受付部１２０において受けつけた点灯情報が消灯を示している場合、動きベクトル検出部１３２にカラーを設定する。図１４（ａ）は、制御部１２２から受けつけた設定がカラーである場合を示す。これは、図３（ｂ）と同一であり、動きベクトル検出部１３２は、参照フレーム２００と処理対象フレーム２０２とをカラーのままにする。
【００７５】
一方、制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、受付部１２０において受けつけた点灯情報にかかわらず、動きベクトル検出部１３２にグレースケールを設定する。図１４（ｂ）は、制御部１２２から受けつけた設定がグレースケールである場合を示す。これは、図３（ｃ）と同一であり、動きベクトル検出部１３２は、参照フレーム２００と処理対象フレーム２０２とをグレースケールに変更する。つまり、制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、受付部１２０において受けつけた点灯情報が消灯を示している場合であっても、参照フレーム２００と処理対象フレーム２０２とをグレースケールにする。
【００７６】
（２）参照フレーム２００の選択制御
これまで、制御部１２２は、走行情報における速度が増加すると、参照フレーム２００と処理対象フレーム２０２との間隔を広げる。図１４（ｃ）は、制御部１２２から受けつけた設定が２フレーム間隔である場合を示す。これは、図４（ｃ）と同一であり、Ｂピクチャを生成する際、動きベクトル検出部１３２は、第１動きベクトル２４０ａと第２動きベクトル２４０ｂを生成する。
【００７７】
一方、制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、Ｂピクチャを生成する代わりに、Ｐピクチャを生成することを決定する。図１４（ｄ）は、Ｐピクチャを生成する場合を示す。動きベクトル検出部１３２は、第２動きベクトル２４０ｂを生成せずに、第１動きベクトル２４０ａのみを生成する。Ｂピクチャの生成をＰピクチャの生成に変更するので、動きベクトル検出部１３２は、参照フレーム２００として第Ｎ−２フレーム３１０と第Ｎ＋２フレーム３１８とを選択する代わりに、参照フレーム２００として第Ｎ−２フレーム３１０のみを選択する。つまり、制御部１２２は、受付部１２０において受けつけた残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、参照フレーム２００の数を少なくする。
【００７８】
（３）サーチエリア２２０の設定制御
これまで、制御部１２２は、受付部１２０において受けつけた走行情報をもとに、動きベクトル検出部１３２に設定されるサーチエリア２２０の位置を変更する。図１４（ｅ）は、本車両４００の移動が直進かつ高速である場合のサーチエリア２２０を示す。これは、図５（ｃ）と同一であり、動きベクトル検出部１３２は、対応位置２１２から着目ベクトル２５０が延びる方向にサーチエリア２２０が広くなるようにサーチエリア２２０を設定する。一方、制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、サーチエリア２２０の大きさを小さくさせる。図１４（ｆ）は、サーチエリア２２０の大きさが小さくされた場合を示す。
【００７９】
以上の構成による画像処理装置１０００の動作を説明する。図１５は、画像処理装置１０００による変更手順を示すフローチャートである。残量が第１しきい値より小さく（Ｓ５０のＹ）、かつ距離が第２しきい値より大きい場合（Ｓ５２のＹ）、制御部１２２は、これまでの制御を、動きベクトル検出部１３２の処理量をさらに低減するための制御に変更する（Ｓ５４）。残量が第１しきい値より小さくない場合（Ｓ５０のＮ）、あるいは距離が第２しきい値より大きくない場合（Ｓ５２のＮ）、ステップ５４はスキップされる。
【００８０】
本実施例によれば、バッテリの残量が少なく、かつ充電ステーションまでの距離が長くなると、サーチエリアの大きさを小さくするので、処理量をさらに低減できる。また、処理量がさらに低減されるので、消費電力をさらに低減できる。また、バッテリの残量が少なく、かつ充電ステーションまでの距離が長くなると、Ｂピクチャの代わりにＰピクチャを生成するので、処理量をさらに低減できる。また、バッテリの残量が少なく、かつ充電ステーションまでの距離が長くなると、点灯情報にかかわらず、参照フレームと処理対象フレームとをグレースケールにするので、処理量をさらに低減できる。
【００８１】
本発明の一態様の概要は、次の通りである。本発明のある態様の画像処理装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換（例えばＤＣＴ変換）処理を実行することによって、変換係数（例えばＤＣＴ係数）を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両の走行に関する走行情報を受けつける受付部と、受付部において受けつけた走行情報をもとに、動きベクトル検出部に設定されるサーチエリアの位置を変更する制御部と、を備える。
【００８２】
この態様によると、走行情報をもとにサーチエリアの位置を変更するので、処理量の増加を抑制できる。
【００８３】
制御部は、動きベクトル検出部に設定されたサーチエリアであって、かつ第２フレーム内の所定の領域に設定されたサーチエリアにおける第２画像データの特定精度が悪化した場合、受付部において受けつけた走行情報をもとにした変更とは異なるように、サーチエリアの位置を変更してもよい。この場合、サーチエリアにおける第２画像データの特定精度が悪化すると、走行情報をもとにした変更とは異なるように、サーチエリアの位置を変更するので、第２画像データの特定精度を改善できる。
【００８４】
受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、制御部は、受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、サーチエリアの大きさを小さくしてもよい。この場合、サーチエリアの大きさを小さくするので、処理量をさらに低減できる。
【００８５】
本発明の別の態様もまた、画像処理装置である。この装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両の走行に関する走行情報を受けつける受付部と、受付部において受けつけた走行情報をもとに、動きベクトル検出部における第１フレームと第２フレームとの間隔を変更する制御部と、を備える。
【００８６】
この態様によると、走行情報をもとに、動きベクトル検出部における第１フレームと第２フレームとの間隔を変更するので、処理量の増加を抑制できる。
【００８７】
制御部は、受付部において受けつけた走行情報における速度が増加すると、第１フレームと第２フレームとの間隔を広げる。この場合、速度が増加すると、第１フレームと第２フレームとの間隔を広げるので、第２フレームに近い第１フレームとの間における動きベクトルの検出を省略できる。
【００８８】
受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、制御部は、受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、第１フレームの数を少なくしてもよい。この場合、第１フレームの数を少なくするので、処理量をさらに低減できる。
【００８９】
本発明のさらに別の態様もまた、画像処理装置である。この装置は、車両に搭載可能な画像処理装置であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部において検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成する変換処理部と、変換処理部において生成した変換係数を量子化する量子化処理部と、量子化処理部において量子化した変換係数を符号化する符号化処理部と、本車両のライトが点灯しているか否かが示される点灯情報を受けつける受付部と、受付部において受けつけた点灯情報をもとに、動きベクトル検出部における第１フレームと第２フレームとをカラーあるいはグレースケールで切りかえる制御部と、を備える。
【００９０】
この態様によると、点灯情報をもとに、第１フレームと第２フレームとをカラーあるいはグレースケールで切りかえるので、処理量の増加を抑制できる。
【００９１】
受付部は、本車両のバッテリの残量に関する残量情報と、本車両の位置から充電スタンドまでの距離の情報とを受けつけ、制御部は、受付部において受けつけた残量情報が第１しきい値よりも小さく、かつ受付部において受けつけた距離の情報が第２しきい値よりも大きい場合、受付部において受けつけた点灯情報にかかわらず、動きベクトル検出部における第１フレームと第２フレームとをグレースケールにしてもよい。この場合、点灯情報にかかわらず、第１フレームと第２フレームとをグレースケールにするので、処理量をさらに低減できる。
【００９２】
本発明のさらに別の態様は、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両の走行に関する走行情報を受けつけるステップと、受けつけた走行情報をもとに、検出するステップにおけるサーチエリアの位置を変更するステップと、を備える。
【００９３】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両の走行に関する走行情報を受けつけるステップと、受けつけた走行情報をもとに、検出するステップにおける第１フレームと第２フレームとの間隔を変更するステップと、を備える。
【００９４】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、車両に搭載可能な画像処理装置における画像処理方法であって、第１フレーム内の第１画像データに対応する第２画像データを、第１フレームとは異なった第２フレーム内に設定されるサーチエリアから特定し、第１画像データと第２画像データとの位置関係をもとに動きベクトルを検出するステップと、検出した動きベクトルをもとに変換処理を実行することによって、変換係数を生成するステップと、生成した変換係数を量子化するステップと、量子化した変換係数を符号化するステップと、本車両のライトが点灯しているか否かが示される点灯情報を受けつけるステップと、受けつけた点灯情報をもとに、検出するステップにおける第１フレームと第２フレームとをカラーあるいはグレースケールで切りかえるステップと、を備える。
【００９５】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９６】
実施例１乃至３において、画像処理装置１０００は車両の一例として電気自動車に搭載される。しかしながらこれに限らず例えば、画像処理装置１０００は車両の別の一例として二輪車に搭載されてもよい。画像処理装置１０００は、送信装置を介してヘルメットに、二輪車の後部に取り付けられたカメラ入力を受けて後方映像の符号化情報を送信する。ヘルメットには、受信装置とＨＵＤ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）とが搭載されており、受信装置は符号化情報を受信し、ＨＵＤは、符号化情報を復号した動画像を再生する。これにより、二輪車の運転者は、後方を振り返ることなく、後方映像を確認することができる。本変形例によれば、本実施例の適用範囲を拡大できる。
【００９７】
実施例３において、制御部１２２は、残量情報が第１しきい値よりも小さく、かつ距離が第２しきい値よりも大きい場合、動きベクトル検出部１３２の処理量をさらに低減するための制御を実行する。しかしながらこれに限らず例えば、制御部１２２は、残量情報が第１しきい値よりも小さい場合、動きベクトル検出部１３２の処理量をさらに低減するための制御を実行してもよい。本変形例によれば、構成の自由度を向上できる。
【符号の説明】
【００９８】
１１０  速度センサ、  １１２  舵角センサ、  １１４  方向指示器、  １１６  ギアセンサ、  １１８  照明装置、  １２０  受付部、  １２２  制御部、  １３０  撮像部、  １３２  動きベクトル検出部、  １３４  ＤＣＴ処理部、  １３６  量子化処理部、  １３８  符号化処理部、  １４０  逆量子化処理部、  １４２  逆ＤＣＴ処理部、  １４４  記憶部、  １０００  画像処理装置。
【図１】
2020036090.tif 000003
【図２】
2020036090.tif 000004
【図３】
2020036090.tif 000005
【図４】
2020036090.tif 000006
【図５】
2020036090.tif 000007
【図６】
2020036090.tif 000008
【図７】
2020036090.tif 000009
【図８】
2020036090.tif 000010
【図９】
2020036090.tif 000011
【図１０】
2020036090.tif 000012
【図１１】
2020036090.tif 000013
【図１２】
2020036090.tif 000014
【図１３】
2020036090.tif 000015
【図１４】
2020036090.tif 000016
【図１５】
2020036090.tif 000017