(57)【要約】      （修正有）【課題】撮像画像からフリッカ等を低減した映像を生成できる画像処理装置を提供する。【解決手段】画像処理装置は、対象フレームの直前のフレームの画像５０と対象フレームの画像５１とから第１の動きベクトルを検出する動きベクトル検出部と、直前フレームの補正画像のデータ５０ａと第１の動きベクトルに基づいて第１の移動画像のデータ５０ｂを生成する移動画像生成部と、対象フレームの画像のデータ５１と、第１の移動画像のデータ５０ｂとに基づいて対象フレームの補正画像のデータ５１ａを生成する補正画像生成部とを備える。【選択図】図４
2017034422.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮像された複数フレームの画像データを入力し保持するフレーム保持部と、
対象フレームの前のフレームである前フレームの画像から前記対象フレームの画像への動きを示す第１の動きベクトルを検出する第１の動きベクトル検出部と、
前記前フレームを補正した補正画像と前記第１の動きベクトルに基づいて、第１の移動画像のデータを生成する第１の移動画像生成部と、
前記対象フレームの画像のデータと、前記第１の移動画像のデータとに基づいて、前記対象フレームの補正画像のデータを生成する補正画像生成部と、
を備えた画像処理装置。
【請求項２】
前記補正画像生成部は、前記対象フレームの画像のデータと前記第１の移動画像のデータにおいて、画素毎に、所定の比率で加算して、前記補正画像のデータにおける対応する画素の画素値に設定する、
請求項１記載の画像処理装置。
【請求項３】
対象フレームの後ろのフレームである後フレームの画像から前記対象フレームの画像への動きを示す第２の動きベクトルを検出する第２の動きベクトル検出部と、
前記後フレームの画像のデータと前記第２の動きベクトルに基づいて第２の移動画像のデータを生成する第２の移動画像生成部とを備え、
前記補正画像生成部は、前記対象フレームの画像のデータと、前記第１の移動画像のデータと、前記第２の移動画像のデータとに基づいて、前記対象フレームの補正画像のデータを生成する、
請求項１記載の画像処理装置。
【請求項４】
前記補正画像生成部は、前記対象フレームの画像のデータ、前記第１の移動画像のデータ、及び前記第２の移動画像のデータにおいて、画素毎に、所定の比率で加算して、補正画像のデータにおける対応する画素の画素値に設定する、
請求項３記載の画像処理装置。
【請求項５】
フレーム単位で画像を撮像し、画像データを生成する撮像装置と、
前記撮像装置から、画像データを入力する請求項１ないし５のいずれかに記載の画像処理装置と、
前記画像処理装置が生成した補正画像のデータが示す画像を表示する表示装置と、を備えた、
画像表示システム。
【請求項６】
前記撮像装置が撮像した画像データより車両を検出し、車両の有無、画像データにおける車両の位置情報を含む車両検出信号を生成する車両検出装置を備え、
前記補正画像生成部は、前記対象フレームの画像のデータにおいて、前記車両検出信号より車両が検出された領域以外は、前記対象フレームの画像データにおける画素を補正画像のデータにおける対応する画素の画素値に設定する、
請求項５記載の画像表示システム。
【請求項７】
請求項５または請求項６記載の画像表示システムを備えた車両。
【請求項８】
撮像装置で撮影された、連続した複数フレームの画像を入力するステップと、
対象フレームより前のフレームである前フレームの画像から前記対象フレームの画像への動きを示す第１の動きベクトルを検出するステップと、
前記前フレームの補正画像のデータと前記第１の動きベクトルに基づいて第１の移動画像のデータを生成するステップと、
前記対象フレームの画像のデータと、前記第１の移動画像のデータとに基づいて、前記対象フレームの補正画像のデータを生成し、出力するステップと、を含む、
画像処理方法。
【請求項９】
請求項８記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置により撮像され生成された動画データを処理する画像処理技術に関する。
【背景技術】
【０００２】
車両に搭載され、その車両の前方または後方の交通状況を撮影し、表示画面に表示する装置が開発されている。例えば、特許文献１は、車両に搭載される装置であって、撮像した画像から雪や雨等の視界を妨げる物体を除去できる画像処理装置を開示している。特許文献１の画像処理装置は、撮影手段から出力される画像のデータについて補正を行うか否かを判定し、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出し、検出した妨害物体の画素を他の画素と置き換え、画素が置き換えられた画像のデータを出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００６／１０９３９８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、車両のヘッドライトや信号機の発光素子として、ＬＥＤ（発光ダイオード）素子が普及してきている。一般にＬＥＤ素子は所定の駆動周期で駆動される。一方、車両に搭載されて画像を撮影するカメラは、通常６０Ｈｚ程度の撮像周期を有する。
【０００５】
ＬＥＤ素子の駆動周期とカメラの撮像周期が異なっている場合、周期の差異に起因して、ＬＥＤ素子が点灯と消灯を繰り返している状態すなわちＬＥＤ素子のフリッカが撮影されてしまう。
【０００６】
本開示は、撮影された動画データにおいてフリッカ等を低減できる画像処理装置を提供する。
【課題を解決するための手段】
【０００７】
本開示の第１の態様において、画像処理装置が提供される。画像処理装置は、連続して撮像された複数フレームの画像データを入力し保持するフレーム保持部と、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出する第１の動きベクトル検出部と、前フレームを補正した補正画像と第１の動きベクトルに基づいて、第１の移動画像のデータを生成する第１の移動画像生成部と、対象フレームの画像のデータと、第１の移動画像のデータとに基づいて、対象フレームの補正画像のデータを生成する補正画像生成部とを備える。
【０００８】
本開示の第２の態様において、画像表示システムが提供される。画像表示システムは、フレーム単位で画像を撮像し、画像データを生成する撮像装置と、撮像装置から、画像データを入力する画像処理装置と、画像処理装置が生成した補正画像のデータが示す画像を表示する表示装置とを備える。
【０００９】
本開示の第３の態様において、画像処理方法が提供される。画像処理方法は、撮像装置で撮影された、連続した複数フレームの画像を入力するステップと、対象フレームより前のフレームである前フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出するステップと、前フレームの補正画像のデータと第１の動きベクトルに基づいて第１の移動画像のデータを生成するステップと、対象フレームの画像のデータと、第１の移動画像のデータとに基づいて、対象フレームの補正画像のデータを生成し、出力するステップと、を含む。
【発明の効果】
【００１０】
本開示の画像処理装置によれば、撮影された動画データにおいてフリッカ等を低減できる。例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮影部の撮像周期が異なる場合であっても、発光素子のフリッカを低減した動画データを生成できる。
【図面の簡単な説明】
【００１１】
【図１】本開示にかかる画像表示システムの構成を示す図
【図２】実施の形態１にかかる画像処理装置の具体的な構成を示す図
【図３】実施の形態１にかかる２つの画像間の動きベクトルを説明するための図
【図４】実施の形態１にかかる画像補正処理の考え方を説明するための図
【図５】実施の形態１にかかる画像処理装置の処理を示すフローチャート
【図６】実施の形態１にかかる画像補正処理の詳細を示すフローチャート
【図７】実施の形態１にかかる補正画像の生成を説明するための図
【図８】（ａ）消灯したヘッドライトを撮影した撮影画像を示す図、及び（ｂ）ヘッドライトの消灯が補正された補正画像を示す図
【図９】実施の形態２にかかる画像処理装置の具体的な構成を示す図
【図１０】実施の形態２にかかる２つの画像間の動きベクトルを説明するための図
【図１１】実施の形態２にかかる画像補正処理の考え方を説明するための図
【図１２】実施の形態２にかかる画像補正処理の詳細を示すフローチャート
【図１３】実施の形態２にかかる補正画像の生成を説明するための図
【図１４】本開示の画像表示システムを搭載した車両の構成を示した図
【図１５】実施の形態３にかかる画像処理装置の具体的な構成を示す図
【図１６】実施の形態３にかかる画像補正処理の詳細を示すフローチャート
【図１７】実施の形態３にかかる画像補正処理の考え方を説明するための図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
［１−１．構成］
図１は、本開示にかかる画像表示システムの構成を示した図である。図１に示すように、画像表示システム１００は、撮像装置２００と、画像処理装置３００と、表示装置４００とを備える。
【００１４】
撮像装置２００は、被写体像を形成する光学系と、所定の撮像周期で被写体の光学情報を電気信号に変換する画像センサと、画像センサにより生成されたアナログ信号をデジタル信号に変換するＡＤ変換器とを含む。すなわち、撮像装置２００は、光学系を介して入力した被写体の光学情報から映像信号（デジタル信号）を生成して出力する。撮像装置２００は、所定の撮像周期のフレーム単位で映像信号（動画データ）を出力する。画像センサは例えばＣＣＤやＣＭＯＳイメージセンサで構成される。
【００１５】
画像処理装置３００は、撮像装置２００から受信した映像信号に対して後述する画像補正処理を実施する電子回路を含む。画像処理装置３００の全部または一部は、後述する処理を実行するように設計された１つまたは複数の集積回路（ＬＳＩ、ＶＬＳＩ等）で構成されてもよい。または、画像処理装置３００は、ＣＰＵまたはＭＰＵとＲＡＭを含み、所定のプログラムをＣＰＵ等が実行することで後述する処理を実現するようにしてもよい。
【００１６】
表示装置４００は、画像処理装置３００からの映像信号を表示する装置である。表示装置４００は、液晶表示（ＬＣＤ）パネルや有機ＥＬディスプレイパネルのような表示素子と、それを駆動する駆動回路とを含む。
［１−１―１  画像処理装置］
図２は、実施の形態１にかかる画像処理装置３００の具体的な構成を示した図である。図３は、実施の形態１にかかる２つの画像間の動きベクトルを説明するための図である。図４は、実施の形態１にかかる画像補正処理の考え方を説明するための図である。
【００１７】
画像処理装置３００は、フレーム保持部３１０と、動きベクトル検出部３３０と、移動画像生成部３５０と、補正画像生成部３７０とを含む。また、フレーム保持部３１０はフレームメモリ３１１とフレームメモリ３１２とを含む。
【００１８】
画像処理装置３００は撮像装置２００からフレーム単位で映像信号を入力する。入力された映像信号はまずフレーム保持部３１０におけるフレームメモリ３１１に順次格納される。フレームメモリ３１１は、入力された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納する。フレームメモリ３１２は、１フレーム分だけ前に撮像された映像信号に対して生成された補正映像信号を格納する。すなわち、画像処理装置３００に対してｎ番目のフレームの映像信号が入力されたタイミングにおいて、フレームメモリ３１１はｎ−１番目のフレームの映像信号を格納している。また、フレームメモリ３１２は、ｎ−１番目のフレームに対して生成された補正映像信号を格納している。なお、以下の説明では、ｍ番目のフレームを「フレームｍ」と称す。
【００１９】
動きベクトル検出部３３０は、入力映像信号が示すフレームの画像から、入力映像信号が示すフレームよりも１フレーム分前の画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。動きベクトルは、画像の全領域において、分割された所定サイズ（例えば１６×１６画素）のブロック領域毎に検出される。
【００２０】
例えば、図３に示すように、フレームｔ−１、フレームｔの順で画像処理装置３００が撮像装置２００から画像を入力される場合に、フレームｔ−１の画像５０からフレームｔの画像５１への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。
【００２１】
なお、動きベクトルの検出技術は公知の方法が使用できる。例えば、一方のフレーム画像において所定サイズ（例えば、１６×１６画素）の元ブロック領域を定義し、他方のフレーム画像において、そのブロック領域の画像と類似する領域を移動先のブロック領域として求める。具体的には、２つのフレーム画像間での画素値の差分の合計値を求め、他方のフレーム画像において画素値の差分の合計値が最も小さくなるブロック領域を移動先のブロック領域として求める。この移動先のブロック領域に基づき、元ブロック領域が示す画像領域の動きの方向（ベクトル）を検出することができる。
【００２２】
移動画像生成部３５０は、フレームｔの映像信号が入力されたときに、フレームメモリ３１２が保持するフレームｔ−１の補正映像信号と、動きベクトル検出部３３０が検出した動きベクトル信号１とに基づき移動画像１を生成し、生成した移動画像１を示す移動映像信号１を出力する。
【００２３】
移動画像生成部３５０は、フレームｔ−１の補正画像の各領域（ブロック）を動きベクトル信号１が示す動きに基づいて移動させ、これにより移動画像１を生成する。すなわち、図４に示すように、移動画像５０ｂは、フレームｔ−１の補正画像５０ａから、フレームｔの撮像画像５１に対するフレームｔ−１の撮像画像５０の動きに基づいて生成された画像である。移動画像５０ｂは、フレームｔ−１の補正画像５０ａに基づいて生成されたフレームｔの画像であると言える。
【００２４】
図２に戻り、補正画像生成部３７０は、あるフレームの画像をその前のフレームの補正画像を用いて補正し、補正した画像を示す映像信号を出力する。具体的には、補正画像生成部３７０は、フレームｔの画像を、その前のフレームｔ−１の補正画像に基づいて補正し、補正したフレームｔの画像を示す映像信号を出力する。より詳細には、図４に示すように、補正画像生成部３７０は、フレームｔの画像５１に対して、その前のフレームｔ−１の補正画像５０ａと動きベクトル信号１に基づき生成された移動画像５０ｂに基づいて補正画像５１ａを生成し、補正画像を示す映像信号を出力する。補正画像生成部３７０の処理の詳細は後述する。
［１−２．動作］
以上のように構成される画像表示システム１００の動作を説明する。撮像装置２００は、所定の撮像周期で被写体の画像（動画）を撮像し、映像信号を生成して出力する。画像処理装置３００は、撮像装置２００から入力した映像信号に基づき補正処理（画像処理）を行う。表示装置４００は画像処理装置３００から入力した映像信号を表示する。特に、本実施形態の画像表示システム１００では、画像処理装置３００は、補正対象のフレーム（以下「対象フレーム」と称す）の画像に対して、その前のフレームの画像に対して生成した補正画像を用いて補正処理を行う。
【００２５】
以下、図５のフローチャートを参照して画像処理装置３００における処理について説明する。なお、以下の説明では、フレームｔの画像を示す映像信号を入力した状態において、フレームｔを対象フレームとした動作を説明する。
【００２６】
画像処理装置３００は、撮像装置２００から映像信号を入力する（Ｓ１１）。入力した映像信号はフレーム単位でフレームメモリ３１１に順次格納される。すなわち、フレームメモリ３１１は、入力した映像信号よりも１フレーム前の画像に対する映像信号を格納する。これにより遅延画像のデータが生成される（Ｓ１２）。
【００２７】
次に、動きベクトル検出部３３０が、処理対象であるフレームｔの画像の前のフレームｔ−１の画像について、フレームｔの画像に対する動きベクトルの検出を行う（Ｓ１３）。動きベクトル検出部３３０は、撮像装置２００から入力されたフレームｔの画像と、フレームメモリ３１１が保持しているフレームｔ−１の画像を読み出して、動きベクトルを検出する。
【００２８】
具体的には、動きベクトル検出部３３０は、図３に示すように、フレームｔ−１の画像５０からフレームｔの画像５１への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。
【００２９】
次に、移動画像生成部３５０は、フレームｔ−１の画像に対する補正画像から、動きベクトルに基づいて移動画像を生成する（Ｓ１４）。
【００３０】
具体的には、移動画像生成部３５０は、フレームｔ−１の補正画像５０ａのデータと動きベクトル信号とに基づき移動画像５０ｂのデータを生成し、生成した移動画像５０ｂのデータを含む移動映像信号を出力する（図４参照）。
【００３１】
次に、補正画像生成部３７０は、補正対象であるフレームｔの画像５１のデータと、移動画像５０ｂのデータとを用いてフレームｔの画像に対する補正画像５１ａのデータを生成し（Ｓ１５）、生成した補正画像５１ａのデータを含む映像信号を表示装置４００に出力する（Ｓ１６）。また、補正画像生成部３７０は、生成した補正画像５１ａのデータを含む映像信号をフレームメモリ３１２に出力する。フレームメモリ３１２は、補正画像生成部３７０で生成された補正画像の映像信号を、フレームｔの補正画像として格納する。すなわち、フレームメモリ３１２は、入力した映像信号よりも１フレーム前の画像に対する補正画像の映像信号を格納する。
【００３２】
図６は補正画像の生成処理（ステップＳ１５）の詳細を示すフローチャートである。図７は、実施の形態１にかかる補正画像の生成を説明するための図である。以下、図７を参照して、補正画像の生成処理の詳細を説明する。
【００３３】
補正画像生成部３７０は、まず、第１番目の画素（画像領域の左上端の画素）を、処理対象の画素として設定する（Ｓ６０）。以下に説明する一連の処理（Ｓ６１〜Ｓ６３）は、画素毎に実施される。なお、本実施形態では、画像領域の左上端の画素から右下の画素に向かって、左から右へかつ上から下へ向かう順に処理対象の画素を設定するものとする。
【００３４】
補正画像生成部３７０は、処理対象画素に対して、フレームｔ−１に基づく移動画像５０ｂを第１出力候補（Ｃ１）に設定する（Ｓ６１）。
【００３５】
次に、処理対象画素に対して、フレームｔの撮像画像５１を第２出力候補（Ｃ２）に設定する（Ｓ６２）。
【００３６】
その後、補正画像生成部３７０は、第１および第２の出力候補Ｃ１、Ｃ２の画像データ（すなわち、フレームｔの撮像画像５１及び移動画像５０ｂ）を参照しながら、補正画像５１ａの処理対象画素の画素値を決定する（Ｓ６３）。具体的には、補正画像生成部３７０は、図７に示すように、第１および第２の出力候補Ｃ１、Ｃ２における処理対象画素の画素値を所定の比率で加算し、補正画像５１ａにおける当該画素の画素値とする。例えば、第１の出力候補（Ｃ１）と第２の出力候補（Ｃ２）の画素値の比率を７：３として加算処理を行う。このようにして、補正画像５１ａにおける各画素の画素値を決定していく。なお、上記画素値の比率は一例である。
【００３７】
上記処理を画像の全ての画素について行うことで（Ｓ６４、Ｓ６５）、補正画像５１ａを生成する。
【００３８】
以上の構成により、本実施形態では、処理対象であるフレームｔの画像５１に対して、フレームｔの撮像画像５１と、その前のフレームｔ−１の補正画像から動きベクトルを考慮して生成した移動画像５０ｂとから補正画像５１ａを生成する。これにより、連続する２つのフレームにおいて、前のフレームｔ−１の画像の補正結果を処理対象であるフレームｔの画像の補正にどの程度使用するかどうかを調整できる。
【００３９】
例えば、ＬＥＤ素子を含むヘッドライトを撮影した場合、ＬＥＤ素子の駆動周期と撮影部の撮像周期の違いから、図８（ａ）に示すように、一部のフレーム（フレームｔ）のみ、ヘッドライトが消灯した画像が撮影される場合がある。このような場合であっても、本実施形態の画像表示システム１００によれば、図８（ｂ）に示すように、フレームｔの画像が、その前のフレームｔ−１の補正画像に基づいて、ヘッドライトが点灯した画像に補正される。これにより、連続した２つのフレームｔ−１、ｔの画像全てにおいて、ヘッドライトが点灯し、フリッカを低減することができる。
［１−３．効果、等］
本実施形態の画像処理装置３００は、連続して撮像された複数フレームの画像データを入力し保持するフレーム保持部３１０と、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出する動きベクトル検出部３３０と、前フレームを補正した補正画像と第１の動きベクトルに基づいて、第１の移動画像のデータを生成する移動画像生成部３５０と、対象フレームの画像のデータと、第１の移動画像のデータとに基づいて、対象フレームの補正画像のデータを生成する補正画像生成部３７０と、を備える。
【００４０】
また、補正画像生成部３７０は、対象フレームの画像のデータと第１の移動画像のデータにおいて、画素毎に、所定の比率で加算して、補正画像のデータにおける対応する画素の画素値に設定する。
【００４１】
本実施形態の画像表示システム１００は、フレーム単位で画像を撮像し、画像データを生成する撮像装置２００と、撮像装置２００から、画像データを入力する画像処理装置３００と、画像処理装置３００が生成した補正画像のデータが示す画像を表示する表示装置４００と、を備える。
【００４２】
本実施形態で開示される画像処理方法は、撮像装置で撮影された、連続した複数フレームの画像を入力するステップと、対象フレームより前のフレームである前フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出するステップと、前フレームの補正画像のデータと第１の動きベクトルに基づいて第１の移動画像のデータを生成するステップと、対象フレームの画像のデータと、第１の移動画像のデータとに基づいて、対象フレームの補正画像のデータを生成し、出力するステップと、を含む。
【００４３】
本実施形態の画像処理装置３００及び画像処理方法によれば、対象フレームの前のフレームの補正画像データを用いて、対象フレームの画像データを補正することで、補正に使用するフレーム数を増加させることができる。フリッカの周波数は、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮影部の撮像周期によって決まるが、これにより、広い範囲のフリッカを補正することが可能となる。
（実施の形態２）
実施の形態１では、画像処理装置３００は、対象フレームと対象フレームの前のフレームである前フレームと前フレームの補正画像を用いて、対象フレームの補正画像を生成した。しかしながら、対象フレームの後ろのフレームも用いて補正画像を生成してもよい。
［２−１．画像処理装置の構成］
図９は、実施の形態２にかかる画像処理装置３０１の具体的な構成を示した図である。図１０は、実施の形態２にかかる２つの画像間の動きベクトルを説明するための図である。図１１は、実施の形態２にかかる画像補正処理の考え方を説明するための図である。
【００４４】
画像処理装置３０１は、フレーム保持部３２０と、動きベクトル検出部３３０、３３１と、移動画像生成部３５０、３５１と、補正画像生成部３７１とを含む。フレーム保持部３２０はフレームメモリ３１１、３１２、３１３とを含む。図９において、図１の実施の形態１の画像処理装置３００と同様の処理を行う構成要素に対しては、同符号を付与し、説明を省略する。
【００４５】
画像処理装置３０１は撮像装置２００からフレーム単位で映像信号を入力する。入力された映像信号はまずフレーム保持部３２０におけるフレームメモリ３１１、３１３に順次格納される。フレームメモリ３１１は、入力された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納し、フレームメモリ３１３は、フレームメモリ３１１に格納された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納する。すなわち、画像処理装置３０１に対してｎ番目のフレームの映像信号が入力されたタイミングにおいて、フレームメモリ３１１はｎ−１番目のフレームの映像信号を格納し、フレームメモリ３１３はｎ−２番目のフレームの映像信号を格納している。また、フレームメモリ３１２は、ｎ−２番目のフレームに対して生成された補正映像信号を格納している。なお、以下の説明では、ｍ番目のフレームを「フレームｍ」と称す。
【００４６】
動きベクトル検出部３３１は、入力映像信号が示すフレームの画像から、入力映像信号が示すフレームよりも１フレーム分後ろの画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。動きベクトルは、画像の全領域において、分割された所定サイズ（例えば１６×１６画素）のブロック領域毎に検出される。
【００４７】
例えば、図１０に示すように、フレームｔ−１、フレームｔ、フレームｔ＋１の順で画像処理装置３０１が撮像装置２００から画像を入力される場合に、フレームｔ＋１の画像５２の映像信号が入力されたときに、動きベクトル検出部３３１は、フレームｔ＋１の画像５２からフレームｔの画像５１への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。移動画像生成部３５１は、フレームｔ＋１の映像信号が入力されたときに、フレームｔ＋１の映像信号と動きベクトル信号２とに基づき移動画像を生成し、生成した移動画像を示す移動映像信号２を出力する。
【００４８】
移動画像生成部３５１は、フレームｔ＋１の画像５２の各領域（ブロック）を動きベクトル信号２が示す動きに基づいて移動させ、これにより移動画像２を生成する。すなわち、移動画像２は、図１１に示すように、フレームｔ＋１の画像５２から、フレームｔの画像５１に対するフレームｔ＋１の画像５２の動きに基づいて生成された画像５２ｂである。移動画像５２ｂは、フレームｔ＋１の画像５２に基づいて生成されたフレームｔの画像であると言える。
【００４９】
図９に戻り、補正画像生成部３７１は、あるフレームの画像をその前後のフレームの画像を用いて補正し、補正した画像を示す補正映像信号を出力する。具体的には、補正画像生成部３７１は、フレームｔの画像を、その前のフレームｔ−１の補正画像とその後のフレームｔ＋１の画像に基づいて補正し、補正したフレームｔの画像を示す補正映像信号を出力する。より詳細には、図１１に示すように、補正画像生成部３７１は、フレームｔの画像５１に対して、その前のフレームｔ−１の補正画像５０ａに基づき生成された移動画像５０ｂと、その後のフレームｔ＋１の画像５２に基づいて生成された移動画像５２ｂとに基づいて補正画像５１ａを生成し、補正画像を示す映像信号を出力する。補正画像生成部３７１の処理の詳細は後述する。
［２−２．動作］
以下、図５のフローチャートを参照して画像処理装置３０１における処理について説明する。なお、以下の説明では、フレームｔ＋１の画像を示す映像信号を入力した状態において、フレームｔを対象フレームとした動作を説明する。
【００５０】
画像処理装置３０１は、撮像装置２００から映像信号を入力する（Ｓ１１）。入力した映像信号はフレーム単位でフレームメモリ３１１、３１３に順次格納される。すなわち、フレームメモリ３１１は、入力した映像信号よりも１フレーム前の画像に対する映像信号を格納し、フレームメモリ３１３は、入力した映像信号よりも２フレーム前の画像に対する映像信号を格納する。これにより遅延画像のデータが生成される（Ｓ１２）。
【００５１】
次に、動きベクトル検出部３３０、３３１が、処理対象であるフレームｔの画像の前後のフレームｔ−１、ｔ＋１の画像について、フレームｔの画像に対する動きベクトルの検出を行う（Ｓ１３）。
【００５２】
具体的には、動きベクトル検出部３３１は、図１０に示すように、フレームｔ＋１の画像５２からフレームｔの画像５１への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。また、動きベクトル検出部３３０は、フレームｔ−１の画像５０からフレームｔの画像５１への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。
【００５３】
次に、移動画像生成部３５０、３５１は、フレームｔ＋１の画像データ、フレームｔ−１の補正画像データから、それぞれの動きベクトルに基づいて移動画像データを生成する（Ｓ１４）。
【００５４】
具体的には、移動画像生成部３５１は、フレームｔ＋１の画像５２のデータと動きベクトル信号２とに基づき移動画像５２ｂのデータを生成し、生成した移動画像５２ｂのデータを含む移動映像信号２を出力する。移動画像生成部３５０は、フレームｔ−１の補正画像５０ａのデータと動きベクトル信号１とに基づき移動画像５０ｂのデータを生成し、生成した移動画像５０ｂのデータを含む移動映像信号１を出力する（図１１参照）。
【００５５】
次に、補正画像生成部３７１は、補正対象であるフレームｔの画像５１のデータと、移動画像５０ｂ、５２ｂのデータとを用いてフレームｔの画像５１に対する補正画像のデータを生成し（Ｓ１５）、生成した補正画像のデータを含む補正映像信号を表示装置４００に出力する。また、補正画像生成部３７１は、補正映像信号をフレームメモリ３１２に格納させる（Ｓ１６）。
【００５６】
図１２は補正画像の生成処理（ステップＳ１５）の詳細を示すフローチャートである。図１３は、実施の形態２にかかる補正画像の生成を説明するための図である。
【００５７】
図１２において、図６のフローチャートと同じ処理を行うステップに関しては、同符号を付与する。以下、図１３を参照して、補正画像の生成処理の詳細を説明する。
【００５８】
補正画像生成部３７１は、まず、第１番目の画素（画像領域の左上端の画素）を、処理対象の画素として設定する（Ｓ６０）。以下に説明する一連の処理（Ｓ６１〜６５、Ｓ１２５〜Ｓ１２６）は、画素毎に実施される。なお、本実施形態では、画像領域の左上端の画素から右下の画素に向かって、左から右へかつ上から下へ向かう順に処理対対象の画素を設定するものとする。
【００５９】
補正画像生成部３７１は、処理対象画素に対して、フレームｔ−１に基づく移動画像５０ｂを第１出力候補（Ｃ１）に設定する（Ｓ６１）。
【００６０】
次に、補正画像生成部３７１は、処理対象画素に対して、フレームｔの撮像画像５１を第２出力候補（Ｃ２）に設定する（Ｓ６２）。
【００６１】
次に、補正画像生成部３７１は、処理対象画素に対して、フレームｔ＋１に基づく移動画像５２ｂを第３出力候補（Ｃ３）に設定する（Ｓ１２５）。
【００６２】
その後、補正画像生成部３７１は、第１〜第３の出力候補Ｃ１〜Ｃ３の画像データ（すなわち、フレームｔの撮像画像５１及び移動画像５０ｂ、５２ｂを参照しながら、補正画像５１ａの処理対象画素の画素値を決定する（Ｓ１２６）。具体的には、補正画像生成部３７１は、図１３に示すように、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像間において、処理対象画素の画素値を所定の比率で加算し、補正画像５１ａにおける当該画素の画素値として採用する。例えば、第１の出力候補（Ｃ１）と第２の出力候補（Ｃ２）と第３の出力候補（Ｃ３）の画素値の比率を７：２：１として加算処理を行う。このようにして、補正画像５１ａにおける各画素の画素値を決定していく。なお、上記比率は一例である。
【００６３】
上記処理を画像の全ての画素について行うことで（Ｓ６４、Ｓ６５）、補正画像５１ａを生成する。
【００６４】
以上の構成により、例えば、動きベクトル検出部３３０、３３１のいずれかが正しい動きベクトルを検出できない場合、移動画像生成部３５０、３５１が生成した移動映像と処理対象の画像を重ねた際にずれが生じ、誤補正につながる。本実施の形態においては、前後のフレームを用いることで、動きベクトル検出部３３０、３３１の一方が正しい動きベクトルを検出できなくても、他方の動きベクトルが正しい動きベクトルを検出できることにより、誤動作を回避することができる。
［２−３．効果、等］
本実施形態の画像処理装置３０１は、連続して撮像された複数フレームの画像データを入力し保持するフレーム保持部３２０と、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出する動きベクトル検出部３３０と、前フレームを補正した補正画像と第１の動きベクトルに基づいて、第１の移動画像のデータを生成する移動画像生成部３５０と、対象フレームの後ろのフレームである後フレームの画像から対象フレームの画像への動きを示す第２の動きベクトルを検出する動きベクトル検出部３３１と、後フレームの画像のデータと第２の動きベクトルに基づいて第２の移動画像のデータを生成する移動画像生成部３５１とを備え、補正画像生成部３７１は、対象フレームの画像のデータと、第１の移動画像のデータと、第２の移動画像のデータとに基づいて、対象フレームの補正画像のデータを生成する。
【００６５】
また、補正画像生成部３７１は、対象フレームの画像のデータ、第１の移動画像のデータ、及び第２の移動画像のデータにおいて、画素毎に、所定の比率で加算して、補正画像のデータにおける対応する画素の画素値に設定する。
【００６６】
本実施形態の画像処理装置３０１によれば、前後のフレームを用いて対象フレームの画像データを補正することで、補正に使用するフレーム数を増加させることができる。これにより、例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮影部の撮像周期が異なることに起因して発生し得るフリッカの周波数の制約をなくすことが可能となり、フリッカを低減した映像を生成することができる。
【００６７】
なお、実施の形態２では、フレームｔ−１，ｔ，ｔ＋１の３つのフレームを用いて補正処理を行ったが、補正処理に用いるフレームの数は３に限定されない。例えば、処理対象フレームの前後２フレームずつを用いて補正処理を行っても良い。すなわち、フレームｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２の５つのフレームを用いて補正処理を行ってもよいし、より多くの数のフレーム数を用いてもよい。
（実施の形態３）
実施の形態１および２においては、撮像画像の全体に対して、画像処理装置による画像処理を適用した。実施の形態３においては、画像内において検出された所定のオブジェクトの領域のみに画像処理を実施する場合について説明する。
【００６８】
実施の形態３においては、画像表示システムが車両に搭載された場合を例にとり説明する。
［３−１．画像表示システムを搭載した車両の構成］
図１４は、本開示の画像表示システム１００を搭載した車両の構成を示した図である。図１４に示すように、撮像装置２００は車両５００の後部に取り付けられて車両後方の状況を撮影する。表示装置４００及び画像処理装置３０２は、例えば、ルームミラー内に組み込まれている。その場合、ルームミラーは、表示装置４００をオンしたときは、撮像装置２００で撮像された画像が表示装置４００に表示されるようにし、表示装置４００がオフのときは、鏡によって車両５００の後方の状況を視認できるように構成されてもよい。車両５００の運転者は、表示装置４００の画像を確認することで車両後方の状況を確認できる。
【００６９】
車両検出装置６００は、撮像装置２００からフレーム単位で映像信号を入力する。車両検出装置６００は、入力された映像信号より、撮像画像内に存在する車両を検出し、車両の有無、車両数、車両の位置座標などの検出結果を補正画像生成部３７１に車両検出信号として出力する。なお、車両検出装置６００は、対象フレームの画像に対して、ＬＢＰ（Ｌｏｃａｌ  ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）や、ＨＯＧ（Ｈｉｓｔｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）などを用いて画像特徴量を抽出した後、Ｂｏｏｓｔｉｎｇ手法などを用いてあらかじめ作成した学習データと照合して、画像内に存在する物体の領域を検出する。
［３−１−２．画像処理装置］
図１５は、実施の形態３にかかる画像処理装置３０２の具体的な構成を示した図である。図１６は、実施の形態３にかかる補正処理の考え方を説明するための図である。図１５において、実施の形態１の画像処理装置３００と同様の動作を行う構成要素に関しては、同符号を付与し、説明を省略する。
【００７０】
補正画像生成部３７２は、あるフレームの画像をその前のフレームの補正画像を用いて補正し、補正した画像を示す映像信号を出力する。補正画像生成部３７２は、車両検出装置６００から入力される車両検出信号より、あるフレームの画像内で車両が検出された領域だけ補正画像を生成する。
［３−２．動作］
以上のように構成される画像処理装置３０２の動作を説明する。
【００７１】
図１６は実施の形態３にかかる補正画像の生成処理（図５のステップＳ１５）の詳細を示すフローチャートである。図１７は、実施の形態３にかかる補正画像の生成を説明するための図である。図１６において、図６と同じ処理には同符号を付与し、説明を省略する。
【００７２】
補正画像生成部３７２は、車両検出装置６００の車両検出信号より、１フレーム内の車両領域を設定する（Ｓ７０）。補正画像生成部３７２は、対象の画素が車両領域内の画素かどうかを判断する。対象の画素が車両領域内の画素である場合、Ｓ６１以降の処理を行う。補正画像生成部３７２は、対象の画素が車両領域外の画素である場合は、何も行わず、Ｓ６４に進む（Ｓ７１）。
【００７３】
以上のように、本実施形態では、処理対象であるフレームｔの画像５１に対して、フレームｔの撮像画像５１（第２出力候補）と、その前のフレームｔ−１の補正画像（第１出力候補）から動きベクトルを考慮して生成した移動画像５０ｂとから補正画像５１ａを生成する。具体的には、フレームｔの撮像画像５１の領域５１ｃにおいては、領域５１ｃ内の画素と移動画像５０ｂの領域５０ｃ内の画素を用いて補正する。領域５１ｃ以外の領域は、そのまま撮像画像５１の画素を採用する。従って補正画像５１ａにおいて領域５１ｄは補正された画像、領域５１ｄ外は撮像画像５１そのものとなる。
【００７４】
以上の構成により、画像内において検出された所定のオブジェクトの領域のみに、補正処理を行うかどうかを調整することができる。
【００７５】
例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮影部の撮像周期が異なることに起因して発生し得るフリッカが対象フレームに発生している場合に、全画素に補正処理を行うと、フリッカが発生していない部分がぼやけてしまう恐れがある。本実施の形態の画像処理装置によれば、フリッカが発生すると思われる車両領域のみに補正処理を行うので、画質の低下を防ぐことができる。
【００７６】
なお、実施の形態３では、車両検出装置６００は車両の領域を検出し、画像処理装置３０２は、検出した領域に対してのみ上記の画像処理を行ったが、それ以外の所定のオブジェクト（例えば、ヘッドライト、信号機）を検出し、同様の処理を行ってもよい。所定のオブジェクトは、フリッカが発生すると思われるオブジェクトを選択するのが望ましい。
【００７７】
また、実施の形態３においては、車両を１台検出した場合を例として説明したが、複数台検出した場合は、検出した領域全てで同様の処理を行うことで対応する。また、検出した車両のうち、領域が小さく（遠方に位置する）車両に対しては、処理を行わないようにしてもよい。
【００７８】
また、実施の形態３では、検出した領域全てに同じ加算処理を行ったが、検出領域内において、画素間の加算する比率を可変にしてもよい。例えば、検出した領域の中でヘッドライトが存在すると思われる領域を想定し、その領域のみ比率を変更してもよい。例えば、前フレームの補正画像の比率を高くしてもよい。ヘッドライトが存在すると思われる領域は、例えば、検出領域を９等分し、左右かつ下段の領域を予め設定してもよい。また、ヘッドライトが存在すると思われる領域のみ、補正処理を行ってもよい。
【００７９】
また、動きベクトル検出部３３０は、車両領域内において、一番多い動きベクトルを採用してもよい。動きベクトルは輝度の情報に基づいて検出するため、フリッカ状態にある場合、誤検出する恐れがある。例えば、車両領域内は同じ動きベクトルになると思われるが、方向が異なる動きベクトルが複数検出される場合がある。これを回避するために、検出した動きベクトルの中で、一番多い動きベクトルを正しい動きベクトルとし、この動きベクトルで、他の動きベクトルを代用してもよい。
【００８０】
また、撮像装置２００は、車両５００の前方、左右側面、あるいは車両天井部に取り付け、それぞれ、車両の前方、左右、あるいは全方位を含めて任意の方向を撮影してもよい。
［３−３．効果等］
本実施形態の画像処理装置３０２は、撮像装置２００が撮像した画像データより車両を検出し、車両の有無、画像データにおける車両の位置情報を含む車両検出信号を生成する車両検出装置６００を備え、補正画像生成部３７２は、対象フレームの画像のデータにおいて、車両検出信号より車両が検出された領域以外は、対象フレームの画像データにおける画素を補正画像のデータにおける対応する画素の画素値に設定する。
【００８１】
本実施形態の車両は、上記画像表示システムを備える。
【００８２】
本実施形態の画像処理装置３０２によれば、車両が検出された領域のみ、補正処理を行う。これにより、補正の性能を上げると共に、本来補正する必要のない領域に対して誤って画像を補正してしまうことを低減できる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１から３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。以下、他の実施の形態を例示する。
【００８３】
上記の実施の形態で示した撮像装置２００、画像処理装置３００、３０１、３０２、表示装置４００はそれぞれ、本開示の撮像装置、画像処理装置および表示装置の一例である。フレーム保持部３１０、３２０はフレーム保持部の一例である。動きベクトル検出部３３０、３３１は動きベクトル検出部の一例である。移動画像生成部３５０、３５１は移動画像生成部の一例である。補正画像生成部３７０、３７１、３７２は補正画像生成部の一例である。
【００８４】
また、フレームｔは対象フレームの一例であり、フレームｔ−１は前フレームの一例であり、フレームｔ＋１は後フレームの一例である。上記の実施の形態の画像処理装置３００〜３０２による画像処理は、ＬＥＤヘッドライトのみならず、ＬＥＤ素子で構成された信号機を撮影した画像に対しても有効である。すなわち、撮像装置２００の撮像周期と異なる周期で駆動される発光素子を含む装置を撮影する場合に有効である。
【００８５】
上記の実施の形態では、動きベクトルを検出するブロック領域のサイズを固定としたが、画像を補正したいオブジェクト（ＬＥＤ、信号機等）の大きさに応じて可変にしてもよい。画像を補正したいオブジェクトの大きさとブロック領域の大きさの差が小さい場合は、そのオブジェクトを含むブロック領域について、動きベクトルの検出が正しくできない場合がある。よって、画像を補正したいオブジェクトを含むブロック領域の動きベクトルを精度良く検出できるように、当該オブジェクトに対してブロック領域のサイズを十分に大きくしてもよい。例えば、撮像画像から車両のヘッドライトの領域を検出し、その検出した領域のサイズに応じてブロック領域のサイズを大きくするようにしてもよい。
【００８６】
また、補正処理において処理対象フレームとともに用いるフレームは、必ずしも、処理対象フレームと連続したフレームすなわち処理対象フレームの直前及び直後のフレームである必要はない。例えば、処理対象フレームの２フレーム前のフレームと、２フレーム後のフレームとを用いて補正処理を行ってもよい。すなわち、補正処理において、処理対象フレームとともに、処理対象フレームの少なくとも１フレーム前のフレームと、処理対象フレームの少なくとも１フレーム後のフレームとを用いればよい。
【００８７】
また、上記の実施の形態の画像処理装置３００は、車両に搭載されるドライブレコーダに対しても適用できる。この場合、画像処理装置３００から出力される映像信号は記録媒体（ハードディスク、半導体メモリデバイス等）に記録される。
【００８８】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８９】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９０】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９１】
本開示は、撮像装置により画像を撮像し、撮像した画像を表示装置に表示または記録媒体に記録する装置、例えば、車両に搭載されるルームミラー型表示装置やドライブレコーダ等に適用できる。
【符号の説明】
【００９２】
１００  画像表示システム
２００  撮像装置
３００、３０１、３０２  画像処理装置
３１０、３２０  フレーム保持部
３１１、３１２、３１３  フレームメモリ
３３０、３３１  動きベクトル検出部
３５０、３５１  移動画像生成部
３７０、３７１、３７２  補正画像生成部
４００  表示装置
５００  車両
６００  車両検出装置
Ｃ１〜Ｃ３  出力候補画像
【図１】
2017034422.tif 000003
【図２】
2017034422.tif 000004
【図３】
2017034422.tif 000005
【図４】
2017034422.tif 000006
【図５】
2017034422.tif 000007
【図６】
2017034422.tif 000008
【図７】
2017034422.tif 000009
【図９】
2017034422.tif 000010
【図１０】
2017034422.tif 000011
【図１１】
2017034422.tif 000012
【図１２】
2017034422.tif 000013
【図１３】
2017034422.tif 000014
【図１４】
2017034422.tif 000015
【図１５】
2017034422.tif 000016
【図１６】
2017034422.tif 000017
【図１７】
2017034422.tif 000018
【図８】
2017034422.tif 000019