(57)【要約】 ボケが生じている画像から従来より高速にかつ低負荷でボケを除去する技術を提供する。 車載カメラ１の映像処理部１０のブレ推測部２０は、ブレ推測部２０は、映像のブレを推定し、ブレ除去部１６は、その推定結果をもとにブレを除去する。ブレ推定部２０の動きＰＳＦ生成部２６は、動きＰＳＦ生成処理として、画素位置動き量推定部２４が算出する物体の動き量と画素位置静止ＰＳＦ取得部２５が生成する静止ＰＳＦ情報を用いて、画素ごとの動きを含めたＰＳＦを生成する。逆変換生成部２７は、ＰＳＦの逆変換を生成し、ブレ除去部１６へ出力する。
2016199214.tif 000002
【特許請求の範囲】
【請求項１】
静止画像において発生する固有の画像劣化の情報を保持する固有情報部と、
所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定部と、
前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測部と、
前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記固有情報部に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記ボケ情報推測部は、点拡がり関数を用いた変換処理により前記ボケ情報を推測することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
請求項１〜３までのいずれかに記載の映像処理装置を備えることを特徴とする車載カメラ。
【請求項５】
所定間隔で撮影した画像に含まれる物体の動きを推定し、前記物体の移動量を推定する動き推定工程と、
前記画像を撮影した機器に静止画において固有に発生する静止画のボケ情報と、前記物体の前記移動量とをもとに、前記画像の動きボケ情報を推定する動きボケ推定工程と、
前記画像から前記動きぼけを除去する劣化除去工程と
を備えることを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法及び車載カメラに係り、例えば、撮影した画像（映像）の画質を改善する機能を有する映像処理装置、映像処理方法及び車載カメラに関する。
【背景技術】
【０００２】
近年、カメラの小型化が進み、車両の前面あるいは後面の窓より画像を撮影して使用するための車載カメラが数多く使用されるようになってきた。車載カメラの映像では、車両が高速に移動することから、動きボケ（「動きブレ」または「ブレ」とも言う。）が生じやすい傾向にある。一方で、撮像時の高画質化も進歩しており、レンズのボケ、撮影時のピントボケや動きブレを改善する技術も実用化されるようになっている。例えば、点拡がり関数（Point spread function；ＰＳＦ)を用いて、レンズのボケを推測し、その逆変換を推定して映像に反映させることで、ボケを除去・低減する技術がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２０５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、逆変換を使用した、ボケおよび動きブレの除去においては、ボケあるいはブレによる劣化を推測する必要がある。この推測にはそれなりの計算量が必要であり、高速に実施するためには高性能な演算装置が必要であって、車載カメラ等に適用するのは現実的には困難である。このようなことから新たな技術が必要とされていた。【０００５】
また、動きブレに関しては、例えば、カメラの手振れをジャイロセンサで検知することで、動きブレを簡易に推測し一定レベルで除去する技術が知られている。しかしながら、車載カメラのようにカメラを設置している物体自体が移動している場合などでは、物体とカメラの動きをジャイロなどで検知することは困難であるという課題があった。【０００６】
本発明は、このような従来の事情に鑑みなされたもので、上記課題を解決する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像処理装置は、静止画像において発生する固有の画像劣化の情報を保持する固有情報部と、所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定部と、前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測部と、前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去部と、を備える。
また、前記固有情報部に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであってもよい。
また、前記ボケ情報推測部は、点拡がり関数を用いた変換処理により前記ボケ情報を推測してもよい。
本発明の車載カメラは、上記の映像処理装置を備える。
本発明の映像処理方法は、所定間隔で撮影した画像に含まれる物体の動きを推定し、前記物体の移動量を推定する動き推定工程と、前記画像を撮影した機器に静止画において固有に発生する静止画のボケ情報と、前記物体の前記移動量とをもとに、前記画像の動きボケ情報を推定する動きボケ推定工程と、前記画像から前記動きぼけを除去する劣化除去工程とを備える。
【発明の効果】
【０００８】
以上、本発明によると、ボケが生じている画像から従来より高速にかつ低負荷でボケを除去する技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る、車両が道路を進行しておりその周囲に木や家などの物体が存在している状況を示した図である。
【図２】実施形態に係る、車載カメラで撮影した画像に生じるボケを説明するための図である。
【図３】実施形態に係る、図１の状況で撮影した画像に消失点と物体の見かけの動き方向（ボケの動き方向）を追加した図である。
【図４】実施形態に係る、車載カメラより一定間隔で複数枚の撮影を行った場合の例を示す図である。
【図５】実施形態に係る、図４について第１の木に着目して一部拡大して示す図である。
【図６】実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第１の図である。
【図７】実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第２の図である。
【図８】実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第３の図である。
【図９】実施形態に係る、車載カメラの概略構成を示す機能ブロック図である。
【図１０】実施形態に係る、映像処理部の概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための形態（以下、単に「実施形態」と言う。）を、図面を参照して具体的に説明する。以下に説明する実施形態では、ボケおよび動きボケ（ブレ）の除去機能を備える映像処理装置として車載カメラについて例示する。
【００１１】
上記のように、車載カメラなどのように動く物体に設置したカメラの動きブレを推測することは困難である。この課題に対しては、次の通り解決する。車載カメラは、例えば、進行方向を向いている場合、動きの大きさは、対象となる物体がカメラよりの距離のよりまちまちであるが画面上の一点（消失点）より円の半径方向に、すなわち消失点を中心として放射方向に動きが発生する。その特性を使用することで動きブレ等が発生している画像の画質を向上させる。画像を一定時間で複数枚撮影し、その複数の画像を使用する。動きブレなどはあるが、オプティカルフロー技術などを用いて、複数の画像に撮影されている物体を一致させる。
【００１２】
図１は、本実施形態に係る状況の例を示した図であって、車両９９が道路９８を進行しており、その周囲に木Ｔや家Ｈなどの物体が存在している。図示で想定する状況では、前方窓に車載カメラ１を設置している車両９９が、前方（図示で奥方向）に移動している。
【００１３】
図２は、車載カメラ１で撮影した画像に生じるボケを説明するための図である。ここでは、道路９８の左側には、道路９８の近傍に写っている木Ｔ１（以下「第１の木Ｔ１」と言う。）と、それよりも左側に離れた位置に写っている木Ｔ２（以下「第２の木Ｔ２」と言う。）がある。道路９８の右側には、道路９８の近傍に写っている木Ｔ３（以下「第３の木Ｔ３」と言う。）と、それよりも前方に離れた位置に写っている木Ｔ４（以下「第４の木Ｔ４」と言う。）がある。
【００１４】
そして、図示のように、車載カメラ１にて撮影した画像は、車載カメラ１自身（特にレンズ２）に固有のボケ（以下、「静止時ボケ」と言う。）に加え、動きボケが図中の矢印Ｂ１〜Ｂ４の方向に加わる。例えば、第１の木Ｔ１には左下から右上に伸びる斜め方向（矢印Ｂ１の方向）の動きボケが加わる。また、画像の奥に位置する第４の木Ｔ４には、略水平方向（矢印Ｂ４の方向）の動きボケが加わる。
【００１５】
通常、車両９９の走行速度が高いほどこのボケ量は増大し、また車両９９に近い位置にある物体ほど、ボケ量は増大する。例えば、図２では、道路９８に近い、すなわち車載カメラ１（車両９９）に近い第１の木Ｔ１や第３の木Ｔ３のボケ量は大きく、遠方に位置する第４の木Ｔ４の呆け量は小さい。
【００１６】
このボケ量は、撮影に使用する車載カメラ１、より具体的にはレンズ２（図１０参照）が定まれば、車載カメラ１を搭載している車両９９の走行速度及び、撮影されている物体（図１では木Ｔや家Ｈ）と車載カメラ１との距離とによって定まる。
【００１７】
図３は、図１の状況で撮影した画像に消失点ＶＰと物体の見かけの動き方向（ボケの動き方向）を追加した図である。ボケの動きの方向は、図３に示すように消失点ＶＰから放射状の方向（図中の矢印方向）となる特徴がある。そこで、その特徴を使用して、ボケの動き方向の推定の場合には、放射状の方向に限定することで、演算負荷を低減することができる。
【００１８】
図４は、車載カメラより一定間隔（例えば、１／３０秒）で複数枚の撮影を行った場合の例を示す図である。ここでは、３枚の撮影を行った画像であって、道路９８の左に第１の木Ｔ１と第２の木Ｔ２が存在している画像の例を、時系列が把握しやすいように１枚の画像として示している。図５は、図４について第１の木Ｔ１に着目して一部拡大して示す図である。
【００１９】
第１の木Ｔ１は奥から順に、最初の時間に撮影した第１の木Ｔ１１、中心の時間に撮影した第１の木Ｔ１２、最後の時間に撮影した第１の木Ｔ１３となっている。中心の時間に撮影した第１の木Ｔ１２を実線で描画し、その前後の第１の木Ｔ１１、１３は破線で示している。同様に、第２の木Ｔ２は奥から順に、最初の時間に撮影した第２の木Ｔ２１、中心の時間に撮影した第２の木Ｔ２２、最後の時間に撮影した第２の木Ｔ２３となっている。中心の時間に撮影した第２の木Ｔ２２を実線で描画し、その前後の第２の木Ｔ２１、２３は破線で示している。
【００２０】
ここで、第１の木Ｔ１は、道路９８のそば、すなわち車載カメラ１の側に位置し、第２の木Ｔ２は、道路９８すなわち車載カメラ１から離れて位置している。このため、車載カメラ１からの距離が近い第１の木Ｔ１の見かけの移動量（フレーム間移動量Ｂ１１）が相対的に大きく、第２の木Ｔ２の見かけの移動量（フレーム間移動量Ｂ２１）が相対的に小さくなる。なお、各物体（第１の木Ｔ１や第２の木Ｔ２）の見かけの移動量は、他に、車載カメラ１のレンズ２による収差による影響も受ける。
【００２１】
例えば、図５に示すように、３枚の画像を撮影することで、対象画像（ここでは、中心時間の第１の木Ｔ１２が写った画像）の時間的に前後となる期間における移動量を得ることができる。対象画像の動き量Ｂ１ｘは、３枚の画像（第１の木Ｔ１１〜Ｔ１３）における移動の中心領域に現れる。このため、対象画像の動きブレは、３枚の画像を使用した動き量の時間配分から算出することができる。
【００２２】
すなわち、非常に短い時間間隔では、物体（ここでは第１の木Ｔ１）は、直線状に並んで撮影される。その距離は、撮影の時間間隔と撮影画面上の位置および車載カメラ１と物体（第１の木Ｔ１）の位置によって定まる。そのため、１枚の画像上の動きによる移動量は、次式の関係で求めることができる。
動きによる移動量=フレーム間の移動量×シャッタ時間／フレーム間時間差
【００２３】
図６〜図８を参照して、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する。
【００２４】
図６は、シャッタ間の動きに着目したもので、図６（ａ）は２箇所の物体の位置ｘ１１、ｘ１２に輝度が高く現れる理想撮影状態を模式的に示している。図６（ｂ）は、実際に２箇所の位置ｘ１１、ｘ１２の間に現れる軌跡を反映させたものである。上述の様に、複数枚の画像を使用することで算出することができる。
【００２５】
図７は、静止時ボケを説明する図であり、図７（ａ）は、有る一点（位置ｘ２）にある物体を撮影したときの理想撮影状態を示しており、図７（ｂ）はレンズ等によるボケ効果が反映された状態を示している。すなわち、図７（ｂ）のように、前側にはある位置ｘ２に対してΔ１だけ前方にずれた位置ｘ２１（ｘ２−Δ１）に、後側にはある位置ｘ２に対してΔ２だけ後方にずれた位置ｘ２２（ｘ２＋Δ２）に、それぞれ広がった形となって画像に現れる。
【００２６】
図７（ｂ）に示すような静止時ボケの情報は、車載カメラ１やレンズ２にて固有であることから、予め情報として車載カメラ１に搭載し利用することができる。
【００２７】
図８は、シャッタ間の画像に動きボケ及び静止時ボケとが反映した場合の状態を示したものである。図８（ａ）は図６（ａ）と同様に２箇所の物体の位置ｘ１１、ｘ１２に輝度が高く現れる理想撮影状態を模式的に示している。図８（ｂ）は、図６（ｂ）と図７（ｂ）とに示した影響を合わせて図である。すなわち、車載カメラ１に固有の静止時ボケと動きボケとの両方が反映された状態の実際に画像として現れるボケが示されている。具体的には、図６（ｂ）の凸状になった輝度値が、前側にはある位置ｘ１１に対してΔ１だけ前方にずれた位置ｘ１３（ｘ１１−Δ１）に、後側にはある位置ｘ１２に対してΔ２だけ後方にずれた位置ｘ１４（ｘ１２＋Δ２）に、それぞれ広がった形となって画像に現れる。したがって、静止時ボケと動きボケとの両方のボケを考慮することで、画像に現れるボケを算出することができる。
【００２８】
図９及び図１０を参照して、上記のボケを特定し画像の画質を改善する具体的な構成について説明する。図９は、車載カメラ１の概略構成を示す機能ブロック図である。この車載カメラ１は、レンズ２と、映像処理部１０と、出力処理部３とを備える。出力処理部３は液晶モニタ等の表示部４とメモリカード等の記録部５とを備える。レンズ２で取り込んだ画像は、映像処理部１０で処理した後に表示部４に表示されたり、記録部５に保存される。
【００２９】
図１０は、映像処理部１０の概略構成を示す機能ブロック図である。映像処理部１０は、ＣＰＵ（中央演算装置）等のＬＳＩ（大規模集積回路）やメモリで構成され、そのメモリに記憶されたプログラムらが実行されることで、その機能が実現される。
【００３０】
映像処理部１０は、画像取得部１２と、ブレ推測部２０と、ブレ除去部１６とを備える。画像取得部１２は、レンズ２を介して画像を取得し、ブレ除去部１６及びブレ推測部２０へ出力する。ブレ推測部２０は、画像のブレを推定し、推定結果をブレ除去部１６に出力する。ブレ除去部１６は、画像取得部１２から取得した画像からブレ推測部２０で推定したブレを除去し、出力処理部４へ出力する。
【００３１】
ブレ推測部２０は、フレーム間動き予測部２１と、カメラ情報部２２と、消失点推定部２３と、画素位置動き量推定部２４と、画素位置静止ＰＳＦ取得部２５と、動きＰＳＦ生成部２６と、逆変換生成部２７とを備える。
【００３２】
カメラ情報部２２は、車載カメラ１の特徴としてカメラ仕様やレンズ２に固有のボケ、すなわち、静止時ボケの情報を保持する。
【００３３】
フレーム間動き予測部２１は、フレーム間予測処理を行う。具体的には、フレーム間動き予測部２１は、例えば３枚の画像を使用して、物体の動き予測を実施する。物体の動き予測には、ラベリング処理技術やオプティカルフロー技術等の公知の技術を用いる。動き予測の結果（以下、「動き情報」とも言う。）は、消失点推定部２３及び画素位置動き量推定部２４に出力される。
【００３４】
消失点推定部２３は、消失点推定処理を行う。具体的には、消失点推定部２３は、フレーム間動き予測部２１から得られた動き情報に基づき、その中心となる消失点ＶＰ（消失点位置情報）を推定し、画素位置動き量推定部２４に出力する。
【００３５】
画素位置動き量推定部２４は、各画素位置の動き推定処理を行う。具体的には、画素位置動き量推定部２４は、フレーム間動き予測部２１からの動き情報に基づいてから該当画像における動き量を推定する。推定した動き量は動きＰＳＦ生成部２６に出力される。なお、動き方向の推定の容易化のため、消失点推定部２３から得られた消失点位置情報を使用してもよい。
【００３６】
画素位置静止ＰＳＦ取得部２５は、各画素位置での静止ＰＳＦ取得処理を行う。具体的には、画素位置静止ＰＳＦ取得部２５は、カメラ情報部２２から取得した情報に基づき、静止ＰＳＦ情報を画素ごとに生成する。ＰＳＦ情報を生成する具体的な処理は、公知の技術（例えば特許文献１に開示の技術）を用いることができるので、説明は省略する。精製された静止ＰＳＦ情報は、動きＰＳＦ生成部２６に出力される。
【００３７】
動きＰＳＦ生成部２６は、動きＰＳＦ生成処理を行う。具体的には、動きＰＳＦ生成部２６は、画素位置動き量推定部２４で得られた動き量と画素位置静止ＰＳＦ取得部２５で得られた静止ＰＳＦ情報を用いて、画素ごとの動きを含めたＰＳＦを生成する。
【００３８】
逆変換生成部２７は、動きＰＳＦ生成部２６で生成されたＰＳＦを用いて、逆変換生成にて、ＰＳＦの逆変換を生成し、ブレ除去部１６へ出力する。ブレ除去部１６は、上述の通り、画像取得部１２から取得した画像に逆変換を施すことに因り、ボケ劣化を除去する。
【００３９】
以上、本実施形態によれば、車載カメラ１を用いて撮影した画像にボケが有る場合において、動きによるボケ量を簡便に推測することが可能になり、前もって計測しておいた静止時のボケ量の推測と合わせ使用することで、劣化画像のボケを高速に低負荷で除去することが可能となる。
【００４０】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、映像処理部１０は、車載カメラ１として一体に含まれる構成に限らず、別の装置に備わる構成であってもよい。
【符号の説明】
【００４１】
１  車載カメラ
２  レンズ
３  出力処理部
４  表示部
５  記録部
１０  映像処理部
１２  画像取得部
１６  ブレ除去部
２０  ブレ推測部
２２  カメラ情報部（固有情報部）
２３  消失点推定部
２４  画素位置動き量推定部
２５  画素位置静止ＰＳＦ取得部
２６  動きＰＳＦ生成部
２７  逆変換生成部
【図１】
2016199214.tif 000003
【図２】
2016199214.tif 000004
【図３】
2016199214.tif 000005
【図４】
2016199214.tif 000006
【図５】
2016199214.tif 000007
【図６】
2016199214.tif 000008
【図７】
2016199214.tif 000009
【図８】
2016199214.tif 000010
【図９】
2016199214.tif 000011
【図１０】
2016199214.tif 000012
【手続補正書】
【提出日】平成29年11月28日(2017.11.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
静止画像において発生する固有の画像劣化の情報を保持する固有情報部と、
所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定部と、
前記固有情報部に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであって、
前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測部であって、前記動き量推定部が算出する物体の動き量と前記点拡がり関数により生成された情報を用いて、画素ごとの動きを含めた点拡がり関数を用いた変換処理により前記ボケ情報を推測するものであり、
前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去部と、
を備えことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置を備えることを特徴とする車載カメラ。
【請求項３】
静止画像において発生する固有の画像劣化の情報を保持する固有情報手段を備え、
所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定手段と、
前記固有情報手段に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであって、
前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測手段であって、前記動き量推定手段が算出する物体の動き量と前記点拡がり関数により生成された情報を用いて、画素ごとの動きを含めた点拡がり関数を用いた変換処理により前記ボケ情報を推測するものであり、
前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去手段と、
を備えことを特徴とする映像処理方法。
【請求項４】
請求項３に記載の映像処理方法を備えることを特徴とする車載カメラの映像処理方法。
【国際調査報告】
2016199214.tif 000013
2016199214.tif 000014