(57)【要約】      （修正有）【課題】画像の階調、明るさなどを操作するとともに、ＣＧ技術を用いて、雨雪、外来光などの夾雑物を注入する機能により、一般的画像から、天候・時刻が変化した場合の画像や、夾雑物発生時などの画像を作成して、画像認識アルゴリズム、および画像認識装置の検証を行う装置を提供する。【解決手段】画像の中に含まれる被写体の、カメラとの距離情報を取得する手段を設け、該距離情報に基づいて、画像の階調、明るさなどの操作、および、夾雑物の注入量を制御する手段を設ける。【選択図】図２
2014098986.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された自然画像を解析して、画像内に含まれる特定被写体の抽出や分析を
行う、所謂、画像認識機能の処理アルゴリズム、あるいは、該画像認識機能の処理アルゴ
リズムを実装した画像認識装置の認識機能検証を行うための、画像認識機能検証用画像を
生成することを目的とする画像認識機能検証方法であって、
該自然画像を入力し、
該自然画像内に存在する被写体と、該自然画像を撮像したカメラとの間の距離情報を入
力し、
該自然画像を該距離情報に基づいて加工することを特徴とする画像認識機能検証方法。
【請求項２】
請求項１に記載の画像認識機能検証方法であって、
該画像認識機能検証装置には、該自然画像の階調、彩度、明度を制御し、
コンピュータグラフィックス技法を用いて人為的に作成した画像情報を、該自然画像に
重畳させ、
該自然画像の階調、彩度、明度の制御量と、該人為的に作成した画像の重畳量との制御を
、該距離情報に基づいて行うことを特徴とする画像認識機能検証方法。
【請求項３】
カメラで撮影された自然画像を解析して、画像内に含まれる特定被写体の抽出や分析を
行う、所謂、画像認識機能の処理アルゴリズム、あるいは、該画像認識機能の処理アルゴ
リズムを実装した画像認識装置の認識機能検証を行うための、画像認識機能検証用画像を
生成することを目的とする画像認識機能検証装置であって、
該画像認識機能検証装置には、該自然画像を入力する手段と、
該自然画像内に存在する被写体と、該自然画像を撮像したカメラとの間の距離情報を入
力する手段とを設け、
該自然画像を該距離情報に基づいて加工する手段を設けたことを特徴とする画像認識機能
検証装置。
【請求項４】
請求項３に記載の画像認識機能検証装置であって、
該画像認識機能検証装置には、該自然画像の階調、彩度、明度を制御する手段と、
コンピュータグラフィックス技法を用いて人為的に作成した画像情報を、該自然画像に
重畳させる手段と、
該自然画像の階調、彩度、明度の制御量と、該人為的に作成した画像の重畳量との制御
を、該距離情報に基づいて行う手段と、
を設けたことを特徴とする画像認識機能検証装置。
【請求項５】
請求項３乃至請求項４に記載の画像認識機能検証装置であって、
該自然画像内に存在する各被写体と、該自然画像を撮像したカメラとの間の距離情報を
入力する手段として、
ＴＯＦセンサ形カメラ、または、ステレオカメラを用いたことを特徴とする画像認識機
能検証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識機能検証装置に係わり、特に機能検証に用いる入力画像に、画像処
理技法により階調操作や夾雑物(impurity)注入を行う手段を設けたことを特徴とする画像
認識機能検証装置およびその処理方法に関する。
【背景技術】
【０００２】
近年、車載用途や監視用途を始めとした様々な市場に、種々の画像認識機能装置が利用
され始めているが、より高度で確実な認識に基づく安全担保や、危険予測などへのニーズ
を背景に、画像認識機能装置の性能向上への要求は、ますます高まっている。
画像認識機能装置の性能は、大まかに言って、いかなる環境下にあっても認識対象を正
確に把握するための、撮影環境や撮影条件に対するロバスト性を備えた、認識処理アルゴ
リズムと、認識処理アルゴリズムを、利用目的に応じた必要充分な速度で実行するための
、ハードウェアとソフトウェアとからなる装置構成によって決定されるが、所望の性能の
獲得と、性能担保のためには、画像認識機能装置が利用される利用環境や、撮影条件に即
したさまざまな入力画像を元に、幾度もの検証が繰り返され、認識処理アルゴリズムと装
置構成の最適化が行なわれることが通常となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−２６２４１０号公報
【特許文献２】特開２００８−１５５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した画像認識機能装置の検証では、天候や時刻に起因する画像撮影環境の変化や、
突発的な夾雑物の出現、例えば、濃霧や雪雨、特定時刻と条件の場合にのみ発生する強い
外来光や反射光の入射、停電などによる撮影照度の極端な変化、道路白線の経年変化によ
るかすれ、カメラレンズへの汚れの付着、など、様々なケースにおける入力画像を元にし
た検証作業を必要とする。
【０００５】
その検証作業には相当の時間と労力を要するのが一般的であるが、特に課題となるのは
、それら画像撮影環境が変化したり、上記したような突発的な夾雑物が出現しているよう
な、検証用の入力画像そのものを採取することが、時刻や季節、あるいは突発性に強く依
存するものであるため、非常に時間がかかったり、困難であることである。
そういった課題に対処するため、多くの場合、たとえば自動車メーカーでは、過去に蓄
積された膨大な量の検証用の実車走行画像データベースとして保管し、そのなかから課題
となる画像やシーンを抽出して、上記検証用の素材として用いる場合が多い。
【０００６】
しかしながらカメラの小型・広画角・高感度化が進むなど、かならずしも過去の蓄積画
像が、新規開発される画像認識装置の検証用画像として充分な条件を満たさない場合も多
く、特に、実際の試作段階に至る以前の、装置に用いる基本的アルゴリズムや装置構成を
決定することを主眼とする、構想設計工程や、基本設計などの開発上流工程においては、
所望のシーンを上記実車走行画像データベースから見つけ出す作業が必要なことや、使用
するカメラなど装置構成要素の相違などから、効果的な検証を行うことは、極めて困難で
あると言える。
【０００７】
さらに、あらゆる装置の上流設計工程において、装置が利用される様々な条件を想定し
て、可能な限りのシミュレーションや検証を行っておくことは、装置の品質確保の観点か
ら優利であるばかりでなく、詳細設計から装置製造にいたる開発下流工程からの手戻りな
どを削減し、装置の全体的な開発工数・期間を縮小させる上で非常に有効なことであり、
画像認識装置においても例外ではない。
【０００８】
一方で、昨今のコンピュータの高速化を背景とした、様々な画像処理環境の整備により
、ソフトウェアシミュレーション性能と速度の向上は劇的に向上しており、最終的にはハ
ードウェアで実現される画像認識装置であっても、現実的な時間内でソフトウェアシミュ
レーションが可能となってきている。
【０００９】
このことは、検証に必要な入力画像さえ準備できれば、かなりの信頼度をもって、最終
的な画像認識装置の装置性能や弱点などを推定することが充分に可能なレベルに達してい
ることを意味しており、このことからも、画像認識装置の開発において、上流設計工程に
おけるシミュレーションや検証の精度向上のための手段を具体化しておくことが、今後ま
すます重要になる。
【００１０】
そこで上記課題の解決手段のひとつとして考えられるのが、コンピューターグラフィッ
クス（ＣＧ）と称される画像処理技法を用いて、上記検証に必要な画像を擬似的に生成し
て、検証用入力画像として用いることである。
【００１１】
ＣＧの利点は、いったん、リファレンス画像となる映像を採取しておけば、この画像を
もとに、天候・時刻などの撮影環境要因によって、画像の階調や彩度が変化した画像や、
雪雨、反射光などの夾雑物が出現した画像や、夜間撮影時のカメラ感度増強に伴うノイズ
が増大した画像などを、比較的簡便に生成しうることであって、また、上記リファレンス
画像を、広角・高感度・高解像度のカメラを用いて採取しておけば、新規開発される画像
認識装置に採用されるカメラの条件に合わせて、撮影画角とレンズ歪を操作したり、あえ
て解像度を劣化させたり、感度不足に因りノイズが増大した画像を生成することも可能で
あり、あるいは、条件付きながら、カメラの設置位置に対して、視点位置が変化した画像
なども生成することができる点である。
【００１２】
もちろんこのように、画像加工により擬似的に生成された画像は、あくまで人工のもの
であるので、これらを用いての検証結果が、画像認識装置性能を最終的に担保するもので
はないが、特に開発上流工程での検証での有用性が極めて高いのは言うまでもない。
【００１３】
このような自然画像の加工、ないしＣＧ画像の合成については、これまで主として、放
送用、営業用コンテンツの作成や、いわゆるＡＲ(Augmented Reality ：拡張現実)と称さ
れる、エキスパートシステムなどへの利用を目的とした画像合成技法について広く議論さ
れ、一般化されてきた。  
【００１４】
これらについては例えば、特許文献１、特許文献２などに開示されているが、これら公
知例の開示する技術の主眼とするところは、自然画像に効果的にＣＧ画像を合成するとこ
ろにあり、自然画像そのものを加工して、上記したような、標準的な撮影画像から撮影環
境が変化した画像を擬似的に生成する手法や、突発的な夾雑物の出現した画像を生成する
こと、および、生成された画像を用いて画像認識装置の検証を行うための手法や装置構成
にまで、議論は及んではいなかった。
【課題を解決するための手段】
【００１５】
上記課題を解決するために本発明においては、標準的な撮影画像と、少なくとも、撮影
画像内の被写体ないし撮像画像内エリアとカメラとの距離情報と、光源位置情報とを用い
、上記距離情報と光源位置情報に基づいて、撮影画像内の被写体、ないしエリア毎の輝度
階調操作と彩度操作、空間周波数特性操作を行い、ＣＧによって生成した雨滴、砂塵、ス
ポット光、レンズ汚れなどの夾雑物の注入を行い、それらによって生成した画像を用いた
、画像認識機能検証装置を構成する。
【発明の効果】
【００１６】
本発明によれば、画像認識装置開発の初期段階において、装置が利用される様々な条件
を想定したシミュレーションや検証を行うことが可能となり、上流工程での設計と検証の
フィードバックループを小さく短期間なものとして、装置の品質向上と、全体的な開発の
工数・期間縮小を図ることができる。
【図面の簡単な説明】
【００１７】
【図１】画像認識機能検証装置の構成ブロック図
【図２】画像認識機能検証装置ブロック図
【図３】正規化元画像のイメージ図
【図４】正規化距離画像のイメージ図
【図５】雨滴(夾雑物)グラフィックのイメージ図
【図６】画像認識機能検証用画像のイメージ図
【発明を実施するための形態】
【００１８】
以下、図面を用いて、本発明の実施例を説明する。
【実施例１】
【００１９】
図１は、本発明の一形態の画像認識機能検証装置の構成を示すブロック図である。
１０１は自然画像入力端子、１０２は自然画像内に存在する被写体と、自然画像を撮像
したカメラとの間の距離情報の入力端子、１０３は映像信号処理部、１０４は画像認識機
能検証用画像出力端子である。
本実施例においては、映像信号処理部において、自然画像を、距離情報に基づいて加工
する。これにより、画像認識アルゴリズム、ないし画像認識装置の検証に有効な画像を提
供することが出来る。
【実施例２】
【００２０】
図２中２００が、本発明の別の一形態の画像認識機能検証装置の構成を示すブロック図
である。
２０１は画像認識装置の検証用画像を生成するための元画像撮影用カメラであり、２０
４元画像群を出力する。
【００２１】
２０２は元画像群中の被写体と、元画像撮影用カメラとの間の距離情報を得るための、
距離情報取得用カメラであり、２０５距離画像群を出力する。
２０２距離情報取得用カメラは、たとえば、ＴＯＦ(Time-of-Flight)型センサーを利用
したカメラでもよいし、元画像撮影用カメラとの組み合わせでステレオ撮像ができるよう
に、元画像撮影用カメラと一定の基線長(カメラ間の距離)位置に、適切な光軸角度に設置
されたカメラであってもよい。
なお、ＴＯＦ（Time-of-Flight）型センサーを利用したカメラを用いた場合では、撮像
素子各画素位置に結像した被写体とカメラ間の距離情報が直接出力されるため、これをそ
のまま距離画像群とすることができる。
【００２２】
一方、ステレオカメラを利用した場合は、２０６距離画像生成器を経路上に挿入し、こ
こにおいて、元画像撮影用カメラから得られた画像と、距離情報取得用カメラから得られ
た画像とに含まれる被写体毎の、それぞれ撮像位置のずれ（視差）量と、それぞれのカメ
ラの光軸、基線長に基づいた演算を行い、距離画像群とする。
【００２３】
２０４元画像群、２０５距離情報画像群は、２０３データベース１上に、それぞれの正
確な撮影時刻とともに保管される。
２０７演算処理部１では、２０４元画像群と、２０５距離情報画像群に、２０８正規化
処理と、２０９整合化処理とを加える。
【００２４】
２０８正規化処理とは、それぞれのカメラに実装されたレンズ歪を主たる原因とする画
像の湾曲を補正して、被写体の空間位置に対する画像内の画素位置の関係を線形化する処
理である。
２０９整合処理とは、正規化処理された２０４元画像群、２０５距離情報画像群の、２
つの画像の画素座標を一致させ、同一被写体がそれぞれ同一座標に配置されるように処理
するものである。
上記処理により、２０７演算処理部１からは、２１０正規化元画像と、２１１正規化距
離画像が出力され、２１７データベース２に格納される。
【００２５】
この２１０正規化元画像と、２１１正規化距離画像のイメージを、図３、図４に示す。
２１１正規化距離画像のイメージである図４では、距離を画像の濃淡で表現しており、
遠方であるほど黒く表現しているが、本画像の目的が画面内の被写体とカメラ間の距離を
知ることであることから、この目的が達せられるものであれば、その形式を問うものでは
ない。
【００２６】
２１２演算処理部２は、２１３画像処理部と、２１４夾雑物注入処理部とからなる。
２１３画像処理部では、２１０正規化元画像に対して、２１１正規化距離画像から得ら
れる距離情報と、必要に応じて、光源方向、被写体反射率などの情報に基づいた処理を加
え、被写体、ないしエリア毎に、階調(コントラスト)、明度(明るさ)、彩度(色の濃さ)、
の操作を加えるが、この操作量の大きさは任意に選択可能とする。
２１４夾雑物注入処理部は、雪雨、外来光の入射などの、２０４夾雑物情報を注入する
処理を行うが、注入する画像は、自然画像から別に採取したものであっても、ＣＧによっ
て人工的に作成されたものであっても良い。
【００２７】
本発明では、この２１２演算処理部２の処理において、それぞれの操作量、夾雑物注入
量を、２１１正規化距離画像から得られる、被写体との距離に基づいて制御する。
たとえば雨天の映像を作成する場合の一例としては、被写体との距離が大きいほど、被
写体の階調(コントラスト)、彩度を低下させるとともに、被写体との距離が大きいほど、
図４にイメージを示すような雨滴を数多く注入する。また雨滴などの夾雑物の注入量は、
注入の際の透明度を制御してもよい。
このようにして、図５に示すような、雨天を模した、２１５画像認識装置検証用画像を
作成し、２１６画像認識装置の検証に利用する。
【００２８】
以上のようにすれば、標準的に撮像した画像認識装置の利用シーン画像から、比較的簡
単な構成の装置と処理で、天候や時刻による変化や、雪雨や入射光などの夾雑物が存在し
た場合などの画像を生成して、特に開発上流工程における画像認識装置の検証に大きく寄
与することが出来る。 
【符号の説明】
【００２９】
１０１…自然画像入力端子、１０２…自然画像内に存在する被写体と自然画像を撮像し
たカメラとの間の距離情報の入力端子、１０３…映像信号処理部、１０４…画像認識機能
検証用画像出力端子、２０１…元画像撮影用カメラ、２０２…距離情報取得用カメラ、２
０３…データベース１、２０４…元画像群、２０５…距離画像群、２０６…距離画像生成
器、２０７…演算処理部１、２０８…正規化処理部、２０９…整合化処理部、２１０…正
規化元画像群、２１１…正規化距離画像群、２１２…演算処理部２、２１３…元画像操作
部、２１４…夾雑物注入処理部、２１５…画像認識機能検証用画像、２１６…画像認識装
置、２１７…データベース２。
【図１】
2014098986.tif 000003
【図２】
2014098986.tif 000004
【図３】
2014098986.tif 000005
【図４】
2014098986.tif 000006
【図５】
2014098986.tif 000007
【図６】
2014098986.tif 000008