(57)【要約】【課題】  非線形特性を持つ撮像素子を用いた撮影において表示画像の視認性を保ちつつユーザが目的とする被写体を認識して表示する撮像装置を提供する。【解決手段】入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１０１と、画像信号を入出力特性の異なる２つ以上の画像信号へ変換して出力する特性変更手段１０２と、画像信号に対してカメラ装置として必要な信号処理を行うカメラ信号処理手段１０３と、画像信号に対して特定の条件を満たす信号を検出して認識情報を生成する認識手段１０５と、認識情報を画像信号に付加するための情報付加手段１０６と、画像信号を出力するために必要な信号処理を行う出力手段１０４と、を持つ構成とした。【選択図】  図１
2012138723.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、
前記撮像素子からの画像信号を入出力特性の異なる２つ以上の画像信号に変換する特性変更手段と、
前記特性変更手段からの画像信号に所定の画像信号処理を行うことで表示用画像を生成するカメラ信号処理手段と、
前記特性変更手段からの画像信号に所望の被写体を含む画像信号を検出して認識情報を生成する認識手段と、
前記認識手段から生成された認識情報を前記カメラ信号処理手段で生成した表示用画像に付加する情報付加手段と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、前記情報付加手段は認識情報を基に表示画像上の被写体を含む領域に検出枠やマスキングや文字、またはそれらの組み合わせを重ねて表示すること
を特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、前記情報付加手段は認識情報を基に表示画像上の被写体を含む領域に被写体を表す画像を重ねて表示すること
を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２００９−１７１５７号公報（特許文献１）がある。該公報には、「領域設定部１３１は、レーダ装置１１２により検出された自車の前方の物体の位置に基づいて、処理画像において前方車両の存在が想定される障害物領域および車線の存在が想定される路面領域の２つの分割領域を設定する。画像生成部１３２は、車両の前方の明るさに基づいて、カメラ１１１により撮像された前方画像のダイナミックレンジおよび解像度を分割領域ごとに調整することにより処理画像を生成する。車線検出部１４１は、処理画像の路面領域内の画像に基づいて車線の検出を行い、車両検出部１４２は、処理画像の障害物領域内の画像に基づいて前方車両の検出を行う。本発明は、車載用の画像処理装置に適用できる。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１７１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、画素信号の飽和を抑えるために非線形入出力特性を持つ撮像素子が普及してきている。前記撮像素子を用いることで人間の目よりも広いダイナミックレンジを持つ画像の撮影が可能となってきた。
【０００５】
ところで、一般的な画像認識処理では、例えば時間平均で算出した背景画像を参照画像として認識したい画像と比較することで異常検知を行う様に、参照画像と処理画像の画素信号の相関性を比較することで目的の情報を認識している。
【０００６】
ところが、前記撮像素子は、対数圧縮変換等により非線形入出力特性を実現しているため、画像信号の階調が一定でない画像となる。このため、非線形入出力特性を持つ撮像素子で撮影した画像に対して従来の画像認識処理を行うと、信号レベルによっては階調が圧縮されている領域が存在するため、認識精度が低下する。また階調が圧縮されている領域はコントラストが弱く色も薄くなってしまうため、出力画像の視認性も低下してしまう。
【０００７】
前記特許文献１では、「設定した領域ごとに、処理画像を生成する元となる画像の輝度値を表すビット列のうち所定の範囲のビットを抽出することにより、輝度分解能およびダイナミックレンジを調整させること」と記載されている。
【０００８】
しかし、認識した情報をユーザに提供する方法については、運転支援装置に関連した方法について言及されており、画像として表示する点については示されていないため、改善の余地がある。
【０００９】
そこで、本発明は、認識と表示で各々に適したダイナミックレンジを持った画像信号を用いて処理を行い、認識情報を画像に付加して出力画像を生成することで、ユーザに出力画像上で認識したことをわかりやすく表示する撮像装置を提供する。
【課題を解決するための手段】
【００１０】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【００１１】
本発明によれば、ユーザに認識したことをわかりやすく表示する撮像装置を提供することができる。
【００１２】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１における基本構成図
【図２】撮像素子１０１の入出力特性を説明する図
【図３（ａ）】特性変更手段１０２が出力する信号のダイナミックレンジを説明する図
【図３（ｂ）】特性変更手段１０２が出力する信号のダイナミックレンジを説明する図
【図３（ｃ）】特性変更手段１０２が出力する信号のダイナミックレンジを説明する図
【図３（ｄ）】特性変更手段１０２が出力する信号のダイナミックレンジを説明する図
【図４】認識手段１０５の認識処理結果を説明する図
【図５】カメラ信号処理手段１０３が出力する表示用画像を説明する図
【図６（ａ）】表示用画像に認識情報を付加する方法を説明する図
【図６（ｂ）】表示用画像に認識情報を付加する方法を説明する図
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて説明する。
【実施例１】
【００１５】
本実施形態では、撮像装置の一例である監視カメラで逆光シーンを撮影する例を用いて説明する。本実施形態は、一般的な監視カメラの利用シーンにおいて、逆光シーンを撮影する場合に、特に有効である。
【００１６】
なお、本実施形態では監視カメラで撮影する例を用いて説明するが、監視カメラ以外でも特定のシーンにおいて認識結果を表示する場合にも適用できる。
【００１７】
本発明における実施例１について詳細に説明する。図１は、本発明の実施例１における基本構成図である。
【００１８】
入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１０１と、画像信号を入出力特性の異なる２つ以上の画像信号へ変換して出力する特性変更手段１０２と、画像信号に対してカメラ装置として必要な信号処理を行うカメラ信号処理手段１０３と、画像信号に対して特定の条件を満たす信号を検出して認識情報を生成する認識手段１０５と、認識情報を画像信号に付加するための情報付加手段１０６と、画像信号を出力するために必要な信号処理を行う出力手段１０４と、を持つ構成とした。
【００１９】
非線形特性を持つ撮像素子１０１によって出力されたダイナミックレンジの広い画像信号を、特性変更手段１０２は後段の表示や認識の様な処理毎に後述する方法でダイナミックレンジが広い画像信号と線形特性の撮像素子で撮影した場合に近い特性を持つ階調が圧縮されていない画像信号の２つの入出力特性の異なる画像信号を出力する。このような構成にすることで、後段の処理毎に適した画像信号を入力できる。前期特性変更手段１０２から出力されたダイナミックレンジが広い画像信号に対して認識手段１０５は所望の被写体が写った画像信号を検出することで認識情報を生成する。またカメラ信号処理手段１０３は前記特性変更手段１０２から出力された線形特性の撮像素子で撮影した場合に近い特性を持つ画像信号に対して、ノイズ除去、ガンマ補正、輪郭強調、ホワイトバランス処理、フィルタ処理等、所定の画像信号処理を行い、表示用画像を生成する。さらに情報付加手段１０６は前記認識情報を前記カメラ信号処理手段１０３によって出力された表示用画像に付加し、出力手段１０４によって後述の出力インタフェース処理を行うことで出力画像を出力する。このような構成にすることで、従来の線形特性の撮像素子を持つカメラで撮影した場合と同じような見た目の印象に近い表示画像と、表示画像上では白とびしているような領域の被写体の認識結果を両立してユーザに提供することができる。
【００２０】
出力手段１０４について詳細を説明する。出力インタフェース処理とは、TVやストレージ等の出力機器の信号フォーマットに変換する処理であり、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワーク伝送のために所定の信号に変換するものである。尚、出力手段１０４は、レベル調整のための利得制御や、フィルタ処理、エンコードによる圧縮処理等、所定の画像信号処理を含む構成であってもよい。
【００２１】
図２は撮像素子１０１（図１）の入出力特性を説明する図である。横軸は入射光の輝度レベル、縦軸は撮像素子の出力信号レベルを示している。図２（ａ）は撮像素子の入出力特性が線形特性の場合を示しており、図２（ｂ）は撮像素子の入出力特性が非線形の場合を示している。図２（ｂ）で示す非線形特性を持たせることによって図２（ａ）で示す線形特性の場合と比較して、低輝度領域の階調を維持しつつ画素飽和点を高輝度側へシフトすることができるため、ダイナミックレンジの広い画像信号を得ることができる。また図２では高輝度領域の階調を圧縮しているが、圧縮する領域は高輝度領域に限定されるものではなく、他の領域であっても同様の効果を得ることができる。
【００２２】
図３は特性変更手段１０２（図１）が出力する信号の変換方法を説明する図である。図３（ａ）は非線形特性を持った撮像素子の入出力特性を示しており、横軸は入射光の輝度レベル、縦軸は撮像素子の出力信号レベルであると同時に特性変更手段１０２（図１）の入力信号レベルを示している。範囲ａは入力信号の全ての信号を含む範囲を示しており、、範囲ｂは階調がほとんど圧縮されていない信号の範囲を示しており、範囲ｃは線形特性の撮像素子と比較して階調が圧縮されている信号の範囲を示している。また図３（ｂ）の範囲ｂ、範囲ｃと図３（ｃ）の範囲ａ、範囲ｃは、図３（ａ）の範囲ａ、範囲ｂ、範囲ｃに各々対応している。
【００２３】
図３（ｂ）と図３（ｃ）は特性変更手段１０２の信号の変換方法の一例を示しており、横軸は特性変更手段１０２の入力信号レベルを示しており、縦軸は特性変更手段１０２の出力信号レベルを示している。
【００２４】
図３（ｂ）に示す様に階調が圧縮されているため視認性が悪い範囲ｃの信号を切捨て、範囲ｂの信号の階調を拡大することで、視認性を向上できる。また範囲ｃの信号は完全に切捨てるのではなく、さらに階調が圧縮するように特性を変える方法でも同様の効果を得ることができる。
【００２５】
範囲ｃの信号は撮像素子１０１（図１）の入出力特性と信号レベルから線形特性の撮像素子を使用した場合の信号レベルを推定できるため、図３（ｃ）に示す様に線形特性に近づけるように変換することで階調圧縮による認識精度の低下を抑制することができる。
【００２６】
図３（ｄ）も特性変更手段１０２の信号の変換方法の一例を示しており、範囲ｄは12bitの入力信号、範囲ｅは10bitの出力信号、範囲ｆは下位2bitのノイズ成分のような認識処理には関係ない信号を示している。図３（ｄ）に示す様に範囲ｄの入力信号から範囲ｆの信号を切捨てて範囲ｅの信号を出力することで、図３（ｃ）で示すような変換を行った場合にも認識精度の低下を招くことなく処理量を削減することができる。
【００２７】
図３（a）に示す範囲ａの画像信号は階調が圧縮されている範囲ｃを含むので視認性は悪いがダイナミックレンジが広いため認識処理に適している。また範囲ｂの画像信号はダイナミックレンジが狭いものの階調がほとんど圧縮されていないので、図３（ｂ）に示すように特性を変換することで、視認性がよく表示処理に適している画像信号となる。
【００２８】
以上のような処理を行うことで、特性変更手段１０２（図１）は表示用画像を生成するカメラ信号処理手段１０３（図１）には図３（ｂ）で示すような表示処理に適した画像信号を出力して、認識処理を行う認識手段１０５（図１）には図３（ｃ）と図３（ｄ）で示すような認識処理に適した画像信号を出力することで、各処理に適した特性を持つ画像信号を入力することができる。
【００２９】
図４は認識手段１０５（図１）の認識処理結果を説明する図である。図４は暗いトンネルの中と明るい外が画像の中に混在する逆光シーンを撮影した場合の認識手段１０５に入力する画像信号を示している。ハッチングで示される領域はトンネル内の低輝度領域を示しており、領域Aはトンネルの外の高輝度領域を示している。車１は暗いトンネル内に存在する車を示しており、車２は明るい外に存在する車を示している。ダイナミックレンジの広い画像信号には低輝度領域の信号も高輝度領域の信号も存在しているため、認識手段１０５（図１）は低輝度領域の車１と高輝度領域の車２を両方認識することができる。しかし表示機器を通してユーザが出力画像を確認する場合、表示機器のダイナミックレンジが固定されているため、ダイナミックレンジの広い画像信号を全て表示できない。このため線形特性を持った撮像素子で撮影した場合に比べて階調が圧縮される領域が存在するため、視認性が悪くなる場合がある。このような弊害を避けるために、本実施例では認識手段１０５（図１）が認識した被写体の位置座標を出力して、表示用画像を別ブロックのカメラ信号処理手段で生成する構成とした。
【００３０】
図５はカメラ信号処理手段１０３（図１）が出力する表示用画像を説明する図である。図５は図４と同じ逆光シーンを撮影した場合の表示用画像を示している。表示用画像は図３の範囲ｂで示すような画像信号から生成することで、領域Ａのような高輝度領域が白とびしてしまうものの階調が圧縮されていないため、表示機器を通してユーザが画像を確認する場合にも視認性を良好に保つことができる。
【００３１】
図６は表示用画像に認識情報を付加する方法を説明する図である。図６（ａ）と図６（ｂ）は図４と同じ逆光シーンを撮影した場合の出力画像の一例をそれぞれを示している。
【００３２】
図６（ａ）は車１と車２の位置座標に対応する表示用画像上の位置に検出枠を重ねて表示している。また被写体を認識したことがわかるような色によるマスキングや文字を重ねて表示してもよい。このような処理を行うことで、被写体を認識したという結果をユーザに簡単に示すことができる。
【００３３】
図６（ｂ）は車１と車２の位置座標に対応する表示用画像上の位置に特定のパターン画像を重ねて表示している。特定のパターン画像とは認識した被写体の特徴を表すものであればよく、例えばパターンマッチング法等の認識処理で使用する被写体の参照画像や認識した被写体が含まれる画像領域だけを表示に適した形で変換して表示してもよい。このような処理を行うことで、認識した被写体の大きさや色や向き等の特徴を具体的にユーザに提供することができる。
【００３４】
このような構成にすることで、領域Ａのような白とびするような画像領域に目的の被写体が存在するためにユーザ自身の目で被写体を確認できないシーンであっても、出力画像の視認性を維持しつつ、被写体の認識結果を出力画像上に表示することで確認することができる。
【００３５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３６】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００３７】
101  撮像装置
102  特性変更手段
103  カメラ信号処理手段
104  出力手段
105  認識手段
106  情報付加手段
【図１】
2012138723.tif 000003
【図２】
2012138723.tif 000004
【図３（ａ）】
2012138723.tif 000005
【図３（ｂ）】
2012138723.tif 000006
【図３（ｃ）】
2012138723.tif 000007
【図３（ｄ）】
2012138723.tif 000008
【図４】
2012138723.tif 000009
【図５】
2012138723.tif 000010
【図６（ａ）】
2012138723.tif 000011
【図６（ｂ）】
2012138723.tif 000012