(57)【要約】【課題】送受信時に簡易な方法で変換および復元可能な情報をアナログの画像信号に付加する。【解決手段】画像処理装備１４は取得部１９と画像処理部２０と出力部２１とを有する。取得部１９は撮像画像を取得する。画像処理部２０は使用領域以外の第１の領域および第２の領域それぞれに位置信号を付加する。使用領域は撮像画像内にある。第１の領域は撮像画像における第１の方向に沿って延在する。第２の領域は撮像画像における第２の方向に沿って延在する。位置信号は使用領域内の任意の位置を示す。出力部２１は位置信号が付加された撮像画像を出力する。【選択図】図２
2018121160.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得する取得部と、
前記撮像画像における使用領域以外の、該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに、前記使用領域内の任意の位置を示す位置信号を付加する画像処理部と、
前記位置信号が付加された前記撮像画像を出力する出力部と、を備える
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記任意の位置は、前記第１の領域に付加された信号の位置を通る前記第２の方向に平行な直線と、前記第２の領域に付加された信号の位置を通る前記第１の方向に平行な直線との交点である
画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像処理部は、前記第１の領域および前記第２の領域の少なくともいずれかにおいて、前記任意の位置を示す複数の位置信号を付加する
画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記画像処理部は、前記第１の領域および前記第２の領域の少なくともいずれかにおいて、任意の幅を有する前記任意の位置を示すように前記位置信号を付加する
画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置において、
前記画像処理部は、前記使用領域内で任意の対象物を認識し、
前記任意の位置は、前記使用領域内における前記任意の対象物の位置である
画像処理装置。
【請求項６】
撮像により撮像画像を生成する撮像部と、
前記撮像画像における使用領域以外の、該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに、前記使用領域内の任意の位置を示す位置信号を付加する画像処理部と、前記位置信号が付加された前記撮像画像を出力する出力部と、を有する画像処理装置と、を備える
撮像装置。
【請求項７】
撮像により撮像画像を生成する撮像部と、前記撮像画像における使用領域以外の該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに前記使用領域内の任意の位置を示す位置信号を付加する画像処理部ならびに前記位置信号が付加された前記撮像画像を出力する出力部を含む画像処理装置と、を有する撮像装置を備える
移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および移動体に関するものである。
【背景技術】
【０００２】
被写体の撮像により生成される画像信号に対して、当該画像信号に対応する多様な状報が存在する。生成された画像信号はＮＴＳＣやＰＡＬなどの規格に応じたアナログ信号として送信され、多様な情報はデジタルデータとして送信されることが一般的である。
【０００３】
構成の簡潔化および製造コストの低減のために、多様な情報も映像規格に応じた画像信号の内部に付加することが考えられている。例えば、ステレオ撮像する複数の撮像装置が撮像した複数の画像において互いに重ならない領域に対応する画像データの領域に、画像データを補正するパラメータを記録させる撮像装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０５４０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の撮像装置では、パラメータの画像データへの埋め込み態様への変換と、撮像装置から画像データを受信する検出装置において画像データの埋め込み態様からのパラメータの復元が必要であった。
【０００６】
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、送受信時に簡易な方法で変換および復元可能な情報を所定の規格のアナログの画像信号に付加する画像処理装置、撮像装置、および移動体を提供することにある。
【課題を解決するための手段】
【０００７】
上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像画像を取得する取得部と、
前記撮像画像における使用領域以外の、該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに、前記使用領域内の任意の位置を示す位置信号を付加する画像処理部と、
前記位置信号が付加された前記撮像画像を出力する出力部と、を備える。
【０００８】
また、第２の観点による撮像装置は、
撮像により撮像画像を生成する撮像部と、
前記撮像画像における使用領域以外の、該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに、前記使用領域内の任意の位置を示す位置信号を付加する画像処理部と、前記位置信号が付加された前記撮像画像を出力する出力部と、を有する画像処理装置と、を備える。
【０００９】
また、第３の観点による移動体は、
撮像により撮像画像を生成する撮像部と、前記撮像画像における使用領域以外の該撮像画像における第１の方向に沿って延在する第１の領域および該撮像画像における第２の方向に沿って延在する第２の領域それぞれに前記使用領域内の任意の位置を示す位置信号を付加する画像処理部ならびに前記位置信号が付加された前記撮像画像を出力する出力部を含む画像処理装置と、を有する撮像装置を備える。
【発明の効果】
【００１０】
上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、送受信時に簡易な方法で変換および復元可能な情報を所定の規格のアナログの画像信号に付加し得る。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る画像処理装置を含む撮像装置の移動体における搭載位置を示す配置図である。
【図２】図１の撮像装置の概略構成を示す機能ブロック図である。
【図３】図２の撮像素子の受光面の構造を示す正面図である。
【図４】撮像画像内の第１の領域および第２の領域の位置を説明するための図である。
【図５】任意の位置を点として表わすときの撮像画像内で位置信号が付加される画素の位置を説明するための図である。
【図６】任意の位置を領域として表わすときの撮像画像内で位置信号が付加される画素の位置を説明するための図である。
【図７】任意の位置を領域として表わすときの撮像画像内で変形例により位置信号が付加される画素の位置を説明するための図である。
【図８】複数の任意の位置を点として表わすときの撮像画像内で位置信号が付加される画素の位置を説明するための図である。
【図９】図２の画像処理部が実行する付加処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。
【００１３】
図１に示すように、本開示の第１の実施形態に係る画像処理装置を含む撮像装置１０は、例えば、移動体１１の前方の被写体を撮像可能なように、フロントシールド１２の上方の中央近傍に取付けられている。
【００１４】
移動体１１は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
【００１５】
図２に示すように、撮像装置１０は、撮像部１３および画像処理装置１４を含んで構成されている。撮像部１３は、撮像により撮像画像を生成し、撮像画像に相当する画像信号を画像処理装置１４に送信する。画像処理装置１４は、撮像部１３から受信する画像信号に所定の画像処理を施して、外部機器１５に送信する。
【００１６】
撮像部１３は、光学系１６、撮像素子１７、およびＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１８を有している。
【００１７】
光学系１６は、レンズなどの光学素子によって構成されている。光学系１６は、画角、被写界深度などの光学特性が所望の値となるように設計され、形成されている。光学系１６は被写体像を結像させる。
【００１８】
撮像素子１７は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサおよびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。撮像素子１７は所望の距離の被写体に対する光学系１６の結像位置に配置されている。撮像素子１７は、光学系１６が結像させる被写体像を撮像する。撮像素子１７は撮像により撮像画像を画像信号として生成する。
【００１９】
図３に示すように、撮像素子１７の受光面ＩＣＳには、矩形の受光領域ＩＣＡ、および受光領域ＩＣＡを四方から囲う黒色領域ＯＢＡが設けられている。受光領域ＩＣＡに配置される各画素は受光量に応じた画素信号を生成する。黒色領域ＯＢＡに配置される各画素は受光面が遮光されており、光学的黒に相当する画素信号を生成する。
【００２０】
ＡＦＥ１８は、撮像素子１７から取得する撮像画像に対してＣＤＳ／ＳＨ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ／Ｓａｍｐｌｅ  ａｎｄ  Ｈｏｌｄ）処理、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）処理、およびＡＤ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換処理を施す。なお、撮像素子１７がＣＭＯＳイメージセンサである構成においては、ＡＦＥ１８は撮像素子１７に内臓されていてもよい。
【００２１】
図２において、画像処理装置１４は、取得部１９、画像処理部２０、および出力部２１を有している。
【００２２】
取得部１９は、ＡＦＥ１８からデジタルデータである撮像画像を取得する。
【００２３】
画像処理部２０は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を含んでよい。画像処理部２０は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ  Ｉｎ  ａ  Ｐａｃｋａｇｅ）のいずれかであってもよい。
【００２４】
画像処理部２０は、ホワイトバランス処理および色補間処理などの所定の前段画像処理を施す。さらに、画像処理部２０は、前段画像処理を施した撮像画像にγ補正などの後段画像処理を施す。
【００２５】
また、画像処理部２０は、前段画像処理を施した撮像画像に対して画像解析を行い、撮像画像の使用領域内に任意の対象物の存在の有無を判別する。
【００２６】
使用領域とは、撮像装置１０の外部機器１５が撮像画像の中で用いる領域である。例えば、外部機器１５が表示装置である構成においては、使用領域は、撮像画像全体の中で表示装置が表示する領域である。なお、受光領域ＩＣＡに相当する撮像画像の領域が、使用領域よりも大きくなるように、光学系１６および撮像素子１７は構成されている。
【００２７】
任意の対象物は、撮像装置１０が用いられる目的に応じて決められる。第１の実施形態において、任意の対象物は、例えば、人および車である。画像処理部２０は、任意の対象物が存在すると判別するとき、撮像画像内の任意の対象物を認識する。
【００２８】
画像処理部２０は、認識した任意の対象物の、使用領域内における任意の位置を特定する。任意の位置は、認識した任意の対象物の像の重心位置などの一点を表わしてもよいし、当該像の任意の広さの領域を表わしてもよい。
【００２９】
画像処理部２０は、後段画像処理を施した撮像画像における使用領域以外の第１の領域および第２の領域に、認識した任意の対象物の、使用領域内の任意の位置を特定する位置信号を付加する。位置信号の付加は、以下に詳細に説明される。
【００３０】
図４に示すように、第１の領域Ａ１および第２の領域Ａ２は、撮像画像ＣＩ内において撮像素子１７の黒色領域ＯＢＡに相当する領域ｃＯＢＡ内に位置する。本実施形態において、第１の領域Ａ１は撮像画像ＣＩを第２の方向に沿って挟む両端において、第１の方向に延在する。第２の領域Ａ２は撮像画像ＣＩを第１の方向に挟む両端において、第２の方向に延在する。第１の実施形態において、第１の方向および第２の方向はそれぞれ行方向および列方向である。
【００３１】
図５に示すように、画像処理部２０は、認識した任意の対象物の第１の方向における位置ｐ１と同じ位置である第１の領域Ａ１内の画素ｐｘ１に相当する画素信号に、所定の信号値を位置信号として付加する。所定の信号値は、アナログ信号に変換後も他の第１の領域Ａ１における他の画素に相当する画素信号の信号値とは区別可能な値である。第１の領域Ａ１は黒色であるため、第１の領域Ａ１内の画素における画素信号の信号強度はゼロまたはゼロに近い値である。それゆえ、所定の信号値はゼロと区別可能な値である。第１の実施形態においては、所定の信号値は、デジタルの画像信号の階調の最大値（８ビットの画像信号に対しては２５５）である。
【００３２】
なお、画像処理部２０が任意の位置が当該像の任意の広さの領域を表わすとき、以下に説明するように、撮像画像ＣＩに位置信号を付加する。図６に示すように、画像処理部２０は、当該像の第１の方向における両端の２箇所と同じ位置である第１の領域Ａ１内の２画素ｐｘ１に相当する画素信号に所定の信号値を付加する。または、図７に示すように、画像処理部２０は、当該像の第１の方向における両端の２箇所と同じ位置である第１の領域Ａ１内の２画素ｐｘ１に挟まれる全画素に相当する画素信号に所定の信号値を付加する。言い換えると、当該全画素に相当する画素信号に付加した信号値は、当該像の第１の方向における任意の幅を有する任意の位置を示す。
【００３３】
また、図５に示すように、画像処理部２０は、認識した任意の対象物の第２の方向における位置と同じ位置である第２の領域Ａ２内の画素ｐｘ２に相当する画素信号に、所定の信号値を位置信号として付加する。第２の領域Ａ２において位置信号として付加する態様は、前述の第１の領域Ａ１における位置信号の付加の態様と類似している。
【００３４】
したがって、任意の対象物の任意の位置は、第１の領域Ａ１において位置信号が付加された画素信号に相当する画素ｐｘ１の位置を通る第２の方向に平行な直線ｓｌ１と、第２の領域Ａ２において位置信号が付加された画素信号に相当する画素ｐｘ２の位置を通る第１の方向に平行な直線ｓｌ２との交点である。
【００３５】
なお、画像処理部２０は、複数の任意の対象物を認識したとき、第１の領域Ａ１内で、当該任意の対象物の任意の位置毎に第２の方向における位置を変えた画素の画素信号に位置信号を付加する。例えば、図８に示すように、画像処理部２０は、２つの任意の対象物を認識したとき、一方の対象物の任意の位置（ｐ３、ｐ４）に対しては第１の領域Ａ１内の１行目の画素ｐｘ３の画素信号に位置信号を付加し、他方の対象物の任意の位置（ｐ５、ｐ６）に対しては第１の領域Ａ１内の２行目の画素ｐｘ４の画素信号に位置信号を付加する。なお、それぞれの位置信号を付加する画素信号の画素の第１の方向における位置は上述のとおりである。
【００３６】
また、画像処理部２０は、複数の任意の対象物を認識したとき、第２の領域Ａ２内で、当該任意の対象物毎に第１の方向における位置を変えた画素の画素信号に位置信号を付加する。例えば、画像処理部２０は、２つの任意の対象物を認識したとき、一方の対象物の任意の位置（ｐ３、ｐ４）に対しては第２の領域Ａ２内の１列目の画素ｐｘ５の画素信号に位置信号を付加し、他方の対象物の任意の位置（ｐ５、ｐ６）に対しては第２の領域Ａ２内の２列目の画素ｐｘ６の画素信号に位置信号を付加する。なお、それぞれの位置信号を付加する画素信号の画素の第２の方向における位置は上述のとおりである。
【００３７】
このような構成において、第１の領域Ａ１内の第２の方向における任意の位置と、第２の領域Ａ２内の第１の方向における任意の位置とを１対１の関係で組合わせることにより、各組合せによって複数の任意の位置が示される。
【００３８】
さらに、画像処理部２０は、使用領域内の任意の位置を特定する位置信号を付加した撮像画像ＣＩをデジタルからアナログに変換する。
【００３９】
図２に示すように、出力部２１は、アナログに変換された撮像画像ＣＩを外部機器１５に出力する。
【００４０】
外部機器１５は、取得した撮像画像ＣＩから位置信号を抽出し、外部機器１５が有する機能を発揮させるために用いる。例えば、外部機器１５は表示装置である。表示装置は撮像画像ＣＩを表示中に任意の対象物が撮像されるとき、当該任意の対象物にマーカを重畳する機能を有している。表示装置は、当該マーカの重畳位置を決めるために、位置信号を用いる。
【００４１】
次に、第１の実施形態において画像処理部２０が実行する、位置信号の付加処理について、図９のフローチャートを用いて説明する。付加処理は、撮像部１３から１フレームの撮像画像ＣＩを取得するとき開始する。
【００４２】
ステップＳ１００において、画像処理部２０は、取得した撮像画像ＣＩに前段画像処理を施す。前段画像処理の実施後、プロセスはステップＳ１０１に進む。
【００４３】
ステップＳ１０１では、画像処理部２０は、ステップＳ１００において前段画像処理を施した撮像画像ＣＩに後段画像処理を施す。後段画像処理の実施後、プロセスはステップＳ１０２に進む。
【００４４】
ステップＳ１０２では、画像処理部２０は、ステップＳ１００において前段画像処理を施した撮像画像ＣＩの画像解析を行い、使用領域に任意の対象物が存在するか否かを判別する。任意の対象物が存在するとき、プロセスはステップＳ１０３に進む。任意の対象物が存在しないとき、プロセスはステップＳ１０４に進む。
【００４５】
ステップＳ１０３では、画像処理部２０は、ステップＳ１０１において後段画像処理を施した撮像画像ＣＩに、ステップＳ１０２において存在を確認した任意の対象物の位置を示す位置信号を付加する。位置信号の付加後、プロセスはステップＳ１０４に進む。
【００４６】
ステップＳ１０４では、画像処理部２０は、ステップＳ１０１において後段画像処理を施した撮像画像ＣＩ、またはステップＳ１０３において位置信号を付加した撮像画像ＣＩを出力部２１に送る。出力部２１に撮像画像ＣＩを送信後、付加処理が終了する。
【００４７】
以上のような構成の第１の実施形態の画像処理装置１４では、第１の領域Ａ１および第２の領域Ａ２に、任意の位置を示す位置信号を付加している。第１の領域Ａ１および第２の領域Ａ２それぞれに付加される位置信号の位置そのものが、任意の位置の一部を示しているので、位置を示す情報の変換および復元は不要である。したがって、画像処理装置１４は、画像信号に付加する情報の変換および復元を簡易化し得る。
【００４８】
また、第１の実施形態の画像処理装置１４では、第１の領域Ａ１に付加された信号の位置から第２の方向に平行な直線ｓｌ１と、第２の領域Ａ２に付加された信号の位置から第１の方向に平行な直線ｓｌ２との交点として任意の位置を示している。このような構成により、画像処理装置１４は、任意の位置を点として示し得る。
【００４９】
また、第１の実施形態の画像処理装置１４では、第１の領域Ａ１および第２の領域Ａ２の少なくともいずれかにおいて、任意の位置を示す複数の位置信号を付加している。このような構成により、画像処理装置１４は、任意の位置を直線または２次元の面として示し得る。
【００５０】
また、第１の実施形態の画像処理装置１４では、第１の領域Ａ１および第２の領域Ａ２の少なくともいずれかにおいて、任意の幅を有する任意の位置を示すように位置信号を付加している。このような構成により、画像処理装置１４は、任意の位置を直線または２次元の面として示し得る。
【００５１】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【００５２】
本実施形態において、位置信号に相当する任意の位置は認識した任意の対象物の使用領域内における位置を特定するが、任意の対象物の位置に限定されない。例えば、位置信号に相当する任意の位置が、撮像画像ＣＩにおける使用領域の基準位置または使用領域そのものの位置を特定してもよい。このような構成により、光学系１６および撮像素子１７の製造誤差および取付け誤差により生じる画像の位置ズレが解消され得る。
【００５３】
本実施形態において、任意の位置を直線または２次元の面として表わすとき、第１の方向および第２の方向の少なくともいずれかにおける２箇所を示す位置に位置信号が付加されるが、２箇所に限定されない。領域内の複数の位置を示す複数の位置信号が付加されてもよい。
【符号の説明】
【００５４】
１０  撮像装置
１１  移動体
１２  フロントシールド
１３  撮像部
１４  画像処理装置
１５  外部機器
１６  光学系
１７  撮像素子
１８  ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）
１９  取得部
２０  画像処理部
２１  出力部
Ａ１、Ａ２  第１の領域、第２の領域
ＣＩ  撮像画像
ｃＯＢＡ  撮像画像内において黒色領域に相当する領域
ＩＣＡ  受光領域
ＩＣＳ  受光面
ＯＢＡ  黒色領域
ｓｌ１  第１の領域において位置信号が付加された画素信号に相当する画素の位置を通る第２の方向に平行な直線
ｓｌ２  第２の領域において位置信号が付加された画素信号に相当する画素の位置を通る第１の方向に平行な直線
ｐｘ１  認識した任意の対象物の第１の方向における位置と同じ位置である第１の領域内の画素
ｐｘ２  認識した任意の対象物の第２の方向における位置と同じ位置である第２の領域内の画素
【図１】
2018121160.tif 000003
【図２】
2018121160.tif 000004
【図３】
2018121160.tif 000005
【図４】
2018121160.tif 000006
【図５】
2018121160.tif 000007
【図６】
2018121160.tif 000008
【図７】
2018121160.tif 000009
【図８】
2018121160.tif 000010
【図９】
2018121160.tif 000011