(57)【要約】【目的】人間や犬などの動物の形に模して作られたロボット装置などに備え付けることができ、対象物の形状及び視野内の位置を検出する撮像系と対象物までの距離を測定する距離検出系間で視差のない画像検出装置を提供する。【解決手段】撮像センサを、外光三角測距の原理に基づき対象物までの距離を検出するための２つの距離検出用センサと同じ半導体基板上に形成して光センサチップとなし、この光センサチップを結像光学系と組み合わせる。この構成により視差を解消することができる。また、撮像センサと距離検出センサの同期を容易にとることができ、両者の認識する対象物のずれをなくすことができる。【選択図】        図１
2004362339.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物の画像を画像入力する撮像センサと前記対象物から放射または反射される光束のうちの互いに異なる部分の光束がそれぞれ投影される２つの距離検出用センサを同一半導体基板上に形成した光センサチップ，筐体および前記撮像センサと前記２つの距離検出用センサに前記測定対象物の画像をそれぞれ投影するための結像光学系を有し、前記光センサチップを前記筐体に固定するとともに、前記筐体と前記結像光学系を一体化したことを特徴とする画像検出装置。
【請求項２】
前記結像光学系が３つのレンズを一体成形したレンズ部と絞り部とからなることを特徴とする請求項１に記載の画像検出装置。
【請求項３】
前記レンズ部と絞り部が接着されていることを特徴とする請求項２に記載の画像検出装置。
【請求項４】
前記レンズ部と前記絞り部が同一の材料により成形され、該レンズ部と絞り部が溶着されていることを特徴とする請求項２に記載の画像検出装置。
【請求項５】
前記筐体が前記絞り部と接着されていることを特徴とする請求項２ないし４のいずれかに記載の画像検出装置。
【請求項６】
前記筐体と前記絞り部が同一の材料により成形され、該筐体部と絞り部が溶着されていることを特徴とする請求項２ないし４のいずれかに記載の画像検出装置。
【請求項７】
前記２つの距離検出用センサが、一対のラインセンサであることを特徴とする請求項１ないし６のいずれかに記載の画像検出装置。
【請求項８】
前記２つの距離検出用センサが、それぞれ複数列のラインセンサをからなることを特徴とする請求項１ないし６のいずれかに記載の画像検出装置。
【請求項９】
前記撮像センサおよび前記２つの距離検出用センサの積分動作を同時に開始することを特徴とする請求項１ないし８のいずれかに記載の画像検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばロボットなどに適用し、対象物の特定に適用することのできる画像検出装置に関する。
【０００２】
【従来の技術】
近年、人間や犬などの動物の形状に模して作られたロボット装置が提供されている（例えば、特許文献１参照）。これらのロボット装置は対象物を認識するための画像検出装置が備えられている。これについて図６および図７により説明する。図６は人間型ロボット装置の頭部１０１を側面から見た断面図であり、頭部１０１に撮像素子１０２およびその結像光学系１０３，距離検出センサ１０４およびその結像光学系１０５を内蔵していて、これらが画像検出装置を構成している。撮像素子１０２と距離検出センサ１０４は電気的には図６に示すように信号処理回路１０６に接続されていて、信号処理回路１０７はバスライン１０７を介してＣＰＵ１０８やメモリ１０９に接続されている。撮像素子１０２はロボット装置の視野内にある対象物１１０の形状および視野内の位置を特定するために用いられ、距離検出センサ１０４は撮像素子１０７により特定された対象物１１０までの距離を検出するために用いられる。
【０００３】
【特許文献１】
特開２００２−１２０１７８号公報
【０００４】
【発明が解決しようとする課題】
上述のように撮像素子１０２と距離検出センサ１０４は互いに連携をとって画像検出装置を構成しているが、図５および図６に示すようにこれらは離間して設置されていて、両者の結像光学系光軸合わせの調整が煩雑でかつ長期信頼性に難があり、特に近距離の対象物に対しては両者の視差が無視できなくなるという問題があった。
そこで、本発明は上記課題を解決するためになされたものであり、その目的は、撮像素子１０２と距離検出センサ１０４の視差および結像光学系光軸位置合わせの煩雑さを解消した画像検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
そこで、上記課題を解決するために、請求項１に係る発明は測定対象物の画像を画像入力する撮像センサと前記対象物から放射または反射される光束のうちの互いに異なる部分の光束がそれぞれ投影される２つの距離検出用センサを同一半導体基板上に形成した光センサチップ，筐体および前記撮像センサと前記２つの距離検出用センサに前記測定対象物の画像をそれぞれ投影するための結像光学系を有し、前記光センサチップを前記筐体に固定するとともに、前記筐体と前記結像光学系を一体化したことを特徴とする。
【０００６】
請求項２に係る発明は、請求項１に係る発明において、前記結像光学系が３つのレンズを一体成形したレンズ部と絞り部とからなることを特徴とする。
請求項３に係る発明は、請求項２に係る発明において、前記レンズ部と絞り部が接着されていることを特徴とする。
請求項４に係る発明は、請求項２に係る発明において、前記レンズ部と前記絞り部が同一の材料により成形され、該レンズ部と絞り部が溶着されていることを特徴とする。
請求項５に係る発明は、請求項２ないし４のいずれかに係る発明において、前記筐体が前記絞り部と接着されていることを特徴とする。
【０００７】
請求項６に係る発明は、請求項２ないし４のいずれかに係る発明において、前記筐体と前記絞り部が同一の材料により成形され、該筐体部と絞り部が溶着されていることを特徴とする。
請求項７に係る発明は、請求項１ないし６のいずれかに係る発明において、前記２つの距離検出用センサが、一対のラインセンサであることを特徴とする。
請求項８に係る発明は、請求項１ないし６のいずれかに係る発明において、前記２つの距離検出用センサが、それぞれ複数列のラインセンサをからなることを特徴とする。
【０００８】
請求項９に係る発明は、請求項１ないし８のいずれかに係る発明において、前記撮像センサおよび前記２つの距離検出用センサの積分動作を同時に開始することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図に沿って本発明の実施形態を説明する。
図１は、本発明の実施の形態を示す外形斜視図である。また、図２は図１に示す装置をＸ−Ｘ面で切断した断面図を示す。本実施形態の画像検出装置は、レンズ１１，１２，１３を一体成形したレンズ部１０，絞り部２０および筐体３０を有し、レンズ部１０，絞り部２０および筐体３０は接着または溶着にて一体化された構造となっている。また、レンズ部１０および絞り部２０が結像光学系を構成している。筐体３０には撮像センサ４１および距離検出用センサ４２，４３を同一半導体基板に形成した光センサチップ４０が固定されていて、光センサチップ４０は筐体３０のリード部３１に図示しないワイヤ等の手段で電気的に接続されている。撮像方向（の中心）は撮像センサ４１のセンターとレンズ１２のセンターを結ぶ直線であり、測距方向（の中心）はレンズ１１，１３のセンターを結ぶ線分の中点と距離検出用センサ４２，４３のセンターを結ぶ線分の中点を結ぶ直線であるから、本発明により撮像方向と測距方向を完全に一致させることができ、すなわち視差が解消することができる。
【００１０】
光センサチップ３０の構成を図３に示す。光センサチップは撮像センサ４１および距離検出用センサ４２，４３以外に制御部４４を有していて、制御部４４は撮像センサ４１と距離検出用センサ４２，４３の制御とデータの読み出し、および光検出装置外とのインターフェースを行う。撮像センサ４１はＣＣＤもしくはＣＭＯＳ技術によるエリアセンサであり、距離検出センサ４２，４３はそれぞれｎ列のラインセンサ４２１，４２２，・・・，４２ｎおよび４３１，４３２，・・・，４３ｎから構成されている。これらのラインセンサもＣＣＤもしくはＣＭＯＳ技術によるものである。このように、複数のラインセンサで距離検出を行うことにより、撮像センサ４１とほぼ同じ視野範囲について対象物に対する距離測定が可能になる。また、本実施形態の画像検出装置の適用対象によっては、ラインセンサの列の数や列の長さを減らして、最少１列のラインセンサによって距離検出用センサ４２，４３を構成してもよい。この場合、測距視野が撮像センサ４１の視野に比して限定されてくるが、光センサチップの良品率を上げることができる。
【００１１】
筐体３０は透明樹脂モールドにより成形されたものを例として図示しているが、これに限定するものではない。セラミックパッケージやプリモールド樹脂パッケージなどの中空パッケージにガラス板や透明樹脂板で蓋をしたものでもよい。中空パッケージの中に透明樹脂やゲルなどを充填してもよい。また、絞り部およびレンズ部を蓋として考え、ガラス板や透明樹脂板を省略してもよい。絞り部２０は樹脂モールドにより成形されていて、図２に示すように内部に絞りを兼ねた仕切り部２１，２２を有している。これによりレンズ１１と距離検出用センサ４２、レンズ１２と撮像センサ４１、レンズ１３と距離検出用センサ４３という３つの組み合わせがそれぞれ相互干渉のない独立した光学系として機能できる。レンズ１０は透明樹脂を成形したものである。レンズ部１０と絞り部２０、絞り部２０と筐体３が同一材料からなり溶着が可能な組み合わせであれば溶着され、そうでなければ接着される。レンズ１２と撮像センサ４１の組み合わせは図６の撮像素子１０２およびその結像光学系１０３に相当し、レンズ１１と距離検出用センサ４２およびレンズ１３と距離検出用センサ４３という組み合わせは図６の距離検出センサ１０４およびその結像光学系１０５に相当する。また、撮像センサ４１および距離検出用センサ４２，４３が同一半導体基板に形成されて光センサチップ４０を構成し、レンズ１１，１２，１３が一体になってレンズ部１０を構成しているので、光センサチップ４０とレンズ部１０（もしくはレンズ部１０と絞り部２０を結合させた結像光学系）の２つの部材を調整して一つの光学系を構成させれば良く、従来例のように複数の光学系があることに起因する調整の煩雑さ及び信頼性に関する課題を解消することができる。
【００１２】
ここで、レンズ１１，１３および距離検出用センサ４２，４３に適用される三角測距の原理について説明する。
図４は、三角測距の原理に基づく距離測定原理図である。被写体５５の光がレンズ５１、５２を通して、フォトセンサアレイ５３、５４上に被写体像５６、５７として結像する。点Ｐ６、点Ｐ７は、正面の無限遠からレンズ５１、５２の中心点Ｐ２、Ｐ３を通過する光線（光軸５８、５９）とフォトセンサアレイ５３、５４との交点である。点Ｐ６と点Ｐ７の間の距離すなわち光軸５８，５９間距離である基線長をＢ、フォトセンサアレイ５３、５４とレンズ５１、５２との距離をｆ（レンズ５１、５２の焦点距離と略等しい）とする。また、光軸５８、５９からの被写体像５６、５７のずれをＸ１、Ｘ２とし、このＸ１とＸ２を足した長さをＸとする。尚、６１は測定系を示す。
【００１３】
ここで三角Ｐ１Ｐ２Ｐ４と三角形Ｐ２Ｐ５Ｐ６および三角形Ｐ１Ｐ４Ｐ３と三角形Ｐ３Ｐ７Ｐ８はそれぞれ相似であることから、被写体５５までの距離ｄは次式で求められる。
【００１４】
【数１】
ｄ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）＝Ｂ・ｆ／Ｘ
Ｘは被写体５５が無限遠にあるとき、すなわち二つの被写体像５６、５７がレンズ５１、５２の光軸５８、５９とフォトセンサアレイの交点にある場合を基準とした２像の相対変位である。Ｂとｆは定数であるので、Ｘを検出することで距離ｄを求めることができる。また、詳細な説明は省略するが、フォトセンサアレイ５３，５４において検出に使われるエリアを限定し、当該エリアの位置を指定する（例えば図４に示すフォトセンサアレイの５３，５４の最上端の一部を検出エリアとして指定する）ことにより、任意方向の距離測定が可能になる。これは図３でいえば、横方向の角度を指定できることに相当する。フォトセンサアレイ５３，５４はそれぞれ図４に示すラインセンサ４２１，４２２，・・・，４２ｎおよび４３１，４３２，・・・，４３ｎのうちのどのラインセンサでもよく、図３の縦方向については、ラインセンサ４２１，４２２，・・・，４２ｎおよび４３１，４３２，・・・，４３ｎのうちどのラインセンサを選択するかで、測距方向を指定できる。すなわち、複数のラインセンサにより、測距方向を２次元的に変更することができる。
【００１５】
図４を見てわかるように、フォトセンサアレイ５３，５４の中間は特に意味のないスペースであり、距離測定の精度を上げるため基線長Ｂを大きくするとこのスペースも広くなる。本発明はこのスペースに撮像センサ４１を形成させるようにして、基線長Ｂを撮像素子４１が形成できる程度に大きくして距離検出精度を向上させるとともに、撮像系と距離測定系の視差を解消するものである。さらにデッドスペースを有効活用できるという効果も生じる。
図５にラインセンサ４２１，４２２，・・・，４２ｎおよび４３１，４３２，・・・，４３ｎの構成の一例を示すが、センサの構成としてはこれに限定されるものではなく、上述のようにＣＣＤ技術によるものでもよい。
【００１６】
図５に示すラインセンサは電荷蓄積型の光電変換素子を備えた光センサ回路をアレイ状に並べたものであり、これらの光センサ回路では、映像データをえるため光電荷を一定時間積分する。その積分時間を決めるため、各光センサ回路の中で最も受光量の多い、すなわち最も出力の大きい光センサ回路のデータに相当するデータをモニタ出力している。一般的には、このようなモニタ出力をピーク出力と呼んでいる。
具体的には、光を検知するフォトダイオード７１１〜７１ｍ、オペアンプ７２１〜７２ｍと積分容量７３１〜７３ｍからなる積分回路、積分回路をリセットするスイッチ７４１〜７４ｍ、オペアンプ７２１〜７２ｍの出力Ｖ１〜Ｖｍをゲートに入力し、ドレインをＧＮＤに接続したＰ型トランジスタ７５１〜７５ｍ、前述のピークをモニタする回路用の定電流源７６から構成されている。フォトダイオード７１１〜７１ｍはラインセンサの列方向に連続して並べて形成され、フォトダイオードアレイを形成している。このフォトダイオードアレイが図３に示すラインセンサ４２１，４２２，・・・，４２ｎおよび４３１，４３２，・・・，４３ｎの受光領域となる。ピークをモニタするための回路は、各オペアンプ７２１〜７２ｍの出力Ｖ１〜Ｖｍをそれぞれトランジスタ７５１〜７５ｍによって構成されるソースフォロア回路に入力し、その各出力を接続したものである。
【００１７】
次に、本回路の動作を説明する。動作の初期としてスイッチ７４１〜７４ｍをＯＮさせる。すると各光センサ回路のオペアンプ７２１〜７２ｍの出力Ｖ１〜ＶｍはＶＲＥＦとなり、また、モニタ出力Ｖｐｅａｋは（ＶＲＥＦ＋Ｐ型トランジスタのＶｔｈ値）にほぼ近い値となる。その後、スイッチ７４１〜７４ｍを一斉に０ＦＦさせると、フォトダイオード７１１〜７１ｍで発生した光電荷はそれぞれ積分容量７３１〜７３ｍに積分されオペアンプ７２１〜７２ｍの出力Ｖ１〜Ｖｍはそれぞれそのフォトダイオード７１１〜７１ｍが受光した光量に応じて下降する。すると、モニタ出力Ｖｐｅａｋはオペアンプ７２１〜７２ｍの出力Ｖ１〜Ｖｍの最大値（この場合最も下降している出力）に追従して下降する。
【００１８】
制御部４４はＶ１〜Ｖｍを距離検出用センサの出力として読み取り、またモニタ出力Ｖｐｅａｋにより距離検出用センサの積分制御を行う。また、撮像センサ４１および距離検出用センサ４２，４３の積分動作を同時に開始させて、全体の積分制御をモニタ出力Ｖｐｅａｋに基づき行ってもよい。この場合、あるひとつのラインセンサのＶｐｅａｋ出力を使ってもよいし、複数のセンサアレイのＶｐｅａｋ出力を配線で接続すれば接続されたセンサアレイ全体のピーク出力を得ることができるので、これにより積分制御を行ってもよい。このようにすれば、撮像センサ４１および距離検出用センサ４２，４３の積分動作の同期も自動的にとることができ、撮像センサ４１で認識した対象物と距離検出用センサ４２，４３で認識した対象物がずれることも防止できる。
【００１９】
【発明の効果】
以上説明したように、本発明によれば、同一半導体基板に撮像センサ４１および距離検出用センサ４２，４３を形成して結像光学系と組み合わせることにより、撮像系と距離測定系の視差を解消することができ、さらに撮像センサ４１および距離検出用センサ４２，４３の積分動作の同期が簡単にできる画像検出装置を提供することができる。また、撮像系と距離測定系が分離していないので、ロボット装置に適用する場合、省スペースを実現でき、レイアウト設計の自由度を上げることができる。
【図面の簡単な説明】
【図１】発明の実施の形態を示す外形斜視図である。
【図２】図１に示す装置をＸ−Ｘ面で切断した断面図である。
【図３】光センサチップの構成を説明するための図である。
【図４】三角測距の原理に基づく距離測定原理図である。
【図５】ラインセンサの例を示す回路図である。
【図６】従来の人間型ロボット装置頭部断面図である。
【図７】従来の人間型ロボットにおける画像検出装置を説明するための回路図である。
【符号の説明】
１０              レンズ部
１１，１２，１３  レンズ
２０              絞り部
３０              筐体
４０              光センサチップ
４１              撮像センサ
４２，４３        距離検出用センサ
４４              制御部
【図１】
2004362339.tif 000003
【図２】
2004362339.tif 000004
【図３】
2004362339.tif 000005
【図４】
2004362339.tif 000006
【図５】
2004362339.tif 000007
【図６】
2004362339.tif 000008
【図７】
2004362339.tif 000009