(57)【要約】      （修正有）【課題】距離を高精度に測定できる撮像装置及び撮像装置の距離算出方法の提供。【解決手段】撮像装置は、ＴＯＦカメラ、カラー開口カメラ、第３の距離算出部２２、距離算出手段を備える。ＴＯＦカメラは、光を照射する発光部１０ａ、反射光を受光し第１の画像を取得する第１の撮像部１３ａ、発光部が光を照射してから第１の撮像部が反射光を受光するまでの時間に基づいて第１の画像の被写体までの第１の距離を算出する第１の距離算出部１４ａを有する。カラー開口カメラは、ＴＯＦカメラに併設され光を受光し第２の画像を取得する第２の撮像部１８ｂ、受光した光に基づいて第２の画像の被写体までの第２の距離を算出する第２の距離算出部１９ｂを有する。第３の距離算出部は、第１の画像と第２の画像との視差に基づいて被写体までの第３の距離を算出する。距離算出手段は、第１の距離、第２の距離、及び第３の距離に基づいて被写体までの第４の距離を求める。【選択図】図２
2019066186.tif 000002
【特許請求の範囲】
【請求項１】
光を被写体に照射する発光部と、前記発光部が照射した光の前記被写体からの反射光を
受光し、第１の画像を取得する第１の撮像部と、前記発光部が光を照射してから前記第１
の撮像部が前記被写体からの反射光を受光するまでの時間に基づいて、前記第１の画像の
画素ごとに前記被写体までの第１の距離を算出する第１の距離算出部と、を有するＴＯＦ
カメラと、
前記ＴＯＦカメラに併設され、前記被写体からの光を受光し、第２の画像を取得する第
２の撮像部と、前記第２の撮像部が受光した光に基づいて、前記第２の画像の画素ごとに
前記被写体までの第２の距離を算出する第２の距離算出部と、を有するカラー開口カメラ
と、
前記第１の画像と、前記第２の画像との視差に基づいて画素ごとに前記被写体までの第
３の距離を算出する第３の距離算出部と、
前記第１の距離、前記第２の距離、及び前記第３の距離に基づいて前記被写体までの第
４の距離を算出する距離算出手段と、
を備える撮像装置。
【請求項２】
前記カラー開口カメラは、前記被写体からの光を集光するレンズの開口部に取り付けら
れ、前記被写体までの距離に基づいて画像にボケと色ずれを生じさせる２分割されたカラ
ーフィルタを有し、
前記ＴＯＦカメラと前記カラー開口カメラとは、前記カラーフィルタの分割方向と垂直
な方向に併設されている、
請求項１記載の撮像装置。
【請求項３】
前記距離算出手段は、
前記第１の距離、前記第２の距離、及び前記第３の距離のうちいずれの数値も０でない
有効な数値の場合、前記第１の距離を第４の距離として算出する、
請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記距離算出手段は、
前記第１の距離又は前記第２の距離のどちらか一方の数値が０でない有効な数値で、か
つ前記第３の距離の数値が０でない有効な数値の場合、前記第３の距離を第４の距離とし
て算出する、
請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記距離算出手段は、
前記第１の距離、前記第２の距離、及び前記第３の距離のそれぞれに対し、重み付けし
た値を用いて前記第４の距離を算出する、
請求項１又は請求項２に記載の撮像装置。
【請求項６】
光を被写体に照射する発光部と、前記発光部が照射した光の前記被写体からの反射光を
受光し、第１の画像を取得する第１の撮像部と、を有するＴＯＦカメラと、
前記ＴＯＦカメラに併設されており、前記被写体からの光を集光するレンズの開口部に
、前記被写体までの距離に基づいて画像にボケと色ずれを生じさせる、前記ＴＯＦカメラ
との併設方向に２分割されたカラーフィルタを有し、第２の画像を取得する第２の撮像部
と、を有するカラー開口カメラとを有する撮像装置で、
前記発光部が光を照射してから前記第１の撮像部が前記被写体からの反射光を受光するま
での時間に基づいて、前記第１の画像の画素ごとに前記被写体までの第１の距離を算出し
、
前記第２の撮像部が受光した光に基づいて、前記第２の画像の画素ごとに前記被写体まで
の第２の距離を算出し、
前記第１の画像と、前記第２の画像との視差に基づいて画素ごとに前記被写体までの第
３の距離を算出し、
前記第１の距離、前記第２の距離、及び前記第３の距離に基づいて前記被写体までの第
４の距離を算出する、
撮像装置の距離算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、被写体までの距離画像を取得する撮像装置及び撮像装置の距離算
出方法に関する。
【背景技術】
【０００２】
一般に、被写体までの距離を測定できるＴＯＦ（Time Of Flight）カメラや、カラー開
口カメラなどの３次元カメラが知られている。ＴＯＦカメラは、照射光が被写体に当たっ
て戻ってくるまでの時間により、距離を測定する技術である。被写体が細い円柱など平面
が少ない形状の場合、ＴＯＦカメラが照射する光が被写体により拡散し、反射光の受光量
が減少してしまうため、十分な精度で距離の測定ができないという問題がある。
【０００３】
また、カラー開口カメラは、カラー開口撮像技術を備えたカメラであり、非特許文献1
記載のようにカメラの絞り位置（開口）に２色に分かれたカラーフィルタを内挿し、被写
体の距離に応じて画像のボケが色ごとに異なる変化をし、その度合いに応じて距離を測定
する技術である。そのため、カラー開口カメラは、被写体のエッジ部分では高精度で距離
を測定できるが、ボケが生じにくい平面に対しては十分な精度で距離の測定ができないと
いう問題がある。
【０００４】
さらに、被写体までの距離を測定する方法として、ステレオカメラが知られている。ス
テレオカメラは、２台のカメラ、すなわち２組のカメラレンズ機構とシャッター機構を備
え、被写体を異なる方向から撮像し、それぞれのカメラから得られる画像の視差を利用し
て被写体までの距離を測定する。しかし、ステレオカメラでは、特定の方向における距離
を測定できないという問題がある。例えば、２台のカメラを横に並べた場合、横方向のエ
ッジに対しては十分な精度で距離の測定ができないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−７５１３７号公報
【非特許文献】
【０００６】
【非特許文献１】株式会社東芝、“単願カメラで撮影した１枚の画像からカラー画像と距離画像を同時に取得できる撮像技術を開発”、［online］、２０１６年６月、［平成２９年９月１９日検索］、インターネット＜ＵＲＬ：https://www.toshiba.co.jp/rdc/detail/1606_01.htm＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、被写体までの距離を高精度に測定できる撮像装置及
び撮像装置の距離算出方法を提供することである。
【課題を解決するための手段】
【０００８】
実施形態によれば、撮像装置は、ＴＯＦカメラと、カラー開口カメラと、第３の距離算
出部と、距離算出手段とを備える。ＴＯＦカメラは、光を被写体に照射する発光部と、前
記発光部が照射した光の前記被写体からの反射光を受光し、第１の画像を取得する第１の
撮像部と、前記発光部が光を照射してから前記第１の撮像部が前記被写体からの反射光を
受光するまでの時間に基づいて、前記第１の画像の画素ごとに前記被写体までの第１の距
離を算出する第１の距離算出部と、を有する。カラー開口カメラは、前記ＴＯＦカメラに
併設され、前記被写体からの光を受光し、第２の画像を取得する第２の撮像部と、前記第
２の撮像部が受光した光に基づいて、前記第２の画像の画素ごとに前記被写体までの第２
の距離を算出する第２の距離算出部と、を有する。第３の距離算出部は、前記第１の画像
と、前記第２の画像との視差に基づいて画素ごとに前記被写体までの第３の距離を算出す
る。距離算出手段は、前記第１の距離、前記第２の距離、及び前記第３の距離に基づいて
前記被写体までの第４の距離を求める。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像装置の外観の一例を示す斜視図。
【図２】実施形態に係る撮像装置の装置構成の一例を示すブロック図。
【図３】実施形態に係る撮像装置を用いた撮像状況の一例を示す斜視図。
【図４】実施形態に係る撮像装置が取得する第１の距離画像の画素の一例を示す図。
【図５】実施形態に係る撮像装置が取得する第２の距離画像の画素の一例を示す図。
【図６】実施形態に係る撮像装置が取得する第３の距離画像の画素の一例を示す図。
【図７】実施形態に係る撮像装置が測定した結果の組合せと第４の距離の関係の一例を示す図。
【図８】実施形態に係る撮像装置が有する制御部が第４の距離を算出する流れの一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、実施形態に係る撮像装置を、図面を用いて説明する。
図１は、実施形態に係る撮像装置の外観の一例を示す斜視図である。撮像装置１は、被写
体に光を照射する発光部１０ａを有するＴＯＦカメラ２と、カラー開口カメラ３と、を備
える。また、撮像装置１は、ＴＯＦカメラ２、カラー開口カメラ３で構成されるステレオ
カメラ５としての機能も備える。撮像装置１は、ＴＯＦカメラ２で測定した被写体までの
距離、カラー開口カメラ３で測定した被写体までの距離、ステレオカメラ５で測定した被
写体までの距離を独立して測定が可能に構成されている。
【００１１】
ＴＯＦカメラ２は、ＴＯＦカメラ２の発光部１０ａからの照射光が被写体に当たって戻
ってくるまでの時間に基づいて、被写体までの距離を画素ごとに測定することが可能に構
成されている。また、ＴＯＦカメラ２は、被写体を撮像した画像を生成することが可能で
あり、さらに、測定した距離の情報を画素ごとに表わした距離画像を生成することが可能
である。
【００１２】
カラー開口カメラ３は、ＴＯＦカメラ２に併設される。また、カラー開口カメラ３は、
カメラの絞り位置（開口部１１ｂ）に２色に２分割されたカラーフィルタ１７ｂを内挿し
、被写体までの距離に応じて画像のボケが色ごとに異なる変化を利用し、その度合いに応
じて距離を測定することが可能に構成される。本実施形態においては、図に示すように、
カラーフィルタ１７ｂは、上下方向に２分割されているものとする。また、ＴＯＦカメラ
２とカラー開口カメラ３は、カラーフィルタ１７ｂの２分割方向と直交する方向に併設さ
れている。すなわち、カラーフィルタ１７ｂの分割方向が上下方向であれば、ＴＯＦカメ
ラ２とカラー開口カメラ３とは上下方向と直交する方向である水平方向に併設されている
。また、カラー開口カメラ３は、被写体を撮像した画像を生成することが可能であり、さ
らに、測定した距離の情報を画素ごとに表わした距離画像を生成することが可能である。
【００１３】
なお、以下では、図１に示すように、ＴＯＦカメラ２とカラー開口カメラ３の併設方向
を横方向と定義し、カラーフィルタ１７ｂの２分割方向を縦方向と定義する。
【００１４】
ステレオカメラ５は、ＴＯＦカメラ２およびカラー開口カメラ３が、それぞれ取得した
画像の視差に基づいて、被写体までの距離を画素ごとに算出することが可能である。
撮像装置１は、ＴＯＦカメラ２が算出した被写体までの距離、カラー開口カメラ３が算
出した被写体までの距離、ステレオカメラ５が算出した距離に基づいて、より高精度な画
素ごとの距離を算出することが可能である。
【００１５】
次に、図２を用いて、撮像装置１の装置構成を説明する。図２は実施形態に係る撮像装
置１の装置構成の一例を示すブロック図である。
【００１６】
ＴＯＦカメラ２は、発光部１０ａと、開口部１１ａと、レンズ１２ａと、第１の撮像部
１３ａと、第１の距離算出部１４ａとを備える。
【００１７】
発光部１０ａは、図示しない光源を有し、光を被写体に向けて照射する。発光部１０ａ
が照射する光は、赤外線でも良いし、可視光でも良い。また、発光部１０ａは、被写体に
照射する光量、もしくは照射強度を高めるために、複数のＬＥＤ光源を有しても良い。
【００１８】
開口部１１ａは、レンズ１２ａに入射する光量を調節するための絞りである。また、レ
ンズ１２ａは、被写体からの光を第１の撮像部１３ａに集光する。なお、レンズ１２ａは
、１枚に限らず、例えば、複数枚を組み合わせることで、フォーカスレンズや、ズームレ
ンズを構成しても良い。
【００１９】
第１の撮像部１３ａは、発光部１０ａが照射した光の被写体からの反射光を受光し、第
１の画像を取得する。例えば、第１の撮像部１３ａは、イメージセンサであり、受光した
反射光に基づいて被写体を撮像する。
【００２０】
第１の距離算出部１４ａは、第１の撮像部１３ａが撮像した結果に基づいて、第１の距
離を算出する処理を行う。つまり、第１の距離算出部１４ａでの処理によって、被写体ま
での画素ごとの距離が算出される。第１の距離算出部１４ａは、発光部１０ａが光を照射
してから第１の撮像部１３ａが被写体からの反射光を受光するまでの時間に基づいて、画
素ごとに被写体までの第１の距離を算出する。
【００２１】
カラー開口カメラ３は、開口部１１ｂと、カラーフィルタ１７ｂと、レンズ１２ｂと、
第２の撮像部１８ｂと、第２の距離算出部１９ｂとを備える。なお、図２に示す破線は、
第１の撮像部１３ａ、及び第２の撮像部１８ｂがそれぞれ受光する光路の一例を示してい
る。
【００２２】
なお、カラー開口カメラ３が備える開口部１１ｂとレンズ１２ｂは、ＴＯＦカメラ２が
備える開口部１１ａとレンズ１２ａと同様の機能を有しているため、説明は省略する。
【００２３】
カラーフィルタ１７ｂは、開口部１１ｂを２分割する２色に分かれたフィルタである。
また、カラーフィルタ１７ｂは、レンズ１２ｂの開口部１１ｂに取り付けられ、被写体ま
での距離に基づいて画像にボケと色ずれを生じさせる。カラーフィルタ１７ｂは、例えば
シアンとイエローの２色に分かれていて、シアンの部分はＲＧＢ成分のうちＧ（緑）とＢ
（青）の光が透過し、イエローの部分はＲ（赤）とＧ（緑）が透過する。そのため、Ｒ画
像とＧ画像のボケの偏り方向がピント位置の前後で変更される。つまり、色ずれを生じさ
せることが可能となり、被写体の位置を一意に判断可能である。例えば、被写体がピント
位置に位置していればボケが生じずに結像するが、被写体がピント位置に位置していなけ
れば、ボケが生じ、ピント位置に近いボケほど青みがかり、遠いボケほど黄色みがかる。
【００２４】
第２の撮像部１８ｂは、被写体からの光をレンズ１２ｂとカラーフィルタ１７ｂを介し
て受光し、第２の画像を取得する。例えば、第２の撮像部１８ｂは、イメージセンサであ
り、被写体を撮像する。また、第２の距離算出部１９ｂは、第２の撮像部１８ｂが撮像し
た結果に基づいて、第２の距離を算出する処理を行う。第２の距離算出部１９ｂは、第２
の撮像部１８ｂが受光した光に基づいて、画素ごとに被写体までの第２の距離を算出する
。つまり、第２の距離算出部１９ｂでの処理によって、被写体までの画素ごとの距離が算
出される。第２の距離算出部１９ｂは、カラーフィルタ１７ｂによって生じたボケの色ず
れとボケの大きさに基づいて、被写体までの距離を画素ごとに算出する。
【００２５】
制御部４は、図示しないＣＰＵや記憶部を備え、撮像装置１が有する各構成部の動作を
統括的に制御する。また、制御部４は、第３の距離算出部２２と、距離算出部１５とを備
える。
【００２６】
第３の距離算出部２２は、第１の画像および第２の画像に基づいて、第３の距離を算出
する。第３の距離算出部２２は、第１の画像に写る被写体と、第２の画像に写る被写体と
の視差に基づいて、被写体までの第３の距離を算出する。第１の画像、第２の画像では、
ＴＯＦカメラ２とカラー開口カメラ３との位置の差異により、被写体の見える方向が異な
る。つまり、視差とは、第１の画像における被写体のある点の位置と、第２の画像におけ
る被写体のある点の位置との差である。測定により算出した視差と、既知であるＴＯＦカ
メラ２とカラー開口カメラ３の焦点距離と、既知であるＴＯＦカメラ２とカラー開口カメ
ラ３との離間距離とに基づいて、例えば三角法を用いて被写体までの第３の距離を算出す
ることが可能である。
【００２７】
距離算出部１５は、第１の距離算出部１４ａが算出した第１の距離、第２の距離算出部
１９ｂが算出した第２の距離、第３の距離算出部２２が算出した第３の距離に基づいて被
写体までの画素ごとの第４の距離を算出する。つまり、距離算出部１５は、第１の距離、
第２の距離、及び第３の距離に基づいて被写体までの第４の距離を算出する距離算出手段
として機能する。
【００２８】
まず、距離算出部１５は、第１の距離画像、第２の距離画像、第３の距離画像それぞれ
に対して特徴点を抽出する。例えば、距離算出部１５は、第１の距離画像におけるある特
徴点と、対応する第２の距離画像における特徴点と、対応する第３の距離画像における特
徴点とを対応付けることにより、同一の特徴点が同一の画素位置になるように処理を行う
。該処理により、第１の距離、第２の距離、第３の距離を画素ごとに比較することが可能
となる。次に、距離算出部１５は、第１の距離、第２の距離、第３の距離に基づいて、画
素ごとに被写体までの第４の距離を算出する。
【００２９】
ここで、図３乃至図６を用いて、撮像装置１を用いて撮像した結果について説明する。
図３は、実施形態に係る撮像装置１を用いた撮像状況の一例を示す図である。図３には、
撮像装置１の正面に直方体の物体２１と、撮像装置１と物体２１との間に円柱の柵２０が
ある状況を示す。なお、物体２１は、撮像装置１から見ると物体２１の一面のみが見える
角度で位置しているとする。
【００３０】
図４は、実施形態に係る撮像装置１が取得するＴＯＦカメラ２の第１の距離を画素ごと
に表した第１の距離画像の画素３０の一例を示す図である。図５は、実施形態に係る撮像
装置１が取得するカラー開口カメラ３の第２の距離を画素ごとに表した第２の距離画像の
画素４０の一例を示す図である。図６は、実施形態に係る撮像装置１が取得するステレオ
カメラ５の第３の距離を画素ごとに表した第３の距離画像の画素５０の一例を示す図であ
る。
【００３１】
また、図４乃至図６に示す第１の距離画像の画素３０、第２の距離画像の画素４０、第
３の距離画像の画素５０は、図３の撮像状況において撮像した画素の一例である。なお、
説明を簡易にするために、図４乃至図６に示す画素の行と列にはそれぞれアルファベット
と数字を振っている。例えば、一番左上に位置する画素はＡ行１列と呼称する。また、第
１の距離画像の画素３０、第２の距離画像の画素４０、第３の距離画像の画素５０は同一
の位置関係を有すように計算処理をされているとする。例えば、第１の距離画像の画素３
０のＢ行４列、第２の距離画像の画素４０のＢ行４列、第３の距離画像の画素５０のＢ行
４列は物体２１の同一位置を撮像した画素である。
【００３２】
また、各画素に記載されている数値は、被写体までの距離を意味しており、数字が大き
いほど被写体までの距離が遠いこととしている。ただし、数値０の画素は有効な距離を取
得することができなかったことを意味している。数値０の画素が意味する、有効な距離を
取得することができないとは、例えば被写体までの距離が遠すぎる場合や、受光する光量
が少なすぎる場合や、受光する光量が多すぎるため撮像部が飽和してしまうなどである。
【００３３】
図４に示すＴＯＦカメラ２の第１の距離画像の画素３０の、５列と８列を除く、Ｂ行４
列とＢ行９列とＦ行４列とＦ行９列の画素を頂点とする四角形の範囲には、数値６が示さ
れている。これは、物体２１の平面までの第１の距離が示されたもので、５列と８列は柵
２０によって直方体が遮られていることを示している。ＴＯＦカメラ２は平面までの距離
を測定するには有利であるが、エッジである柵２０までの距離を測定するには不利である
ことを例示し、カラー開口カメラ３、ステレオカメラ５との差異を簡単に説明するための
極端な例である。従って、エッジに対応する画素は、数値０を示している。
【００３４】
図５に示すカラー開口カメラ３の第２の距離画像の画素４０の、Ｂ行４列、Ｂ行６列、
Ｂ行７列、Ｂ行９列、Ｆ行４列、Ｆ行６列、Ｆ行７列、Ｆ行９列には、数値６が示されて
いる。これは、物体２１の２辺の横方向のエッジまでの第２の距離を示している。カラー
開口カメラ３は、カラー開口カメラ３に挿入されているカラーフィルタ１７ｂの２分割方
向と垂直な方向のエッジまでの距離を測定するには有利であるが、平面までの距離、カラ
ーフィルタ１７ｂの２分割方向と平行な方向のエッジまでの距離を測定するには不利であ
ることを例示し、ＴＯＦカメラ２、ステレオカメラ５との差異を簡単に説明するための極
端な例である。従って、物体２１の平面、縦方向のエッジに対応する画素は、数値０を示
している。
【００３５】
図６に示すステレオカメラ５の第３の距離画像の画素５０の、２列、５列、８列、１１
列には、数値４が示されている。これは、柵２０までの第３の距離を示している。また、
Ｂ行４列からＦ行４列まで、Ｂ行９列からＦ行９列までには、数値６が示されている。こ
れは、物体２１の２辺の縦方向のエッジまでの第３の距離を示している。ステレオカメラ
５は、２台のカメラであるＴＯＦカメラ２とカラー開口カメラ３とが併設されている方向
と垂直な方向のエッジまでの距離を測定するには有利であるが、平面までの距離、２台の
カメラであるＴＯＦカメラ２とカラー開口カメラ３とが併設されている方向と平行な方向
のエッジまでの距離を測定するには不利であることを例示し、ＴＯＦカメラ２、カラー開
口カメラ３との差異を簡単に説明するための極端な例である。従って、物体２１の平面、
横方向のエッジに対応する画素は、数値０を示している。
【００３６】
ここで、図７を用いて第４の距離を算出する距離算出方法を説明する。図７は、実施形
態に係る撮像装置１が測定した結果の組合せと第４の距離の関係の一例を示す図である。
図７に示す、番号の列には組合せに付した通し番号を記載し、第１の距離、第２の距離、
第３の距離の列には被写体までの有効な距離を取得できたか否かをマルとバツで記載し、
想定対象物の列には結果の組合せから想定される対象物を記載し、第４の距離の列には想
定対象物から推定される第４の距離に採用するのに適した距離を記載する。
【００３７】
番号１は、第１の距離だけが取得された場合である。第１の距離を取得したＴＯＦカメ
ラ２は、平面に対して有利であるため、想定対象物は平面である。従って、第４の距離に
は、第１の距離を採用する。
【００３８】
番号２は、第２の距離だけが取得された場合である。第２の距離を取得したカラー開口
カメラ３は、カラーフィルタ１７ｂの２分割方向と直交する方向のエッジに対して有利で
あるため、想定対象物は横方向のエッジである。すなわち、カラーフィルタ１７ｂが上下
方向に分割されているので横方向のエッジに対して有利である。従って、第４の距離には
、第２の距離を採用する。
【００３９】
番号３は、第３の距離だけが取得された場合である。第３の距離を取得したステレオカ
メラ５は、２台のカメラであるＴＯＦカメラ２とカラー開口カメラ３とが併設されている
方向と直交する方向のエッジに対して有利であるため、想定対象物は縦方向のエッジであ
る。従って、第４の距離には、第３の距離を採用する。
【００４０】
番号４は、第１の距離、第２の距離が取得され、第３の距離が取得できなかった場合で
ある。つまり、番号１と番号２の想定対象物から、番号４の想定対象物は、平面上の横線
や横方向のエッジと平面の境目である。従って、平面よりもエッジの割合が高いと予想さ
れるため、第４の距離には、第２の距離を採用する。
【００４１】
番号５は、第２の距離、第３の距離が取得され、第１の距離が取得できなかった場合で
ある。つまり、番号２と番号３の想定対象物から、番号５の想定対象物は、斜め方向のエ
ッジである。従って、第４の距離には、第３の距離を採用する。
【００４２】
番号６は、第１の距離、第３の距離が取得され、第２の距離が取得できなかった場合で
ある。つまり、番号１と番号３の想定対象物から、番号６の想定対象物は、平面上の縦線
や縦方向のエッジと平面の境目である。従って、平面よりもエッジの割合が高いと予想さ
れるため、第４の距離には、第３の距離を採用する。
【００４３】
番号７は、第１の距離、第２の距離、第３の距離がともに取得された場合である。つま
り、番号１、番号２、番号３の想定対象物から、番号７の想定対象物は、平面上の斜め線
である。従って、平面の割合が高いと予想されるため、第４の距離には、第１の距離を採
用する。
【００４４】
番号８は、第１の距離、第２の距離、第３の距離がともに取得できなかった場合である
。つまり、被写体までの距離が撮像するには遠すぎる（無限遠）か、想定対象物が光の反
射率の低い黒い平面である。従って、第４の距離を算出することはできない（数値０）。
【００４５】
以上に説明した通り、どのカメラで被写体までの有効な距離を取得できたかを考慮する
ことで、被写体に応じて適したカメラで測定した距離を採用することができ、被写体まで
の距離をより高精度に測定することが可能である。
【００４６】
次に、図８を用いて第４の距離を算出する流れを説明する。図８は、実施形態に係る撮
像装置１が有する制御部４が第４の距離を算出する流れの一例を示すフローチャートであ
る。
【００４７】
まず、制御部４は、任意の画素を１つ選択する（ステップＳ０１）。制御部４は、選択
した画素に対応する第１の距離、第２の距離、第３の距離のうち数値が０でない有効な距
離が複数取得できたか否かを判定する（ステップＳ０３）。
【００４８】
制御部４は、数値が０でない有効な距離が複数取得できなかった場合（ステップＳ０３
、Ｎｏ）、取得できた数値が０でない有効な距離か否かを判定する（ステップＳ０５）。
制御部４は、取得できた数値が０でない有効な距離の場合（ステップＳ０５、Ｙｅｓ）、
該距離を第４の距離に採用する（ステップＳ０７）。次に、制御部４は、全ての画素に処
理を行ったか否かを判定し（ステップＳ１１）、全ての画素に処理を行っていない場合（
ステップＳ１１、Ｎｏ）は、処理をステップＳ０１に戻し、次の画素に対する処理を行う
。
【００４９】
また、制御部４は、ステップＳ０５で有効な距離を取得できなかった場合、すなわち取
得できた数値が０の場合（ステップＳ０５、Ｎｏ）、数値０を第４の距離に採用し（ステ
ップＳ０９）、処理をステップＳ１１に進める。
【００５０】
また、制御部４は、数値が０でない有効な距離が複数取得できた場合（ステップＳ０３
、Ｙｅｓ）、第１の距離、第２の距離、第３の距離が全て有効な距離であるか否かを判定
する（ステップＳ１３）。
【００５１】
制御部４は、第１の距離、第２の距離、第３の距離が全て有効な距離である場合（ステ
ップＳ１３、Ｙｅｓ）、第１の距離を第４の距離に採用し（ステップＳ１５）、処理をス
テップＳ１１に進める。
【００５２】
また、制御部４は、第１の距離、第２の距離、第３の距離に有効でない距離が含まれる
場合（ステップＳ１３、Ｎｏ）、第３の距離が有効な距離であるか否かを判定する（ステ
ップＳ１７）。制御部４は、第３の距離が有効な距離である場合（ステップＳ１７、Ｙｅ
ｓ）、第３の距離を第４の距離に採用し（ステップＳ１９）、処理をステップＳ１１に進
める。
【００５３】
また、制御部４は、第３の距離が有効な距離でない場合（ステップＳ１７、Ｎｏ）、第
２の距離を第４の距離に採用し（ステップＳ２１）、処理をステップＳ１１に進める。最
後に、制御部４は、全ての画素に処理を行った場合（ステップＳ１１、Ｙｅｓ）、処理を
終了する。
【００５４】
以上の流れで動作を実行することにより、実施形態に係る撮像装置１は、ＴＯＦカメラ
２のエッジ部分の距離を十分な精度で測定できないという欠点、カラー開口カメラ３の平
面部分とカラーフィルタ１７ｂの２分割方向と直交する方向のエッジまでの距離を十分な
精度で測定できないという欠点、さらにステレオカメラでの平面部分と２台のカメラであ
るＴＯＦカメラ２とカラー開口カメラ３とが併設されている方向と平行な方向のエッジま
での距離を十分な精度で測定できないという欠点を補い、被写体までの距離をより高精度
に測定することが可能である。
【００５５】
ここで、以上に説明した実施形態の変形例をいくつか説明する。まず第１の変形例につ
いて説明する。なお、実施形態、変形例において共通する内容の説明は、適宜省略する。
【００５６】
（第１の変形例）
実施形態では、図７、図８を用いて説明したように、どのカメラで被写体までの有効な
距離を取得できたかに基づいて、第４の距離に採用する距離を算出した。それに対し第１
の変形例では、図７に示した第４の距離に採用する距離に優先度を高く設定するよう重み
付けして、第４の距離を算出する。つまり、第１の距離、第２の距離、第３の距離のそれ
ぞれに対し、重み付けした数値を用いて第４の距離を算出する。例えば、図７の番号７の
場合、第１の距離の８０％と、第２の距離の１０％と、第３の距離の１０％とを足し合わ
せた数値を第４の距離として算出する。重み付けの割合は、図７に示す組合せごとに設定
する。
【００５７】
以上に説明した通り、第１の変形例では、どのカメラで被写体までの有効な距離を取得
できたかを考慮して重み付けした数値を用いることで、被写体までの距離をより高精度に
測定することが可能である。
【００５８】
（第２の変形例）
次に、第２の変形例について説明する。実施形態では、図１を用いて説明したように、
カラー開口カメラ３に挿入されるカラーフィルタ１７ｂは、横方向（縦方向に分割）に挿
入されるとしたが、第２の変形例では、カラーフィルタ１７ｂを縦方向（横方向に分割）
に挿入する。このとき、カラー開口カメラ３とＴＯＦカメラ２とは縦方向に併設される。
【００５９】
従って、第２の変形例の場合、カラー開口カメラ３は、横方向のエッジではなく縦方向
のエッジを測定するのに有利となる。また、ステレオカメラは、縦方向のエッジではなく
横方向のエッジを測定するのに有利となる。
【００６０】
つまり、第２の変形例では、図６で説明した想定対象物の横と縦の方向についての関係
が逆転し、方向についての関係が逆転することに伴って、第４の距離に採用する距離の第
２の距離と第３の距離についての関係が逆転するが、実施例と同様の効果を得ることがで
きる。
【００６１】
なお、上記した実施形態、変形例の撮像装置１における処理はいくつかのソフトウェア
によって実行することが可能である。このため、上記処理の手順を実行するいくつかのプ
ログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこれらプログラムを撮
像装置１へインストールして実行するだけで、上記処理を容易に実現することができる。
例えば、撮像装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロ
ードしたプログラムを記憶し、プログラムのインストールを完了することができる。或い
は、撮像装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラム
を記憶し、プログラムのインストールを完了することができる。
【００６２】
本発明のいくつかの実施形態、変形例を説明したが、これらの実施形態、変形例は、例
として提示したものであり、発明の範囲を限定することは意図していない。これら新規な
実施形態、変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を
逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態や
その変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明と
その均等の範囲に含まれる。
【符号の説明】
【００６３】
１  撮像装置
２  ＴＯＦカメラ
３  カラー開口カメラ
４  制御部
５  ステレオカメラ
１０ａ  発光部
１１ａ、１１ｂ  開口部
１２ａ、１２ｂ  レンズ
１３ａ  第１の撮像部
１４ａ  第１の距離算出部
１５  距離算出部
１７ｂ  カラーフィルタ
１８ｂ  第２の撮像部
１９ｂ  第２の距離算出部
２０  柵
２１  物体
２２  第３の距離算出部
３０  第１の距離画像の画素
４０  第２の距離画像の画素
５０  第３の距離画像の画素
【図１】
2019066186.tif 000003
【図２】
2019066186.tif 000004
【図３】
2019066186.tif 000005
【図４】
2019066186.tif 000006
【図５】
2019066186.tif 000007
【図６】
2019066186.tif 000008
【図７】
2019066186.tif 000009
【図８】
2019066186.tif 000010