(57)【要約】【課題】旋回窓を介したカメラ撮影画像を表示部に表示して悪天候の中でも進行方向の状況をより確実に確認可能とした画像処理装置を提供する。【解決手段】旋回窓を介して画像を撮影するカメラと、カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、画像処理部の生成した画像を表示する表示部を有する。さらに、パルス光出力部を有し、カメラは、パルス光出力タイミングから異なる時間経過後の画像を撮影する第１カメラと第２カメラによって構成される。各カメラは、異なる空間の画像を撮影し、画像処理部は、各カメラの撮影した画像の差分画像を生成して表示部に表示する。差分画像には、いずれかの空間のみに存在する障害物が、よりクリアに表示される。【選択図】図１１
2018032984.tif 000002
【特許請求の範囲】
【請求項１】
旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、
前記画像処理部の生成した画像を表示する表示部を有し、
前記カメラは広角カメラである画像処理装置。
【請求項２】
前記画像処理部は、
前記広角カメラの撮影画像の歪み補正処理を実行して前記表示用画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記旋回窓は、離間位置にある複数の旋回窓によって構成され、
前記カメラは、前記複数の旋回窓各々の内側領域に設置された複数のカメラによって構成され、
前記画像処理部は、
前記複数のカメラによる複数の撮影画像を入力し、入力した複数の撮影画像の合成処理を実行して前記表示用画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、さらに、
パルス光出力部を有し、
前記カメラは、前記パルス光出力部のパルス光出力タイミングから異なる時間経過後の画像を撮影する第１カメラと第２カメラによって構成され、
前記第１カメラと、前記第２カメラの各々は、前記パルス光の出力開始からの経過時間が異なるタイミングで画像撮影を行うことで、異なる空間の画像を撮影し、
前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像を生成して、生成した差分画像に基づいて前記表示用画像を生成する請求項１に記載の画像処理装置。
【請求項５】
前記第１カメラは、前記パルス光の出力開始からの経過時間が、Δｔ１〜Δｔ２の範囲において画像撮影処理を実行することで、前記パルス光出力部の出力パルス光が、時間Δｔ１〜Δｔ２の期間に往復する第１空間内の画像である第１画像を撮影し、
前記第２カメラは、前記パルス光の出力開始からの経過時間が、前Δｔ１〜Δｔ２の範囲と異なるΔｔ３〜Δｔ４の範囲において画像撮影処理を実行することで、前記パルス光出力部の出力パルス光が、時間Δｔ３〜Δｔ４の期間に往復する第２空間内の画像である第２画像を撮影する請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分領域を強調した差分領域強調画像を生成して、生成した差分領域強調画像に基づいて前記表示用画像を生成する請求項４に記載の画像処理装置。
【請求項７】
前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分が大きい領域に対するトーン強調処理、またはコントラスト強調処理を実行して、前記差分領域強調画像を生成する請求項６に記載の画像処理装置。
【請求項８】
前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像に障害物が検出され、その後、検出されなくなった場合、所定時間、表示部補助画面に障害物画像を表示する請求項４に記載の画像処理装置。
【請求項９】
前記カメラは、複数の赤外光カメラであり、
前記画像処理部は、
前記複数の赤外光カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像を生成して、生成した差分画像に基づいて前記表示用画像を生成する請求項４に記載の画像処理装置。
【請求項１０】
前記第１カメラと、前記第２カメラは、物理的には一つのカメラであり、一つのカメラが、前記パルス光の出力開始からの経過時間が異なるタイミングの複数の画像を撮影する請求項４に記載の画像処理装置。
【請求項１１】
旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラを、前記旋回窓内部に格納する筐体を有し、
前記カメラが設置された筐体内部に対する外気侵入を防止するための外気侵入防止機構を、前記旋回窓の外周部と前記筐体との間に構成した画像撮影装置。
【請求項１２】
前記カメラは広角カメラである請求項１１に記載の画像撮影装置。
【請求項１３】
前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路を磁性流体で塞いだ構成を有する請求項１１に記載の画像撮影装置。
【請求項１４】
前記外気進入防止機構は、
前記旋回窓の回転速度に応じて磁性流体による旋回窓とカメラ筐体の封止流体の封印量が変動し粘性抵抗を減じる機構を有する請求項１３に記載の画像撮影装置。
【請求項１５】
前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路を撥水性起毛部材で塞いだ構成を有する請求項１１に記載の画像撮影装置。
【請求項１６】
前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路をくし型形状とした構成を有する請求項１１に記載の画像撮影装置。
【請求項１７】
前記カメラは、前記旋回窓の内側領域の筐体内部に設置された構成であり
前記カメラの設置された筐体内部の封止内部圧を外気に対して陽圧に設定する機構、または乾燥空気を筐体内に導入する機構の少なくともいずれかの機構を有する構成である請求項１１に記載の画像撮影装置。
【請求項１８】
画像処理装置において実行する画像処理方法であり、
広角カメラが、旋回窓を介して画像を撮影する画像撮影ステップと、
画像処理部が、前記広角カメラの撮影画像を入力して、表示用画像を生成する画像生成ステップと、
表示部が、前記画像処理部の生成した画像を表示する表示ステップを、
実行する画像処理方法。
【請求項１９】
画像処理装置において画像処理を実行させるプログラムであり、
広角カメラに、旋回窓を介して画像を撮影させる画像撮影ステップと、
画像処理部に、前記広角カメラの撮影画像を入力させて、表示用画像を生成させる画像生成ステップと、
表示部に、前記画像処理部の生成した画像を表示させる表示ステップを、
実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像撮影装置、および画像処理方法、並びにプログラムに関する。具体的には、旋回窓を介して画像撮影を行い、撮影画像を、例えば車両、船舶等の運転席に設置された表示部に表示することで、運転者（ドライバ）が周囲状況を確認可能とした画像処理装置、画像撮影装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
電車、船舶、車両等の様々な乗り物を運転する運転者は、運転席前面の窓を介して進行方向の障害物の有無等、進行方向の状況を確認することが必要である。
しかし、例えば、雨や雪等の悪天候の中では、窓を介して外を観察しても、窓に付着する水滴や雪等により十分な視界が得られない場合がある。
一般的な車では、窓に取り付けられたワイパーを作動させた水滴等を除去して視界を確保する処理が行われる。
【０００３】
しかし、例えば船舶は、船舶にかかる水しぶきを排除することが必要であり、また豪雨や豪雪の場合、ワイパーの動作では、水滴や雪の除去が不十分となる場合があり、また、雪の重みにワイパーが耐えられないといった状況も発生し得る。このような状況でも、十分な視界を確保するための構成として、「旋回窓」がある。
【０００４】
旋回窓は、透明な円盤型の窓を高速で回転させ、窓に付着する水滴や雪を円盤の周囲に飛び散らすことで、円盤型の窓からの視界を確保する構成を有する。
この旋回窓を運転席に設けることで、運転席の窓に付着する水滴や雪を効率的に除去することが可能となる。
この旋回窓を装着することで、運転者は円盤型の窓から進行方向の状況を確認可能となり、安全な走行が実現される。
なお、この旋回窓については小さく、中心にモータの回転機構があり覗きづらいことから、例えば特許文献１（特開２０１５−０９３５８７号公報）に説明が記載されている様に、その背面にカメラで画像を取り込みディスプレーモニタに表示した公知例が記載されている。
【０００５】
通常の外界を直視する従来型の旋回窓は、円形の窓自身を高速で回転させる構成であり、一般的に直径が数１０ｃｍ程度の小さな円形窓である。運転者はこの小さな窓から外界を確認しなければならない。
一般に運転席には、様々な計器や、操縦用のハンドル、レバー等の機器があり、これらの機器は、窓と運転席の間に設置される。従って、運転者は、旋回窓に顔を近づけることができず、所定の距離から、小さな旋回窓を覗かなければならない。
【０００６】
従って、旋回窓を介して運転者が肉眼で確認可能な視野角の範囲は、極めて狭い範囲となる。特に左右方向の視界が十分、確保できず、安全走行が困難になるという問題がある。更には、特許文献１に図示されたカメラを高速回転する単純な透明円盤の背面に配置してケース空間に雨ざらしにした構造では、カメラと透明円盤の間にも雨滴または水滴の侵入が起こり、いったんケース空間に湿度の侵入が起こり、旋回窓外部が低温にさらされたりすると、内部の湿度が低温の窓で露結するなどして視界の低下を招く自体が発生する。
【０００７】
更には、悪天候の暗時に照明を照らして視界確保をしようとした場合に、照明光が環境中の水滴に当たり、散乱で光源側へ光がはね帰り、暗時に照明をたいても遠方の視界が効果的に得られないという問題もある。また、目視による複眼で外界を視認する場合に対して単眼で見た場合に雨滴や雪に遮ら得る割合が多くなるため複眼視野で見た視野に比べて視界の低下を招く。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１５−０９３５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示は、例えば上記問題点に鑑みてなされたものであり、船舶、電車、車両等の様々な乗り物に備えられる旋回窓を介してカメラによる画像撮影を行い、撮影画像を運転席に設置された表示部に表示することで、運転者による周囲状況確認を、より確実に行わせることを可能とした画像処理装置、画像撮影装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、
前記画像処理部の生成した画像を表示する表示部を有し、
前記カメラは広角カメラである画像処理装置にある。
【００１１】
さらに、本開示の第２の側面は、
旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラを、前記旋回窓内部に格納する筐体を有し、
前記カメラが設置された筐体内部に対する外気侵入を防止するための外気侵入防止機構を、前記旋回窓の外周部と前記筐体との間に構成した画像撮影装置にある。
【００１２】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
広角カメラが、旋回窓を介して画像を撮影する画像撮影ステップと、
画像処理部が、前記広角カメラの撮影画像を入力して、表示用画像を生成する画像生成ステップと、
表示部が、前記画像処理部の生成した画像を表示する表示ステップを、
実行する画像処理方法にある。
【００１３】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
広角カメラに、旋回窓を介して画像を撮影させる画像撮影ステップと、
画像処理部に、前記広角カメラの撮影画像を入力させて、表示用画像を生成させる画像生成ステップと、
表示部に、前記画像処理部の生成した画像を表示させる表示ステップを、
実行させるプログラムにある。
【００１４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１５】
本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１６】
本開示の一実施例の構成によれば、旋回窓を介したカメラ撮影画像を表示部に表示して悪天候の中でも進行方向の状況をより確実に確認可能とした画像処理装置が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１７】
【図１】旋回窓について説明する図である。
【図２】旋回窓について説明する図である。
【図３】旋回窓を介したカメラによる撮影画像をドライバに提示する構成例について説明する図である。
【図４】旋回窓を介したカメラによる撮影画像をドライバに提示する構成例について説明する図である。
【図５】旋回窓を介したカメラによる撮影画像をドライバに提示する構成例について説明する図である。
【図６】パルス光を用いたカメラ撮影画像に基づいて、特定の被写体を鮮明に表示する構成例について説明する図である。
【図７】パルス光を用いたカメラ撮影画像に基づいて、特定の被写体を鮮明に表示する構成例について説明する図である。
【図８】パルス光を用いたカメラ撮影画像に基づいて、特定の被写体を鮮明に表示する構成例について説明する図である。
【図９】パルス光を用いたカメラ撮影画像に基づいて、特定の被写体を鮮明に表示する処理の撮影シーケンスについて説明する図である。
【図１０】パルス光を用いたカメラ撮影画像に基づいて特定被写体を鮮明に表示する処理の撮影空間について説明する図である。
【図１１】パルス光を用いたカメラ撮影画像に基づいて特定被写体を鮮明に表示する処理について説明する図である。
【図１２】パルス光を用いたカメラ撮影画像に基づいて特定被写体を鮮明に表示する処理のシーケンスについて説明するフローチャートを示す図である。
【図１３】パルス光を用いたカメラ撮影画像に基づいて特定被写体を鮮明に表示する処理の表示制御処理例について説明する図である。
【図１４】旋回窓の構成例について説明する図である。
【図１５】旋回窓の構成例について説明する図である。
【図１６】旋回窓の構成例について説明する図である。
【図１７】旋回窓の構成例について説明する図である。
【図１８】旋回窓の構成例について説明する図である。
【図１９】像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本開示の画像処理装置、画像撮影装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．旋回窓の構成例について
２．旋回窓からの画像撮影と撮影画像の表示構成例について
３．障害物の鮮明な画像を表示可能とした構成について
４．障害物の鮮明な画像を表示可能とした構成の変形例について
４−（１）．障害物検出手段を適用した構成例について
４−（２）．表示部に補助画面を設定し、撮影対象とするレンジ空間該の障害物を確認可能とした構成例について
４−（３）．カメラの構成例について
５．内部にカメラを配置した旋回窓の構成例について
５−（１）．磁性流体を利用した構成例について
５−（２）．撥水生性起毛部材を利用した構成例について
５−（３）．筐体係合型窓枠部を利用した構成例について
６．画像処理装置の構成例について
７．その他の実施例について
８．本開示の構成のまとめ
【００１９】
［１．旋回窓の構成例について］
まず、図１以下を参照して旋回窓の構成例について説明する。
前述したように、電車、船舶、車両等の様々な乗り物を運転する運転者は、運転席の窓を介して進行方向を確認することが必要である。
特に、雨や雪等の悪天候の中では、窓に付着する水滴や雪を排除することが必要である。このような状況において視界を確保するために「旋回窓」が利用される。
図１に旋回窓１０の例を示す。
【００２０】
旋回窓１０は、図１に示すように電車、船舶などで多く利用されている。
図１に示すように旋回窓１０は、透明な円盤型の窓を高速で回転させ、窓に付着する水滴や雪を円盤の周囲に飛び散らすことで、円盤型の窓からの視界を確保する構成を有する。
【００２１】
このような旋回窓を運転席に設けることで、運転席の窓に付着する水滴や雪を効率的に除去することが可能となり、例えば、運転者は円盤型の窓から進行方向の状況を確認して安全に走行することが可能となる。
【００２２】
しかし、旋回窓は、円形の窓自身を高速で回転させる構成であり、一般的に直径が数１０ｃｍ程度の小さな円形窓として構成される。運転者はこの小さな窓から外界を確認しなければならない。
図２に旋回窓１０を介して周囲状況を確認して船舶を走行させる運転者２０の例を示す。
【００２３】
図２に示すように、一般に運転席には、様々な計器や、操縦用のハンドル、レバー等の機器があり、これらの機器は、窓と運転席の間に設置される。従って、運転者２０は、旋回窓１０に顔を近づけることができない。
すなわち、運転者２０は、旋回窓１０の設置位置から、ある程度、離れた運転席から、小さな旋回窓１０を覗かなければならない。
【００２４】
図２に示すように、このような状態では、運転者２０が旋回窓１０を介して視認可能な範囲は極めて狭い範囲となる。特に左右方向の視界が十分、確保できず、安全走行が困難になる。
【００２５】
［２．旋回窓からの画像撮影と撮影画像の表示構成例について］
上述したように、運転者は、旋回窓から一定距離、離間した位置から旋回窓を覗くことが求められ、運転者は、広い範囲の視界を確保できない。
この問題を解決する構成として、旋回窓に近接した位置にカメラ、例えば魚眼レンズ等を備えた広角カメラを設置し、このカメラを用いて旋回窓から観察される外界を撮影し、この撮影画像を運転席の表示部に表示する構成例について説明する。
【００２６】
図３は、２つの旋回窓の各々の緊切位置にカメラを設置してカメラの撮影画像を運転席の表示部に表示する構成例を示す図である。
なお、以下に説明する実施例では、旋回窓を左右に１つずつ、計２つ設けた例について説明するが、これは一例であり、旋回窓は１つのみでもよく、３つ以上の構成としてもよい。
【００２７】
旋回窓Ｌ，１０Ｌ、旋回窓Ｒ，１０Ｒは、図１を参照して説明した旋回窓である。
すなわち、透明な円盤上の窓を高速回転させて、窓に付着した水滴等を周囲に吹き飛ばすことで窓からの視界を確保可能とした旋回窓である。
【００２８】
２つの旋回窓の内側（車両内部側）の窓近傍位置にカメラが備えられている。
左側の旋回窓Ｌ，１０Ｌの内側にはカメラＬ，３０Ｌが設置され、右側の旋回窓Ｒ，１０Ｒの内側にはカメラＲ，３０Ｒが設置されている。
【００２９】
これらの各カメラとしては、例えば魚眼レンズ等を備え、より広範囲の画像を撮影することを可能とした広角カメラを用いることが好ましい。その主たる理由は、光学窓で操縦者が外界確認をする際に必要な方角を確認する必要がある場合、目の位置を移動することで窓を介して該当の方角の視界を得る事が出来るが、カメラを介して取り込んだモニタを観察した場合、モニタを見る方角を変えただけでは外界の見る方角を変える事がでいないためである。
【００３０】
ただし、外界を撮像する広角カメラで取り込んだ画像の一部とモニタに表示し、必要に応じて操縦者が視点を移動する事で擬似的に目の移動に応じて広角カメラ取り込み画像の一部を表示する表示制御をして利用の仕方をしてもよい。さらには、直接視界の光学旋回窓とは異なり、カメラの設置位置は目と目視対象の外界との直線中間位置に配置する必要性は無く、直接視界を妨害しない任意の配置でもよい。
【００３１】
なお、魚眼レンズ等を備えた広角カメラを利用することは必須ではなく、通常のカメラを利用する構成としてもよい。またその際に前述の利用形態に相当する視認方角の移動を、カメラ本体の機構的なパンチルト動作で方角を連動させてもよい。また複数カメラを方向が異なる状態で設置し、各カメラで取り込んだ画像を操舵者が目視する入力指示に応じてシームレスに連続的に切え替えて表示をしても良い。
【００３２】
２つのカメラの撮影画像は、各撮影画像を併せた合成画像として表示部４０に表示される。
なお、図では省略しているが、各カメラの撮影画像は画像処理部に入力され、画像処理部で所定の補正処理や画像合成処理が施され、これらの処理後の画像が表示部４０に表示される。
画像処理部は、例えば魚眼レンズによる撮影画像に発生する中心射影から比べて残存する歪みを解消させるための歪み補正処理、ノイズ除去処理、雨滴や雪や霧によるコントラスト低下を補うコントラスト改善処理などの様々な補正処理を実行し、さらに２つの画像を接合して１つの合成画像を生成する合成処理等を実行する。
【００３３】
なお、本例では、２つの旋回窓と２つのカメラを利用した構成であるため、２つの画像の合成画像を生成する構成としているが、これは一例であり、１つの旋回窓と１つのカメラのみを利用した構成では、画像の合成処理は不要となる。
【００３４】
図３に示すように、カメラ３０Ｌ，Ｒは、旋回窓１０Ｌ，Ｒの近接位置に設置されているため、カメラは旋回窓を介して広範囲の画像を撮影することが可能となる。
すなわち、旋回窓に顔を近づけて外を観察したと同様の広範囲の画像が撮影され、表示部４０には、この広範囲の画像が表示される。
運転者は、室内空間に配置された表示部４０に表示された画像を直接観察することで、船舶の周囲状況を表示部４０の画面を観察できる任意の位置から体を移動しなくともより広範囲に確認可能となり、安全な走行を行うことができる。図3に於いて各カメラの向きを同じく描いているが、用途に応じてカメラLとカメラＲの光軸向きを離してより広い範囲を観測できるようにしてもよい。
【００３５】
なお、図３に示す例は、船舶における旋回窓とカメラの利用例であるが、このように旋回窓とカメラを利用して広範囲の外界画像を運転者に提示する構成は船舶に限らず、電車、飛行機、車両等、様々な乗り物にも適用可能である。
図４は、車両５０にカメラ装着旋回窓５１を設定した例を示す図である。カメラ装着旋回窓５１は、図３を参照して説明した旋回窓とカメラを有する構成であり、旋回窓を介した外界の景色を旋回窓の緊切位置に設置したカメラによって撮影可能とした構成を持つ。
【００３６】
図４（Ａ）は車両前面の外観図である。
カメラ装着旋回窓５１は、車両５０の前面部分に設置されている。
旋回窓を介して観察される車両前方の景色が旋回窓の内側に設置されたカメラによって撮影される。更には目視を目的とするのではなく、画像認識処理により安全な走行や自動運転を目指したいわゆるＡＤＡＳ（先進安全運転支援システム）などで用いる白線・路面領域認識や歩行者、障害物認識、標識認識など多様な画像認識用途のカメラに本発明の適用をしても良い。
【００３７】
カメラ撮影画像は、車両５０の画像処理部に入力され、画像処理部において歪み補正処理、ノイズ除去処理等、様々な補正処理が実行され、さらに２つの画像を接合して１つの合成画像として、図４（Ｂ）に示す車両内部の表示部５２に表示される。
表示部５２は、運転席の運転者によって観察可能な位置に設置されており、運転者は、遂次、表示部５２の表示画像を観察することが可能である。
図に示す例では、表示部５２には、前方から車両５０に近づいてくる障害物（自転車）が表示されている。
【００３８】
図４に示す例は、カメラ装着旋回窓５１を車両５０の前面部分に設置し、車両５０の前方の様子を撮影して表示部に表示するドライブレコーダーの構成である。従来のドライブレコーダーは、雨天時でも前方を撮像できるように、ウィンドシールド内側でワイパーの動作される範囲内に設置されることが多かった。しかし、図４に示す例のドライブレコーダーは、カメラ装着旋回窓５１を有しているため、設置場所がワイパーの動作される範囲内に限定されず、所望の位置に設置することが可能となる。換言すると、ウィンドシールド内側のワイパーの動作されない範囲で、ドライバの前方視界を遮らない位置にドライブレコーダーを設置することが可能となる。
【００３９】
なお、本例の適用はドライブレコーダーに限定されず、白線認識や歩行者、障害物認識、標識認識等を実現するためのフロントセンシングカメラに適用されても良い。
図４に示す例は車両５０の前方の様子を撮影する構成であるが、例えばカメラ装着旋回窓５１を車両５０の後部に設置し、車両５０の後方の様子を撮影して表示部に表示する構成も可能である。つまり、該当の旋回窓は前方視界確認の用途に限定する必要はなく、例えば乗用車等の後写鏡の代替え利用されるカメラモニタシステムのカメラに適用しても良い。
【００４０】
図５は、車両５０の後部にカメラ装着旋回窓５１を設定した例を示す図である。
図５（Ａ）は車両後部の外観図である。
カメラ装着旋回窓５１は、車両５０の後部に設置されている。
旋回窓を介して観察される車両後方の景色が旋回窓の内側に設置されたカメラによって撮影される。
【００４１】
カメラ撮影画像は、車両５０の画像処理部に入力され、画像処理部において歪み補正処理、ノイズ除去処理、雨滴や雪や霧によるコントラスト低下を補うコントラスト改善処理などの様々な補正処理が実行され、さらに２つの画像を接合して１つの合成画像として、図５（Ｂ）に示す車両内部の表示部５２に表示される。
表示部５２は、運転席の運転者によって観察可能な位置に設置されており、運転者は、遂次、表示部５２の表示画像を観察することが可能である。
図に示す表示部５２の表示画像例は、バックによる車両駐車時の駐車場の周囲状況を表示した例である。その他、サイドミラーの代替として、車体側面に後方向けにカメラを取り付けてカメラモニタシステムとしての応用であっても良い。
【００４２】
このように、船舶、電車、車両等の様々な乗り物において、旋回窓の緊切位置にカメラを設置し、カメラによる旋回窓を介した画像を撮影し、その撮影画像を運転者の視認可能な表示部に表示することで、運転者は容易に旋回窓を介した広範囲な外界状況を確認することが可能となり、より安全な走行を実現することができる。
【００４３】
［３．障害物の鮮明な画像を表示可能とした構成について］
上述したように、カメラによる旋回窓を介した撮影画像を表示部に表示することで、運転者は容易に旋回窓を介した広範囲な外界状況を確認することが可能となり、より安全な走行を実現することができる。
しかし、多くの場合、旋回窓を利用して外界を確認する場合は、雨や雪等の悪天候の状況であることが多く、カメラによる撮影画像には、雨や雪が写り込み、表示部に表示された撮影画像を見ても、衝突可能性のある障害物等の確認が困難となる場合がある。
【００４４】
特に、夜間等、照明を利用した撮影を行う場合、照明光が雨や雪に反射し、反射光がカメラに入力してしまうため、本来の撮影目的となる衝突可能性のある障害物の被写体画像が見えにくくなるという問題がある。
以下では、このような問題を解決し、障害物をより見やすくした画像を表示部に表示する構成例について説明する。
【００４５】
図６は、車両に搭載した２つの旋回窓（旋回窓−Ｌ，１１０Ｌ、旋回窓−Ｒ，１１０Ｒ）と、これらの旋回窓を介して画像撮影を行う２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）、さらに、これらのカメラの撮影画像を表示する表示部１５０の構成と利用例を示す図である。
【００４６】
外は、大雨であり、その中を自転車に乗った人物が車両に向かって走って来ている状態である。
図に示す表示部１５０には、雨の雨粒と自転車が表示されているが、夜間の照明光が雨粒に反射し、その反射光が自転車の前面に大量に表示されている。この結果、車両のドライバは、自転車を見落としてしまう可能性があり、事故を発生させてしまう恐れがある。
【００４７】
このような状況において、表示部１５０に表示される画像を、雨粒（雨粒による反射光）を減少させて障害物（自転車）を明瞭に表示した画像とする。
このような画像を表示するための構成について、図７以下を参照して説明する。
【００４８】
図７には、図６を参照した説明と同様、車両に搭載した２つの旋回窓（旋回窓−Ｌ，１１０Ｌ、旋回窓−Ｒ，１１０Ｒ）と、これらの旋回窓を介して画像撮影を行う２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）、さらに、これらのカメラの撮影画像を表示する表示部１５０の構成と利用例を示している。
【００４９】
図７の構成には、さらに、２つのパルス光出力部（パルス光出力部−Ｌ，１３０Ｌ、パルス光出力部−Ｒ，１３０Ｒ）と、画像処理部１４０を追加して示している。
なお、２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）は、いずれも図７に示す共通撮影範囲１２５の画像を撮影範囲に含めた画像の撮影を行う。
【００５０】
ただし、それぞれのカメラの撮影空間を制御し、２つのカメラが異なる空間を撮影する設定としても良い。
これらの撮影空間制御は、２つのパルス光出力部（パルス光出力部−Ｌ，１３０Ｌ、パルス光出力部−Ｒ，１３０Ｒ）のパルス光発光タイミングと、２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）の画像撮影タイミングの制御によって実行する。
【００５１】
２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）各々の撮影した異なる空間の画像は、画像処理部１４０に入力される。
画像処理部１４０は、２つの入力画像に対する画像処理により撮影画像に含まれる雨粒画像を減少させ、障害物（自転車）のみを強調した画像を生成して表示部１５０に表示する。
【００５２】
具体的な処理例について、図８以下を参照して説明する。
図８には、２つのカメラ（カメラ−Ｌ，１２０Ｌ、カメラ−Ｒ，１２０Ｒ）の各々が撮影する２つの空間、すなわち以下の２つの空間をを示している。
レンジ（１）空間２０１、
レンジ（２）空間２０２、
【００５３】
レンジ（１）空間２０１は、車両５０からの距離がＺ１〜Ｚ２の範囲の空間である。
一方、レンジ（２）空間２０２は、車両５０からの距離がＺ３〜Ｚ４の範囲の空間である。
レンジ（１）空間２０１には、障害物（自転車）が存在せず、雨粒のみが存在する。
一方、レンジ（２）空間２０２には、障害物（自転車）が存在し、雨粒も存在する。
【００５４】
図８に点線で示す立方体領域がレンジ（１）空間２０１であり、このレンジ（１）空間２０１は、レンジ（１）画像撮影部２５１によって撮影される画像の撮影空間である。
一方、図８に実線で示す立方体領域がレンジ（２）空間２０２であり、このレンジ（２）空間２０２は、レンジ（２）画像撮影部２５２によって撮影される画像の撮影空間である。
【００５５】
レンジ（１）画像撮影部２５１、レンジ（２）画像撮影部２５２は、いずれも、１つのカメラと１つのパルス光出力部から構成される。
これらの各撮影部２５１，２５２のパルス光出力と、画像撮影処理のタイミング制御により、図に示すようなレンジ（１）画像２１１、レンジ（２）画像２１２が、各撮影部２５１，２５２において個別に撮影される。
【００５６】
レンジ（１）画像２１１には、レンジ（１）空間２０１内の被写体のみが撮影される。図に示す例では、雨粒のみが撮影され、図８に示す雨粒のみの画像からなるレンジ（１）画像２１１が撮影される。
一方、レンジ（２）画像２１２には、レンジ（２）空間２０２内の被写体のみが撮影される。図に示す例では、障害物（自転車）と雨粒が撮影され、図８に示す自転車と雨粒の画像からなるレンジ（２）画像２１２が撮影される。
【００５７】
レンジ（１）空間２０１内の雨粒のみを撮影したレンジ（１）画像２１１と、レンジ（２）空間２９２内の障害物（自転車）と雨粒を撮影したレンジ（２）画像２１２は画像処理部１４０に入力される。
図に示す例では雨粒や障害物を明瞭な輪郭がある像として模式的には描いているが、実際の撮像例では光の飛行中の散乱により実際にはぼやけた像として映る。
【００５８】
画像処理部１４０は、レンジ（１）画像２１１とレンジ（２）画像２１２の差分処理画像（または差分領域強調画像）２２０を生成する。その差分画像の像そのものを表示部１５０に表示する場合、鮮明な像がなくとも障害物の有無の注意喚起機能としての役割を果たすｒ。例えば特定の差分値以上の領域を囲い、白黒画面にしてまたはカラー画像のままその周囲のみや領域を赤色で囲うことで注意喚起してもよいし、その情報により人や自動車等の画像認識分類処理をして検出対象に応じて注意喚起や背景の情報を残してゼブラパターン表示の重畳表示をしても良い。
【００５９】
さらに、より効果的には、障害物の有無に応じて画面のその障害物がある領域に運転者へ注意喚起をしつつ、画像認識処理による障害物の自動検出を頼らずに情報を効果的に運転者へ提供することが必要である。このため、差分発生領域に、その差分量に応じた重み付けをしたコントラスト強調処理を行う。この処理により、その領域の情報を中心に運転者は注意する事になり、より迅速に障害物を確認して適切な判断が出来るようになる。
【００６０】
差分情報を元に実撮像画像の差分有り領域の強調処理をすることで、障害物領域を顕在化させた画像イメージとして、図１１の差分処理画像２２０を示す。この画像において、障害物以外の外周領域は大局的にみて差分量が小さく、元画像のコントラスト協調は行わないが、障害物のある領域は大局的に差分量が大きくなるため、この領域ではその差分に応じたコントラスト強調を行う。この結果、画像ノイズが発生しても局所的により濃淡のある画像となり、視覚的刺激の強い画像領域となり、運転者に、その領域に注意を向けさせる視認動作を誘引する事ができる。
【００６１】
レンジ（１）画像２１１とレンジ（２）画像２１２の２つの画像には、いずれにも雨粒画像が含まれるが、障害物（自転車）は、レンジ（２）画像２１２にのみ含まれる。
従って、これら２つの画像の差分画像［（レンジ（２）画像）−（レンジ（１）画像）］を生成すると、両画像に含まれる雨粒画像が取り除かれ、障害物（自転車）のみが残された差分処理画像２２０が生成される。
【００６２】
ここで説明の為の図面としては模式的に雨滴や障害物の輪郭を描いているが、前述の様に実際の雨天や霧の中で反射光が帰ってくる狭い期間で区切った間の蓄積積分画像は高輝度輝点の集合として撮像され、対象区間にある障害物の輪郭が明示的に撮像されるわけではなく、領域の濃淡として境界がぼんやりとした画像のみとして現れる。そこで、差分が現れた領域に対して局所的に元画像の濃淡強調処理をする事で、障害物を含む領域をより鮮明に表示する画像生成が可能となる。つまり、差分情報は画面に対する局所的濃淡強調を行うマップとみなすことが出来る。
【００６３】
従来の局所的に画像強調するマップが無い状況では、豪雨、積雪や霧によりコントラスト低下した画像の視認性を改善するため、画面全体に対して例えばヒストグラム平滑化処理をする事で画面全体のコントラスと上げる処理が知られている。その場合は、画像全体に濃淡の強調を行う事になるため、雨滴を含む画像全体で濃淡エッジが顕在化した画像としてエッジ強調が画面全体に広がり、運転者の視覚特性として結果的に注意が散漫となる。他方で、前述した本発明の方式で障害物有無の確率が高い差分領域に局在化した状態でコントラスト強調を行う事で、運転者は該当箇所を中心に注意誘引されるので、より早期に状況認識が可能となる。
【００６４】
これは、人の目の視覚認知機能が明るさの変化点、つまりコントラストのある画像の濃淡エッジで視覚神経が刺激される視覚神経の特性を利用した構成である。
このように、差分情報により処理した差分処理画像２２０を表示部１５０に表示することで、車両のドライバに、障害物（自転車）が進行方向に迫っていることを確実に認識させることができる。
【００６５】
なお、雨、霧、雪と言った反射物を含む環境下で、外界に光を照射して、直接、眼で観察すると、観察対象の障害物からの反射光が、雨滴や雪などの妨害物に反射し、観察対象の障害物を明瞭に識別することが困難となる。特に雨等の水滴が球体形状の場合は入射光に対する散乱特性により、この傾向が大きくなる。また、ある特定条件の霧状の微小な水滴ではブロッケン現象と呼ばれる光の跳ね返りが行る。
【００６６】
本開示の構成では、このような問題を解決するため、直接、目で観察する直接視界ではなく、カメラによる撮影画像を用いた間接視界画像をドライバに提供する。
さらに、観測目標物に対するパルス光の発光処理とその発光タイミングに応じた画像撮影処理と差分処理画像の生成により、目標物の鮮明な画像をドライバに提示することを可能としている。
【００６７】
図９、図１０を参照して、レンジ（１）画像２１１を撮影するレンジ（１）画像撮影部２５１と、レンジ（２）画像２１２を撮影するレンジ（２）画像撮影部２５２の画像撮影処理の詳細について説明する。
【００６８】
図９は、レンジ（１）画像２１１を撮影するレンジ（１）画像撮影部２５１の撮影シーケンスと、レンジ（２）画像２１２を撮影するレンジ（２）画像撮影部２５２の撮影シーケンスについて説明する図である。
各々のシーケンス図には、以下の４つのタイミングを並べて示している。
（ａ）パルス光出力
（ｂ）カメラ受光開始
（ｃ）カメラ受光終了
（ｄ）受光信号積分処理
【００６９】
レンジ（１）画像撮影部２５１、レンジ（２）画像撮影部２５２は、いずれも、１つのカメラと１つのパルス光出力部から構成される。
図９に示すシーケンス図の（ａ）パルス光出力は、各撮影部のパルス光出力部のパルス光出力タイミングを示している。
（ｂ）カメラ受光開始、（ｃ）カメラ受光終了、（ｄ）受光信号積分処理、これらは、各撮像部のカメラの受光開始タイミングと終了タイミング、およびカメラの撮像素子の蓄積電荷の積分処理タイミングを示している。
（ｄ）受光信号積分処理により、レンジ（１）画像２１１、またはレンジ（２）画像２１２が得られる。
【００７０】
レンジ（１）画像２１１を撮影するレンジ（１）画像撮影部２５１は、以下の処理を実行する。
（ａ）時間ｔｘにおいて、パルス光出力、
（ｂ）時間ｔｘからΔｔ１経過後にカメラ受光開始、
（ｃ）時間ｔｘからΔｔ２経過後にカメラ受光終了、
（ｄ）時間ｔｘからΔｔ１〜Δｔ２間のカメラの受光信号積分処理、
これらの処理を実行する。
（ｄ）受光信号積分処理の結果として、図８に示すレンジ（１）空間２０１内の被写体のみを撮影したレンジ（１）画像２１１、すなわち雨粒のみが撮影された画像が得られる。
【００７１】
一方、レンジ（２）画像２１２を撮影するレンジ（１）画像撮影部２５２は、以下の処理を実行する。
（ａ）時間ｔｙにおいて、パルス光出力、
（ｂ）時間ｔｙからΔｔ３経過後にカメラ受光開始、
（ｃ）時間ｔｙからΔｔ４経過後にカメラ受光終了、
（ｄ）時間ｔｙからΔｔ３〜Δｔ４間のカメラの受光信号積分処理、
これらの処理を実行する。
（ｄ）受光信号積分処理の結果として、図８に示すレンジ（２）空間２０２内の被写体のみを撮影したレンジ（２）画像２１２、すなわち障害物（自転車）と雨粒が撮影された画像が得られる。
【００７２】
図９に示す各シーケンスによって各レンジ空間に含まれる反射画像のみの被写体が撮影される理由について、図１０を参照して説明する。
図１０は、レンジ（１）画像２１１を撮影するレンジ（１）画像撮影部２５１の撮影対象となるレンジ（１）空間と、レンジ（２）画像２１２を撮影するレンジ（２）画像撮影部２５２の撮影対象となるレンジ（２）空間の空間的位置について説明する図である。
【００７３】
図１０に示すように、レンジ（１）画像撮影部２５１、レンジ（２）画像撮影部２５２は、いずれも、１つのカメラと１つのパルス光出力部から構成される。
これらの各撮影部２５１，２５２のパルス光出力と、画像撮影処理のタイミング制御は、図９を参照して説明したシーケンス制御に従って実行される。
このシーケンス制御により、図１０に示すようなレンジ（１）画像２１１、レンジ（２）画像２１２が、各撮影部２５１，２５２において個別に撮影される。
【００７４】
レンジ（１）画像２１１を撮影するレンジ（１）画像撮影部２５１の撮影対象となるレンジ（１）空間は、レンジ（１）画像撮影部２５１のカメラおよびパルス光出力部の設置位置から、距離Ｚ１〜Ｚ２の範囲の空間として規定される。
先に図９を参照して説明した時間Δｔ１，Δｔ２と、距離Ｚ１，Ｚ２との関係は以下の関係式に従ったものとなる。
Δｔ１＝２×（Ｚ１／ｃ）
Δｔ２＝２×（Ｚ２／ｃ）
なお、上記式において、ｃは光速（＝パルス光の速度）である。
上記式を距離Ｚ１，Ｚ２の往復距離を算出する式として書き直すと、以下のようになる。
２Ｚ１＝ｃ×Δｔ１
２Ｚ２＝ｃ×Δｔ２
【００７５】
２Ｚ１は、レンジ（１）画像撮影部２５１からレンジ（１）空間の前端部までの往復距離であり、この往復距離２Ｚ１は、パルス光が時間（Δｔ１）間に進む距離に相当する。
図９を参照して説明したように、時間（Δｔ１）は、パルス光の出力時間（ｔｘ）からカメラの受光開始時間までの経過時間である。
すなわち、レンジ（１）画像撮影部２５１のパルス光出力部が時間（ｔｘ）で出力したパルス光がレンジ（１）空間の前端部に到達し、レンジ（１）空間の前端部の被写体、例えば雨粒に反射して、レンジ（１）画像撮影部２５１のカメラの撮像素子に入力するまでの所要時間がΔｔ１である。
【００７６】
レンジ（１）画像撮影部２５１のカメラは、レンジ（１）画像撮影部２５１のパルス光出力部が、時間（ｔｘ）に出力したパルス光が、レンジ（１）空間の前端部の被写体に反射してカメラに入力する時間（ｔｘ＋Δｔ１）から撮影処理を開始、すなわち、撮像素子に対する光入射の蓄積積分を開始する。
【００７７】
一方、２Ｚ２は、レンジ（１）画像撮影部２５１からレンジ（１）空間の後端部までの往復距離であり、この往復距離２Ｚ２は、パルス光が時間（Δｔ２）間に進む距離に相当する。
レンジ（１）画像撮影部２５１のカメラは、レンジ（１）画像撮影部２５１のパルス光出力部が、時間（ｔｘ）に出力したパルス光が、レンジ（１）空間の後端部の被写体に反射してカメラに入力する時間（ｔｘ＋Δ２）で撮影処理を終了、すなわち、撮像素子に対する光入射の蓄積積分処理を終了する。
【００７８】
このように、レンジ（１）画像撮影部２５１のカメラの撮像素子には、レンジ（１）画像撮影部２５１のパルス光出力部が出力したパルス光の反射光が入力されるが、その反射光は、以下の反射光のみとなる。
レンジ（１）空間の前端部の被写体に反射してカメラに入力する時間（ｔｘ＋Δｔ１）から、
レンジ（１）空間の後端部の被写体に反射してカメラに入力する時間（ｔｘ＋Δｔ２）まで、
上記の期間（Δｔ２−Δｔ１）の反射光のみが他の期間と区別され撮像素子で蓄積信号として排他的に検出される。
【００７９】
この時間（Δｔ２−Δｔ１）にカメラ撮像素子に入力する光は、レンジ（１）空間の前端部から後端部までの被写体からの反射光である。
図９に示すレンジ（１）画像の撮影シーケンス中の（ｄ）受光信号積分処理は、時間（Δｔ２−Δｔ１）にカメラの撮像素子に入力する光の積分処理であり、この処理により、レンジ（１）空間内の被写体のみを撮影したレンジ（１）画像２１１が取得される。
本例において、レンジ（１）空間内の被写体は雨粒のみであり、雨粒のみを撮影したレンジ（１）画像２１１が取得される。
【００８０】
一方、レンジ（２）画像２１２を撮影するレンジ（２）画像撮影部２５２の撮影対象となるレンジ（２）空間は、レンジ（２）画像撮影部２５２のカメラおよびパルス光出力部の設置位置から、距離Ｚ３〜Ｚ４の範囲の空間として規定される。
先に図９を参照して説明した時間Δｔ３，Δｔ４と、距離Ｚ３，Ｚ４との関係は以下の関係式に従ったものとなる。
Δｔ３＝２×（Ｚ３／ｃ）
Δｔ４＝２×（Ｚ４／ｃ）
なお、上記式において、ｃは光速（＝パルス光の速度）である。
上記式を距離Ｚ３，Ｚ４の往復距離を算出する式として書き直すと、以下のようになる。
２Ｚ３＝ｃ×Δｔ３
２Ｚ４＝ｃ×Δｔ４
【００８１】
２Ｚ３は、レンジ（２）画像撮影部２５２からレンジ（２）空間の前端部までの往復距離であり、この往復距離２Ｚ３は、パルス光が時間（Δｔ３）間に進む距離に相当する。
図９を参照して説明したように、時間（Δｔ３）は、パルス光の出力時間（ｔｙ）からカメラの受光開始時間までの経過時間である。
すなわち、レンジ（２）画像撮影部２５２のパルス光出力部が時間（ｔｙ）で出力したパルス光がレンジ（２）空間の前端部に到達し、レンジ（２）空間の前端部の被写体、例えば雨粒に反射して、レンジ（２）画像撮影部２５２のカメラの撮像素子に入力するまでの所要時間がΔｔ３である。
【００８２】
レンジ（２）画像撮影部２５２のカメラは、レンジ（２）画像撮影部２５２のパルス光出力部が、時間（ｔｙ）に出力したパルス光が、レンジ（２）空間の前端部の被写体に反射してカメラに入力する時間（ｔｙ＋Δｔ３）から撮影処理を開始、すなわち、撮像素子に対する光入射を開始する。
【００８３】
一方、２Ｚ４は、レンジ（２）画像撮影部２５２からレンジ（２）空間の後端部までの往復距離であり、この往復距離２Ｚ４は、パルス光が時間（Δｔ４）間に進む距離に相当する。
レンジ（２）画像撮影部２５２のカメラは、レンジ（２）画像撮影部２５２のパルス光出力部が、時間（ｔｙ）に出力したパルス光が、レンジ（２）空間の後端部の被写体に反射してカメラに入力する時間（ｔｙ＋Δ２）で撮影処理を終了、すなわち、撮像素子に対する光入射処理を終了する。
【００８４】
このように、レンジ（２）画像撮影部２５２のカメラの撮像素子には、レンジ（２）画像撮影部２５２のパルス光出力部が出力したパルス光の反射光が入力されるが、その反射光は、以下の反射光のみとなる。
レンジ（２）空間の前端部の被写体に反射してカメラに入力する時間（ｔｙ＋Δｔ３）から、
レンジ（２）空間の後端部の被写体に反射してカメラに入力する時間（ｔｙ＋Δｔ４）まで、
上記の期間（Δｔ４−Δｔ３）の反射光のみが撮像素子に入力される。
【００８５】
この時間（Δｔ４−Δｔ３）にカメラ撮像素子に入力する光は、レンジ（２）空間の前端部から後端部までの被写体からの反射光である。
図９に示すレンジ（２）画像の撮影シーケンス中の（ｄ）受光信号積分処理は、時間（Δｔ４−Δｔ３）にカメラの撮像素子に入力する光の積分処理であり、この処理により、レンジ（２）空間内の被写体のみを撮影したレンジ（２）画像２１２が取得される。
本例において、レンジ（２）空間内の被写体は障害物（自転車）と雨粒であり、障害物（自転車）と雨粒を撮影したレンジ（２）画像２１２が取得される。
【００８６】
このようにして取得された２つの画像、すなわち、
レンジ（１）画像２１１、
レンジ（１）画像２１２。
これらの画像は画像処理部１４０に入力される。
画像処理部１４０の処理について図１１を参照して説明する。
【００８７】
図１１に示すように、レンジ（１）画像２１１は、レンジ（１）空間２０１内の被写体である雨粒のみが撮影された画像である。
一方、レンジ（２）画像２１２は、レンジ（２）空間２０２内の被写体である障害物（自転車）と雨粒が撮影された画像である。
【００８８】
レンジ（１）空間２０１内の雨粒のみを撮影したレンジ（１）画像２１１と、レンジ（２）空間２９２内の障害物（自転車）と雨粒を撮影したレンジ（２）画像２１２は画像処理部１４０に入力される。
画像処理部１４０は、レンジ（１）画像２１１とレンジ（２）画像２１２の差分処理画像（または差分領域強調画像）２２０を生成する。
レンジ（１）画像２１１とレンジ（２）画像２１２の２つの画像には、いずれにも雨粒画像が含まれるが、障害物（自転車）は、レンジ（２）画像２１２にのみ含まれる。
従って、これら２つの画像の差分画像［（レンジ（２）画像）−（レンジ（１）画像）］を生成すると、両画像に含まれる雨粒画像が取り除かれ、障害物（自転車）のみが残された差分処理画像２２０が生成される。
【００８９】
画像処理部１４０は生成した差分処理画像２２０を表示部１５０に表示する。
なお、画像処理部１４０は、前述のとおり差分領域を強調表示する画像処理を実行した差分領域強調画像を生成する処理を行なう構成としてもよいし、単なる差分画像を表示するのでもよい。
画像処理部１４０における差分画像、または差分領域強調画像が表示部１５０に表示される。
表示部１５０には、雨粒に邪魔されない障害物（自転車）の画像がクリアに表示されることになり、車両のドライバは障害物（自転車）が前方に迫っていることを確実に認識することができる。
【００９０】
次に、図１２に示すフローチャートを参照して、本開示の処理、すなわち、車、船舶、電車等に搭載された画像処理装置の実行する処理のシーケンスについて説明する。
図１２に示すフローに従った処理は、例えば、車、船舶、電車等に搭載された画像処理装置内部の記憶部に格納されたプログラムに従って、プログラム実行機能を有する制御部（データ処理部）の制御の下、実行される。
以下、図１２に示すフローの各ステップの処理について、順次、説明する。
【００９１】
（ステップＳ１０１）
まず、ステップＳ１０１において初期設定を行う。具体的には、カメラの撮影方向、パルス光出力部のパルス光出力方向の調整、旋回窓の回転開始処理等を実行する。
さらに、先に図８〜図１１を参照して説明した２つの異なる撮影空間であるレンジ（１）空間と、レンジ（２）空間を規定し、これらの各レンジ空間を撮影するために適用するパラメータを決定する。
【００９２】
なお、旋回窓の実際の回転利用の必要性、旋回窓の利用に合わせた事前や使用中の洗浄動作、外光同期利用などは、一意に決めて利用するのではなく、走行中の条件等により変更してもよい。
例えば日中、夜間、照明の外光環境条件、雨量や雪の積雪量、霧の発生状況、窓の汚れ状況や、自車走行速度などに応じて、旋回窓の動作を制御してもよい。さらには、走行条件や環境条件によって検出に適した動作制御が異なってくる為、走行条件や走行環境に即してパラメータ設定や動作切り替えを行う。
特に検出距離空間は例えば霧の濃度により視認性改善効果が異なるため条件に応じた最適化設定を行う。具体的には、先に図９を参照して説明したカメラの受光開始、終了タイミングを規定する時間パラメータ：Δｔ１〜Δｔ４を決定する。
【００９３】
（ステップＳ１０２）
ステップＳ１０１の初期設定が完了すると、ステップＳ１０２において、レンジ（１）画像撮影用パルス光を発光する。
この処理は、図９に示すレンジ（１）画像の撮影シーケンス中の「（ａ）パルス光出力」処理に相当する。
【００９４】
（ステップＳ１０３）
次に、ステップＳ１０３において、レンジ（２）画像撮影用パルス光を発光する。
この処理は、図９に示すレンジ（２）画像の撮影シーケンス中の「（ａ）パルス光出力」処理に相当する。
なお、ステップＳ１０２、Ｓ１０３のパルス光の発光順は、様々な設定が可能であり、レンジ（２）画像撮影用パルス光を先に発光してもよく、また同時に発光する設定としてもよい。さらにはレンジ（２）の取り込みはレンジ（１）のセット機器で検出タイミング制御を適切に行う事で同一発光光源を異なる時間領域の画像として取り込んでも良いが、その場合は同一のカメラでレンジ（１）積分の終了後に次のレンジ（２）の積分開始処理が必要で高速の読みだし処理乃至は一時的レンジ（１）の画像情報保持メモリ等が必要となる。
【００９５】
（ステップＳ１０４）
次に、ステップＳ１０２において発光したレンジ（１）画像撮影用パルス光の反射光に基づく撮像処理を実行する。
パルス光の発光タイミング（ｔｘ）からの経過時間（Δｔ１〜Δｔ２）の期間のみカメラの撮像素子に光（パルス光の反射光）を入射し画像を撮影する。
この処理によって、レンジ（１）空間の被写体を撮影したレンジ（１）画像が撮影される。
【００９６】
（ステップＳ１０５）
次に、ステップＳ１０３において発光したレンジ（２）画像撮影用パルス光の反射光に基づく撮像処理を実行する。
パルス光の発光タイミング（ｔｙ）からの経過時間（Δｔ３〜Δｔ４）の期間のみカメラの撮像素子に光（パルス光の反射光）を入射し画像を撮影する。
この処理によって、レンジ（２）空間の被写体を撮影したレンジ（２）画像が撮影される。
【００９７】
（ステップＳ１０６）
次のステップＳ１０６以下の処理は、図７、図８、図１１に示す画像処理部１４０において実行する処理である。
画像処理部１４０は、まず、ステップＳ１０６において、レンジ（１）画像とレンジ（２）画像、各画像の対応領域の所定画素領域単位の差分絶対値和（ＳＡＤ：Ｓｕｍ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出し、算出データを適用して、レンジ（１）画像とレンジ（２）画像の差分画像を生成する。
【００９８】
（ステップＳ１０７〜Ｓ１０８）
次に、ステップＳ１０７において、レンジ（１）画像とレンジ（２）画像の差分絶対値和（ＳＡＤ）と差分画像を用いて、障害物と判定される被写体が存在するか否かを判定する。
例えば、予め規定した差分値以上で、かつ規定しきい値以上の大きさを持つ画素領域が存在した場合、その画素領域を障害物としての被写体が存在する画素領域であると判定する処理を行なう。
【００９９】
障害物としての被写体が存在する画素領域が検出された場合（ステップＳ１０８の判定＝Ｙｅｓ）は、ステップＳ１０９に進む。
一方、障害物としての被写体が存在する画素領域が検出されなかった場合（ステップＳ１０８の判定＝Ｎｏ）は、ステップＳ１１１に進む。
【０１００】
（ステップＳ１０９）
ステップＳ１０８において、障害物としての被写体が存在する画素領域が検出された場合（ステップＳ１０８の判定＝Ｙｅｓ）は、ステップＳ１０９に進む。
ステップＳ１０９では、レンジ（１）画像とレンジ（２）画像の差分絶対値和（ＳＡＤ）と差分画像を用いて、障害物と判定した領域（＝画素値差分の大きな領域）を強調する画像補正処理を実行して、差分領域強調画像（障害物強調画像）を生成する。
【０１０１】
なお、差分領域の強調処理としては、適応型局所トーン強調処理（Ａｄａｐｔｉｖｅ  Ｌｏｃａｌ  Ｔｏｎｅ  Ｅｎｈａｎｃｅｍｅｎｔ）や、コントラスト強調処理等、の補正処理が可能である。
なお、ヒストグラム平滑化処理や全体のコントラストを上げる方法も適用可能である。ただし、障害物が遠方にある場合には、その遠方位置の反射光変化検出領域に対し、コントラスト強調を行うのが効果的である。
本フローチャートのステップＳ１０７〜ステップＳ１０９では、障害物検出を行った上で選択的画像強調処理を想定した例として説明しているが、障害物検出を行わなくともその絶対差分の局所的重み付に応じて適応的にトーン強調処理を行っても良い。オブジェクト検出や検出に応じた判別処理は必須な処理ではなく省略した機能でもよい。
【０１０２】
（ステップＳ１１０）
ステップＳ１１０では、ステップＳ１０９において生成した差分領域強調画像（障害物強調画像）を表示部に出力する。
さらに、警報音等のアラームを出力する構成としてもよい。
なお、ステップＳ１０９の差分領域強調処理等の補正処理は省略し、差分画像をそのまま表示部に出力する構成としてもよい。
【０１０３】
（ステップＳ１１１）
一方、ステップＳ１０８において、障害物としての被写体が存在する画素領域が検出されなかった場合（ステップＳ１０８の判定＝Ｎｏ）は、ステップＳ１１１に進む。
ステップＳ１１１では、レンジ（１）画像、またはレンジ（２）画像を表示部に表示する。
なお、表示部に対する出力画像は、レンジ（１）画像、またはレンジ（２）画像のどちらか新しい画像とする。
【０１０４】
レンジ（１）画像と、レンジ（２）画像は、例えば図１０に示す２つの画像撮影部２５１，２５２によって交互に繰り返し撮影される。
２つの画像撮影部２５１，２５２によって撮影された１組の撮影画像毎に図１２に示すフローのステップＳ１０２以下の処理を繰り返し実行する。
【０１０５】
この一連の処理において、２つの異なるレンジ画像から障害物が検出された場合のみ、ステップＳ１０９〜Ｓ１１０の処理によって障害物をクリアに表示した差分画像、または差分領域強調画像の表示を行う。
一方、２つの異なるレンジ画像から障害物が検出されない場合は、ステップＳ１１１の処理によって、最新の画像が選択されて表示される。すなわち、レンジ（１）画像と、レンジ（２）画像が交互に表示される。
【０１０６】
これらのステップＳ１０２〜ステップＳ１１０／Ｓ１１１の一連の処理を車両の走行中、逐次連続的に繰り返し行なうことで、例えば車両の前方に、自転車等の障害物が出現した場合、障害物（自転車）の画像を、雨粒を排除したクリアな画像として表示部に表示することが可能となり、車両の運転者に障害物をいち早く検知させ、車両の安全な走行を促すことができる。
なお、本実施例では２つの画像撮影部を用いる例を記載したが、これに限定されず、１つの画像撮影部で実現することも可能である。例えば、一つのカメラが、パルス光の出力開始からの経過時間が異なるタイミングの複数の画像を撮影して、これを利用する構成としてもよい。
【０１０７】
［４．障害物の鮮明な画像を表示可能とした構成の変形例について］
次に、上述した障害物の鮮明な画像を表示可能とした構成の変形例について説明する。
以下の変形例について説明する。
（１）障害物検出手段を適用した構成例について
（２）表示部に補助画面を設定し、撮影対象とするレンジ空間該の障害物を確認可能とした構成例について
（３）カメラの構成例について
【０１０８】
［４−（１）．障害物検出手段を適用した構成例について］
まず、（１）障害物検出手段を適用した構成例について説明する。
上述した処理例では、例えば、図１０に示す２つの画像疎撮影部２５１，２５２によって撮影範囲とする２つの空間、すなわち、レンジ（１）空間と、レンジ（２）空間を、予め規定した位置に設定した例として説明した。すなわち、以下の空間位置の設定である。
レンジ（１）空間は、車両の画像撮影部からの距離がＺ１〜Ｚ２の範囲。
レンジ（２）空間は、車両の画像撮影部からの距離がＺ３〜Ｚ４の範囲。
この空間設定は一例であり、この他にも様々な設定が可能である。
【０１０９】
さらに、例えば自転車等の障害物が存在する位置を、予めセンサ等により検出し、その検出位置を含む空間をレンジ（２）空間として設定し、その手前にレンジ（１）空間を設定する等といった構成としてもよい。
例えば、被写体までの距離を計測するＬＩＤＡＲ（Light Detection and Ranging）やカメラであるＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）カメラを用いる構成としてもよい。
ＴＯＦカメラは、赤外光を被写体に照射して、反射した赤外光がカメラに入射されるまでに要した時間から距離を算出する。
【０１１０】
例えばこのような赤外光カメラを利用した構成により、算出した人物までの距離を含むように、上記のレンジ（２）空間の範囲規定距離Ｚ３〜Ｚ４を設定し、その手前にレンジ（１）空間を設定し、これらの各レンジ空間を２つの画像撮影部によって撮影する。
このような処理を行なえば、人物等の障害物を確実に撮影した画像を取得することができる。
【０１１１】
なお、さらに赤外光画像を撮影する構成では、レンジ（１）空間とレンジ（２）空間の各レンジ空間の２つの赤外光画像を撮影し、これらの２つの赤外光画像を適用して差分赤外光画像を生成して、この差分赤外光画像に対する差分領域強調処理を実行した画像を生成して表示部に表示する構成としてもよい。
【０１１２】
［４−（２）．表示部に補助画面を設定し、撮影対象とするレンジ空間該の障害物を確認可能とした構成例について］
次に、（２）表示部に補助画面を設定し、撮影対象とするレンジ空間該の障害物を確認可能とした構成例について説明する。
【０１１３】
先に説明した処理例では、予め規定した２つのレンジ空間、すなわち例えば示すレンジ（１）空間とレンジ（２）空間のいずれかに障害物（自転車等）が存在しないと、差分画像に障害物が表示されない、
例えば、図８に示す自転車が、レンジ（１）空間２０１より手前に近づいた場合には、レンジ（１）空間とレンジ（２）空間の差分画像を生成しても自転車は検出されず、表示部１５０には、自転車の画像が表示されないことになってしまう。
【０１１４】
このような画像表示処理を行なうと、ドライバが、障害物が近付いていることに気付かない可能性がある。
このような危険性を排除するため、以下の処理を行なう構成としてもよい、
すなわち、一度、レンジ（１）空間とレンジ（２）空間のいずれかに障害物（自転車等）が存在することが確認された場合、その後、レンジ（１）空間とレンジ（２）空間のいずれにも障害物（自転車等）が存在しなくなっても、一定期間、障害物の画像、あるいは障害物が存在すると推定される領域を示す識別枠等を表示部１５０に表示する。
【０１１５】
具体例を図１３に示す。
図１３には、以下の各状態における表示部１５０の表示例を示している。
（ａ）撮影空間内に障害物が存在する場合
（ｂ）撮影空間内に障害物が存在しない場合
【０１１６】
（ａ）撮影空間内に障害物が存在する場合、すなわち、レンジ（１）空間２０１、またはレンジ（２）空間２０２のいずれかに障害物（自転車等）が存在する場合は、前述した処理に従って生成される差分画像、または、差分領域強調画像が表示部１５０に表示される。
【０１１７】
一方、（ｂ）撮影空間内に障害物が存在しない場合、すなわち、障害物（自転車）が、レンジ（１）空間２０１、レンジ（２）空間２０２を通過して、いずれの撮影空間にも障害物（自転車等）が存在しなくなった場合は、前述した処理に従って生成される差分画像、または、差分領域強調画像から、障害物（自転車）が消滅してしまう。
このような場合、表示部１５０に隣接する表示部補助画面１５０ａに、一定期間、障害物の画像を継続して表示する構成とする。さらに、表示部１５０には障害物が存在すると推定される領域を示す識別枠を表示する。
【０１１８】
このように、一度、レンジ（１）空間とレンジ（２）空間のいずれかに障害物（自転車等）が存在することが確認された場合、その後、レンジ（１）空間とレンジ（２）空間のいずれにも障害物（自転車等）が存在しなくなっても、一定期間、障害物の画像や、障害物が存在すると推定される領域を示す識別枠等を表示部１５０に表示する。
このような表示処理を実行することで、ドライバに、障害物の存在を継続して警告することが可能となる。
なお、警報（アラーム）についても、同様に、一定期間継続して出力する構成とすることが好ましい。
識別枠の表示は、走行条件に応じて、対象が画面内で遷移する移動先を路面上の配置推定から算出をして位置を更新するのが最も好ましい。つまり、具体的には路面に起立している障害物は、車両の前進走行に応じて、画面無限点と障害物を結ぶ線に沿って車両へ接近する配置となるため、障害物との距離に応じて画面内のその幾何配置の補正が必要となる。
【０１１９】
［４−（３）．カメラの構成例について］
前述した実施例では、カメラの具体的構成については言及していないが、例えば、時間スリット輪切り空間露光カメラを利用することが可能である。
時間スリット輪切り空間露光カメラは、時間方向に一定の期間で露光のリセット、積分を行うカメラであり、例えばグローバルシャッタを制御して撮像素子としての２次元配列画素に対するリセット処理、入力光信号の蓄積開始、終了処理等を特定時刻に実行するカメラである。
【０１２０】
なお、利用可能なカメラとしては、通常の光電変換信号電荷をフォトダイオードに蓄積保存する方式以外に、フォトンカウンタ式の例えばＳＰＡＤ（Ｓｉｎｇｌｅ  Ｐｈｏｔｏｎ  Ａｖａｌａｎｃｈｅ  Ｄｉｏｄｅ）型の受光素子がある。
これは、例えばパルス光の反射光を受光し、反射光の検出到達フォトンの遅延時間をＴＤＣ（ｔｉｍｅ  ｔｏ  ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）と呼ばれるカウンタで計測して特定の遅延カウントを満たす遅延時間画像を取得する構成である。
【０１２１】
また、上述した実施例では、複数のカメラを利用して、それぞれ異なるタイミングの画像を撮影する構成例を説明したが、
例えば、一つのカメラが、パルス光の出力開始からの経過時間が異なるタイミングの複数の画像を撮影する構成としてもよい。
【０１２２】
上述したように、本開示の画像処理装置は、旋回窓を介して画像を撮影するカメラと、カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、画像処理部の生成した画像を表示する表示部を有する。さらに、パルス光出力部を有し、カメラは、パルス光出力タイミングから異なる時間経過後の画像を撮影する第１カメラと第２カメラによって構成される。各カメラは、異なる空間の画像を撮影し、画像処理部は、各カメラの撮影した画像の差分画像を生成して表示部に表示する。差分画像には、いずれかの空間のみに存在する障害物が、よりクリアに表示される。
本構成により、旋回窓を介したカメラ撮影画像を表示部に表示して悪天候の中でも進行方向の状況をより確実に確認可能とした画像処理装置が実現される。
【０１２３】
［５．内部にカメラを配置した旋回窓の構成例について］
次に、雨天時でも屋外を撮像して画像を取り込む必要がある事から、撮像カメラ本体を旋回窓のある保護空間の筐体に配した構成例について説明する。
本開示の構成では、旋回窓を有する保持空間内部にカメラを配置して、旋回窓を介した外界の画像をカメラによって撮影することが必要である。
旋回窓は、前述したように高速回転することにより、窓外側に付着する雨や雪等を周囲に吹き飛ばしながら、視界を確保する構成である。
窓を高速に回転するための機構としては、円形の窓の中心に回転軸を設け、回転軸を中心として円形窓を回転させる機構が用いられる。
旋回窓をスムーズに回転させるためには、できるだけ固定部材との摩擦を小さくする構成とすることが必要であるが、一方、窓内部に水滴の進入を防ぐことも要求される。窓内部に水滴や湿度が侵入すると、カメラが曇り、特にその光学部が曇ると明瞭な画像が撮影できなくなる可能性がある。
【０１２４】
以下、旋回窓のスムーズな回転を維持し、かつ、旋回窓内部に対する外気進入を防止持する構成について説明する。
図１４を参照してカメラを内部に収納した旋回窓の構成例について説明する。
【０１２５】
図１４に示す旋回窓構成は、筐体３０１内部にカメラ３０７を備えた構成を有する。
旋回窓３０２は、回転軸３０３を中心として高速に回転する。旋回窓３０２の外側面の付着物等を除去するため、旋回窓３０２の外側面に軸周り自由回転するブラシ３０４が接触する構成となっている。なお、ブラシ３０４は、固定ブラシであっても良い。
なお、ブラシ３０４は、旋回窓３０２の回転速度や汚れ度合に応じて旋回窓３０２との距離を能動的に外部制御指示に基づき変更する制御を行うように構成してもよい。
【０１２６】
例えば旋回窓３０２の回転速度が低い場合は、ブラシ３０４を旋回窓３０２により密着させる。一方、旋回窓３０２の回転速度が高い場合は、ブラシ３０４を旋回窓３０２から少し離間させ、密着度を低下させる。ブラシ３０４は自由回転可能な取り付けをする事で、旋回窓の内輪外輪差でブラシ３０４は異なる回転力を受ける為、常に新しい毛先がまんべんなく旋回窓を触る事が出来る為、雨滴やワイパー液を受けた状態で旋回窓が回る事で常に綺麗な状態に保つことが可能となる。
これは、低速回転時は、付着物の飛散が少なくブラシ３０４による付着物の除去力を高める必要があり、高速回転時は、自律的な付着物の飛散が多く、ブラシ３０４による付着物の除去力を低下させてもよいからである。図示はしていないが、ウィンドウウォッシャーなどを吹き付ける機構と連動してもよい。
【０１２７】
なお、例えば除雪剤やウィンドウウォッシャーなどを含んだ液滴がブラシ３０４と旋回窓３０２に接触した状態で停止し乾燥すると、除雪剤や溶融物質が結晶析出して水垢のように固着する事があり、その状態で固着や結晶化した析出物で旋回窓を損傷する恐れがあるため、ユーザが旋回窓の動作を停止させたとしても、すぐに停止させずに所定時間ブラシ３０４を動作させた後に旋回窓の動作を停止させるのが望ましい。ブラシ３０４は旋回窓が汚れ等で視界妨害が発生した状況を自動検出したり、またはマニュアルで一時的、あるいは旋回時にのみ接触する等、必要に応じて能動的に制御する構成とするのが望ましい。
【０１２８】
筐体３０１の内部空間には、カメラ３０７が設置され、外部からの水滴や湿気の進入を防止することが必要となる。
カメラの動作、旋回窓回転時、この筐体３０１内部には、乾燥空気陽圧部３０８から乾燥空気が所定の圧力で継続して入力される状態に維持される。
しかし、旋回窓３０２の外周部と筐体３０１とは完全に接触させて密閉することが難しい。旋回窓３０２の外周を筐体３０１に接触させると旋回窓３０２のスムーズな回転が妨げられるからである。
そこで、図に示すように、旋回窓３０２の外周部と筐体３０１との間は、旋回窓３０２の回転を妨げない何らかの外気進入防止機構３１０を構成することが必要となる。
【０１２９】
図１５以下を参照して、外気進入防止機構３１０の複数の具体例について説明する。
以下の複数の外気進入防止機構の例について、順次、説明する。
（１）磁性流体を利用した構成例
（２）撥水性起毛部材を利用した構成例
（３）筐体係合型窓枠部を利用した構成例
【０１３０】
［５−（１）．磁性流体を利用した構成例について］
まず、磁性流体を利用した構成例について説明する。
図１５は、図１４に示す外気進入防止機構３１０の構成部、すなわち、旋回窓３０２の外周部と筐体３０１との密接領域を拡大して示した断面図である。
【０１３１】
旋回窓３０２は、窓枠部３２１に固定されている。
図１５において、旋回窓３０２と、窓枠部３２１、金属磁性リング部材３２４は、旋回窓３０２に対して固定された一体化構造であり、旋回窓３０２とともに高速回転する。
筐体３０１は固定部材であり、回転しない。
筐体３０１には、磁石３２２が固定されている。磁石３２２は、旋回窓３０２の中心の回転軸を中心とするリング状の磁石３２２である。
【０１３２】
筐体に連結したリング状の磁石３２２と旋回窓枠に連結した金属磁性リング部材３２４の間の磁気回路が形成する磁力線に沿って、磁性流体３２３がある。磁性流体３２３は、磁石の磁力線の勾配に引きつけられて、磁石３２２の磁極間の回りの全外周部に局在して集まる事で、磁性流体の溶媒である非溶融性の油脂成分が水分の侵入を防ぐ。
図１５に示す状態は、旋回窓３０２が回転していない状態である。
旋回窓３０２が回転すると、磁性流体３２３は、遠心力で外側に引き延ばされたように形状を変更する。
【０１３３】
図１６を参照して、旋回窓３０２の回転状態における磁性流体３２３の変形例について説明する。
図１６には、以下の各図を示している。
（１）旋回窓回転停止時
（２）旋回窓回転時
【０１３４】
（１）旋回窓回転提示時には、磁性流体３２３は、磁石３２２の周りに集積した状態となる。
この状態において、筐体３０１内部に対する外気進入路は、図に示すように、筐体３０１と、窓枠部３２１との間のすきまとなる。
しかし、このすきまは、磁性流体３２３によって塞がれており、外気が筐体３０１に進入することが防止される。
【０１３５】
一方、（２）旋回窓の高速回転時には、磁性流体３２３は、遠心力により、磁石３２２の周りから周囲に拡散した状態となる。磁性流体３２３は、旋回窓の回転による遠心力で磁石３２２よって構成される閉磁気回路から排出され、図１６（ｂ）に示すように、外周部に流れ込む。窓枠部３２１には、この磁性流体３２３の流路、すなわち磁性流体３２３を、旋回窓３０２の回転時にリザーブする磁性流体の受け溜りが形成されている。この状態においても、図に示すように、外気進入目、すなわち、筐体３０１と、窓枠部３２１との間のすきまは、磁性流体３２３によって塞がれており、外気が筐体３０１に進入することが防止される。
【０１３６】
なお、磁性流体の注入量や閉磁気回路の形状次第では磁性流体がこのすきまに残らない構成にすることもできる。その場合、粘性抵抗の無くすことが出来るためより安定した旋回窓の回転を低消費電力で実現が出来る。自ずと回転をやめればまた磁力線の勾配により液体である磁性流体は一旦開いた間隙部に戻り回転が落ちればまた密閉される。磁性流体が途切れる構成にした場合、筐体内を陽圧にすることで、例えば外気の湿気の侵入を防ぐことが出来る。
【０１３７】
［５−（２）．撥水生性起毛部材を利用した構成例について］
次に、図１７を参照して撥水性起毛部材を利用した構成例について説明する。
図１７も、図１４に示す水滴進入防止機構３１０の構成部、すなわち、旋回窓３０２の外周部と筐体３０１との密接領域を拡大して示した断面図である。
【０１３８】
旋回窓３０２は、窓枠部３２１に固定されている。
図１７において、旋回窓３０２と、窓枠部３２１は、旋回窓３０２に対して固定された一体化構造であり、旋回窓３０２とともに高速回転する。
筐体３０１は固定部材であり、回転しない。
図１７に示す構成において、窓枠部３２１の筐体３０１との当接領域に、撥水性起毛部材３３１が形成されている。
この撥水性起毛部材３３１は、窓枠部３２１に固定されており、旋回窓３０２の回転とともに回転する。
なお、撥水性起毛部材３３１により掃引される筐体３０１側の面も撥水処理を施し、鳥の羽毛の如く、筐体内部へ水滴の侵入が困難な構成とする。
【０１３９】
この構成では、筐体３０１内部に対する水滴進入路は、図に示すように、筐体３０１と、窓枠部３２１との間のすきまであるが、このすきまは、撥水性起毛部材３３１によって塞がれており、外気湿気の侵入は筐体３０１の内圧を陽圧にする事で進入することで防止される。
【０１４０】
［５−（３）．筐体係合型窓枠部を利用した構成例について］
次に、図１８を参照して筐体係合型窓枠部を利用した構成例について説明する。
図１８も、図１４に示す外気進入防止機構３１０の構成部、すなわち、旋回窓３０２の外周部と筐体３０１との密接領域を拡大して示した断面図である。
【０１４１】
旋回窓３０２は、筐体係合型窓枠部３４１に固定されている。
図１８において、旋回窓３０２と、筐体係合型窓枠部３４１は、旋回窓３０２に対して固定された一体化構造であり、旋回窓３０２とともに高速回転する。
筐体３０１は固定部材であり、回転しない。
図１８に示す構成において、筐体係合型窓枠部３４１は、筐体３０１との当接領域に「くし型」の係合構造を有する構成となっている。
【０１４２】
この構成では、筐体３０１内部に対する外気進入路は、図に示すように、筐体３０１と、筐体係合型窓枠部３４１との間のすきまであるが、このすきまは、筐体係合型窓枠部３４１の「くし型」の係合構造を有しており、外部からの直線的な進入路を解消した構成となっており、水滴に対して進入がしにくい構造となっている。
また、筐体係合型窓枠部３４１と筐体３０１の「くし型」の係合構造を有する面は、いずれも撥水処理を施し、水滴侵入が困難な構成とする。
この構成により、外気が筐体３０１に進入することが防止される。
【０１４３】
［６．画像処理装置の構成例について］
次に、図１９を参照して車両、船舶、電車等の乗り物に搭載される画像処理装置の構成例について説明する。
図１９は、上述した実施例に従った処理を実行する画像処理装置５００の構成例を示す図である。
図１９に示すように、画像処理装置５００は、画像処理部５０１、カメラＬ，５０２Ｌ、カメラＲ，５０２Ｒ、表示制御部５０３、表示部５０４、パルス光出力部Ｌ，５０５Ｌ、パルス光出力部，５０５Ｒ、旋回窓Ｌ，５０６Ｌ、旋回窓Ｒ，５０６Ｒ、旋回窓駆動部５０７、入力部５０８、記憶部５０９、制御部５１０を有する。
【０１４４】
カメラＬ，５０２Ｌは、旋回窓Ｌ，５０６Ｌを介して画像を撮影する。
カメラＲ，５０２Ｒは、旋回窓Ｒ，５０６Ｒを介して画像を撮影する。
旋回窓Ｌ，５０６Ｌ、旋回窓Ｒ，５０６Ｒは、旋回窓駆動部５０７により、窓が高速回転される。この高速回転により、窓外側の雨、雪等の付着物は周囲に吹き飛ばされ、旋回窓を介した視界が保たれる。
【０１４５】
旋回窓５０６Ｌ，Ｒ、例えば先に図１４〜図１８を参照して説明したように、旋回窓内部に外気が入り込みにくい構造を有しており、カメラ４０２Ｌ，Ｒは、外気の入り込みにくい旋回窓内部に配置される。
【０１４６】
パルス光出力部Ｌ，５０５Ｌ、パルス光出力部Ｒ，５０５Ｒは、制御部５１０の制御の下、パルス光を出力する。具体的には、夜間等、照明を利用した撮影を行う場合に利用される。
また、カメラ４０２Ｌ，Ｒも制御部５１０は、制御部５１０の制御の下で画像撮影を実行する。パルス光の出力に併せて画像撮影を行う場合は、例えば先に図９を参照して説明した処理シーケンスに従って、撮像開始、終了、画像出力等の撮影処理を行なう。
【０１４７】
カメラＬ，５０２Ｌ、カメラＲ，５０２Ｒは、例えば、図７〜図１２を参照して説明したように、カメラ設置部から異なる距離にある異なるレンジ空間の撮影画像を出力する。
【０１４８】
画像処理部５０１は、カメラの撮影画像を入力して、表示部５０４に表示する画像を生成して出力する。生成する画像は、例えば、図３〜図５を参照して説明したようなカメラＬ，５０２Ｌ、カメラＲ，５０２Ｒが撮影した画像の合成画像であり、生成した合成画像は、表示制御部５０３を介して表示部５０４に表示される。
【０１４９】
ただし、夜間や悪天候等、照明を利用した撮影を行う場合には、カメラＬ，５０２Ｌ、カメラＲ，５０２Ｒは、制御部５１０の制御の下、先に図７〜図１１を参照して説明したように、パルス光出力部Ｌ，５０５Ｌ、パルス光出力部Ｒ，５０５Ｒの出力するパルス光の出力に併せて、予め規定されたタイミングで撮影処理を行う。
このようなパルス光を用いた画像撮影処理を実行した場合は、画像処理部５０１は、カメラＬ，５０２Ｌ、カメラＲ，５０２Ｒが撮影した異なるレンジ空間の撮影画像を利用して、これらの画像の差分画像や、差分強調画像を生成する。
【０１５０】
表示制御部５０３は、画像処理部５０１が生成した差分画像や、差分強調画像を表示部５０４に表示する処理を行なう。
【０１５１】
制御部５１０は、例えば記憶部５０９に格納されたプログラムに従った様々なデータ処理を実行する。
具体的には、例えば、カメラ５０２Ｌ，Ｒによる画像撮影タイミングの制御、パルス光出力部５０５Ｌ，Ｒのパルス光出力処理制御、旋回窓５０６Ｌ，Ｒの駆動制御、画像処理部５０１の画像処理制御等を実行する。
【０１５２】
記憶部５０９は、制御部５１０、画像処理部５０１、表示制御部５０３等において実行するデータ処理に関するプログラム、パラメータ等を格納し、さらに、各データ処理部のワークエリアとして利用される。具体的にはＲＡＭ、ＲＯＭ等によって構成される。
【０１５３】
入力部５０８は、例えばユーザの入力情報を入力するためのスイッチ、各種のキー、あるいはタッチパネル、ジェスチャーセンサ等によって構成され、例えば表示部５０４と一体化されたタッチパネルの操作によって、表示画像の移動や拡大等の処理を行なうことができる。
表示制御部５０３は、入力部５０９からの入力情報に応じた画像の表示制御を実行する構成としてもよい。例えば入力部５０９からの入力情報に応じた画像の拡大、縮小、表示位置の変更等を実行する。
【０１５４】
なお、図１９に示す構成の他、さらに、被写体までの距離を計測するカメラであるＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）カメラや赤外光カメラや、被写体距離までの距離を計測する距離センサ等を備えた構成としてもよい。
【０１５５】
さらに、先に図１４を参照して説明したように、旋回窓５０６Ｌ，Ｒの外部にブラシを取り付ける構成としてもよい。
また、制御部５１０が、旋回窓５０６Ｌ，Ｒの回転速度に応じて旋回窓５０６Ｌ，Ｒとブラシとの距離を変更する制御を行う構成としてもよい。
例えば旋回窓の回転速度が低い場合は、ブラシを旋回窓に密着させる。一方、旋回窓の回転速度が高い場合は、ブラシを旋回窓から少し離間させ、密着度を低下させる。これは、低速回転時は、付着物の飛散が少なくブラシによる付着物の除去力を高める必要があり、高速回転時は、付着物の飛散率が高くなり、ブラシによる付着物の除去力を低下させてもよいからである。
【０１５６】
［７．その他の実施例について］
次に、その他の実施例について説明する。
（１）保護フードを有する構成例
旋回窓内部にカメラを格納した構成は、例えば、現在の車両に備えられているバックミラー等のミラーの代わりに用いることが可能となる。
たとえば、現在のバックミラーの取り付け位置に、旋回窓に格納したカメラを設置し、カメラの撮影画像を車両の運転席の表示部（モニタ）に表示する。このようなカメラモニタリングシステム（ＣＭＳ）とすることが可能である。
【０１５７】
しかし、このような構成とすると、旋回窓とカメラ格納筐体を、車体の側面に取り付けることが必要であり、人などが接触する恐れがある。
例えば人と接触すると、撮影方向のずれや機器の損傷が発生する可能性がある。このような事態を防止するため、旋回窓やカメラ格納筐体を覆う保護フードや保護カバーを設け、旋回窓やカメラ格納筐体に直接的な衝撃が加わらない構成とすることが好ましい。
【０１５８】
（２）旋回窓の回転制御機構
前述したように旋回窓は高速回転する窓であり、旋回窓を回転させるためのモータが必要となる。旋回窓の外側表面は外界に面しており、例えば泥などの付着物が旋回窓に付着すると、回転が阻害される可能性がある。このような場合、モータの負荷が過大となり、モータを破損させてしまう可能性がある。このような事態を防止するため、モータの回転制御部に保護回路を設けてモータの過負荷による破損を防止する構成とすることが好ましい。
【０１５９】
（３）旋回窓の視界確保構成
前述のように、旋回窓の外側表面は、外界に面しており、泥等の付着等の恐れがある。さらに、例えば除雪車等においては、除雪剤が溶融した水しぶきが付着して旋回窓の表面で再結晶化することが想定される。このような場合、旋回窓を介した視界確保が不十分になる恐れがある。
このような問題を低減させるため、旋回窓に対する除雪剤等の塗布や、その他、除雪剤の付着を防止するための薬品の塗布、あるいは表面処理を施す構成とすることが好ましい。
【０１６０】
さらに、旋回窓や、筐体との間隙への泥等の付着、除雪剤の再結晶化、付着等を防止する構成として、自動、または半自動、またはマニュアルで洗浄剤を吹き付け、付着物や結晶化リスクのある残留液滴を除去する機構を備える構成としてもよい。
また、水滴や汚泥等の付着防止の為、旋回窓に撥水コーティング処理を施す構成としてもよい。
また、ＴｉＯ２等の光誘起型の親水性コーティング剤を塗布する構成としてもよい。
このようなコーティング剤は、旋回窓の回転時や停止時に定期的に塗布する等、セルフクリーニング型の制御機能を用いて塗布する構成としてもよい。
【０１６１】
さらに、氷点下以下での使用の際には、旋回窓や筐体内の水分の凍結も予想され、凍結による間隙部の膨張等による旋回窓の破損等が発生し得る。
このような問題を回避するための構成として、排水構造を設け、さらに、氷結による膨張による機器破損を防ぐための緩衝弾性部材を、水分付着可能性の高い部位、例えば部材間の隙間等に配置してもよい。また、氷結防止のためにヒータを備えても良い。
【０１６２】
なお、ヒータを備えた構成では、ヒータのＯＮ／ＯＦＦ状態の情報や、異常発生などの自己診断情報を取得する機能、および、これらの取得情報を運転者の視聴可能な表示部へ表示する機能を有する構成とすることが好ましい。
【０１６３】
さらに、旋回窓は、一般的な窓、すなわち、運転者が外部を直接、見ることができる視界窓とは異なり、運転者は窓をのぞき込む必要がない。
一方、運転者が、直接、外を見るための視界窓と、旋回窓を並列に設定することも可能である。このような並列の窓設定構成では、運転者による視界窓からの外界の観察の邪魔にならない位置に旋回窓とカメラを設置することが必要である。
たとえば、画像を取り込むカメラの位置はキャビン空間の視界窓の外周部の少なくとも１０％より外側の配置とする。この構成により、視界窓を介した視界範囲を広く確保することが可能である。
【０１６４】
カメラの具体的位置としては、例えば、平均的な運転者の視線位置（例えば国際技術標準ＩＳＯ４５１３  ：  １９７８で定義するｅｙｅｌｉｐｓｅの位置）より上方に設置することが望ましく、後方に配置する場合は、動力車輪の位置より上方に配置する構成とすることが望ましい。
【０１６５】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６６】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、
前記画像処理部の生成した画像を表示する表示部を有し、
前記カメラは広角カメラである画像処理装置。
【０１６７】
（２）  前記画像処理部は、
前記広角カメラの撮影画像の歪み補正処理を実行して前記表示用画像を生成する（１）に記載の画像処理装置。
【０１６８】
（３）  前記旋回窓は、離間位置にある複数の旋回窓によって構成され、
前記カメラは、前記複数の旋回窓各々の内側領域に設置された複数のカメラによって構成され、
前記画像処理部は、
前記複数のカメラによる複数の撮影画像を入力し、入力した複数の撮影画像の合成処理を実行して前記表示用画像を生成する（１）または（２）に記載の画像処理装置。
【０１６９】
（４）  前記画像処理装置は、さらに、
パルス光出力部を有し、
前記カメラは、前記パルス光出力部のパルス光出力タイミングから異なる時間経過後の画像を撮影する第１カメラと第２カメラによって構成され、
前記第１カメラと、前記第２カメラの各々は、前記パルス光の出力開始からの経過時間が異なるタイミングで画像撮影を行うことで、異なる空間の画像を撮影し、
前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像を生成して、生成した差分画像に基づいて前記表示用画像を生成する（１）〜（２）いずれかに記載の画像処理装置。
【０１７０】
（５）  前記第１カメラは、前記パルス光の出力開始からの経過時間が、Δｔ１〜Δｔ２の範囲において画像撮影処理を実行することで、前記パルス光出力部の出力パルス光が、時間Δｔ１〜Δｔ２の期間に往復する第１空間内の画像である第１画像を撮影し、
前記第２カメラは、前記パルス光の出力開始からの経過時間が、前Δｔ１〜Δｔ２の範囲と異なるΔｔ３〜Δｔ４の範囲において画像撮影処理を実行することで、前記パルス光出力部の出力パルス光が、時間Δｔ３〜Δｔ４の期間に往復する第２空間内の画像である第２画像を撮影する（４）に記載の画像処理装置。
【０１７１】
（６）  前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分領域を強調した差分領域強調画像を生成して、生成した差分領域強調画像に基づいて前記表示用画像を生成する（４）または（５）に記載の画像処理装置。
【０１７２】
（７）  前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分が大きい領域に対するトーン強調処理、またはコントラスト強調処理を実行して、前記差分領域強調画像を生成する（６）に記載の画像処理装置。
【０１７３】
（８）  前記画像処理部は、
前記第１カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像に障害物が検出され、その後、検出されなくなった場合、所定時間、表示部補助画面に障害物画像を表示する（４）〜（７）いずれかに記載の画像処理装置。
【０１７４】
（９）  前記カメラは、複数の赤外光カメラであり、
前記画像処理部は、
前記複数の赤外光カメラの撮影した第１画像と、前記第２カメラの撮影した第２画像との差分画像を生成して、生成した差分画像に基づいて前記表示用画像を生成する（４）〜（８）いずれかに記載の画像処理装置。
【０１７５】
（１０）前記第１カメラと、前記第２カメラは、物理的には一つのカメラであり、一つのカメラが、前記パルス光の出力開始からの経過時間が異なるタイミングの複数の画像を撮影する（４）〜（９）に記載の画像処理装置。
【０１７６】
（１１）  旋回窓と、
前記旋回窓を介して画像を撮影するカメラと、
前記カメラを、前記旋回窓内部に格納する筐体を有し、
前記カメラが設置された筐体内部に対する外気侵入を防止するための外気侵入防止機構を、前記旋回窓の外周部と前記筐体との間に構成した画像撮影装置。
【０１７７】
（１２）  前記カメラは広角カメラである（１１）に記載の画像撮影装置。
【０１７８】
（１３）  前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路を磁性流体で塞いだ構成を有する（１１）に記載の画像撮影装置。
【０１７９】
（１４）  前記外気進入防止機構は、
前記旋回窓の回転速度に応じて磁性流体による旋回窓とカメラ筐体の封止流体の封印量が変動し粘性抵抗を減じる機構を有する（１２）に記載の画像撮影装置。
【０１８０】
（１５）  前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路を撥水性起毛部材で塞いだ構成を有する（１１）に記載の画像撮影装置。
【０１８１】
（１６）  前記外気進入防止機構は、
前記旋回窓の外周部と前記筐体との間の外気進入路をくし型形状とした構成を有する（１１）に記載の画像撮影装置。
【０１８２】
（１７）  前記カメラは、前記旋回窓の内側領域の筐体内部に設置された構成であり
前記カメラの設置された筐体内部の封止内部圧を外気に対して陽圧に設定する機構、または乾燥空気を筐体内に導入する機構の少なくともいずれかの機構を有する構成である（１１）〜（１５）いずれかに記載の画像撮影装置。
【０１８３】
（１８）  画像処理装置において実行する画像処理方法であり、
広角カメラが、旋回窓を介して画像を撮影する画像撮影ステップと、
画像処理部が、前記広角カメラの撮影画像を入力して、表示用画像を生成する画像生成ステップと、
表示部が、前記画像処理部の生成した画像を表示する表示ステップを、
実行する画像処理方法。
【０１８４】
（１９）  画像処理装置において画像処理を実行させるプログラムであり、
広角カメラに、旋回窓を介して画像を撮影させる画像撮影ステップと、
画像処理部に、前記広角カメラの撮影画像を入力させて、表示用画像を生成させる画像生成ステップと、
表示部に、前記画像処理部の生成した画像を表示させる表示ステップを、
実行させるプログラム。
【０１８５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８７】
以上、説明したように、本開示の一実施例の構成によれば、旋回窓を介したカメラ撮影画像を表示部に表示して悪天候の中でも進行方向の状況をより確実に確認可能とした画像処理装置が実現される。
具体的には、旋回窓を介して画像を撮影するカメラと、カメラの撮影画像を入力して、表示用画像を生成する画像処理部と、画像処理部の生成した画像を表示する表示部を有する。さらに、パルス光出力部を有し、カメラは、パルス光出力タイミングから異なる時間経過後の画像を撮影する第１カメラと第２カメラによって構成される。各カメラは、異なる空間の画像を撮影し、画像処理部は、各カメラの撮影した画像の差分画像を生成して表示部に表示する。差分画像には、いずれかの空間のみに存在する障害物が、よりクリアに表示される。
本構成により、旋回窓を介したカメラ撮影画像を表示部に表示して悪天候の中でも進行方向の状況をより確実に確認可能とした画像処理装置が実現される。
【符号の説明】
【０１８８】
１０  旋回窓
２０  運転者
３０  カメラ
４０  表示部
５０  車両
５１  カメラ装着旋回窓
５２  表示部
１１０  旋回窓
１２０  カメラ
１３０  パルス光出力部
１４０  画像処理部
１５０  表示部
２０１  レンジ（１）空間
２０２  レンジ（２）空間
２１１  レンジ（１）画像
２１２  レンジ（２）画像
２２０  差分処理画像（差分領域強調画像）
２５１  レンジ（１）画像撮影部
２５２  レンジ（２）画像撮影部
３０１  筐体
３０２  旋回窓
３０３  回転軸
３０４  ブラシ
３０７  カメラ
３０８  乾燥空気陽圧部
３１０  外気進入防止機構
３２１  窓枠部
３２２  磁石
３２３  磁性流体
３２４  金属リング部材
３３１  撥水性起毛部材
３４１  筐体係合型窓枠部
５００  画像処理部
５０１  画像処理部
５０２  カメラ
５０３  表示制御部
５０４  表示部
５０５  パルス光出力部
５０６  旋回窓
５０７  旋回窓駆動部
５０８  入力部
５０９  記憶部
５１０  制御部
【図１】
2018032984.tif 000003
【図２】
2018032984.tif 000004
【図３】
2018032984.tif 000005
【図４】
2018032984.tif 000006
【図５】
2018032984.tif 000007
【図６】
2018032984.tif 000008
【図７】
2018032984.tif 000009
【図８】
2018032984.tif 000010
【図９】
2018032984.tif 000011
【図１０】
2018032984.tif 000012
【図１１】
2018032984.tif 000013
【図１２】
2018032984.tif 000014
【図１３】
2018032984.tif 000015
【図１４】
2018032984.tif 000016
【図１５】
2018032984.tif 000017
【図１６】
2018032984.tif 000018
【図１７】
2018032984.tif 000019
【図１８】
2018032984.tif 000020
【図１９】
2018032984.tif 000021