(57)【要約】【課題】第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー画像を挿入することにより、効果的な運転支援を実現する。【解決手段】画像処理装置は、画像に対する視点変換処理を行う視点変換画像生成部を備え、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、前記第２視点画像を生成する。【選択図】図１
2020135206.tif 000002
【特許請求の範囲】
【請求項１】
画像に対する視点変換処理を行う視点変換画像生成部を備え、
前記視点変換画像生成部は、
入力された画像に対する視点変換処理によって第１視点画像を生成し、
前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、
前記第２視点画像を生成する、
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記視点変換画像生成部は、フレーム毎に前記視点変換処理を実施する、画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記視点変換画像生成部は、前記第１視点画像から前記第２視点画像に向かって視点及び視線の変化の方向が同一となる視点及び視線を有する複数の中間視点画像を生成する、画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記視点変換画像生成部は、歪補正処理及び透視画法処理によって前記視点変換処理を実現する、画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記視点変換画像生成部は、ユーザ操作に基づいて前記視点変換処理を実施する、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記視点変換画像生成部は、人の脳内視覚活動に対応して複数の前記中間視点画像を生成する、画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記視点変換画像生成部は、
前記入力された画像に対する視点変換処理によって第１視点画像を生成すると共に、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する第１の視点変換画像生成部と、
前記第１視点画像の生成と前記第２視点画像の生成との間に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する第２の視点変換画像生成部と、を有する、
画像処理装置。
【請求項８】
請求項１に記載の画像処理装置と、
前記第１視点画像に基づく第１ビュー表示、前記１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び前記第２視点画像に基づく第２ビュー表示を連続的に表示させるための表示制御を行う表示処理部と、
を備える車載用カメラシステム。
【請求項９】
請求項８に記載の車載用カメラシステムであって、
前記表示処理部は、前記第１ビュー表示、１つ以上の中間ビュー表示及び第２ビュー表示を、自動車のサイドミラー表示装置又はルームミラー表示装置に表示する、車載用カメラシステム。
【請求項１０】
入力された画像に対する視点変換処理によって第１視点画像を生成し、
前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、
前記第２視点画像を生成する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像画像の視線及び視点を変更可能な画像処理装置、車載用カメラシステム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、自動車の運転を効果的に支援するためのセンシング技術の開発が行われている。代表的な画像情報入力装置であるカメラは、小型化され自由な配置での取り付けが可能になっており、ドライバーは、車の後方はもとより、その全周囲にわたっての映像を視認できるようになってきている。
【０００３】
高精細画素情報を低電力で処理できる画像処理技術が確立されており、カメラからの信号の伝送方式もこれまでのアナログビデオ信号出力方式から、高精細画像情報を安定して伝送出力できる高速シリアルデジタル信号出力方式へ移行中である。
【０００４】
カメラからの画像を利用した運転支援装置として、複数のカメラの画像を合成して、運転者の死角を含め自動車周囲の状況をわかりやすく表示案内する装置が実用化されている。画像を視点変換及び画像合成することにより、撮像画像の視点及び視線とは異なる視点及び視線を有する画像を運転者に提供できるようになっている。
【０００５】
特許文献１においては、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作を簡単にする提案がある。この提案では、シフトレバー操作等のユーザ操作をトリガとして、カメラからの撮像画像を用いて、トップビュー表示、サイドビュー表示、リアビュー表示等への切換えが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４５３７５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来ビュー表示の切換え時には、ビュー表示とビュー表示との間に無効な黒画を挿入表示しており、ドライバーはこの切換え時に一瞬ではあるが映像情報を取得することができないという課題があった。
【０００８】
また、特許文献１においては、ビュー表示の切換えはユーザ操作をトリガとして実施され、ユーザ操作に対応した視点でのビュー表示が行われる。しかしながら、ドライバーがビュー表示を見ている途中で、視点が異なる他のビュー表示に切換ると、ドライバーは視野に関する感覚を失ってしまうことがあるという課題もあった。例えば、駐車時の車両後進走行途中で視点がいきなり切換ると、ドライバーは後方視野に関する感覚を失い、かえってスムーズな駐車の妨げとなることがある。
【０００９】
本開示は、上述した従来の事情に鑑みて案出され、第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー表示を挿入し、効果的な運転支援を実現可能な画像処理装置、車載用カメラシステム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示は、画像に対する視点変換処理を行う視点変換画像生成部を備え、前記視点変換画像生成部は、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、前記第２視点画像を生成する、画像処理装置を提供する。
【００１１】
また、本開示は、前記画像処理装置と、前記第１視点画像に基づく第１ビュー表示、前記１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び前記第２視点画像に基づく第２ビュー表示を連続的に表示させるための表示制御を行う表示処理部と、を備える車載用カメラシステムを提供する。
【００１２】
また、本開示は、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成し、前記第２視点画像を生成する、画像処理方法を提供する。
【発明の効果】
【００１３】
本開示によれば、第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー画像を挿入し、効果的な運転支援を実現できる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態に係る画像処理装置の構成の一例を示すブロック図
【図２】図１の画像処理装置が組み込まれて構成されるカメラを含む車載用カメラシステムを示すブロック図
【図３】画像メモリ２５の書き込み及び読み出しを説明するための説明図
【図４】撮像画像の各領域ＲＷ，ＲＭ，ＲＴと各ビュー表示の表示モードとの関係を説明するための説明図
【図５】視点変換処理の結果得られる画像の変化を説明するための説明図
【図６】本実施の形態における視点変換処理を示すタイミングチャート
【図７】第１ビュー表示、中間ビュー表示及び第２ビュー表示の変化を説明するための説明図
【発明を実施するための形態】
【００１５】
以下、適宜図面を適宜参照しながら、本開示に係る画像処理装置、車載用カメラシステム及び画像処理方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１６】
（実施の形態）
本実施の形態では、本開示に係る画像処理装置及び画像処理方法の一例として、車両に取り付けられたカメラからの撮像画像に対する画像処理に適用した構成例について説明する。
【００１７】
なお、以下の説明では、車載用カメラシステムに組込まれる画像処理装置に適用する例を説明するが、これに限定されるものではなく、各種カメラからの撮像画像を画像処理する汎用の画像処理装置に適用可能である。また、車両に取り付けられた１台のバックカメラからの撮像画像を画像処理する例を説明するが、複数台のカメラからの画像を用いて視点及び視線変換する画像処理にも適用可能である。
【００１８】
図１は、実施の形態に係る画像処理装置の構成の一例を示すブロック図である。また、図２は、図１の画像処理装置が組み込まれて構成されるカメラを含む車載用カメラシステムを示すブロック図である。
【００１９】
図２に示すように、車載用カメラシステムは、主に、カメラ１０及び表示処理部３０を有して構成される。カメラ１０は、自動車の（図示略）の各部に設けられ、自車の周囲を撮像して得た撮像画像を出力し、ケーブル４を介して車両に設けられた表示処理部３０に送信する。
【００２０】
カメラ１０は、イメージセンサ１、画像処理装置２及びシリアライザ３を有して構成される。イメージセンサ１は、ＣＭＯＳセンサ等の撮像素子により構成され、被写体を撮像して撮像信号を画像処理装置２に出力する。
【００２１】
画像処理装置２は、例えば、イメージシグナルプロセッサ（ＩＳＰ：Image Signal Processor）により構成することができる。画像処理装置２は、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）等を含んでよい。画像処理装置２は、イメージセンサ１からの撮像信号に対する所定の画像信号処理によって、撮像画像（動画像）を生成する。また、後述するように、画像処理装置２は、撮像画像に対して、歪補正、視点、視線の変更、サイズ変更等の処理（以下、視点変換処理と称する）を行う。画像処理装置２は、処理後の画像を所定の伝送規格でシリアライザ３に出力する。例えば、画像処理装置２は、ＤＶＰ（Digital Video Port）パラレル出力やＭＩＰＩ（Mobile Industry Processor Interface）シリアル出力が可能である。シリアライザ３は、画像処理装置２から画像を高速シリアルデータに変換してケーブル４を介して伝送する。
【００２２】
表示処理部３０は、主に、デシリアライザ３１、ＥＣＵ表示ＬＳＩ３２及びディスプレイ３３を有して構成される。
【００２３】
デシリアライザ３１は、ケーブル４を介して伝送された画像を受信し、パラレルデータに変換してＥＣＵ表示ＬＳＩ３２に出力する。例えば、デシリアライザ３１によって、受信された画像はＤＶＰパラレル出力に変換される。
【００２４】
ＥＣＵ表示ＬＳＩ３２は、電子制御ユニット（ＥＣＵ：Electronic Control Unit）に構成された表示用のＬＳＩ（Large Scale Integration）であり、入力された画像をディスプレイ３３に対応した表示用データに変換してディスプレイ３３に出力する。
【００２５】
ディスプレイ３３としては、例えば車両のダッシュボード等に配設されたナビゲーション装置のＬＣＤ（液晶表示装置）等を用いたディスプレイを利用することができる。また、近年、自動車のルームミラーやサイドミラー等にＬＣＤ等の表示装置を採用する場合もあり、ディスプレイ３３としては、これらのサイドミラー表示装置又はルームミラー表示装置を採用してもよい。なお、ディスプレイ３３は、ドライバーが運転中に見ることが可能な位置及びサイズに構成される。
【００２６】
ディスプレイ３３は、ＥＣＵ表示ＬＳＩ３２からの表示用データを用いて、表示画面上に画像を表示する。
【００２７】
図１に示すように、画像処理装置２は、主に、制御部２１、前処理部２２、書き込み制御部２３、メモリコントロール回路２４、画像メモリ２５及び視点変換画像生成部２６を有して構成される。なお、メモリコントロール回路２４及び画像メモリ２５は、画像処理装置２の外部に構成されていてもよい。
【００２８】
制御部２１は、ＣＰＵ（Central Processing Unit）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部２１は、画像処理装置２内の各部を制御する。
【００２９】
撮像部１ａは、図１のイメージセンサ１を構成するものであって、自動車（図示略）の各部、例えば前後左右の端部等に取り付けられる。撮像部１ａは、光学レンズ及びＣＭＯＳセンサ等の撮像素子（図示略）により構成されており、図１に示すように、例えば自車の前方、側方、後方等の所定の視野範囲の動画像の撮像を行う。撮像部１ａは、撮像素子により車両周囲の被写体光学像を光学レンズを介して取り込み、光電変換により撮像信号を得る。なお、撮像部１ａは、光学レンズとして例えば広角レンズ（図示略）を採用しており、比較的広角での撮像が可能である。図１の例では、撮像部１ａの視野角は１４８度である。
【００３０】
撮像部１ａからの撮像信号は画像処理装置２に供給される。画像処理装置２の前処理部２２は、制御部２１に制御されて、撮像部１ａの撮像を制御すると共に、撮像部１ａからの撮像信号を取り込む。また、前処理部２２は、撮像信号に対して所定のカラー画像処理を施した後、撮像信号に基づく各画素データをラスタスキャン順に書き込み制御部２３に出力する。
【００３１】
書き込み制御部２３は、制御部２１に制御されて、入力された画素データの画像メモリ２５への書き込みを制御する。書き込み制御部２３は、入力された画素データをラスタスキャン順にメモリコントロール回路２４に与える。
【００３２】
メモリコントロール回路２４は、画像メモリ２５の書き込み及び読み出しを制御するものである。メモリコントロール回路２４は、入力されたラスタスキャン順の画素データを画像メモリ２５の所定のアドレスに書き込むようになっている。また、メモリコントロール回路２４は、視点変換画像生成部２６に制御されて、画像メモリ２５に記憶された画素データを読み出して視点変換画像生成部２６に与える。
【００３３】
画像メモリ２５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により構成されており、所定フレーム数の画素データを記憶可能である。画像メモリ２５は、メモリコントロール回路２４に制御されて、撮像信号に基づく画素データを記憶する。画像メモリ２５には、撮像部１ａからの撮像信号に基づいて、各フレームの撮像画像を構成する画素データが順次記憶されることになる。以下、画像メモリ２５に記憶される画素データによって構成される１フレーム分の画像をフレーム現画像（原画像）と称する。
【００３４】
図３は画像メモリ２５の書き込み及び読み出しを説明するための説明図である。
【００３５】
図３の領域ＲＩは撮像部１ａからの撮像信号に基づく撮像画像（フレーム原画像）の範囲を示している。図３の例では、フレーム原画像は、水平１２８０画素×垂直９６０画素の画素データにより構成される。画像メモリ２５は、フレーム原画像を構成する各画素データをその画素位置に対応したアドレスに記憶している。なお、画像メモリ２５は、撮像画像を所定フレーム数分記憶可能である。
【００３６】
本実施の形態においては、第１及び第２の視点変換画像生成部の一例としての視点変換画像生成部２６は、画像メモリ２５に記憶された画素データの読み出し（切出し）を制御することにより、撮像部１ａによる撮像画像（フレーム原画像）に対して視点及び視線を変更した画像を生成することができる。
【００３７】
ところで、撮像部１ａによる撮像画像は、歪曲収差を有する。特に、撮像部１ａは、上述したように広角レンズを採用しており、比較的大きな歪曲収差を有する。このような歪曲収差の歪補正（ＤＣ：Distortion Correction）処理は、歪曲収差の情報に基づいて、フレーム原画像の各画素データについて、歪曲収差に応じた画素位置の変換を行えばよい。即ち、画像メモリ２５に記憶された画素データを、補正すべき画素位置に対応した順番で読み出すことで、ＤＣ処理が可能である。
【００３８】
また、視点変換画像生成部２６は、視点及び視線を変換するために、透視画法（ＰＣ：Perspective Correction）処理を行う。ＰＣ処理についても、画像メモリ２５に記憶された画素データを、変換すべき画素位置に対応した順番で読み出せばよい。ＰＣ処理は、フレーム原画像のサイズを変更するリサイズ処理を含むことになる。
【００３９】
視点変換画像生成部２６は、視点変換処理として、これらのＤＣ処理及びＰＣ処理（以下、ＤＣＰＣ処理と称す）を実行する。ＤＣＰＣ処理は、フレーム原画像のサイズ、ディスプレイ３３の有効表示領域のサイズ、撮像部１ａの広角レンズに関する情報並びに視点及び視線に関する情報等に基づいて、画像メモリ２５に記憶されているフレーム現画像の画素位置と出力すべき画像の画素位置との対応関係から求めることができる。
【００４０】
視点変換画像生成部２６は、この対応関係をルックアップテーブルとして保持するメモリ（図示略）を有する。ルックアップテーブルは、画像メモリ２５に記憶されたフレーム現画像の画素位置座標と、出力する画像の画素位置座標との対応を示すテーブルである。
【００４１】
視点変換画像生成部２６は、ＤＣＰＣ処理のためのルックアップテーブル（図示略）を、視点変換処理の種類、即ち、変換する視点及び視線に対応して複数有している。
【００４２】
視点変換画像生成部２６は、制御部２１によって視点及び視線が指定されることによって、対応するルックアップテーブルを参照して、視点及び視線変換を行った画像を出力する。
【００４３】
なお、視点変換画像生成部２６は、ルックアップテーブルを採用することなく、演算によって視点変換処理を行った画像を出力するようになっていてもよい。視点変換画像生成部２６は、生成した画像を所定の伝送規格でシリアライザ３に出力する。
【００４４】
また、図１の例では、１台の撮像部１ａからの撮像画像のみを画像メモリ２５に記憶させて視点変換画像生成部２６が視点変換処理を行う例を説明したが、複数台の撮像部からの撮像画像を画像メモリ２５に記憶させて、視点変換画像生成部２６が複数の画像を用いた視点変換処理を行うことも可能である。
【００４５】
図３の破線枠はディスプレイ３３の有効表示領域ＲＤの範囲を示しており、図３の例ではそのサイズは水平１２８０画素×垂直７２０画素である。例えば、視点変換画像生成部２６は、図３の撮像画像の領域ＲＩのうち、画面上端側が広く画面下端側が狭い台形状の比較的広い領域ＲＷの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。なお、視点変換画像生成部２６は、フレーム原画像に含まれない画素位置のデータについては、フィルタ補間処理によって生成する。
【００４６】
また、視点変換画像生成部２６は、例えば、図３の撮像画像の領域ＲＩのうち、画面上端側が狭く画面下端側が広い台形状の比較的広い領域ＲＭの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。
【００４７】
また、視点変換画像生成部２６は、例えば、図３の撮像画像の領域ＲＩのうち、画面上端側が極めて狭く画面下端側が広い台形状の比較的狭い領域ＲＴの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。
【００４８】
なお、図３の領域ＲＷ，ＲＭ，ＲＴは、フレーム原画像に対して、視点及び視線変換処理並びにリサイズ処理のために読み出す画像の範囲を示したものである。ＤＣＰＣ処理では、歪曲収差を考慮して画素データの読み出しが行われる。
【００４９】
制御部２１には、ＥＣＵ等から、撮像部１ａの撮像画像に対する視点及び視線の変更を行うための変更指示信号が入力されるようになっている。例えば、制御部２１には、シフトレバーの操作や、ディスプレイ３３等に設けられた図示しないタッチパネル操作等に基づいて、変更指示信号が入力される。制御部２１は、変更指示信号が入力されると、当該変更指示信号に対応した視点変換処理が行われるように、視点変換画像生成部２６を制御するようになっている。これにより、視点変換画像生成部２６は、例えばシフトレバー操作等に応じて、予め設定された視点変換処理を実施して、視点及び視線を変更した動画像を生成する。
【００５０】
図４は撮像画像の上述した各領域ＲＷ，ＲＭ，ＲＴと各ビュー表示の表示モードとの関係を説明するための説明図である。図４は撮像部１ａによる撮像画像の一例を示している。
【００５１】
撮像画像４１の画像サイズは水平１２８０画素×垂直９６０画素であり、垂直方向の画素数は、撮像部１ａの視野角１４８度に対応する。撮像画像４１は、室内の正面の壁に配置された長方形のパネルを撮像して得られたものであり、パネルは水平及び垂直方向に直線状に横６×縦４に分割された２４個のマス目を有する。
【００５２】
室内は水平及び垂直に構築された壁、床及び天井を有しているが、図４の例では、室内の床の画像４２ａ、壁の画像４２ｂ，４２ｃ及び天井の画像４２ｄは、それぞれの境界が湾曲している。これは撮像部１ａに採用されている広角レンズの歪曲収差の影響である。同様に、長方形のパネルの画像４３についても、パネル外周及びマス目が湾曲している。
【００５３】
視点変換画像生成部２６は、歪曲収差の補正、視点及び視線の変更、リサイズ処理のためのＤＣＰＣ処理を実行することで、任意の視点及び視線の歪のない画像を得ることができる。
【００５４】
例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の比較的広い領域ＲＷを切出す領域とし、この領域ＲＷに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、領域ＲＷがパネルの全域、パネル手前の床、正面の壁及び側方の壁を含む範囲であり、視線が略平行で、近景から遠景までの広い範囲を見る場合の表示モードである。
【００５５】
また、例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の比較的狭い領域ＲＴを切出す領域とし、この領域ＲＴに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、この領域ＲＴが、主に、パネル下端の一部とパネル手前の床とを含む範囲であり、視線が比較的下向きで、近景を見下ろすように見た場合の表示モードである。
【００５６】
また、例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の領域ＲＭを切出す領域とし、この領域ＲＭに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、領域ＲＭが、主に、パネルの下半分、パネル手前の床、正面の壁の一部を含む範囲であり、視点及び視線は、領域ＲＷ，ＲＴに対応する表示の間の視点及び視線の表示モードである。
【００５７】
本実施の形態においては、制御部２１は、変更指示信号の入力が行われると、現在の視点及び視線の動画像（以下、第１視点画像と称する）の表示（以下、第１ビュー表示という）から視点変更指示信号に対応する視点及び視線の動画像（以下、第２視点画像と称する）の表示（以下、第２ビュー表示という）に急激に変化しないように、フレーム毎に、徐々に視点及び視線を変更した動画像（以下、中間視点画像と称する）の表示（以下、中間ビュー表示という）を行って、所定フレーム後に目標とする第２ビュー表示に到達するように、視点変換画像生成部２６を制御する。つまり、視点変換画像生成部２６は、第１ビュー表示と第２ビュー表示との間に、視点及び視線が徐々に変化する中間視点画像に基づく１つ以上の中間ビュー表示を行うように、所定フレーム毎（例えば毎フレーム）に異なるＤＣＰＣ処理を実行する。
【００５８】
例えば、図４の領域ＲＷに基づいて視点変換画像生成部２６が生成した画像を第１視点画像とし、図４の領域ＲＴに基づいて視点変換画像生成部２６が生成した画像を第２視点画像とするものとする。この場合には、中間視点画像としては、例えば、領域ＲＴに基づいて視点変換画像生成部２６が生成した画像を用いる。
【００５９】
図５はこのような視点変換処理の結果得られる画像の変化を説明するための説明図である。
図５の左側は、領域ＲＷに基づく第１視点画像が有効表示領域ＲＤに表示される第１ビュー表示を示している。また、図５の右側は、領域ＲＴに基づく第２視点画像が有効表示領域ＲＤに表示される第２ビュー表示を示している。そして、第１ビュー表示から第２ビュー表示への切換えの途中に、領域ＲＭに基づく中間視点画像が有効表示領域ＲＤに表示される中間ビュー表示が行われる。
【００６０】
図５に示すように、中間ビュー表示は、第１ビュー表示から第２ビュー表示への視点及び視線をスムーズにするためのものであり、中間ビュー表示を表示することで、ドライバーは視点及び視線の変化をスムーズに感じることができ、また、視野範囲もスムーズに切換るので、ドライバーが視野感覚を失うことが防止される。
【００６１】
次に、このように構成された実施の形態の動作について図６及び図７を参照して説明する。図６は本実施の形態における視点変換処理を示すタイミングチャートである。また、図７は第１ビュー表示、中間ビュー表示及び第２ビュー表示の変化を説明するための説明図である。
【００６２】
撮像部１ａによって撮像されて得られた撮像信号は、前処理部２２に与えられる。前処理部２２は撮像信号に所定のカラー信号処理を施す。書き込み制御部２３は、前処理部２２からの撮像信号に基づく画素データを、ラスタスキャン順に、メモリコントロール回路２４を介して画像メモリ２５に書き込む。こうして所定フレームのフレーム原画像が画像メモリ２５に記憶される。なお、画像メモリ２５には、フレーム周期でフレーム原画像が順次書き込まれる。
【００６３】
制御部２１は、このような視点変換画像生成部２６によるＤＣＰＣ処理を、ルックアップテーブルを切換えながら所定フレーム毎（例えば毎フレーム）実施させる。視点変換画像生成部２６によって生成された画像は、シリアライザ３、ケーブル４及びデシリアライザ３１を介してＥＣＵ表示ＬＳＩ３２に供給され、ディスプレイ３３の表示画面上に表示される。こうして、撮像部１ａから毎フレーム入力される撮像信号に基づいて、ディスプレイ３３に動画像が表示される。
【００６４】
本実施形態では、制御部２１は、視点及び視線の変化がスムーズとなるように、視点変換処理を実施させる。
【００６５】
図６はこの制御を示しており、制御部２１は、ドライバーの何らかの操作に応答して、第ｎフレームまでは、第１ビュー表示のための第１視点画像を発生させて表示させる。また、制御部２１は、第ｎ＋ｍフレームにおいて、第２ビュー表示のための第２視点画像を発生させて表示させる。そして、制御部２１は、第ｎ＋１〜第ｎ＋ｍ−１フレームの間、第１ビュー表示と第２ビュー表示との視点及び視線の変化をスムーズにするための第１〜第ｍ−１中間ビュー表示のための複数の中間視点画像を発生させて表示させる。
【００６６】
制御部２１は、毎フレーム異なる視点及び視線の中間ビュー表示を表示させてもよく、数フレーム毎に中間ビュー表示の視点及び視線を切換えるようになっていてもよい。
【００６７】
図７は第１ビュー表示と第２ビュー表示との間に３つの中間ビュー表示を表示する場合の例を示している。図７は、左側に画像メモリ２５から切出す領域を示し、右側にディスプレイ３３の有効表示領域ＲＤへの表示を示しており、上から下に向かって時間の変化に応じた状態を示している。図７の領域ＲＩはフレーム原画像の範囲を示している。
【００６８】
例えば、車両を後退させて駐車場に停車させる場合を例に動作を説明する。いま、説明を簡単にするために、撮像部１ａが自動車の後端に取り付けられ、撮像部１ａからの撮像信号のみが画像処理装置２に入力されるものとする。
【００６９】
ここで、ドライバーが自動車を後退させながら駐車場に停止させるものとする。制御部２１は、ドライバーのシフトレバーの操作によりバックギヤが入ると、ディスプレイ３３に表示させる画像を第１視点画像とするように各部を制御する。図７の領域ＲＷはこの場合に第１視点画像の生成に用いられる画像の範囲を示しており、視点変換画像生成部２６は、例えばルックアップテーブルを用いたＤＣＰＣ処理によって領域ＲＷの画素データを切出して、ディスプレイ３３の有効表示領域ＲＤに対応するサイズに変換する。
【００７０】
これにより、ディスプレイ３３の表示画面には、第１視点画像による第１ビュー表示ＶＲＷが行われる（図７参照）。ドライバーは第１ビュー表示ＶＲＷを見ることで、自動車後方の広い範囲を確認することができる。
【００７１】
一般的には、バック駐車では、自動車を回転させながら後退させ、所定のタイミングで後方に略直進するようにハンドル操作を行うことが多い。そこで、制御部２１は、後方に略直進させるようにハンドル操作が行われたときを起点に、第１ビュー表示から中間ビュー表示への切換え、即ち、ＤＣＰＣ処理に用いるルックアップテーブルの切換えを開始させ、最終的に第２ビュー表示を表示させることができる。
【００７２】
図７の例では、視点及び視線をスムーズに切換えるために、３つの中間ビュー表示ＶＲＭ１，ＶＲＭ２，ＶＲＭ３を採用する例を示している。後方に略直進させるようにハンドル操作が行われると、視点変換画像生成部２６は、次のフレームにおいて、ＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ１の画素データに対応する第１中間視点画像を生成する。この第１中間視点画像がディスプレイ３３に供給されて、第１中間ビュー表示ＶＲＭ１が行われる。
【００７３】
更に、視点変換画像生成部２６は、第１中間ビュー表示ＶＲＭ１への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ２の画素データに対応する第２中間視点画像を生成する。この第２中間視点画像がディスプレイ３３に供給されて、第２中間ビュー表示ＶＲＭ２が行われる。
【００７４】
更に、視点変換画像生成部２６は、第２中間ビュー表示ＶＲＭ２への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ３の画素データに対応する第３中間視点画像を生成する。この第３中間視点画像がディスプレイ３３に供給されて、第３中間ビュー表示ＶＲＭ３が行われる。
【００７５】
更に、視点変換画像生成部２６は、第３中間ビュー表示ＶＲＭ３への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＴの画素データに対応する第２視点画像を生成する。この第２視点画像がディスプレイ３３に供給されて、第２ビュー表示ＶＲＴが行われる。
【００７６】
このように、バック駐車の開始時点では、第１ビュー表示ＶＲＷによって後方の広い範囲の視野を確保すると共に、バック駐車の完了直前時には、第２ビュー表示ＶＲＴによって、車両後端のバンパー（図示略）と地面の至近距離の拡大表示が可能である。第２ビュー表示ＶＲＴにより、駐車範囲の後端の確認が容易であり、駐車範囲内に確実に停車させるための運転支援が効果的に行われて、脱輪、歩道への乗り上げ、壁面との接触、設置ポールへのバンパー激突等を防ぐことができる。
【００７７】
また、ＤＣＰＣ処理に用いられる図７の各領域ＲＷ，ＲＭ１，ＲＭ２，ＲＭ３，ＲＴの比較から明らかなように、第１ビュー表示ＶＲＷから第２ビュー表示ＶＲＴへの切換えに際して、視点及び視線をスムーズに変化させる第１〜第３中間ビュー表示ＶＲＭ１〜ＶＲＭ３が行われる。これにより、ドライバーは、後方視野に関する感覚を失うことなく、ディスプレイ３３の表示から確実な後方確認が可能である。
【００７８】
このように本実施の形態においては、ビュー表示の切換りに際して、黒画像を表示させておらず、切換り時においてもビュー表示が連続的に表示される。また、第１ビュー表示と第２ビュー表示との間に、視点及び視線の変化をスムーズにするための１枚以上の中間ビュー表示を表示させており、ドライバーの視野の確認を極めて容易にしている。
【００７９】
実際の視覚においても視野は一定でありながら注視したいものを脳内でズームして視覚情報を詳細確認している。このような人の脳内視覚活動にタイミングを合わせるように、フレーム毎制御によって中間ビュー表示を生成して連続的に表示させることで、ドライバーに違和感を感じさせることなく視点及び視線の変更が可能である。
【００８０】
また、このようなビュー表示の切換えを、カメラに内蔵される画像処理装置によって実現しており、車載用カメラシステム内のＥＣＵにおいて、ビュー表示切換えのための処理負荷が増大することを防止することができる。
【００８１】
以上のように、実施の形態の画像処理装置は、視点変換画像生成部２６が、入力された画像に対する視点変換処理によって第１視点画像を生成する。また、視点変換画像生成部２６は、第１視点画像とは異なる視点及び視線の第２視点画像を生成する。視点変換画像生成部２６は、第１視点画像の生成と第２視点画像の生成との間に、第１視点画像の視点及び視線と第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する。
【００８２】
これにより、第１視点画像から第２視点画像までの視点及び視線の変化がスムーズとなり、動画像の確認が極めて容易となる。
【００８３】
また、実施形態の画像処理装置では、視点変換画像生成部２６は、フレーム毎に前記視点変換処理を実施する。これにより、視点及び視線をフレーム毎に変化させることが可能となり、極めてスムーズで見やすい動画像表示が可能となる。
【００８４】
また、実施形態の画像処理装置では、視点変換画像生成部２６は、第１視点画像から第２視点画像に向かって視点及び視線の変化の方向が同一となる視点及び視線を有する複数の中間視点画像を生成する。これにより、視点及び視線の変化をスムーズにすることができ、視野に関する感覚が失われることを防止することができる。
【００８５】
また、実施形態の画像処理装置では、視点変換画像生成部２６は、歪補正処理及び透視画法処理によって視点変換処理を実現する。これにより、入力された画像の歪曲収差が補正されて、歪のない所望の視点及び視線の所望のサイズの画像を取得できる。
【００８６】
また、実施形態の画像処理装置では、視点変換画像生成部２６は、ユーザ操作に基づいて前記視点変換処理を実施する。これにより、ユーザの何らかの操作、例えば、シフトレバー操作やハンドル操作等によって、視点変換処理が実施されて、異なる視点及び視線の画像が得られる。
【００８７】
また、実施形態の画像処理装置では、視点変換画像生成部２６は、人の脳内視覚活動に対応して複数の中間視点画像を生成する。これにより、人の脳内視覚活動に応じた視点及び視線の変化で動画像表示が可能となる。
【００８８】
また、本実施形態の車載カメラシステムは、画像処理装置２と、画像の表示制御を行う表示処理部３０とを備え、表示処理部３０は、第１視点画像に基づく第１ビュー表示、１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び第２視点画像に基づく第２ビュー表示を連続的に表示させる。これにより、各ビュー表示の切換りに際して、黒画像を表示させずに、各ビュー表示を連続的に表示させることができる。また、第１ビュー表示と第２ビュー表示との間には、視点及び視線の変化をスムーズにする１つ以上の中間ビュー表示が表示されるので、第１ビュー表示から第２ビュー表示に表示が変化する場合でも、スムーズな表示が可能であり、視野感覚が失われることを防止することができる。
【００８９】
また、実施形態の車載カメラシステムでは、表示処理部３０は、第１ビュー表示、１つ以上の中間ビュー表示及び第２ビュー表示を、自動車のサイドミラー表示装置又はルームミラー表示装置に表示する。これにより、サイドミラー表示装置又はルームミラー表示装置において、車両後退時に、視点及び視線がスムーズに変化する表示が可能である。
【００９０】
また、実施形態の画像処理方法は、視点変換画像生成部２６は、入力された画像に対する視点変換処理によって第１視点画像を生成する。視点変換画像生成部２６は、第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、第１視点画像の視点及び視線と第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する。これにより、第１視点画像、１つ以上の中間視点画像及び第２視点画像が順次生成されることになり、視点及び視線がスムーズに変化する動画像が得られる。
【００９１】
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【００９２】
本開示は、効果的な運転支援を実現可能な画像処理装置、車載用カメラシステム及び画像処理方法として有用である。
【符号の説明】
【００９３】
１  イメージセンサ
１ａ  撮像部
２  画像処理装置
３  シリアライザ
４  ケーブル
１０  カメラ
２１  制御部
２２  前処理部
２３  書き込み制御部
２４  メモリコントロール回路
２５  画像メモリ
２６  視点変換画像生成部
３０  表示処理部
３１  デシリアライザ
３２  ＥＣＵ表示ＬＳＩ
３３  ディスプレイ
４１  撮像画像
【図１】
2020135206.tif 000003
【図２】
2020135206.tif 000004
【図３】
2020135206.tif 000005
【図４】
2020135206.tif 000006
【図５】
2020135206.tif 000007
【図６】
2020135206.tif 000008
【図７】
2020135206.tif 000009