(57)【要約】【課題】視野の特定の一部が欠損している利用者であっても、注視点の移動に対応して、視野欠損に関わる視界支援を行うことができるようにする。【解決手段】前方カメラ１２によって、利用者の視界を撮像する。注視点同定部３２によって、利用者の注視点を同定する。視野欠損領域決定部３６によって、視野特性と注視点とに基づいて、画像上の視野欠損領域を決定する。画像加工部３８によって、撮像画像のうちの視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、撮像画像を加工して、表示部２０により利用者に提示する。【選択図】図１
2018153477.tif 000002
【特許請求の範囲】
【請求項１】
利用者の視界を撮像する撮像部と、
前記利用者の注視点を計測する注視点計測部と、
あらかじめ求められた、前記利用者の視界の各位置における視覚感度を表す視野特性と前記注視点とに基づいて、画像上の視野欠損領域を決定する視野欠損領域決定部と、
前記撮像部によって撮像された撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を加工して、表示部により前記利用者に提示する画像加工部と、
を含む視界支援装置。
【請求項２】
前記画像加工部は、前記撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を変形し、表示部により前記利用者に提示する請求項１記載の視界支援装置。
【請求項３】
前記画像加工部は、前記視野欠損領域に対応する部分画像を、前記撮像画像から切り出し、前記正常視野領域内に設定された画像表示窓に、前記切り出した部分画像を提示する請求項１記載の視界支援装置。
【請求項４】
前記画像加工部は、前記画像表示窓に前記切り出した部分画像を提示する際に、所定時間前の前記部分画像を提示する請求項３記載の視界支援装置。
【請求項５】
前記視野特性を、視界の特定の一部の視覚感度が他の部分より低いものとした請求項１〜請求項４の何れか１項記載の視界支援装置。
【請求項６】
コンピュータを、
利用者の注視点を計測する注視点計測部、
あらかじめ求められた、前記利用者の視界の各位置における視覚感度を表す視野特性と前記注視点とに基づいて、画像上の視野欠損領域を決定する視野欠損領域決定部、及び
利用者の視界を撮像する撮像部によって撮像された撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を加工して、表示部により前記利用者に提示する画像加工部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視界支援装置及びプログラムに係り、特に、視野特性に応じて視界画像を提示する視界支援装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、視覚障害者の視野を改善する装置が知られている（特許文献１）。特許文献１では、視覚障害者の視覚画像を処理して、利用者の視界内に表示している。また、視覚障害として、中心部分だけが見えるＦＯＶ（Ｆｉｅｌｄ  ｏｆ  ｖｉｓｉｏｎ）の狭い人に広い視野を縮小して表示する表示装置（トンネル視ファインダ）が記載されている。
【０００３】
また、光透過型のＨＭＤの、主表示領域とは異なる領域に、別の情報を提示する複合情報表示装置が知られている（特許文献２）。
【０００４】
また、ユーザの着目する場所の拡張視界の生成方法が知られている（特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１６２３４６号公報
【特許文献２】特開２００６−２６７６０４号公報
【特許文献３】特開２０１５−１５３４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、注視点の移動に伴って変化する、見えない領域への対応や、視野の特定の一部（例えば、右下領域のみ）が欠損している人への対応、提示位置を分割して表示する提示方法は述べられていない。
【０００７】
このため、例えば、上記特許文献１で右下に視野欠損がある人が、視線を左に移動させた場合、画面の中央部分にカメラのとらえる視界が縮小表示されていたとしても、その領域は利用者の視野欠損部分であるため、表示画像を感知できないという問題がある。
【０００８】
上記特許文献２では、前方視界は光透過型HMDの透過像として直接視認し、別の付加情報を視野内の領域に提示するというもので、視野欠損に関わる視界支援の記述はなく、これらの画像変形処理の方法についても述べられていない。
【０００９】
上記特許文献３では、ユーザの視点方向を用いた画像生成が述べられているが、視野欠損に関わる視界支援の記述はなく、これらの画像変形処理の方法についても述べられていない。
【００１０】
本発明は、上記の事情を鑑みてなされたもので、視野の特定の一部が欠損している利用者であっても、注視点の移動に対応して、視野欠損に関わる視界支援を行うことができる視界支援装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために本発明に係る視界支援装置は、利用者の視界を撮像する撮像部と、前記利用者の注視点を計測する注視点計測部と、あらかじめ求められた、前記利用者の視界の各位置における視覚感度を表す視野特性と前記注視点とに基づいて、画像上の視野欠損領域を決定する視野欠損領域決定部と、前記撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を加工して、表示部により前記利用者に提示する画像加工部と、を含んで構成されている。
【００１２】
本発明に係るプログラムは、コンピュータを、利用者の注視点を計測する注視点計測部、あらかじめ求められた、前記利用者の視界の各位置における視覚感度を表す視野特性と前記注視点とに基づいて、画像上の視野欠損領域を決定する視野欠損領域決定部、及び利用者の視界を撮像する撮像部によって撮像された撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を加工して、表示部により前記利用者に提示する画像加工部
として機能させるためのプログラムである。
【００１３】
本発明に係る視界支援装置及びプログラムによれば、撮像部によって、利用者の視界を撮像する。また、注視点計測部によって、前記利用者の注視点を計測する。
【００１４】
そして、視野欠損領域決定部によって、あらかじめ求められた、前記利用者の視界の各位置における視覚感度を表す視野特性と前記注視点とに基づいて、画像上の視野欠損領域を決定する。画像加工部によって、前記撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を加工して、表示部により前記利用者に提示する。
【００１５】
このように、注視点に基づいて画像上の視野欠損領域を決定し、視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示することにより、視野の特定の一部が欠損している利用者であっても注視点の移動に対応して、視野欠損に関わる視界支援を行うことができる。
【００１６】
本発明に係る画像加工部は、前記撮像画像のうちの前記視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前記撮像画像を変形し、表示部により前記利用者に提示することができる。
【００１７】
本発明に係る画像加工部は、前記視野欠損領域に対応する部分画像を、前記撮像画像から切り出し、前記正常視野領域内に設定された画像表示窓に、前記切り出した部分画像を提示することができる。また、前記画像加工部は、前記画像表示窓に前記切り出した部分画像を提示する際に、所定時間前の前記部分画像を提示することができる。
【発明の効果】
【００１８】
以上説明したように、本発明の視界支援装置及びプログラムによれば、注視点に基づいて画像上の視野欠損領域を決定し、視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示することにより、視野の特定の一部が欠損している利用者であっても、注視点の移動に対応して、視野欠損に関わる視界支援を行うことができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る視界支援装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る視界支援装置の構成を示す概略図である。
【図３】前方視界画像の一例を示す図である。
【図４】視野特性の一例を示す図である。
【図５】注視点に対する視野欠損領域の一例を示す図である。
【図６】視野欠損領域に対応する部分画像を、前方視界画像の画像表示窓に合成する方法を説明するための図である。
【図７】注視点が、画像表示窓になる場合に、前方視界画像の画像表示窓に合成する部分画像を説明するための図である。
【図８】本発明の第１の実施の形態に係る視界支援装置における視界支援処理ルーチンの内容を示すフローチャートである。
【図９】前方視界画像を圧縮するように変形した例を示す図である。
【図１０】前方視界画像を圧縮するように変形する方法を説明するための図である。
【図１１】各時刻の注視点と変形した画像とを示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両のドライバに対して視界支援を行う視界支援装置に本発明を適用した場合を例に説明する。
【００２１】
＜第１の実施の形態＞
＜視界支援装置の構成＞
図１に示すように、本発明の第１の実施の形態に係る視界支援装置１０は、前方カメラ１２と、視線計測装置１４と、演算部１８と、表示部２０とを備えている。
【００２２】
前方カメラ１２は、利用者の前方視界を撮像し、画像の画像信号を生成する単眼のカメラで構成される撮像部（図示省略）と、撮像部で生成された画像をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２３】
視線計測装置１４は、利用者の視線方向を計測する。なお、視線方向の計測方法については、従来既知の手法を用いればよいため、説明を省略する。
【００２４】
表示部２０は、例えば、図２に示すように、ヘッドマウントディスプレイであり、利用者が、ヘッドマウントディスプレイを装着することにより、表示部が、利用者の視界領域に画像を表示する。
【００２５】
演算部１８は、ＣＰＵと、ＲＡＭと、後述する視界支援処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。演算部１８は、機能的には図１に示すように、画像入力部３０、注視点同定部３２、視野特性記憶部３４、視野欠損領域決定部３６、及び画像加工部３８を備えている。
【００２６】
画像入力部３０は、前方カメラ１２によって撮像された前方視界画像（図３参照）を取得する。
【００２７】
注視点同定部３２は、視線計測装置１４によって計測された視線方向に基づいて、前方視界画像上の利用者の注視点を同定する。
【００２８】
視野特性記憶部３４は、注視点を基準とした利用者の視野特性（図４参照）を記憶している。図４の例では、右下３．５度以上の視野角の範囲が視野欠損範囲となる場合の視野特性を現している。
【００２９】
具体的には、視覚感度の低い視野欠損範囲となる視野角の範囲を入力とし、表示部２０の表示サイズでの視野角に換算して注視点を中心とした画像上の視野欠損領域を求め、視野欠損領域を表すマスク画像をあらかじめ作成しておき、利用者の視野特性として、視野特性記憶部３４に記憶しておく。なお、本発明の実施の形態では、注視点の周辺が欠損しているものとする。
【００３０】
視野欠損領域決定部３６は、注視点同定部３２によって同定された利用者の注視点と視野特性とに基づいて、前方視界画像上の、注視点に対する視野欠損領域を決定する（図５参照）。
【００３１】
画像加工部３８は、前方視界画像のうちの、決定された視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前方視界画像を加工して、表示部２０により利用者に提示する。
【００３２】
具体的には、画像加工部３８は、視野欠損領域に対応する部分画像を、前方視界画像から切り出し、正常視野領域内に設定された画像表示窓に、切り出した部分画像を提示するように、前方視界画像に対して合成する（図６参照）。
【００３３】
本実施の形態では、頭部位置に対する画像表示窓の位置を固定している。特定の注視点（たとえば、中央）を仮定した場合の正常視野領域であって、重要でない領域に、画像表示窓を配置することが好ましい。
【００３４】
また、画像加工部３８は、注視点の位置が、画像表示窓に重なっている場合には、画像表示窓に切り出した部分画像を提示するように合成する際に、遅れを持たせて部分画像を合成する。すなわち、図７に示すように、注視点の位置が、画像表示窓に重なっている場合には、所定時間前の視野欠損領域に対応する部分画像を、画像表示窓に合成する。これにより、注視点に基づいて、視野欠損領域に相当する部分画像を正常視野領域に設定した画像表示窓に表示する場合、画像表示窓に視線を移すと、画像表示窓を中心とした新たな視野欠損領域の部分画像が表示されるため、見たかった視野欠損領域の画像が見えない、という不都合を解消することができる。
【００３５】
ここで、正常視野領域は、視野欠損領域でない領域のことである。また、画像表示窓は、注視点に応じて変動させてもよい。
【００３６】
＜視界支援装置の作用＞
次に、第１の実施の形態に係る視界支援装置１０の作用について説明する。
【００３７】
前方カメラ１２により利用者の前方視界画像が連続的に撮像され、視線計測装置１４が、当該利用者の視線方向を連続的に計測している場合、演算部１８において、前方視界画像毎に、図８に示す視界支援処理ルーチンが繰り返し実行される。
【００３８】
まず、ステップＳ１００において、視線計測装置１４によって計測された視線方向に基づいて、対象となる前方視界画像における注視点を同定する。
【００３９】
次のステップＳ１０２では、上記ステップＳ１００で同定された利用者の注視点と、視野特性記憶部３４に記憶されている視野特性とに基づいて、前方視界画像上の、注視点に対する視野欠損領域を決定する。
【００４０】
そして、ステップＳ１０４において、視野欠損領域に対応する部分画像を、前方視界画像から切り出し、正常視野領域内の画像表示窓に、切り出した部分画像を提示するように前方視界画像に対して合成して、表示部２０により利用者に提示し、視界支援処理ルーチンを終了する。
【００４１】
以上説明したように、第１の実施の形態に係る視界支援装置によれば、利用者の注視点に基づいて画像上の視野欠損領域を決定し、視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示することにより、視野の特定の一部が欠損している利用者であっても、注視点の移動に対応して、視野欠損に関わる視界支援を行うことができる。
【００４２】
また、個人ごとの視野特性と注視点位置に基づいて、カメラで撮像した前方視界画像の画像表示窓に、視野欠損領域に対応する部分画像を合成して健常な視野領域に提示することで、視界を改善し、視野欠損で見えない領域を視野欠損者が検知できるようにする。例えば、視野欠損ドライバが、運転中に視野欠損部分から飛び出してきた車両や歩行者に気付くことができる。
【００４３】
また、正常視野領域に視野欠損部分（不可視領域）の画像を提示することで、仮想的に視野を拡張できる。
【００４４】
なお、上記の実施の形態では、注視点が、画像表示窓内にある場合に、所定時間前の部分画像を合成する場合を例に説明したが、これに限定されるものではない。例えば、注視点が、画像表示窓内にある場合に、予め定められた平均注視点（例えば、運転時なら平均的に見ている注視位置）に対する視野欠損領域の現在の部分画像を、画像表示窓に合成するようにしてもよい。このように、注視点が、画像表示窓内にある場合に、注視点位置によらず、固定された部分領域を画像表示窓に合成することにより、利用者が見たかった視野欠損領域の画像を確認することができる。
【００４５】
＜第２の実施の形態＞
＜視界支援装置の構成＞
次に、第２の実施の形態に係る視界支援装置について説明する。なお、第２の実施の形態に係る視界支援装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
【００４６】
第２の実施の形態では、前方視界画像のうちの視野欠損領域に対応する部分画像を、画像上の正常視野領域に提示するように、前方視界画像を変形する点が、第１の実施の形態と異なっている。
【００４７】
第２の実施の形態に係る視界支援装置の画像加工部３８は、視野欠損領域に対応する部分画像を、正常視野領域内に提示するように、前方視界画像を左右方向に圧縮するように変形する（図９参照）。
【００４８】
具体的には、図１０に示すように、視野欠損部を含む、注視点から左右方向端部までの領域（幅Ｗｇ）を圧縮して、幅Ｗｇ'=αＷｇの領域に投影する。ここでα=g(vc,vw)<1であり、視野欠損領域の位置に応じた定数である。注視点から左右方向端部までは連続的に変形しており、上記図１０に示すように、変形の違和感を低減させるために、注視点から離れるほど圧縮度を大きくすることが好ましい。
【００４９】
このように変形した前方視界画像を、表示部２０により利用者に提示することにより、図１１に示すように、注視点の移動に対応して、注視点に応じた視野欠損領域に対応する部分画像を、正常視野領域内に提示するように、前方視界画像を左右方向に圧縮変形する。
【００５０】
なお、第２の実施の形態に係る視界支援装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００５１】
このように、個人ごとの視野特性と注視点位置に基づいて、カメラで撮像した前方視界画像を圧縮変形して、視野欠損領域の画像を健常な視野領域に提示することで、視界を改善することができる。
【００５２】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５３】
例えば、注視点同定部３２によって同定された所定期間の利用者の注視点の時系列から、平均注視点を求め、平均注視点と視野特性とに基づいて、前方視界画像上の、平均注視点に対する欠損領域を決定するようにしてもよい。
【００５４】
また、上記の第２の実施の形態では、前方視界画像を左右方向に圧縮変形する場合を例に説明したが、これに限定されるものではなく、視野欠損領域の位置によっては、前方視界画像を上下方向に圧縮変形するようにしてもよい。例えば、視界の上部の一部に視野欠損領域がある場合や、視界の下部の一部に視野欠損領域がある場合には、前方視界画像を上下方向に圧縮変形するようにすればよい。
【００５５】
また、表示部として、透過型ＨＭＤ（ヘッドマウントディスプレイ）を用いて、前方視界に提示するようにしてもよい。画像表示窓に視野欠損領域の部分画像を提示する場合には、透過型ＨＭＤ（ヘッドマウントディスプレイ）の表示画面上に設定された画像表示窓に視野欠損領域の部分画像を提示するようにすればよい。
【符号の説明】
【００５６】
１０   視界支援装置
１２   前方カメラ
１４   視線計測装置
１８   演算部
２０   表示部
３０   画像入力部
３２   注視点同定部
３４   視野特性記憶部
３６   視野欠損領域決定部
３８   画像加工部
【図１】
2018153477.tif 000003
【図２】
2018153477.tif 000004
【図３】
2018153477.tif 000005
【図４】
2018153477.tif 000006
【図５】
2018153477.tif 000007
【図６】
2018153477.tif 000008
【図７】
2018153477.tif 000009
【図８】
2018153477.tif 000010
【図９】
2018153477.tif 000011
【図１０】
2018153477.tif 000012
【図１１】
2018153477.tif 000013