(57)【要約】【課題】車両周辺の映像を運転者に対して表示する際において、映像の端部に抽出範囲が到達したことを知らせる技術を提供する。【解決手段】表示制御装置２０は、車両に搭載され、撮像装置１０からの車両周辺の映像を表示装置４０に表示させる。取得部６０は、は、撮像装置１０から処理対象となる第１映像を取得する。受付部６４は、取得部６０において取得した第１映像の少なくとも一部を抽出する際の抽出範囲を動かすための指示を受けつける。出力部６８は、受付部６４において受けつけた指示に応じて動かされた抽出範囲で抽出した第２映像を表示装置４０に出力する。出力部６８は、受付部６４において受けつけた指示に応じて動かされた抽出範囲が第１映像の端部に到達した場合に、到達したことを通知する。【選択図】図２
2019041276.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、撮像装置からの車両周辺の映像を表示装置に表示させる表示制御装置であって、
前記撮像装置から処理対象となる第１映像を取得する取得部と、
前記取得部において取得した前記第１映像の少なくとも一部を抽出する際の抽出範囲を動かすための指示を受けつける受付部と、
前記受付部において受けつけた指示に応じて動かされた抽出範囲で抽出した第２映像を前記表示装置に出力する出力部とを備え、
前記出力部は、前記受付部において受けつけた指示に応じて動かされた抽出範囲が前記第１映像の端部に到達した場合に、到達したことを通知することを特徴とする表示制御装置。
【請求項２】
前記受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、
前記出力部は、所定の方向に動かした抽出範囲が前記第１映像の端部に到達した場合、所定の方向とは反対方向に抽出範囲を動かしてから、所定の方向に抽出範囲を動かして、抽出範囲を前記第１映像の端部に戻すことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、
前記出力部は、所定の方向に動かした抽出範囲が前記第１映像の端部に到達した場合、抽出範囲内における前記第１映像の端部側と、前記第１映像の端部とは反対側とで、所定の方向における倍率を変化させた第３映像を出力してから、抽出範囲内における倍率を元に戻した第４映像を出力することを特徴とする請求項１に記載の表示制御装置。
【請求項４】
前記受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、
前記出力部は、所定の方向に動かした抽出範囲が前記第１映像の端部に到達した場合、抽出範囲内における前記第１映像の端部側と、前記第１映像の端部とは反対側とで、所定の方向とは異なった方向における倍率を変化させるとともに、前記第１映像の端部側を基準として所定の方向の倍率を変化させた第３映像を出力してから、抽出範囲内における倍率を元に戻した第４映像を出力することを特徴とする請求項１に記載の表示制御装置。
【請求項５】
前記受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、
前記出力部は、所定の方向に動かした抽出範囲が前記第１映像の端部の手前に設けられた疑似境界に到達した場合、疑似境界を越えて前記第１映像の端部の方に抽出範囲を動かしてから、抽出範囲を疑似境界まで戻すことを特徴とする請求項１に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の映像を運転者に対して表示する際における表示制御技術に関し、特に映像を抽出する範囲を制御する表示制御装置に関する。
【背景技術】
【０００２】
カメラの撮影方位とズームとを制御するために、制御の限界により規定される潜在的な撮影範囲を示す第１の枠と、現在の設定による撮影範囲を示す第２の枠とが表示装置に表示される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１１６８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両において、サイドミラーあるいはルームミラーの代わりに電子ミラーが搭載されることがある。電子ミラーでは、撮像装置において撮像した映像の一部領域が抽出されて表示装置に表示される。映像から抽出すべき一部領域を設定するために、撮像装置において撮像した映像に対して、抽出すべき範囲（以下、「抽出範囲」という）で抽出した映像が表示装置に表示される。ユーザは、例えば、十字形のキーのような入力装置を操作することによって、抽出範囲を動かす。このような操作において、抽出範囲が映像の端部に到達すると、入力装置を操作しても、抽出範囲で抽出された映像が動かなくなる。その際、ユーザへのフィードバックがないので、ユーザにとっては、抽出範囲をこれ以上動かすことができないのか、あるいは機器が故障したのかが分からない。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両周辺の映像を運転者に対して表示する際において、映像の端部に抽出範囲が到達したことを知らせる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の表示制御装置は、車両に搭載され、撮像装置からの車両周辺の映像を表示装置に表示させる表示制御装置であって、撮像装置から処理対象となる第１映像を取得する取得部と、取得部において取得した第１映像の少なくとも一部を抽出する際の抽出範囲を動かすための指示を受けつける受付部と、受付部において受けつけた指示に応じて動かされた抽出範囲で抽出した第２映像を表示装置に出力する出力部とを備える。出力部は、受付部において受けつけた指示に応じて動かされた抽出範囲が第１映像の端部に到達した場合に、到達したことを通知する。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、車両周辺の映像を運転者に対して表示する際において、映像の端部に抽出範囲が到達したことを知らせることができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）−（ｂ）は、実施例における車両の構成を模式的に示す図である。
【図２】実施例に係る映像表示システムの構成を示す図である。
【図３】図２の撮像装置において撮像される映像を示す図である。
【図４】図４（ａ）−（ｈ）は、図２の映像表示システムによる第１手法の概要を示す図である。
【図５】図５（ａ）−（ｈ）は、図２の映像表示システムによる第２手法の概要を示す図である。
【図６】図６（ａ）−（ｈ）は、図２の映像表示システムによる第３手法の概要を示す図である。
【図７】図７（ａ）−（ｈ）は、図２の映像表示システムによる第４手法の概要を示す図である。
【図８】図８（ａ）−（ｈ）は、図２の映像表示システムによる第５手法の概要を示す図である。
【図９】図９（ａ）−（ｃ）は、図２の映像表示システムによる第６手法の概要を示す図である。
【図１０】図２の映像表示システムによる処理の手順を示すフローチャートである。
【図１１】実施例における車両の別の構成を模式的に示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施例を具体的に説明する前に、概要を述べる。本発明の実施例は、車両に搭載される映像表示システムに関する。映像表示システムは、例えば、電子ミラーに使用される。サイドミラーあるいはルームミラーの代わりに設置された撮像装置が、各ミラーに対応する車両周辺の映像を撮像し、表示制御装置は、予め設定した抽出範囲で抽出した映像（以下、「抽出映像」という）を表示装置に表示させる。なお、抽出映像は、サイドミラーあるいはルームミラーの反射像に相当する映像である。ここでは、抽出範囲を設定することに着目する。表示制御装置には、例えば、十字キーのような入力装置が接続されており、ユーザ（運転者）は入力装置を操作することによって、映像上において抽出範囲を動かす。抽出範囲が動くことによって、表示装置に表示される抽出映像が変化する。ユーザは、変化する抽出映像を確認しながら、所望の抽出映像が表示されると、入力装置の操作を停止して抽出範囲を停止させる。停止した位置において抽出範囲が設定される。
【００１１】
このような状況下において、抽出範囲を、所定の方向、例えば右方向に動かし続けると、抽出範囲の右側の端部（以下、「抽出範囲右端部」という）が、撮像装置が撮像した映像の右側の端部（以下、「映像右端部」という）に到達する。ここで、抽出範囲と映像が矩形状を有する場合、抽出範囲右端部は抽出範囲の右側の一辺に相当し、映像右端部は映像の右側の一辺に相当する。抽出範囲右端部が映像右端部に到達した状態において、さらにユーザが抽出範囲を右方向に動かし続けても、表示装置に表示される抽出映像は変化しない。入力装置を操作しても抽出映像が変化しない場合、抽出範囲をこれ以上動かすことができないのか、あるいは機器が故障したのかがユーザにとって分からない。これに対応するために、本実施例では、抽出範囲右端部が映像右端部に到達した場合、つまり抽出範囲の端部が映像の端部に到達した場合に、到達を通知する。
【００１２】
図１（ａ）−（ｂ）は、車両Ｃ１の構成を模式的に示す。図１（ａ）は車両Ｃ１の全体を示し、図１（ｂ）は、車両Ｃ１のサイドミラーＣ２の部分を示す。車両Ｃ１には、後述する映像表示システム１００が搭載される。映像表示システム１００では、撮像装置１０において撮像した映像（撮像領域）の一部領域が表示制御装置２０にて抽出されて表示装置４０に表示される。
【００１３】
図２は、映像表示システム１００の構成を示す。映像表示システム１００は、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、表示制御装置２０、入力装置３０、表示装置４０と総称される第１表示装置４０ａ、第２表示装置４０ｂ、スピーカ５０を含む。表示制御装置２０は、取得部６０と総称される第１取得部６０ａ、第２取得部６０ｂ、処理部６２、受付部６４、不揮発メモリ６６、出力部６８を含み、処理部６２は、設定部７０、変換部７２を含む。
【００１４】
撮像装置１０は、車両Ｃ１に設置され、車両周辺の映像を撮像する。撮像装置１０がサイドミラーＣ２において使用される場合、第１撮像装置１０ａは、車両Ｃ１の右側側方に設置されて後方に向かって映像を撮像し、第２撮像装置１０ｂは、車両Ｃ１の左側側方に設置されて後方に向かって映像を撮像する。撮像装置１０は撮像した映像を表示制御装置２０に出力する。
【００１５】
取得部６０は、撮像装置１０からの映像、つまり処理対象となる第１映像を取得する。取得部６０は、例えば、揮発性メモリにより構成され、映像を無加工で一時的に蓄えるが、映像に対して所定の処理がなされていてもよい。ここで、第１取得部６０ａは第１撮像装置１０ａからの第１映像を取得し、第２取得部６０ｂは第２撮像装置１０ｂからの第１映像を取得する。なお、以下では、１つの第１映像をもとに説明を進めるが、もう１つの第１映像に対しても同様の処理がなされればよい。取得部６０は、第１映像を処理部６２に出力する。
【００１６】
設定部７０は、処理対象となる第１映像のうち、表示装置４０に表示させる抽出範囲に関する情報を設定する。抽出範囲に関する情報とは、抽出範囲が矩形状を有する場合、４つの頂点の座標に相当する。なお、抽出範囲に関する情報が、４つの頂点のうちの１つの頂点、例えば、左上の頂点の座標と、横方向の辺の長さ、縦方向の辺の長さであってもよい。
【００１７】
変換部７２は、設定部７０における抽出範囲に関する情報をもとに、処理対象となる第１映像から抽出範囲の部分を抽出する。このような処理のために、変換部７２は、不揮発メモリ６６に記憶されたルックアップテーブル（以下、「ＬＵＴ」という）を参照し、ＬＵＴにしたがって第１映像を変換する。例えば、設定部７０から取得する座標情報に応じて、ＬＵＴの持つ座標データをオフセットさせて第１映像を変換する。このような処理には公知の技術が使用されればよいので、ここでは詳細な説明を省略するが、このときのＬＵＴを「通常ＬＵＴ」という。また、ＬＵＴにしたがって変換した第１映像が、前述の抽出映像に相当するとともに、第２映像とも呼ばれる。
【００１８】
出力部６８は、処理部６２から抽出映像を受けつけ、抽出映像を表示装置４０に表示させる。表示装置４０は、車両Ｃ１に搭載されたディスプレイであり、本実施例では車両Ｃ１のサイドミラーＣ２（右側サイドミラーＣ２ａ、左側サイドミラーＣ２ｂ）に取り付けられる。表示装置４０は、出力部６８から受けつけた抽出映像を表示する。なお、右側サイドミラーＣ２ａに取り付けられた第１表示装置４０ａは、第１撮像装置１０ａから抽出した抽出画像を表示し、左側サイドミラーＣ２ｂに取り付けられた第２表示装置４０ｂは、第２撮像装置１０ｂから抽出した抽出画像を表示する。
【００１９】
以下では、設定部７０における抽出範囲を設定するための処理を説明する。図３は、撮像装置１０において撮像される映像を示す。具体的に、この映像は第２撮像装置１０ｂにおいて車両Ｃ１の左後方を撮像したものである。この映像は取得部６０において取得される。図２に戻る。入力装置３０は、車両Ｃ１の運転席側のドア部分に設置され、ユーザが指示を入力するための装置である。例えば、入力装置３０は、十字キーにより構成されており、ユーザは十字キーを押し下げることによって、抽出範囲を所定の方向に移動させる指示を入力する。受付部６４は、入力装置３０からの指示を受けつける。これは、取得部６０において取得した第１映像の少なくとも一部を抽出する際の抽出範囲を所定の方向に動かすための指示を受けつけることに相当する。ここでは、所定の方向を右方向とする。
【００２０】
このような指示を受けつけた状態における処理部６２の処理として、ここでは、第１手法から第８手法の順に説明する。
（１）第１手法
図４（ａ）−（ｈ）は、映像表示システム１００による第１手法の概要を示す。図４（ａ）は、設定部７０における処理を示す。取得部６０から受けつけた映像２００の右側の一辺が映像右端部２０２と示され、表示装置４０に表示させる抽出範囲２１０の右側の一辺が抽出範囲右端部２１２と示される。この映像２００は第１映像に相当する。設定部７０は、抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、矢印で示すように抽出範囲２１０を右方向に動かす。変換部７２は、このような抽出範囲２１０で抽出した映像を抽出映像として出力部６８に出力する。図４（ｂ）は、図４（ａ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。つまり、受付部６４において受けつけた指示に応じて動かされた抽出範囲２１０で抽出した抽出映像が表示される。
【００２１】
図４（ｃ）は、図４（ａ）に続く処理を示す。設定部７０は、抽出範囲２１０が右方向に動かされることによって、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出する。到達の検出は、例えば、横方向の軸における抽出範囲右端部２１２の座標と映像右端部２０２の座標が一致した場合になされる。図４（ｄ）は、図４（ｃ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。
【００２２】
図４（ｅ）は、図４（ｃ）に続く処理を示す。設定部７０は、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出した場合、所定方向とは反対方向、つまり左方向に抽出範囲２１０を動かす。左方向に動かす距離は予め定められている。図４（ｆ）は、図４（ｅ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像が右方向に動いた後、跳ね返って左方向に動くように見える。
【００２３】
図４（ｇ）は、図４（ｅ）に続く処理を示す。設定部７０は、抽出範囲２１０を一定距離だけ左方向に動かした後、抽出範囲右端部２１２が映像右端部２０２に一致するように抽出範囲２１０を右方向に戻す。設定部７０は、抽出範囲２１０を右方向に戻す際、抽出範囲２１０を減速させる。図４（ｈ）は、図４（ｇ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像が一定距離だけ左方向に動いた後、右方向に戻るように見える。
【００２４】
このように第１手法では、抽出範囲右端部２１２が映像右端部２０２に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０を素早く一定距離だけ左方向に戻してから、抽出範囲２１０を右方向に動かす。このような処理によって、受付部６４において受けつけた指示に応じて動かされた抽出範囲２１０が映像２００の端部に到達したことが通知される。こうした処理を行った後に、受付部６４が入力装置３０からの指示（抽出範囲２１０を右方向に動かそうとする指示）を受けつけた場合には、同様の処理を繰り返し行う。なお、抽出範囲２１０を一定距離だけ左方向に動かして右方向に戻す際には、等速で動かしてもよいし、加速と減速を組み合わせて動かしてもよい。
【００２５】
（２）第２手法
図５（ａ）−（ｈ）は、映像表示システム１００による第２手法の概要を示す。図５（ａ）は、設定部７０における処理を示す。図５（ａ）は、図４（ａ）と同様に示されるが、説明を容易にするように、抽出範囲２１０が複数のブロックに分割される。各ブロックの大きさは同一である。ここでは、左側の３つのブロックを左ブロック２２０と呼び、中央の３つのブロックを中央ブロック２２２と呼び、右側の３つのブロックを右ブロック２２４と呼ぶ。設定部７０は、抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、矢印で示すように抽出範囲２１０を右方向に動かす。変換部７２は、このような抽出範囲２１０で抽出した映像を抽出映像として出力部６８に出力する。その際、通常ＬＵＴが使用される。図５（ｂ）は、図５（ａ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。これは、図４（ａ）と同一である。
【００２６】
図５（ｃ）は、図５（ａ）に続く処理を示す。設定部７０は、抽出範囲２１０が右方向に動かされることによって、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出する。この処理は図４（ｃ）と同様である。図５（ｄ）は、図５（ｃ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。
【００２７】
図５（ｅ）は、図５（ｃ）に続く処理を示す。設定部７０は、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出した場合、抽出範囲２１０内における左ブロック２２０、中央ブロック２２２、右ブロック２２４に対して互いに異なった横方向の倍率を設定する。ここでは、左ブロック２２０の倍率を最も小さくし、右ブロック２２４の倍率を最も大きくし、中央ブロック２２２の倍率をそれらの間の値に設定する。そのため、本来の進行方向である右側においてブロックが拡大され、本来の進行方向とは逆側の左側においてブロックが縮小される。つまり、設定部７０は、抽出範囲２１０内における映像右端部２０２側と、映像右端部２０２とは反対側とで、横方向における倍率を変化させる。なお、各ブロックの倍率の設定では、抽出範囲２１０の外形寸法が変化しないように調整している。
【００２８】
変換部７２は、左ブロック２２０、中央ブロック２２２、右ブロック２２４において横方向の倍率を変えた抽出映像を生成するために、不揮発メモリ６６に記憶された変形用のＬＵＴ（以下、「変形ＬＵＴ」という）を使用する。なお、変形ＬＵＴについても公知の技術が使用されればよいので、ここでは説明を省略する。つまり、変換部７２は、通常ＬＵＴから変形ＬＵＴに切りかえてから、処理を実行する。図５（ｆ）は、図５（ｅ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の左側が縮み、右側が延びるように見える。この抽出映像は第３映像と呼ばれる。
【００２９】
図５（ｇ）は、図５（ｅ）に続く処理を示す。設定部７０は、左ブロック２２０、中央ブロック２２２、右ブロック２２４に対して互いに異なった横方向の倍率を設定した後、左ブロック２２０、中央ブロック２２２、右ブロック２２４の横方向の倍率を元に戻す。これによって、左ブロック２２０、中央ブロック２２２、右ブロック２２４の横方向の倍率が同一にされる。
【００３０】
変換部７２は、左ブロック２２０、中央ブロック２２２、右ブロック２２４において横方向の倍率を戻した抽出映像を生成するために、不揮発メモリ６６に記憶された通常ＬＵＴを使用する。つまり、変換部７２は、変形ＬＵＴから通常ＬＵＴに切りかえてから、処理を実行する。図５（ｈ）は、図５（ｇ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の左側が横方向に縮み、右側が横方向に延びた後、元に戻るように見える。なお、変形ＬＵＴを用いる以外にも、通常ＬＵＴをモーフィングして、変形ＬＵＴと同様の効果を付与するようにしてもよい。この抽出映像は第４映像と呼ばれる。
【００３１】
このように第２手法では、抽出範囲右端部２１２が映像右端部２０２に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０の左側の映像を一定時間一定量圧縮表示し、右側の映像を一定時間一定量拡大表示する。これは、弾性のある映像を移動させようとして戻る表現によって、これ以上調整できないことを直感的に示すものである。
【００３２】
（３）第３手法
図６（ａ）−（ｈ）は、映像表示システム１００による第３手法の概要を示す。図６（ａ）−図６（ｄ）は、図５（ａ）−（ｄ）と同一である。図６（ｅ）は、図６（ｃ）に続く処理を示す。設定部７０は、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出した場合、抽出範囲２１０内における左ブロック２２０、中央ブロック２２２、右ブロック２２４に対して互いに異なった横方向の倍率を設定する。ここでは、右ブロック２２４の倍率を最も小さくし、左ブロック２２０の倍率を最も大きくし、中央ブロック２２２の倍率をそれらの間の値に設定する。そのため、本来の進行方向とは逆側のである左側においてブロックが拡大され、本来の進行方向の右側においてブロックが縮小される。つまり、設定部７０は、抽出範囲２１０内における映像右端部２０２側と、映像右端部２０２とは反対側とで、横方向における倍率を変化させる。
【００３３】
変換部７２における処理は第２手法と同様であるが、不揮発メモリ６６に記憶された変形ＬＵＴが第２手法とは異なる。ここでも、変換部７２は、通常ＬＵＴから変形ＬＵＴに切りかえてから、処理を実行する。図６（ｆ）は、図６（ｅ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の右側が縮み、左側が延びるように見える。この抽出映像は第３映像と呼ばれる。
【００３４】
図６（ｇ）は、図６（ｅ）に続く処理を示す。設定部７０は、左ブロック２２０、中央ブロック２２２、右ブロック２２４に対して互いに異なった横方向の倍率を設定した後、左ブロック２２０、中央ブロック２２２、右ブロック２２４の横方向の倍率を元に戻す。これによって、左ブロック２２０、中央ブロック２２２、右ブロック２２４の横方向の倍率が同一にされる。
【００３５】
変換部７２は、左ブロック２２０、中央ブロック２２２、右ブロック２２４において横方向の倍率を戻した抽出映像を生成するために、不揮発メモリ６６に記憶された通常ＬＵＴを使用する。つまり、変換部７２は、変形ＬＵＴから通常ＬＵＴに切りかえてから、処理を実行する。図６（ｈ）は、図６（ｇ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の右側が横方向に縮み、左側が横方向に延びた後、元に戻るように見える。この抽出映像は第４映像と呼ばれる。
【００３６】
このように第３手法では、抽出範囲右端部２１２が映像右端部２０２に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０の右側の映像を一定時間一定量圧縮表示し、左側の映像を一定時間一定量拡大表示する。これも、弾性のある映像を移動させようとして戻る表現によって、これ以上調整できないことを直感的に示すものである。
【００３７】
（４）第４手法
図７（ａ）−（ｈ）は、映像表示システム１００による第４手法の概要を示す。図７（ａ）は、設定部７０における処理を示す。図７（ａ）は、図４（ａ）と同様に示される。なお、抽出範囲２１０の左側の一辺が抽出範囲左端部２１４と示される。設定部７０は、抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、矢印で示すように抽出範囲２１０を右方向に動かす。変換部７２は、このような抽出範囲２１０で抽出した映像を抽出映像として出力部６８に出力する。その際、通常ＬＵＴが使用される。図７（ｂ）は、図７（ａ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。これは、図４（ａ）と同一である。
【００３８】
図７（ｃ）は、図７（ａ）に続く処理を示す。設定部７０は、抽出範囲２１０が右方向に動かされることによって、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出する。この処理は図４（ｃ）と同様である。図７（ｄ）は、図７（ｃ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。
【００３９】
図７（ｅ）は、図７（ｃ）に続く処理を示す。設定部７０は、到達を検出した場合、抽出範囲２１０内における抽出範囲右端部２１２側と、抽出範囲左端部２１４側とで、縦方向における倍率を変化させる。ここでは、抽出範囲左端部２１４側の倍率を大きく、抽出範囲右端部２１２側の倍率を小さくする。また、抽出範囲２１０内における横方向の倍率を変化させ、抽出範囲２１０を、抽出範囲右端部２１２側を基準にして横方向に圧縮して小さくする。これにより、抽出範囲右端部２１２を軸として、抽出範囲左端部２１４側が前方に動くように抽出範囲２１０が回転する。
【００４０】
変換部７２は、抽出範囲右端部２１２側と、抽出範囲左端部２１４側とで、縦方向における倍率を変化させるとともに、抽出範囲右端部２１２側を基準にして横方向の倍率を変化させた抽出映像を生成するために、不揮発メモリ６６に記憶された変形ＬＵＴを使用する。なお、変形ＬＵＴの内容は、第２手法、第３手法とは異なる。変換部７２は、通常ＬＵＴから変形ＬＵＴに切りかえてから、処理を実行する。図７（ｆ）は、図７（ｅ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の左側が近づき、右側が遠のくように見える。なお、モーフィングにより、ＬＵＴの参照先座標を射影変換で角度補正するようにしてもよい。これは、通常ＬＵＴを元にＣＰＵで変形ＬＵＴ相当を作成する処理を行っていることに相当する。この抽出映像は第３映像と呼ばれる。
【００４１】
図７（ｇ）は、図７（ｅ）に続く処理を示す。設定部７０は、抽出範囲右端部２１２側と、抽出範囲左端部２１４側とで、縦方向における倍率を変化させた後、抽出範囲右端部２１２内の倍率を元に戻す。また、抽出範囲右端部２１２側を基準にして横方向の倍率を変化させた後、抽出範囲右端部２１２側を基準にした横方向の倍率を元に戻す。これによって、抽出範囲右端部２１２側と抽出範囲左端部２１４側の縦方向の倍率が同一にされるとともに、抽出範囲２１０の横寸法が元の大きさに戻る。
【００４２】
変換部７２は、抽出範囲右端部２１２側と抽出範囲左端部２１４側において縦方向の倍率を戻すとともに、抽出範囲右端部２１２側を基準にして横方向の倍率を戻した抽出映像を生成するために、不揮発メモリ６６に記憶された通常ＬＵＴを使用する。つまり、変換部７２は、変形ＬＵＴから通常ＬＵＴに切りかえてから、処理を実行する。図７（ｈ）は、図７（ｇ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、抽出映像の左側が近づき、右側が遠のいた後、元に戻るように見える。この抽出映像は第４映像と呼ばれる。
【００４３】
このように第４手法では、抽出範囲右端部２１２が映像右端部２０２に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０の左側の映像を近づけるように拡大し、右側の映像を遠方に傾ける。これは、映像が傾く表現によって、これ以上調整できないことを直感的に示すものである。
【００４４】
（５）第５手法
図８（ａ）−（ｈ）は、映像表示システム１００による第５手法の概要を示す。図８（ａ）は、設定部７０における処理を示す。図８（ａ）は、図４（ａ）と同様に示される。設定部７０は、抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、矢印で示すように抽出範囲２１０を右方向に動かす。変換部７２は、このような抽出範囲２１０で抽出した映像を抽出映像として出力部６８に出力する。図８（ｂ）は、図８（ａ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。これは、図４（ａ）と同一である。
【００４５】
図８（ｃ）は、図８（ａ）に続く処理を示す。設定部７０は、抽出範囲２１０が右方向に動かされることによって、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出する。この処理は図４（ｃ）と同様である。図８（ｄ）は、図８（ｃ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。
【００４６】
図８（ｅ）は、図８（ｃ）に続く処理を示す。設定部７０は、抽出範囲２１０の抽出範囲右端部２１２が映像右端部２０２に到達したことを検出した場合、抽出範囲２１０の一部にインジケータ２３０を設定する。例えば、インジケータ２３０は、抽出映像と一見して区別できる直線状のバーを用い、抽出範囲２１０が本来動いていた方向の抽出範囲右端部２１２側に重畳して設定される。図８（ｆ）は、図８（ｅ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ここで、インジケータ２３０は点灯または点滅するように一定時間表示される。
【００４７】
図８（ｇ）は、図８（ｅ）に続く処理を示す。設定部７０は、抽出範囲２１０に設定したインジケータ２３０を消去する。図８（ｈ）は、図８（ｇ）で示された抽出範囲２１０における抽出映像であって、かつ表示装置４０に表示される抽出映像を示す。ユーザにとっては、インジケータ２３０が点灯または点滅した後、インジケータ２３０が消えたように見える。
【００４８】
このように第５手法では、抽出範囲右端部２１２が映像右端部２０２に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０を動かしていた方向に設けられたインジケータ２３０を点灯または点滅させるように一定時間表示する。これは、インジケータ表現によって、映像がこれ以上調整できないことを直感的に示すものである。
【００４９】
（６）第６手法
図９（ａ）−（ｃ）は、映像表示システム１００による第６手法の概要を示す。図９（ａ）は、設定部７０における処理を示す。図９（ａ）は、図４（ａ）と同様に示されるが、抽出範囲２１０を右方向に動かす場合に、映像右端部２０２の手前、つまり左側に疑似境界２４０が設けられる。設定部７０は、抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、矢印で示すように抽出範囲２１０を右方向に動かす。変換部７２は、このような抽出範囲２１０で抽出した映像を抽出映像として出力部６８に出力する。
【００５０】
図９（ｂ）は、図９（ａ）に続く処理を示す。設定部７０は、抽出範囲２１０が右方向に動かされることによって、抽出範囲２１０の抽出範囲右端部２１２が疑似境界２４０に到達したことを検出する。到達の検出は、例えば、横方向の軸における抽出範囲右端部２１２の座標と疑似境界２４０の座標が一致した場合になされる。設定部７０は、到達の検出後に、さらに抽出範囲２１０を右方向に動かすための指示を受付部６４から受けつけると、疑似境界２４０を越えてさらに映像右端部２０２の方、つまり右方向に抽出範囲２１０を動かす。右方向に動かせる距離は、映像右端部２０２に到達する前の一定距離に予め定められている。
【００５１】
図９（ｃ）は、図９（ｂ）に続く処理を示す。設定部７０は、抽出範囲２１０を一定距離だけ右方向に動かした後、抽出範囲右端部２１２が疑似境界２４０に一致するように抽出範囲２１０を左方向に戻す。設定部７０は、抽出範囲２１０を左方向に戻す際、抽出範囲２１０を減速させる。
【００５２】
このように第６手法では、抽出範囲右端部２１２が疑似境界２４０に到達してからも右方向に抽出範囲２１０を動かす指示を受けつけた場合に、抽出範囲２１０を一定速度で一定距離だけ右方向に動かしてから、抽出範囲２１０を素早く左方向に動かす。このように、受付部６４において受けつけた指示に応じて動かされた抽出範囲２１０が映像２００の端部に近づいたことが通知される。
【００５３】
（７）第７手法
これまでは、抽出範囲右端部２１２が映像右端部２０２あるいは疑似境界２４０に到達した場合に、抽出映像の表示を変えることによって、到達を通知している。処理部６２は、抽出範囲右端部２１２が映像右端部２０２あるいは疑似境界２４０に到達したことが設定部７０において検出された場合に、音、例えば電子音の出力を出力部６８に指示してもよい。出力部６８は、指示を受けつけると、スピーカ５０から電子音を発生させるための指示信号を出力する。スピーカ５０は、出力部６８からの指示信号を受けつけると、電子音を発生させる。このような電子音による通知は、表示による通知の代わりになれてもよく、表示による通知とともになされてもよい。
【００５４】
（８）第８手法
これまでは、抽出範囲右端部２１２が映像右端部２０２あるいは疑似境界２４０に到達した場合に、抽出映像の表示を変えること、あるいは電子音を出力することによって、到達を通知している。処理部６２は、抽出範囲右端部２１２が映像右端部２０２あるいは疑似境界２４０に到達したことが設定部７０において検出された場合に、入力装置３０を振動させることを出力部６８に指示してもよい。出力部６８は、指示を受けつけると、入力装置３０に内蔵されたモータを振動させるための指示信号を出力する。入力装置３０は、出力部６８からの指示信号を受けつけると、内蔵されたモータを振動させる。また、処理部６２は、抽出範囲右端部２１２が映像右端部２０２あるいは疑似境界２４０に到達したことが設定部７０において検出された場合に、入力装置３０を点灯させることを出力部６８に指示してもよい。出力部６８は、指示を受けつけると、入力装置３０に設置された発光部を点灯させるための指示信号を出力する。入力装置３０は、出力部６８からの指示信号を受けつけると、入力装置３０の十字キーに設けられた発光部を点灯させる。これらのような入力装置３０を使用した通知は、表示あるいは電子音による通知の代わりになれてもよく、表示あるいは電子音による通知とともになされてもよい。
【００５５】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００５６】
以上の構成による映像表示システム１００の動作を説明する。図１０は、映像表示システム１００による処理の手順を示すフローチャートである。取得部６０は、撮像装置１０からの映像２００を取得する（Ｓ１０）。受付部６４は、入力装置３０からの指示を受けつける（Ｓ１６）。設定部７０は、受付部６４が受け付けた指示に応じて、映像２００内の表示装置４０に表示させる抽出範囲２１０を動かす（Ｓ１４）。抽出範囲２１０が映像２００の端部に到達した場合（Ｓ１６のＹ）、設定部７０と変換部７２は、端部に到達したことに対する通知処理を実行する（Ｓ１８）。抽出範囲２１０が映像２００の端部に到達しない場合（Ｓ１６のＮ）、ステップ１８はスキップされる。出力部６８は抽出映像を表示装置４０に出力する（Ｓ２０）。抽出範囲２１０の設定が終了しなければ（Ｓ２２のＮ）、ステップ１２に戻る。抽出範囲２１０の設定が終了すれば（Ｓ２２のＹ）、処理は終了される。
【００５７】
本実施例によれば、表示装置に表示させる抽出範囲が、処理対象となる第１映像の端部に到達した場合に到達を通知するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。また、第１映像の端部に抽出範囲が到達したことを知らされるので、抽出範囲をこれ以上動かすことができないのか、あるいは機器が故障したのかをユーザに認識させることができる。また、抽出範囲をこれ以上動かすことができないのか、あるいは機器が故障したのかをユーザに認識させるので、ユーザによる操作性を向上できる。また、所定方向とは反対方向に抽出範囲を動かしてから、所定の方向に抽出範囲を動かして、抽出範囲を第１映像の端部に戻すので、第１映像の端部に抽出範囲が到達したことを知らせることができる。また、抽出範囲内における第１映像の端部側と、第１映像の端部とは反対側とで、所定の方向における倍率を変化させた第３映像を出力してから、抽出範囲内における倍率を元に戻した第４映像を出力するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。
【００５８】
また、抽出範囲内における第１映像の端部側と、第１映像の端部とは反対側とで、所定の方向とは異なった方向における倍率を変化させるとともに、第１映像の端部側を基準として所定の方向の倍率を変化させた第３映像を出力してから、抽出範囲内における各倍率を元に戻した第４映像を出力するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。また、インジケータを点灯または点滅させるので、第１映像の端部に抽出範囲が到達したことを知らせることができる。また、疑似境界を越えて第１映像の端部の方に抽出範囲を動かしてから、抽出範囲を疑似境界まで戻すので、第１映像の端部近傍に抽出範囲が到達したことを知らせることができる。
【００５９】
本発明の一態様の概要は、次の通りである。本発明のある態様の表示制御装置は、車両に搭載され、撮像装置からの車両周辺の映像を表示装置に表示させる表示制御装置であって、撮像装置から処理対象となる第１映像を取得する取得部と、取得部において取得した第１映像の少なくとも一部を抽出する際の抽出範囲を動かすための指示を受けつける受付部と、受付部において受けつけた指示に応じて動かされた抽出範囲で抽出した第２映像を表示装置に出力する出力部とを備える。出力部は、受付部において受けつけた指示に応じて動かされた抽出範囲が第１映像の端部に到達した場合に、到達したことを通知する。
【００６０】
この態様によると、抽出範囲が第１映像の端部に到達した場合に到達を通知するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。
【００６１】
受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、出力部は、所定の方向に動かした抽出範囲が第１映像の端部に到達した場合、所定の方向とは反対方向に抽出範囲を動かしてから、所定の方向に抽出範囲を動かして、抽出範囲を第１映像の端部に戻す。この場合、所定方向とは反対方向に抽出範囲を動かしてから、所定の方向に抽出範囲を動かして、抽出範囲を第１映像の端部に戻すので、第１映像の端部に抽出範囲が到達したことを知らせることができる。
【００６２】
受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、出力部は、所定の方向に動かした抽出範囲が第１映像の端部に到達した場合、抽出範囲内における第１映像の端部側と、第１映像の端部とは反対側とで、所定の方向における倍率を変化させた第３映像を出力してから、抽出範囲内における倍率を元に戻した第４映像を出力してもよい。この場合、抽出範囲内における第１映像の端部側と、それとは反対側とで、所定の方向における倍率を変化させた第３映像を出力してから、倍率を元に戻した第４映像を出力するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。
【００６３】
受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、出力部は、所定の方向に動かした抽出範囲が第１映像の端部に到達した場合、抽出範囲内における第１映像の端部側と、第１映像の端部とは反対側とで、所定の方向とは異なった方向における倍率を変化させるとともに、第１映像の端部側を基準として所定の方向の倍率を変化させた第３映像を出力してから、抽出範囲内における倍率を元に戻した第４映像を出力してもよい。この場合、抽出範囲内における第１映像の端部側と、それとは反対側とで、所定の方向とは異なった方向における倍率を変化させた第３映像を出力してから、倍率を元に戻した第４映像を出力するので、第１映像の端部に抽出範囲が到達したことを知らせることができる。
【００６４】
受付部は、抽出範囲を所定の方向に動かすための指示を受けつけ、出力部は、所定の方向に動かした抽出範囲が第１映像の端部の手前に設けられた疑似境界に到達した場合、疑似境界を越えて第１映像の端部の方に抽出範囲を動かしてから、抽出範囲を疑似境界まで戻す。この場合、疑似境界を越えて第１映像の端部の方に抽出範囲を動かしてから、抽出範囲を疑似境界まで戻すので、第１映像の端部近傍に抽出範囲が到達したことを知らせることができる。
【００６５】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６６】
本実施例において、受付部６４は、抽出範囲２１０を右方向に動かすための指示を受けつけている。しかしながらこれに限らず例えば、受付部６４は、抽出範囲２１０を左方向、上方向、下方向に動かすための指示を受けつけてもよい。その場合、処理部６２は、抽出範囲２１０を動かすことによって近づいていく映像２００の端部と抽出範囲２１０の端部とが一致した場合に、前述の処理を実行する。また、抽出範囲２１０が動く方向の映像２００の端部の手前に疑似境界２４０が設けられて、前述の処理が実行されてもよい。さらに、抽出範囲２１０を上下左右に移動させる場合だけでなく、抽出範囲２１０を拡大する場合に前述の処理が実行されてもよい。本変形例によれば、実施例の適用範囲を拡大できる。
【００６７】
本実施例では、処理対象となる映像として、車両Ｃ１のサイドミラーＣ２（右側サイドミラーＣ２ａ、左側サイドミラーＣ２ｂ）に取り付けた撮像装置１０（第１撮像装置１０ａ、第２撮像装置１０ｂ）が撮像した車両周辺の映像を用いて、その映像の端部に表示装置に表示させる抽出範囲が到達した場合にその到達を通知している。しかしながらこれに限らず例えば、車両Ｃ１の後部のバックドアなどに取り付けた撮像装置が撮像した車両後方の映像を用いて行ってもよい。また、車両Ｃ１の前方のフロントグリルなどに取り付けた撮像装置が撮像した車両前方の映像を用いて行ってもよい。なお、表示装置４０としては、ルームミラーとしての電子ミラー表示部、ナビゲーションシステムの表示部、インパネ表示部などが用いられる。
【００６８】
本実施例では、図１（ｂ）のごとく、撮像装置１０と表示装置４０とがサイドミラーＣ２に搭載されている。しかしながら、撮像装置１０と表示装置４０とを分離して配置させてもよい。図１１は、実施例における車両Ｃ１の別の構成を模式的に示す。図示のごとく、撮像装置１０が車両Ｃ１の外側に設置され、表示装置４０が車両Ｃ１の内側に設置される。このように撮像装置１０と表示装置４０を分離して設置することによって、車外の撮像装置１０を極力小さくすることができる。これにより、デザイン性がよくなる。また、空気抵抗が抑えられ、燃費を改善できる。また、表示装置４０を車内に設置することによって、降雨時でも雨滴の影響を抑えながら映像を直視できる。また、太陽光の影響も抑えることができる。さらに、熱の影響が低減されるので、動作を安定化できる。
【００６９】
本実施例では、処理対象となる映像として、１つの撮像装置１０が撮像した車両周辺の映像を用いて、その映像の端部に表示装置に表示させる抽出範囲が到達した場合にその到達を通知している。しかしながらこれに限らず例えば、撮像領域が一部重複する２つ以上の撮像装置が撮像した車両周辺の映像を合成した合成映像を用いてもよい。なお、処理対象とする映像は、合成映像の全領域であってもよいし、合成映像のうちの所定範囲の領域を切り出した一部領域であってもよい。
【符号の説明】
【００７０】
１０  撮像装置、  ２０  表示制御装置、  ３０  入力装置、  ４０  表示装置、  ５０  スピーカ、  ６０  取得部、  ６２  処理部、  ６４  受付部、  ６６  不揮発メモリ、  ６８  出力部、  ７０  設定部、  ７２  変換部、  １００  映像表示システム。
【図１】
2019041276.tif 000003
【図２】
2019041276.tif 000004
【図３】
2019041276.tif 000005
【図４】
2019041276.tif 000006
【図５】
2019041276.tif 000007
【図６】
2019041276.tif 000008
【図７】
2019041276.tif 000009
【図８】
2019041276.tif 000010
【図９】
2019041276.tif 000011
【図１０】
2019041276.tif 000012
【図１１】
2019041276.tif 000013