(57)【要約】移動体内に居る視聴者が安全な体勢をいち早くとることができるエンタテインシステムを提供することである。エンタテインメントシステム６００は、車両の進行方向の風景を撮影して風景画像を生成する撮像部１２と、風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部１７と、画像情報を含むコンテンツ情報を出力する映像コンテンツ再生部１１と、風景画像から車両の進行方向上の位置を検出する進行方向位置検出部１７と、映像コンテンツ再生部１１により出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成する合成画像生成部１４と、合成画像生成部１４により合成された合成画像を表示する表示部１５とを備える。【特許請求の範囲】
【請求項１】
車両の進行方向の風景を撮影して風景画像を生成する撮像部と、
画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、
前記撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、
前記コンテンツ情報出力部により出力された前記コンテンツ情報からコンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成する第１の合成画像生成部と、
前記第１の合成画像生成部により合成された合成画像を表示する表示部とを備える、エンタテインメントシステム。
【請求項２】
前記第１の合成画像生成部は、前記コンテンツ画像により前記中間画像において、前記検出された位置が覆われないように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項１に記載のエンタテインメントシステム。
【請求項３】
前記第１の合成画像生成部はさらに、前記撮像部により生成された風景画像に、前記進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、前記中間画像中の前記図形情報の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項１に記載のエンタテインメントシステム。
【請求項４】
前記エンタテインメントシステムは、前記撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備え、
前記進行方向位置検出部は、前記白線検出部により検出された前記白線の交点である消失点を車両の進行方向上の位置として検出する、請求項１に記載のエンタテインメントシステム。
【請求項５】
前記エンタテインメントシステムは、
前記車両の曲がる方向を示す操作情報を出力する操作情報出力部と、
前記操作情報出力部により前記操作情報が与えられると、前記撮像部により生成された前記風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、前記操作情報で示された車両の曲がる方向の反対側の位置で、かつ、前記中間画像中の前記位置情報の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成した合成画像を生成する第２の画像合成生成部とを更に備え、
前記表示部は、前記第２の画像合成部により生成された合成画像を更に表示する、請求項４に記載のエンタテインメントシステム。
【請求項６】
前記エンタテインメントシステムは、
前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、
前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる量だけ、前記撮像部により撮影された前記風景画像の上部部分を排除する排除部と、
前記排除部により排除されて残った風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、前記中間画像中の前記位置情報の周辺に前記コンテンツ画像が配置されるように、前記中間画像と前記コンテンツ画像とを合成して合成画像を生成する第３の合成画像生成部とを更に備え、
前記表示部は、前記第３の合成画像生成部により生成された合成画像を表示する、請求項４に記載のエンタテインメントシステム。
【請求項７】
エンタテインメントシステムは、
前記撮像部の撮影方向を変更させる駆動部と、
前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、
前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる制御情報を前記駆動部に出力する制御情報出力部とを更に備え、
前記駆動部は、前記制御情報出力部により出力された前記制御情報に基づき前記撮像部の撮影方向を変更させる、請求項４に記載のエンタテインメントシステム。
【請求項８】
車両の進行方向の風景を撮影して風景画像を生成し、
画像情報を含むコンテンツ情報を出力し、
撮影した前記風景画像から車両の進行方向上の位置を検出し、
出力された前記コンテンツ情報からコンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成し、
合成された合成画像を表示する、エンタテインメント提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、エンタテインメントシステムに関し、移動体内に居る視聴者にコンテンツを提供するエンタテインメントシステムに関する。
【背景技術】
【０００２】  上記のようなエンタテインメントシステムは、移動体の一例としての車両に設置され、例えば、前部座席周辺又は後部座席周辺に取り付けられたモニタを通じて、映画、ニュース又はテレビに代表されるコンテンツを表すエンタテイメント情報を、車両内の乗員（視聴者）に提供する。しかしながら、このような提供方式では、車両が曲がったり、減速したりするときに、視聴者は、車両の挙動を予め知ることができないので、安全な体勢をとることができず、その結果、エンタテインメントシステムは、視聴者に乗り物酔いを誘発する可能性があるという問題点があった。【０００３】  この問題点を解決するため、ハンドル、ブレーキ又はウインカーから得た操作情報を用いて、車両が曲がるとき又は減速することを音声出力又はモニタ表示したり、後部座席用モニタに車載カメラが撮影した進行方向の風景映像を表示したりすることで、車両の挙動を乗員に通知し、それによって、乗り物酔いの誘発を抑えようとするエンタテインメントシステム（以下、従来のエンタテインメントシステムと称する）が提案されている（例えば、特開２００３−１５４９００号公報を参照）。【０００４】  ここで、図１１は、従来のエンタテインメントシステムの構成を示すブロック図である。図１１において、従来のエンタテインメントシステムは、ハンドル５２、ブレーキ５３及びウインカー５４からの操作情報を受けて操作状態を音声で提示するための音声合成回路５１と、該操作状態を映像で提示するためのＯＳＤ装置５５、進行方向の風景を撮影するビデオカメラ６２、ＤＶＤ再生装置５７、リアモニタ６１、車両の運転を支援するナビゲーション装置５８、音声合成回路５１の音声出力とＤＶＤ再生装置５７の音声信号とナビゲーション装置５８の音声信号とを合成するミキサ５６、合成された音声信号を赤外線信号に変換するＩＲ回路５９、及び、該ＩＲ回路５９からの赤外線信号を受信し音声に変換するヘッドホン６０を備えている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】  しかしながら、従来のエンタテインメントシステムでは、例えば、ウインカー５４を操作する必要の無いカーブを車両が走行する場合、その旨がヘッドホン６０に音声出力されないし、リアモニタ６１にも何も表示されなし、さらに言えば、進行方向の風景映像がリアモニタ６１に表示されない。従って、車両がカーブを曲がるとき、又は車両がある程度の挙動変化を示したとき、そのような挙動が起こることを乗員は知ることができないので、従来のエンタテインメントシステムでは、乗員が安全な体勢を事前にとらせたり、乗り物酔いの誘発を抑えたりすることが十分に行えないという問題点があった。【０００６】  それ故に、本発明の目的は、移動体内に居る視聴者が安全な体勢をいち早くとることができるエンタテインシステムを提供することである。
【課題を解決するための手段】
【０００７】  上記目的を達成するために、本発明のエンタテインメントシステムは、車両の進行方向の風景を撮影して風景画像を生成する撮像部と、画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成する第１の合成画像生成部と、第１の合成画像生成部により合成された合成画像を表示する表示部とを備える。【０００８】  エンタテインメントシステムにおいて、第１の合成画像生成部は、コンテンツ画像により中間画像において、検出された位置が覆われないように、コンテンツ画像と中間画像とを合成して合成画像を生成するものである。【０００９】  第１の合成画像生成部はさらに、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、中間画像中の図形情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成して合成画像を生成する。【００１０】  エンタテインメントシステムは、撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備える。進行方向位置検出部は、白線検出部により検出された白線の交点である消失点を車両の進行方向上の位置として検出する。【００１１】  また、エンタテインメントシステムは好ましくは、車両の曲がる方向を示す操作情報を出力する操作情報出力部と、操作情報出力部により操作情報が与えられると、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、操作情報で示された車両の曲がる方向の反対側の位置で、かつ、中間画像中の位置情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成した合成画像を生成する第２の画像合成生成部とを更に備える。表示部は、第２の画像合成部により生成された合成画像を更に表示する。【００１２】  また、エンタテインメントシステムは好ましくは、進行方向位置検出部により検出された位置が、表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる量だけ、撮像部により撮影された風景画像の上部部分を排除する排除部と、排除部により排除されて残った風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、中間画像中の位置情報の周辺にコンテンツ画像が配置されるように、中間画像とコンテンツ画像とを合成して合成画像を生成する第３の合成画像生成部とを更に備える。表示部は、第３の合成画像生成部により生成された合成画像を表示する。【００１３】  エンタテインメントシステムは、撮像部の撮影方向を変更させる駆動部と、進行方向位置検出部により検出された位置が、表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる制御情報を駆動部に出力する制御情報出力部とを更に備える。駆動部は、制御情報出力部により出力された制御情報に基づき撮像部の撮影方向を変更させる。【００１４】  また、本発明の第２の局面は、エンタテインメント提供方法に向けられる。エンタテインメント提供方法は、車両の進行方向の風景を撮影して風景画像を生成し、画像情報を含むコンテンツ情報を出力し、撮影した風景画像から、車両の進行方向上の位置を検出し、出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成し、合成された合成画像を表示する。
【発明の効果】
【００１５】  本発明によれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するので、ウインカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとったり、乗り物酔いの誘発を抑えたりすることができる。【００１６】  本発明の上記及びその他の目的、特徴、局面及び利点は、以下に述べる本発明の詳細な説明を添付の図面とともに理解したとき、より明らかになる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施形態に係るエンタテインメントシステム６００の構成を示すブロック図である。
【図２】図２は、図１に示す撮像部１２により撮影された画像１００を例示する模式図である。
【図３】図３（ａ）は、図１に示す白線検出部１６により生成される空間高周波信号が表すエッジ画像を例示する模式図であり、図３（ｂ）は、図１に示す白線検出部１６により生成される抽出エッジ画像１２０を例示する模式図である。
【図４】図４（ａ）は、図１に示す白線検出部１６により生成される路面画像１３０を例示する模式図であり、図４（ｂ）は、図１に示す白線検出部１６により生成される領域画像１４０を例示する模式図である。
【図５】図５は、図１に示すエンタテインメントシステム６００について、画像を表示するまでの処理手順を示すフローチャートである。
【図６】図６（ａ）は、図１に示す撮像部１２により撮影される風景を例示する模式図であり、図６（ｂ）は、図５に示すステップＳ１５０の処理を説明するための模式図であり、図６（ｃ）は、ステップＳ１６０の処理を説明するための模式図であり、図６（ｄ）は、ステップＳ１７０の処理を説明するための模式図である。
【図７】図７（ａ）〜（ｃ）は、図５に示すステップＳ１８０の処理を説明するための模式図である。
【図８】図８は、図１に示す画像合成部１４の処理を説明するための模式図である。
【図９】図９は、図１に示すエンタテインメントシステム６００について、撮像部１２の撮像方向を制御する際の動作手順を示すフローチャートである。
【図１０】図１０（ａ）は、撮像部１２が撮像方向変更前に生成する風景画像５１０を例示する模式図であり、図１０（ｂ）は、撮像部１２が撮像方向変更後に生成する風景画像５２０を例示する模式図であり、図１０（ｃ）は、コンテンツ画像５４０を例示する模式図であり、図１０（ｄ）は、合成画像５５０を例示する模式図である。
【図１１】図１１は、従来のエンタテインメントシステムの構成を示すブロック図である。
【符号の説明】
【００１８】１１  映像コンテンツ再生部
１２  撮像部
１３  ウインカー部
１４  画像合成部
１５  表示部
１６  白線検出部
１７  進行方向位置検出部
１８  撮像方向制御部
１９  駆動部
６００  エンタテインメントシステム
【発明を実施するための最良の形態】
【００１９】  以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係るエンタテインメントシステム６００の構成を示すブロック図である。【００２０】  図１において、エンタテインメントシステム６００は、移動体の一例としての車両に搭載され、映像コンテンツ再生部１１と、撮像部１２と、ウインカー部１３と、画像合成部１４と、表示部１５と、白線検出部１６と、進行方向位置検出部１７と、撮像方向制御部１８と、駆動部１９とを備えている。【００２１】  映像コンテンツ再生部１１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブに装着されたＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭに記憶されている映像コンテンツ情報を再生する。また、映像コンテンツ再生部１１は、通信回線を介してテレビジョン放送等の映像コンテンツ情報を再生する。映像コンテンツ再生部１１は、画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部を構成する。【００２２】  撮像部１２は、レンズ及びＣＣＤを備えたカメラであって、典型的には車両の前部又は上部に取り付けられ、車両の進行方向の風景を撮影した映像信号１ｈを出力する。【００２３】  ウインカー部１３は、車両が右折又は左折する際の操作信号２ｈを出力する。ウインカー部１３は車両の曲がる方向を示す操作情報を出力する操作情報出力部を構成する。ただし、このような操作情報出力部は、ウインカー部１３のみならず、車両の操作に連動した他の機械的構成部分からも構成され得る。また、本実施形態では、便宜上、ウインカー部１３は、エンタテインメントシステム６００の構成として説明するが、ウインカー部１３は一般的には車両の構成である。つまり、ウインカー部１３は、エンタテインメントシステム６００の本質的構成ではない。【００２４】  画像合成部１４は、撮像部１２から与えられた映像信号１ｈと、ウインカー部１３から与えられる操作信号２ｈと、映像コンテンツ再生部１１から与えられたコンテンツ情報３ｈと、進行方向位置検出部１７から与えられ、消失点（詳細は後述）の位置を示す消失点位置情報４ｈの中から必要なものを用い、下記のような画像を表す合成画像信号５ｈを生成し出力する。画像合成部１４は、合成画像の生成方法に応じて、第１の画像合成部、第２の画像合成部、第３の画像合成部のいずれかとして機能する。【００２５】（１）撮像部１２により撮像された風景画像を表示しない場合には、コンテンツ情報３ｈに基づく画像信号５ｈ
（２）コンテンツ情報３ｈを表示しない場合には、撮像部１２により撮像された映像信号１ｈに基づく画像信号５ｈ
（３）図７に示すように、映像信号１ｈが表す風景画像に、消失点の位置及びその周辺を覆わないようにコンテンツ画像が合成された画像を表す画像信号５ｈ【００２６】  表示部１５は、例えばＴＦＴ方式のカラー液晶モニタが使用され、画像合成部１４から入力された画像信号５ｈを基にした映像を表示する。【００２７】  白線検出部１６は、撮像部１２により撮影された画像１００（図２を参照）を表す映像信号１ｈから高周波成分を抽出して、図３（ａ）に示すような車線Ｒ１、Ｒ２及びＲ３を含むエッジ画像１１０を表す空間高周波信号を生成する。白線検出部１６はさらに、車線Ｒ１、Ｒ２及びＲ３の輪郭部分を効率的に抽出するための閾値に基づき、エッジ画像１１０を走査し、図３（ｂ）に示すような、車線Ｒ１、Ｒ２及びＲ３を細線化したエッジｒ１、ｒ２及びｒ３を含む抽出エッジ画像１２０を生成する。【００２８】  また、白線検出部１６は、撮像部１２より撮影された画像１００（図２を参照）を表す画像信号１ｈから低周波数成分を抽出して、図４（ａ）のような路面１３１を含む路面画像１３０を生成する。このように生成した路面画像１３０から、白線検出部１６はさらに、路面１３１の各外縁から内側及び外側それぞれに幅ｗを持つ領域ＡＲ１及びＡＲ２を有する領域画像１４０（図４（ｂ）を参照）を生成する。【００２９】  さらに、白線検出部１６は、抽出エッジ画像１２０（図３（ｂ）を参照）に含まれるエッジｒ１及びｒ３のそれぞれが領域ＡＲ１及びＡＲ２（図４（ｂ）を参照）に収まるか否かを判定し、収まると判定したならば、車線Ｒ１及びＲ３が白線であるとみなし、エッジｒ１及びｒ３を示す抽出エッジ信号６ｈを出力する。なお、白線検出の詳細な内容は、例えば、特開２００１−２７３５０４号公報又は特開２００３−１５４９００号公報に記載されている。【００３０】  進行方向位置検出部１７は、白線検出部１６で生成された抽出エッジ信号６ｈを受け取ると、エッジｒ１及びｒ３そのものを表す直線、又はエッジｒ１及びｒ３が曲線の場合にはそれぞれを近似した直線を、最小２乗法又はハフ変換を用いて導き出し、これら直線ｒ１及びｒ３の交叉点からなる消失点の位置Ｐ（Ｘ，Ｙ）を算出する。この算出した消失点の位置Ｐ（Ｘ、Ｙ）を示す消失点信号４ｈを、進行方向位置検出部１７は画像合成部１４と撮像方向制御部１８とに与える。【００３１】  撮像方向制御部１８は、進行方向位置検出部１７から受け取った消失点信号４ｈに基づき、消失点の位置Ｐが、表示部１５に表示される合成画像の底辺から所定の高さより下にあるか否かを判定し、位置Ｐが所定の高さより下にあると判定された場合には、位置Ｐを少なくとも所定の高さ以上に移動させるための位置制御情報７ｈを駆動部１９に与える。なお、このような撮像方向制御部１８は位置判定部と制御情報出力部とを構成する。【００３２】  駆動部１９は、撮像部１２の撮像方向を変更するサーボモータを含み、撮像方向制御部１８により与えられた位置制御情報７ｈで示された量だけ正方向又は逆方向にサーボモータを回転させ、これによって、位置Ｐを所定の高さ以上に変えるように撮像部１２の撮像方向を変更する。【００３３】  次に、以上のエンタテインメントシステム６００につ��て、図５のフローチャートを参照して、画像を表示部１５に表示するまでの動作を説明する。【００３４】  撮像部１２により、車両の進行方向の風景（図６（ａ）を参照）が撮影され、その結果得られる映像信号１ｈを白線検出部１６及び画像合成部１４は受け取る（ステップＳ１１０）。【００３５】  白線検出部１６は、前述したように、映像信号１ｈからエッジｒ１及びｒ３を示す抽出エッジ信号６ｈを生成して、進行方向位置検出部１７に与える（ステップＳ１２０）。【００３６】  進行方向位置検出部１７は、白線検出部１６から抽出エッジ信号６ｈを受け取ると、前述したように、受け取った抽出エッジ信号６ｈに基づいて、エッジｒ１及びｒ３との交差する消失点の位置Ｐ（Ｘ、Ｙ）を算出する。算出した消失点Ｐ（Ｘ、Ｙ）を示す消失点信号４ｈを、進行方向位置検出部１７は画像合成部１４及び撮像方向制御部１８に与える（ステップＳ１３０）。【００３７】  画像合成部１４は、進行方向位置検出部１７からの消失点信号４ｈで示される消失点の位置Ｐを取得する。その後、画像合成部１４は、表示部１５の表示画面の底辺から高さＨ１よりも下に、消失点の位置Ｐが位置するか否かを判定する（ステップＳ１４０）。ここで、高さＨ１は、表示画面の底辺から、後述のコンテンツ画像２２０の上辺までの距離である。ステップＳ１４０でＹｅｓと判定された場合、画像合成部１４は、図６（ａ）に示す風景画像２１０において消失点の位置Ｐに相当する箇所に、消失点を所定形状の図形で表す消失点位置情報２１３（図では○で囲まれている。）を合成し、風景画像２１０から、高さＨ１より下の部分２１２を取り出し、図６（ｂ）に示す中間合成画像２１５を生成する（ステップＳ１５０）。言い換えれば、画像合成部１４は、風景画像２１０から、空の部分２１１を切り取る。なお、このような画像構成部１４は、位置判定部と排除部とを構成する。【００３８】  次に、画像合成部１４は、映像コンテンツ再生部１１により与えられたコンテンツ情報３ｈを使って、図６（ｃ）に例示するようなコンテンツ画像２２０を生成する（ステップＳ１６０）。その後、画像合成部１４は、中間合成画像２１５の中に合成された消失点位置情報２１３がコンテンツ画像２２０で隠れないように、コンテンツ画像２２０と中間合成画像２１５とが合成された画像（図６（ｄ）を参照）を表す合成画像信号５ｈを生成する（ステップＳ１７０）。このような合成画像信号５ｈは表示部１５に与えられる。【００３９】  画像合成部１４は、ステップＳ１４０でＮｏと判定した場合、進行方向位置検出部１７から受け取った消失点信号４ｈが示す消失点の位置Ｐを示すために、中間合成画像２１５において位置Ｐに相当する箇所に消失点位置情報が合成された中間合成画像３１０（図７（ａ）を参照）を生成する（ステップＳ１８０）。【００４０】  次に、画像合成部１４は、映像コンテンツ再生部１１から得られたコンテンツ情報３ｈからコンテンツ画像３２０（図７を参照）を生成し（ステップＳ１９０）、コンテンツ画像３２０により風景画像３１０の中の消失点位置情報３１１が覆われないように、コンテンツ画像３２０と風景画像３１０とを合成した、図７に例示する合成画像３３０を生成し（ステップＳ２００）、合成画像３３０を表す合成画像信号５ｈの一例として表示部１５に出力する。【００４１】  表示部１５は、画像合成部１４により合成画像信号５ｈが与えられると、入力信号５ｈに基づいた画像を表示し（ステップＳ２１０）、処理を終了する。【００４２】  次に、エンタテインメントシステム６００について、ウインカー部より車両の進行方向を示す操作信号２ｈが与えられた場合の画像の表示動作を説明する。【００４３】  ウインカー部１３が例えば車両の進行方向を右に取るという操作信号２ｈを画像合成部１４に与えると、画像合成部１４は、図８に例示する合成画像４１０中の右下部に配されたコンテンツ画像４３０を、図８に例示するように、合成画像４１０の左下部でかつ消失点位置情報４２０を覆わない位置に配置した合成画像４４０を生成する。この操作により、消失点位置情報４２０及び車両の進行すべき右折道路の双方が、表示部１５に表示されることとなる。【００４４】  次に、図９に示すフローチャートを参照して、エンタテインメントシステム６００について、撮像部１２の撮像方向の制御を行う動作を説明する。【００４５】  撮像方向制御部１８は、進行方向位置検出部１７により、消失点の位置Ｐを示す消失点信号４ｈが与えられると、消失点の位置Ｐが、画面の底辺から高さＨ２よりも下に位置するか否かを判定する（ステップＳ３１０）。ここで、高さＨ２は、表示画面の底辺から、後述のコンテンツ画像２２０の上辺までの距離である。【００４６】  撮像方向制御部１８は、消失点の位置Ｐが高さＨ２よりも上に位置するものと判定した場合には（ステップＳ３１０；ＮＯ）、位置Ｐが高さＨ２より下になるまでこの処理を継続し続ける。一方、撮像方向制御部１８は、位置Ｐが画面上の高さＨ２より下にある場合には、（ステップＳ３１０；ＹＥＳ）、高さＨ２から位置Ｐの高さＹを差し引きた値（Ｈ２−Ｙ）に、少しゆとりを持たせるための値Ｌを加算したＴ（Ｔ＝Ｈ２−Ｙ＋Ｌ）を算出する（ステップＳ３２０）。【００４７】  その後、撮像方向制御部１８は、消失点の位置Ｐが高さＨ２より上になるような方向で、かつ、値Ｔに基づいて算出したカメラ方向を制御する位置制御信号７ｈを駆動部１９に出力する（ステップＳ３３０）。【００４８】  駆動部１９は、撮像方向制御部１８から与えられた位置制御信号７ｈに従った方向に所定回転数だけ回転し、撮像部１１の撮像方向を変更させる（ステップＳ３４０）。すると、撮像部１２は、変更前の図１０（ａ）に例示する風景映像５１０から、消失点の位置Ｐの位置が（Ｈ２＋Ｌ）に移動させた図１０（ｂ）に例示する風景映像５２０の映像信号１ｈを画像合成部１４に出力する。【００４９】  画像合成部１４は、進行方向位置検出部１７により与えられた消失点信号４ｈから消失点の位置Ｐを求め、風景映像５１０の中の消失点の位置Ｐの箇所に消失点の位置を示す消失点位置情報を表示する、図１０（ｂ）に例示する風景画像５３０を生成する（ステップＳ３５０）。次に、画像合成部１４は、映像コンテンツ再生部１１から与えられたコンテンツ情報３ｈを使って、図１０（ｃ）に例示するようなコンテンツ画像５４０を生成する（ステップＳ３６０）。【００５０】  その後、画像合成部１４は���風景画像５３０の中の消失点位置情報５３１がコンテンツ画像５４０により覆われないように、コンテンツ画像５４０と風景画像５３０とを画像合成した、図１０（ｄ）に例示する合成画像５５０を生成し（ステップＳ３７０）、合成画像５５０を表す合成画像信号５ｈを表示部１５に与える。表示部１５は、受け取った合成画像５５０を表示し（ステップＳ３８０）、処理を終了する。【００５１】  この実施形態に係るエンタテインメントシステム６００によれば、撮像部１２により撮影された風景画像に、進行方向位置検出部１７により検出された車両の進行方向上の位置を表示した風景画像を生成するとともに、コンテンツ情報再生部１１により出力されたコンテンツ情報からコンテンツ画像を生成し、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するので、ウインカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとったり、乗り物酔いの誘発を抑えることができる。【００５２】  上述の実施形態においては、好ましい例として、消失点位置情報２１３が風景画像２１０に合成され、合成された消失点位置情報２１３がコンテンツ画像２２０で隠れないように、コンテンツ画像２２０と中間合成画像２１５とが合成されるとして説明した。しかし、これに限らず、消失点位置情報２１３は風景画像２１０に合成されず、単に、ステップＳ１７０において、消失点位置情報２１３で特定される位置の周辺にコンテンツ画像２２０が合成されるだけでかまわない。言い換えれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するだけでもかまわない。ここで、「コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われない」とは、「車両の進行方向上の位置（位置情報）の周辺にコンテンツ画像が配置される」状態をさす。「車両の進行方向上の位置（位置情報）の周辺にコンテンツ画像が配置される」という状態は、車両の進行方向上の位置の表示が表示部１５上で維持されつつ、コンテンツ画像も表示部１５上に配置された一般的な状態をいう。従って、「位置情報の周辺にコンテンツ画像が配置される」とは、コンテンツ画像が車両進行方向上の位置に近接して配置されている場合のみには限定されず、コンテンツ画像が当該位置から多少離れて配置された状態をも含む。【００５３】  また、このエンタテインメントシステム６００によれば、操作情報に示された車両の曲がる方向の反対側の位置情報で、かつ、風景画像中の車両の進行方向上の位置が覆われないように、コンテンツ画像と風景画像とを画像合成するので、同乗者に車両の曲がる方向を知らせることができる。【００５４】  また、このエンタテインメントシステム６００によれば、撮影した風景中の上部の所定部分または下部の所定部分を排除し、排除して残った風景を用いて画像合成部１４により合成画像が生成されるので、表示部に表示される合成画像のうち風景画像をシフトすることができる。【００５５】  また、このエンタテインメントシステム６００によれば、進行方向位置検出部１７により検出された車の進行方向上の位置を、画像合成部１４により生成された合成画像に表示するように、撮像部１２の撮影方向を変更させる制御情報を撮像方向制御部１８が部駆動部１２に出力するので、表示される合成画像のうちの風景画像に車両の進行方向上の位置が常に表示することができる。【００５６】  また、このエンタテインメントシステム６００によれば、進行方向位置検出部１７が白線検出部１６により検出された路面に描かれた白線の交点である消失点を車両の進行方向上の位置として検出するので、車両の進行方向上の位置を簡単に特定することができる。【００５７】  尚、エンタテインメントシステム６００が、２列目以降の後部座席に設けられた場合は、リアシートエンタテインメントシステムを実現することが可能となる。この場合、表示部１５を構成するモニタは、例えば、後部座席の前に設置されるシート後部等に設けられる。後部座席に着座する乗員は特に進行方向がわからないことが多いため、本発明はリアシートエンタテインメントシステムの実現に特に有効である。【００５８】  尚、道路の曲がり情報、交差点の右左折道路の情報を、車両に設けられたナビゲーション装置より取得し、予め設定された目的地までのルートと考慮して、走行する道路の画像を、表示部１５に常に表示するようシステムを制御することもできる。【００５９】  更に本発明は、エンタテインメント提供方法をも含むものであり、当該方法は、（１）車両の進行方向の風景を撮影して風景画像を生成し、（２）画像情報を含むコンテンツ情報を出力し、（３）撮影した風景画像から車両の進行方向上の位置を検出し、（４）出力したコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成し、（５）合成された合成画像を表示するものである。【００６０】  また、上述の各ステップをコンピュータに実行させるためのプログラムも本発明に含まれる。このプログラムは種々の形式でシステム内又はシステム外に組み込まれる。例えばシステム内の所定のメモリにプログラムを記録することができる。また、ハードディスクのような情報記録装置や、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカードのような情報記録媒体にプログラムを記録してもよい。【００６１】  上述の実施形態では、車両の進行方向上の位置が、路面上の白線により求められた道路の消失点である。しかしながら、消失点の求め方は白線検出による方法のみならず、平行直線の画像上での収束点を求める総ての方法が使用可能である。例えば建築物の壁により構成される直線群により消失点を求めることも可能である。さらに、車両の進行方向上の位置を消失点ではなく、他の情報から求めることもできる。【００６２】  また、図９において、消失点の位置Ｐが高さＨ２よりも下になったときに、カメラ方向を制御しているが、Ｈ２よりも上になったときにも消失点の位置Ｐを高さＨ２のところになるように、カメラ方向を制御するようにしてもよい。【００６３】  また、本発明におけるコンテンツ情報は、風景画像と合成可能な画像情報を含むものであればその種類��限定されない。【００６４】  以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。【００６５】  本出願は、２００４年１０月２９日出願の日本特許出願（特願２００４−３１６４６２）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００６６】  本発明に係るエンタテインメントシステムは、車両が曲がるとき等、車両がある程度極端な挙動をしたときにおいて、そのことを同乗者に予知可能ならしめ、視聴者が安全な体勢を事前にとったり、乗り物酔いの誘発を抑えたりすることが可能なリアシートエンタテインメントシステム等に提供可能である。
【図１】
2006046715.tif 000002
【図２】
2006046715.tif 000003
【図３】
2006046715.tif 000004
【図４】
2006046715.tif 000005
【図５】
2006046715.tif 000006
【図６】
2006046715.tif 000007
【図７】
2006046715.tif 000008
【図８】
2006046715.tif 000009
【図９】
2006046715.tif 000010
【図１０】
2006046715.tif 000011
【図１１】
2006046715.tif 000012
【手続補正書】
【提出日】平成19年2月13日(2007.2.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の進行方向の風景を撮影して風景画像を生成する撮像部と、
画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、
前記撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、
前記コンテンツ情報出力部により出力された前記コンテンツ情報からコンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成する第１の合成画像生成部と、
前記第１の合成画像生成部により合成された合成画像を表示する表示部とを備える、エンタテインメントシステム。
【請求項２】
前記第１の合成画像生成部は、前記コンテンツ画像により前記中間画像において、前記検出された位置が覆われないように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項１に記載のエンタテインメントシステム。
【請求項３】
前記第１の合成画像生成部はさらに、前記撮像部により生成された風景画像に、前記進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、前記中間画像中の前記図形情報の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項１に記載のエンタテインメントシステム。
【請求項４】
前記エンタテインメントシステムは、前記撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備え、
前記進行方向位置検出部は、前記白線検出部により検出された前記白線の交点である消失点を車両の進行方向上の位置として検出する、請求項１に記載のエンタテインメントシステム。
【請求項５】
前記エンタテインメントシステムは、
前記車両の曲がる方向を示す操作情報を出力する操作情報出力部と、
前記操作情報出力部により前記操作情報が与えられると、前記撮像部により生成された前記風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、前記操作情報で示された車両の曲がる方向の反対側の位置で、かつ、前記中間画像中の前記位置情報の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成した合成画像を生成する第２の画像合成生成部とを更に備え、
前記表示部は、前記第２の画像合成部により生成された合成画像を更に表示する、請求項４に記載のエンタテインメントシステム。
【請求項６】
前記エンタテインメントシステムは、
前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、
前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる量だけ、前記撮像部により撮影された前記風景画像の上部部分を排除する排除部と、
前記排除部により排除されて残った風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、前記中間画像中の前記位置情報の周辺に前記コンテンツ画像が配置されるように、前記中間画像と前記コンテンツ画像とを合成して合成画像を生成する第３の合成画像生成部とを更に備え、
前記表示部は、前記第３の合成画像生成部により生成された合成画像を表示する、請求項４に記載のエンタテインメントシステム。
【請求項７】
エンタテインメントシステムは、
前記撮像部の撮影方向を変更させる駆動部と、
前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、
前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる制御情報を前記駆動部に出力する制御情報出力部とを更に備え、
前記駆動部は、前記制御情報出力部により出力された前記制御情報に基づき前記撮像部の撮影方向を変更させる、請求項４に記載のエンタテインメントシステム。
【請求項８】
車両の進行方向の風景を撮影して風景画像を生成し、
画像情報を含むコンテンツ情報を出力し、
撮影した前記風景画像から車両の進行方向上の位置を検出し、
出力された前記コンテンツ情報からコンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成し、
合成された合成画像を表示する、エンタテインメント提供方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンタテインメントシステムに関し、移動体内に居る視聴者にコンテンツを提供するエンタテインメントシステムに関する。
【背景技術】
【０００２】
上記のようなエンタテインメントシステムは、移動体の一例としての車両に設置され、例えば、前部座席周辺又は後部座席周辺に取り付けられたモニタを通じて、映画、ニュース又はテレビに代表されるコンテンツを表すエンタテインメント情報を、車両内の乗員（視聴者）に提供する。しかしながら、このような提供方式では、車両が曲がったり、減速したりするときに、視聴者は、車両の挙動を予め知ることができないので、安全な体勢をとることができず、その結果、エンタテインメントシステムは、視聴者に乗り物酔いを誘発する可能性があるという問題点があった。
【０００３】
この問題点を解決するため、ハンドル、ブレーキ又はウインカーから得た操作情報を用いて、車両が曲がること又は減速することを音声出力又はモニタ表示したり、後部座席用モニタに車載カメラが撮影した進行方向の風景映像を表示したりすることで、車両の挙動を乗員に通知し、それによって、乗り物酔いの誘発を抑えようとするエンタテインメントシステム（以下、従来のエンタテインメントシステムと称する）が提案されている（例えば、特開２００３−１５４９００号公報を参照）。
【０００４】
ここで、図１１は、従来のエンタテインメントシステムの構成を示すブロック図である。図１１において、従来のエンタテインメントシステムは、ハンドル５２、ブレーキ５３及びウインカー５４からの操作情報を受けて操作状態を音声で提示するための音声合成回路５１と、該操作状態を映像で提示するためのＯＳＤ装置５５、進行方向の風景を撮影するビデオカメラ６２、ＤＶＤ再生装置５７、リアモニタ６１、車両の運転を支援するナビゲーション装置５８、音声合成回路５１の音声出力とＤＶＤ再生装置５７の音声信号とナビゲーション装置５８の音声信号とを合成するミキサ５６、合成された音声信号を赤外線信号に変換するＩＲ回路５９、及び、該ＩＲ回路５９からの赤外線信号を受信し音声に変換するヘッドホン６０を備えている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のエンタテインメントシステムでは、例えば、ウインカー５４を操作する必要の無いカーブを車両が走行する場合、その旨がヘッドホン６０に音声出力されないし、リアモニタ６１にも何も表示されないし、さらに言えば、進行方向の風景映像がリアモニタ６１に表示されない。従って、車両がカーブを曲がるとき、又は車両がある程度の挙動変化を示したとき、そのような挙動が起こることを乗員は知ることができないので、従来のエンタテインメントシステムでは、乗員が安全な体勢を事前にとらせたり、乗り物酔いの誘発を抑えたりすることが十分に行えないという問題点があった。
【０００６】
それ故に、本発明の目的は、移動体内に居る視聴者が安全な体勢をいち早くとることができるエンタテインシステムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のエンタテインメントシステムは、車両の進行方向の風景を撮影して風景画像を生成する撮像部と、画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成する第１の合成画像生成部と、第１の合成画像生成部により合成された合成画像を
表示する表示部とを備える。
【０００８】
エンタテインメントシステムにおいて、第１の合成画像生成部は、コンテンツ画像により中間画像において、検出された位置が覆われないように、コンテンツ画像と中間画像とを合成して合成画像を生成するものである。
【０００９】
第１の合成画像生成部はさらに、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、中間画像中の図形情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成して合成画像を生成する。
【００１０】
エンタテインメントシステムは、撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備える。進行方向位置検出部は、白線検出部により検出された白線の交点である消失点を車両の進行方向上の位置として検出する。
【００１１】
また、エンタテインメントシステムは好ましくは、車両の曲がる方向を示す操作情報を出力する操作情報出力部と、操作情報出力部により操作情報が与えられると、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、操作情報で示された車両の曲がる方向の反対側の位置で、かつ、中間画像中の位置情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成した合成画像を生成する第２の画像合成生成部とを更に備える。表示部は、第２の画像合成部により生成された合成画像を更に表示する。
【００１２】
また、エンタテインメントシステムは好ましくは、進行方向位置検出部により検出された位置が、表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる量だけ、撮像部により撮影された風景画像の上部部分を排除する排除部と、排除部により排除されて残った風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、中間画像中の位置情報の周辺にコンテンツ画像が配置されるように、中間画像とコンテンツ画像とを合成して合成画像を生成する第３の合成画像生成部とを更に備える。表示部は、第３の合成画像生成部により生成された合成画像を表示する。
【００１３】
エンタテインメントシステムは、撮像部の撮影方向を変更させる駆動部と、進行方向位置検出部により検出された位置が、表示部に表示される合成画像の下から所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる制御情報を駆動部に出力する制御情報出力部とを更に備える。駆動部は、制御情報出力部により出力された制御情報に基づき撮像部の撮影方向を変更させる。
【００１４】
また、本発明の第２の局面は、エンタテインメント提供方法に向けられる。エンタテインメント提供方法は、車両の進行方向の風景を撮影して風景画像を生成し、画像情報を含むコンテンツ情報を出力し、撮影した風景画像から、車両の進行方向上の位置を検出し、出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成し、合成された合成画像を表示する。
【発明の効果】
【００１５】
本発明によれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するので、ウインカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとったり、乗り物酔いの誘発を抑えたりすることができる。
【００１６】
本発明の上記及びその他の目的、特徴、局面及び利点は、以下に述べる本発明の詳細な説明を添付の図面とともに理解したとき、より明らかになる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係るエンタテインメントシステム６００の構成を示すブロック図である。
【００１８】
図１において、エンタテインメントシステム６００は、移動体の一例としての車両に搭載され、映像コンテンツ再生部１１と、撮像部１２と、ウインカー部１３と、画像合成部１４と、表示部１５と、白線検出部１６と、進行方向位置検出部１７と、撮像方向制御部１８と、駆動部１９とを備えている。
【００１９】
映像コンテンツ再生部１１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブに装着されたＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭに記憶されている映像コンテンツ情報を再生する。また、映像コンテンツ再生部１１は、通信回線を介してテレビジョン放送等の映像コンテンツ情報を再生する。映像コンテンツ再生部１１は、画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部を構成する。
【００２０】
撮像部１２は、レンズ及びＣＣＤを備えたカメラであって、典型的には車両の前部又は上部に取り付けられ、車両の進行方向の風景を撮影した映像信号１ｈを出力する。
【００２１】
ウインカー部１３は、車両が右折又は左折する際の操作信号２ｈを出力する。ウインカー部１３は車両の曲がる方向を示す操作情報を出力する操作情報出力部を構成する。ただし、このような操作情報出力部は、ウインカー部１３のみならず、車両の操作に連動した他の機械的構成部分からも構成され得る。また、本実施形態では、便宜上、ウインカー部１３は、エンタテインメントシステム６００の構成として説明するが、ウインカー部１３は一般的には車両の構成である。つまり、ウインカー部１３は、エンタテインメントシステム６００の本質的構成ではない。
【００２２】
画像合成部１４は、撮像部１２から与えられた映像信号１ｈと、ウインカー部１３から与えられる操作信号２ｈと、映像コンテンツ再生部１１から与えられたコンテンツ情報３ｈと、進行方向位置検出部１７から与えられ、消失点（詳細は後述）の位置を示す消失点位置情報４ｈの中から必要なものを用い、下記のような画像を表す合成画像信号５ｈを生成し出力する。画像合成部１４は、合成画像の生成方法に応じて、第１の画像合成部、第２の画像合成部、第３の画像合成部のいずれかとして機能する。
【００２３】
（１）撮像部１２により撮像された風景画像を表示しない場合には、コンテンツ情報３ｈに基づく画像信号５ｈ
（２）コンテンツ情報３ｈを表示しない場合には、撮像部１２により撮像された映像信号１ｈに基づく画像信号５ｈ
（３）図７に示すように、映像信号１ｈが表す風景画像に、消失点の位置及びその周辺を覆わないようにコンテンツ画像が合成された画像を表す画像信号５ｈ
【００２４】
表示部１５は、例えばＴＦＴ方式のカラー液晶モニタが使用され、画像合成部１４から
入力された画像信号５ｈを基にした映像を表示する。
【００２５】
白線検出部１６は、撮像部１２により撮影された画像１００（図２を参照）を表す映像信号１ｈから高周波成分を抽出して、図３（ａ）に示すような車線Ｒ１、Ｒ２及びＲ３を含むエッジ画像１１０を表す空間高周波信号を生成する。白線検出部１６はさらに、車線Ｒ１、Ｒ２及びＲ３の輪郭部分を効率的に抽出するための閾値に基づき、エッジ画像１１０を走査し、図３（ｂ）に示すような、車線Ｒ１、Ｒ２及びＲ３を細線化したエッジｒ１、ｒ２及びｒ３を含む抽出エッジ画像１２０を生成する。
【００２６】
また、白線検出部１６は、撮像部１２より撮影された画像１００（図２を参照）を表す画像信号１ｈから低周波数成分を抽出して、図４（ａ）のような路面１３１を含む路面画像１３０を生成する。このように生成した路面画像１３０から、白線検出部１６はさらに、路面１３１の各外縁から内側及び外側それぞれに幅ｗを持つ領域ＡＲ１及びＡＲ２を有する領域画像１４０（図４（ｂ）を参照）を生成する。
【００２７】
さらに、白線検出部１６は、抽出エッジ画像１２０（図３（ｂ）を参照）に含まれるエッジｒ１及びｒ３のそれぞれが領域ＡＲ１及びＡＲ２（図４（ｂ）を参照）に収まるか否かを判定し、収まると判定したならば、車線Ｒ１及びＲ３が白線であるとみなし、エッジｒ１及びｒ３を示す抽出エッジ信号６ｈを出力する。なお、白線検出の詳細な内容は、例えば、特開２００１−２７３５０４号公報又は特開２００３−１５４９００号公報に記載されている。
【００２８】
進行方向位置検出部１７は、白線検出部１６で生成された抽出エッジ信号６ｈを受け取ると、エッジｒ１及びｒ３そのものを表す直線、又はエッジｒ１及びｒ３が曲線の場合にはそれぞれを近似した直線を、最小２乗法又はハフ変換を用いて導き出し、これら直線ｒ１及びｒ３の交叉点からなる消失点の位置Ｐ（Ｘ，Ｙ）を算出する。この算出した消失点の位置Ｐ（Ｘ、Ｙ）を示す消失点信号４ｈを、進行方向位置検出部１７は画像合成部１４と撮像方向制御部１８とに与える。
【００２９】
撮像方向制御部１８は、進行方向位置検出部１７から受け取った消失点信号４ｈに基づき、消失点の位置Ｐが、表示部１５に表示される合成画像の底辺から所定の高さより下にあるか否かを判定し、位置Ｐが所定の高さより下にあると判定された場合には、位置Ｐを少なくとも所定の高さ以上に移動させるための位置制御情報７ｈを駆動部１９に与える。なお、このような撮像方向制御部１８は位置判定部と制御情報出力部とを構成する。
【００３０】
駆動部１９は、撮像部１２の撮像方向を変更するサーボモータを含み、撮像方向制御部１８により与えられた位置制御情報７ｈで示された量だけ正方向又は逆方向にサーボモータを回転させ、これによって、位置Ｐを所定の高さ以上に変えるように撮像部１２の撮像方向を変更する。
【００３１】
次に、以上のエンタテインメントシステム６００について、図５のフローチャートを参照して、画像を表示部１５に表示するまでの動作を説明する。
【００３２】
撮像部１２により、車両の進行方向の風景（図６（ａ）を参照）が撮影され、その結果得られる映像信号１ｈを白線検出部１６及び画像合成部１４は受け取る（ステップＳ１１０）。
【００３３】
白線検出部１６は、前述したように、映像信号１ｈからエッジｒ１及びｒ３を示す抽出エッジ信号６ｈを生成して、進行方向位置検出部１７に与える（ステップＳ１２０）。
【００３４】
進行方向位置検出部１７は、白線検出部１６から抽出エッジ信号６ｈを受け取ると、前述したように、受け取った抽出エッジ信号６ｈに基づいて、エッジｒ１及びｒ３との交差する消失点の位置Ｐ（Ｘ、Ｙ）を算出する。算出した消失点Ｐ（Ｘ、Ｙ）を示す消失点信号４ｈを、進行方向位置検出部１７は画像合成部１４及び撮像方向制御部１８に与える（ステップＳ１３０）。
【００３５】
画像合成部１４は、進行方向位置検出部１７からの消失点信号４ｈで示される消失点の位置Ｐを取得する。その後、画像合成部１４は、表示部１５の表示画面の底辺から高さＨ１よりも下に、消失点の位置Ｐが位置するか否かを判定する（ステップＳ１４０）。ここで、高さＨ１は、表示画面の底辺から、後述のコンテンツ画像２２０の上辺までの距離である。ステップＳ１４０でＹｅｓと判定された場合、画像合成部１４は、図６（ａ）に示す風景画像２１０において消失点の位置Ｐに相当する箇所に、消失点を所定形状の図形で表す消失点位置情報２１３（図では○で囲まれている。）を合成し、風景画像２１０から、高さＨ１より下の部分２１２を取り出し、図６（ｂ）に示す中間合成画像２１５を生成する（ステップＳ１５０）。言い換えれば、画像合成部１４は、風景画像２１０から、空の部分２１１を切り取る。なお、このような画像構成部１４は、位置判定部と排除部とを構成する。
【００３６】
次に、画像合成部１４は、映像コンテンツ再生部１１により与えられたコンテンツ情報３ｈを使って、図６（ｃ）に例示するようなコンテンツ画像２２０を生成する（ステップＳ１６０）。その後、画像合成部１４は、中間合成画像２１５の中に合成された消失点位置情報２１３がコンテンツ画像２２０で隠れないように、コンテンツ画像２２０と中間合成画像２１５とが合成された画像（図６（ｄ）を参照）を表す合成画像信号５ｈを生成する（ステップＳ１７０）。このような合成画像信号５ｈは表示部１５に与えられる。
【００３７】
画像合成部１４は、ステップＳ１４０でＮｏと判定した場合、進行方向位置検出部１７から受け取った消失点信号４ｈが示す消失点の位置Ｐを示すために、中間合成画像２１５において位置Ｐに相当する箇所に消失点位置情報が合成された中間合成画像３１０（図７（ａ）を参照）を生成する（ステップＳ１８０）。
【００３８】
次に、画像合成部１４は、映像コンテンツ再生部１１から得られたコンテンツ情報３ｈからコンテンツ画像３２０（図７を参照）を生成し（ステップＳ１９０）、コンテンツ画像３２０により風景画像３１０の中の消失点位置情報３１１が覆われないように、コンテンツ画像３２０と風景画像３１０とを合成した、図７に例示する合成画像３３０を生成し（ステップＳ２００）、合成画像３３０を表す合成画像信号５ｈの一例として表示部１５に出力する。
【００３９】
表示部１５は、画像合成部１４により合成画像信号５ｈが与えられると、入力信号５ｈに基づいた画像を表示し（ステップＳ２１０）、処理を終了する。
【００４０】
次に、エンタテインメントシステム６００について、ウインカー部より車両の進行方向を示す操作信号２ｈが与えられた場合の画像の表示動作を説明する。
【００４１】
ウインカー部１３が例えば車両の進行方向を右に取るという操作信号２ｈを画像合成部１４に与えると、画像合成部１４は、図８に例示する合成画像４１０中の右下部に配されたコンテンツ画像４３０を、図８に例示するように、合成画像４１０の左下部でかつ消失点位置情報４２０を覆わない位置に配置した合成画像４４０を生成する。この操作により、消失点位置情報４２０及び車両の進行すべき右折道路の双方が、表示部１５に表示されることとなる。
【００４２】
次に、図９に示すフローチャートを参照して、エンタテインメントシステム６００について、撮像部１２の撮像方向の制御を行う動作を説明する。
【００４３】
撮像方向制御部１８は、進行方向位置検出部１７により、消失点の位置Ｐを示す消失点信号４ｈが与えられると、消失点の位置Ｐが、画面の底辺から高さＨ２よりも下に位置するか否かを判定する（ステップＳ３１０）。ここで、高さＨ２は、表示画面の底辺から、後述のコンテンツ画像２２０の上辺までの距離である。
【００４４】
撮像方向制御部１８は、消失点の位置Ｐが高さＨ２よりも上に位置するものと判定した場合には（ステップＳ３１０；ＮＯ）、位置Ｐが高さＨ２より下になるまでこの処理を継続し続ける。一方、撮像方向制御部１８は、位置Ｐが画面上の高さＨ２より下にある場合には、（ステップＳ３１０；ＹＥＳ）、高さＨ２から位置Ｐの高さＹを差し引いた値（Ｈ２−Ｙ）に、少しゆとりを持たせるための値Ｌを加算したＴ（Ｔ＝Ｈ２−Ｙ＋Ｌ）を算出する（ステップＳ３２０）。
【００４５】
その後、撮像方向制御部１８は、消失点の位置Ｐが高さＨ２より上になるような方向で、かつ、値Ｔに基づいて算出したカメラ方向を制御する位置制御信号７ｈを駆動部１９に出力する（ステップＳ３３０）。
【００４６】
駆動部１９は、撮像方向制御部１８から与えられた位置制御信号７ｈに従った方向に所定回転数だけ回転し、撮像部１１の撮像方向を変更させる（ステップＳ３４０）。すると、撮像部１２は、変更前の図１０（ａ）に例示する風景映像５１０から、消失点の位置Ｐの位置が（Ｈ２＋Ｌ）に移動させた図１０（ｂ）に例示する風景映像５２０の映像信号１ｈを画像合成部１４に出力する。
【００４７】
画像合成部１４は、進行方向位置検出部１７により与えられた消失点信号４ｈから消失点の位置Ｐを求め、風景映像５１０の中の消失点の位置Ｐの箇所に消失点の位置を示す消失点位置情報を表示する、図１０（ｂ）に例示する風景画像５３０を生成する（ステップＳ３５０）。次に、画像合成部１４は、映像コンテンツ再生部１１から与えられたコンテンツ情報３ｈを使って、図１０（ｃ）に例示するようなコンテンツ画像５４０を生成する（ステップＳ３６０）。
【００４８】
その後、画像合成部１４は、風景画像５３０の中の消失点位置情報５３１がコンテンツ画像５４０により覆われないように、コンテンツ画像５４０と風景画像５３０とを画像合成した、図１０（ｄ）に例示する合成画像５５０を生成し（ステップＳ３７０）、合成画像５５０を表す合成画像信号５ｈを表示部１５に与える。表示部１５は、受け取った合成画像５５０を表示し（ステップＳ３８０）、処理を終了する。
【００４９】
この実施形態に係るエンタテインメントシステム６００によれば、撮像部１２により撮影された風景画像に、進行方向位置検出部１７により検出された車両の進行方向上の位置を表示した風景画像を生成するとともに、コンテンツ情報再生部１１により出力されたコンテンツ情報からコンテンツ画像を生成し、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するので、ウインカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとったり、乗り物酔いの誘発を抑えることができる。
【００５０】
上述の実施形態においては、好ましい例として、消失点位置情報２１３が風景画像２１０に合成され、合成された消失点位置情報２１３がコンテンツ画像２２０で隠れないように、コンテンツ画像２２０と中間合成画像２１５とが合成されるとして説明した。しかし
、これに限らず、消失点位置情報２１３は風景画像２１０に合成されず、単に、ステップＳ１７０において、消失点位置情報２１３で特定される位置の周辺にコンテンツ画像２２０が合成されるだけでかまわない。言い換えれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部１４がコンテンツ画像と風景画像とを画像合成するだけでもかまわない。ここで、「コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われない」とは、「車両の進行方向上の位置（位置情報）の周辺にコンテンツ画像が配置される」状態をさす。「車両の進行方向上の位置（位置情報）の周辺にコンテンツ画像が配置される」という状態は、車両の進行方向上の位置の表示が表示部１５上で維持されつつ、コンテンツ画像も表示部１５上に配置された一般的な状態をいう。従って、「位置情報の周辺にコンテンツ画像が配置される」とは、コンテンツ画像が車両進行方向上の位置に近接して配置されている場合のみには限定されず、コンテンツ画像が当該位置から多少離れて配置された状態をも含む。
【００５１】
また、このエンタテインメントシステム６００によれば、操作情報に示された車両の曲がる方向の反対側の位置情報で、かつ、風景画像中の車両の進行方向上の位置が覆われないように、コンテンツ画像と風景画像とを画像合成するので、同乗者に車両の曲がる方向を知らせることができる。
【００５２】
また、このエンタテインメントシステム６００によれば、撮影した風景中の上部の所定部分または下部の所定部分を排除し、排除して残った風景を用いて画像合成部１４により合成画像が生成されるので、表示部に表示される合成画像のうち風景画像をシフトすることができる。
【００５３】
また、このエンタテインメントシステム６００によれば、進行方向位置検出部１７により検出された車の進行方向上の位置を、画像合成部１４により生成された合成画像に表示するように、撮像部１２の撮影方向を変更させる制御情報を撮像方向制御部１８が部駆動部１２に出力するので、表示される合成画像のうちの風景画像に車両の進行方向上の位置が常に表示することができる。
【００５４】
また、このエンタテインメントシステム６００によれば、進行方向位置検出部１７が白線検出部１６により検出された路面に描かれた白線の交点である消失点を車両の進行方向上の位置として検出するので、車両の進行方向上の位置を簡単に特定することができる。
【００５５】
尚、エンタテインメントシステム６００が、２列目以降の後部座席に設けられた場合は、リアシートエンタテインメントシステムを実現することが可能となる。この場合、表示部１５を構成するモニタは、例えば、後部座席の前に設置されるシート後部等に設けられる。後部座席に着座する乗員は特に進行方向がわからないことが多いため、本発明はリアシートエンタテインメントシステムの実現に特に有効である。
【００５６】
尚、道路の曲がり情報、交差点の右左折道路の情報を、車両に設けられたナビゲーション装置より取得し、予め設定された目的地までのルートと考慮して、走行する道路の画像を、表示部１５に常に表示するようシステムを制御することもできる。
【００５７】
更に本発明は、エンタテインメント提供方法をも含むものであり、当該方法は、（１）車両の進行方向の風景を撮影して風景画像を生成し、（２）画像情報を含むコンテンツ情報を出力し、（３）撮影した風景画像から車両の進行方向上の位置を検出し、（４）出力したコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成し、（５）合成された合成画像を表示するものである。
【００５８】
また、上述の各ステップをコンピュータに実行させるためのプログラムも本発明に含まれる。このプログラムは種々の形式でシステム内又はシステム外に組み込まれる。例えばシステム内の所定のメモリにプログラムを記録することができる。また、ハードディスクのような情報記録装置や、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカードのような情報記録媒体にプログラムを記録してもよい。
【００５９】
上述の実施形態では、車両の進行方向上の位置が、路面上の白線により求められた道路の消失点である。しかしながら、消失点の求め方は白線検出による方法のみならず、平行直線の画像上での収束点を求める総ての方法が使用可能である。例えば建築物の壁により構成される直線群により消失点を求めることも可能である。さらに、車両の進行方向上の位置を消失点ではなく、他の情報から求めることもできる。
【００６０】
また、図９において、消失点の位置Ｐが高さＨ２よりも下になったときに、カメラ方向を制御しているが、Ｈ２よりも上になったときにも消失点の位置Ｐを高さＨ２のところになるように、カメラ方向を制御するようにしてもよい。
【００６１】
また、本発明におけるコンテンツ情報は、風景画像と合成可能な画像情報を含むものであればその種類は限定されない。
【００６２】
以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【００６３】
本出願は、２００４年１０月２９日出願の日本特許出願（特願２００４−３１６４６２）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００６４】
本発明に係るエンタテインメントシステムは、車両が曲がるとき等、車両がある程度極端な挙動をしたときにおいて、そのことを同乗者に予知可能ならしめ、視聴者が安全な体勢を事前にとったり、乗り物酔いの誘発を抑えたりすることが可能なリアシートエンタテインメントシステム等に提供可能である。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明の実施形態に係るエンタテインメントシステム６００の構成を示すブロック図である。
【図２】図２は、図１に示す撮像部１２により撮影された画像１００を例示する模式図である。
【図３】図３（ａ）は、図１に示す白線検出部１６により生成される空間高周波信号が表すエッジ画像を例示する模式図であり、図３（ｂ）は、図１に示す白線検出部１６により生成される抽出エッジ画像１２０を例示する模式図である。
【図４】図４（ａ）は、図１に示す白線検出部１６により生成される路面画像１３０を例示する模式図であり、図４（ｂ）は、図１に示す白線検出部１６により生成される領域画像１４０を例示する模式図である。
【図５】図５は、図１に示すエンタテインメントシステム６００について、画像を表示するまでの処理手順を示すフローチャートである。
【図６】図６（ａ）は、図１に示す撮像部１２により撮影される風景を例示する模式図であり、図６（ｂ）は、図５に示すステップＳ１５０の処理を説明するための模式図である。
【図７】図７（ａ）〜（ｃ）は、図５に示すステップＳ１８０の処理を説明するための模式図である。
【図８】図８は、図１に示す画像合成部１４の処理を説明するための模式図である。
【図９】図９は、図１に示すエンタテインメントシステム６００について、撮像部１２の撮像方向を制御する際の動作手順を示すフローチャートである。
【図１０】図１０（ａ）は、撮像部１２が撮像方向変更前に生成する風景画像５１０を例示する模式図であり、図１０（ｂ）は、撮像部１２が撮像方向変更後に生成する風景画像５２０を例示する模式図である。
【図１１】図１１は、従来のエンタテインメントシステムの構成を示すブロック図である。
【符号の説明】
【００６６】
１１    映像コンテンツ再生部
１２    撮像部
１３    ウインカー部
１４    画像合成部
１５    表示部
１６    白線検出部
１７    進行方向位置検出部
１８    撮像方向制御部
１９    駆動部
６００  エンタテインメントシステム
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006046715.tif 000013
【図２】
2006046715.tif 000014
【図３】
2006046715.tif 000015
【図４】
2006046715.tif 000016
【図５】
2006046715.tif 000017
【図６】
2006046715.tif 000018
【図７】
2006046715.tif 000019
【図８】
2006046715.tif 000020
【図９】
2006046715.tif 000021
【図１０】
2006046715.tif 000022
【図１１】
2006046715.tif 000023
【国際調査報告】
2006046715.tif 000024
2006046715.tif 000025
2006046715.tif 000026
2006046715.tif 000027