(57)【要約】【課題】車外の風景等の映像を表示した際に臨場感を得られるようにする。【解決手段】情報出力装置１０の制御部５は、車両Ｃの周囲が撮像された車外映像を取得し、その車外映像に含まれるオブジェクトに関連する音を設定する。そして、制御部５は、取得された車外映像を撮像方向に対応して車内に設置されているスクリーン８に表示させ、当該スクリーン８に表示されているオブジェクトに関連する音を撮像方向に対応するスピーカ９から出力させる。【選択図】図２
2019165363.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲が撮像された車外映像を取得する映像取得部と、
撮像された前記車外映像に含まれる対象物に関連する音を設定する音設定部と、
取得された前記車外映像を撮像方向に対応して車内に設置されている表示部に表示させ、当該表示部に表示されている前記対象物に関連する音を前記撮像方向に対応する音出力部から出力させる出力処理部と、
を備えることを特徴とする情報出力装置。
【請求項２】
前記音設定部は、前記対象物に関連する音として、前記車両に設置された集音部により取得した車外音を設定することを特徴とする請求項１に記載の情報出力装置。
【請求項３】
所定の音を生成する音生成部を備え、
前記音設定部は、前記対象物に関連する音として、前記音生成部により生成された音を設定することを特徴とする請求項１に記載の情報出力装置。
【請求項４】
前記出力処理部は、前記車外映像に含まれる前記対象物を判別し、
前記音生成部は、前記判別された前記対象物に関する音を生成することを特徴とする請求項３に記載の情報出力装置。
【請求項５】
前記出力処理部は、前記車両に設置された集音部により取得した車外音に含まれる前記判別された前記対象物についての音量レベルを取得し、当該音量レベルが所定未満である場合には、前記音生成部に前記判別された前記対象物に関する音を生成させることを特徴とする請求項４に記載の情報出力装置。
【請求項６】
前記出力処理部は、前記集音部により取得した前記車外音に含まれる前記判別した前記対象物についての音量レベルを取得し、当該音量レベルが所定以上である場合には、当該集音部により取得した前記車外音を前記車外映像に対応する音として前記音設定部に設定することを特徴とする請求項５に記載の情報出力装置。
【請求項７】
車両の周囲が撮像された車外映像を表示部に表示させる情報出力装置で実行される情報出力方法であって、
前記車外映像を取得する映像取得工程と、
撮像された前記車外映像に含まれる対象物に関連する音を設定する音設定工程と、
取得された前記車外映像を撮像方向に対応して車内に設置されている前記表示部に表示させ、当該表示部に表示されている前記対象物に関連する音を前記撮像方向に対応する音出力部から出力させる出力処理工程と、
を含むことを特徴とする情報出力方法。
【請求項８】
請求項７に記載の情報出力方法を、コンピュータにより実行させることを特徴とする情報出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車内に映像と音とを出力する情報出力装置に関する。
【背景技術】
【０００２】
例えば、特許文献１には、自動車の車室内に設置されている後部シートを再帰性反射手段として再帰性反射カバーで覆い、当該カバーに車両後部の風景を投影することによって、ドライバから見ることができない車両後部の風景を認識させることが記載されている。
【０００３】
このような技術を利用することで、安全性の向上に寄与するだけでなく、狭い車室内を広く見せることもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１７１２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の発明の場合、ドライバは、車外の風景が見えるだけであり、車外の音は車体に遮られてしまい聞き取ることができないため臨場感に欠ける。例えば、映像には映っている物体について、当該物体の発する音が聞こえないと臨場感が得られないだけなく違和感を持つ場合もある。
【０００６】
本発明が解決しようとする課題としては、車外の風景等の映像を表示した際に臨場感を得られることが一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、車両の周囲が撮像された車外映像を取得する映像取得部と、撮像された前記車外映像に含まれる対象物に関連する音を設定する音設定部と、取得された前記車外映像を撮像方向に対応して車内に設置されている表示部に表示させ、当該表示部に表示されている前記対象物に関連する音を前記撮像方向に対応する音出力部から出力させる出力処理部と、を備えることを特徴としている。
【０００８】
請求項７に記載の発明は、車両の周囲が撮像された車外映像を表示部に表示させる情報出力装置で実行される情報出力方法であって、前記車外映像を取得する映像取得工程と、撮像された前記車外映像に含まれる対象物に関連する音を設定する音設定工程と、取得された前記車外映像を撮像方向に対応して車内に設置されている前記表示部に表示させ、当該表示部に表示されている前記対象物に関連する音を前記撮像方向に対応する音出力部から出力させる出力処理工程と、を含むことを特徴としている。
【０００９】
請求項８に記載の発明は、請求項７に記載の情報出力方法を、コンピュータにより実行させることを特徴としている。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例にかかる情報出力装置を有するシステムの概略構成図である。
【図２】図１に示されたシステムの機能構成図である。
【図３】図２に示された情報出力装置における情報出力方法のフローチャートである。
【図４】本発明の第２の実施例にかかる情報出力装置における情報出力方法のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態にかかる情報出力装置を説明する。本発明の一実施形態にかかる情報出力装置は、映像取得部が車両の周囲が撮像された車外映像を取得し、音設定部が撮像された前記車外映像に含まれる対象物に関連する音を設定する。そして、出力処理部が取得された車外映像を撮像方向に対応して車内に設置されている表示部に表示させ、当該表示部に表示されている対象物に関連する音を撮像方向に対応する音出力部から出力させる。このようにすることにより、車外の風景等の車外映像に含まれる対象物に関連する音を撮像方向に対応する方向から出力することができる。したがって、車外映像を表示した際に臨場感を持たせることができる。
【００１２】
また、音設定部は、対象物に関連する音として、車両に設置された集音部により取得した車外音を設定してもよい。このようにすることにより、マイク等の集音部により取得したリアルな音を映像とともに出力することができる。したがって、映像の臨場感を高めることができる。
【００１３】
また、所定の音を生成する音生成部を備え、音設定部は、対象物に関連する音として、音生成部により生成された音を設定してもよい。このようにすることにより、例えばマイク等の集音部により対象物に関連する音を取得できない場合であっても当該対象物に関連する音を出力することができる。
【００１４】
また、出力処理部は、車外映像に含まれる対象物を判別し、音生成部は、判別された対象物に関する音を生成してもよい。このようにすることにより、映像に含まれる対象物を確実に判別して音を出力することが可能となる。
【００１５】
また、出力処理部は、車両に設置された集音部により取得した車外音に含まれる出力処理部により判別された対象物についての音量レベルを取得し、当該音量レベルが所定未満である場合には、音生成部に、出力処理部により判別された対象物に関する音を生成させてもよい。このようにすることにより、マイク等の集音部で取得した音量レベルが低い場合であっても音生成部を利用して音を出力することができる。したがって、車外映像に含まれる対象物に関する音が聞こえないという違和感が無いことや映像の臨場感を得ることが可能となる。
【００１６】
また、出力処理部は、集音部により取得した車外音に含まれる判別した対象物についての音量レベルを取得し、当該音量レベルが所定以上である場合には、当該集音部により取得した車外音を車外映像に対応する音として音設定部に設定させてもよい。このようにすることにより、マイク等の集音部で取得した音量レベルがある程度高い場合は、マイクで集音した音をそのまま利用できる。したがって、車外映像について臨場感を持たせることができる。
【００１７】
また、本発明の一実施形態にかかる情報出力方法は、映像取得工程で車両の周囲が撮像された車外映像を取得し、音設定工程で撮像された前記車外映像に含まれる対象物に関連する音を設定する。そして、出力処理工程で取得された車外映像を撮像方向に対応して車内に設置されている表示部に表示させ、当該表示部に表示されている対象物に関連する音を撮像方向に対応する音出力部から出力させる。このようにすることにより、車外の風景等の車外映像に含まれる対象物に関連する音を撮像方向に対応する方向から出力することができる。したがって、車外映像を表示した際に臨場感を持たせることができる。
【００１８】
また、上述した情報出力方法を、コンピュータにより実行させてもよい。このようにすることにより、コンピュータを用いて、車外の風景等の車外映像に含まれる対象物に関連する音を撮像方向に対応する方向から出力することができる。したがって、車外映像を表示した際に臨場感を持たせることができる。
【実施例１】
【００１９】
本発明の第１の実施例にかかる情報出力装置を有するシステムを図１〜図３を参照して説明する。システム１は、例えば移動体としての車両Ｃに搭載されている（図１を参照）。システム１は、図２に示したように、カメラ２と、マイク３と、音源４と、制御部５と、プロジェクタ６と、スクリーン８と、ハーフミラー７（図２には不図示）と、スピーカ９と、を備えている。
【００２０】
カメラ２は、図１に示した車両Ｃの場合は、車両後端部に設置されている。カメラ２は、周知のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを有し、所定のフレームレートで車両後方の動画像を撮像する。
【００２１】
マイク３は、本実施例では、図１に示したようにマイク３ａ、３ｂ、３ｃの３つから構成されている。マイク３ａは、車両後端部のカメラ２の近傍に設置され、主に車両後方の車外音を集音（取得）する。マイク３ｂは、車両Ｃのルーフ部分に設置され、車両Ｃの前後左右の周囲の車外音を集音（取得）する。マイク３ｃは、車両前端部に設置され、主に車両前方の車外音を集音（取得）する。
【００２２】
音源４は、カメラ２で撮像された対象物に関する音を生成する。対象物とは、カメラ２で撮像された映像の範囲において、制御部５によるオブジェクト認識で判別された物体を示す。また、対象物に関する音としては、例えば自転車の走行音や人の声等の当該対象物が発する音に限らず、「自転車」や「子供」といった当該対象物が示す名称等を呼称するような音であってもよい。即ち、音源４は、所定の音を生成する音生成部として機能する。
【００２３】
制御部５は、例えばＣＰＵ（Central Processing Unit）等を有するマイクロコンピュータにより構成されている。制御部５は、カメラ２で撮像された映像の範囲から音を車室内に出力すべき対象物をオブジェクト認識により判別し、必要に応じて当該対象物に関する音を音源４に生成させる。また、制御部５は、マイク３ａで集音された音又は音源４で生成された音をスピーカ９から出力させる。
【００２４】
プロジェクタ６は、カメラ２で撮像された映像を制御部５からの制御によりハーフミラー７へ向けて投射する。プロジェクタ６は、図１に示した例では、運転席と助手席の間に設けられているセンターコンソールＣＣの後端に取り付けられている。プロジェクタ６は、液晶プロジェクタ等の市販のプロジェクタを用いることができる。
【００２５】
ハーフミラー７は、図１に示した例では、運転席のヘッドレストと助手席のヘッドレストとの間に設置されている。ハーフミラー７は、プロジェクタ６から投射された光をスクリーン８へ反射する。また、ハーフミラー７は、スクリーン８に表示された映像、即ちスクリーン８で反射された光を透過する。したがって、運転席のドライバＤはハーフミラー７越しにスクリーン８に表示されている映像を視認することができる。なお、ハーフミラー７は、プロジェクタ６が直接スクリーン８に投射できる位置に設置される場合は無くてもよい。
【００２６】
スクリーン８は、プロジェクタ６から投射され、ハーフミラー７で反射された映像を表示する表示部として機能する。スクリーン８は、例えば、特許文献１に記載されている再帰性反射手段を用いることができる。
【００２７】
スピーカ９は、例えば、スクリーン８の近傍に配置され、マイク３ａ等で集音された音又は音源４で生成された音を制御部５からの制御により出力する。つまり、スクリーン８に投影された映像に対応する音を出力する音出力部として機能する。スピーカ９は、図１では、スクリーン８の近傍（例えば、リアドア）に配置されているが、後席後方のリアガラス付近等の他の部分に設置されていてもよい。
【００２８】
図２に示した構成のうち、音源４及び制御部５が本実施例にかかる情報出力装置１０となる。
【００２９】
図１及び図２に示した構成のシステム１は、カメラ２により車両後部の車外映像を撮像し、撮像された車外映像は、プロジェクタ６によりハーフミラー７を介してスクリーン８に投射される。したがって、車内の運転者席のドライバＤからは通常見ることが出来ない車両後方の風景を車体を透過して見えているかのように当該ドライバＤに認識させることができる。例えば、図１の場合は、車両後方の死角にいる人物ＰをドライバＤは認識することができる。即ち、取得された車外映像を撮像方向である車外後方に対応して後席に設置されているスクリーン８（表示部）に表示させている。
【００３０】
次に、上述した構成のシステム１において、車外映像とともにスピーカ９から出力する音の取得・生成方法（情報出力方法）について図３のフローチャートを参照して説明する。図３に示したフローチャートは制御部５で実行される。なお、図３に示したフローチャートを制御部５のＣＰＵで実行されるプログラムとして構成することで情報出力プログラムとすることができる。
【００３１】
まず、ステップＳ１１において、制御部５は、カメラ２が撮像した映像である車外映像を取得する。即ち、制御部５は、車両の周囲が撮像された車外映像を取得する映像取得部として機能する。なお、車両の周囲とは、車両の全周囲３６０°に限らず、本実施例に示した車両後部のように一部の範囲の場合も含むものである。
【００３２】
次に、ステップＳ１２において、制御部５は、ステップＳ１１で取得した車外画像に対してオブジェクト認識を行い車外映像に含まれるオブジェクト（対象物）の判別をする。オブジェクト認識の方法としては、特に限定されず機械学習等の周知の方法を用いることができる。また、本ステップにおいては判別されたオブジェクトの映像内における位置も判別する。例えば、図１では、車両後方を撮像しているが、車両後方の左側に当該オブジェクトがあるのか右側にあるのかといった位置も判別する。
【００３３】
次に、ステップＳ１３において、制御部５は、ステップＳ１２で認識したオブジェクトの音量レベルを取得する。音量レベルの取得方法は、例えばマイク３ａで取得した音（車外音）の波形に対して、予めデータベース等に登録されている認識したオブジェクトの発する音の波形とのマッチングをして、車外音に含まれるオブジェクトの発する音の波形を特定し、特定した波形の振幅等から音量レベルを取得することが挙げられる。なお、この場合、データベースは制御部５が有していなくてもよく、外部サーバ等にデータベースを構築して、当該外部サーバから必要な波形を取得するようにしてもよい。
【００３４】
次に、ステップＳ１４において、制御部５は、ステップＳ１３で取得した音量レベルが予め定めた閾値以上であるか否かを判断し、音量レベルが閾値以上であった場合はステップＳ１５において、マイク３ａで集音した音をスピーカ９から出力させる。なお、本ステップにおいては、マイク３ａから集音した音はステップＳ１２で判別したオブジェクトの方向に対応するスピーカから出力させる。例えば、当該オブジェクトが左側にある場合は車室内の左側に設置されているスピーカから出力させる。即ち、制御部５は、対象物に関連する音として、車両Ｃに設置されたマイク３ａ（集音部）により取得した車外音を設定する音設定部として機能する。また、上述したステップＳ１５において、マイク３ａで集音した音をスピーカ９から出力させる場合に、ステップＳ１３で特定した音のみを出力するようにしてもよい。
【００３５】
一方、ステップＳ１４において、ステップＳ１３で取得した音量レベルが予め定めた閾値未満であった場合は、ステップＳ１６において、制御部５は、音源４に判別されたオブジェクトに関連する音を生成させる。オブジェクトに関連する音としては、上述したように、当該オブジェクトの発する音（動作音、走行音、人であれば声、生物であれば鳴き声等）や、当該オブジェクトの名称（自転車、子供、犬等）などが挙げられる。また、オブジェクトの発する音は、周知のアルゴリズムで合成してもよいし、複数のプリセット音から選択するようにしてもよい。即ち、制御部５は、対象物に関連する音として、音源４（音生成部）により生成された音を設定する音設定部として機能する。
【００３６】
次に、ステップＳ１７において、ステップＳ１６で音源４に生成させた音をスピーカ９から出力させる。なお、本ステップにおいても、ステップＳ１５と同様に音源４で生成させた音はステップＳ１２で判別したオブジェクトの方向に対応するスピーカから出力させる。例えば、当該オブジェクトが右側にある場合は車室内の右側に設置されているスピーカから出力させる。
【００３７】
つまり、ステップＳ１５又はステップＳ１７を実行することで、制御部５は、取得された車外映像を撮像方向に対応して車内に設置されているスクリーン８（表示部）に表示させ、当該スクリーン８（表示部）に表示されている対象物に関連する音を撮像方向に対応するスピーカ９（音出力部）から出力させる出力処理部として機能する。
【００３８】
以上の説明から明らかなように、ステップＳ１１が映像取得工程、ステップＳ１５、Ｓ１７が音設定工程、出力処理工程として機能する。
【００３９】
なお、車外映像にステップＳ１２で認識したオブジェクトが含まれなくなった場合には、スピーカ９からの当該オブジェクトに関連する音の出力を停止させるのは勿論である。
【００４０】
また、上述したステップＳ１７において、音源４に生成させた音をスピーカ９から出力させる際にはマイク３ａで集音した音を出力してもよい。つまり、マイク３ａで集音した音に音源４に生成させた音を重畳させてもよい。このようにすることで、マイクで集音した車両Ｃ周囲の雑踏の音等の様々な音とともに音源４に生成させた音が出力されるので、より臨場感を高めることができる。
【００４１】
また、上述した実施例では、主に集音部としてマイク３ａで説明したが、マイク３ａに加えてマイク３ｂで集音した音を利用してもよい。つまり、車両後方の音の取得にマイク３ｂも用いてよい。
【００４２】
また、上述した実施例では、判別されるオブジェクトが１つの場合で説明したが、複数のオブジェクトが判別されてもよい。その場合は、判別された各オブジェクトについて、ステップＳ１４を実行し、その結果に応じてオブジェクトごとにステップＳ１５やステップＳ１６、Ｓ１７を実行するようにすればよい。
【００４３】
本実施例によれば、情報出力装置１０の制御部５は、車両Ｃの周囲が撮像された車外映像を取得し、その車外映像に含まれるオブジェクトに関連する音を設定する。そして、制御部５は、取得された車外映像を撮像方向に対応して車内に設置されているスクリーン８に表示させ、当該スクリーン８に表示されているオブジェクトに関連する音を撮像方向に対応するスピーカ９から出力させる。このようにすることにより、車外の風景等の車外映像に含まれるオブジェクトに関連する音を撮像方向に対応する方向から出力することができる。したがって、車外映像を表示した際に臨場感を持たせることができる。
【００４４】
また、制御部５は、オブジェクトに関連する音として、車両Ｃに設置されたマイク３により取得した車外音をスピーカ９から出力させている。このようにすることにより、マイク３により取得したリアルな音を映像とともに出力することができる。したがって、映像の臨場感を高めることができる。
【００４５】
また、情報出力装置１０は、所定の音を生成する音源４を備え、制御部５は、オブジェクトに関連する音を、音源４により生成させている。このようにすることにより、マイク３により対象物に関連する音を取得できない場合であっても当該対象物に関連する音を出力することができる。
【００４６】
また、制御部５は、車外映像に含まれるオブジェクトを判別し、判別されたオブジェクトに関する音を生成している。このようにすることにより、映像に含まれるオブジェクトを確実に判別して音を出力することが可能となる。
【００４７】
また、制御部５は、車両Ｃに設置されたマイク３により取得した車外音に含まれる判別したオブジェクトについての音量レベルを取得し、当該音量レベルが所定未満である場合には、音源４に判別されたオブジェクトに関する音を生成させている。このようにすることにより、マイク３で取得した音量レベルが低い場合であっても音源４を利用して音を出力することができる。したがって、車外映像に含まれるオブジェクトに関する音が聞こえないという違和感を持たれないようにすることができる。
【００４８】
また、制御部５は、マイク３により取得した車外音に含まれる判別したオブジェクトについての音量レベルを取得し、当該音量レベルが所定以上である場合には、当該マイク３により取得した車外音を車外映像に対応する音としてスピーカ９から出力させてもよい。このようにすることにより、マイク３で取得した音量レベルがある程度高い場合は、マイク３で集音した音をそのまま利用できる。したがって、車外映像について臨場感を持たせることができる。
【実施例２】
【００４９】
次に、本発明の第２の実施例にかかる情報出力装置を図４を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。
【００５０】
本実施例は、システム構成は図１と同様であるが、車外映像とともにスピーカ９から出力する音の取得・生成方法（情報出力方法）が異なる。本実施例にかかる情報出力装置１０のフローチャートを図４に示す。
【００５１】
まず、ステップＳ２１において、マイク３ａにより車外音を取得する。次に、ステップＳ２２において、制御部５は、マイク３ａにより取得した車外音を解析することで、当該車外音が何の音であるかを解析する。本ステップにおいて、具体的に車外音が解析される種類としては、人の声、自転車が発する音、車が発する音、車両Ｃの周囲に存在する地物が発する音などである。このステップＳ２２における音の解析はステップＳ１３の方法を適用することで実現可能である。
【００５２】
次に、ステップＳ２３において、制御部５は、解析された音に基づいて、当該音を車両Ｃの搭乗者に通知する必要があるかどうかを判定する。具体的に、制御部５は、車両Ｃの走行を安全に行うために、当該音を車両Ｃの搭乗者に通知する必要があるかどうかを判定する。例えば、車両Ｃの後方から人の声が聞こえた場合、車両Ｃの搭乗者は後方に人が存在することを認識する必要があると判定する（ステップＳ２３：ＹＥＳ）。また、例えば、車両Ｃの周囲にある地物が発した音（チャイム等）が聞こえた場合、車両Ｃの搭乗者は当該地物からの音は車両Ｃの走行の安全性に問題がないとして、車両Ｃの搭乗者は当該地物を認識する必要がないと判定する（ステップＳ２３：ＮＯ）。即ち、ステップＳ２３では、音を発した音源に基づいて搭乗者に通知するか否かを判定している。
【００５３】
次に、ステップＳ２３においてＹＥＳと判定された場合、ステップＳ２４において、制御部５は、カメラ２が撮像した映像である車外映像を取得する。そして、ステップＳ２５において、制御部５は、取得した映像及び音を出力する。
【００５４】
本実施例によれば、情報出力装置１０は、必要な場合にのみ、取得した車外音及び車外映像を、車両の搭乗者に通知することができる。したがって、車外映像について臨場感を持たせるだけでなく、さらに安全性も向上させることができる。
【００５５】
なお、上述した実施例は、車両後方の車外映像に含まれる対象物の音を出力するものとして説明したが、スクリーン８をドアやダッシュボード等に設け、車両側方の車外映像や車両前方の車外映像を撮像するカメラを車両Ｃに取り付けることで、車両側方や車両前方の車外映像を表示させることができる。そして、それに合わせて、マイク３ｂやマイク３ｃで集音された音を利用することで、車両側方や車両前方の車外映像で判別されたオブジェクト（対象物）に関する音を出力することができる。この場合、スピーカはドアやダッシュボード等のオブジェクトを表示させる方向に対応できるように設置することが望ましい。
【００５６】
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報出力装置を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００５７】
２        カメラ
３        マイク（集音部）
４        音源（音生成部）
５        制御部（映像取得部、音設定部、出力処理部）
６        プロジェクタ
７        スクリーン（表示部）
８        スピーカ（音出力部）
１０      情報出力装置
【図１】
2019165363.tif 000003
【図２】
2019165363.tif 000004
【図３】
2019165363.tif 000005
【図４】
2019165363.tif 000006