(57)【要約】【課題】車載カメラから得られる画像を活用することができる車載画像生成装置を提供する。【解決手段】車両の画像を記憶する記憶部と、車両の外を撮影した車外画像を取得する車外画像取得部と、車両の画像の視点位置とほぼ対応する視点位置から車両の中を撮影した車内画像を取得する車内画像取得部と、車両の画像および車外画像を合成して合成画像を生成する画像生成部と、を備える。画像生成部は、手前から順に車両の画像、車内画像、車外画像を重畳して合成画像を生成する。【選択図】図４
2019040497.tif 000002
【特許請求の範囲】
【請求項１】
車両の画像を記憶する記憶部と、
前記車両の外を撮影した車外画像を取得する車外画像取得部と、
前記車両の画像および前記車外画像を合成して合成画像を生成する画像生成部と、を備える車載画像生成装置。
【請求項２】
前記車両の画像の視点位置とほぼ対応する視点位置から前記車両の中を撮影した車内画像を取得する車内画像取得部をさらに備え、
前記画像生成部は、前記車両の画像、前記車外画像、および前記車内画像を合成し合成画像を生成する請求項１記載の車載画像生成装置。
【請求項３】
前記画像生成部は、手前から順に前記車両の画像、前記車内画像、前記車外画像を重畳して前記合成画像を生成する請求項２記載の車載画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された車載画像生成装置に関する。
【背景技術】
【０００２】
自動車などの車両は、車両の内外を撮影する撮影装置を有している。撮影された車外の画像は、周囲の安全確認や、運転者などの死角を補ったりすることに利用される。また、撮影された車内の画像は、運転者などの視線の検出や、顔認識に利用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５６７７号公報
【特許文献２】特開２０１５−２３１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影装置から得られた車両の内外の画像を、運転者や同乗者のための趣味や記念のための記録として活用することが考えられる。ここで、車内の画像は運転者や同乗者のみが写り、車外の画像は風景のみが写ることになる。このため、これら一方の画像のみを記録として活用する場合には、写真としての面白みに欠けるという課題があった。
【０００５】
本発明はこのような事情を考慮してなされたもので、車載カメラから得られる画像を活用することができる車載画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る車載画像生成装置は、上述した課題を解決するために、車両の画像を記憶する記憶部と、前記車両の外を撮影した車外画像を取得する車外画像取得部と、前記車両の画像および前記車外画像を合成して合成画像を生成する画像生成部と、を備える。
【発明の効果】
【０００７】
本発明に係る車載画像生成装置においては、車載カメラから得られる画像を活用することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る車載画像生成装置を有する車両の構成図。
【図２】本実施形態における車載画像生成装置により実行される合成画像生成処理を説明するフローチャート。
【図３】車外カメラが車外画像を撮影した際に車両を俯瞰した説明図。
【図４】車外画像、車内画像、車両画像および合成画像を示す説明図。
【図５】他の表示例としての合成画像を示す説明図。
【発明を実施するための形態】
【０００９】
本発明に係る車載画像生成装置の実施形態を添付図面に基づいて説明する。本発明に係る車載画像生成装置は、主に自動車などの車両に搭載される。本実施形態においては、本発明に係る車載画像生成装置が自動車に搭載される例を用いて説明する。
【００１０】
図１は、本発明に係る車載画像生成装置を有する車両の構成図である。
【００１１】
車両１は、車内カメラ２と、車外カメラ３と、操作部４と、表示装置５と、無線通信部６と、ＧＰＳ受信部７と、車両ＥＣＵ（Electronic Control Unit）８と、車載画像生成装置１０と、を有している。
【００１２】
車内カメラ２は、車両１の中を撮影するカメラであり、例えばＣＣＤやＣＭＯＳなどの撮像素子を有するカメラである。車内カメラ２は、例えば電子化されたルームミラー（電子ミラー）、ドライブレコーダなどの車内の様子を撮影するために設けられるカメラである。車内カメラ２は、車両１前方から後方に向けて、運転者や同乗者（ユーザ）を撮影する。車内カメラ２は、車両１に固定されたカメラに限らず、画像生成装置１０と有線または無線で接続された任意の位置に設置可能なカメラや、スマートフォンなどの携帯端末であってもよい。
【００１３】
車外カメラ３は、車両１の外を撮影するカメラであり、例えばＣＣＤやＣＭＯＳなどの撮像素子を有するカメラである。車外カメラ３は、例えば電子化されたサイドミラー（電子ミラー）、ドライブレコーダなどの車外の様子を撮影するために設けられるカメラである。車外カメラ３は、車両１の周囲を３６０度撮影が可能なよう、複数設けられているのが好ましい。
【００１４】
操作部４は、画像生成装置１０に指示を入力するためのものである。操作部４は、表示装置５の表示面に設けられたタッチパネルや、表示装置５の周囲などに設置された物理ボタン、音声を介して入力を受け付けるマイクなどである。
【００１５】
表示装置５は、種々のコンテンツを表示するものである。表示装置５は、カーナビゲーション用のディスプレイ、オーディオ操作用の情報を表示するディスプレイ、フロントガラスなどの透過反射部を介して虚像表示するヘッドアップディスプレイなどの各種ディスプレイである。なお、表示装置５は、ユーザによって携帯され車両１内で用いられるスマートフォン、タブレットＰＣ（Personal Computer）を含む携帯端末のディスプレイであってもよい。この場合、Bluetooth（登録商標）などの規格に準拠した近距離無線通信により、携帯端末と無線通信部６とが通信する。
【００１６】
無線通信部６は、ユーザの携帯端末と接続するためのBluetoothまたはWi-Fiや、画像生成装置１０がインターネットに接続するための通信モジュールである。
【００１７】
ＧＰＳ受信部７は、ＧＰＳ（Global Positioning System）の測位信号を受信し、車両１の位置を緯度、経度で検出する。
【００１８】
車両ＥＣＵ８は、車両１に設けられたセンサから車速やエンジン回転数などの車両情報を取得し、車両１の動作を制御する。
【００１９】
なお、車内カメラ２、車外カメラ３、操作部４、表示装置５、無線通信部６、およびＧＰＳ受信部７は、合成画像の生成以外の目的で使用されるために車両１に設けられたものであってもよいし、画像生成装置１０の一部として合成画像の生成のために設けられたものであってもよい。
【００２０】
車載画像生成装置１０（画像生成装置１０）は、制御部１１と、記憶部１２と、を有している。制御部１１は、マイクロプロセッサ、マイクロコントローラ、集積回路などであり、所定の処理を実行する。記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリなどであり、プログラムやデータを記憶する。本実施形態においては、記憶部１２は、予め撮影された車両１の画像を記憶する。車両１の画像は、車両１前方から後方に向けて撮影された画像である。すなわち、上述した車内画像は、車両の画像の視点位置とほぼ対応する視点位置から車両１の中を撮影した画像である。制御部１１は、例えば記憶部１２に記憶されたプログラムに基づいて動作することにより、車内画像取得部２１と、車外画像取得部２２と、車両画像取得部２３と、画像生成部２４と、生成検出部２５として機能する。
【００２１】
車内画像取得部２１は、車内カメラ２で撮影された車内の画像（車内画像）を取得する。車外画像取得部２２は、車外カメラ３で撮影された車外の画像（車外画像）を取得する。車両画像取得部２３は、予め撮影され記憶された車両の画像（車両画像）を記憶部１２から取得する。
【００２２】
画像生成部２４は、車両の画像、車外画像、および車内画像を合成し合成画像を生成する。生成検出部２５は、合成画像を生成する条件に一致していることを検出する。
【００２３】
次に、画像生成装置１０が実行する処理を詳細に説明する。
【００２４】
図２は、本実施形態における画像生成装置１０により実行される合成画像生成処理を説明するフローチャートである。合成画像生成処理は、車両１のイグニッションスイッチがオン状態の場合に繰り返し実行される。
【００２５】
ステップＳ１において、生成検出部２５は、合成画像を生成する条件に一致していることを検出した否かを判定する。合成画像を生成する条件は、例えば以下の4つが例示としてあげられる。
【００２６】
第１の条件は、操作部４を介して、ユーザより合成画像を生成する指示を受け付けることである。
【００２７】
第２の条件は、特定の場所に車両１がいることである。特定の場所は、写真撮影に適した場所（例えば絶景が見える名所）や、ユーザにより予め設定された場所などである。生成検出部２５は、例えば車両１のカーナビゲーションシステムが保持する地図情報や記憶部１２に記憶された情報と、ＧＰＳ受信部７から受信した車両１の位置情報とに基づいて検出する。
【００２８】
第３の条件は、特定の日時であることである。特定の日時は、ユーザにより予め設定され記憶部１２に記憶された日や、時間である。例えば、生成検出部２５が運転者や同乗者の興奮度などの心理状態に関する情報が得られる場合、誕生日や記念日などの特定の日において運転者や同乗者の楽しげな雰囲気を感知した時に合成画像が生成されるのが好ましい。なお、生成検出部２５は、例えば車内カメラ２から得られる画像を解析することにより運転者や同乗者の心理状態に関する情報を得る。なお、特定の日時は、定期的（例えば毎日午前８時など）な日時であってもよい。
【００２９】
第４の条件は、運転者や車両１について記録しておくべき状況下にあることである。記録しておくべき状況は、例えばユーザや車両１に異常が発生した場合であり、運転者が失神した場合や車両１が事故を起した場合である。生成検出部２５は、車内カメラ２から得られる画像を解析することにより運転者の異常を検出することができる。運転者の携帯端末が計測した運転者の心身状態に関する情報（心拍数や脈拍数など）が得られる場合には、生成検出部２５はこの情報を元に、または画像解析結果と併せて運転者の異常を検出することができる。また、生成検出部２５は、例えば車両ＥＣＵ８から得られる情報に基づいて、車両１の異常を検出することができる。
【００３０】
生成検出部２５は、合成画像を生成する条件との一致を検出しない場合（ステップＳ１のＮＯ）、条件との一致を検出するまで待機する。一方、生成検出部２５により合成画像を生成する条件との一致が検出された場合（ステップＳ１のＹＥＳ）、ステップＳ２において、車外画像取得部２２は、車外カメラ３から車外画像を取得する。
【００３１】
図３は、車外カメラ３が車外画像を撮影した際に車両１を俯瞰した説明図である。
【００３２】
図４は、車外画像３１、車内画像３２、車両画像３３および合成画像３４を示す説明図である。
【００３３】
車外画像取得部２２は、例えば図４（ａ）に示すように、図３に示す車両１の前方位置を中心に周囲を全方位（３６０度）撮影したパノラマ画像である車外画像３１を取得する。車外画像取得部２２は、他の画像処理装置（図示せず）で生成されたパノラマ画像を取得してもよいし、車外カメラ３で撮影された画像に基づいてパノラマ画像を生成してもよい。車外画像取得部２２は、全方位の車外画像が得られない場合、無線通信部６でインターネット通信を行い地図情報に対応した風景写真を取得し、車外画像を補完してもよい。また、車外画像３１は、車外カメラ３が撮影した画像と、その撮影時の前後の数秒間に撮影された画像から生成してもよい。例えば、車外カメラ３に水滴が写った場合や、車高が高い車など風景を遮る障害物が写った場合に、１枚の画像では適切な車外画像が得られない場合がある。そのような場合であっても、その前後に撮影された画像で補完することにより、所望の風景が含まれる車外画像を取得することができる。
【００３４】
ステップＳ３において、車内画像取得部２１は、車内カメラ２から車内画像を取得する。車内画像取得部２１は、例えば図４（ｂ）に示すように、車両１前方から後方に向けて、車内カメラ２が運転者４０を撮影した車内画像３２を取得する。車内画像取得部２１は、車内カメラ２が撮影した画像では所望する範囲の画像が得られない場合、予め記憶部１２に記憶された車内画像を取得してもよい。
【００３５】
ステップＳ４において、車両画像取得部２３は、記憶部１２から車両画像を取得する。車両画像取得部２３は、例えば図４（ｃ）に示すように、車両１前方から後方に向けて撮影された車両画像３３を取得する。記憶部１２は、撮影環境の異なる複数の画像を記憶している。記憶部１２は、例えば、晴天の昼に撮影された車両画像、曇天の朝に撮影された車両画像など、天気と時間帯による明るさを異ならせた車両画像を記憶している。車両画像取得部２３は、得られた車外画像に写る空の色から車両画像を選択してもよいし、車両１が保有する天気に関する情報に基づいて選択してもよい。また、車両画像取得部２３は、車外画像が撮影された天気と時間帯とに完全に一致した車両画像を選択する必要はなく、近似した車両画像を選択してもよい。
【００３６】
ステップＳ５において、画像生成部２４は、車両画像、車外画像、および車内画像を合成し合成画像を生成する。画像生成部２４は、例えば図４（ｄ）に示すように、手前から順に車両画像３３、車内画像３２、車外画像３１を重畳して合成画像を生成する。
【００３７】
ステップＳ６において、画像生成部２４は、生成した合成画像を出力し、例えば記憶部１２に記憶する。画像生成装置１０は、ユーザから表示装置５に表示する指示を受け付けた場合、合成画像を読み出し表示装置５に出力させる。また、画像生成装置１０は、ユーザから携帯端末に送信する指示を受け付けた場合、合成画像を読み出し無線通信部６に送信させる。また、例えば上述した第４の条件下で合成画像が生成された場合は、画像生成装置１０は、予め指定された送信先に合成画像を送信することにより異常を通知し、異常時の対応を迅速に行えるようにしてもよい。
【００３８】
なお、合成画像は、図４（ｄ）に示すような車両１の全方位を一の画面に平面的に表すパノラマ画像に限らず、バーチャルリアリティーを表現する画像でもよい。また、図５は、他の表示例としての合成画像３４ａ、３４ｂ、３４ｃを示す説明図である。合成画像は、図３に示す車両１の前方位置を中心に、合成画像３４ａ、３４ｂ、３４ｃの順に連続的に３６０度回転させて表示する動画であってもよい。この場合、画面中心が最も明るく、画面外側が最も暗くなるよう円状のグラデーションをかけて表示することにより、視認者の焦点が定まり画面酔いを低減することができる。
【００３９】
このような本実施形態における画像生成装置１０は、車載カメラである車内カメラ２および車外カメラ３から得られる画像を活用することができる。すなわち、画像生成装置１０は、車両１、運転者を含めて車外の風景を撮影することができる。これにより、従来であれば記念撮影として車両１と風景を撮影しようとすると、車両１を停止して運転者（または同乗者）が降車し、撮影する必要があったが、乗車したままで撮影することができる。また、この場合は運転者を含めて撮影することはできないが、画像生成装置１０は車両１、運転者をいずれも含め車外の風景を撮影した画像を生成することができる。
【００４０】
また、画像生成装置１０は、異常時などにおいては自動的に撮影するため、車内、車外、運転者の様子を含む合成画像は異常時の対応に活用することもできる。
【００４１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４２】
合成画像は、少なくとも車外画像および車両画像が含まれていればよく、車内画像は省略してもよい。
【符号の説明】
【００４３】
１  車両
２  車内カメラ
３  車外カメラ
４  操作部
５  表示装置
６  無線通信部
７  ＧＰＳ受信部
８  車両ＥＣＵ（Electronic Control Unit）
１０  車載画像生成装置（画像生成装置）
１１  制御部
１２  記憶部
２１  車内画像取得部
２２  車外画像取得部
２３  車両画像取得部
２４  画像生成部
２５  生成検出部
３１  車外画像
３２  車内画像
３３  車両画像
３４  合成画像
４０  運転者
【図１】
2019040497.tif 000003
【図２】
2019040497.tif 000004
【図３】
2019040497.tif 000005
【図４】
2019040497.tif 000006
【図５】
2019040497.tif 000007