(57)【要約】  本発明は情報提示システムに関する。車両は、車両の状態、サーバの状態およびネットワークの状態に基づいて、車両およびサーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、車内映像に基づいて、搭乗者の視線を検出する第１の視線検出部と、搭乗者の視線と、車外映像に基づいて、搭乗者が視認する広告を特定する第１の広告検出部と、広告の外見パターンおよび広告の提供情報が格納されたデータベースと、データベースに格納された提供情報を出力する情報出力部とを有している。サーバは、車内映像に基づいて、搭乗者の視線を検出する第２の視線検出部と、搭乗者の視線と、車外映像に基づいて、搭乗者が視認する広告を特定する第２の広告検出部と、を有し、第１および第２の広告検出部は、車外映像とデータベースに格納された広告の外見パターンとのマッチングを行って搭乗者が視認する広告を特定する。
2018061066.tif 000002
【特許請求の範囲】
【請求項１】
車両の搭乗者が視認する前記車両外部の広告に関する提供情報を提示する情報提示システムであって、
前記情報提示システムは、
前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、
前記車両は、
車外映像が入力される車外映像入力部と、
車内映像が入力される車内映像入力部と、
車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像および前記車外映像のパラメータに基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、
広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、
前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、
前記サーバは、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、
前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定する、情報提示システム。
【請求項２】
前記データ処理委譲部は、
前記車両の状態として、車両側のプロセッサの負荷およびメモリの負荷を取得し、
前記サーバの状態として、サーバ側のプロセッサの負荷およびメモリの負荷を取得し、
前記ネットワークの状態として、前記ネットワークの通信速度を取得し、これらの少なくとも１つに基づいて、視線検出処理および広告検出処理の処理時間が短縮されるように前記負荷分散計画を立てる、請求項１記載の情報提示システム。
【請求項３】
前記データ処理委譲部は、
前記第１の視線検出部に前記視線検出処理を実行させ、前記第１の広告検出部に前記広告検出処理を実行させる、または前記第２の視線検出部に前記視線検出処理を実行させ、前記第２の広告検出部に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
【請求項４】
前記データ処理委譲部は、
前記第１および第２の視線検出部の一方に前記視線検出処理を実行させ、前記第１および第２の広告検出部の一方に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
【請求項５】
前記データ処理委譲部は、
前記視線検出処理を構成する処理単位ごとに前記第１および第２の視線検出部の少なくとも一方に処理を割り当て、
前記広告検出処理を構成する処理単位ごとに前記第１および第２の広告検出部の少なくとも一方に処理を割り当てるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
【請求項６】
前記車両は、
前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
前記指定計画は、
前記視線検出処理を構成する処理単位ごとに、実行先を前記第１および第２の視線検出部の一方に指定し、
前記広告検出処理を構成する処理単位ごとに、実行先を前記第１および第２の広告検出部の一方に指定し、
前記データ処理委譲部は、
前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、請求項２記載の情報提示システム。
【請求項７】
前記車両は、
前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
前記指定計画は、
前記視線検出処理の全体で、実行先を前記第１および第２の視線検出部の一方に指定し、
前記広告検出処理の全体で、実行先を前記第１および第２の広告検出部の一方に指定し、
前記データ処理委譲部は、
前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、請求項２記載の情報提示システム。
【請求項８】
前記情報出力部は、
前記車両および他の車両の少なくとも一方に前記提供情報を出力する、請求項１記載の情報提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報提示システムに関し、特に、車両の搭乗者に視認された広告に関する情報を提示する情報提示システムに関する。
【背景技術】
【０００２】
車両に搭載される情報提示システムとして、搭乗者の視線を検出して搭乗者が注目している物体の情報を提示する機能を有するものが開発されており、例えば、特許文献１には、搭乗者の視線とフロントガラスの交差位置を計算し、ユーザ操作に応じてフロントガラスの交差位置に、視線の先に存在する物体の情報を表示する技術が開示されている。【０００３】
また、特許文献２には、搭乗者の視線の先に存在する広告を検出し、それを見たときの搭乗者の生体情報に基づいて搭乗者の嗜好に合わせた広告を音声および画像で提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９２０５８０号公報
【特許文献２】特開２０１４−５２５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上説明したように、搭乗者の視線を検出して搭乗者が注目している物体の情報を提示する場合でも、また、搭乗者の嗜好に合わせた広告を提示する場合でも、ユーザの視線の解析処理から情報の提示まで、処理すべき情報は膨大であり、情報の提示まで時間がかかると言う問題があった。【０００６】
本発明は上記のような問題を解決するためになされたものであり、ユーザの視線の解析処理から情報の提示までの処理時間を短縮できる情報提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報提示システムは、車両の搭乗者が視認する前記車両の外部の広告に関する提供情報を提示する情報提示システムであって、前記情報提示システムは、前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、前記車両は、車外映像が入力される車外映像入力部と、車内映像が入力される車内映像入力部と、車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、前記サーバは、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定する。
【発明の効果】
【０００８】
本発明に係る情報提示システムによれば、車両の状態、サーバの状態およびネットワークの状態に基づいて、データ処理を車両内とサーバとで負荷分散して実行させるので、搭乗者の視線の検出から車両の外部の広告に関する提供情報の提示までの処理時間を短縮できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る実施の形態１の情報提示システムの構成を示すブロック図である。
【図２】本発明に係る実施の形態１の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。
【図３】本発明に係る実施の形態１の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。
【図４】データ処理委譲部における委譲処理を示すフローチャートである。
【図５】視線検出部での視線検出処理を示すフローチャートである。
【図６】広告検出部での広告検出処理を示すフローチャートである。
【図７】広告データベースに格納されるデータの一例を示す図である。
【図８】本発明に係る実施の形態２の情報提示システムの構成を示すブロック図である。
【図９】本発明に係る実施の形態２の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。
【図１０】本発明に係る実施の形態３の情報提示システムの構成を示すブロック図である。
【図１１】本発明に係る実施の形態３の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。
【図１２】指定計画の一例を示す図である。
【発明を実施するための形態】
【００１０】
＜はじめに＞
以下の説明で使用する搭乗者という用語は、車両の運転者だけでなく、助手席および後部座席の乗員も含み、また、バスのような多数の乗客が存在する車両の乗員も含む。
【００１１】
＜実施の形態１＞
＜装置構成＞
図１は本発明に係る実施の形態１の情報提示システム１００の構成を示すブロック図である。図１に示すように情報提示システム１００は、車両ＶＣ側の構成として、車外映像入力部１０１、車内映像入力部１０２、データ処理委譲部１０３、視線検出部１０４１（第１の視線検出部）、広告検出部１０５１（第１の広告検出部）、広告データベース（ＤＢ）１０６および情報出力部１０７を有している。また、外部のサーバＳＶ側の構成として視線検出部１０４２（第２の視線検出部）および広告検出部１０５２（第２の広告検出部）を有している。サーバＳＶは、例えば、ＶＩＣＳ（登録商標：vehicle information and communication system）センターなどの車外のインフラサーバであり、車両ＶＣ側の構成とサーバＳＶ側の構成とはインターネットなどのネットワークＮＷを介して情報（データ）の授受を行う。
【００１２】
車外映像入力部１０１は、搭乗者が乗車する車両ＶＣの周囲の映像（車外映像）および車外映像のパラメータを取得し、広告検出部１０５１および１０５２に出力する。基本的な構成としては、車両ＶＣに搭載され、自車前方を撮影するカメラを有し、情報提示システム１００の稼働時にリアルタイムに車外の映像を取得する。また、車外映像のパラメータとしては、少なくとも車外映像の撮影位置と撮影方向の情報を含む。これに加えて、映像の画素数、画角、レンズの焦点距離、レンズの絞り値（Ｆ値）、映像の歪み情報などのカメラ、レンズおよび映像に関する情報を含んでいても良い。映像のパラメータは、映像範囲が固定的である場合はシステム開発者が予め設定しておけば良いが、カメラの向きおよびズームなど動的に変更できる場合は、映像撮影時の値を取得するようにすれば良い。
【００１３】
車両に搭載されるカメラは、自車前方と側方を同時に撮影可能な広角なレンズを用いたカメラおよび自車の全周囲を一度に撮影できる魚眼レンズを用いたカメラなど、前方以外を撮影できるカメラを用いても良い。また、観光バスのように車体が長い車両および車両の前部と後部が区切られている車両などで、乗員が車両前方を視認することが困難な場合は、側方を撮影するようにカメラを設置しても良い。
【００１４】
また、複数のカメラの映像を合成して１つの映像とする構成を採っても良い。例えば、右斜め前４５度と左斜め前４５度に向けてカメラを設置し、取得された映像を合成することで、１台のカメラで撮影するよりも広い範囲の映像を入力する構成としても良い。
【００１５】
また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
【００１６】
車内映像入力部１０２は、搭乗者が乗車する車両ＶＣ内部の映像（車内映像）および車内映像のパラメータを取得し、視線検出部１０４１および１０４２に出力する。基本的な構成としては、車両ＶＣに搭載され、搭乗者の顔を撮影するカメラを有し、情報提示システム１００の稼働時にリアルタイムに車内の映像を取得する。また、車内映像のパラメータとしては、少なくとも車内映像の撮影位置と撮影方向の情報を含む。これに加えて、映像の画素数、画角、レンズの焦点距離、レンズの絞り値（Ｆ値）、映像の歪み情報などのカメラ、レンズおよび映像に関する情報を含んでいても良い。映像のパラメータは、映像範囲が固定的である場合はシステム開発者が予め設定しておけば良いが、カメラの向きおよびズームなど動的に変更できる場合は、映像撮影時の値を取得するようにすれば良い。
【００１７】
車内用のカメラは、搭乗者全員を一度に撮影できる魚眼レンズを用いたカメラなどでも良い。また、複数のカメラの映像を合成して１つの映像とする構成を採っても良い。また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
【００１８】
また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
【００１９】
データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分散処理する計画を立てる。ここで、視線検出処理と広告検出処理の実行割り当てを負荷分散計画と呼称し、負荷分散計画は、視線検出部１０４１および１０４２と、広告検出部１０５１および１０５２に出力される。
【００２０】
視線検出部１０４１および１０４２は、車内映像入力部１０２で取得された車内映像と車内映像のパラメータを用いて搭乗者の視線を検出し、視線情報としてそれぞれ広告検出部１０５１および１０５２に出力する。視線検出部１０４１は車両ＶＣ内で視線検出処理を実行し、視線検出部１０４２は車両ＶＣの外部のサーバＳＶ内で視線検出処理を実行する。
【００２１】
視線の検出方法としては、搭乗者の角膜に光をあてて車内映像からその反射光を計測する方法、車内映像から搭乗者の虹彩を検出する方法など、様々な方法がある。例えば、特開平７−１５６７１２号公報には、搭乗者の顔に赤外光を照射して赤外カメラと可視カメラを用いて搭乗者の顔を撮影することで、赤外画像により瞳の位置を特定し、可視画像により目頭、目尻の位置を特定する技術が開示されている。また、特開平４−２２５４７８号公報には、エッジ検出により目の虹彩を抽出して視線を検出する技術が開示されている。本発明においては、視線の検出には既知の任意の方法を採用することができるが、取得する視線情報には、少なくとも視線の起点位置と、視線の方向の情報を含んでいれば良い。また、搭乗者の頭または目の位置、顔または黒目の向き、まばたきの回数、搭乗者のメガネまたはコンタクトレンズ装着の有無など、搭乗者の目に関する情報を取得し、それらを視線情報含ませても良い。
【００２２】
広告検出部１０５１および１０５２は、車外映像入力部１０１で取得された車外映像および車外映像のパラメータと、視線検出部１０４１および１０４２でそれぞれ取得された、搭乗者の視線情報を用いて、搭乗者が視認している広告（視認対象）を特定する。
【００２３】
広告検出部１０５１は車両ＶＣ内で広告検出処理を実行し、広告検出部１０５２はサーバＳＶ内で広告検出処理を実行する。広告検出処理においては、広告データベース（ＤＢ）１０６から視認対象に関する詳細情報を読み出して、情報出力部１０７を介して搭乗者に認識できる方法で提示する。
【００２４】
図１に示した情報提示システム１００の車両ＶＣ側の各構成（データ処理委譲部１０３、視線検出部１０４１および広告検出部１０５１）は、例えば図２に示す処理回路１０により実現される。すなわち、処理回路１０は、車両ＶＣ、サーバＳＶおよびネットワークＮＷの状態に基づいて、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分散処理する計画を立てるデータ処理委譲部１０３と、車内映像入力部１０２で取得された車内映像と車内映像のパラメータを用いて搭乗者の視線を検出する視線検出部１０４１と、車外映像入力部１０１で取得された車外映像および車外映像のパラメータと、視線検出部１０４１で取得された、搭乗者の視線情報を用いて、搭乗者が視認している広告に関する情報を検出する広告検出部１０５１を備えている。
【００２５】
処理回路１０には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサが適用されても良い。
【００２６】
処理回路１０が専用のハードウェアである場合、処理回路１０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものなどが該当する。
【００２７】
また、図３には、情報提示システム１００の車両ＶＣ側の各構成（データ処理委譲部１０３、視線検出部１０４１および広告検出部１０５１）がプロセッサを用いて構成されている場合におけるハードウェア構成を示している。この場合、情報提示システム１００の車両ＶＣ側の各構成の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ１２に格納される。処理回路１０とし機能するプロセッサ１１は、メモリ１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。
【００２８】
ここで、メモリ１２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等が該当する。
【００２９】
また、図１に示した情報提示システム１００のサーバＳＶ側の各構成（視線検出部１０４２および広告検出部１０５２）も、図２に示す処理回路１０と同様の処理回路により実現され、当該処理回路には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。
【００３０】
また、情報提示システム１００のサーバＳＶ側の各構成（視線検出部１０４２および広告検出部１０５２）がプロセッサを用いて構成されている場合におけるハードウェア構成も、図３に示すプロセッサ１１およびメモリ１２と同様のハードウェア構成を適用できる。
【００３１】
＜データ処理委譲部での処理＞
次に、図４に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
【００３２】
データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ１）。データ処理委譲部１０３が取得する車両ＶＣの状態としては、車両ＶＣ内のＣＰＵの処理能力の上限、現在の車両ＶＣ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能な車両ＶＣ内のメモリの記憶容量の上限、現在の車両ＶＣ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作している車両ＶＣ内の処理およびプログラムの有無、ＣＰＵの負荷状態およびメモリの負荷状態などが挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせて車両ＶＣの状態として使用する。
【００３３】
データ処理委譲部１０３が取得するサーバＳＶの状態としては、サーバＳＶのＣＰＵの処理能力の上限、現在のサーバＳＶ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能なサーバＳＶ内のメモリ量の上限、現在のサーバＳＶ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作しているサーバＳＶ内の処理およびプログラムの有無、ＣＰＵの負荷状態およびメモリの負荷状態などが挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせてサーバＳＶの状態として使用する。
【００３４】
データ処理委譲部１０３が取得する通信（ネットワークＮＷ）の状態としては、通信速度の上限、現在、他の処理、プログラムで使用している通信量および現在の通信速度、現在の車両ＶＣとサーバＳＶとの間の片道または往復の通信時間が挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせて通信の状態として使用する。
【００３５】
次に、データ処理委譲部１０３は、ステップＳ１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ２）。
【００３６】
例えば、委譲処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は５００÷１００＝５［秒］かかることとなる。ここで、ＣＰＵの処理能力とはＣＰＵの使用率を意味し、一般にはＭＩＰＳ（Million Instructions Per Second)で表現されるが、本願では簡単化のため「％秒」と言う単位で表現している。５００［％秒］とは、ＣＰＵの使用率が１００％の状態で５秒間の処理に相当する処理量としている。例えば、３７５０ＭＩＰＳの処理能力を有するＣＰＵでは、３７５０×５＝１８７５０［ＭＩ］の処理が５００［％秒］に相当する。また、以下の説明ではＣＰＵの処理能力が２００％でという表現を使用するが、これは１つのＣＰＵが２つのコアを持つ場合を想定しており、１つのコアがフル稼働した場合は、そのＣＰＵは１００％の処理能力（使用率）となり、２つのコアがフル稼働した場合は、そのＣＰＵは２００％の処理能力（使用率）なる。
【００３７】
次に、データ処理委譲部１０３は、ステップＳ１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３）。
【００３８】
例えば、視線検出処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は５００÷２００＝２．５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで２．５＋２＝４．５［秒］かかることとなるので、通信に必要な時間も考慮する。
【００３９】
次に、データ処理委譲部１０３は、ステップＳ１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ４）。
【００４０】
例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は１０００÷１００＝１０［秒］かかることとなる。
【００４１】
次に、データ処理委譲部１０３は、ステップＳ１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ５）。
【００４２】
例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は１０００÷２００＝５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで５＋２＝７［秒］かかることとなるので、通信に必要な時間も考慮する。
【００４３】
次に、データ処理委譲部１０３は、ステップＳ２およびＳ４で算出した車両ＶＣ内での想定処理時間の合計と、ステップＳ３およびＳ５で算出したサーバＳＶ内での想定処理時間の合計とを比較する（ステップＳ６）。その結果、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間以下であればステップＳ７に移行し、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間を超える場合はステップＳ８に移行する。
【００４４】
すなわち、データ処理委譲部１０３は、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間以下である場合は、視線検出処理と広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ７）。これにより、視線検出処理は視線検出部１０４１で実行され、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理と広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ８）。これにより、視線検出処理は視線検出部１０４２で実行され、広告検出処理は広告検出部１０５２で実行されることとなる。
【００４５】
データ処理委譲部１０３は、ステップＳ７またはステップＳ８での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。なお、データ処理委譲部１０３は、情報提示システム１００が稼働している間は、定期的に委譲処理を繰り返すように構成され、その開始タイミングは、例えば、車外映像入力部１０１および車内映像入力部１０２において映像および映像のパラメータを取得するタイミングに合わせるようにすれば良い。
【００４６】
なお、上記ではデータ処理委譲部１０３が、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて負荷分散計画を決定する例を示したが、３つの全ての状態を考慮しなくても良い。例えば、ネットワークＮＷの状態に問題がなければ、すなわち通信時間が予め定めた時間、例えば１０ｍｓｅｃより短い場合には、ネットワークＮＷの状態は考慮しなくても良い。
【００４７】
＜視線検出部での処理＞
次に、図５に示すフローチャートを用いて、視線検出部１０４１および１０４２での視線検出処理について説明する。なお、視線検出部１０４１および１０４２での動作は同じなので、以下では視線検出部１０４１を例に採って説明する。
【００４８】
視線検出部１０４１は、まず、負荷分散計画をデータ処理委譲部１０３から取得し、取得した負荷分散計画において、視線検出処理が視線検出部１０４１に割り当てられているか否かを判断する（ステップＳ１１）。その結果、視線検出処理が割り当てられている場合はステップＳ１２に移行し、割り当てられていない場合はステップＳ１２以下の処理は実行せず、処理を終了する。これは、視線検出部１０４１および１０４２のうち、負荷分散計画で視線検出処理を割り当てられている方のみが視線検出処理を実行することを意味する。
【００４９】
ステップＳ１２では、視線検出部１０４１は、車内映像入力部１０２から車内映像および車内映像のパラメータを取得する。
【００５０】
次に、視線検出部１０４１は、車内映像における搭乗者の目を検出する（ステップＳ１３）。これには、エッジ抽出により目の輪郭を探して目が含まれる矩形領域を抽出する方法など、既知の様々な検出方法を使用できる。
【００５１】
次に、視線検出部１０４１は、ステップＳ１３で検出した目が含まれる映像の中から、目頭と虹彩を検出する（ステップＳ１４）。これには、エッジ抽出により目頭と虹彩を検出する方法など、既知の様々な方法を使用できる。
【００５２】
次に、視線検出部１０４１は、ステップＳ１４で検出した目頭と虹彩との位置関係から、搭乗者の視線を決定する（ステップＳ１５）。これには、左目の虹彩が目頭から離れていれば左側を見ており、左目の目頭と虹彩が近ければ右側を見ているなど、既知の様々な方法を使用できる。この視線に基づいて、少なくとも視線の起点位置と、視線の方向を取得し、視線情報とする。視線を決定した後は、一連の視線検出処理を終了し、次に視線検出処理を開始するまで待機する。
【００５３】
＜広告検出部での処理＞
次に、図６に示すフローチャートを用いて、広告検出部１０５１および１０５２での広告検出処理について説明する。なお、広告検出部１０５１および１０５２での動作は同じなので、以下では広告検出部１０５１を例に採って説明する。
【００５４】
広告検出部１０５１は、まず、負荷分散計画をデータ処理委譲部１０３から取得し、取得した負荷分散計画において、広告検出処理が広告検出部１０５１に割り当てられているか否かを判断する（ステップＳ２１）。その結果、広告検出処理が割り当てられている場合はステップＳ２２に移行し、割り当てられていない場合はステップＳ２２以下の処理は実行せず、処理を終了する。これは、広告検出部１０５１および１０５２のうち、負荷分散計画で広告検出処理を割り当てられている方のみが広告検出処理を実行することを意味する。
【００５５】
ステップＳ２２では、広告検出部１０５１は、車外映像入力部１０１から車外映像および車外映像のパラメータを取得する。
【００５６】
次に、広告検出部１０５１は、視線検出部１０４１から搭乗者の視線情報を取得する（ステップＳ２３）。
【００５７】
次に、広告検出部１０５１は、取得した視線情報に含まれる視線の起点位置と、視線の方向に基づいて搭乗者が視認している車外映像上の領域を抽出する（ステップＳ２４）。以降、この領域を視認領域と呼称する。
【００５８】
次に、広告検出部１０５１は、ステップＳ２４で抽出した視認領域と、広告の外見パターンとの一致率を算出する（ステップＳ２５）。
【００５９】
広告の外見パターンの画像は、例えば、広告ＤＢ１０６に広告ごとに格納されており、画像認識により視認領域の広告と広告の外見パターンの画像とのマッチングを行い、両者の一致率を算出する。ここでは、広告ＤＢ１０６に格納されている広告ごとに一致率を計算する。なお、画像認識としては、エッジ抽出、特徴点抽出など、様々な手法が存在するが、本発明では既知の任意の手法を採用することができる。
【００６０】
次に、広告検出部１０５１は、ステップＳ２５で算出された一致率のうち、最も高い一致率が、予め定めた閾値以上か否かを判定する（ステップＳ２６）。その結果、閾値以上であれば、ステップＳ２７に移行し、閾値未満であれば、広告を検出できなかったものとして処理を終了し、情報出力部１０７に対する処理などの以降の処理は行わない。なお、ここでの閾値は、情報提示システム１００の製造者が設定しても良いし、ユーザが設定しても良い。
【００６１】
ステップＳ２７では、最も高い一致率を有する外見パターンを有する広告を、搭乗者が視認している広告（視認対象）として特定する。広告を特定した後は、一連の広告検出処理を終了し、次に広告検出処理を開始するまで待機する。
【００６２】
広告ＤＢ１０６は、広告の外見パターンの画像と共に、当該広告に関する詳細情報も格納されており、少なくとも広告の名称および提供情報を格納している。なお、広告ＤＢ１０６は、車両ＶＣに搭載したメモリ等に構築しても良いし、サーバＳＶに構築されたデータベースを用いても良い。また、サーバＳＶと連携し、随時新しい情報に更新されるようにしても良い。
【００６３】
ここで、広告ＤＢ１０６に格納されるデータの一例を図７に示す。図７に示すように、広告ＤＢ１０６には、広告の種類、広告の名称、広告の読み方、営業時間、提供情報、外見パターンなどが格納されている。なお、広告の種類としては、小売店、レストランなどの他に、工事中を示す標識なども含まれる。また、外見パターンはビットマップで格納されている例を示しているが、これに限定されるものではない。また、提供情報に関しては、割引率、値段、工事中などの情報を含み、システム開発者が予め定めておけば良い。
【００６４】
また、図５では、広告の名称と提供情報が固定されている例を示したが、提供情報を日々更新するようにしても良いし、広告ＤＢ１０６を参照する際に、ネットワークＮＷを介して広告の提供者から最新の情報を取得しても良い。
【００６５】
また、広告ＤＢ１０６は明確なデータベースとして作成せず、インターネットの検索サイトなどでヒットした内容をそのまま、または要約して格納する構成を採っても良い。すなわち、インターネットの検索サイトでは、店舗の看板、商標、ロゴマークなど広告の外見パターンも表示されているので、それを外見パターンとして格納し、キャッチコピーを提供情報としてそのまま、または要約して格納すれば簡易なデータベースを作成することができる。
【００６６】
情報出力部１０７は、広告検出部１０５１（１５０２）で特定された広告について、広告ＤＢ１０６を参照して、当該広告に関する詳細情報を読み出して出力する。図５の例では、「大根１０％ＯＦＦ」「△△△定食５００円」「工事中標識」などの提供情報を、広告ＤＢ１０６から取得し、情報出力部１０７を構成するディスプレイおよびスピーカを用いて、画像および音により搭乗者に提供する。なお、情報出力部１０７は、ディスプレイおよびスピーカを備えていても良いが、車両ＶＣに搭載されているカーナビゲーション装置のディスプレイおよびスピーカを用いて、画像および音を出力しても良い。
【００６７】
また、情報出力部１０７が情報を提示する先は、広告を視認した搭乗者でなくても良い。例えば、視線検出部１０４１または１０４２は運転者の視線を取得し、情報出力部１０７には助手席および後席のディスプレイおよびスピーカが接続され、助手席および後部座席の搭乗者に情報を提示するといった構成でも構わない。
【００６８】
また、情報出力部１０７が提示する情報は、広告ＤＢ１０６の提供情報以外であっても良い。例えば、営業時間と提供情報の両方を提示することも可能である。
【００６９】
また、情報出力部１０７は、情報の提示先を、サーバ、スマートフォン、他車とするシステムとしても良い。例えば、搭乗者が見ている広告の提供情報を、サーバ上のプログラムに送信しても良い。このプログラムとしては搭乗者がどの広告に興味を惹かれるかなどのデータベースを構築するプログラムが考えられる。
【００７０】
また、ネットワークＮＷを介して、他車の搭乗者に提供情報を提示しても良い。これにより、他車の搭乗者との間で情報を共有することが可能となる。
【００７１】
以上説明したように、情報提示システム１００によれば、データ処理を車両ＶＣ内とサーバＳＶとで負荷分散して実行できるため、例えば、画像認識処理など車両ＶＣ内では時間がかかるような処理をサーバＳＶの処理能力を使用して実行することで時間を短縮することができる。
【００７２】
また、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に合わせて負荷分散計画を立てることで、トータルの処理時間を短くすることができる。
【００７３】
＜実施の形態２＞
以上説明した実施の形態１の情報提示システム１００では、視線検出処理および広告検出処理を車両ＶＣ側で実行させるかまたはサーバＳＶ側で実行させる択一的な手法で負荷分散を行ったが、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分けることで負荷分散を行うようにしても良い。
【００７４】
＜装置構成＞
図８は本発明に係る実施の形態２の情報提示システム２００の構成を示すブロック図である。なお、図１を用いて説明した情報提示システム１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【００７５】
図８に示すように情報提示システム２００は、車両ＶＣ側の視線検出部１０４１で検出した視線情報がサーバＳＶ側の広告検出部１０５２にも出力され、サーバＳＶ側の視線検出部１０４２で検出した視線情報が車両ＶＣ側の広告検出部１０５２にも出力される構成となっている。データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて、視線検出処理を車両ＶＣ側で実行させ、広告検出処理をサーバＳＶ側で実行させる、または、視線検出処理をサーバＳＶ側で実行させ、広告検出処理を車両ＶＣ側で実行させると言った負荷分散計画を立てる。
【００７６】
＜データ処理委譲部での処理＞
次に、図９に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
【００７７】
データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ３１）。データ処理委譲部１０３が取得する車両ＶＣの状態としては、車両ＶＣ内のＣＰＵの処理能力の上限、現在の車両ＶＣ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能な車両ＶＣ内のメモリ量の上限、現在の車両ＶＣ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作している車両ＶＣ内の処理およびプログラムの有無などが挙げられる。
【００７８】
データ処理委譲部１０３が取得するサーバＳＶの状態としては、サーバＳＶのＣＰＵの処理能力の上限、現在のサーバＳＶ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能なサーバＳＶ内のメモリ量の上限、現在のサーバＳＶ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作しているサーバＳＶ内の処理およびプログラムの有無などが挙げられる。
【００７９】
データ処理委譲部１０３が取得する通信（ネットワークＮＷ）の状態としては、通信速度の上限、現在の通信速度、現在他の処理、プログラムで使用している通信量、現在の車両ＶＣとサーバＳＶとの間の片道または往復の通信時間などが挙げられる。
【００８０】
次に、データ処理委譲部１０３は、ステップＳ３１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ３２）。
【００８１】
例えば、委譲処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は５００÷１００＝５［秒］かかることとなる。
【００８２】
次に、データ処理委譲部１０３は、ステップＳ３１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３３）。
【００８３】
例えば、視線検出処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は５００÷２００＝２．５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで２．５＋２＝４．５［秒］かかることとなるので、通信に必要な時間も考慮する。
【００８４】
次に、データ処理委譲部１０３は、ステップＳ３２で算出した車両ＶＣ内での想定処理時間と、ステップＳ３３で算出したサーバＳＶ内での想定処理時間とを比較する（ステップＳ３４）。その結果、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下であればステップＳ３５に移行し、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合はステップＳ３６に移行する。
【００８５】
すなわち、データ処理委譲部１０３は、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下である場合は、視線検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ３５）。これにより、視線検出処理は視線検出部１０４１で実行されることとなる。一方、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ３６）。これにより、視線検出処理は視線検出部１０４２で実行されることとなる。
【００８６】
次に、データ処理委譲部１０３は、ステップＳ３１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ３７）。
【００８７】
例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ３１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は１０００÷１００＝１０［秒］かかることとなる。
【００８８】
次に、データ処理委譲部１０３は、ステップＳ３１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３８）。
【００８９】
例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ３１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は１０００÷２００＝５［秒］かかることとなる。また、ステップＳ３１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで５＋２＝７［秒］かかることとなるので、通信に必要な時間も考慮する。
【００９０】
次に、データ処理委譲部１０３は、ステップＳ３７で算出した車両ＶＣ内での想定処理時間と、ステップＳ３８で算出したサーバＳＶ内での想定処理時間とを比較する（ステップＳ３９）。その結果、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下であればステップＳ４０に移行し、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合はステップＳ４１に移行する。
【００９１】
すなわち、データ処理委譲部１０３は、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下である場合は、広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ４０）。これにより、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合は、データ処理委譲部１０３は、広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ４１）。これにより、広告検出処理は広告検出部１０５２で実行されることとなる。
【００９２】
データ処理委譲部１０３は、ステップＳ４０またはステップＳ４１での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。
【００９３】
以上説明したように、情報提示システム２００によれば、視線検出処理を車両ＶＣ側で実行させ、広告検出処理をサーバＳＶ側で実行させる、または、視線検出処理をサーバＳＶ側で実行させ、広告検出処理を車両ＶＣ側で実行させると言った負荷分散計画を立てることで、データ処理を車両ＶＣ内とサーバＳＶとで負荷分散して実行できるため、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に合わせることでトータルの処理時間を短くすることができる。
【００９４】
＜変形例１＞
以上説明した情報提示システム２００においては、視線検出処理を車両ＶＣ側で実行させるか、サーバＳＶ側で実行させるかを決定した後に、広告検出処理の想定処理時間を計算するので、広告検出処理の計算に際しては、視線検出処理の決定結果を反映させて想定処理時間を計算しても良い。
【００９５】
例えば、ステップＳ３６において視線検出処理をサーバＳＶで実行させると決めた場合、視線検出処理の実行によりサーバＳＶの処理能力（ＣＰＵの処理能力、メモリ容量など）を使用するため、ステップＳ３１でサーバＳＶの状態を取得した段階よりも処理能力が低下することが考えられる。このまま広告検出処理の割り当てを行うと、サーバＳＶの処理能力が低下しているにも関わらず、ステップＳ３９を経て、ステップＳ４１で、サーバＳＶに割り当てられてしまう可能性がある。そこで、ステップＳ３８では、視線検出処理の実行に必要とされる処理能力をステップＳ３１で取得したサーバＳＶの処理能力から差し引いた処理の能力で想定処理時間を算出する。これにより、より現実に即した想定処理時間の計算が可能となり、適正な割り当てが可能となる。なお、上記措置はステップＳ３６において視線検出処理を車両ＣＶで実行させると決めた場合も同様に行うことができる。
【００９６】
＜変形例２＞
以上説明した情報提示システム２００および変形例１においては、視線検出処理ごと、および広告検出処理ごとに車両ＶＣ側で実行させるか、サーバＳＶ側で実行させるかを決定したが、視線検出処理内および広告検出処理内の処理単位ごとに実行先を決定しても良い。
【００９７】
すなわち、視線検出処理を示す図５におけるステップＳ１２〜Ｓ１５の各ステップ、および広告検出処理を示す図６におけるステップＳ２２〜Ｓ２７の各ステップを処理単位として定義した場合、例えば、ステップＳ１２の処理は車両ＶＣ側で実行させ、ステップＳ１３の処理はサーバＳＶ側で実行させるようにしても良い。
【００９８】
この場合、図９に示したフローチャートにおけるステップＳ３２およびＳ３３の処理は、それぞれステップＳ１２〜Ｓ１５の各ステップごとに、想定処理時間を計算する処理となり、ステップＳ３４〜Ｓ３６の処理は、ステップＳ１２〜Ｓ１５の各ステップごとに、車両ＶＣで実行するか、サーバＳＶで実行するかを決定する処理となる。
【００９９】
同様に、図９に示したフローチャートにおけるステップＳ３７およびＳ３８の処理は、それぞれステップＳ２２〜Ｓ２７の各ステップごとに、想定処理時間を計算する処理となり、ステップＳ３９〜Ｓ４１の処理は、ステップＳ２２〜Ｓ２７の各ステップごとに、車両ＶＣで実行するか、サーバＳＶで実行するかを決定する処理となる。
【０１００】
処理単位ごとに実行先を決定することで、車両ＶＣの処理能力およびサーバＳＶの処理能力に、より細かく対応させることができる。
【０１０１】
＜実施の形態３＞
＜装置構成＞
図１０は本発明に係る実施の形態３の情報提示システム３００の構成を示すブロック図である。なお、図１を用いて説明した情報提示システム１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【０１０２】
図１０に示すように情報提示システム３００は、データ処理委譲部１０３で負荷分散計画を立てる際に、負荷分散計画の対象外とする処理を予め指定した指定計画を設定する指定計画入力部１０８を備えている。
【０１０３】
指定計画入力部１０８で設定された指定計画の情報は、データ処理委譲部１０３に出力され、データ処理委譲部１０３において負荷分散計画を立てる際に、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に加えて、指定計画入力部１０８から出力される指定計画の情報も使用することとなる。なお、指定計画はシステム開発者が処理効率を考慮して設定することができる。
【０１０４】
＜データ処理委譲部での処理＞
次に、図１１に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
【０１０５】
データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ５１）。
【０１０６】
次に、データ処理委譲部１０３は、ステップＳ５１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ５２）。
【０１０７】
次に、データ処理委譲部１０３は、ステップＳ５１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ５３）。
【０１０８】
次に、データ処理委譲部１０３は、指定計画入力部１０８で設定された指定計画の情報を取得する（ステップＳ５４）。
【０１０９】
次に、データ処理委譲部１０３は、ステップＳ５４で取得した指定計画の情報に視線検出処理が含まれているか否かを判断する。その結果、視線検出処理が含まれている場合はステップＳ５６に移行し、視線検出処理が含まれていない場合はステップＳ５７に移行する。
【０１１０】
ここで、指定計画の一例を図１２に示す。図１２においては、視線検出処理が指定計画に含まれている場合を示しており、広告検出処理は含まれていない。そして、視線検出処理のうちステップＳ１２〜Ｓ１５（図５）の処理が詳細処理として含まれており、このうち、ステップＳ１２およびＳ１５の処理は車両ＶＣで実行することが指定され、ステップＳ１３の処理がサーバＳＶで実行することが指定されており、ステップＳ１４の処理は実行場所が指定されず任意となっている。ここで、任意とは、車両ＶＣおよびサーバＳＶのどちらで実行させても良いことを意味するが、連続するステップはできるだけ同じ場所で実行させる方が効率的であるので、ステップＳ１３をサーバＳＶで実行させるのであれば、ステップＳ１４はサーバＳＶで実行させることが考えられる。
【０１１１】
データ処理委譲部１０３は、実行場所が車両ＶＣまたはサーバＳＶに指定された処理が１つでも含まれている場合には指定計画の情報に視線検出処理が含まれていると判断し、実行場所に車両ＶＣおよびサーバＳＶが全くして指定されていない場合、例えば全ての処理について実行場所が任意となっている場合は、指定計画の情報に視線検出処理が含まれていないと判断する。
【０１１２】
ステップＳ５６では、データ処理委譲部１０３はステップＳ５４で取得した指定計画の情報に基づいて視線検出処理の実行場所を車両ＣＶまたはサーバＳＶに決定する。この場合、指定計画に従って視線検出処理内の処理単位ごとに実行先を決定することができる。
【０１１３】
一方、ステップＳ５７に移行した場合、データ処理委譲部１０３は、ステップＳ５２で算出した車両ＶＣ内での想定処理時間と、ステップＳ５３で算出したサーバＳＶ内での想定処理時間とを比較する。その結果、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下であればステップＳ５８に移行し、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合はステップＳ５９に移行する。
【０１１４】
すなわち、データ処理委譲部１０３は、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下である場合は、視線検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ５８）。これにより、視線検出処理は視線検出部１０４１で実行されることとなる。一方、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ５９）。これにより、視線検出処理は視線検出部１０４２で実行されることとなる。
【０１１５】
次に、データ処理委譲部１０３は、ステップＳ５１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ６０）。
【０１１６】
次に、データ処理委譲部１０３は、ステップＳ５１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ６１）。
【０１１７】
次に、データ処理委譲部１０３は、ステップＳ５４で取得した指定計画の情報に広告検出処理が含まれているか否かを判断する。その結果、広告検出処理が含まれている場合はステップＳ６３に移行し、広告検出処理が含まれていない場合はステップＳ６４に移行する。なお、指定計画の情報に広告検出処理が含まれているか否かの判断は、ステップＳ５５で説明した視線検出処理が含まれているか否かの判断と同じであるので説明は省略する。
【０１１８】
ステップＳ６３では、データ処理委譲部１０３はステップＳ５４で取得した指定計画の情報に基づいて広告検出処理の実行場所を車両ＣＶまたはサーバＳＶに決定する。この場合、指定計画に従って広告検出処理内の処理単位ごとに実行先を決定することができる。
【０１１９】
一方、ステップＳ６４に移行した場合、データ処理委譲部１０３は、ステップＳ６０で算出した車両ＶＣ内での想定処理時間と、ステップＳ６１で算出したサーバＳＶ内での想定処理時間とを比較する。その結果、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下であればステップＳ６５に移行し、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合はステップＳ６６に移行する。
【０１２０】
すなわち、データ処理委譲部１０３は、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下である場合は、広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ６５）。これにより、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合は、データ処理委譲部１０３は、広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ６６）。これにより、広告検出処理は広告検出部１０５２で実行されることとなる。
【０１２１】
データ処理委譲部１０３は、ステップＳ６３またはステップＳ６５またはステップＳ６６での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。
【０１２２】
以上説明したように、情報提示システム３００によれば、視線検出処理および広告検出処理の少なくとも一部を実行する場所を、車両ＶＣまたはサーバＳＶに指定することができる。これにより、車両ＶＣおよびサーバＳＶのどちらかで、固定的に実行した方が効率的な処理に関してまで負荷分散計画で決定する必要がなくなり、負荷分散計画を立てる時間を短縮して、全体の処理時間を短縮できる。
【０１２３】
＜変形例＞
なお、図１２に示した指定計画の例では、視線検出処理の実行場所が視線検出処理内の処理単位ごとに設定されていたが、視線検出処理または広告検出処理の全ての処理単位に対して一括で実行場所を設定することもできる。
【０１２４】
これにより、処理単位ごとに実行先を指定する必要がなくなり、指定計画の設定が容易となる。
【０１２５】
この発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【０１２６】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
【図１】
2018061066.tif 000003
【図２】
2018061066.tif 000004
【図３】
2018061066.tif 000005
【図４】
2018061066.tif 000006
【図５】
2018061066.tif 000007
【図６】
2018061066.tif 000008
【図７】
2018061066.tif 000009
【図８】
2018061066.tif 000010
【図９】
2018061066.tif 000011
【図１０】
2018061066.tif 000012
【図１１】
2018061066.tif 000013
【図１２】
2018061066.tif 000014
【手続補正書】
【提出日】平成29年2月14日(2017.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の搭乗者が視認する前記車両外部の広告に関する提供情報を提示する情報提示システムであって、
前記情報提示システムは、
前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、
前記車両は、
車外映像が入力される車外映像入力部と、
車内映像が入力される車内映像入力部と、
車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像および前記車外映像のパラメータに基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、
広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、
前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、
前記サーバは、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、
前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定し、
前記データ処理委譲部は、
前記車両の状態として、車両側のプロセッサの負荷およびメモリの負荷を取得し、
前記サーバの状態として、サーバ側のプロセッサの負荷およびメモリの負荷を取得し、
前記ネットワークの状態として、前記ネットワークの通信速度を取得し、これらの少なくとも１つに基づいて、視線検出処理および広告検出処理の処理時間が短縮されるように前記負荷分散計画を立て、
前記車両は、
前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
前記指定計画は、
前記視線検出処理を構成する処理単位ごとに、実行先を前記第１および第２の視線検出部の一方に指定し、
前記広告検出処理を構成する処理単位ごとに、実行先を前記第１および第２の広告検出部の一方に指定し、
前記データ処理委譲部は、
前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、情報提示システム。
【請求項２】
車両の搭乗者が視認する前記車両外部の広告に関する提供情報を提示する情報提示システムであって、
前記情報提示システムは、
前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、
前記車両は、
車外映像が入力される車外映像入力部と、
車内映像が入力される車内映像入力部と、
車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像および前記車外映像のパラメータに基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、
広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、
前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、
前記サーバは、
前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、
前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、
前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定し、
前記データ処理委譲部は、
前記車両の状態として、車両側のプロセッサの負荷およびメモリの負荷を取得し、
前記サーバの状態として、サーバ側のプロセッサの負荷およびメモリの負荷を取得し、
前記ネットワークの状態として、前記ネットワークの通信速度を取得し、これらの少なくとも１つに基づいて、視線検出処理および広告検出処理の処理時間が短縮されるように前記負荷分散計画を立て、
前記車両は、
前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
前記指定計画は、
前記視線検出処理の全体で、実行先を前記第１および第２の視線検出部の一方に指定し、
前記広告検出処理の全体で、実行先を前記第１および第２の広告検出部の一方に指定し、
前記データ処理委譲部は、
前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、情報提示システム。
【請求項３】
前記データ処理委譲部は、
前記第１の視線検出部に前記視線検出処理を実行させ、前記第１の広告検出部に前記広告検出処理を実行させる、または前記第２の視線検出部に前記視線検出処理を実行させ、前記第２の広告検出部に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項１または請求項２記載の情報提示システム。
【請求項４】
前記データ処理委譲部は、
前記第１および第２の視線検出部の一方に前記視線検出処理を実行させ、前記第１および第２の広告検出部の一方に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項１または請求項２記載の情報提示システム。
【請求項５】
前記データ処理委譲部は、
前記視線検出処理を構成する処理単位ごとに前記第１および第２の視線検出部の少なくとも一方に処理を割り当て、
前記広告検出処理を構成する処理単位ごとに前記第１および第２の広告検出部の少なくとも一方に処理を割り当てるように前記負荷分散計画を立てる、請求項１または請求項２記載の情報提示システム。
【請求項６】
前記情報出力部は、
前記車両および他の車両の少なくとも一方に前記提供情報を出力する、請求項１から請求項５の何れか１項に記載の情報提示システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る情報提示システムは、車両の搭乗者が視認する前記車両の外部の広告に関する提供情報を提示する情報提示システムであって、前記情報提示システムは、前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、前記車両は、車外映像が入力される車外映像入力部と、車内映像が入力される車内映像入力部と、車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、前記サーバは、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定し、前記データ処理委譲部は、前記車両の状態として、車両側のプロセッサの負荷およびメモリの負荷を取得し、前記サーバの状態として、サーバ側のプロセッサの負荷およびメモリの負荷を取得し、前記ネットワークの状態として、前記ネットワークの通信速度を取得し、これらの少なくとも１つに基づいて、視線検出処理および広告検出処理の処理時間が短縮されるように前記負荷分散計画を立て、前記車両は、前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、前記指定計画は、前記視線検出処理を構成する処理単位ごとに、実行先を前記第１および第２の視線検出部の一方に指定し、前記広告検出処理を構成する処理単位ごとに、実行先を前記第１および第２の広告検出部の一方に指定し、前記データ処理委譲部は、前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる。
【国際調査報告】
2018061066.tif 000015
2018061066.tif 000016