(57)【要約】【課題】自動車内のダッシュボードに取り付けられた機器の機能及び操作をユーザーに簡便に伝えること。【解決手段】従来のマッチング技術は、小さい単位（例：２０［ｐ］×２０［ｐ］（縦横））で画像全体を走査し、各単位と、あらかじめ登録された特徴とのマッチングを行うものが多い。本発明では、自動車のダッシュボードには狭い領域に多数の機器が取り付けられていること、各機器の案内をディスプレイに表示した後にユーザーが案内の詳細を表示させるために指等でタップする必要があることという自動車内の機能及び操作案内特有の事情に照らして、従来のマッチング技術ではなく、大きな単位（例：３６０［ｐ］×６４０［ｐ］（縦横））で分割を行い、各単位（分割画像）に高々１つずつ案内を出すことによって、人間の指等の分解能との相性の高い案内表示が可能となる。【選択図】図５
2014215845.tif 000002
【特許請求の範囲】
【請求項１】
自動車内のダッシュボードに対する操作を支援する操作支援方法であって、
インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信ステップと、
前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理ステップと、
各分割画像から特徴量を抽出する特徴量抽出ステップと、
抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出ステップと、
前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成ステップと、
生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信ステップと
を含み、
前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする操作支援方法。
【請求項２】
前記２以上のパターンは、第１のパターン及び第２のパターンを有し、
前記第１のパターンは、各フレームを４分割又は９分割し、
前記第２のパターンは、前記第１のパターンにより分割された４つの分割画像の中心位置を中心とする領域またはその組合せを含むように分割することを特徴とする請求項１に記載の操作支援方法。
【請求項３】
自動車内のダッシュボードに対する操作を支援する操作支援システムであって、
携帯無線通信端末と、
前記携帯無線通信端末とインターネットを介して接続された操作支援サーバと
を備え、
前記携帯無線通信端末は、
ディスプレイと、
前記ダッシュボードの動画撮影を行う動画撮影手段と、
撮影した動画をフレームごとに２以上のパターンで分割して、分割画像を前記操作支援サーバに送信する分割処理手段と
を有し、
前記操作支援サーバは、
前記携帯無線通信端末から受信した各分割画像から特徴量を抽出する特徴量抽出手段と、
抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出手段と、
前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成手段と、
生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信手段と
を有し、
前記携帯無線通信端末は、前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行うことを特徴とする操作支援システム。
【請求項４】
前記２以上のパターンは、第１のパターン及び第２のパターンを有し、
前記第１のパターンは、各フレームを４分割又は９分割し、
前記第２のパターンは、前記第１のパターンにより分割された４つの分割画像の中心位置を中心とする領域またはその組合せを含むように分割することを特徴とする請求項３に記載の操作支援システム。
【請求項５】
前記候補抽出手段は、前記各分割画像に重畳して案内表示を行う前記候補として、前記照合結果による類似度に基づいて複数の上位候補を抽出し、
前記表示データ生成手段は、前記各分割画像につき、隣接する分割画像及び／又は重なり合う分割画像の前記複数の上位候補の類似度を重み付け加算した合計類似度により１つに絞込むことを特徴とする請求項３又は４に記載の操作支援システム。
【請求項６】
前記表示データ生成手段は、隣接する分割画像において絞り込んだ候補が同一である場合に、前記絞り込んだ候補の表示位置を前記隣接する分割画像の境界線を跨ぐ位置とすることを特徴とする請求項５に記載の操作支援システム。
【請求項７】
前記表示データ生成手段は、前記第１のパターンにより分割された、隣接する４つの分割画像において、絞り込んだ候補が同一である場合に、前記絞り込んだ候補の表示位置を、前記隣接する４つの分割画像の中心位置を中心とする第２のパターンによる分割領域内とすることを特徴とする請求項５に記載の操作支援システム。
【請求項８】
前記ルックアップテーブルは、前記ダッシュボードに取り付けられた機器とその特徴量との関係が記述されたルックアップテーブルであり、各機器につき、複数の条件下で撮影された学習画像に基づく特徴量を登録することを特徴とする請求項３から７のいずれかに記載の操作支援システム。
【請求項９】
前記特徴量の抽出は、前記操作支援サーバではなく、前記携帯無線通信端末にて行うことを特徴とする請求項３から８のいずれかに記載の操作支援システム。
【請求項１０】
前記画面の分割は、前記携帯無線通信端末ではなく、前記操作支援サーバにて行うことを特徴とする請求項３から８のいずれかに記載の操作支援システム。
【請求項１１】
自動車内のダッシュボードに対する操作を支援する操作支援サーバであって、
インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信手段と、
前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理手段と、
各分割画像から特徴量を抽出する特徴量抽出手段と、
抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出手段と、
前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成手段と、
生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信手段と
を備え、
前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする操作支援サーバ。
【請求項１２】
自動車内のダッシュボードに対する操作を支援する操作支援サーバに、
インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信ステップと、
前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理ステップと、
各分割画像から特徴量を抽出する特徴量抽出ステップと、
抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出ステップと、
前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成ステップと、
生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信ステップと
を実行させるための操作支援プログラムであって、
前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする操作支援プログラム。
【請求項１３】
自動車内のダッシュボードに対する操作を支援する携帯無線通信端末であって、
前記ダッシュボードを撮影した動画をフレームごとに２以上のパターンで分割して分割画像を生成する生成手段と、
前記分割画像を、前記携帯無線通信端末とインターネットを介して接続された操作支援サーバに送信する送信手段と、
前記操作支援サーバにおいて生成された表示データであって、前記携帯無線通信端末のディスプレイにおいて各分割画像に重畳して案内表示を行う機器の候補が特定された表示データを受信する受信手段と
を備え、
前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行うことを特徴とする携帯無線通信端末。
【請求項１４】
自動車内のダッシュボードに対する操作を支援する携帯無線通信端末に、
前記ダッシュボードを撮影した動画をフレームごとに２以上のパターンで分割して分割画像を生成するステップと、
前記分割画像を、前記携帯無線通信端末とインターネットを介して接続された操作支援サーバに送信するステップと、
前記操作支援サーバにおいて生成された表示データであって、前記携帯無線通信端末のディスプレイにおいて各分割画像に重畳して案内表示を行う機器の候補が特定された表示データを受信するステップと
を実行させるための携帯無線通信端末用プログラムであって、
前記携帯無線通信端末は、前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行うことを特徴とする携帯無線通信端末用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作支援方法、操作支援システム、操作支援サーバ及び操作支援プログラムに関し、より詳細には、自動車内のダッシュボードに対する操作支援方法、操作支援システム、操作支援サーバ及び操作支援プログラムに関する。
【背景技術】
【０００２】
自動車内には、様々な機能を有する機器が取り付けられており、その数や種類は年々増加している。図１に、車内のダッシュボードの模式図を示す。ダッシュボード１００に取り付けられた機器としては、運転手席のインパネ（インストルメント・パネル）１１０、ハンドル１２０、中央部分のエアコン１３０、オーディオ装置１４０、カーナビ１５０、助手席のグローブボックス１６０等が挙げられる。
【０００３】
近年、「拡張現実」あるいは「ＡＲ」と呼ばれる、人を取り巻く現実環境に情報の付加等を行い、現実環境を拡張する技術が注目を浴びている（特許文献１参照）。自動車に関連しては、たとえば、自動車外の周辺情報を自動車内のユーザーに提供し、ユーザーの利便性を高める技術が研究されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−９５２６１号公報
【特許文献２】特開２０１２−２４２２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
自動車内については、自動車に関する深い知識を持ち、各種機器の操作に何ら不自由しないユーザーもいる一方で、自動車には頻繁には乗らない人や、女性ユーザー等、機器の操作に抵抗感のある人も少なくない。また、抵抗感がないとしても、レンタカーとして初めて乗る自動車の場合、乗りなれた車とは操作が異なるという事態も生じる。
【０００６】
本発明は、このような問題点に鑑みてなされたものであり、その目的は、自動車内のダッシュボードに取り付けられた機器の機能及び操作をユーザーに簡便に伝えるための操作支援方法、操作支援システム、操作支援サーバ及び操作支援プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明の第１の態様は、自動車内のダッシュボードに対する操作を支援する操作支援方法であって、操作支援サーバが、インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信ステップと、前記操作支援サーバが、前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理ステップと、前記操作支援サーバが、各分割画像から特徴量を抽出する特徴量抽出ステップと、前記操作支援サーバが、抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出ステップと、前記操作支援サーバが、前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成ステップと、前記操作支援サーバが、生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信ステップとを含み、前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする。
【０００８】
また、本発明の第２の態様は、第１の態様において、前記２以上のパターンは、第１のパターン及び第２のパターンを有し、前記第１のパターンは、各フレームを４分割又は９分割し、前記第２のパターンは、前記第１のパターンにより分割された４つの分割画像の中心位置を中心とする領域またはその組合せを含むように分割することを特徴とする。
【０００９】
また、本発明の第３の態様は、自動車内のダッシュボードに対する操作を支援する操作支援システムであって、携帯無線通信端末と、前記携帯無線通信端末とインターネットを介して接続された操作支援サーバとを備える。前記携帯無線通信端末は、ディスプレイと、前記ダッシュボードの動画撮影を行う動画撮影手段と、撮影した動画をフレームごとに２以上のパターンで分割して、分割画像を前記操作支援サーバに送信する分割処理手段とを有する。前記操作支援サーバは、前記携帯無線通信端末から受信した各分割画像から特徴量を抽出する特徴量抽出手段と、抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出手段と、前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成手段と、生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信手段とを有する。前記携帯無線通信端末は、前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行う。
【００１０】
また、本発明の第４の態様は、第３の態様において、前記２以上のパターンは、第１のパターン及び第２のパターンを有し、前記第１のパターンは、各フレームを４分割又は９分割し、前記第２のパターンは、前記第１のパターンにより分割された４つの分割画像の中心位置を中心とする領域またはその組合せを含むように分割することを特徴とする。
【００１１】
また、本発明の第５の態様は、第３又は第４の態様において、前記候補抽出手段は、前記各分割画像に重畳して案内表示を行う前記候補として、前記照合結果による類似度に基づいて複数の上位候補を抽出し、前記表示データ生成手段は、前記各分割画像につき、隣接する分割画像及び／又は重なり合う分割画像の前記複数の上位候補の類似度を重み付け加算した合計類似度により１つに絞込むことを特徴とする。
【００１２】
また、本発明の第６の態様は、第５の態様において、前記表示データ生成手段は、隣接する分割画像において絞り込んだ候補が同一である場合に、前記絞り込んだ候補の表示位置を前記隣接する分割画像の境界線を跨ぐ位置とすることを特徴とする。
【００１３】
また、本発明の第７の態様は、第５の態様において、前記表示データ生成手段は、前記第１のパターンにより分割された、隣接する４つの分割画像において、絞り込んだ候補が同一である場合に、前記絞り込んだ候補の表示位置を、前記隣接する４つの分割画像の中心位置を中心とする第２のパターンによる分割領域内とすることを特徴とする。
【００１４】
また、本発明の第８の態様は、第３から第７のいずれかの態様において、前記ルックアップテーブルは、前記ダッシュボードに取り付けられた機器とその特徴量との関係が記述されたルックアップテーブルであり、各機器につき、複数の条件下で撮影された学習画像に基づく特徴量を登録することを特徴とする。
【００１５】
また、本発明の第９の態様は、第３から第８のいずれかの態様において、前記特徴量の抽出は、前記操作支援サーバではなく、前記携帯無線通信端末にて行うことを特徴とする。
【００１６】
また、本発明の第１０の態様は、第３から第８のいずれかの態様において、前記画面の分割は、前記携帯無線通信端末ではなく、前記操作支援サーバにて行うことを特徴とする。
【００１７】
また、本発明の第１１の態様は、自動車内のダッシュボードに対する操作を支援する操作支援サーバであって、インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信手段と、前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理手段と、各分割画像から特徴量を抽出する特徴量抽出手段と、抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出手段と、前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成手段と、生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信手段とを備え、前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする。
【００１８】
また、本発明の第１２の態様は、自動車内のダッシュボードに対する操作を支援する操作支援サーバに、インターネットを介して接続された携帯無線通信端末から動画をフレームごとに受信する動画受信ステップと、前記動画が、予め２以上のパターンで分割されていない場合、前記２以上のパターンで分割して分割画像を生成する分割処理ステップと、各分割画像から特徴量を抽出する特徴量抽出ステップと、抽出した前記特徴量を、前記操作支援サーバの特徴量データベースのルックアップテーブルを参照して照合し、照合結果に基づいて、前記携帯無線通信端末のディスプレイにおいて前記各分割画像に重畳して案内表示を行う機器の候補を抽出する候補抽出ステップと、前記各分割画像につき抽出した前記候補に基づいて前記携帯無線通信端末の前記ディスプレイに表示する表示データを生成する表示データ生成ステップと、生成した前記表示データを前記携帯無線通信端末に送信する表示データ送信ステップとを実行させるためのプログラムであって、前記表示データは、前記携帯無線通信端末において、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行わせることを特徴とする。
【００１９】
また、本発明の第１３の態様は、自動車内のダッシュボードに対する操作を支援する携帯無線通信端末であって、前記ダッシュボードを撮影した動画をフレームごとに２以上のパターンで分割して分割画像を生成する生成手段と、前記分割画像を、前記携帯無線通信端末とインターネットを介して接続された操作支援サーバに送信する送信手段と、前記操作支援サーバにおいて生成された表示データであって、前記携帯無線通信端末のディスプレイにおいて各分割画像に重畳して案内表示を行う機器の候補が特定された表示データを受信する受信手段とを備え、前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行うことを特徴とする。
【００２０】
また、本発明の第１４の態様は、自動車内のダッシュボードに対する操作を支援する携帯無線通信端末に、前記ダッシュボードを撮影した動画をフレームごとに２以上のパターンで分割して分割画像を生成するステップと、前記分割画像を、前記携帯無線通信端末とインターネットを介して接続された操作支援サーバに送信するステップと、前記操作支援サーバにおいて生成された表示データであって、前記携帯無線通信端末のディスプレイにおいて各分割画像に重畳して案内表示を行う機器の候補が特定された表示データを受信するステップとを実行させるための携帯無線通信端末用プログラムであって、前記携帯無線通信端末は、前記表示データを受信すると、前記ディスプレイに、前記各分割画像につき高々１つの案内表示を行うことを特徴とする携帯無線通信端末用プログラムである。
【発明の効果】
【００２１】
本発明によれば、自動車内のダッシュボードを撮影した画像を２以上のパターンで分割して大きな単位で分割画像を生成し、各分割画像につき、高々１つの案内表示を行うことで、ダッシュボードに取り付けられた機器の機能及び操作をユーザーに簡便に伝えることができる。
【図面の簡単な説明】
【００２２】
【図１】車内のダッシュボードの模式図を示す図である。
【図２】本発明の第１の実施形態に係る操作支援システムを示す図である。
【図３】本発明の第１の実施形態に係る操作支援システムの動作のフローチャートを示す図である。
【図４】携帯無線通信端末がスマートフォンである場合の分割パターンの例を示す図である。
【図５】本発明の第１の実施形態に係るディスプレイへの重畳表示の例を示す図である。
【図６】本発明の第１の実施形態に係るディスプレイへの重畳表示の例を示す図である。
【図７】携帯無線通信端末がタブレットである場合の分割パターンの例を示す図である。
【図８】本発明の第２の実施形態に係る操作支援システムの動作のフローチャートを示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２４】
（第１の実施形態）
図２に、本発明の第１の実施形態に係る操作支援システムを示す。操作支援システム２００は、スマートフォン等の携帯無線通信端末２１０と、データセンター等の、携帯無線通信端末２１０とインターネットを介して接続された操作支援サーバ２２０とを備える。携帯無線通信端末２１０には、携帯無線通信端末用プログラムがインストールされ、ユーザーは当該プログラムを起動して、操作支援システム２００を利用する。携帯無線通信端末２１０の例としては、スマートフォン、タブレット等が挙げられる。ここで、「スマートフォン」とは、従来のフィーチャーフォンと対比するための用語であり、通話機能以外の様々な機能が可能な携帯無線通信端末を意味し、４インチ（対角）程度のディスプレイを有する。「タブレット」も、様々な機能が可能な携帯無線通信端末であるが、通話機能のあるものとないものがあり、８インチ（対角）程度や１０インチ（対角）程度のディスプレイを有する。
【００２５】
図３は、第１の実施形態に係る操作支援システムの動作のフローチャートである。ステップＳ３０１で、ユーザーは、携帯無線通信端末用プログラムを起動したのち、携帯無線通信端末２１０により、車内のダッシュボードを動画撮影する。Ｓ３０２で、携帯無線通信端末２１０は、撮影した動画に対して、順次フレーム毎に画像分割処理を施す。２以上のパターンで分割を行い、分割された画像間で、重なり合う領域が存在するようにする。
【００２６】
図４に、携帯無線通信端末２１０がスマートフォンである場合の分割パターンの例を示す。ディスプレイ４００に表示される画像をまず４分割する（図４において実線で示す）。これは、第１の分割パターンである。ついで、第１の分割パターンにより分割された４つの分割画像の中心位置を中心とする領域とその他の領域に分割する（図４において点線で示す）。これは第２の分割パターンである。第２の分割パターンにおいて、４つの分割画像の中心位置を中心とする領域は、当該中心位置を中心として、画像をトリミングした形状を有している。第１の分割パターンにより分割された分割画像１〜４は、いずれも第２の分割パターンにより分割された分割画像５と重なり合う領域を有する。このように５分割の画像分割処理を施し、各分割画像に対してデータベースにあらかじめ登録された様々な機器の特徴とのマッチングを行って、当該分割画像内の特徴との類似度が最も高い機器について、各分割画像に、その機能又は操作の案内を重畳表示させる。
【００２７】
たとえば、図５（ａ）に示すように、ハンドルのワイパー部分付近を動画撮影した場合、図５（ｂ）に示すように、分割画像１にワイパー、分割画像４にスイッチの案内を重畳表示させることができる。ユーザーが「ワイパー」ボタン及び「スイッチ」ボタンを押下すると、それぞれワイパーの操作マニュアル及びスイッチの操作マニュアルがディスプレイに表示される。類似度が一定の閾値に達しない場合には、分割画像２、３及び５のように、何も表示されない。
【００２８】
具体的には、Ｓ３０３で、携帯無線通信端末２１０は、各分割画像を操作支援サーバ２２０に送信する。携帯無線通信端末２１０で分割せずにフレーム毎に撮影した動画を送信して操作支援サーバ２２０において分割してもよいが、携帯無線通信端末２１０側で分割してから送信すると、操作支援サーバ２２０側では受信した分割画像からマッチング処理を開始することができるので処理効率が上がる。
【００２９】
操作支援サーバ２２０は、受信した分割画像に対してマッチング処理を行う。すなわち、Ｓ３０４で、各分割画像から特徴量を抽出する。様々な既存技術を適用することができるが、たとえば、１２８次元の特徴ベクトルとして特徴量を抽出することができる。特徴量の抽出対象領域（例えば、８ピクセル×８ピクセル等）を一辺４ブロックの計１６ブロックに分割し、各ブロック内のピクセルごとに４５度ずつ異なる８方向の勾配を算出して合計し、各ブロック内に各方向のベクトルがいくつ存在するかを表す勾配方向ヒストグラムを作成する。各ブロックには８方向の８次元あり、計１６ブロックであるから、各周辺領域につき１２８次元の特徴ベクトルが算出される。これを特徴量として抽出する方法が一つの方法である。
【００３０】
Ｓ３０５で、抽出された特徴量を、操作支援サーバ２２０が有する特徴量データベース２２１に格納された、機器とその特徴量との関係が記述されたルックアップテーブルを参照して照合を行い、Ｓ３０６で、照合結果が最も良い候補を読み出す。照合は、たとえば、特徴ベクトル間のユークリッド距離ｄを算出し、最小の距離ｄを与えるものと候補として読み出すことができる。ただし、類似度が一定のスコアに達しない場合（最小の距離ｄが所定の閾値以上の場合）は、マッチングが不十分として候補から外すようにしてもよい。各分割画像につき、抽出対象領域を、例えば１ピクセルずつ移動させて照合を繰り返すことで、複数の候補が読み出されることとなる。距離ｄが小さいものほど類似度が高いと判定し、類似度の上位いくつか、たとえば３つを当該分割画像に案内を表示する機器の候補とすることができる。
【００３１】
Ｓ３０７で、ルックアップテーブルから読み出された機器の候補の絞り込みを行う。簡潔に、類似度の最も高い候補を各分割画像に表示させることもできるが、以下のようにするとより精度が高まることが分かった。処理対象の分割画像に隣接する分割画像及び／又は重なり合う分割画像についても、上位候補の読出しを行い、適宜重み付けを行った上で、処理対象の分割画像の上位候補の類似度に加算して、最終的な合計類似度を算出する。換言すれば、各分割画像において候補を抽出する際には類似度の加算は行わないが、各分割画像に案内を表示する一つの候補に絞り込む際に、隣接する分割画像及び／又は重なり合う分割画像の類似度の加算を行う。図４の例では、処理対象の分割画像が分割画像１である場合、分割画像５の類似度や、分割画像２〜５の候補の類似度を加算することができる。
【００３２】
従来のマッチング技術は、小さい単位（例：２０［ｐ］×２０［ｐ］（縦横））で画像全体を走査し、各単位とあらかじめ登録された特徴とのマッチングを行うものが多い。この方法だと、画像内に存在するあらゆる機器が抽出されることになるが、次のような問題点がある。まず、表示が重なってしまい、ユーザーの認識率が低下する。また、重なり合ってしまうことはないとしても、隣接する位置に案内表示がなされるとタップの成功率が低下し、やはり案内表示としての役割を十分に果たすことができない。本発明では、ダッシュボードには狭い領域に多数の機器が取り付けられていること、各機器の案内をディスプレイに表示した後にユーザーが案内の詳細を表示させるために指等でタップする必要があることという自動車内の機能及び操作案内特有の事情に照らして、従来のマッチング技術ではなく、大きな単位（例：３６０［ｐ］×６４０［ｐ］（縦横））で分割を行い、各単位（分割画像）に高々１つずつ案内を出すことによって、人間の指等の分解能との相性の高い案内表示が可能となる。本発明者は、数多くのテストの結果、ディスプレイサイズが４インチ（対角）程度のスマートフォンにおいては、図４に示す「５分割」方式が極めて効率的な案内表示を実現することを見出した。
【００３３】
もちろん、各分割画像に対して高々１つの案内しか出さないこととすると、当該分割画像内に複数の機器が写っている場合、表示された案内がユーザーの関心の対象ではないことがある。たとえば、図６（ａ）に示すように動画撮影を行った場合、ユーザーはワイパーの操作案内が表示されることを希望していたとしても、そうではないスイッチについて案内が表示されてしまう可能性がある。その場合には、ユーザーが携帯無線通信端末２１０を前後させたり、左右に動かして撮影箇所を微調整することにより、所望の機器の案内を出すことができる。たとえば、図５（ａ）のようにズームインすれば、ワイパーの案内を表示させることができる。ヒューマンマシンインターフェース（ＨＭＩ）では、このようなユーザーの試行錯誤による問題解決を期待することができる場面があるが、発明者の提案のように、自動車内の機器案内についてこの点に着目し、大きな単位による分割、たとえば５分割を採用すれば、表示された案内に対するユーザーの認識率及びタップの成功率が著しく高まる。
【００３４】
Ｓ３０８で、絞り込まれた候補の表示位置を決定する。各分割画像の絞り込まれた候補の案内を表示するわけであるが、隣接する分割画像に跨って機器が映っている場合は、隣接する両方の分割画像において同一の候補が類似度の最も高い候補として選ばれる場合がある。この場合には、隣接する分割画像の境界線を跨ぐ位置に案内表示を行う。また、ユーザーが携帯無線通信端末２１０をダッシュボードに近づけると、ディスプレイの全体にわたり同一の機器が映ることとなるが、この状況には、すべての分割画像について、同一の候補の類似度が最も高くなる。こうした場合には、中心の分割画像５にのみ案内表示を行うことが分かりやすい。
【００３５】
Ｓ３０９で、携帯無線通信端末２１０のディスプレイに表示する表示データを生成して、送信する。
【００３６】
Ｓ３１０で、携帯無線通信端末２１０が、ディスプレイに表示データを表示して、撮影中の動画に案内を重畳させる。Ｓ３１１で、ユーザーが、表示されている案内をタップすると、操作支援サーバ２２０に対して、詳細情報生成要求が送信される。
【００３７】
Ｓ３１２で、操作支援サーバ２２０は、詳細情報を生成して、Ｓ３１３で、携帯無線通信端末２１０に送信する。Ｓ３１４で、詳細情報が携帯無線通信端末２１０のディスプレイに表示される。
【００３８】
（第２の実施形態）
図８は、第２の実施形態に係る操作支援システムの動作のフローチャートである。第１の実施形態とは、携帯無線通信端末２１０側で分割画像の特徴量抽出（Ｓ３０４’）まで行う点が異なるが、そのほかは同一である。
【００３９】
このようにすることで、第１の実施形態と同様に、携帯無線通信端末２１０でダッシュボードを撮影するだけで、撮影された画像内にある機器の案内を表示できる。また、第２の実施形態では、携帯無線通信端末２１０から操作支援サーバに転送するデータ量を低減することができる。
【００４０】
以上、本発明の操作支援システム、操作支援方法、及び操作支援プログラムについて実施の形態を挙げて詳細に説明したが、本発明は、上記した実施の形態に限定されるものではない。
【００４１】
例えば、特徴量データベース２２１には、各機器につき、複数の学習画像から抽出された特徴量を登録することができる。たとえば、同一の機器であっても、ユーザーが近い距離、遠い距離、中くらいの距離のいずれで撮影を行うかによって特徴量は変わってくるし、昼の撮影と夜の撮影でもコントラストの違いから特徴量は変わってくるから、各機器につき、複数の条件下で撮影された学習画像に基づく特徴量を登録し、学習させることが望ましい。
【００４２】
また、分割画像からの特徴量の抽出と、特徴量データベースのルックアップテーブルを参照した類似度の算出は、当業者に知られた任意の技術を採用すればよい。
【００４３】
また、携帯無線通信端末用プログラムは、ユーザーに車種を特定する識別情報を入力させることができる。このように設計することで、特徴量データベース２２１での検索対象となるテーブルを絞り込み、処理の高速化を図ることができる。あるいは、ユーザーが車内の概観を動画撮影して操作支援サーバ２２０に送信すると、操作支援サーバ２２０でマッチング処理を行い、車種の特定を行うことができるようにしてもよい。
【００４４】
また、上記説明は、携帯無線通信端末２１０で動画撮影を行うことを前提に行ったが、ユーザーの体感速度は下がり得るものの、静止画撮影を行って操作支援サーバ２２０にその都度送信するようにしても、本発明の技術的思想の恩恵を受けられることには変わりがない。
【００４５】
また、上記説明は、携帯無線通信端末２１０がスマートフォンであり、５分割方式が好ましい場合を例に説明したが、よりディスプレイの大きいタブレットであれば、たとえば図７に示すように１３分割方式が好ましい。ディスプレイ４００をまず第１の分割パターンで９分割して分割画像１〜９を生成し、ついで第１の分割パターンにより分割された４つの分割画像が交わる点Ａ〜Ｄのそれぞれを中心とする領域の組合せ及びその外側の領域に分割することで分割画像１０〜１３を得る。各分割画像１０〜１３は、その周囲にある第１の分割パターンによる４つの画像をトリミングした形状を有している。
【００４６】
なお、上記した実施形態では、画像の分割を携帯無線通信端末２１０にて行う例について説明したが、画像の分割を操作支援サーバ２２０で行うこととしてもよい。
【産業上の利用可能性】
【００４７】
以上説明したとおり、本発明は、ダッシュボードに取り付けられた機器の機能及び操作をユーザーに簡便に伝えることができるという効果を有し、車両内にある機器の操作方法を提示して乗員を支援するシステム等として有用である。
【符号の説明】
【００４８】
１００  ダッシュボード
１１０  インパネ
１２０  ハンドル
１３０  エアコン
１４０  オーディオ装置
１５０  カーナビ
１６０  グローブボックス
２００  操作支援システム
２１０  携帯無線通信端末
２２０  操作支援サーバ
２２１  特徴量データベース
４００  ディスプレイ
【図１】
2014215845.tif 000003
【図２】
2014215845.tif 000004
【図３】
2014215845.tif 000005
【図４】
2014215845.tif 000006
【図５】
2014215845.tif 000007
【図６】
2014215845.tif 000008
【図７】
2014215845.tif 000009
【図８】
2014215845.tif 000010