(57)【要約】【課題】車内に特別な機材を設置することなく、車両に搭乗した利用者が、窓ガラスを閉めきったまま車外の装置等に向けて自らの意思を指示できるようにする。【解決手段】検知装置２は、車両Ｃが決められた位置に存在していることを検知する。照射装置３は、検知装置２が決められた位置で車両Ｃを検知したことを契機として、この車両Ｃの窓ガラスに向けて光を照射する。この光は、利用者に指示を促す情報を表示させる光である。撮影装置４は、照射装置３により光が照射された窓ガラスを撮影し、撮影された画像を示す画像データを指示特定装置１に供給する。制御部１１は、接続部１３を介して撮影装置４から画像データを取得すると、この画像データが示す画像から車両の利用者の指示を特定する。【選択図】図３
2020091639.tif 000002
【特許請求の範囲】
【請求項１】
利用者に指示を促す情報を表示させる光を車両の窓ガラスに照射して、前記窓ガラスを撮影し、撮影した画像から前記利用者の指示を特定する指示特定システム。
【請求項２】
前記情報は、光が前記窓ガラスを透過する際の散乱光により表示される、請求項１に記載の指示特定システム。
【請求項３】
前記情報は、前記窓ガラスを透過した光の反射光により表示される、請求項１に記載の指示特定システム。
【請求項４】
前記情報は、前記窓ガラスを透過した光が、前記窓ガラスと異なる窓ガラスで反射することにより表示される、請求項３に記載の指示特定システム。
【請求項５】
前記画像に含まれる、前記利用者が動かす指示体の位置の経時変化から前記指示を特定する、請求項１から４のいずれか１項に記載の指示特定システム。
【請求項６】
前記画像に含まれる、前記利用者が動かす指示体の形状から前記指示を特定する、請求項１から５のいずれか１項に記載の指示特定システム。
【請求項７】
前記窓ガラスに向けて照射した電磁波の反射波に基づいて前記指示を特定する、請求項１から６のいずれか１項に記載の指示特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭乗している利用者の指示を特定する技術に関する。
【背景技術】
【０００２】
ドライブスルーや駐車場等において、車両に搭乗している利用者の指示を特定するための技術が開発されている。
特許文献１には、操作性の向上を図るために種々の車両との相対位置を最適化する自動取引装置が記載されている。
特許文献２には、自動車に搭乗している利用者による移動商取引を容易にする自動車と読取機とが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２７２０６４号公報
【特許文献２】特開２０１４−８９７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ドライブスルーや駐車場等では、自動車に搭乗している利用者が、店員、管理人、案内用端末等、車外の人や装置等に自らの意思を指示する必要がある。このとき、車内の利用者は窓ガラスを開けて車外の装置等に自らの意思を指示することが一般的である。しかし、窓ガラスを開けると、排気ガスを含んだ外気や雨等が車内に入り込み、空調設備によって温度や湿度等が調整された車内の空気が乱されることがある。また、車内の利用者が窓ガラスを開けて車外に声で指示をすると、近隣住民にとって騒音の原因となることもある。さらに、車内と車外との間で暗証番号等の秘匿情報を伝える場合、窓ガラスを開けて声でその秘匿情報を伝えるとその声を誰かに聞かれる可能性もあり、セキュリティ上の問題がある。一方、車内と車外とで情報を伝えるために窓ガラスを透過する電波等を用いた無線通信を使うと、車内に変調回路、復調回路等の特別な機材を設置しなければならない。
【０００５】
本発明の目的の一つは、車内に特別な機材を設置することなく、車両に搭乗した利用者が、窓ガラスを閉めきったまま車外の装置等に向けて自らの意思を指示することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明は、利用者に指示を促す情報を表示させる光を車両の窓ガラスに照射して、前記窓ガラスを撮影し、撮影した画像から前記利用者の指示を特定する指示特定システムを、第１の態様として提供する。
【０００７】
第１の態様の指示特定システムによれば、車内に特別な機材を設置することなく、車両に搭乗した利用者が、窓ガラスを閉めきったまま車外の装置等に向けて自らの意思を指示することができる。
【０００８】
第１の態様の指示特定システムにおいて、前記情報は、光が前記窓ガラスを透過する際の散乱光により表示されるという構成が第２の態様として採用されてもよい。
【０００９】
第２の態様の指示特定システムによれば、車両に搭乗した利用者は、車内から窓ガラスにおいて散乱光により表示される情報を見て車外の装置等に向けて自らの意思を指示することができる。
【００１０】
第１の態様の指示特定システムにおいて、前記情報は、前記窓ガラスを透過した光の反射光により表示されるという構成が第３の態様として採用されてもよい。
【００１１】
第３の態様の指示特定システムによれば、車両に搭乗した利用者は、窓ガラスを透過した光が車内のいずれかの物で反射した反射光を用いて車外の装置等に向けて自らの意思を指示することができる。
【００１２】
第３の態様の指示特定システムにおいて、前記情報は、前記窓ガラスを透過した光が、前記窓ガラスと異なる窓ガラスで反射することにより表示されるという構成が第４の態様として採用されてもよい。
【００１３】
第４の態様の指示特定システムによれば、車両に搭乗した利用者は、光を透過した窓ガラスと異なる窓ガラスにおいて反射する光により表示される情報を見て車外の装置等に向けて自らの意思を指示することができる。
【００１４】
第１から第４のいずれか１の態様の指示特定システムにおいて、前記画像に含まれる、前記利用者が動かす指示体の位置の経時変化から前記指示を特定するという構成が第５の態様として採用されてもよい。
【００１５】
第５の態様の指示特定システムによれば、例えば、利用者が動かす指示体が、決められた時間、決められた範囲を動かなかった場合に、そうでない場合と異なる指示が特定される。
【００１６】
第１から第５のいずれか１の態様の指示特定システムにおいて、前記画像に含まれる、前記利用者が動かす指示体の形状から前記指示を特定するという構成が第６の態様として採用されてもよい。
【００１７】
第６の態様の指示特定システムによれば、例えば、利用者が動かす指が窓ガラスに押し付けられて変形したこと等により、指示が特定される。
される。
【００１８】
第１から第６のいずれか１の態様の指示特定システムにおいて、前記窓ガラスに向けて照射した電磁波の反射波に基づいて前記指示を特定するという構成が第７の態様として採用されてもよい。
【００１９】
第７の態様の指示特定システムによれば、窓ガラスに向けて照射した電磁波の反射波により、利用者が動かす指示体と窓ガラスとの三次元空間における位置が特定され、この位置に応じて指示が特定される。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る指示特定システム９の構成の例を示す図。
【図２】指示特定システム９の動作を示すフロー図である。
【図３】指示特定システム９が適用される車両Ｃの概略図。
【図４】記憶部１２が記憶する画面ＤＢ１２１の一例を示す図。
【図５】記憶部１２が記憶する指示ＤＢ１２２の一例を示す図。
【図６】照射装置３が窓ガラスＷに向けて照射した光の経路を説明する図。
【図７】車内から窓ガラスＷに表示される画面を見た例を示す図。
【図８】車外から撮影した窓ガラスＷの例を示す図。
【図９】確認画面Ｐｘの例を示す図である。
【図１０】照射装置３が窓ガラスＷに向けて照射した光の他の経路を説明する図。
【図１１】利用者が動かす指示体の位置の経時変化を説明するための図。
【図１２】指示体の形状の変化を説明するための図。
【発明を実施するための形態】
【００２１】
＜実施形態＞
＜指示特定システムの構成＞
図１は、本発明の一実施形態に係る指示特定システム９の構成の例を示す図である。図１に示す指示特定システム９は、指示特定装置１、検知装置２、照射装置３、及び撮影装置４を有する。また、指示特定システム９は、外部の出力装置８に接続している。
【００２２】
指示特定装置１は、制御部１１、記憶部１２、及び接続部１３を有する。制御部１１は、指示特定装置１の各部の動作を制御する手段である。制御部１１は、ＣＰＵ（Central Processing Unit）等の演算処理装置や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置を備え、これらの記憶装置や記憶部１２に記憶されたプログラムを実行する。
【００２３】
記憶部１２は、ソリッドステートドライブ、ハードディスクドライブ等の記憶手段であり、制御部１１のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。また、記憶部１２は、画面ＤＢ１２１、及び指示ＤＢ１２２を記憶する。
【００２４】
接続部１３は、指示特定装置１が、検知装置２、照射装置３、及び撮影装置４と接続するためのインタフェースである。また、接続部１３は、指示特定システム９の外部に設けられた出力装置８と、有線又は無線により接続している。
【００２５】
図２は、指示特定システム９の動作を示すフロー図である。図３は、指示特定システム９が適用される車両Ｃの概略図である。検知装置２は、例えば、光電形、静電容量形、超音波形等の非接触で物体の近接を検知する近接センサや、ロードセルや揺動ゲート等、荷重や変位等による、接触した物体の検知センサであり、車両Ｃが決められた位置に存在していることを検知する（ステップＳ１０１）。
【００２６】
照射装置３は、検知装置２が決められた位置で車両Ｃを検知したことを契機として、この車両Ｃの窓ガラスに向けて光を照射する（ステップＳ１０２）。この光は、利用者に指示を促す情報（操作画面）を窓ガラスに表示させる光である。
【００２７】
なお、照射装置３は、検知装置２による検知を契機とせずに、例えば常時、光を照射してもよい。利用者は、この光が照射された位置に窓ガラスが配置されるように車両Ｃを移動させればよい。
【００２８】
また、車両における窓ガラスの位置は例えば車種ごとに上下方向、左右方向等が異なっていることがある。ここで、照射装置３は、以下のようにして適切な位置に画像を照射すればよい。すなわち、撮影装置４で撮像した画像に基づいて、指示特定装置１の制御部１１が車両Ｃの窓ガラスの位置を、エッジ検出アルゴリズム等を用いて認識する。そして、指示特定装置１は、認識した窓ガラスの位置の情報に基づいて、照射装置３に対し、光を照射する角度や焦点距離等を調節するための制御信号を送る。これにより、照射装置３は、窓ガラスの存在する適切な位置に光を照射する。
【００２９】
撮影装置４は、照射装置３により光が照射された窓ガラスを撮影し、撮影された画像を示す画像データを指示特定装置１に供給する。撮影装置４は、照射装置３による光の照射のタイミングで撮影を開始してもよいし、常時、撮影をしてもよい。
【００３０】
指示特定装置１の制御部１１は、接続部１３を介して撮影装置４から画像データを取得すると、この画像データが示す画像から車両の利用者の、操作画面に対する指示を特定する（ステップＳ１０３）。制御部１１は、例えば、取得した画像データが示す画像から、上述した光によって表示される、利用者に指示を促す情報の３次元空間上の位置と、利用者が動かす指示体の３次元空間上の位置とを特定し、記憶部１２に記憶されている画面ＤＢ１２１及び指示ＤＢ１２２を参照して、利用者の指示を特定する。３次元空間上の位置とは、例えば、撮影装置４から見た上下左右の情報に加えて深さ方向の情報も含んで構成される位置である。この深さ方向の情報は、例えば、焦点深度等に基づいて特定される。また、指示特定システム９は、複数の撮影装置４を備え、それら複数の撮影装置４のうち、２つの撮影装置４が撮像した画像の視差角に基づいて、この深さ方向の情報を特定してもよい。
【００３１】
図４は、記憶部１２が記憶する画面ＤＢ１２１の一例を示す図である。画面ＤＢ１２１は、照射装置３が照射した光によって、利用者に指示を促す情報として窓ガラスに表示される画面と、その画面に対する利用者の指示を利用者の操作と対応付けるデータベースである。画面ＤＢ１２１は、画面リスト１２１１と、領域リスト１２１２とを含む。
【００３２】
画面リスト１２１１は、上述した画面の識別情報（画面ＩＤ）と、その画面を示すデータ（画面データ）とを対応付けて記憶するリストである。
【００３３】
領域リスト１２１２は、画面に含まれる領域と、その領域の内側のいずれかの位置が利用者の指示体により指し示されたときに、その領域が示す操作の内容を示す操作情報と、を対応付けて記憶したリストであり、複数の画面の画面ＩＤごとにそれぞれ設けられている。
【００３４】
指示特定装置１の制御部１１は、撮影装置４から画像データを取得すると、取得した画像データが示す画像から、窓ガラスに表示される画面と、その画面に上下左右及び深さ方向が重なる、又は所定距離以内に近づいている利用者の指示体の位置とを特定する。制御部１１は、キャニー法等のいわゆるエッジ検出アルゴリズムを実行する画像解析処理によって窓ガラスに表示される画面と、指示体の位置とを特定してもよい。また、制御部１１は、異なる時間に撮影された２つの画像をそれぞれ示す画像データの差分から、上述した画面と、利用者の指示体の位置を特定してもよい。
【００３５】
制御部１１は、上述した画面と、利用者の指示体の位置を特定すると、指示体の位置が決められた条件を満たしているか否かを判断する。そして、制御部１１は、指示体の位置が決められた条件を満たしたときに、その位置に相当する画面における領域を特定する。そして、制御部１１は、特定した領域に対応付けられた、利用者の操作内容を示す操作情報を画面ＤＢ１２１に基づいて特定する。
【００３６】
図５は、記憶部１２が記憶する指示ＤＢ１２２の一例を示す図である。図５に示す指示ＤＢ１２２は、操作情報の順序で決まる操作情報の列（操作情報列）と、利用者が意図した指示の内容を示す指示情報と、その指示情報が示す指示がされたときに利用者に対する表示が遷移する画面の画面ＩＤ（遷移画面ＩＤ）と、を対応付けて記憶するデータベースである。
【００３７】
制御部１１は、画面ＤＢ１２１を参照して制御部１１が特定した操作情報の順序、又は組合せにより、利用者が意図した指示の内容を示す指示情報を特定する。そして、制御部１１は、特定した指示情報と対応付けられた遷移画面ＩＤを特定して、特定した遷移画面ＩＤで識別される遷移画面に表示を遷移させるように照射装置３に指示する。
【００３８】
図６は、照射装置３が窓ガラスＷに向けて照射した光の経路を説明する図である。図６に示す窓ガラスＷは断面であり、この窓ガラスＷよりも左側が車内、右側が車外である。
【００３９】
車外に設置された照射装置３から入射光Ｌ１が窓ガラスＷに向けて照射され、この窓ガラスＷに入射すると、入射光Ｌ１は窓ガラスＷを透過して透過光Ｌ２として車内を進む。また、窓ガラスＷで入射光Ｌ１は反射し、反射光Ｌ３が車外を進む。
【００４０】
散乱光Ｌ４は、透過光Ｌ２が窓ガラスＷを透過するときに窓ガラスＷの内側の面で散乱する光である。窓ガラスＷは、均一ではなく、内側の表面には汚れもあるため、透過光Ｌ２が散乱して、車両の車内にいる搭乗者に視認される。
【００４１】
図７は、車内から窓ガラスＷに表示される画面を見た例を示す図である。照射装置３によって、窓ガラスＷには、利用者に指示を促す情報である操作画面Ｐが、散乱光によって表示される。操作画面Ｐは、「選択して下さい」という文字列の下に３つのボタンが表示された画面である。図７に示す例では、利用者は指示体である手Ｈの人差し指により、「Ｃ」という文字が描かれたボタンが指し示されている。
【００４２】
図８は、車外から撮影した窓ガラスＷの例を示す図である。利用者が図７に示す操作をしているとき、撮影装置４は、車外から窓ガラスＷを撮影する。このとき撮影装置４は、図６に示す正反射光である反射光Ｌ３のほか、入射光Ｌ１に対する拡散反射光（図６において図示せず）により窓ガラスＷに投影された操作画面Ｐを撮影する。操作画面Ｐは車両に搭乗している利用者から読み取れる文字列が記述されているため、車外からこの操作画面Ｐを撮影すると、これらの文字列は反転している。
【００４３】
撮影装置４が撮影した画像において、操作画面Ｐと利用者の手Ｈの人差し指とが重なる部分がある。指示特定装置１の制御部１１は、撮影装置４が撮影した画像を、画面ＤＢ１２１を参照して解析し、手Ｈの人差し指が重なる位置が含まれる操作画面Ｐの領域を特定する。そして、制御部１１は、特定した領域に対応付けられた操作情報を特定すると、指示ＤＢ１２２を参照して、その前に特定された操作情報の履歴から操作情報列を特定し、その操作情報列に対応付けられた指示情報と遷移画面ＩＤとを特定する。
【００４４】
図８に示す画像が撮影された場合、制御部１１は、利用者が「Ａ」という文字が描かれたボタンＢａでも、「Ｂ」という文字が描かれたボタンＢｂでもなく、「Ｃ」という文字が描かれたボタンＢｃを選択する指示をしたことを特定する。
【００４５】
操作画面に対する利用者の指示を特定すると（ステップＳ１０３）、制御部１１は、特定した指示の内容に応じて利用者に指示の確認を促す情報（確認画面）を表示させる光を、照射装置３に照射させる（ステップＳ１０４）。これにより、窓ガラスＷ（図７、８参照）に表示されていた操作画面Ｐは、確認画面Ｐｘに切り替わる。
【００４６】
図９は、確認画面Ｐｘの例を示す図である。確認画面Ｐｘは、図９に示す通り、「Ｃ」という文字列と、その下の「が選択されました。」という文字列からなるメッセージ領域Ｍｘと、メッセージ領域Ｍｘの下に表示される、「承認」という文字列が描かれたボタンＢｋと、「取消」という文字列が描かれたボタンＢｘと、を含む。
【００４７】
図９に示す確認画面Ｐｘが窓ガラスＷに表示されると、撮影装置４は、窓ガラスを撮影して、撮影された画像を示す画像データを指示特定装置１に供給し、指示特定装置１の制御部１１は、撮影装置４から画像データを取得して車両の利用者の、確認画面Ｐｘに対する指示を特定する（ステップＳ１０５）。
【００４８】
制御部１１は、特定した指示の内容を解析して、「取消」という文字列が描かれたボタンＢｘが利用者に押されたか否かを判断する（ステップＳ１０６）。ボタンＢｘが押されたと判断した場合（ステップＳ１０６；ＹＥＳ）、制御部１１は、処理をステップＳ１０２に戻す。その結果、特定された指示の内容はリセットされ、操作画面Ｐが再度表示される。
【００４９】
一方、ボタンＢｘが押されていないと判断した場合（ステップＳ１０６；ＮＯ）、制御部１１は、特定した指示の内容を解析して、「承認」という文字列が描かれたボタンＢｋが利用者に押されたか否かを判断する（ステップＳ１０７）。ボタンＢｋが押されていないと判断した場合（ステップＳ１０７；ＮＯ）、制御部１１は、処理をステップＳ１０５
に戻す。その結果、確認画面Ｐｘの表示は維持され、引き続きこの確認画面Ｐｘに対する利用者の指示の特定が行われる。
【００５０】
一方、ボタンＢｋが押されたと判断した場合（ステップＳ１０７；ＹＥＳ）、制御部１１は、ステップＳ１０３で特定した、利用者の操作画面Ｐに対する指示の内容を出力装置８に出力させて（ステップＳ１０８）、処理を終了する。
なお、ステップＳ１０５において、所定の時間が経過しても、ボタンＢｘ及びボタンＢｋのいずれもが押されず、利用者の指示が特定されない場合に、制御部１１は、利用者に再入力を促してもよい。この場合、制御部１１は、例えば「タイムオーバーです。再入力して下さい。」という、再入力を促すメッセージを窓ガラスＷに表示させる光を、照射装置３に照射させててもよい。そして、制御部１１は、例えば、この再入力を促すメッセージが所定時間にわたって表示された後に、処理をステップＳ１０２に戻してもよい。この処理により、指示特定システム９は、例えば、ステップＳ１０５においてボタンＢｘ及びボタンＢｋのいずれもが利用者の操作を受け付けなくなる、いわゆるハングアップの状態になっていても、所定の時間が経過することで、この状態を脱することが可能となる。
【００５１】
以上、説明した通り、指示特定装置１は、照射装置３に光を照射させて窓ガラスに操作画面Ｐを表示させ、その操作画面Ｐと利用者の手Ｈ等の指示体とを撮影装置４に撮影させ、撮影された画像を解析することで、利用者の指示を特定する。したがって、指示特定システム９において、指示特定装置１は、車内に特別な機材を設置することなく、窓ガラスを閉めきったままで、車両に搭乗した利用者の意思を示す指示を特定する。
【００５２】
なお、実施形態で説明された構成、形状、大きさ、及び配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。したがって本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【００５３】
＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
【００５４】
＜変形例１＞
上述した実施形態において、操作画面Ｐは、照射装置３が照射した光が窓ガラスＷを透過する際の散乱光によって表示されていたが、操作画面の表示の方法はこれに限られない。例えば、操作画面Ｐは、窓ガラスＷを透過した光の反射光により表示されてもよい。
【００５５】
図１０は、照射装置３が窓ガラスＷに向けて照射した光の他の経路を説明する図である。図１０に示す経路では、照射した光（入射光Ｌ１）は、窓ガラスＷを透過して透過光Ｌ２になり、透過光Ｌ２はさらに物体Ｊの表面で反射して散乱光Ｌ５と反射光Ｌ６とになる。
【００５６】
この場合、窓ガラスＷにおいて、利用者に指示を促す情報である操作画面Ｐ（図７、図８参照）は、透過光Ｌ２が物体Ｊの表面で反射して生成した散乱光Ｌ５及び反射光Ｌ６の少なくともいずれかにより、物体Ｊの表面に表示される。撮影装置４は、この物体Ｊの表面に表示された操作画面Ｐとその上に翳された利用者の指示体とを撮影すればよい。このとき、撮影装置４は、散乱光Ｌ５及び反射光Ｌ６の少なくともいずれかが、車両Ｃに備えられた窓ガラスを透過した光により、撮影をすればよい。なお、この窓ガラスは、入射光Ｌ１が入射した窓ガラスＷであってもよいし、他の窓ガラスであってもよい。
【００５７】
＜変形例２＞
ここで、変形例１における物体Ｊは、照射装置３によって光が照射された窓ガラスと異なる窓ガラスであってもよい。例えば、物体Ｊは、照射装置３によって光が照射された窓ガラスの反対側に設けられた窓ガラスであってもよい。この場合、照射装置３が例えば右側の前部座席に設けられた窓ガラスに向かって光を照射すると、この光はこの右側の窓ガラスを透過して車内を横断し、反対側にある左側の前部座席に設けられた窓ガラスに照射される。利用者は、左側の窓ガラスで反射する反射光により操作画面を認識すればよい。
【００５８】
＜変形例３＞
上述した実施形態において、制御部１１は、撮影装置４から取得した画像データが示す画像から、窓ガラスに表示される画面と、その画面に重なる利用者の指示体の位置とを特定し、指示体の位置が決められた条件を満たしたときに、その位置に相当する画面における領域を特定し、領域に応じた指示を特定していたが、領域を特定する態様はこれに限られない。制御部１１は、上述した画像に含まれる、利用者が動かす指示体の位置の経時変化から領域を特定することで利用者の指示を特定してもよい。また、制御部１１が特定する画面及び指示体の位置は、３次元空間上の位置に限られず、例えば、深さ方向の情報等を含まない二次元空間上の位置であってもよい。
【００５９】
図１１は、利用者が動かす指示体の位置の経時変化を説明するための図である。図１１に示すグラフは上段が指示体の横方向の位置を示すＸ座標の経時変化を表したグラフであり、下段が指示体の縦方向の位置を示すＹ座標の経時変化を表したグラフである。図１１に示す時刻ｔ０から時刻ｔ１までの期間で、指示体のＸ座標及びＹ座標は単位時間当たりに決められた範囲を超えて移動している。この状態において、制御部１１は、指示体が操作画面Ｐいずれの領域も指し示していないと解釈し、指示体の状態の監視を継続する。
【００６０】
一方、時刻ｔ１以降で指示体のＸ座標及びＹ座標の単位時間当たりの移動量は決められた範囲を超えていない。時刻ｔ１から決められた時間が経過した時刻である時刻ｔ２に至るまでこの状態が続くと、制御部１１は、操作画面Ｐのいずれかの領域が指示体によって指し示されたと解釈し、その領域を特定することによって、その領域に対応付けられた利用者の指示を特定する。
【００６１】
＜変形例４＞
また、制御部１１は、撮影装置４から取得した画像データが示す画像に含まれる、利用者が動かす指示体の形状から利用者の指示体が指し示す領域を特定してこの領域に対応付けられた利用者の指示を特定してもよい。
【００６２】
図１２は、指示体の形状の変化を説明するための図である。利用者の手Ｈのうち人差し指等の指Ｈ１は、利用者が操作画面Ｐのうちどの領域を指し示しているかを特定するために用いられる部位である。手Ｈのうちの指Ｈ１は、エッジ検出により検出された輪郭と、その輪郭と予め記憶された輪郭のパターンとの照合をして制御部１１により特定される。指Ｈ１が窓ガラスＷに触れていないとき、図１２（ａ）に示す通り、指Ｈ１は指の本来の形状である曲面を維持している。
【００６３】
一方、指Ｈ１が窓ガラスＷに触れて窓ガラスＷを押すと、指Ｈ１の表面には、窓ガラスＷに沿って変形した変形部Ｈ２が生じる（図１２（ｂ）参照）。この変形部Ｈ２は、窓ガラスＷに沿っているため平面である。変形部Ｈ２は、指Ｈ１の他の部分と異なる形状であるため、撮影装置４で撮影された画像では、例えば、その境界線や変形部Ｈ２の内部等が、他の部分と異なる色や形状で現れる。制御部１１は、この画像における変形部Ｈ２の形状を画像処理によって認識した場合に、利用者の指示体が指し示している領域を特定して、利用者の指示を特定すればよい。
【００６４】
＜変形例５＞
図１及び図３に破線で示す通り、指示特定システム９は、測定装置５を備えてもよい。この測定装置５は、例えば赤外線等の電磁波を窓ガラスＷに向けて照射して、窓ガラスＷを透過して車内に存在する物体で反射した反射波を捉え、この反射波に基づいて測定装置５からこの物体までの距離を測定する距離センサ等である。接続部１３は、測定装置５と接続する。
【００６５】
指示特定装置１の制御部１１は、例えば、撮影装置４が撮影した画像のうち、照射装置３によって窓ガラスＷの上に表示されている操作画面Ｐの占める面積の割合を算出し、算出した割合に基づいて撮影装置４から窓ガラスＷまでの距離を推定する。そして、制御部１１は、推定された撮影装置４から窓ガラスＷまでの距離と、測定装置５が測定した距離と、に基づいて、反射波を返した物体と窓ガラスＷとの位置関係を特定する。そして、物体と窓ガラスＷとが接触していると判断する場合に、利用者の指示体が指し示している領域を特定して、利用者の指示を特定すればよい。
【００６６】
＜変形例６＞
指示特定装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネットなどの通信回線経由でダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサなどが用いられる。
【符号の説明】
【００６７】
１…指示特定装置、１１…制御部、１２…記憶部、１２１…画面ＤＢ、１２１１…画面リスト、１２１２…領域リスト、１２２…指示ＤＢ、１３…接続部、２…検知装置、３…照射装置、４…撮影装置、５…測定装置、８…出力装置、９…指示特定システム。
【図１】
2020091639.tif 000003
【図２】
2020091639.tif 000004
【図３】
2020091639.tif 000005
【図４】
2020091639.tif 000006
【図５】
2020091639.tif 000007
【図６】
2020091639.tif 000008
【図７】
2020091639.tif 000009
【図８】
2020091639.tif 000010
【図９】
2020091639.tif 000011
【図１０】
2020091639.tif 000012
【図１１】
2020091639.tif 000013
【図１２】
2020091639.tif 000014