(57)【要約】【課題】簡易な構成によって運転者以外による操作を許容できる技術を提供する。【解決手段】カメラを備えた携帯端末に対するユーザの操作を受け付ける操作受付システムであって、前記カメラが撮像した判定画像に基づいて、前記携帯端末に対する操作が車両の運転席のユーザによるものであるか否かを判定する判定部と、前記携帯端末に対する操作が前記運転席のユーザによるものでない場合に操作の受付制限を解除する解除部と、を備える。【選択図】図２
2020077043.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備えた携帯端末に対するユーザの操作を受け付ける操作受付システムであって、
前記カメラが撮像した判定画像に基づいて、前記携帯端末に対する操作が車両の運転席のユーザによるものであるか否かを判定する判定部と、
前記携帯端末に対する操作が前記運転席のユーザによるものでない場合に操作の受付制限を解除する解除部と、
を備える操作受付システム。
【請求項２】
ユーザの操作とは、前記カメラの主光軸方向と反対側の面に備えられたタッチパネルに対する操作であり、
前記判定部は、前記運転席の正面前方に存在する車両構造物の像が前記判定画像に含まれる場合に、前記携帯端末に対する操作が前記運転席のユーザによるものでないと判定する、
請求項１に記載の操作受付システム。
【請求項３】
前記判定部は、前記車両構造物の像が前記判定画像に含まれない場合であっても、前記判定画像の撮像時における前記カメラの主光軸方向が車両の進行方向前方からずれている場合には、前記携帯端末に対する操作が前記運転席のユーザによるものであると判定する、
請求項２に記載の操作受付システム。
【請求項４】
前記判定部は、前記車両構造物の像が前記判定画像に含まれない場合であっても、前記携帯端末がユーザの体の正面前方にて保持されていない場合には、前記携帯端末に対する操作が前記運転席のユーザによるものであると判定する、
請求項２または請求項３のいずれか一項に記載の操作受付システム。
【請求項５】
前記判定部は、ユーザの顔の像が、前記カメラと主光軸方向が反対方向となるように前記携帯端末に備えられた補助カメラが撮像した画像である補助判定画像に含まれる場合に、前記携帯端末がユーザの体の正面前方にて保持されていると判定する、
請求項４に記載の操作受付システム。
【請求項６】
前記判定部は、前記受付制限の解除後においては前記車両構造物の像が前記判定画像に含まれる否かの判定を停止し、
前記解除部は、前記携帯端末がユーザの体の正面前方にて継続して保持されている期間において前記受付制限の解除を継続する、
請求項２から請求項５のいずれか一項に記載の操作受付システム。
【請求項７】
前記解除部は、車両の走行中における前記携帯端末に対する操作が前記運転席のユーザによるものでない場合に前記受付制限を解除する、
請求項１から請求項６のいずれか一項に記載の操作受付システム。
【請求項８】
カメラを備えた携帯端末に対するユーザの操作を受け付ける機能をコンピュータに実現させる操作受付プログラムであって、
前記コンピュータを、
前記カメラが撮像した判定画像に基づいて、前記携帯端末に対する操作が車両の運転席のユーザによるものであるか否かを判定する判定部、
前記携帯端末に対する操作が前記運転席のユーザによるものでない場合に操作の受付制限を解除する解除部、
として機能させる操作受付プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作受付システムおよび操作受付プログラムに関する。
【背景技術】
【０００２】
運転者と携帯機器の操作者とが同一でない場合に、当該携帯機器に対する操作を有効とする技術が知られている（特許文献１、参照。）。特許文献１において、操作者の電位がステアリングホイール等の運転操作部の電位と同じである場合に、運転者と携帯機器の操作者とが同一であると判定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３３５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、ステアリングホイール等の運転操作部に電位を検出するためのセンサを設置しなければならないという問題があった。また、センサが検出した電位に基づいて操作を有効とするか否かを判定する車載機器が必要となるため、携帯機器単独では操作を有効とするか否かを制御できないという問題もあった。
本発明は、前記課題にかんがみてなされたもので、簡易な構成によって運転者以外による操作を許容できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記の目的を達成するため、本発明の操作受付システムは、カメラを備えた携帯端末に対するユーザの操作を受け付ける操作受付システムであって、カメラが撮像した判定画像に基づいて、携帯端末に対する操作が車両の運転席のユーザによるものであるか否かを判定する判定部と、携帯端末に対する操作が運転席のユーザによるものでない場合に操作の受付制限を解除する解除部と、を備える。
【０００６】
前記の目的を達成するため、本発明の操作受付プログラムは、カメラを備えた携帯端末に対するユーザの操作を受け付ける機能をコンピュータに実現させる操作受付プログラムであって、コンピュータを、カメラが撮像した判定画像に基づいて、携帯端末に対する操作が車両の運転席のユーザによるものであるか否かを判定する判定部、携帯端末に対する操作が運転席のユーザによるものでない場合に操作の受付制限を解除する解除部、として機能させる。
【０００７】
以上説明した本発明の構成において、携帯端末に対する操作が運転席のユーザによるものでない場合に受付制限を解除するため、運転席のユーザ以外による携帯端末の操作を許容できる。カメラが撮像した判定画像に基づいて、携帯端末に対する操作が運転席のユーザによるものであるか否かを判定するため、簡易な構成とすることができる。通常、携帯端末に備えられるカメラを利用すればよいため、特別なセンサを設置しなくても済むとともに、当該センサと携帯端末との間の通信が必要となることもない。
【図面の簡単な説明】
【０００８】
【図１】スマートフォン（操作受付システム）のブロック図である。
【図２】図２Ａはスマートフォンの斜視図，図２Ｂ，図２Ｃは車両の内部の模式図である。
【図３】操作受付処理のフローチャートである。
【図４】解除継続処理のフローチャートである。
【発明を実施するための形態】
【０００９】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）操作受付システムの構成：
（２）操作受付処理：
（３）解除継続処理：
（４）他の実施形態：
【００１０】
（１）操作受付システムの構成：
図１は、本発明の一実施形態にかかる操作受付システムとしてのスマートフォン１０の構成を示すブロック図である。スマートフォン１０は、車両に搭載された車載器１００と通信可能な携帯端末である。図示しないが、スマートフォン１０は、乗員によって車両内に持ち込まれている。スマートフォン１０は、カメラを備え、ユーザの操作を受け付ける携帯端末である。
【００１１】
車載器１００は、車両に搭載されたコンピュータである。車載器１００は、制御部１２０と通信部１４０と測位部１５０とを備える。制御部１２０は、ＣＰＵとＲＡＭとＲＯＭ等を備えたコンピュータであり、図示しない各種プログラムを実行する。本実施形態において、制御部１２０はカーナビゲーションプログラムやメディアプレーヤープログラムを実行する。
【００１２】
通信部１４０は、スマートフォン１０と無線通信を行うための通信回路である。本実施形態において、車両内に持ち込まれたスマートフォン１０と車載器１００との間の通信が可能であり、車両外のスマートフォン１０と車載器１００との間の通信が不能となる通信規格が採用されている。具体的に、通信部１４０は、ブルートゥース（登録商標）による通信や赤外線通信を行うための通信回路であってもよい。
【００１３】
測位部１５０は、車両の現在地や進行方向を算出するために必要な情報を取得するセンサであり、ＧＮＳＳ（Global Navigation Satellite System）受信部や車速センサやジャイロセンサ等を備える。制御部１２０は、車両の進行方向と車速とを取得し、当該進行方向と車速とを示すデータをスマートフォン１０に送信する。
【００１４】
スマートフォン１０は、制御部２０と記録媒体３０と通信部４０と測位部５０とリアカメラ６０とフロントカメラ７０とタッチパネルディスプレイ８０とを備えている。制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備えたコンピュータであり、記録媒体３０等に記録された操作受付プログラム２１を実行する。通信部４０は、車両内において車載器１００と無線通信を行うための無線通信回路である。
【００１５】
記録媒体３０は、判定画像データ３０ａと補助判定画像データ３０ｂとを記録する。判定画像データ３０ａはリアカメラ６０によって撮像された判定画像の画像データであり、補助判定画像データ３０ｂはフロントカメラ７０によって撮像された補助判定画像の画像データである。判定画像データ３０ａと補助判定画像データ３０ｂは、制御部２０による画像認識処理の対象となる。
【００１６】
測位部５０は、スマートフォン１０の姿勢（３次元姿勢角）を特定するために必要な情報を取得するセンサであり、ＧＮＳＳ受信部や加速度センサやジャイロセンサや地磁気センサ等を備える。図２Ａは、スマートフォン１０の斜視図である。スマートフォン１０は、平面板状であり、一方の面にタッチパネルディスプレイ８０を備えている。タッチパネルディスプレイ８０は、任意の画像を表示する出力装置としてのディスプレイと、ユーザの指等の接触操作を検知する入力装置としてのタッチパネルとを含む。
【００１７】
以下、タッチパネルディスプレイ８０が設けられた面を前面と表記し、タッチパネルディスプレイ８０の裏側の面を背面と表記する。スマートフォン１０の前面と背面は互いに平行である。スマートフォン１０の前面にはフロントカメラ７０が備えられている。スマートフォン１０の背面にはリアカメラ６０が備えられている。リアカメラ６０の主光軸の方向である主光軸方向Ｄ１はスマートフォン１０の前面および背面に直交する。フロントカメラ７０の主光軸の方向である補助主光軸方向Ｄ２もスマートフォン１０の前面および背面に直交する。
【００１８】
すなわち、フロントカメラ７０とリアカメラ６０の主光軸の方向Ｄ１，Ｄ２は互いに平行かつ反対である。なお、リアカメラ６０が本発明のカメラに該当し、フロントカメラ７０が本発明の補助カメラに該当する。リアカメラ６０は、いわゆるメインカメラであり、複数のカメラによって構成されてもよい。フロントカメラ７０は、いわゆるインカメラであり、複数のカメラによって構成されてもよい。
【００１９】
ユーザは、タッチパネルディスプレイ８０に対して操作を行う。本実施形態において、ユーザの操作とは、リアカメラ６０の主光軸方向Ｄ１と反対側の面に備えられたタッチパネルディスプレイ８０に対する操作である。例えば、ユーザは、カーナビゲーションやメディアプレーヤーにおける所望の動作を車載器１００に行わせるための操作を、タッチパネルディスプレイ８０に対して行う。制御部２０は、測位部５０が検出した信号に基づいて、リアカメラ６０の主光軸方向Ｄ１と、フロントカメラ７０の補助主光軸方向Ｄ２とを３次元空間において特定する。
【００２０】
次に、スマートフォン１０のソフトウェア構成を説明する。操作受付プログラム２１は、判定モジュール２１ａと解除モジュール２１ｂとを含む。判定モジュール２１ａと解除モジュール２１ｂとは、それぞれコンピュータとしての制御部２０を判定部と解除部として機能させるプログラムモジュールである。なお、スマートフォン１０の機能により制御部２０は、スマートフォン１０が車両内に持ち込まれている期間においては、原則的にタッチパネルディスプレイ８０に対する操作を受け付けないようにする。なお、制御部２０は、車載器１００との通信が可能な場合に、スマートフォン１０が車両内に持ち込まれていると判定する。
【００２１】
判定モジュール２１ａの機能により制御部２０は、カメラ６０，７０が撮像した判定画像に基づいて、スマートフォン１０に対する操作が車両の運転席のユーザによるものであるか否かを判定する。具体的に、判定モジュール２１ａの機能により制御部２０は、運転席の正面前方に存在する車両構造物の像が判定画像に含まれる場合に、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。より具体的に、制御部２０は、運転席の正面前方に存在する車両構造物としてのステアリングホイールＷの像がリアカメラ６０が撮像した判定画像に含まれる場合に、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。
【００２２】
図２Ａ，図２Ｂは、車両の内部を示す平面模式図である。図２Ａ，図２Ｂにおいて、スマートフォン１０を矩形で示し、タッチパネルディスプレイ８０を太線で示し、リアカメラ６０の主光軸方向Ｄ１を実線矢印で示し、フロントカメラ７０の補助主光軸方向Ｄ２を破線矢印で示す。運転席と助手席と後部座席に着座するユーザの頭部Ｈ１〜Ｈ３を模式的に示す。なお、図２Ａ，図２Ｂでは、図示の簡略化のため、タッチパネルディスプレイ８０が鉛直方向となるようにスマートフォン１０を図示しているが、現実にはタッチパネルディスプレイ８０は鉛直方向になるとは限らない。
【００２３】
制御部２０は、リアカメラ６０が撮像した判定画像を示す判定画像データ３０ａを記録媒体３０に記録するとともに、判定画像に対して公知の画像認識処理を適用することにより、判定画像にステアリングホイールＷの像が含まれるか否かを判定する。例えば、制御部２０は、判定画像とステアリングホイールＷのテンプレート画像とのテンプレートマッチングを行ってもよいし、円形・楕円抽出処理によってステアリングホイールＷの像が含まれるか否かを判定する。判定画像内にステアリングホイールＷの全体の像が含まれなくてもよく、例えば判定画像にステアリングホイールＷのうち一定（例えば面積率４０％）以上の像が含まれる場合に、スマートフォン１０に対する操作が運転席のユーザによるものであると判定してもよい。
【００２４】
図２Ｂの保持状態Ｐ１のように、ステアリングホイールＷの正面にてスマートフォン１０が保持された場合、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されることとなる。
【００２５】
さらに、判定モジュール２１ａの機能により制御部２０は、車両構造物の像が判定画像に含まれない場合であっても、判定画像の撮像時におけるリアカメラ６０の主光軸方向Ｄ１が車両の進行方向前方Ｄ３からずれている場合には、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。すなわち、制御部２０は、リアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれない場合であっても、リアカメラ６０の主光軸方向Ｄ１が車両の進行方向前方Ｄ３からずれている場合には、運転席のユーザがタッチパネルディスプレイ８０を操作していると判定する。
【００２６】
制御部２０は、測位部５０の信号に基づいてリアカメラ６０の主光軸方向Ｄ１を取得するとともに、車載器１００との通信により車両の進行方向前方Ｄ３を取得する。そして、制御部２０は、リアカメラ６０の主光軸方向Ｄ１と車両の進行方向前方Ｄ３との間のずれ角が閾値（例えば４５度）以上である場合に、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。
【００２７】
図２Ｂの保持状態Ｐ２のように、ステアリングホイールＷを避けるように主光軸方向Ｄ１を左方向に傾けてスマートフォン１０が保持された場合、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されることとなる。図示しないが、主光軸方向Ｄ１を右方向や上下方向に傾けてスマートフォン１０が保持された場合にも、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されることとなる。
【００２８】
また、判定モジュール２１ａの機能により制御部２０は、車両構造物の像が判定画像に含まれない場合であっても、スマートフォン１０がユーザの体の正面前方にて保持されていない場合には、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。具体的に、判定モジュール２１ａの機能により制御部２０は、ユーザの顔の像が、カメラ（リアカメラ６０）と主光軸方向が反対方向となるようにスマートフォン１０に備えられた補助カメラ（フロントカメラ７０）が撮像した画像である補助判定画像に含まれる場合に、スマートフォン１０がユーザの体の正面前方にて保持されていると判定する。
【００２９】
制御部２０は、フロントカメラ７０が撮像した補助判定画像を示す補助判定画像データ３０ｂを記録媒体３０に記録するとともに、補助判定画像に対して公知の画像認識処理を適用することにより、補助判定画像に人物の顔の像が含まれるか否かを判定する。補助判定画像内に人物の顔の全体の像が含まれなくてもよく、制御部２０は、例えば補助判定画像に人物の顔のうち一定（例えば面積率８０％）以上の像が含まれる場合に、スマートフォン１０がユーザの体の正面前方にて保持されていると判定する。
【００３０】
図２Ｂの保持状態Ｐ３のように、頭部Ｈ１の位置を運転席のヘッドレストの位置に保ったままステアリングホイールＷがリアカメラ６０の画角外となる位置まで腕を左方向に伸ばしてスマートフォン１０が保持された場合、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されることとなる。図示しないが、右方向や上下方向に腕を伸ばしてスマートフォン１０が保持された場合にも、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されることとなる。
【００３１】
図２Ｂの保持状態Ｐ４においては、リアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれず、リアカメラ６０の主光軸方向Ｄ１が車両の進行方向前方Ｄ３とほぼ一致し、かつ、フロントカメラ７０が撮像した補助判定画像に後部座席のユーザ（頭部Ｈ３）の顔の像が含まれることとなる。図２Ｂの保持状態Ｐ５においては、リアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれず、リアカメラ６０の主光軸方向Ｄ１が車両の進行方向前方Ｄ３とほぼ一致し、かつ、フロントカメラ７０が撮像した補助判定画像に助手席のユーザ（頭部Ｈ２）の顔の像が含まれることとなる。従って、保持状態Ｐ４，Ｐ５のようにスマートフォン１０が保持された状態でタッチパネルディスプレイ８０が操作された場合、スマートフォン１０に対する操作が運転席のユーザによるものであると判定されないこととなる。
【００３２】
解除モジュール２１ｂの機能により制御部２０は、スマートフォン１０に対する操作が運転席のユーザによるものでない場合に操作の受付制限を解除する。上述したように、スマートフォン１０が車両内に持ち込まれている場合においては、原則的にタッチパネルディスプレイ８０に対する操作を受け付けないようにする。ただし、制御部２０は、スマートフォン１０のタッチパネルディスプレイ８０に対して操作が行われ、かつ、当該操作が運転席のユーザ以外のユーザによって行われたものであると判定できた場合には、例外的に操作の受付制限を解除する。つまり、制御部２０は、運転席のユーザ以外のユーザによる操作を有効なものとして受け付ける。
【００３３】
さらに、解除モジュール２１ｂの機能により制御部２０は、車両の走行中におけるスマートフォン１０に対する操作が運転席のユーザによるものでない場合に受付制限を解除する。すなわち、制御部２０は、車両が停止中である場合には、スマートフォン１０に対する操作が運転席のユーザによるものでなくても、受付制限を解除しない。車両が走行中であるとは、例えば車載器１００から取得した車速の絶対値が停止基準速度（例えば３ｋｍ／時）以上であることであってもよい。
【００３４】
また、判定モジュール２１ａの機能により制御部２０は、操作の受付制限の解除後においては車両構造物の像が判定画像に含まれる否かの判定を停止する。そして、解除モジュール２１ｂの機能により制御部２０は、スマートフォン１０がユーザの体の正面前方にて継続して保持されている期間において受付制限の解除を継続する。
【００３５】
すなわち、一旦、受付制限を解除すると、制御部２０は、仮にリアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれることとなった場合でも受付制限の解除を継続する。ただし、制御部２０は、スマートフォン１０がユーザの体の正面前方にて継続して保持されなくなった段階で受付制限を再開する。
【００３６】
例えば、図２Ｂ，図２Ｃの保持状態Ｐ５において操作の受付制限を解除がされ、その後、図２Ｃの保持状態Ｐ７のように運転席のユーザにスマートフォン１０を受け渡そうとして、途中の保持状態Ｐ６となったとすると、操作の受付制限が再開されることとなる。図２Ｂ，図２Ｃの保持状態Ｐ４において操作の受付制限を解除がされ、その後、図２Ｃの保持状態Ｐ８のように後部座席のユーザが顔の正面で好きな方向にスマートフォン１０を傾けて操作を行った場合、仮にリアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれることとなった場合でも操作の受付制限の解除が継続されることとなる。
【００３７】
以上説明した本実施形態において、スマートフォン１０に対する操作が運転席のユーザによるものでない場合に受付制限を解除するため、運転席のユーザ以外によるスマートフォン１０の操作を許容できる。リアカメラ６０が撮像した判定画像に基づいて、スマートフォン１０に対する操作が運転席のユーザによるものであるか否かを判定するため、簡易な構成とすることができる。通常、スマートフォン１０に備えられるリアカメラ６０を利用すればよいため、特別なセンサを設置しなくても済むとともに、当該センサとスマートフォン１０との間の通信が必要となることもない。
【００３８】
また、前方を向いて車両を運転している運転席のユーザがタッチパネルディスプレイ８０を操作する際には、リアカメラ６０の主光軸方向Ｄ１は運転席の正面前方となる。従って、運転席の正面前方に存在するステアリングホイールＷの像が判定画像に含まれる場合には、車両を運転している運転席のユーザによってスマートフォン１０が操作されていると判定することができる。
【００３９】
制御部２０は、判定画像の撮像時におけるリアカメラ６０の主光軸方向Ｄ１が車両の進行方向前方Ｄ３からずれている場合には、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。これにより、図２Ｂの保持状態Ｐ２のように、運転席のユーザが進行方向前方Ｄ３からリアカメラ６０の主光軸方向Ｄ１をずらすことにより、ステアリングホイールＷが撮像されないようにする不正が行われる可能性を低減できる。
【００４０】
制御部２０は、スマートフォン１０がユーザの体の正面前方にて保持されていない場合には、スマートフォン１０に対する操作が運転席のユーザによるものであると判定する。これにより、図２Ｂの保持状態Ｐ３のように、運転席のユーザがスマートフォン１０を保持した手を助手席等まで伸ばして撮像することにより、ステアリングホイールＷが撮像されないようにする不正が行われる可能性を低減できる。
【００４１】
制御部２０は、ユーザの顔の像が、フロントカメラ７０が撮像した画像である補助判定画像に含まれる場合に、スマートフォン１０がユーザの体の正面前方にて保持されていると判定する。これにより、スマートフォン１０がユーザの体の正面前方にて保持されているか否かについても、スマートフォン１０に備えられたフロントカメラ７０が撮像した画像に基づいて判定できる。
【００４２】
また、解除モジュール２１ｂの機能により制御部２０は、スマートフォン１０がユーザの体の正面前方にて継続して保持されている期間において受付制限の解除を継続する。すなわち、受付制限の解除後においては、ステアリングホイールＷの像が判定画像に含まれるようにスマートフォン１０が保持されていても操作を受け付ける。これにより、図２Ｃの保持状態Ｐ８のように、受付制限の解除後においては、運転席のユーザ以外のユーザが好きな方向にスマートフォン１０を保持して操作を行うことができる。ただし、図２Ｃの保持状態Ｐ６のように、スマートフォン１０がユーザの体の正面前方にて継続して保持されなくなった場合には、受付制限の解除が継続されなくする。これにより、助手席等のユーザが受付制限を解除した後に、運転席のユーザにスマートフォン１０を受け渡すような不正が行われないようにすることができる。
【００４３】
すなわち、制御部２０は、車両の停止中におけるスマートフォン１０に対する操作が運転席のユーザによるものでない場合には受付制限を解除しないようにする。これにより、車両が信号待ち等のために停止している間に運転者が運転席以外の座席に移動して受付制限を解除するような不正が行われる可能性を低減できる。
【００４４】
（２）操作受付処理：
図３は、操作受付処理のフローチャートである。操作受付処理は、車両内においてスマートフォン１０のタッチパネルディスプレイ８０に対して何らかの操作が行われたことをトリガーとして実行される処理である。例えば、当該操作は、受付解除を要求するための専用の操作であってもよく、タッチパネルディスプレイ８０の特定箇所を特定の接触パターンで接触する操作であってもよい。操作受付処理の開始時において、操作の受付制限が行われていることとする。
【００４５】
まず、解除モジュール２１ｂの機能により制御部２０は、車速を取得する（ステップＳ１００）。すなわち、制御部２０は、車載器１００の測位部１５０が検知した現在の車速を取得する。むろん、制御部２０は、スマートフォン１０の測位部５０が検出した信号に基づいて車速を取得してもよい。
【００４６】
次に、解除モジュール２１ｂの機能により制御部２０は、車両が走行中であるか否かを判定する（ステップＳ１１０）。具体的に、制御部２０は、車載器１００から取得した車速の絶対値が停止基準速度（例えば３ｋｍ／時）以上である場合に、車両が走行中であると判定する。
【００４７】
車両が走行中であると判定しなかった場合（ステップＳ１１０：Ｎ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を解除しない（ステップＳ１２０）。すなわち、車両の停止中において運転者が運転席以外の座席に移動することによって不正に操作の受付制限を解除する可能性を低減するために、制御部２０は、車両の停止中において操作の受付制限を解除しない。
【００４８】
一方、車両が走行中であると判定した場合（ステップＳ１１０：Ｙ）、判定モジュール２１ａの機能により制御部２０は、車両の進行方向を取得する（ステップＳ１３０）。すなわち、制御部２０は、車載器１００の測位部１５０にて検出された車両の進行方向を取得する。
【００４９】
次に、判定モジュール２１ａの機能により制御部２０は、リアカメラ６０が車両の進行方向前方Ｄ３を向いているか否かを判定する（ステップＳ１４０）。具体的に、制御部２０は、リアカメラ６０の主光軸方向Ｄ１と車両の進行方向前方Ｄ３との間のずれ角が閾値（例えば４５度）以下である場合に、リアカメラ６０が車両の進行方向前方Ｄ３を向いていると判定する。
【００５０】
リアカメラ６０が車両の進行方向前方Ｄ３を向いていると判定しなかった場合（ステップＳ１４０：Ｎ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を解除しない（ステップＳ１２０）。すなわち、ステアリングホイールＷが撮像されないように運転席のユーザがスマートフォン１０を傾けて操作を行うことによって不正に操作の受付制限を解除する可能性を低減するために、制御部２０は、リアカメラ６０が車両の進行方向前方Ｄ３を向いていない場合に操作の受付制限を解除しない（図２Ｂの保持状態Ｐ２）。
【００５１】
リアカメラ６０が車両の進行方向前方Ｄ３を向いていると判定した場合（ステップＳ１４０：Ｙ）、判定モジュール２１ａの機能により制御部２０は、判定画像の画像認識処理を行う（ステップＳ１５０）。すなわち、制御部２０は、主光軸方向Ｄ１が車両の進行方向前方Ｄ３を向いているリアカメラ６０によって撮像された判定画像において、ステアリングホイールＷの像を認識する。
【００５２】
次に、判定モジュール２１ａの機能により制御部２０は、判定画像にステアリングホイールＷの像があるか否かを判定する（ステップＳ１６０）。具体的に、制御部２０は、判定画像にステアリングホイールＷの像（例えば面積率が全体の４０％以上）が含まれているか否かを判定する。
【００５３】
判定画像にステアリングホイールＷの像があると判定した場合（ステップＳ１６０：Ｙ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を解除しない（ステップＳ１２０）。すなわち、運転席のユーザによるスマートフォン１０の操作を防止するために、制御部２０は、リアカメラ６０が撮像した判定画像にステアリングホイールＷの像が含まれる場合に操作の受付制限を解除しない（図２Ｂの保持状態Ｐ１）。
【００５４】
一方、判定画像にステアリングホイールＷの像があると判定しなかった場合（ステップＳ１６０：Ｎ）、判定モジュール２１ａの機能により制御部２０は、補助判定画像の画像認識処理を行う（ステップＳ１７０）。すなわち、制御部２０は、ユーザが操作を行っているタッチパネルディスプレイ８０と同一の面（前面）に設けられたフロントカメラ７０によって撮像された補助判定画像において、人物の顔の像を認識する。
【００５５】
次に、判定モジュール２１ａの機能により制御部２０は、補助判定画像に人物の顔の像があるか否かを判定する（ステップＳ１８０）。具体的に、制御部２０は、補助判定画像に人物の顔の像（例えば面積率が全体の８０％以上）が含まれているか否かを判定する。補助判定画像に人物の顔の像があることは、スマートフォン１０がユーザの体の正面前方にて保持されていることを意味する。
【００５６】
なお、制御部２０は、操作の受付制限の解除をするためのＵＩ画像をタッチパネルディスプレイ８０に表示してもよく、例えば"顔の正面でスマートフォンを操作して下さい"というメッセージをタッチパネルディスプレイ８０等に出力してもよい。このとき、制御部２０は、補助判定画像をタッチパネルディスプレイ８０に表示し、顔の像が補助判定画像に含まれているか否かをユーザが確認できるようにしてもよい。
【００５７】
補助判定画像に人物の顔の像があると判定しなかった場合（ステップＳ１８０：Ｎ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を解除しない（ステップＳ１２０）。すなわち、運転席のユーザがスマートフォン１０を保持した手を助手席等まで伸ばして判定画像を撮像することによって不正に操作の受付制限を解除する可能性を低減するために、制御部２０は、スマートフォン１０がユーザの体の正面前方にて保持されていない場合に操作の受付制限を解除しない（図２Ｂの保持状態Ｐ３）。
【００５８】
一方、補助判定画像に人物の顔の像があると判定した場合（ステップＳ１８０：Ｙ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を解除する（ステップＳ１９０）。すなわち、制御部２０は、スマートフォン１０に対する操作が運転席のユーザ以外のユーザによって行われていると判定し、操作の受付制限を解除する。受付制限を解除すると、後述する解除継続処理において受付制限を再開するまでは、制御部２０は、タッチパネルディスプレイ８０に対する後続の操作を順次受け付ける。例えば、制御部２０は、カーナビゲーションやメディアプレーヤーにおける所望の動作を車載器１００に行わせるための操作を受け付ける。
【００５９】
（３）解除継続処理：
図４は、解除継続処理のフローチャートである。解除継続処理は、操作の受付制限が解除されている期間において一定の時間周期（例えば１秒）ごとに実行される処理である。図４の解除継続処理のステップＳ２００，Ｓ２１０，Ｓ２７０，Ｓ２８０は、図３の操作受付処理のステップＳ１００，Ｓ１１０，Ｓ１７０，Ｓ１８０と同様である。図４の解除継続処理は、図３の操作受付処理からリアカメラ６０（判定画像）について処理を省略した処理となっている。すなわち、判定モジュール２１ａの機能により制御部２０は、受付制限の解除後においてはステアリングホイールＷの像が判定画像に含まれる否かの判定を停止する。
【００６０】
図４の解除継続処理において、補助判定画像に人物の顔の像があると判定しなかった場合（ステップＳ２８０：Ｎ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を再開する（ステップＳ２２０）。すなわち、運転席のユーザ以外のユーザが操作の受付制限を解除した後に、スマートフォン１０を運転席のユーザに手渡して不正に操作を行う可能性を低減するために、制御部２０は、スマートフォン１０がユーザの体の正面前方にて継続して保持されていない場合に操作の受付制限を再開する（図２Ｃの保持状態Ｐ６，Ｐ７）。
【００６１】
補助判定画像に人物の顔の像があると判定した場合（ステップＳ２８０：Ｙ）、解除モジュール２１ｂの機能により制御部２０は、操作の受付制限を継続する（ステップＳ２９０）。すなわち、制御部２０は、スマートフォン１０に対する操作が運転席のユーザ以外のユーザによって継続して行われていると判定し、操作の受付制限を解除したままとする。ここでは、スマートフォン１０がユーザの体の正面前方にて継続して保持されていれば、スマートフォン１０が保持されている方向は不問となる（図２Ｃの保持状態Ｐ８）。
【００６２】
（４）他の実施形態：
本発明において、図３の操作受付処理の処理順序は特に限定されず、例えばステップＳ１００，Ｓ１１０の処理がステップＳ１８０とステップＳ１９０の間に実行されてもよい。さらに、図３の操作受付処理において、少なくともステップＳ１２０，ステップＳ１５０，Ｓ１６０，Ｓ１９０が実行されればよく、他の処理が省略されてもよい。例えば、ステップＳ１００，Ｓ１１０を省略することにより、操作の受付制限を解除するための条件として車両が走行中であることを不問としてもよい。また、フロントカメラ７０を備えないスマートフォン１０においてステップＳ１７０，Ｓ１８０が省略されてもよい。
【００６３】
前記実施形態において、制御部２０は、ステアリングホイールＷの像が判定画像に含まれないことをもって、運手席のユーザ以外がスマートフォン１０を操作していると判定した。しかし、制御部２０は、運手席以外の座席の前方に存在する構造物の像が判定画像に含まれることをもって、運手席のユーザ以外がスマートフォン１０を操作していると判定してもよい。例えば、制御部２０は、前方の座席のヘッドレスト等の像が判定画像に含まれていることをもって、後部座席（２列目以降）のユーザがスマートフォン１０を操作していると判定してもよい。
【００６４】
また、解除継続処理においても、図３の操作受付処理と同様に、ステアリングホイールＷの像が判定画像に含まるか否かに応じて、操作の受付制限を再開するか否かを判定してもよい。また、本発明を車載器１００が実現してもよく、車載器１００がスマートフォン１０から受信した判定画像や補助判定画像に基づいて、操作の受付制限を解除するか否かを判定してもよい。
【００６５】
また、制御部２０は、補助判定画像における人物の顔の像の大きさに基づいて、スマートフォン１０とユーザとの間の距離を推定し、当該距離が基準距離（例えば５０ｃｍ）以内である場合に、スマートフォン１０がユーザの体の正面前方にて保持されていると判定してもよい。これにより、運転席のユーザがスマートフォン１０を操作する際に、偶然、後部座席の乗員の顔が補助判定画像に映り込んだような場合に、操作の受付制限が解除される可能性を低減できる。
【００６６】
さらに、制御部２０は、補助判定画像における人物の顔の像の傾きが基準角度（例えば３０度）以内である場合に、スマートフォン１０がユーザの体の正面前方にて保持されていると判定してもよい。これにより、助手席側に傾けた顔の正面にてスマートフォン１０を保持することにより、ステアリングホイールＷがリアカメラ６０の画角外となった場合に、操作の受付制限が解除される可能性を低減できる。
【００６７】
また、本発明において、操作受付システムは、携帯端末に対するユーザの操作を受け付けるシステムであればよく、携帯端末に対するユーザの操作は特に限定されない。例えば、ユーザの操作は携帯端末そのものの動作を指示するための操作であってもよいし、携帯端末と通信可能な他の装置（車両、車載器等）の動作を指示するものであってもよい。また、操作受付システムは、携帯端末そのものであってもよいし、携帯端末と通信可能な他の装置であってもよい。具体的に、操作受付システムは、車両に搭載された車載器であってもよい。すなわち、車載器が携帯端末と通信を行うことにより、操作の受付制限を解除するか否かを携帯端末に指令してもよい。この場合、車載器は、通信を介して携帯端末のカメラが撮像した判定画像を取得してもよい。
【００６８】
携帯端末に対するユーザの操作の手法は特に限定されず、ユーザの注意が携帯端末に惹かれる操作であればよい。例えば、ユーザの操作は、携帯端末がユーザの特定の状態を検知することにより受け付けられる操作であればよく、携帯端末にユーザが手などを接触させて行う接触操作であってもよいし、非接触操作であってもよい。さらに、携帯端末は、カメラで撮像したユーザの画像おいてユーザの特定の状態（ジェスチャー）を画像認識することにより、操作を受け付けてもよい。
【００６９】
判定部は、カメラが撮像した判定画像に基づいて携帯端末に対する操作が運転席のユーザによるものであるか否かを判定すればよく、判定画像の画像認識結果に基づいて携帯端末が運転席のユーザによって操作されているか否かを判定してもよい。具体的に、判定部は、判定画像の画像認識結果に基づいて車両内における携帯端末の位置を推定し、当該携帯端末の位置が運転席付近である場合に、携帯端末が運転席のユーザによって操作されていると判定してもよい。判定部は、車両内において位置が固定されている物体の画像認識結果に基づいて携帯端末の位置を推定してもよい。位置が固定されている物体とは、車両の各種内装部品であってもよい。運転席のユーザとは、車両の走行時に運転席に着座するユーザであり、いわゆる運転者である。
【００７０】
解除部は、携帯端末が運転席のユーザによって操作されていない場合にユーザの操作の受付制限を解除すればよく、携帯端末が運転席のユーザによって操作されている場合には受付制限を維持すればよい。受付制限の対象となる操作は、すべての操作であってもよいし。一部の操作であってもよい。すなわち、受付制限の対象となる操作は、操作を行うためにユーザの注意が携帯端末に強く惹かれる操作に限定されてもよい。例えば、解除部は、携帯端末を見なくても手触り等によって操作可能な機械式スイッチに対する操作については受付制限を行わないようにし、タッチパネルディスプレイ上のＵＩ画像に対する操作については受付制限を行ってもよい。さらに、解除部は、タッチパネルディスプレイ上のＵＩ画像に対する操作の複雑度が基準以上の操作に限り、受付制限を行ってもよい。
【００７１】
具体的に、ユーザの操作とは、カメラの主光軸方向と反対側の面に備えられたタッチパネルに対する操作であってもよい。そして、判定部は、運転席の正面前方に存在する車両構造物の像が判定画像に含まれる場合に、携帯端末に対する操作が運転席のユーザによるものであると判定してもよい。前方を向いて車両を運転している運転席のユーザがタッチパネルを操作する際には、カメラの主光軸方向は運転席の正面前方となる。従って、運転席の正面前方に存在する車両構造物の像が判定画像に含まれる場合には、車両を運転している運転席のユーザによって携帯端末が操作されていると判定することができる。正面前方に存在する車両構造物は、ステアリングホイールであってもよいし、各種メータであってもよいし、運転席のユーザが操作するために備えられた車両のスイッチであってもよいし、後写鏡であってもよいし、Ａピラー（運転席側）であってもよい。さらに、判定部は、車両構造物の像の大きさに基づいて、車両構造物と携帯端末との間の距離を推定し、当該距離が一定の基準よりも短い場合に携帯端末に対する操作が運転席のユーザによるものであると判定してもよい。
【００７２】
さらに、判定部は、車両構造物の像が判定画像に含まれない場合であっても、判定画像の撮像時におけるカメラの主光軸方向が車両の進行方向前方からずれている場合には、携帯端末に対する操作が運転席のユーザによるものであると判定してもよい。これにより、運転席のユーザが進行方向前方からカメラの主光軸方向をずらすことにより、運転席の正面前方の車両構造物が撮像されないようにする不正が行われる可能性を低減できる。カメラの主光軸方向が車両の進行方向前方からずれている場合とは、カメラの主光軸方向と車両の進行方向前方とが水平面内においてなす角が基準角以上であることであってもよい。
【００７３】
また、判定部は、車両構造物の像が判定画像に含まれない場合であっても、携帯端末がユーザの体の正面前方にて保持されていない場合には、携帯端末に対する操作が運転席のユーザによるものであると判定してもよい。これにより、運転席のユーザが携帯端末を保持した手を助手席等まで伸ばして撮像することにより、運転席の正面前方に存在する車両構造物が撮像されないようにする不正が行われる可能性を低減できる。
【００７４】
さらに、判定部は、ユーザの顔の像が、カメラと主光軸方向が反対方向となるように携帯端末に備えられた補助カメラが撮像した画像である補助判定画像に含まれる場合に、携帯端末がユーザの体の正面前方にて保持されていると判定してもよい。これにより、携帯端末がユーザの体の正面前方にて保持されているか否かについても、携帯端末に備えられたカメラ（補助カメラ）が撮像した画像に基づいて判定できる。スマートフォン等の多くの携帯端末においては、タッチパネルの反対側の面にメインカメラが備えられ、タッチパネルの側の面に補助カメラが備えられる。この補助カメラを利用して、携帯端末がユーザの体の正面前方にて保持されているか否かを判定できる。
【００７５】
また、判定部は、受付制限の解除後においては車両構造物の像が判定画像に含まれる否かの判定を停止し、解除部は、携帯端末がユーザの体の正面前方にて継続して保持されている期間において受付制限の解除を継続してもよい。すなわち、受付制限の解除後においては、車両構造物の像が判定画像に含まれるように携帯端末が保持されていても操作を受け付ける。これにより、受付制限の解除後においては、運転席のユーザ以外のユーザが好きな方向に携帯端末を保持して操作を行うことができる。ただし、携帯端末がユーザの体の正面前方にて継続して保持されなくなった場合には、受付制限の解除が継続されなくする。これにより、助手席等のユーザが受付制限を解除した後に、運転席のユーザに携帯端末を受け渡すような不正が行われないようにすることができる。
【００７６】
さらに、解除部は、車両の走行中における携帯端末に対する操作が運転席のユーザによるものでない場合に受付制限を解除してもよい。すなわち、解除部は、車両の停止中における携帯端末に対する操作が運転席のユーザによるものでない場合には受付制限を解除しないようにしてもよい。これにより、車両が停止している間に運転者が運転席以外の座席に移動して受付制限を解除するような不正が行われる可能性を低減できる。
【００７７】
さらに、本発明のように、カメラが撮像した判定画像に基づいて操作の受付制限を解除する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えた操作受付システムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００７８】
１０…スマートフォン、２０…制御部、２１…操作受付プログラム、２１ａ…判定モジュール、２１ｂ…解除モジュール、３０…記録媒体、３０ａ…判定画像データ、３０ｂ…補助判定画像データ、４０…通信部、５０…測位部、６０…リアカメラ、７０…フロントカメラ、８０…タッチパネルディスプレイ、１００…車載器、１２０…制御部、１４０…通信部、１５０…測位部、Ｄ１…主光軸方向、Ｄ２…補助主光軸方向、Ｄ３…進行方向前方、Ｗ…ステアリングホイール
【図１】
2020077043.tif 000003
【図２】
2020077043.tif 000004
【図３】
2020077043.tif 000005
【図４】
2020077043.tif 000006