(57)【要約】  手指画像検出部（１１２）はカメラ撮影したフレーム画像からオペレータの手又は指を示す手指画像を検出する。操作領域特定部（１１３）は手指画像のフレーム画像全体における位置又は大きさに基づいてカメラの視野領域から操作領域を特定する。領域マッピング部（１１４）は特定された操作領域をディスプレイ領域にマッピングする。そして、操作入力信号生成部（１１５）は、マッピングされた操作領域における手指画像の位置、大きさ、形状の変化を検出し、その変化に基づいた操作入力信号を生成して出力する。
2016103769.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備える操作入力装置。
【請求項２】
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
請求項１に記載の操作入力装置。
【請求項３】
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記手指画像を検出する、
請求項１又は２に記載の操作入力装置。
【請求項４】
前記手指画像検出部は、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
請求項３に記載の操作入力装置。
【請求項５】
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
請求項１乃至４のいずれか１項に記載の操作入力装置。
【請求項６】
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
請求項１乃至４のいずれか１項に記載の操作入力装置。
【請求項７】
前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させる、
請求項１乃至６のいずれか１項に記載の操作入力装置。
【請求項８】
前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示する、
請求項７に記載の操作入力装置。
【請求項９】
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なＺ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成する、
請求項１乃至８のいずれか１項に記載の操作入力装置。
【請求項１０】
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のＹ軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成する、
請求項１乃至９のいずれか１項に記載の操作入力装置。
【請求項１１】
カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
を有する操作入力方法。
【請求項１２】
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報機器にオペレータの操作に係る情報を入力する操作入力装置、操作入力方法及びプログラムに関する。
【背景技術】
【０００２】
近年、オペレータが非接触で情報機器へ操作入力することのできる操作入力装置が多く開発されている。非接触の操作入力装置は、オペレータの操作負担を軽くすることができ、また手術現場、調理現場等において作業の途中でも情報機器を操作できる手段として注目されている。【０００３】
このような操作入力装置は、例えば、カメラでオペレータを撮影して画像解析し、画像解析結果に基づいて情報機器へ操作入力するものがある（例えば、特許文献１）。【０００４】
特許文献１に記載の操作制御装置は、ステレオカメラを用いてユーザの動作によって移動する手等を検出し、手等の動作を判定し、判定した動作に応じて表示領域内のカーソルを移動させるものである。この操作制御装置は、第１の検出対象の動作に基づいてカーソル及びカーソル可動領域を移動させ、第２の検出対象の動作に基づいて、カーソル可動領域内でカーソルのみを移動させる。この構成により、直感的かつ高精度に操作対象を操作することが可能になると説明している。【０００５】
本出願人も、カメラでオペレータを撮影した画像に基づく操作入力を実行する入力装置について出願を行った（例えば、特許文献２）。特許文献２に記載の入力装置は、並置した２つのビデオカメラでオペレータを撮影し、ビデオカメラからオペレータの手又は指までの距離を測定する。測定した距離が予め設定している奥行き距離の許容範囲内である場合に、手又は指の動きを検出する。その検出結果に応じて仮想カーソルを表示画面内で移動させ、又は選択操作等の各種操作を判別して操作入力信号を生成する。これにより、オペレータとノイズとなる背景とを識別でき、正確な操作入力信号を生成することができた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２８３６６号公報
【特許文献２】特開２０１２−２３８２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術によれば、第１、第２の検出対象を検出し、それぞれの動作に応じてカーソル又はカーソルの可動領域を移動させるため、２つの検出対象を追跡する処理が煩雑であった。またオペレータは第１の検出対象、第２の検出対象を意識した操作をする必要があり、オペレータの操作感覚とカーソルの動きにずれが生じることがあった。【０００８】
また、特許文献２に記載の入力装置は、オペレータがカメラの撮影空間内を移動する場合、又は、オペレータがカメラの視野を把握することなく操作をする場合等に、表示画面のうち操作が不能な領域ができるという課題があった。【０００９】
また、操作入力装置を単一のカメラを使用した簡易な構成とした場合に、カメラの視線方向の距離を測定することができないため、オペレータの位置が変わった場合にオペレータの手などの動作を正確に検出するのが困難であった。【００１０】
本発明は、上記実情に鑑みてなされたものであり、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことのできる操作入力装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の第１の観点に係る操作入力装置は、
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備えることを特徴とする。【００１２】
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定するようにしてもよい。【００１３】
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記手指画像を検出してもよい。【００１４】
前記手指画像検出部は、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出してもよい。【００１５】
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成するようにしてもよい。【００１６】
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成するようにしてもよい。【００１７】
前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させるようにしてもよい。【００１８】
前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示するようにしてもよい。【００１９】
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なＺ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成するようにしてもよい。【００２０】
前記手指画像検出部は、前記フレーム画像から２つの手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のＹ軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成するようにしてもよい。【００２１】
また、本発明の第２の観点に係る操作入力方法は、
カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
を有することを特徴とする。【００２２】
また、本発明の第３の観点に係るプログラムは、
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことが可能になる。
【図面の簡単な説明】
【００２４】
【図１】操作入力装置のハードウェア構成を示すブロック図である。
【図２】操作入力装置の機能構成を示す機能ブロック図である。
【図３】片手操作時の操作領域を示した図である。
【図４】両手操作時の操作領域を示した図である。
【図５】実施の形態１に係る操作領域とディスプレイ領域とのマッピングを示した図である。
【図６】操作入力処理のフローチャートである。
【図７】仮想カーソルを表示したときのディスプレイを示した図である。
【図８】（ａ）移動時のカーソルを示した図である。（ｂ）停止時のカーソルを示した図である。（ｃ）クリック操作の例を示した図である。（ｄ）クリック操作の例を示した図である。（ｅ）クリック時のカーソルを示した図である。
【図９】サブメニューの選択操作を示した図である。
【図１０】画像を拡大する操作を示した図である。
【図１１】フレーム画像を分割した分割領域を示した図である。
【図１２】実施の形態３に係る操作領域特定処理のフローチャートである。
【図１３】（ａ）ディスプレイとオペレータを上方から見た図である（ｂ）オペレータの手の位置とカメラが判別する手の位置との関係を示した図である。
【図１４】実施の形態４に係る操作領域とディスプレイ領域とのマッピングを示した図である。
【発明を実施するための形態】
【００２５】
（実施の形態１）
本発明の実施の形態１について図面を参照して詳細に説明する。
【００２６】
本実施の形態に係る操作入力装置１０は、オペレータの操作を判別して生成した操作入力信号に基づく処理を行う情報処理装置である。図１に示すように、操作入力装置１０は、ＣＰＵ（Central Processing Unit：中央処理装置）１１、カメラ１２、ＲＡＭ（Random Access Memory）１３、ディスプレイ１４、記憶部１５を備える。
【００２７】
操作入力装置１０は、操作入力処理のプログラムがインストールされたパソコン、スマートフォン、タブレット型端末等の任意の情報処理端末から構成される。カメラ１２はこれらの情報処理端末に内蔵されたウェブカメラ等でもよく、あるいは外部接続したカメラであってもよい。
【００２８】
カメラ１２は、カラー画像データをリアルタイム出力するカラーカメラである。カメラ１２は、視線方向をディスプレイ１４の表示面に略垂直で表示面から離れる方向に向けて設置されており、例えば、ディスプレイ１４の上縁に設置される。
【００２９】
ＲＡＭ１３は、高速にデータの読み書きが可能なメモリであり、カメラ１２が撮影した画像データや記憶部１５から読み出した画像データ等をＣＰＵ１１が実行するデータ処理のために一時保存する。
【００３０】
ディスプレイ１４は、画像、文字等の情報表示出力を行う表示装置であり、ＣＰＵ１１が生成する画像等を表示する。記憶部１５は、大容量の記憶装置であり、フラッシュメモリ等から構成される。カメラ１２が撮影した画像データや、ＣＰＵ１１の処理により生成した画像のデータを記憶する。また、記憶部１４は、ＣＰＵ１１が実行するプログラムを記憶する。
【００３１】
ＣＰＵ１１、ＲＡＭ１３は、記憶部１４に記憶している操作入力処理のプログラムを実行することにより、図２に示すように、画像取得部１１１、手指画像検出部１１２、操作領域特定部１１３、領域マッピング部１１４、操作入力信号生成部１１５、アプリケーション実行部１１６として機能する。
【００３２】
画像取得部１１１は、カメラ１２が撮影した画像データを取得する。画像取得部１１１はカメラ１２が撮影した画像データに含まれる所定のタイミングのフレーム画像を予め定めた時間間隔で手指画像検出部１１２に出力する。
【００３３】
手指画像検出部１１２は、画像取得部１１１から入力されるフレーム画像から、人の手又は指を示す手指画像を検出し、検出した手又は指の大きさ、位置の情報を取得する。人の手又は指の手指画像を検出する方法は、従来の任意の方法である。本実施の形態においては、手のひらを含む指を広げた手１０１の画像を検出する場合について説明する。
【００３４】
例えば、画像取得部１１１から入力されるフレーム画像に対してカラーマスクを用いて予め設定されている特定色（例えば、肌色）のカラー画像を抽出する。また、そのフレーム画像に対して２値化処理を行う。これらの処理で得られたカラーマスクの抽出画像と２値化画像との論理和を取り、肌色部分の手１０１の画像を検出するようにしてもよい。
【００３５】
また、連続する２以上のフレーム分のフレーム画像、又は２値化処理した２以上のフレーム分のフレーム画像に対してフレーム間差分処理を行い、得られた差分画像からヒストグラムを作成し、動作の変化が大きい活動エリアを特定して手１０１の画像を検出するようにしてもよい。
【００３６】
また、記憶部１５に予め人の手又は指のテンプレートを記憶しておき、画像取得部１１１から入力されるフレーム画像に対してテンプレートマッチングを行い手１０１の画像を検出するようにしてもよい。
【００３７】
手指画像検出部１１２が検出した手１０１の大きさ、位置、形状等の情報は操作領域特定部１１３及び操作入力信号生成部１１５に出力される。
【００３８】
操作領域特定部１１３は、手指画像検出部１１２から入力された手１０１の大きさ、位置、形状等の情報に基づいて、画像取得部１１１が取得するフレーム画像全体に当たるカメラの視野領域１００１からオペレータが操作に用いる操作領域１００２を特定する。操作領域特定部１１３は、オペレータが片手を用いて操作する場合の操作領域と、両手を用いて操作する場合の操作領域をそれぞれ特定する。
【００３９】
まず、オペレータが片手を用いて操作する場合の操作領域の特定方法の例について、図３を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作領域特定部１１３は、手指画像検出部１１２から入力される手１０１の幅Ｗと、手１０１の中心位置Ｐ１を取得する。そして、点Ｐ１を中心として、幅ｍ×Ｗの操作領域１００２を特定する。ここでｍは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
【００４０】
次に、オペレータが両手を用いて操作する場合の操作領域の特定方法の例について、図４を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作領域特定部１１３は、手指画像検出部１１２から入力された右の手１０１の中心位置Ｐ２と左の手１０１の中心位置Ｐ３を取得する。そして、点Ｐ２と点Ｐ３の中点を中心として、点Ｐ２と点Ｐ３との間の距離Ｌに対して幅ｎ×Ｌの操作領域１００３を特定する。ここでｎは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
【００４１】
操作領域特定部１１３が特定する操作領域１００２、１００３の高さは、手１０１の中心位置Ｐ１、Ｐ２、Ｐ３に基づいて決定した幅に対して所定の比率を乗じた値とする。このようにして特定した操作領域１００２、１００３の情報を領域マッピング部１１４に出力する。
【００４２】
領域マッピング部１１４は、操作領域特定部１１３より入力された操作領域１００２、１００３をディスプレイ１４の表示領域全体であるディスプレイ領域１００４にマッピングする。図５は、両手を用いた場合の操作領域１００３をディスプレイ領域１００４にマッピングした状態を示す。つまり、操作領域１００３の座標の間隔を縦方向、横方向にそれぞれ一定の比率で拡大して、操作領域１００３の座標をディスプレイ領域１００４の座標に対応づけたマッピング情報を生成し、操作入力信号生成部１１５に出力する。
【００４３】
操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の画像の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報と、領域マッピング部１１４で生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
【００４４】
具体的には、まず、操作入力信号生成部１１５は、ディスプレイ１４の表示画面にカーソルを表示させる。つまり、手指画像検出部１１２が検出した手１０１の中心位置の座標を、領域マッピング部１１４で生成したマッピング情報を用いて変換し、変換後のディスプレイ領域１００４の座標にカーソルを表示させる。
【００４５】
その後、操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報に応じて、ディスプレイ１４に表示されたアイコン等が示すアプリケーションの選択、実行等を指示する操作入力信号を生成する。そして生成した操作入力信号をアプリケーション実行部１１６に入力する。
【００４６】
アプリケーション実行部１１６は、操作入力信号生成部１１５から入力される操作入力信号に基づいて、アプリケーションを選択し、実行させる。
【００４７】
このように構成された操作入力装置１０の操作入力処理について、図６に示すフローチャートに沿って説明する。
【００４８】
操作入力処理は、手指画像検出部１１２が手１０１の画像を検出したときスタートする。手指画像検出部１１２は、手１０１の検出なしの状態から両手をほぼ同時に検出したとき、つまり２つの手を所定の時間以内に検出開始したとき、（ステップＳ１０１：Ｙｅｓ）、両手操作状態に設定する（ステップＳ１０２）。
【００４９】
操作領域特定部１１３は、図４の例に示すような両手の操作領域１００３を特定する（ステップＳ１０３）。領域マッピング部１１４は、操作領域特定部１１３が特定した操作領域１００３を、ディスプレイ領域１００４にマッピングする（ステップＳ１０４）。
【００５０】
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００３における両手の大きさ、相対位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ１０５）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
【００５１】
両手が継続的に検出され、片手又は手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１０６：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１０５）。
【００５２】
一方、片手又は手の検出なしに変化して一定時間以上経過した場合において（ステップＳ１０６：Ｙｅｓ）、片手に変化したときは（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に進む。手の検出なしに変化したときは（ステップＳ１０７：Ｎｏ）、処理を終了する。
【００５３】
ステップＳ１０１において、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出しなかったとき、つまり２つの手を所定の時間以内に検出開始しなかったとき、（ステップＳ１０１：Ｎｏ）、片手操作状態に設定する（ステップＳ１０８）。
【００５４】
操作領域特定部１１３は、図３の例に示すような片手の操作領域１００２を特定する（ステップＳ１０９）。領域マッピング部１１４は、操作領域特定部１１３が特定した操作領域１００２を、ディスプレイ領域１００４にマッピングする（ステップＳ１１０）。
【００５５】
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００２における片手の大きさ、位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ１１１）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
【００５６】
片手が継続的に検出され、手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１１２：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１１１）。
【００５７】
一方、手の検出なしに変化して一定時間以上経過した場合は（ステップＳ１１２：Ｙｅｓ）、処理を終了する。
【００５８】
ここで、ステップＳ１０５、Ｓ１１１で出力される操作入力信号に基づくディスプレイ１４の表示やアプリケーション実行部１１６の処理の具体例を説明する。
【００５９】
操作入力装置１０のディスプレイ１４に、図７に示すようなアイコン２００１や画像２００２が表示されている場合について説明する。画像２００２は画像表示アプリケーションにより表示されているものである。オペレータがカメラ１２の視野領域に手１０１を入れているときは、ディスプレイ１４はマッピング情報で変換された座標位置にカーソル２００３を表示する。
【００６０】
カーソル２００３の形状は、オペレータの操作が反映されているか否かが直感的に視認できる形状が望ましい。本実施の形態では、図７の画像上に表示されているように、一つの円と、その周囲に等間隔で配置された複数の円から構成されたカーソル２００３の形状を用いる。
【００６１】
カーソル２００３の色は、アイコン２００１又は画像２００２を選択可能な位置にあるか否かに応じて色を変える。図７の例では、中央に表示した画像２００２を選択可能な位置にあるため、カーソルの各円が黒丸なっている。カーソル２００３の位置が画像２００２から外れており選択可能でないときは白丸とする。
【００６２】
また、カーソル２００３が移動している時は図８（ａ）に示すように中央の円を移動方向にずらして表示する。一方、カーソル２００３が停止している時は図８（ｂ）に示すように中央の円が周囲の円の中心から等距離の点に位置するように表示する。
【００６３】
オペレータのクリック操作は、判別が容易な動作が望ましい。例えば、図８（ｃ）のように手を左右に細かく振る。あるいは、図８（ｄ）のように手を開いた状態から握る動作をする。操作入力信号生成部１１５は、このような操作を検出したときにクリック操作があったと判別し、図８（ｅ）に示すようにカーソル２００３の中央の円を左右に広げ楕円形状とする。これによりオペレータはクリック操作が判別されたことを知ることができる。
【００６４】
また、図９のように、手１０１を一定時間停止させたときにカーソル２００３の周囲にサブメニューの仮想ボタン２００４を表示させる。オペレータが各サブメニューの方へカーソル２００３を移動させることにより、サブメニューの選択をすることができる。
【００６５】
オペレータがカメラ１２の視野領域に両手を入れているときは、図１０に示すように２つのカーソル２００３を表示する。アプリケーション実行部１１６は、２つのカーソル２００３の相対位置の変化に対応した処理を実行させることができる。例えば、図１０に示すように、画像２００２内に２つのカーソル２００３を表示させ、それを互いに離反する方向に動かしたとき、その画像２００２を拡大する処理（ズームイン）を実行させる。一方、２つのカーソル２００３を互いに接近する方向に動かしたとき、この画像２００２を縮小する処理（ズームアウト）を実行させる。
【００６６】
２つのカーソル２００３の相対位置の変化に対応した処理の別の例として、片方のカーソル２００３のみを上下することでページアップ、ページダウンさせてもよい。また、２つのカーソル２００３を、２つのカーソル２００３の中間にある点を中心として同方向に回転させることにより、画像２００２を当該方向に回転させてもよい。
【００６７】
図１０の例においては、２つのカーソル２００３（両手の位置）の相対位置を変化させることにより、画像２００２の拡大縮小を行うとしたが、両手の画像の大きさの相対的な変化に応じて、画像２００２の拡大縮小を行うようにしてもよい。つまり、一方の手１０１を前に出す事により当該手１０１の大きさが相対的に大きくなったことを判別したとき又は一方の手１０１を後ろに引く事により当該手１０１の大きさが相対的に小さくなったことを判別したときに、ズームイン又はズームアウトする処理を実行してもよい。また、２つの手の相対的な大きさが変化した事を判別したときに、ディスプレイ１４の縦方向であるＹ軸を軸として画像２００２を回転させる処理を実行してもよい。
【００６８】
以上説明したように、本実施の形態においては、手指画像検出部１１２がカメラ撮影したフレーム画像からオペレータの手又は指を示す手指画像を検出し、操作領域特定部１１３が手指画像のフレーム画像全体における位置及び大きさに基づいてカメラの視野領域１００１から操作領域１００２、１００３を特定する。そして、領域マッピング部１１４が特定した操作領域１００２、１００３をディスプレイ領域１００４にマッピングする。操作入力信号生成部１１５が、マッピングされた操作領域１００２、１００３における手指画像の位置又は大きさ又は形状の情報あるいはこれらの時間変化の情報を取得し、これらの情報に基づいた操作入力信号を生成して出力することとした。これにより、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことができる。
【００６９】
（実施の形態２）
本発明の実施の形態２について図面を参照して詳細に説明する。
【００７０】
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有し、同様の操作入力処理を実行するが、手指画像検出部１１２が実行する手指画像（手１０１）の検出方法が異なる。手指画像の検出方法について詳細に説明する。
【００７１】
手指画像検出部１１２は、画像取得部１１１が取得したフレーム画像１００１を予め定めた数に分割する。そして、分割した分割領域を順に探索し、人の手又は指の手指画像を検出し、検出した手又は指の大きさ、位置の情報を取得する。例えば、図１１に示すように、分割領域１０１１、１０１２の順に探索し手指画像を検出する。分割領域内における手指画像を検出する方法は、実施の形態１と同様である。
【００７２】
手指画像検出部１１２が検出した手１０１の大きさ、位置、形状等の情報は操作領域特定部１１３及び操作入力信号生成部１１５に出力される。
【００７３】
ここで、全ての分割領域において手指画像を発見することができなかったときは、分割領域１０１１、１０１２の大きさを大きく又は小さく変更して（つまり画像を縮小又は拡大して）、再度分割領域内で手指画像を検出するようにしてもよい。
【００７４】
操作領域特定部１１３は、手指画像検出部１１２が検出した手指画像の位置又は大きさに基づいて操作領域１００２、１００３を特定する。
【００７５】
以上説明したように、本実施の形態においては、手指画像検出部１１２が、フレーム画像１００１を予め定めた数に分割した分割領域１０１１、１０１２を順に探索して手指画像を検出し、操作領域特定部１１３が検出した手指画像の位置又は大きさに基づいて操作領域を特定することとした。これにより、オペレータがカメラの視線方向において前後に移動したために、手指画像の大きさが大きく異なった場合であっても、手指画像を検出することができ、最適な操作領域１００２、１００３を特定することができる。
【００７６】
（実施の形態３）
本発明の実施の形態３について図面を参照して詳細に説明する。
【００７７】
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有するが、操作入力処理が異なる。図１２のフローチャートに沿って、詳細に説明する。
【００７８】
手指画像検出部１１２は、画像取得部１１１より入力された連続する過去ｋフレーム（ｋは２以上の整数）の画像の情報を取得する（ステップＳ２０１）。連続する過去ｋフレームの画像について、フレーム間の画素値の差分を示すヒストグラムを作成し、変化の大きい領域、つまり、画素値の差分が予め定めた範囲を超えている領域である画像変化領域を特定する（ステップＳ２０２）。
【００７９】
手指画像検出部１１２は、特定した画像変化領域の中で手指画像が存する領域を選択する（ステップＳ２０３）。画像変化領域内における手指画像の探索方法は実施の形態１と同様である。そして、操作領域特定部１１３は、選択した当該領域を含む予め定めた大きさの領域を操作領域１００２、１００３として特定する（ステップＳ２０４）。
【００８０】
そして、領域マッピング部１１４が、ステップＳ２０４で特定した操作領域１００２、１００３をディスプレイ領域１００４にマッピングする（ステップＳ２０５）。
【００８１】
ステップＳ２０４までの操作領域１００２、１００３を特定する過程で、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出していたとき、つまり２つの手を所定の時間以内に検出開始していたとき、（ステップＳ２０６：Ｙｅｓ）、両手操作状態に設定する（ステップＳ２０７）。
【００８２】
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００３における両手の大きさ、相対位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ２０８）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
【００８３】
両手が継続的に検出され、片手又は手の検出なしに変化して一定時間以上経過していない間は（ステップＳ２０９：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ２０８）。
【００８４】
一方、片手又は手の検出なしに変化して一定時間以上経過した場合において（ステップＳ２０９：Ｙｅｓ）、片手に変化したときは（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１１に進む。手の検出なしに変化したときは（ステップＳ２１０：Ｎｏ）、処理を終了する。
【００８５】
ステップＳ２０６において、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出していなかったとき、つまり２つの手を所定の時間以内に検出開始していなかったとき、（ステップＳ２０６：Ｎｏ）、片手操作状態に設定する（ステップＳ２１１）。
【００８６】
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００２における片手の大きさ、位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ２１２）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
【００８７】
片手が継続的に検出され、手の検出なしに変化して一定時間以上経過していない間は（ステップＳ２１３：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ２１２）。
【００８８】
一方、手の検出なしに変化して一定時間以上経過した場合は（ステップＳ２１３：Ｙｅｓ）、処理を終了する。
【００８９】
以上説明したように、本実施の形態においては、操作領域特定部１１３は、連続する複数のフレーム画像について、フレーム間の画素値の差分が予め定めた範囲を超えている画像変化領域を特定し、画像変化領域の中で、手指画像が存する領域を含む領域を操作領域として特定することとした。これにより、より正確に操作領域を特定し、適切な領域マッピングをすることができ、さらにオペレータの操作感覚に合致した操作入力を行うことが可能になる。
【００９０】
（実施の形態４）
本発明の実施の形態４について図面を参照して詳細に説明する。
【００９１】
本実施の形態に係る操作入力装置１０は、実施の形態１又は２と同様の構成を有し、同様の操作入力処理を実行するが、図６のステップＳ１０４、Ｓ１１０で領域マッピング部１１４が実行するマッピングの方法が異なる。マッピング方法について詳細に説明する。
【００９２】
操作領域特定部１１３は、実施の形態１又は２と同様に片手の操作領域１００２又は両手の操作領域１００３を特定する。
【００９３】
ここで、図１３（ａ）に示すように、人は腕の肘又は肩を中心として腕を動かすため、手１０１は肘又は肩を中心とした球殻上を移動する。このため、操作領域１００２、１００３の中央部分に手が位置するとき、つまり、人の胸部の前面に手１０１が位置するときは、手指画像検出部１１２が検出する手指画像の移動距離は、実際の手の移動距離にほぼ比例する。しかし、操作領域１００２、１００３の端部に手１０１が位置するとき、つまり人の胴体１０２から離れた位置に手があるときは、手指画像の移動距離は、実際の手の移動距離より小さくなる。
【００９４】
図１３（ｂ）を用いて説明すると、人がＡからＢに手を移動させたときの手指画像はＡ’からＢ’に移動するのに対し、人がＢからＣに手を移動させたときの手指画像はＢ’からＣ’に移動する。ＡＢ間の弧の長さと、ＢＣ間の弧の長さは等しいが、Ｂ’Ｃ’間の距離はＡ’Ｂ’間の距離と比較して短くなっている。
【００９５】
この実際の手の移動距離と手指画像の移動距離とのずれにより、オペレータの感覚とカーソルの動きにはずれが生じる。このずれを解消するために、領域マッピング部１１４は操作領域１００２、１００３内に凸面の仮想空間を想定し、ディスプレイ領域にマッピングする。
【００９６】
具体的には、領域マッピング部１１４は、図１４に示すように、表面に縦横それぞれに一定の間隔で配列した点を付した凸面を凸方向から見たような配列の点を操作領域１００２、１００３内に仮想する。言い換えると、凸面の表面上に縦横それぞれに一定の間隔で配列した点を凸方向から、凸方向に垂直な平面に投影した配列の点を仮想することとなる。
【００９７】
仮想した操作領域１００２、１００３内の点と、ディスプレイ領域１００４内に縦横それぞれ一定の間隔で配列した操作領域１００２、１００３内の点と同数の点と、を配列順に対応付ける。そして、操作領域１００２、１００３内の各点の座標をディスプレイ領域１００４の各点の座標に対応づけたマッピング情報を生成する。このマッピング情報を用いた場合、操作領域１００２、１００３の中央から端部に近づくにつれ、操作領域１００２、１００３に対するディスプレイ領域１００４の拡大率が高くなるようにマッピングすることとなる。
【００９８】
このようにして生成したマッピング情報を用いることで、オペレータの操作感覚とカーソルの移動のずれを軽減することができる。
【００９９】
操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の画像の大きさ、位置、形状の変化の情報と、領域マッピング部１１４で生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
【０１００】
以上説明したように、本実施の形態においては、領域マッピング部１１４が操作領域１００２、１００３内に仮想した凸面上に一定間隔で配列した点を凸方向から投影した配列の点の座標を、ディスプレイ領域１００４内の縦横に一定の間隔で配列した点の座標に対応付けしたマッピング情報を生成し、オペレータの操作の検出にそのマッピング情報を用いることとした。これにより、さらにオペレータの操作感覚に合致した操作入力を行うことが可能になる。
【０１０１】
このように本発明は、カメラが撮影したフレーム画像からオペレータの手又は指を示す手指画像を検出し、カメラの視野領域のうちオペレータの操作が有効な操作領域をディスプレイの表示領域にマッピングし、操作領域と表示領域との座標の対応関係を示すマッピング情報を生成する。そして、手指画像の操作領域における座標を、マッピング情報を用いて表示領域内の座標に変換し、変換された座標における手指画像の位置又は大きさ又は形状に基づいて、オペレータの操作入力を示す操作入力信号を生成することとした。これにより、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことが可能になる。
【０１０２】
なお、本発明は、本発明の広義の趣旨及び範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【０１０３】
例えば、操作領域特定部１１３は、片手の中心位置や幅又は両手の中心位置に基づいて操作領域１００２、１００３を特定するとしたが、他の部分の位置情報に基づいて操作領域１００２、１００３を特定しても良い。一例として、人の顔を認識し、顔の中心位置と手の中心位置の縦方向の距離に基づいて操作領域１００２、１００３の縦の長さを決定するようにしてもよい。
【０１０４】
また、操作領域特定部１１３が特定する操作領域１００２、１００３は、長方形であるとしたが、ディスプレイ１４の面方向とオペレータの体軸方向が平行でない場合を想定して、台形の操作領域を特定するようにしてもよい。
【０１０５】
また、手指画像検出部１１２は、指を全て広げた状態の手の画像を検出するとしたが、他の状態の手の画像を検出するようにしてもよい。例えば、１又は２本の指のみを立てた状態の手の画像を検出するようにしてもよい。この場合、１又は２本の指のみを立てた状態から５本の指を全て広げた状態に変化したときにクリック操作があったと判別するようにしてもよい。
【０１０６】
また、実施の形態３において、手指画像検出部１１２が連続する過去ｋフレームの画像について、画素値の変化の大きい画像変化領域を特定するとしたが、実施の形態２のようにフレーム画像１００１を予め定めた数に分割して、順に選択した分割領域において画像変化領域を特定するようにしてもよい。
【０１０７】
また、ＣＰＵ１１が実行した処理のプログラムを、既存のコンピュータ等の情報端末で実行させることにより、当該情報端末を本発明に係る操作入力装置１０として機能させることも可能である。
【０１０８】
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
【０１０９】
本出願は、２０１４年１２月２６日に出願された日本国特許出願特願２０１４−２６４５４６号に基づく。本明細書中に日本国特許出願特願２０１４−２６４５４６号の明細書、特許請求の範囲、及び図面全体を参照として取り込むものとする。
【符号の説明】
【０１１０】
１０…操作入力装置
１１…ＣＰＵ
１１１…画像取得部
１１２…手指画像検出部
１１３…操作領域特定部
１１４…領域マッピング部
１１５…操作入力信号生成部
１１６…アプリケーション実行部
１２…カメラ
１３…ＲＡＭ
１４…ディスプレイ
１５…記憶部
１０１…手
１０２…胴体
１００１…視野領域
１００２，１００３…操作領域
１００４…ディスプレイ領域
１０１１，１０１２…分割領域
２００１…アイコン
２００２…画像
２００３…カーソル
２００４…仮想ボタン
【図１】
2016103769.tif 000003
【図２】
2016103769.tif 000004
【図３】
2016103769.tif 000005
【図４】
2016103769.tif 000006
【図５】
2016103769.tif 000007
【図６】
2016103769.tif 000008
【図７】
2016103769.tif 000009
【図８】
2016103769.tif 000010
【図９】
2016103769.tif 000011
【図１０】
2016103769.tif 000012
【図１１】
2016103769.tif 000013
【図１２】
2016103769.tif 000014
【図１３】
2016103769.tif 000015
【図１４】
2016103769.tif 000016
【手続補正書】
【提出日】平成29年6月21日(2017.6.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
操作入力装置。
【請求項２】
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
操作入力装置。
【請求項３】
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
操作入力装置。
【請求項４】
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
操作入力装置。
【請求項５】
前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させる、
請求項１乃至４のいずれか１項に記載の操作入力装置。
【請求項６】
前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示する、
請求項５に記載の操作入力装置。
【請求項７】
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なＺ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成する、
請求項１乃至６のいずれか１項に記載の操作入力装置。
【請求項８】
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のＹ軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成する、
請求項１乃至７のいずれか１項に記載の操作入力装置。
【請求項９】
カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、を有し、
前記領域マッピングステップでは、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
操作入力方法。
【請求項１０】
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
プログラム。
【請求項１１】
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
プログラム。
【請求項１２】
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
プログラム。
【請求項１３】
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
プログラム。
【国際調査報告】
2016103769.tif 000017
2016103769.tif 000018