ユーザのビデオストリームの中から画像を取得するステップと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップと、を含むことを特徴とするジェスチャーに基づく人間と機械のインタラクション方法。前記ユーザのビデオストリームを取得し、ビデオストリームの中から画像を取得するステップは、カメラによりユーザのビデオストリームを取得して、ビデオストリームの中から連続する画像または所定値の間隔で断続する画像を取得する、ことを特徴とする請求項1に記載のジェスチャーに基づく人間と機械のインタラクション方法。前記前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップは、背景モデルを作成して、マスク画像を生成し、当該マスク画像により前記画像の背景を除去するステップと、予め設けられた第一色ブロック、第二色ブロック、第三色ブロックのテンプレートを取得し、前記画像により前記それぞれの色ブロックのヒストグラムを生成するステップと、前記それぞれの色ブロックのヒストグラムからそれぞれの色ブロックの確率分布図を算出するステップと、前記確率分布図の前記それぞれの色ブロックの質量中心を取得することにより前記三つの色ブロックの座標を取得するステップと、を含むことを特徴とする請求項2に記載のジェスチャーに基づく人間と機械のインタラクション方法。前記その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップは、前記第二色ブロックと第三色ブロックの座標間の直線距離を取得し、前記直線距離が予め設定された閾値より小さい場合、前記マウスの左ボタンが押下されたとシミュレートし、前記直線距離が前記閾値以上である場合、左ボタンの押下が解放されたとシミュレートする、ことを特徴とする請求項3に記載のジェスチャーに基づく人間と機械のインタラクション方法。前記予め設けられた色ブロックのテンプレートを取得することは、指に三つの色の異なる指カバーをつけ、前記指カバーの色を色ブロックのテンプレートとして記録する、ことを特徴とする請求項4に記載のジェスチャーに基づく人間と機械のインタラクション方法。前記それぞれの色ブロックのヒストグラムからそれぞれの色ブロックの確率分布図を算出するステップの後に、さらに、前記確率分布図に対して収縮処理を行い、ノイズを除去するステップと、前記確率分布図に対してガウス平滑化処理を行い、さらに、ガウス平滑化処理された確率分布図に対して閾値分割を行うステップと、を含むことを特徴とする請求項3に記載のジェスチャーに基づく人間と機械のインタラクション方法。ユーザのビデオストリームの中から画像を取得する取得モジュールと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得する位置決めモジュールと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートする変換モジュールと、を含むことを特徴とするジェスチャーに基づく人間と機械のインタラクションシステム。前記取得モジュールは、カメラによりユーザのビデオストリームを取得して、ビデオストリームの中から連続する画像または所定値の間隔で断続する画像を取得する、ことを特徴とする請求項7に記載のジェスチャーに基づく人間と機械のインタラクションシステム。前記位置決めモジュールは、背景モデルを作成して、マスク画像を生成し、当該マスク画像により前記画像の背景を除去する背景分割ユニットと、予め設けられた第一色ブロック、第二色ブロック、第三色ブロックのテンプレートを取得し、前記画像により前記それぞれの色ブロックのヒストグラムを生成するヒストグラムユニットと、前記それぞれの色ブロックのヒストグラムからそれぞれの色ブロックの確率分布図を算出する確率分布図ユニットと、前記確率分布図の前記それぞれの色ブロックの質量中心を取得することにより前記三つの色ブロックの座標を取得する色ブロック位置決めユニットと、を含むことを特徴とする請求項8に記載のジェスチャーに基づく人間と機械のインタラクションシステム。前記変換ユニットは、前記第二色ブロックと第三色ブロックの座標間の直線距離を取得し、前記直線距離が予め設定された閾値より小さい場合、前記マウスの左ボタンが押下されたとシミュレートし、前記直線距離が前記閾値以上である場合、左ボタンの押下が解放されたとシミュレートする、ことを特徴とする請求項9に記載のジェスチャーに基づく人間と機械のインタラクションシステム。指につけられた三つの色の異なる指カバーをさらに含み、前記指カバーの色を色ブロックのテンプレートとして記録する、ことを特徴とする請求項10に記載のジェスチャーに基づく人間と機械のインタラクションシステム。前記位置決めモジュールは、修正ユニットをさらに含み、前記修正ユニットは、ノイズ除去サブユニットおよび平滑化サブユニットを含み、前記ノイズ除去サブユニットは、前記確率分布図に対して収縮処理を行うことによりノイズを除去し、前記平滑化サブユニットは、前記確率分布図に対してガウス平滑化処理を行い、さらに、ガウス平滑化処理された確率分布図に対して閾値分割を行う、ことを特徴とする請求項9に記載のジェスチャーに基づく人間と機械のインタラクションシステム。一つまたは複数のコンピュータ実行可能命令を含むコンピュータ記録媒体であって、前記コンピュータ実行可能命令は、ジェスチャーに基づく人間と機械のインタラクション方法を実現するために使用され、前記方法は、ユーザのビデオストリームの中から画像を取得するステップと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップと、を含むことを特徴とするコンピュータ記録媒体。前記ユーザのビデオストリームを取得し、ビデオストリームの中から画像を取得するステップは、カメラによりユーザのビデオストリームを取得して、ビデオストリームの中から連続する画像または所定値の間隔で断続する画像を取得する、ことを特徴とする請求項13に記載のコンピュータ記録媒体。前記前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップは、背景モデルを作成して、マスク画像を生成し、当該マスク画像により前記画像の背景を除去するステップと、予め設けられた第一色ブロック、第二色ブロック、第三色ブロックのテンプレートを取得し、前記画像により前記それぞれの色ブロックのヒストグラムを生成するステップと、前記それぞれの色ブロックのヒストグラムからそれぞれの色ブロックの確率分布図を算出するステップと、前記確率分布図の前記それぞれの色ブロックの質量中心を取得することにより前記三つの色ブロックの座標を取得するステップと、を含むことを特徴とする請求項14に記載のコンピュータ記録媒体。前記その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップは、前記第二色ブロックと第三色ブロックの座標間の直線距離を取得し、前記直線距離が予め設定された閾値より小さい場合、前記マウスの左ボタンが押下されたとシミュレートし、前記直線距離が前記閾値以上である場合、左ボタンの押下が解放されたとシミュレートする、ことを特徴とする請求項15に記載のコンピュータ記録媒体。前記予め設けられた色ブロックのテンプレートを取得することは、指に三つの色の異なる指カバーをつけ、前記指カバーの色を色ブロックのテンプレートとして記録する、ことを特徴とする請求項16に記載のコンピュータ記録媒体。前記それぞれの色ブロックのヒストグラムからそれぞれの色ブロックの確率分布図を算出するステップの後に、さらに、前記確率分布図に対して収縮処理を行い、ノイズを除去するステップと、前記確率分布図に対してガウス平滑化処理を行い、さらに、ガウス平滑化処理された確率分布図に対して閾値分割を行うステップと、を含むことを特徴とする請求項15に記載のコンピュータ記録媒体。しかしながら、本発明を実現する過程において、発明者は、既存技術には少なくとも次のような問題点が存在していることに気付いた。音声入力の手法は、文字入力時の入力難易度を下げることはできるが、グラフィックインターフェースにおける応用には、さまざまな制限を受けてしまう。同様に、手書きペンの手法も、漢字の入力には優れているが、グラフィックインターフェースにおける使用の便利さは、マウスよりも劣っている。本発明は、既存技術におけるコンピュータなどの処理装置の音声、手書きペンなどによる人間と機械のインタラクション手法がグラフィックインターフェースに適用できない問題点を解決するためになされたものである。本発明は、ジェスチャーに基づく人間と機械のインタラクション方法およびシステム、コンピュータ記録媒体を提供することを目的とする。上記の目的を達成するための本発明に係るジェスチャーに基づく人間と機械のインタラクション方法は、ユーザのビデオストリームの中から画像を取得するステップと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップと、を含む。上記の目的を達成するための本発明に係るジェスチャーに基づく人間と機械のインタラクションシステムは、ユーザのビデオストリームの中から画像を取得する取得モジュールと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得する位置決めモジュールと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートする変換モジュールと、を含む。上記の目的を達成するための本発明に係るコンピュータ記録媒体は、一つまたは複数のコンピュータ実行可能命令を含むコンピュータ記録媒体であって、前記コンピュータ実行可能命令は、ジェスチャーに基づく人間と機械のインタラクション方法を実現するために使用される。前記方法は、ユーザのビデオストリームの中から画像を取得するステップと、前景の中から三つ以上の予め設けられた色ブロックの座標を取得するステップと、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートするステップと、含む。本発明に係るジェスチャーに基づく人間と機械のインタラクション方法およびシステム、コンピュータ記録媒体によれば、取得したユーザのビデオストリームを処理することにより、複数の予め設けられた色ブロックの座標を取得でき、複数の色ブロックの座標によりマウスの操作をシミュレートできる。したがって、既存のコンピュータなどの処理装置においても、非常に簡単な手法でジェスチャーに基づく人間と機械のインタラクションを実現でき、タッチパネルが無くてもタッチによりコントロールしたような効果を実現できる。本発明の目的、技術的思想および効果をさらに明確にするため、以下、添付した図面を参照しながら、本発明の実施形態を詳細に説明する。本発明に係る実施形態の設計思想は、ユーザのビデオ映像を取得することにより、ユーザの手の部分の移動情報を取得してマウスの操作をシミュレートすることである。三本の指に対応する色ブロックのテンプレートを予め取得し、かつ、取得したビデオ映像について処理することにより三本の指の位置を取得できる。そのうち、一本の指によりマウスの移動操作をシミュレートでき、その他の二本の指によりマウスのクリック操作をシミュレートできる。Intel社のOpenCVが画像処理するためのオープンソースコードを含むソースコードライブラリーを提供しているため、OpenCVコードについてプログラミングできる。以下、具体的な実施形態により本発明を詳細に説明する。<実施形態1>図1は、本実施形態に係るジェスチャーに基づく人間と機械のインタラクション方法のフローチャートである。<ステップ101>ユーザのビデオストリームを取得し、ビデオストリームの中から画像を取得する。<ステップ102>前景の中から三つ以上の予め設けられた色ブロックの座標を取得する。<ステップ103>第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートする。本実施形態に係るジェスチャーに基づく人間と機械のインタラクション方法によれば、取得したユーザのビデオストリームを処理することにより、複数の予め設けられた色ブロックの座標を取得でき、複数の色ブロックの座標によりマウスの操作をシミュレートできる。したがって、既存のコンピュータなどの処理装置においても、非常に簡単な手法でジェスチャーに基づく人間と機械のインタラクションを実現でき、タッチパネルが無くてもタッチによりコントロールしたような効果を実現できる。<実施形態2>本発明に係る第二実施形態は、第一実施形態を改善したものであって、そのフローチャートは図2に示すとおりである。<ステップ201>カメラによりユーザのビデオストリームを取得し、ビデオストリームの中から画像を抽出する。抽出する画像は、連続した画像であってもよいし、断続した画像であってもよい。ユーザの手の部分の移動速度はそれほど速くないため、ビデオストリーム中のすべての画像に対して処理する必要はない。したがって、システムの処理負荷を軽減できる。なお、より精確さを必要とする場合、ビデオストリーム中のすべての画像に対して処理してもよく、本実施形態はこれに限らない。<ステップ202>それぞれの画像について処理を行い、画像中の背景を除去して、前景を取得する。既存のオフィス、家庭内で使用する際、ビデオ映像における背景の変化は比較的小さいため、ビデオストリームの中から背景をとても簡単に確定できる。ステップ202は具体的には、次のステップを含む。<ステップ2021>CodeBookアルゴリズムにより背景モデルを作成し、マスク画像を生成する。当該マスク画像は、当該処理された画像と同じサイズにすることができ、また、白色で前景を示し、黒色で背景を示すことができる。<ステップ2022>当該マスク画像と当該処理された画像をマッチングし、対応する画像部分を除去する。当該マスク画像は、一つあるだけでよく、当該背景モデルによりそれぞれの画像の背景を除去して、前景を取得する。なお、CodeBookアルゴリズムにより前景を取得することは、本実施形態の一つの手法だけであって、本実施形態はこれに限らない。<ステップ203>予め設けられた色ブロックテンプレートにより、それぞれの予め設けられた色ブロックに対応するヒストグラムを取得する。本実施形態においては、片手の一本の指の移動によりマウスの移動をシミュレートする。また、他方の手の二本の指によりマウスの左ボタンのクリックをシミュレートする。そのため、少なくとも三つの予め設けられた色ブロックを同時に追跡する必要がある。さらに、当該三つの色ブロックをより区別しやすくするために、ユーザの指に三つの色の異なる区別しやすいカラーカバーをつけることができる。そして、これら三つのカラーカバーの色を色ブロックテンプレートとして記録する。こうすると、システムの算出処理を簡略化できる。本発明の一つの実施形態において、画像処理のコーディングは、Intel社のOpenCVを使用できる。OpenCVは、Intel社がサポートするオープンソースのコンピュータビジョン向けライブラリであって、商業的および非商業的に応用することはすべて無料である。OpenCV中のヒストグラム関数を使用すると、前景のヒストグラムを非常に簡単に算出できる。ここで、OpenCVの一連のヒストグラム関数は、DenseHistogramクラスに格納され、Calculate方法により画像のヒストグラムを簡単に計算できる。色ヒストグラムは、多くの画像検索システムで広く採用される色特徴であって、異なる色彩が全画像に占める比率を表している。色ヒストグラムは、自動分割の難しい画像を表すのに最も適している。上述の三つの色ブロックに対し、それぞれ次の操作を実行することにより、三つの色ブロックが対応する指の位置およびマウスのクリック操作を確定する。すなわち、上述のステップ203は、具体的に次のとおりである。<ステップ204>ステップ201により取得した画像、およびステップ203により取得した三つの色ブロックのヒストグラムを取得する。BackProjection逆投影アルゴリズムにより、それぞれの色ブロックの確率分布図を算出する。ヒストグラムから確率分布図を取得することは熟知された既存技術であるため、ここでは詳細な説明を省略する。<ステップ205>取得した確率分布図について処理を行い、上述の確率分布図をさらに最適化する。ステップ204において取得した確率分布図には、ノイズや鋸歯などが存在する可能性がある。そのため、ステップ205において画像に対してノイズ除去、平滑化処理などを行って、取得した色ブロックをより精確にすることが必要となる。ステップ205は、具体的には次のステップを含む。<ステップ2051>上述の確率分布図に対して収縮処理を行い、ノイズを除去する。<ステップ2052>上述の確率分布図に対してガウス平滑化処理を行い、さらに、ガウス平滑化処理された確率分布図に対して閾値分割を行う。画像の閾値分割とは、予め設けられた閾値に対し、画像のピクセルが閾値未満である場合、当該ピクセルを前景とみなし、画像のピクセルが閾値以上である場合、当該ピクセルを背景とみなす。<ステップ206>CAMShiftContinuouslyApativeMean-Shiftアルゴリズムにより確率分布図の質量中心を追跡して、上述した三つの色ブロックの中心点座標を取得する。ここで、CAMShiftアルゴリズムは、熟知されている物体追跡アルゴリズムであって、おもにビデオ映像中の運動物体の色情報により追跡の目的を実現する。BackProjectionアルゴリズムにより原画像を色彩確率分布画像に変換した後、CAMShiftアルゴリズムにより三つの色ブロックの中心点座標、すなわち、三つの色ブロックの座標を算出できる。<ステップ207>取得した三つの色ブロックの中心点座標をマウスの操作情報に変換する。すなわち、三つの色ブロックの中心点座標を取得した後、まず、第一色ブロックの座標をマウスの座標に変換する。次に、第二色ブロックと第三色ブロックの間の位置からマウスの左ボタンの操作を確定する。たとえば、第二色ブロックと第三色ブロックの距離によりマウスの左ボタンの操作をシミュレートできる。第二色ブロックと第三色ブロックの距離が予め設定された値より小さい場合、左ボタンが押下されたと確定し、第二色ブロックと第三色ブロックの距離が予め設定された値以上である場合、左ボタンの押下が解放されたと確定する。本実施形態の方法は、OpenCVのオープンソースコードのコードライブラリーにより、ジェスチャーにおける第一色ブロックをマウスの座標に変換でき、第二色ブロックと第三色ブロックをマウスのボタン操作に変換できる。したがって、簡単な手法によりジェスチャーに基づく人間と機械のインタラクションを実現できる。なお、三つの色ブロックを採用することは本実施形態の単なる一つの手法であって、本実施形態はこれに限らない。本発明はさらに、一つまたは複数のコンピュータ実行可能命令を含むコンピュータ記録媒体を提供する。前記コンピュータ実行可能命令は、ジェスチャーに基づく人間と機械のインタラクション方法を実現するために使用される。コンピュータ記録媒体中のコンピュータ実行可能命令によりジェスチャーに基づく人間と機械のインタラクションを実現する方法の詳細は、上述したとおりで、ここでは重複する説明を省略する。<実施形態3>図3は、本実施形態に係るジェスチャーに基づく人間と機械のインタラクションシステムの構成を示すブロック図である。当該システムは、取得モジュール1、位置決めモジュール2および変換モジュール3を含む。取得モジュール1は、ユーザのビデオストリームを取得し、ビデオストリームの中から画像を取得する。位置決めモジュール2は、前景の中から三つ以上の予め設けられた色ブロックの座標を取得する。変換モジュール3は、第一色ブロックの座標によりマウスの移動をシミュレートし、その他の色ブロックの座標によりマウスのクリック操作をシミュレートする。本実施形態に係るジェスチャーに基づく人間と機械のインタラクションシステムによれば、取得したユーザのビデオストリームを処理することにより、複数の予め設けられた色ブロックの座標を取得でき、複数の色ブロックの座標によりマウスの操作をシミュレートできる。したがって、既存のコンピュータなどの処理装置においても、非常に簡単な手法でジェスチャーに基づく人間と機械のインタラクションを実現でき、タッチパネルが無くてもタッチによりコントロールしたような効果を実現できる。<実施形態4>本発明に係る第四実施形態は、第三実施形態を改善したものであって、その構成は図4に示すとおりである。当該システムは、取得モジュール1、位置決めモジュール2および変換モジュール3を含む。取得モジュール1は、カメラによりユーザのビデオストリームを取得し、ビデオストリームの中から画像を抽出する。抽出する画像は、連続した画像であってもよいし、断続した画像であってもよい。ユーザの手の部分の移動速度はそれほど速くないため、ビデオストリーム中のすべての画像に対して処理する必要はない。したがって、システムの処理負荷を軽減できる。なお、より精確さを必要とする場合、ビデオストリーム中のすべての画像に対して処理してもよく、本実施形態はこれに限らない。位置決めモジュール2は、画像中の背景を除去し、前景の中から三つの予め設けられた色ブロックの座標を取得する。位置決めモジュール2は、具体的には、背景分割ユニット21、ヒストグラムユニット22、確率分布図ユニット23、修正ユニット24および色ブロック位置決めユニット25を含むことができる。背景分割ユニット21は、それぞれの画像について処理を行い、画像中の背景を除去して、前景を取得する。既存のオフィス、家庭内で使用する際、ビデオ映像における背景の変化は比較的小さいため、ビデオストリームの中から背景をとても簡単に確定できる。背景分割ユニット21は、マスク画像サブユニット211および除去サブユニット212を含むことができる。マスク画像サブユニット211は、CodeBookアルゴリズムにより背景モデルを作成し、マスク画像を生成する。当該マスク画像は、当該処理された画像と同じサイズにすることができ、また、白色で前景を示し、黒色で背景を示すことができる。除去サブユニット212は、当該マスク画像と当該処理された画像をマッチングし、対応する画像部分を除去する。当該マスク画像は、一つあるだけでよく、当該背景モデルによりそれぞれの画像の背景を除去して、前景を取得する。なお、CodeBookアルゴリズムにより前景を取得することは、本実施形態の一つの手法だけであって、本実施形態はこれに限らない。ヒストグラムユニット22は、予め設けられた色ブロックテンプレートにより、それぞれの予め設けられた色ブロックに対応するヒストグラムを取得する。本実施形態においては、片手の一本の指の移動によりマウスの移動をシミュレートする。また、他方の手の二本の指によりマウスの左ボタンのクリックをシミュレートする。そのため、少なくとも三つの予め設けられた色ブロックを同時に追跡する必要がある。さらに、当該三つの色ブロックをより区別しやすくするために、ユーザの指に三つの色の異なる区別しやすいカラーカバーをつけることができる。そして、これら三つのカラーカバーの色を色ブロックテンプレートとして記録する。こうすると、システムの算出処理を簡略化できる。本発明の一つの実施形態において、画像処理のコーディングは、Intel社のOpenCVを使用できる。OpenCVは、Intel社がサポートするオープンソースのコンピュータビジョン向けライブラリであって、商業的および非商業的に応用することはすべて無料である。OpenCV中のヒストグラム関数を使用すると、前景のヒストグラムを非常に簡単に算出できる。ここで、OpenCVの一連のヒストグラム関数は、DenseHistogramクラスに格納され、Calculate方法により画像のヒストグラムを簡単に計算できる。色ヒストグラムは、多くの画像検索システムで広く採用される色特徴であって、異なる色彩が全画像に占める比率を表している。色ヒストグラムは、自動分割の難しい画像を表すのに最も適している。上述の三つの色ブロックに対し、それぞれ次の操作を実行することにより、三つの色ブロックが対応する指の位置およびマウスのクリック操作を確定する。確率分布図ユニット23は、取得モジュール1により取得した画像、およびヒストグラムユニット22により取得した三つの色ブロックのヒストグラムを取得する。BackProjection逆投影アルゴリズムにより、それぞれの色ブロックの確率分布図を算出する。ヒストグラムから確率分布図を取得することは熟知された既存技術であるため、ここでは詳細な説明を省略する。修正ユニット24は、取得した確率分布図について処理を行い、上述の確率分布図をさらに最適化する。確率分布図ユニット23により取得した確率分布図には、ノイズや鋸歯などが存在する可能性がある。そのため、修正ユニット24により画像に対してノイズ除去、平滑化処理などを行って、取得した色ブロックをより精確にすることが必要となる。修正ユニット24は、具体的に、ノイズ除去サブユニット、平滑化サブユニットを含む。ノイズ除去サブユニットは、上述の確率分布図に対して収縮処理を行い、ノイズを除去する。平滑化サブユニットは、上述の確率分布図に対してガウス平滑化処理を行い、さらに、ガウス平滑化処理された確率分布図に対して閾値分割を行う。画像の閾値分割とは、予め設けられた閾値に対し、画像のピクセルが閾値未満である場合、当該ピクセルを前景とみなし、画像のピクセルが閾値以上である場合、当該ピクセルを背景とみなす。色ブロック位置決めユニット25は、CAMShiftContinuouslyApativeMean-Shiftアルゴリズムにより確率分布図の質量中心を追跡して、上述した三つの色ブロックの中心点座標、すなわち、三つの色ブロックの座標を取得する。ここで、CAMShiftアルゴリズムは、熟知されている物体追跡アルゴリズムであって、おもにビデオ映像中の運動物体の色情報により追跡の目的を実現する。BackProjectionアルゴリズムにより原画像を色彩確率分布画像に変換した後、CAMShiftアルゴリズムにより三つの色ブロックの中心点座標を算出できる。変換モジュール3は、取得した三つの色ブロックの中心点座標をマウスの操作情報に変換する。すなわち、三つの色ブロックの中心点座標を取得した後、まず、第一色ブロックの座標をマウスの座標に変換する。次に、第二色ブロックと第三色ブロックの間の位置からマウスの左ボタンの操作を確定する。たとえば、第二色ブロックと第三色ブロックの距離によりマウスの左ボタンの操作をシミュレートできる。第二色ブロックと第三色ブロックの距離が予め設定された値より小さい場合、左ボタンが押下されたと確定し、第二色ブロックと第三色ブロックの距離が予め設定された値以上である場合、左ボタンの押下が解放されたと確定する。本実施形態の方法は、OpenCVのオープンソースコードのコードライブラリーにより、ジェスチャーにおける第一色ブロックをマウスの座標に変換でき、第二色ブロックと第三色ブロックをマウスのボタン操作に変換できる。したがって、簡単な手法によりジェスチャーに基づく人間と機械のインタラクションを実現できる。なお、三つの色ブロックを採用することは本実施形態の一つの手法だけであって、本実施形態はこれに限らない。本発明に係る第三および第四実施形態のシステムは、上述した第一および第二実施形態の方法と技術的思想および原理が同じである。そのため、第三および第四実施形態において、第一および第二実施形態と重複する部分に関する説明を省略する。本発明の実施形態における上述のユニットは、ソフトウェアによる機能ユニットの形式で実現され、さらに独立した商品として販売、使用される場合、コンピュータがランダムにアクセスできる記録媒体に記録されることもできる。このような理解に基づき、本発明に係る技術的思想の本質、または既存技術に対して貢献する部分は、ソフトウェア製品の形式で表すことができる。当該コンピュータソフトウェア製品は、一つの記録媒体に記録され、複数の命令を含む。複数の命令は、一台のコンピュータ装置たとえば、パソコン、サーバー、ネットワーク装置などを上述した本発明に係る各実施形態の方法の全部または一部を実行させる。上述の記録媒体は、プログラムコードを記録できるUSBフラッシュメモリ、ポータブルハードディスク、読出専用メモリROM、Read-OnlyMemory、ランダムアクセスメモリRAM、RandomAccessMemory、磁気ディスクまたは光ディスクなど各種タイプの媒体を含む。以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であり、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない範囲で、上記実施形態とは異なる種々の態様で実施することができる。