(57)【要約】【課題】互いに独立のタイミングで撮影された画像から画像認識に適した画像を生成する。【解決手段】プログラムは、２つのカメラ(24,22)で撮影間隔(16.7ms)で撮影された二連の画像データと、画像データの撮影タイミングを示す情報を関連付け、二連の画像データ(01L,02L,03L;01R,02R,03R,04R)の中で、互いの撮影タイミング間の差分(T1,T2)が所定の閾値(10ms)より小さい対の画像データ(02R,03R,04R)を形成し(01L,02R),(02L,03R),(03L,04R))、対の画像データ((01L,02R),(02L,03R),(03L,04R))の中の、所定の撮影間隔より長い間隔(33.3ms)の一連の対の画像データ((01L,02R),(03L,04R))を、認識処理を実行するコンピュータに送信する処理を含んでいる。【選択図】図１
2015171066.tif 000002
【特許請求の範囲】
【請求項１】
処理装置に、
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、
前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成し、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物の認識処理を実行するコンピュータに送信する
処理を実行させるためのプログラム。
【請求項２】
前記２つのカメラの一方のカメラで撮影された画像データの撮影タイミングと、前記２つのカメラの他方のカメラで撮影された画像データの撮影タイミングとは、互いに独立であることを特徴とする、請求項１に記載のプログラム。
【請求項３】
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成する第１の処理部と、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物を認識処理を実行するコンピュータに送信する第２の処理部と、
を含む処理装置。
【請求項４】
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成する処理部と、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データに基づいて、認識対象物の認識処理を実行するコンピュータと、
を含むシステム。
【請求項５】
処理装置が、
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、
前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成し、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物の認識処理を実行するコンピュータに送信する
処理を実行する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つのカメラで撮影された画像データの処理に関する。
【背景技術】
【０００２】
ジェスチャ操作による次世代ユーザ・インタフェースでは、例えばパーソナル・コンピュータのような機器が、２台のカメラで撮影された２系列の画像における操作者の手もしくは指先の形状またはその変化に応じて、対応する処理を実行することが想定される。
【０００３】
既知の複数映像の同期表示装置は、表示操作部の操作に従って読取られた第１及び第２の映像データから同期表示すべき第１及び第２の画像をそれぞれ選択する第１及び第２の画像選択部を含んでいる。同期表示装置は、さらに、第１及び第２の画像の選択終了に伴い選択された第１及び第２の画像の画像データを取込む同期設定部を含んでいる。同期表示装置は、さらに、同期設定部に取込まれた画像データから第１の画像に対する第２の画像の撮影時刻の差分値を演算し記憶する差分値記憶部を含んでいる。同期表示装置は、さらに、表示操作部からの同期再生指令に応じて、差分値演算部に記憶された撮影時刻の差分値に基づいて、第２の映像データから第１の画像の撮影時刻に最も近い第２の画像を読取るように第２の画像選択部を制御する同期制御部を含んでいる。それによって、同期表示装置は、複数映像を再生、一時停止またはコマ送りするなどの操作によって、映像の再生開始位置を簡単に同調させ、それ以降、複数映像を同期して表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２９８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
既知の複数映像の同期表示装置では、記録された映像データから或る画像の撮影時刻に最も近い別の画像を読取るが、撮影中の映像データを撮影時刻に基づいてリアルタイムで処理することはできない。
【０００６】
発明者は、２つのカメラによって撮影間隔で互いに独立のタイミングで撮影された画像から、タイミングの差が小さい対の画像を複数形成し、複数の対の画像から、撮影間隔より長い間隔の画像を取り出すことができる、と認識した。
【０００７】
１つの観点では、本発明の目的は、互いに独立のタイミングで撮影された画像から画像認識に用いられる画像を生成することである。
【課題を解決するための手段】
【０００８】
実施形態の一観点によれば、処理装置に、認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、画像データの撮影タイミングを示す情報とを関連付け、二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成し、対の画像データの中の、所定の撮影間隔より長い間隔の一連の対の画像データを、認識対象物の認識処理を実行するコンピュータに送信する処理を実行させるためのプログラムが提供される。
【発明の効果】
【０００９】
実施形態の一観点によれば、互いに独立のタイミングで撮影された画像から画像認識に用いられる画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態による画像処理装置および情報処理装置の概略的な構成（configuration）の例を示している。
【図２Ａ】図２Ａおよび２Ｂは、画像処理装置によって実行される、カメラ部からの撮影された２系列の画像フレームから、一連の対画像フレームを生成するための処理の概略的なフローチャートの例を示している。
【図２Ｂ】(図2Aで説明)
【図３】図３は、左右２つの系列の画像フレームから、各１対の画像フレーム間の時間差が１０ｍｓ以下であるような一連の対画像フレームを形成するための手順の例を説明するための図である。
【図４】図４は、左右２つの系列の画像フレームから、各１対の画像フレーム間の時間差が１０ｍｓ以下であるような一連の対画像フレームを形成するための手順の別の例を説明するための図である。
【図５】図５は、一連の対画像フレームから一部の対画像フレームを間引いて、認識に適した撮影間隔のフレーム・レートの一連の対画像フレームを形成するための手順の例を説明するための図である。
【図６】図６は、図１の実施形態の変形例による、情報処理装置またはシステムの概略的な構成（configuration）の別の例を示している。
【発明を実施するための形態】
【００１１】
発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。
【００１２】
本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび要素には同じ参照番号が付されている。
【００１３】
情報処理装置またはコンピュータにおいて、３次元的なジェスチャ操作を実現するために、異なる２台のカメラで異なる角度で撮影された認識対象物の１対の画像または２系列（series）の画像が、３次元的なジェスチャ認識に使用される。操作者のジェスチャを正確に認識するためには、各１対の２つの画像の撮影タイミングの間の許容可能な時間差または同期誤差は、実験的に、１０ｍｓ以内であることが望ましい。その理由を説明する。例えばＡ４サイズ（２１０ｍｍ×２９７ｍｍ）の紙の上で或る文字列を指で指示する場合の指の速度は、実験的に約５０〜１００ｍｍ／ｓであり、指が１ｍｍ移動するのに掛る時間は１０〜２０ｍｓである。また、カメラ画像の解像度が高精細度（ＨＤ、High Definition）（１２８０画素×７２０画素）である場合、カメラ位置と被写体位置の関係で、１画素分の距離または変位は、約１ｍｍの距離または変位に対応する。従って、２台のカメラからの２系列の画像について、距離１ｍｍの移動の検知を基準とすると、２台のカメラの各１対の画像の撮影タイミングの時間差は１０ｍｓ以内であることが望ましい。
【００１４】
そのために、２台のカメラは、それぞれの撮影タイミングを互いに同期させることができれば、同じタイミングで２つの画像を撮影することができるであろう。しかし、そのような２台のカメラを同期させる手段を含むカメラ・モジュールは、コストが高いであろう。
【００１５】
また、情報処理装置またはコンピュータが、ソフトウェア処理で、例えば、互いに独立の２台のカメラで短い撮影間隔で撮影された２系列の画像から、時間差が小さい対の画像を形成し、複数の対の画像に基づいて認識処理を行うことは可能であろう。しかし、そのような短い撮影間隔で撮影された高いレートの対の画像の処理負荷を認識処理負荷に加えた場合の合計の処理負荷は、低コストのプロセッサにとって過大であり、処理遅延を発生させ、ジェスチャ操作に対する応答処理のリアルタイム性を損なわせる。一方、情報処理装置において、そのような過大な負荷を処理できるプロセッサを採用すると、情報処理装置のコストが高くなるであろう。
【００１６】
発明者たちは、１対のカメラで短い撮影間隔で互いに独立のタイミングで撮影された二連の画像から、タイミング差が小さい対の画像を複数形成し、画像を間引くことによって形成したより長い間隔の一連の対の画像を画像認識に使用することができる、と認識した。
【００１７】
実施形態の目的は、複数のカメラから互いに独立のタイミングのまたは同期ずれを含み得る画像データを取得して画像処理を実行する際の、コンピュータでの処理負荷の増大を抑止することである。また、実施形態の別の目的は、認識に適した間隔より短い撮影間隔の互いに独立のタイミングで撮影された二連の画像フレームから、各１対の画像フレーム間の撮影タイミング差が小さく且つ認識に適した間隔の一連の対の画像フレームを形成することである。
【００１８】
図１は、実施形態による画像処理装置３０および情報処理装置４０の概略的な構成（configuration）の例を示している。
【００１９】
図１において、画像処理装置３０は、左右の２つのカメラ部２２および２４と、情報処理装置４０とに結合または接続される。カメラ部２２および２４は、互いに独立に動作し、例えばウェブ・カメラのような一般的なリアルタイム・カメラであってもよい。情報処理装置４０は、例えば、パーソナル・コンピュータ、ゲーム機、撮影画像編集装置または制御装置、またはその一部であってもよい。画像処理装置３０は、例えば、ＦＰＧＡ（Field Programmable Gate Array）またはＣＰＬＤ（Complex Programmable Logic Device）のようなＰＬＤ（Programmable Logic Device）またはＡＳＩＣ（Application Specific Integrated Circuit）を含んでいてもよい。また、画像処理装置３０は、例えば、情報処理装置４０に外付けで結合されるアダプタの形態、情報処理装置４０に外部から挿入されるカードの形態、または情報処理装置（図６、５０）に内蔵される部品またはコンポーネントの形態であってもよい。
【００２０】
カメラ部２２および２４の各々は、画像フレームの撮影間隔もしくは周期または生成レート（周波数）に関して、画像処理装置３０によって制御されまたは設定される。
【００２１】
画像処理装置３０は、例えば、同期ずれ検出部または画像対形成部３０２、時間測定部またはタイマ部３０４、２つのバッファ部３１２、３１４、データ合成部３２０、インタフェース部（ＩＦ）３５０、およびカメラ制御部３３０を含んでいる。インタフェース部３５０は、例えばＵＳＢ（Universal Serial Bus）インタフェースであってもよい。画像処理装置３０の一部、例えば、同期ずれ検出部３０２、データ合成部３２０およびカメラ制御部３３０は、画像処理装置３０内の記憶装置（例えばＲＯＭ）に格納されたアプリケーション・プログラムに従って動作する処理機能または回路部を含んでいてもよい。
【００２２】
情報処理装置４０は、例えば、プロセッサ４２０、記憶部４３０、およびインタフェース部（ＩＦ）４５０を含んでおり、さらに、表示部、例えばキーボードおよびポインティング・デバイスのような入力部、およびスピーカを含んでいてもよい（図示せず）。インタフェース部４５０は、例えばＵＳＢインタフェースであってもよい。
【００２３】
プロセッサ４２０は、コンピュータ用のＣＰＵ（Central Processing Unit）であってもよい。記憶部４３０には、例えば、主記憶装置および半導体メモリ等が含まれる。記憶部４３０には、例えばＳＤ（セキュア・ディジタル）メモリまたはＵＳＢメモリ等のフラッシュ・メモリのような半導体メモリ、および／またはハードディスク・ドライブ（ＨＤＤ）が含まれていてもよい。プロセッサ４２０は、外付けドライブ４４０に結合可能である。ドライブ４４０は、ソフトウェアが記録された例えば光ディスクまたは磁気ディスクのような記録媒体４４２を読み取るためのものであってもよい。そのソフトウェアは、例えば、ＯＳ、アプリケーション・プログラム、等を含んでいてもよい。アプリケーション・プログラムは、画像認識処理用のアプリケーションを含んでいてもよい。
【００２４】
また、プロセッサ４２０は、例えば画像認識処理機能を含む集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ４２０は、記憶部４３０に格納されたアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、記録媒体４４２に格納されていて、ドライブ４４０によって記録媒体４４２から読み出されて情報処理装置４０にインストールされてもよい。
【００２５】
次は、画像処理装置３０および情報処理装置４０の概略的な結合関係および構成（configuration）を説明する。
【００２６】
画像処理装置３０において、カメラ制御部３３０は、情報処理装置４０に対するインタフェース部３５０に結合され、制御線を介してカメラ部２２および２４に結合される。同期ずれ検出部３０２は、カメラ部２２および２４に結合される。同期ずれ検出部３０２は、さらに、バッファ部３１２および３１４、およびデータ合成部３２０に結合されている。バッファ部３１２および３１４は、同期ずれ検出部３０２とデータ合成部３２０の間に結合されて、同期ずれ検出部３０２から受け取ったデータをバッファリングしてデータ合成部３２０へ供給する。データ合成部３２０はインタフェース部３５０にも結合されている。インタフェース部３５０は、例えばＵＳＢケーブルのような接続線を介して情報処理装置４０のインタフェース部４５０に結合される。また、情報処理装置４０において、プロセッサ４２０は、インタフェース部４５０および記憶部４３０に、さらに、表示部、入力部およびスピーカ（図示せず）に結合されている。
【００２７】
次は、画像処理装置３０および情報処理装置４０の概略的な動作を説明する。
情報処理装置４０において、ユーザが、例えば入力部を操作して画像認識アプリケーションを起動すると、プロセッサ４２０は、カメラ２２および２４の起動に関する命令または情報を生成して画像処理装置３０に供給する。
【００２８】
また、情報処理装置４０は、画像処理装置３０から受信した、対象物の認識に適した時間的な撮影間隔またはフレーム・レートの１系列の対画像フレームの対象物の画像に対して、認識処理を行う。画像フレームは、例えばユーザの手指の画像のような認識対象物の画像データを含んでいる。１系列の対画像フレームは、時系列の一連の対またはペアの画像フレーム・データである。情報処理装置４０またはそのプロセッサ４２０は、認識処理によって、１対または複数対の画像フレームのデータに基づいて、例えばユーザによる操作情報を導出し、さらにその操作情報に応じた処理を行う。
【００２９】
画像処理装置３０において、カメラ制御部３３０は、情報処理装置４０からの命令または情報に従って、カメラ部２２および２４に制御情報を供給して、カメラ部２２および２４を起動する。カメラ制御部３３０からの制御情報は、例えば、カメラ部２２および２４の初期化命令、時間的な撮影間隔またはフレーム・レートに関する設定情報、および起動命令を含んでいる。また、カメラ制御部３３０は、情報処理装置４０からの命令または情報に従って、カメラ部２２および２４の動作を停止させる。カメラ部２２および２４は、カメラ制御部３３０からの制御情報に従って、互いに独立に、撮影の時間間隔またはフレーム・レートを設定して撮影を開始しまたは停止する。即ち、カメラ部２２および２４の撮影間隔の撮影タイミングは互いに同期していなくてよい。
【００３０】
情報処理装置４０からのカメラ起動に関する命令または情報は、対象物の認識に適した画像フレームの時間間隔もしくは周期またはフレーム・レートに関する情報を含んでいてもよい。画像フレームの時間間隔もしくは周期はフレーム・レートの逆数である。画像の認識に適した撮影画像のフレーム・レートが、例えば２５および３０フレーム／ｓである場合、時間的な撮影間隔は、それぞれ１／２５ｓ（＝４０ｍｓ）および１／３０ｓ（≒３３．３ｍｓ）である。一方、画像の認識に適した左右の１対の画像フレームは、前述した通り、相互の撮影タイミング間の差分が許容誤差１０ｍｓ（ミリ秒）以内であることが望ましい。そのために、カメラ制御部３３０は、カメラ部２２および２４の各々の時間的な撮影間隔を、認識に適した１対の画像フレーム間の撮影タイミングの差分の許容誤差１０ｍｓの２倍である２０ｍｓ以内に設定する。それによって、左右のカメラ部２２および２４の一方の各画像フレームの撮影タイミングに対する、最小の時間差を有する他方の画像フレームの撮影タイミングの時間差は、±１０ｍｓ以内に収まる。
【００３１】
同期ずれ検出部３０２は、カメラ部２２および２４から供給されて捕捉した２系列の画像フレームの各々に、時間測定部３０４の計時開始時点からの経過時間または時刻を、捕捉または撮影のタイミングとして順次付加して、バッファ部３１２および３１４に格納する。同期ずれ検出部３０２は、２系列の画像フレームの中から、同期ずれを表す時間差が閾値１０ｍｓ以内でかつより短い組合せの左右で１対の画像フレームを決定して、そのような複数の対の画像フレームの格納位置またはアドレスをデータ合成部３２０に通知する。
【００３２】
データ合成部３２０は、決定された一連の対画像フレームに対して間引き処理を行って、認識に適した長い時間間隔もしくは周期または低いフレーム・レートの一連の対画像フレームを抽出しまたは選択する。次いで、データ合成部３２０は、抽出された一連の対画像フレームをインタフェース部（ＩＦ）３５０を介して情報処理装置４０に供給する。
【００３３】
ここで、認識に適した一連の対画像フレームの時間間隔と、カメラ部２２および２４の各々の撮影間隔との間の関係は、次の通りである。例えば、認識に適した一連の対画像フレームの時間間隔が１／３０ｓ≒３３．３ｍｓである場合、カメラ部２２および２４の各々の撮影間隔は、認識に適した時間間隔より短くその２分の１以下のかつ２０ｍｓ以下の時間１／６０ｓ≒１６．７ｍｓであってもよい。この場合、時間間隔１／３０ｓ（≒３３．３ｍｓ）の認識に適した一連の対画像フレームを生成するために、決定された一連の対画像フレームが１つ置きに間引かれる。撮影間隔を、認識に適した時間間隔の整数分の１にすることは、撮影フレーム・レートを認識に適したフレーム・レートの整数倍にすることに対応する。そのような整数比の選択は、撮影間隔の周期の一連の対画像フレームを周期的に間引くことによって、認識に適した間隔の周期の画像フレームを形成することを可能にする。
【００３４】
また、例えば、認識に適した一連の対画像フレームの撮影間隔が１／２５ｓ＝４０ｍｓである場合、カメラ部２２および２４の各々の撮影間隔は、同様に、１／５０ｓ＝２０ｍｓであってもよい。この場合、時間間隔１／２５ｓ＝４０ｍｓの認識に適した一連の対画像フレームを生成するために、同様に、一連の対画像フレームが１つ置きに間引かれる。
【００３５】
また、例えば、認識に適した一連の対画像フレームの撮影間隔が１／２０ｓ＝５０ｍｓである場合、カメラ部２２および２４の各々の撮影間隔は、認識に適した時間間隔より短くその３分の１以下のかつ２０ｍｓ以下の時間１／６０ｓ≒１６．７ｍｓであってもよい。この場合、認識に適した時間間隔１／２０ｓ＝５０ｍｓの認識に適した一連の対画像フレームを生成するために、一連の対画像フレームが規則的に３つ毎に２つ間引かれ、即ち２つ置きに１つが抽出される。
【００３６】
図２Ａおよび２Ｂは、画像処理装置３０によって実行される、カメラ部２２および２４からの撮影された２系列の画像フレームから、一連の対画像フレームを生成するための処理の概略的なフローチャートの例を示している。
【００３７】
図２Ａを参照すると、ステップ５０２において、カメラ制御部３３０は、情報処理装置４０からカメラ起動の命令を受信する。次いで、ステップ５０４において、カメラ制御部３３０は、命令に応答して、左右のカメラ部２２および２４を初期化して、各カメラ部２２、２４に時間的な撮影間隔または撮影フレーム・レートを設定する。ここで、撮影間隔は２０ｍｓ（＝１０ｍｓ×２）以下の値であり、撮影フレーム・レートは５０フレーム／ｓ（＝１００／ｓ÷２）以上の値である。カメラ制御部３３０は、カメラ部２２、２４の撮影間隔またはフレーム・レートを、情報処理装置４０から受信した情報に含まれている認識用の画像フレームの時間間隔またはフレーム・レートに応じて設定しても、または予め決められた値に設定してもよい。
【００３８】
ステップ５０６において、同期ずれ検出部３０２は、カメラ部２２および２４から２系列の撮影画像フレームを順次受信する。２系列の撮影画像フレームは、撮影タイミングが互いに独立である。
【００３９】
ステップ５０８において、同期ずれ検出部３０２は、２系列の撮影画像フレームのそれぞれの最初の画像フレーム（図３、０１Ｌ、０１Ｒ）を検出して、時間測定部３０４による測定時間を参照してそのタイミングまたは時刻（ｔ０１Ｌ、ｔ０１Ｒ）を保持する。次いで、同期ずれ検出部３０２は、右のカメラ部２２からの１つの系列の各画像フレームとそれぞれのタイミングとを関連付けてバッファ部３１２に順次格納する。それと並行して、同期ずれ検出部３０２は、左のカメラ部２４からの別の１つの系列の各画像フレームとそれぞれのタイミングを関連付けてバッファ部３１４に順次格納する。
【００４０】
図２Ｂを参照すると、ステップ５２０において、同期ずれ検出部３０２は、一方の系列の各１つの画像フレームのタイミングに最も近い２つの時間位置にある、他方の系列の前後２つの画像フレームとの時間差（差分）Ｔ１およびＴ２を算出する。
【００４１】
ステップ５２２において、同期ずれ検出部３０２は、一方の系列の各１つの画像フレームと、他方の系列の前後２つの画像フレームとの間の、２つの時間差Ｔ１とＴ２を比較する。その際、同期ずれ検出部３０２は、一方の系列の１つの画像フレームと他方の系列の前の画像フレームとの間の時間差Ｔ１が、一方の系列の同じ１つの画像フレームと他方の系列の後の画像フレームとの間の時間差Ｔ２より小さいかどうか（Ｔ１＜Ｔ２）を判定する。時間差Ｔ１が時間差Ｔ２より小さい（Ｔ１＜Ｔ２）と判定された場合は、手順はステップ５２４に進む。時間差Ｔ１が時間差Ｔ２より小さくない、または時間差Ｔ２以上である（Ｔ１≧Ｔ２）と判定された場合は、手順はステップ５２６に進む。
【００４２】
ステップ５２４において、同期ずれ検出部３０２は、一方の系列の１つの画像フレームと、このフレームとの間にタイミング時間差Ｔ１を有する他方の系列の前の画像フレームとを関連付け、その関連付けを表す情報をバッファ部３１２および３１４に格納してもよい。従って、一方の系列の各１つの画像フレームと、それぞれタイミング時間差Ｔ１を有する他方の系列の前の１つの画像フレームとが、組み合わされて１対の画像フレーム（対画像フレーム）を形成する。同期ずれ検出部３０２は、さらに、一連の対画像フレームとそれぞれのタイミングおよび対画像フレームの関連付けに関する情報のバッファ部３１２および３１４における格納位置を、データ合成部３２０に通知する。
【００４３】
ステップ５２６において、同期ずれ検出部３０２は、一方の系列の１つの画像フレームと、このフレームとの間にタイミング時間差Ｔ２を有する他方の系列の後の画像フレームとを関連付け、その関連付けを表す情報をバッファ部３１２および３１４に格納してもよい。従って、一方の系列の各１つの画像フレームと、それぞれタイミング時間差Ｔ２を有する他方の系列の後の１つの画像フレームとが、組み合わされて１対の画像フレーム（対画像フレーム）を形成する。同期ずれ検出部３０２は、さらに、一連の対画像フレームとそれぞれのタイミングおよび対画像フレームの関連付けに関する情報のバッファ部３１２および３１４における格納位置を、データ合成部３２０に通知する。
【００４４】
ステップ５３２において、データ合成部３２０は、バッファ部３１２および３１４における一連の対画像フレームからその一部の対画像フレームを間引いて、認識に適した時間的な時間間隔またはフレーム・レートの一連の対画像フレームを形成する。次いで、ステップ５３４において、データ合成部３２０は、バッファ部３１２および３１４から、認識に適した時間間隔の一連の対画像フレームを順次取り出してインタフェース部３５０を介して情報処理装置４０に供給する。一方、情報処理装置４０のプロセッサ４２０は、認識に適した時間間隔またはフレーム・レートの一連の対画像フレームを画像処理装置３０から受信して、各対画像フレームの対象物に対して認識処理を行って、例えば操作者による操作情報を導出する。
【００４５】
ステップ５３６において、カメラ制御部３３０は、カメラ部２２および２４の動作が停止したか、または情報処理装置４０からカメラ動作停止の命令を受信したかどうかを判定する。動作が停止していないまたはカメラ動作停止の命令を受信していないと判定された場合は、手順はステップ５２０に戻る。動作が停止したまたはカメラ動作停止の命令を受信したと判定された場合は、手順は図２Ａおよび２Ｂのルーチンを出る。ステップ５０２〜５３６は、カメラ部２２および２４の動作が停止するまで繰り返される。ステップ５０２〜５３６の１回のラウンドは、一方の系列の各１つの画像フレームに対して実行されても、複数の画像フレーム毎に実行されてもよい。
【００４６】
このようにして、カメラ部２２および２４のそれぞれの時間的な撮影間隔は、フレーム画像の認識に適した時間間隔より短くかつ２０ｍｓ以下に設定される。それによって、認識に用いられる各１対の画像フレームの撮影タイミング間の時間差は、１０ｍｓ以下とすることができ、画像認識の許容可能な時間差または同期誤差の範囲内となり、プロセッサ４２０は正確な画像認識を行える。また、認識に適した時間間隔より短い撮影間隔の画像フレームに対して間引き処理を行うことによって、得られる一連の対画像フレームの時間間隔は、認識に適した時間間隔となり、プロセッサ４２０の処理負荷が過大になるのを回避することができる。
【００４７】
次は、２つの系列の画像フレームから、一連の対画像フレームを形成するための手順の例を説明する。
【００４８】
図３は、左右２つの系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．と０１Ｒ、０２Ｒ、０３Ｒ．．．から、各１対の画像フレーム間の時間差Ｔ１またはＴ２が１０ｍｓ以下であるような一連の対画像フレームを形成するための手順の例を説明するための図である。
【００４９】
図３において、時間軸ｔの左側に示された左（Ｌ）の系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．の撮影フレーム・レートＦＲは、例えばＦＲ＝６０ｆｐｓ（frame per second）であり、従って、その時間的な撮影間隔はＴｃ＝１６．７ｍｓである。同様に、時間軸ｔの左側に示された右（Ｒ）の系列の画像フレーム０１Ｒ、０２Ｒ、０３Ｒ．．．の撮影フレーム・レートＦＲは、例えばＦＲ＝６０ｆｐｓであり、従って、その時間的な撮影間隔はＴｃ＝１６．７ｍｓである。ここで、撮影フレーム・レートＦＲは認識に適したフレーム・レートより高く、即ち時間的な撮影間隔は認識に適した時間間隔より短い。
【００５０】
一方、左の系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．の撮影フレーム・レートＦＲが、例えばＦＲ＝５０ｆｐｓであれば、その時間的な撮影間隔はＴｃ＝２０ｍｓである。同様に、右の系列の画像フレーム０１Ｒ、０２Ｒ、０３Ｒ．．．の撮影フレーム・レートＦＲが、例えばＦＲ＝５０ｆｐｓであれば、その時間的な撮影間隔はＴｃ＝２０ｍｓである。
【００５１】
左の系列の各画像フレーム０１Ｌ、０２Ｌ．．．のタイミングｔ０１Ｌ、ｔ０２Ｌ．．．と、その直前にそれぞれ位置する右の系列の各画像フレーム０１Ｒ、０２Ｒ．．．のタイミングｔ０１Ｒ、ｔ０２Ｒ．．との間の時間差が、Ｔ１であるとする。一方、左の系列の各画像フレーム０１Ｌ、０２Ｌ．．．のタイミングｔ０１Ｌ、ｔ０２Ｌ．．．と、その直後にそれぞれ位置する右の系列の各画像フレーム０２Ｒ、０３Ｒ．．．のタイミングｔ０２Ｒ、ｔ０３Ｒ、．．との間の時間差が、Ｔ２であるとする。この場合、時間差Ｔ１は、時間差Ｔ２より長い（Ｔ１＞Ｔ２）。
【００５２】
左の画像フレーム０１Ｌのタイミングｔ０１Ｌとその直前の右の画像フレーム０１Ｒのタイミングｔ０１Ｒの間の時間差Ｔ１は、左の画像フレーム０１Ｌのタイミングｔ０１Ｌとその直後の右の画像フレーム０２Ｒのタイミングｔ０２Ｒの間の時間差Ｔ２より長い。従って、この場合、時間差が小さい１０ｍｓ以内の画像フレーム０１Ｌと画像フレーム０２Ｒとが組み合わされて、３次元画像認識に適した許容同期誤差以内の１対の画像フレーム（０１Ｌ，０２Ｒ）が形成される。同様に、時間差が小さい１０ｍｓ以内の画像フレーム０２Ｌと画像フレーム０３Ｒとが組み合わされて、３次元画像認識に適した許容同期誤差以内の１対の画像フレーム（０２Ｌ，０３Ｒ）が形成される。このようにして、時間軸ｔの右側に示された一連の対画像フレーム（０１Ｌ，０２Ｒ）、（０２Ｌ，０３Ｒ）、（０３Ｌ，０４Ｒ）．．．が形成される。
【００５３】
図４は、左右２つの系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．と０１Ｒ、０２Ｒ、０３Ｒ．．．から、各１対の画像フレーム間の時間差Ｔ１またはＴ２が１０ｍｓ以下である一連の対画像フレームを形成するための手順の別の例を説明するための図である。
【００５４】
図４において、図３の場合と同様、左（Ｌ）の系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．の撮影フレーム・レートは、例えばＦＲ＝６０ｆｐｓであれば、その時間的な撮影間隔はＴｃ＝１６．７ｍｓである。同様に、右（Ｒ）の系列の画像フレーム０１Ｒ、０２Ｒ、０３Ｒ．．．の撮影フレーム・レートが、例えばＦＲ＝６０ｆｐｓであれば、その時間的な撮影間隔はＴｃ＝１６．７ｍｓである。ここで、撮影フレーム・レートＦＲは認識に適したフレーム・レートより高く、即ち時間的な撮影間隔は認識に適した時間間隔より短い。
【００５５】
また、左の系列の画像フレーム０１Ｌ、０２Ｌ、０３Ｌ．．．の撮影フレーム・レートが、例えばＦＲ＝５０ｆｐｓであれば、その時間的な撮影間隔はＴｃ＝２０ｍｓである。同様に、右の系列の画像フレーム０１Ｒ、０２Ｒ、０３Ｒ．．．の撮影フレーム・レートが、例えばＦＲ＝５０ｆｐｓでれば、その時間的な撮影間隔はＴｃ＝２０ｍｓである。
【００５６】
図４の場合、左の系列の各画像フレーム０１Ｌ、０２Ｌ．．．のタイミングｔ０１Ｌ、ｔ０２Ｌ．．．と、その直前にそれぞれ位置する右の系列の各画像フレーム０３Ｒ、０４Ｒ．．．のタイミングｔ０１Ｒ、ｔ０２Ｒ．．との間の時間差が、Ｔ１であるとする。一方、左の系列の各画像フレーム０１Ｌ、０２Ｌ．．．のタイミングｔ０１Ｌ、ｔ０２Ｌ．．．と、その直後にそれぞれ位置する右の系列の各画像フレーム０４Ｒ、０５Ｒ．．．のタイミングｔ０４Ｒ、ｔ０５Ｒ．．．との間の時間差が、Ｔ２であるとする。この場合、時間差Ｔ１は、時間差Ｔ２より短い（Ｔ１＜Ｔ２）。
【００５７】
左の画像フレーム０１Ｌのタイミングｔ０１Ｌとその直前の右の画像フレーム０１Ｒのタイミングｔ０１Ｒの間の時間差Ｔ１は、左の画像フレーム０１Ｌのタイミングｔ０１Ｌとその直後の右の画像フレーム０２Ｒのタイミングｔ０２Ｒの間の時間差Ｔ２より短い。従って、この場合、時間差が小さい１０ｍｓ以内の画像フレーム０１Ｌと画像フレーム０３Ｒとが組み合わされて、３次元画像認識に適した許容同期誤差以内の１対の画像フレーム（０１Ｌ，０３Ｒ）が形成される。同様に、時間差が小さい１０ｍｓ以内の画像フレーム０２Ｌと画像フレーム０４Ｒとが組み合わされて、３次元画像認識に適した許容同期誤差以内の１対の画像フレーム（０２Ｌ，０４Ｒ）が形成される。このようにして、時間軸ｔの右側に示された一連の対画像フレーム（０１Ｌ，０３Ｒ）、（０２Ｌ，０４Ｒ）、（０３Ｌ，０５Ｒ）．．．が形成される。
【００５８】
図５は、一連の対画像フレーム（０１Ｌ，０３Ｒ）、（０２Ｌ，０４Ｒ）、（０３Ｌ，０５Ｒ）．．．から一部の対画像フレームを間引いて、認識に適した撮影間隔のフレーム・レートの一連の対画像フレームを形成するための手順の例を説明するための図である。この場合、図５は、図３において形成された、認識用の一連の対画像フレーム（０１Ｌ，０２Ｒ）、（０２Ｌ，０３Ｒ）、（０３Ｌ，０４Ｒ）．．．の場合の例である。
【００５９】
図５において、時間軸ｔの左側に示された一連の対画像フレーム（０１Ｌ，０２Ｒ）、（０２Ｌ，０３Ｒ）、（０３Ｌ，０４Ｒ）．．．から、１つ置きの対画像フレーム（０２Ｌ，０３Ｒ）、（０４Ｌ，０５Ｒ）、（０６Ｌ，０７Ｒ）．．．が間引きされて取り出される。その結果、時間軸ｔの右側に示された認識用の一連の対画像フレーム（０１Ｌ，０２Ｒ）、（０３Ｌ，０４Ｒ）、（０５Ｌ，０６Ｒ）．．．が形成される。形成された一連の対画像フレームのフレーム・レートは、例えば３０ｆｐｓまたは２５ｆｐｓである。各対画像フレーム（０１Ｌ，０２Ｒ）、（０３Ｌ，０４Ｒ）、（０５Ｌ，０６Ｒ）における左右の１対の画像フレームの間の時間差は、上述の通り１０ｍｓ以内で、ユーザの手指の立体画像の認識が可能な誤差の範囲内のものである。また、時間的に隣接した任意の２つの対画像フレーム（０１Ｌ，０２Ｒ）、（０３Ｌ，０４Ｒ）．．．の間の時間間隔または周期は、変化する３次元画像の認識に適した時間間隔（例えば、３０ｍｓ、２５ｍｓ）である。
【００６０】
このように、実施形態によれば、画像処理装置３０は、互いに独立のタイミングで撮影された２系列の画像フレームから、各１対の画像フレーム間の撮影タイミングの時間差が許容誤差以下であるような、認識に適した一連の対画像フレームを生成することができる。また、実施形態によれば、画像処理装置３０は、互いに独立のタイミングで撮影された２系列の画像フレームから、一連の対画像フレームの時間間隔または周期が短過ぎないような、認識に適した一連の対画像フレームを生成することができる。
【００６１】
次は、別の実施形態の変形例について説明する。
【００６２】
図６は、図１の実施形態の変形例による、情報処理装置またはシステム５０の概略的な構成（configuration）の別の例を示している。
【００６３】
図６において、情報処理装置またはシステム５０は、図１の画像処理装置３０を画像処理部３２として含み、図１の情報処理装置を情報処理部４２として含んでいる。情報処理装置５０は、全体で３次元画像の認識対象を認識する認識装置と見ることができる。
【００６４】
実施形態の変形例によれば、情報処理装置５０は、互いに独立のタイミングで撮影された２系列の画像フレームから、各１対の画像フレーム間の撮影タイミングの時間差が許容誤差以下であるような、認識に適した一連の対画像フレームを生成することができる。また、実施形態によれば、情報処理装置５０は、互いに独立のタイミングで撮影された２系列の画像フレームから、一連の対画像フレームの時間間隔または周期が短過ぎないような、認識に適した一連の対画像フレームを生成することができる。
【００６５】
ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。
【００６６】
以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１）処理装置に、
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、
前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成し、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物の認識処理を実行するコンピュータに送信する
処理を実行させるためのプログラム。
（付記２）前記２つのカメラの一方のカメラで撮影された画像データの撮影タイミングと、前記２つのカメラの他方のカメラで撮影された画像データの撮影タイミングとは、互いに独立であることを特徴とする、付記１に記載のプログラム。
（付記３）前記所定の撮影間隔は前記所定の閾値の２倍以下の時間であり、前記所定の撮影間隔より長い間隔は前記所定の撮影間隔の２倍以上の時間であることを特徴とする、付記１または２に記載のプログラム。
（付記４）認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成する第１の処理部と、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物を認識処理を実行するコンピュータに送信する第２の処理部と、
を含む処理装置。
（付記５）認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成する処理部と、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データに基づいて、認識対象物の認識処理を実行するコンピュータと、
を含むシステム。
（付記６）処理装置が、
認識対象物を撮影する２つのカメラによって所定の撮影間隔でそれぞれ撮影された二連の画像データと、前記画像データの撮影タイミングを示す情報とを関連付け、
前記二連の画像データの中で、互いの撮影タイミング間の差分が所定の閾値より小さい対の画像データを形成し、
前記対の画像データの中の、前記所定の撮影間隔より長い間隔の一連の対の画像データを、前記認識対象物の認識処理を実行するコンピュータに送信する
処理を実行する方法。
【符号の説明】
【００６７】
２２、２４  カメラ部
３０  画像処理装置
３０２  同期ずれ検出部
３０４  時間測定部
３１２、３１４  バッファ部
３２０  データ合成部
３３０  カメラ制御部
３５０  インタフェース部
４０  情報処理装置
４２０  プロセッサ
４３０  記憶部
４５０  インタフェース部
【図１】
2015171066.tif 000003
【図２Ａ】
2015171066.tif 000004
【図２Ｂ】
2015171066.tif 000005
【図３】
2015171066.tif 000006
【図４】
2015171066.tif 000007
【図５】
2015171066.tif 000008
【図６】
2015171066.tif 000009