【手続補正書】
【提出日】平成23年8月18日(2011.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
手話を認識するコンピュータを用いる方法であって、
前記コンピュータは、
１つ以上のカメラを用いて、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含んだ前記対象の奥行画像を受信し、
前記奥行画像における前記対象の第１の手と第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類し、
前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する
ことを特徴とする方法。
【請求項２】
前記コンピュータは、
前記奥行画像から前記第１の手と前記第２の手とを表すリンク構造を生成し、前記リンク構造は、互いにリンクする２つ以上のセグメントを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記奥行画像を分類することは、
前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し、
前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する
ことを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記制約条件は、
近接するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記奥行画像を分類することは、前記リンク構造に基づいて、セグメントを表すノードを含み、かつ前記ノード間の連結間関係を示すような非循環有向グラフの構造を生成し、
前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
両方の手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価する
ことを特徴とする請求項２に記載の方法。
【請求項６】
前記ノードの組み合わせを評価することは、
同じ手に分類された第１のノードと第２のノードとのリンクを表す第１のスコアを求め、
セグメントが分類された手のひらと前記セグメントとの距離を表す第２のスコアを求め、
前記同じ手に分類された、リンクするセグメントどうしの角度を表す第３のスコアを求め、
分岐ノードと前記分岐ノードが分類された手のひらとの距離を表す第４のスコアを求め、この場合の前記分岐ノードは、３つ以上のノードにリンクするノード、もしくは手のひらと２つ以上のノードにリンクするノードを表し、
前記第１のスコアと、前記第２のスコアと、前記第３のスコアと、前記第４のスコアとの合計値が最も小さい組み合わせを決定する
ことを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記コンピュータは、
前記第１の手のひらと前記第２の手のひらとを検出することを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１の手のひらまたは前記第２の手のひらを検出することは、
前記第１の手と前記第２の手とを表す画像画素に基づいてスケルトン線を生成し、
前記スケルトン線と直交し、かつ前記第１の手と前記第２の手の輪郭となる画像画素のエッジと交差する線の極大長さを求めることで、前記第１の手のひらまたは前記第２の手のひらの中央部を含んでいる線の候補を決定し、
前記第１の手または前記第２の手の指を表す画像画素に最も近接する前記線の候補の中央部を、前記手のひらの中央部として決定する
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記リンク構造を生成することは、前記第１の手および前記第２の手を表す前記画像画素を細線化する
ことを含むことを特徴とする請求項２に記載の方法。
【請求項１０】
プロセッサによって実行可能な指令を記憶する非一時的なコンピュータ読み取り可能媒体であって、
前記指令を実行することで、プロセッサは、
１つ以上のカメラを用いて、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含んだ前記対象の奥行画像を受信し、
前記奥行画像における前記対象の第１の手と第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類し、
前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する
ことを特徴とする媒体。
【請求項１１】
前記媒体は、前記奥行画像から前記第１の手と前記第２の手を表すリンク構造を生成する指令をさらに含み、
前記リンク構造は互いにリンクする２つ以上のセグメントを含む
ことを特徴とする請求項１０に記載の媒体。
【請求項１２】
前記奥行画像を分類する指令は、
前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し
前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する指令を含む
ことを特徴とする請求項１１に記載の媒体。
【請求項１３】
前記制約条件は、
近接するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
ことを特徴とする請求項１２に記載の媒体。
【請求項１４】
前記デジタル画像を分類する指令は、
前記リンク構造に基づいて、セグメントを表すノードを含み、前記ノード間の連結間関係を示すような非循環有向グラフの構造を生成し、
前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価するための指令であることを特徴とする請求項１２に記載の媒体。
【請求項１５】
前記ノードの組み合わせを評価する指令は、
同じ手に分類された第１のノードと第２のノードとのリンクを表す第１のスコアを求め、
セグメントが分類された手のひらと前記セグメントとの距離を表す第２のスコアを求め、
前記同じ手に分類された、リンクするセグメントどうしの角度を表す第３のスコアを求め、
分岐ノードと前記分岐ノードが分類される手のひらとの距離を表す第４のスコアを求め、この場合の前記分岐ノードは、３つ以上のノードにリンクするノード、もしくは手のひらと２つ以上のノードにリンクするノードを表し、
前記第１のスコアと、前記第２のスコアと、前記第３のスコアと、前記第４のスコアとの合計値が最も小さい組み合わせを決定する指令を含むことを特徴とする請求項１４に記載の媒体。
【請求項１６】
前記媒体は、
前記第１の手のひらと前記第２の手のひらを検出するための指令をさらに含む
ことを特徴とする請求項１０に記載の媒体。
【請求項１７】
前記第１の手のひらまたは前記第２の手のひらを検出するための指令は、
前記第１の手と前記第２の手とを表す画像画素に基づいてスケルトン線を生成し、
前記スケルトン線と直交し、かつ前記第１の手と前記第２の手の輪郭となる画像画素のエッジと交差する線の極大長さを求めることで、前記第１の手のひらまたは前記第２の手のひらの中央部を含んでいる線の候補を決定し、
前記第１の手または前記第２の手の指を表す画像画素に最も近接する前記線の候補の中央部を、前記手のひらの中央部として決定する
ことを特徴とする請求項１６に記載の媒体。
【請求項１８】
前記リンク構造を生成するための前記指令は、前記第１の手および前記第２の手を表す前記画像画素を細線化するための指令を含む
ことを特徴とする請求項１１に記載の媒体。
【請求項１９】
手話認識用のコンピュータベースシステムであって、
前記システムは、対象の奥行画像を生成する１つ以上のカメラを備え、前記奥行画像は、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含み、
前記１つ以上のカメラに接続されて、前記奥行画像における前記対象の第１の手と前記第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類する画像前処理モジュールと、
前記画像前処理モジュールに接続され、前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する形状マッチングモジュールと
を備えることを特徴とするコンピュータベースシステム。
【請求項２０】
前記前処理モジュールは、さらに、前記奥行画像から前記第１の手と前記第２の手を表すリンク構造を生成し、前記リンク構造は、互いにリンクする２つ以上のセグメントを含むことを特徴とする請求項１９に記載のコンピュータベースシステム。
【請求項２１】
前記形状マッチングモジュールは、
前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し、
前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する最適化モジュールを備える
ことを特徴とする請求項１９に記載のコンピュータベースシステム。
【請求項２２】
前記制約条件は、
近傍に位置するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
ことを特徴とする請求項２１に記載のコンピュータベースシステム。
【請求項２３】
前記形状マッチングモジュールは、前記リンク構造に基づいて、セグメントを表すノードを含み、前記ノード間の連結関係を示すような非循環有向グラフの構造を生成し、
前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
両手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価するようなツリー検索モジュールをさらに備える
ことを特徴とする請求項２０に記載のコンピュータベースシステム。
【請求項２４】
前記ツリー検索モジュールは、
同じ手に分類される第１のノードと第２のノードとのリンクを表す第１のスコアと、セグメントが分類される手のひらと前記セグメントとの距離を表す第２のスコアと、前記同じ手に分類されたリンクするセグメントどうしの角度を表す第３のスコアと、分岐ノードと前記分岐ノードが分類される手のひらとの距離を表す第４のスコアとを足して、前記ノードの組み合わせを評価し、
この場合の前記分岐ノードは、３つ以上のノードにリンクするノードもしくは手のひらと２つ以上のノードにリンクするノードを表す
ことを特徴とする請求項２３に記載のコンピュータベースシステム。
【請求項２５】
前記画像前処理モジュールは、前記第１の手のひらと、前記第２の手のひらを検出することを特徴とする請求項１９に記載のコンピュータベースシステム。