(57)【要約】      （修正有）【課題】手振り翻訳システム等の画像認識装置のカメラ部により撮影された連続する動作認識画像データを補正し、動作認識画像に戻づく出力部における描画精度や、動作認識画像データに基づいて決定される翻訳精度を向上させることのできる動作認識画像データの補正システムを提供する。【解決手段】カメラ部から出力された撮影データを用い、動作認識対象の各部を検知して、各部の位置データを時系列的に取得するデータ取得部を備え、各位置データについて信頼度を判定し、低信頼度である位置データについて補正／補完対象である補正対象データｉ−３とし、補正対象データｉ−３の前後のそれぞれ３個のフレームの各参照データｉ−６〜ｉの信頼度を判定し、高信頼度と判定された３個以上の高信頼度データｉ−６、ｉ−５及びｉ−１の座標を制御点とする曲線を描画する曲線補正／補完を行う補正処理部を備えた。【選択図】図１０
2019160034.tif 000002
【特許請求の範囲】
【請求項１】
伝達者の手、脚等の身体の各部、又は伝達者が保持する道具、工具等の伝達者の動作認識対象の画像データを補正／補完する動作認識画像データの補正システムであって、
前記動作認識対象をビデオ撮影するカメラ部を有するカメラユニットと、
前記カメラ部から出力された撮影データを用い、前記動作認識対象の各部を検知して、前記各部の位置データを時系列的に取得するデータ取得部とを備え、
前記各位置データについて信頼度を判定し、低信頼度である位置データについて補正／補完対象である補正対象データとし、前記補正対象データの前後の複数のフレームの各参照データの信頼度を判定し、前記各参照データの一定数以上が、所定以上の信頼度である高信頼度となる場合に、前記補正対象データの位置データについて、高信頼度と判定された３個以上の高信頼度データの座標を制御点とする曲線を描画する曲線補正／補完、又は高信頼度と判定された２個の高信頼度データの座標を連結する直線を描画する直線補正／補完の少なくとも一方の画像データの補正／補完を行う補正処理部を備えた動作認識画像データの補正システム。
【請求項２】
前記曲線は、エルミート曲線、Ferguson/Coons 曲線、スプライン曲線、ベジェ曲線、B-スプライン曲線、NURBS曲線、ラグランジュ補完法による多項式関数の曲線、ニュートン補完法による多項式関数の曲線、最小二乗法による近似曲線のいずれかである請求項１に記載の動作認識画像データの補正システム。
【請求項３】
前記補正対象データの前後のそれぞれの同数のフレームについて前記参照データとする請求項１又は請求項２に記載の動作認識画像データの補正システム。
【請求項４】
前記補正対象データの前後のそれぞれの３フレームについて前記参照データとする請求項１から請求項３のいずれかに記載の動作認識画像データの補正システム。
【請求項５】
前記曲線補正／補完と、前記直線補正／補完とを行う請求項１から請求項４のいずれかに記載の動作認識画像データの補正システム。
【請求項６】
前記取得された全ての前記位置データについて、前記画像データの補正／補完を時系列的に前方又は後方から行い、前記位置データの全てが前記した高信頼度と判定されるまで、前記画像データの補正／補完を繰り返し行う請求項１から請求項５のいずれかに記載の動作認識画像データの補正システム。
【請求項７】
前記画像データの補正／補完を時系列的に前方及び後方からそれぞれ行う請求項１から請求項６のいずれかに記載の動作認識画像データの補正システム。
【請求項８】
前記動作認識対象が伝達者の上体、並びに右手及び左手であり、
前記右手及び前記左手についての前記画像データの補正／補完を行う前に、前記上体の前記画像データの補正／補完を行う請求項１から請求項７のいずれかに記載の動作認識画像データの補正システム。
【請求項９】
伝達者の手振り翻訳システムの前記画像データ補正／補完を行う請求項１から請求項８いずれかに記載の動作認識画像データの補正システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振り翻訳システム等の画像認識装置のカメラ部により撮影された動作認識画像データを補正する動作認識画像データの補正システムに関する。
【背景技術】
【０００２】
従来、画像認識装置のカメラ部により撮影された連続する動作認識画像データを用いて、特定の意味内容を識別するシステムが用いられている。例えば、特許文献１に記載の手振り翻訳システムは、伝達者ＯＰの上体ＰＵをビデオ撮影する上体カメラ部４１と、伝達者ＯＰの右手ＰＨＲ及び左手ＰＨＬをビデオ撮影する、上体カメラ部４１と離間し、互いに離間して配置された複数の手カメラ部３１、３２と、手カメラ部から出力された手撮影データＤＨ１、ＤＨ２を用い、右手及び左手を検知して、右手及び左手の指先、指関節、掌の位置データを取得する手データ取得部２１と、上体カメラ部４１から出力された上体撮影データＤＰを用いて、上体と、右手との右手位置関係、並びに、左手との左手位置関係を取得する手位置関係取得部２２と、右手及び左手の各部の位置データ、右手位置関係及び左手位置関係、並びに、これらの変化から、伝達者の手振りの意味を識別する手振り識別部２３と、手振りの意味を被伝達者に知覚可能に出力する出力部５０、６０とを備えており、手話、ジェスチャーなどの手振りを適切に認識し翻訳できるものである（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６７１３０号公報（図１、図２等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した手振り翻訳システムでは、ノイズその他の理由により、カメラ部により撮影される手の指先や指関節の座標情報を正確に取得できず、よって、取得された座標情報に戻づいて出力部に表示される手振りの描画精度や、取得された座標情報に基づく手振り翻訳システムの翻訳精度が悪化する一因となっていた、
【０００５】
本発明の目的は、前述した従来技術の課題を解決しようとするものであり、手振り翻訳システム等の画像認識装置のカメラ部により撮影された連続する動作認識画像データを補正し、動作認識画像に戻づく出力部における描画精度や、動作認識画像データに基づいて決定される翻訳精度を向上させることのできる動作認識画像データの補正システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の手段は、以下のものである。
（１）本発明の動作認識画像データの補正システムは、伝達者の手、脚等の身体の各部、又は伝達者が保持する道具、工具等の伝達者の動作認識対象の画像データを補正／補完する動作認識画像データの補正システムであって、前記動作認識対象をビデオ撮影するカメラ部を有するカメラユニットと、前記カメラ部から出力された撮影データを用い、前記動作認識対象の各部を検知して、前記各部の位置データを時系列的に取得するデータ取得部とを備え、前記各位置データについて信頼度を判定し、低信頼度である位置データについて補正／補完対象である補正対象データとし、前記補正対象データの前後の複数のフレームの各参照データの信頼度を判定し、前記各参照データの一定数以上が、所定以上の信頼度である高信頼度となる場合に、前記補正対象データの位置データについて、高信頼度と判定された３個以上の高信頼度データの座標を制御点とする曲線を描画する曲線補正／補完、又は高信頼度と判定された２個の高信頼度データの座標を連結する直線を描画する直線補正／補完の少なくとも一方の画像データの補正／補完を行う補正処理部を備えたことを特徴とするものである。
【０００７】
低信頼度と判定され補正対象とされたデータについて、前後の複数の参照データについて信頼度を判定し、高信頼度と判定された参照データの座標を制御点として、曲線又は直線の少なくとも一つの描画を行い、描画された曲線又は直線上に当該補正対象データを修正して補正／補完を行うことにより、低信頼度と判定されるデータの座標を、実際の座標にできるだけ近づけるものである。ここで「補正／補完」とは、上記のように描画された曲線や直線に基づいて、補正対象データの座標を補正（修正）すること又は欠損している補正対象データを補完することをいう。
【０００８】
（２）前記曲線は、エルミート曲線、Ferguson/Coons 曲線、スプライン曲線、ベジェ曲線、B-スプライン曲線、NURBS曲線、ラグランジュ補完法による多項式関数の曲線、ニュートン補完法による多項式関数の曲線、最小二乗法による近似曲線のいずれかである（１）に記載の動作認識画像データの補正システムである。
【０００９】
（３）前記補正対象データの前後のそれぞれの同数のフレームについて前記参照データとする（１）又は（２）に記載の動作認識画像データの補正システムである。
前後同数のフレームについて参照データとして用いることにより、補正対象データの前後のデータをバランスよく利用して補正／補完をすることができる。
（４）前記補正対象データの前後のそれぞれの３フレームについて前記参照データとする（１）から（３）のいずれかに記載の動作認識画像データの補正システムである。
前後３フレームについて参照データとして用いることにより、多数のフレームを用いることに比べてリアルタイムの補正／補完をする際にも処理時間の遅延を生ずることなく、一方で、例えば１つのフレームしか用いない場合に比べて、一定以上の補正／補完の精度を実現することもできる。
【００１０】
（５）前記曲線補正／補完と、前記直線補正／補完とを行う（１）から（４）のいずれかに記載の動作認識画像データの補正システムである。
参照フレームのうち高信頼度とされたものが３個以上あれば曲線補正／補完を行うとともに、２個しかない場合には直線補正／補完を行うこととする。よって、高信頼度とされた参照データが多い場合にはより滑らかな描画に基づく曲線補正／補完を行うことができる一方、２個しかない場合にも少なくとも直線補正／補完を行うことができる。したがって、高信頼度とされた参照フレームの数に応じて、最適な補正／補完を行うことができる。
【００１１】
（６）前記取得された全ての前記位置データについて、前記画像データの補正／補完を時系列的に前方又は後方から行い、前記位置データの全てが前記した高信頼度と判定されるまで、前記画像データの補正／補完を繰り返し行う（１）から（５）のいずれかに記載の動作認識画像データの補正システムである。
補正／補完をリアルタイムに行う必要が無い場合等には、録画等された画像データについて繰り返し補正／補完を行うことができるが、このような処理を行うことにより、画像データの精度をより高めることができる。
（７）前記画像データの補正／補完を時系列的に前方及び後方からそれぞれ行う（１）から（６）のいずれかに記載の動作認識画像データの補正システムである。
一方向からのみのデータから補正／補完を行う状態が続くと、補正／補完が進むほど、実際の軌跡から離れる可能性高まる。しかし、時系列的に前方及び後方のそれぞれから補正／補完を行うことにより、欠損範囲が大きい場合でも、実際の軌跡から離れる可能性が低くなり、補正／補完の精度が向上する。
【００１２】
（８）前記動作認識対象が伝達者の上体、並びに右手及び左手であり、前記右手及び前記左手についての前記画像データの補正／補完を行う前に、前記上体の前記画像データの補正／補完を行う（１）から（７）のいずれかに記載の動作認識画像データの補正システムである。
（９）伝達者の手振り翻訳システムの前記画像データ補正／補完を行う（１）から（８）のいずれかに記載の動作認識画像データの補正システムである。
【発明の効果】
【００１３】
本発明の動作認識画像データの補正システムは、伝達者の手、脚等の身体の各部、又は伝達者が保持する道具、工具等の伝達者の動作認識対象の画像データを補正／補完する動作認識画像データの補正システムであって、前記動作認識対象をビデオ撮影するカメラ部を有するカメラユニットと、前記カメラ部から出力された撮影データを用い、前記動作認識対象の各部を検知して、前記各部の位置データを時系列的に取得するデータ取得部とを備え、前記各位置データについて信頼度を判定し、低信頼度である位置データについて補正／補完対象である補正対象データとし、前記補正対象データの前後の複数のフレームの各参照データの信頼度を判定し、前記各参照データの一定数以上が、所定以上の信頼度である高信頼度となる場合に、前記補正対象データの位置データについて、高信頼度と判定された３個以上の高信頼度データの座標を制御点とする曲線を描画する曲線補正／補完、又は高信頼度と判定された２個の高信頼度データの座標を連結する直線を描画する直線補正／補完の少なくとも一方の画像データの補正／補完を行う補正処理部を備えている。よって、信頼度の高い高信頼度データに基づいて、信頼度の低い補正対象データについて補正／補完をすることができる。したがって、ノイズその他の理由により、カメラ部により撮影される各部の座標情報を正確に取得できないとされる補正対象データが存在する場合であっても、補正対象データを適切に補正し、動作認識画像に戻づく出力部における描画精度や、動作認識画像データに基づいて決定される翻訳精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の画像データ補正システムの全体構成を示す説明図である。
【図２】図２は、図１の画像データ補正システムの機能ブロック図である。
【図３】図３は、図１の画像データ補正システムの上体カメラ部で伝達者の上体を撮像した画像の例を示す図である。
【図４】図４は、図１の画像データ補正システムの手カメラ部で伝達者の手を撮像した画像の例、及び、この手の画像に、認識した左右各手指の指先、手指関節、掌の位置を示すハンドフレームを重ね合わせた図である。
【図５】図５は、図１の画像データ補正システムの補正処理を示すフローチャート図である。
【図６】図６は、図１の画像データ補正システムの上体撮影データの信頼度の判定・補正／補完の処理を示すフローチャート図である。
【図７】図７は、図１の図１の画像データ補正システムの手撮影データの信頼度の判定・補正／補完の処理を示すフローチャート図である。
【図８】図８は、図１の図１の画像データ補正システムの全ての判定対象データの補正／補完を繰り返し行う処理を示すフローチャート図である。
【図９】図９は、図１の図１の画像データ補正システムのデータの補正／補完処理を示すデータ補正の別の例を示す図である。
【図１０】図１０は、図１の画像データ補正システムのデータの補正／補完処理のうちの曲線補正／補完の一例を示す図である。
【図１１】図１１は、図１の画像データ補正システムのデータの補正／補完処理のうちの直線補正／補完の一例を示す図である。
【図１２】図１２は、図１の画像データ補正システムのデータの補正／補完処理のうちの直線補正／補完の別の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態の動作認識画像データの補正システムについて、図面を参照して説明する。本例の動作認識画像データの補正システムは、図１に全体構成を示した手振り翻訳システム１ａの動作認識画像データを補正／補完するものである。また、図２に動作認識画像データの補正システム１（以下「本システム１」）の機能ブロック図を示す。また、図３に、上体カメラ部で伝達者ＯＰの上体を撮像した画像の例を示す。また、図４に、手カメラ部３１，３２で伝達者ＯＰの手ＰＨＲ，ＰＨＬを撮像した画像の例、及び、この手の画像に、認識した左右各手指の指先、手指関節、掌の位置を示すハンドフレームを重ね合わせた図を示す。
本システム１では、手振り翻訳システム１ａ、具体的には手話翻訳システムにおける撮影画像データの補正システムを例示する。
なお、以下の説明における上下、左右、前後は、伝達者ＯＰから見た表現で記載する。
【００１６】
本実施形態に係る本システム１は、処理装置２、これに接続された手カメラユニット３、上体カメラユニット４、ディスプレイ部５２、及び発音部６２を備えている（図１参照)。
【００１７】
このうち、上体カメラユニット４は、上体カメラ部４１及び上体照明ＬＥＤ４２を含み、処理装置２に有線で、具体的にはＵＳＢ(Universal Serial Bus)ケーブルで接続しており、本例では、処理装置２から給電を受けることができる。上体カメラ部４１は、図１に示すように、伝達者ＯＰの前方に配置され、図３に示すように、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、左胸ＰＣＬ、右腕ＰＡＲ、左腕ＰＡＬ、右手ＰＨＲ、及び左手ＰＨＬを含む、伝達者ＯＰの上体ＰＵをビデオ撮影する上体カメラ部４１であり、処理装置２の手位置関係取得部２２に向けて、上体撮影データＤＰを送信する。なお、本例では、上体照明ＬＥＤ４２を備えており、環境が暗い場合など、伝達者ＯＰのビデオ撮影に適さない場合に、伝達者ＯＰを照明する補助光を発する白色ＬＥＤとされている。
【００１８】
一方、手カメラユニット３は、上体カメラユニット４とは離間して配置されており、２つの手カメラ部３１，３２及び３つの手照明ＬＥＤ３３，３４，３５を含み、処理装置２に有線で、具体的にはＵＳＢケーブルにより接続して、処理装置２から給電を受ける。このうち、一対の手カメラ部３１，３２は、いずれも広角対物レンズを含む赤外線カメラであり、図１に示すように、手カメラユニット３において、互いに離間して配置されている。手カメラ部３１，３２それぞれが撮影した手(右手ＰＨＲ及び左手ＰＨＬ)の画像に視差を生じさせて、手の位置を立体的に把握するためである。手カメラ部３１，３２は、撮影した手撮影データＤＨ１，ＤＨ２を、処理装置２の「データ取得部」の一例である手データ取得部２１に向けて送信する。
【００１９】
また、本例では、手照明ＬＥＤ３３，３４，３５を備えており、伝達者ＯＰの手を照明する補助光を発する赤外線ＬＥＤとされている。手照明ＬＥＤ３３は、手カメラ部３１と手カメラ部３２の間に、手照明ＬＥＤ３４は手カメラ部３１の外側に、手照明ＬＥＤ３５は手カメラ部３２の外側に配置されている。
【００２０】
手カメラユニット３は、伝達者ＯＰの右手ＰＨＲ及び左手ＰＨＬを撮影し易い位置に配置する。例えば、図１に示すように、下方から、伝達者ＯＰの右手ＰＨＲ及び左手ＰＨＬを撮影するように配置する。
【００２１】
処理装置２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を有する公知のコンピュータであり、手データ取得部２１、手位置関係取得部２２、補正処理部２４、手振り識別部２３、画像データ化部５１、音声データ化部６１として機能する。
【００２２】
このうち、手データ取得部２１では、まず、２つの手カメラ部３１，３２から送信された手撮影データＤＨ１，ＤＨ２を用いて、図４に示すように、伝達者ＯＰの右手ＰＨＲを認識し，さらには、右手ＰＨＲの親指ＲＦ１，人差し指ＲＦ２，中指ＲＦ３，薬指ＲＦ４，小指ＲＦ５における、指先ＲＦ１０，ＲＦ２０，ＲＦ３０，ＲＦ４０，ＲＦ５０、第１関節ＲＦ１１，ＲＦ２１，ＲＦ３１，ＲＦ４１，ＲＦ５１、第２関節ＲＦ１２，ＲＦ２２，ＲＦ３２，ＲＦ４２，ＲＦ５２、第３関節ＲＦ２３，ＲＦ３３，ＲＦ４３，ＲＦ５３、右手掌ＲＨ０の位置を認識する。また、同様に、伝達者ＯＰの左手ＰＨＬの親指ＬＦ１，人差し指ＬＦ２，中指ＬＦ３，薬指ＬＦ４，小指ＬＦ５における、指先ＬＦ１０，ＬＦ２０，ＬＦ３０，ＬＦ４０，ＬＦ５０、第１関節ＬＦ１１，ＬＦ２１，ＬＦ３１，ＬＦ４１，ＬＦ５１、第２関節ＬＦ１２，ＬＦ２２，ＬＦ３２，ＬＦ４２，ＬＦ５２、第３関節ＬＦ２３，ＬＦ３３，ＬＦ４３，ＬＦ５３、左手掌ＬＨ０の位置を認識する。
なお本例では、更に２つの手撮影データＤＨ１，ＤＨ２で認識した各部位ＲＨ０，ＬＨ０，…の視差を用いて、右親指ＲＦ１の指先ＲＦ１０など、右手ＰＨＲ及び左手ＰＨＬの各部位の三次元空間における位置を算出する。具体的には、手カメラ部３１が撮影する、手カメラ部３１の対物レンズを頂点とする錐状の空間と、手カメラ部３２の対物レンズを頂点とする錐状の空間とが交差した三次元空間における位置である。
また、右手ＰＨＲ及び左手ＰＨＬの各部位の三次元空間における位置の変化により、手指の動き及び手の移動を認識することもできる。
【００２３】
一方、手位置関係取得部２２では、上体撮影データＤＰを用いて、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、及び左胸ＰＣＬと、右手ＰＨＲとの位置関係である右手位置関係を取得する。また、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、及び左胸ＰＣＬと、左手ＰＨＬとの位置関係である左手位置関係も取得する。具体的には、「伝達者の右手が、右胸と左胸の間（胸の前、両肩の下）に位置している」、「伝達者の左手が、右胸と左胸の間よりも下に位置している」（図３の手の姿態参照)などの位置関係を取得する。
なお、右手位置関係及び左手位置関係を取得するのに当たり、上述のように、上体カメラユニット４からの上体撮影データＤＰのみを用いても良いが、図２において破線で示すように、手データ取得部２１で取得した、右手ＰＨＲ及び左手ＰＨＬの各部の位置データをも用いて、右手位置関係及び左手位置関係を取得しても良い。また、上体撮影データＤＰのほか、手撮影データＤＨ１，ＤＨ２を用いて右手位置関係及び左手位置関係を取得しても良い。
【００２４】
その後、手振り識別部２３において、伝達者が右手ＰＨＲ及び左手ＰＨＬを用いて示す手振りの意味を識別する。
この際、右手ＰＨＲ及び左手ＰＨＬについての各部の位置データ、右手位置関係及び左手位置関係、並びに、これらの変化（例えば、「伝達者の右手が、右胸の前から右肩の上まで移動」）を用いて、手振りの意味を識別する。即ち、手カメラ部３１，３２からの手撮影データＤＨ１，ＤＨ２を用いて取得した右手ＰＨＲ及び左手ＰＨＬの各部の位置データを用いるほか、上体カメラ部４１からの上体撮影データＤＰを用いて取得した右手位置関係及び左手位置関係を用いるので、伝達者ＯＰが示す手振りの意味を適切に識別することができる。
【００２５】
その後、識別した伝達者ＯＰの手振りが示す意味を、被伝達者に知覚可能に出力する。具体的には、画像データ化部５１において、伝達者ＯＰの手振りが示す意味を、画像データＤＧとし、この画像データＤＧをディスプレイ部５２に表示させる。かくして、被伝達者に対して、伝達者ＯＰの手振りの意味を確実に伝えることができる。なお、図２において破線で囲むように、画像データ化部５１とディスプレイ部５２とが、伝達者ＯＰの手振りが示す意味を、被伝達者に画像によって知覚可能に出力する第１出力部５０に相当している。
【００２６】
そのほか本例においては、本システム１では、識別した伝達者ＯＰの手振りが示す意味を、音声でも出力するように構成されている。具体的には、音声データ化部６１において、伝達者ＯＰの手振りが示す意味を、音声合成により音声データＤＳとし、アンプ及びスピーカからなる発音部６２から発音させる。かくして、伝達者ＯＰの手振りの意味を、多人数に同時に伝えやすい。なお、図２において破線で囲むように、音声データ化部６１と発音部６２とが、伝達者ＯＰの手振りが示す意味を、被伝達者に音声によって知覚可能に出力する第２出力部６０に相当している。
【００２７】
次いで本システム１の画像データの補正処理について説明する。本システム１の画像データの補正処理では、撮影データにより動作認識対象の各部について取得された位置データについて信頼度を判定し、低信頼度である位置データについては補正／補完対象となる補正対象データとし、この補正対象データの前後の複数のフレームの位置データを参照データとして、これらの参照データの信頼度を判定し、各参照データの一定数以上が、所定以上の信頼度である高信頼度となる場合には、補正対象データの位置データについて補正／補完を行うものである。また、この補正／補完は、高信頼度と判定された３個以上の高信頼度データの座標を制御点とする曲線を描画する曲線補正／補完、又は高信頼度と判定された２個の高信頼度データの座標を連結する直線を描画する直線補正／補完 の少なくとも一方の画像データの補正／補完を行うものである。以下、より具体的に説明する。
【００２８】
図５は、画像データ補正／補完の処理の流れを示すフローチャート図である。まずステップ１０１で、本システムの初期設定を行う。このステップ１０１では、３Ｄ座標及びプリミティブ描画のためのエリア・光源・カメラの定義を行う「仮想空間の設定」、並びに上体カメラユニット４及び手カメラユニット３の入力準備となる「赤外線センサの設定」を行う。
【００２９】
ステップ１０１に続くループ１００では、上体カメラユニット４の上体カメラ部４１から送信された上体撮影データＤＰの更新処理を行う。ステップ１０２では、上体カメラユニット４によって撮影され送信された伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、左胸ＰＣＬ、右腕ＰＡＲ、左腕ＰＡＬ、右手ＰＨＲ、及び左手ＰＨＬを含む各関節特徴点の３次元座標の取得・更新を行う。ステップ１０３では、取得された各３次元座標を上体撮影データＤＰとして手位置関係取得部２２に格納する。手位置関係取得部２２に格納された上体撮影データＤＰについては、補正処理部２４において、後述する上体撮影データＤＰの判定・補正／補完を行うループ２００の処理を行う。ループ１００の処理は、本システム１を任意に終了するまで繰り返される。
【００３０】
図６に示すループ２００では、上体カメラ部４１で撮影された上体撮影データＤＰの信頼度の判定・補正／補完を行う。ステップ２０１では、判定処理を行う上体撮影データＤＰの３フレーム前のデータ（「判定対象データ」とする）が欠損データ（空データ）か否かを判定する。欠損データである場合は、ステップ２０２の通り、図９に示すデータの補正／補完を行う。ステップ２０３では、判定対象データが欠損データではない場合に、判定対象データの信頼性を判定する。上体カメラユニット４から送信される判定対象データには、判定対象データの信頼度についての情報が含まれているが、この信頼度が「低信頼
度ではない」場合には、ループ２００の処理を終了し、次の描画の更新処理を行う。上体カメラユニット４から送信される判定対象データの信頼度が「低信頼度である」場合（具体的には、判定対象データが「トラッキングできていない」場合又は「推測で出されている」場合）は、「低信頼度である」と判定し、ステップ２０２の通り、図９に示すデータの補正／補完を行う。      
【００３１】
続くステップ１０４では、手カメラユニット３から取得された手撮影データＤＨ１，ＤＨ２の更新処理を行う。ステップ１０４では、伝達者ＯＰの右手ＰＨＲの３次元座標の取得・更新を行い，さらに、右手ＰＨＲの親指ＲＦ１，人差し指ＲＦ２，中指ＲＦ３，薬指ＲＦ４，小指ＲＦ５における、指先ＲＦ１０，ＲＦ２０，ＲＦ３０，ＲＦ４０，ＲＦ５０、第１関節ＲＦ１１，ＲＦ２１，ＲＦ３１，ＲＦ４１，ＲＦ５１、第２関節ＲＦ１２，ＲＦ２２，ＲＦ３２，ＲＦ４２，ＲＦ５２、第３関節ＲＦ１３，ＲＦ２３，ＲＦ３３，ＲＦ４３，ＲＦ５３、右手掌ＲＨ０の各関節特徴点の３次元座標の取得・更新を行い、ステップ１０５では、手撮影データＤＨ１，ＤＨ２として手データ取得部２１に格納する。また、同様に、伝達者ＯＰの左手ＬＨＲの３次元座標の取得・更新を行い，さらに、左手ＰＨＬの親指ＬＦ１，人差し指ＬＦ２，中指ＬＦ３，薬指ＬＦ４，小指ＬＦ５における、指先ＬＦ１０，ＬＦ２０，ＬＦ３０，ＬＦ４０，ＬＦ５０、第１関節ＬＦ１１，ＬＦ２１，ＬＦ３１，ＬＦ４１，ＬＦ５１、第２関節ＬＦ１２，ＬＦ２２，ＬＦ３２，ＬＦ４２，ＬＦ５２、第３関節ＬＦ１３，ＬＦ２３，ＬＦ３３，ＬＦ４３，ＬＦ５３、左手掌ＬＨ０の各関節特徴点の３次元座標の取得・更新を行い、手撮影データＤＨ１，ＤＨ２として手データ取得部２１に格納する。手撮影データＤＨ１，ＤＨ２を格納した後には、後述する手撮影データＤＨ１，ＤＨ２の判定・補正／補完処理を行うループ３００の処理を行う。
【００３２】
手データ取得部２１に格納された手撮影データＤＨ１，ＤＨ２については、補正処理部２４において、信頼度判定・補正／補完処理を行う。図７に示すループ３００では、ステップ３０１で、判定処理を行う手撮影データＤＨ１，ＤＨ２の３フレーム前のデータ（「判定対象データ」とする）が欠損データ（空データ）か否かを判定する。欠損データである場合は、ステップ３０２において、図９に示すデータの補正／補完を行う。ステップ３０３では、判定対象データが欠損データではない場合に、判定対象データの信頼性を判定する。手カメラユニット３から送信される判定対象データには、判定対象データの信頼度についての情報が含まれているが、この信頼度が「低信頼度ではない」場合には、ループ３００の処理を終了し、次の描画の更新処理を行う。手カメラユニット３から送信される判定対象データの信頼度が「低信頼度である」場合には、ステップ３０２の通り、図９に示すデータの補正／補完処理を行う。なお、ループ２００及びループ３００において補正／補完を行うとしたそれぞれのデータを「補正対象データ」とする。
【００３３】
続くステップ１０６では描画の更新処理を行う。本例では、補正／補完を終えた上体撮影データＤＰ及び手撮影データＤＨ１，ＤＨ２に基づいて、上体の各関節特徴点及びこれらに基づいてその位置が想定される状態上体の仮想骨、並びに手の各関節特徴点及びこれらに基づいてその位置が想定される手の仮想骨の描画位置を更新する。リアルタイムでの補正／補完を行う場合には、上記のような処理を続ける。
【００３４】
そして、続くステップ１０７では、連続する上体撮影データＤＰ及び手撮影データＤＨ１，ＤＨ２に基づいて、動作認識（ここまでの例では、リアルタイムの補正／補完の場合は行わず、録画のデータについて補正／補完を行う場合にのみ行う）を行うか否かを判定する。動作認識を行うか否かはあらかじめモードの切り替えにより設定される。本実施の形態では、上記したように取得される一連の上体撮影データＤＰ及び手撮影データＤＨ１，ＤＨ２をすべて録画した後に動作認識を行う。動作認識を行わない場合には、ループ１００の上体撮影データＤＰの更新処理を終了して、画像データ補正の処理を終える。なお、動作認識は、録画のデータのみならず、諸条件が揃えば、リアルタイムのデータについて行うことを排除するものではない。
【００３５】
動作認識処理は任意に開始される。本例では、この動作認識を行う場合には、図８に示すループ４００の通り、全ての判定対象データの補正／補完を繰り返し行う。所望の場合には、この繰り返しを省略することもできる。ステップ４０１では、ループ４００中の処理が１周目か否かを判定する。１周目である場合には、ステップ４０２の通り、ループ２００及びループ３００で示したデータの補正／補完を行う。全ての判定対象データの補正／補完を終え、ステップ４０３では、補正／補完不可データのフレーム数と関節特徴点のデータを保持する。ステップ４０４では、補正／補完不可データのフレーム数と関節特徴点のデータがあるか否かを判定し、当該データが空の場合にはループ４００の処理を終了する。
【００３６】
ループ４００中の処理が１周目で無い場合には、ステップ４０５において、ステップ４０３で保持された補正／補完不可データのフレーム数と関節特徴点のデータに基づいて、ループ２００及びループ３００で示したデータの補正／補完を行う。ステップ４０６では、このデータの補正／補完の処理、すなわち、ステップ４０３で保持された補正／補完不可データのフレーム数と関節特徴点のデータに基づいたデータの補正／補完処理により補正／補完がされたか否かを判定する。データの補正／補完処理により補正／補完がされたと判定された場合には、ステップ４０７で、ステップ４０３において保持された補正／補完不可データのフレーム数と関節特徴点のデータを削除する。一方、ステップ４０３で保持された補正／補完不可データのフレーム数と関節特徴点のデータに基づいたデータの補正／補完処理により補正／補完がされなかった場合には、ステップ４０３において保持された補正／補完不可データのフレーム数と関節特徴点のデータを削除せずにそのままとする。
上記したように、ステップ４０４では、ステップ４０３において保持された補正／補完不可データのフレーム数と関節特徴点のデータを有する場合にはループ４００の処理を繰り返し、補正／補完を必要とするデータが無くなるまでループ４００の処理を繰り返す。一方、ステップ４０３において保持された補正／補完不可データのフレーム数と関節特徴点のデータが空の場合にはループ４００の処理を終了し、本画像データ補正システムを任意に終了するまで、ループ１００の処理が繰り返される。
【００３７】
次いで、図９に示すデータの補正／補完処理のフローチャート図について説明する。まずループＡでは、補正対象データの補正／補完の処理方法について決定する。ループＡでは、補正／補完の対象となるデータ（補正対象データ）を現フレームの３フレーム前のデータとする。補正／補完の参照データは補正対象データの３フレーム前からとする。ステップ５０１では、参照データが現フレームの３フレーム前のデータであるか否かを判定する。参照データが現フレームの３フレーム前のデータである場合には、参照データが現フレームと一致するまで、ループＡの処理を繰り返す。参照データが現フレームの３フレーム前のデータで無い場合には、ステップ５０２において、当該参照データが「欠損データでは無く」、かつ「信頼度が高い」か否かを判定する。当該参照データが「欠損データでは無く」、かつ「信頼度が高い」場合には、ステップ５０３において、カウンターの値を増加させる。そして、参照データが現フレームと一致するまで、１フレーム後のデータを参照データとしてループＡの処理を繰り返す。参照データが現フレームと一致した後、ループＡの処理を終える。
【００３８】
次いでステップ５０４では、カウンターの値が「３」以上であるか否かを判定する。カウンターの値が「３」以上である場合には、ステップ５０５で、補正対象データの前後それぞれの３フレーム参照データを用いて、対象データを曲線補正／補完する。
「曲線補正／補完」は、具体的には例えば図１０に示すように、補正対象データｉ−３の前後の参照データｉ−６、ｉ−５、ｉ−４、ｉ−２、ｉ−１、ｉの座標Ｘ（ｉ−６）、Ｘ（ｉ−５）、Ｘ（ｉ−４）、Ｘ（ｉ−２）、Ｘ（ｉ−１）、Ｘ（ｉ）のうち、高信頼度であった参照データｉ−６、ｉ−５及びｉ−１の座標から推定した曲線を描画するものとして補正／補完をして行う。本例では３点を制御点とした曲線を描画し、この曲線上にｉ−３の座標を修正して位置するものとする。また、ステップ５０６では、当該曲線補正された対象データｉ−３の信頼度を「３」（信頼度高）とする。
本発明において描画する曲線としては、例えば、エルミート曲線、Ferguson/Coons 曲線、スプライン曲線、ベジェ曲線、B-スプライン曲線、NURBS曲線、ラグランジュ補完法による多項式関数の曲線、ニュートン補完法による多項式関数の曲線、最小二乗法による近似曲線その他の曲線のいずれかとすることができる。
上記した例では高信頼度のデータ３点を利用して補正／補完を行ったが、例えば高信頼度データが４点以上の場合には、各高信頼度データ間を上記した曲線で描画し、補正対象データの補正／補完を行うものとする。
【００３９】
また、ステップ５０４においてカウンターの値が「３」以上ではないと判定された場合には、ステップ５０７においてカウンターの値が「２」か否かを判定する。カウンターの値が「２」と判定された場合には、ステップ５０８において、対象データの前後それぞれの３フレーム参照データを用いて、対象データを直線補正／補完する。
「直線補正」は、具体的には例えば図１１に示すように、補正対象データｉ−３の前後の参照データｉ−６、ｉ−５、ｉ−４、ｉ−２、ｉ−１、ｉの座標Ｘ（ｉ−６）、Ｘ（ｉ−５）、Ｘ（ｉ−４）、Ｘ（ｉ−２）、Ｘ（ｉ−１）、Ｘ（ｉ）のうち、高信頼度であった参照データｉ−６及びｉ−５の座標２点を始点および終点とする直線を描画し、その延長線上に、ｉ−３の座標を修正して位置するものとして補正／補完を行う。また例えば図１２に示すように、補正対象データｉ−３の前後の参照データｉ−６、ｉ−５、ｉ−４、ｉ−２、ｉ−１、ｉの座標Ｘ（ｉ−６）、Ｘ（ｉ−５）、Ｘ（ｉ−４）、Ｘ（ｉ−２）、Ｘ（ｉ−１）、Ｘ（ｉ）のうち、高信頼度であった参照データｉ−６及びｉ−１の座標２点を始点および終点とする直線を描画し、その線上の中間点に、ｉ−３の座標を修正して位置するものとして補正／補完をして行う。
また、ステップ５０９では、当該直線補正された対象データｉ−３の信頼度を「２」（信頼度高）とする。
また、ステップ５０４及びステップ５０７において、信頼度が「３」以上では無く、「２」でもないと判定された場合には、当該補正対象データについては補正／補完を行わない。
【００４０】
なお、リアルタイムでの補正（描画）を行う場合には、カウンターが「１」以下の場合には、補正を行うことなく対象データをそのまま描画する。
また、リアルタイム補正を行う場合において、補正対象データを現フレームのデータとせずに現フレームの３フレーム前のデータとすることにより、補正／補完処理を確実に反映させた描画を行うことができるとともに、現フレームの３フレーム前の補正対象データに基づいて補正／補完描画を行うことができるので、体感上「ほぼリアルタイム」での描画に支障は来たさない。
【００４１】
一方、録画データについて補正（描画）を行う場合には、上記のような時間とデータ量の制約が少ないため、上記のような判定基準において補正／補完を必要とする対象データが無くなるまで全ての位置データについて補正を行うとともに、これを繰り返し、上記した「信頼度」においてはより高い補正／補完を行う。補正／補完を繰り返すほど信頼度の高い参照データが増加することになるため、最終的には全てのデータについて、上記した条件における「信頼度」に関しては「高い」とされるデータに補正／補完をすることが可能である。
【００４２】
また、このような録画データにおける補正／補完の際には、録画データの後方のフレームから全て走査することが望ましい。リアルタイムに補正／補完、描画をする必要性が無いために前方のデータからの順次の補正／補完の必要性がないこと、及び、録画を行った時点で、既にリアルタイム補正によって前方からのデータからの順次の補正が行われている状態となるので、後方からの順次の補正を行えば、双方向からの補完も行われることになる。前方又は後方のいずれか一方向からのみ補正／補完した場合には、例えば前方からのみ補正／補完をした場合には、後方の欠損範囲が大きくなり、前方のみのデータから補正／補完を行う状態が続くと、補正／補完が進むほど、実際の軌跡から離れる可能性高まる。しかし、欠損範囲が大きい場合でも、双方向から補完することで、実際の軌跡から離れる可能性が低くなり、補正／補完の精度が向上する。よって、前方からの補正／補完を終えたデータについては、後方のフレームから走査して補正／補完をすることにより、より精度の高い補正／補完ができる。
【００４３】
本発明は、前述した実施の形態に限られるものではなく、本発明の趣旨の範囲内で適宜変更することが可能である。上記した画像データの補正の例においては、より精度の高い補正を行うために、手撮影データＤＨ１，ＤＨ２についての信頼度判定・補正／補完処理に加えて、ループ２００のように、あらかじめ上体撮影データＤＰの信頼度判定・補正／補完処理も行うこととしている。しかしながら、本発明においては、手振り翻訳システム１ａの直接の動作認識対象である手撮影データＤＨ１，ＤＨ２のみに信頼度判定・補正／補完処理を行い、上体撮影データＤＰの信頼度判定・補正／補完処理については省略することもできる。
【００４４】
また、上記した画像データの補正において、各参照データの「信頼度」の判定における「高信頼度」の判定基準を適宜変更することができる。また、上記した画像データの補正における各参照データの範囲は、補正対象データの前後それぞれ３フレームとしており、特にリアルタイムでの補正の場合には、時間とデータ量の制約の中でより精度の高い補正ができるようにしている。しかしながら、リアルタイム性がそれほど要求されない場合には、上記の実施の形態よりも参照データの範囲を拡げて、より精度を高めることとしても良い。逆に、よりリアルタイム性を要求される場合には、参照データの範囲を狭め、例えば補正の対象データの前後のそれぞれ２フレームとしても良い。また、補正／補完の精度とできる限りリアルタイムに結果を描画することとのバランスをとり、補正対象フレームを現フレームの３フレーム前としているが、これについても処理の精度とリアルタイム処理の必要性のバランスを取りながら、適宜変更することは可能である。
また、特に録画した画像についての補正を行う場合には、リアルタイム性は要求されないため、参照データの範囲をより拡げて、より一層、精度を高めることとしても良い。
【００４５】
また本システム１は、上記した手話認識システム以外の他の動作認識システムの画像データ補正に適用しても良い。例えば、工場作業における作業員の異常作業検知システムにおける動作データの補正に適用することもできる。また、手以外の脚の動作認識システムの画像データ補正に適用することもできる。また、認識対象者の身体自体の動作認識だけではなく、認識対象者が保持する又は装着する道具・工具類の動作認識システムの画像データ補正に適用することもできる。例えば、ゴルフスイング解析システムにおけるゴルフクラブのスイング軌道や、工場作業において作業員が使用する工具操作等の画像データ補正に適用することもできる。
【産業上の利用可能性】
【００４６】
本発明は、動作認識画像データの補正システムに広く利用することができる。
【符号の説明】
【００４７】
１  手振り翻訳システム
２  処理装置
２１  手データ取得部
２２  手位置関係取得部
２３  手振り識別部
２４  補正処理部
３  手カメラユニット
３１，３２  手カメラ部
ＤＨ１，ＤＨ２  手撮影データ
３３，３４，３５  手照明ＬＥＤ
４  上体カメラユニット
４１  上体カメラ部
ＤＰ  上体撮影データ
４２  上体照明ＬＥＤ
５  第１出力部（出力部）
５１  画像データ化部
ＤＧ  画像データ
５２  ディスプレイ部
６  第２出力部（出力部）
６１  音声データ化部
ＤＳ  音声データ
６２  発音部
ＯＰ  伝達者
ＰＵ  （伝達者の）上体
ＰＨＲ  右手
ＰＨＬ  左手
ＲＦ１  右親指
ＲＦ１０  （右親指の）指先
ＲＦ１１  （右親指の）第１関節（指関節）
ＲＦ１２  （右親指の）第２関節（指関節）
ＲＦ２  右人差し指
ＲＦ２０  （右人差し指の）指先
ＲＦ２１  （右人差し指の）第１関節（指関節）
ＲＦ２２  （右人差し指の）第２関節（指関節）
ＲＦ２３  （右人差し指の）第３関節（指関節）
ＲＦ３  右中指
ＲＦ４  右薬指
ＲＦ５  右小指
ＬＦ０  （左手の）掌
ＬＦ１  左親指
ＬＦ１０  （左指の）指先
ＬＦ１１  （左親指の）第１関節（指関節）
ＬＦ１２  （左親指の）第２関節（指関節）
ＬＦ２  左人差し指
ＬＦ２０  （左人差し指の）指先
ＬＦ２１  （左人差し指の）第１関節（指関節）
ＬＦ２２  （左人差し指の）第２関節（指関節）
ＬＦ２３  （左人差し指の）第３関節（指関節）
ＬＦ３  左中指ＬＦ４  左薬指
ＬＦ５  左小指
【図１】
2019160034.tif 000003
【図２】
2019160034.tif 000004
【図３】
2019160034.tif 000005
【図４】
2019160034.tif 000006
【図５】
2019160034.tif 000007
【図６】
2019160034.tif 000008
【図７】
2019160034.tif 000009
【図８】
2019160034.tif 000010
【図９】
2019160034.tif 000011
【図１０】
2019160034.tif 000012
【図１１】
2019160034.tif 000013
【図１２】
2019160034.tif 000014