(57)【要約】  【目的】顔の部分の状態をリアルタイムで同定するための顔面像の処理を提供する。  【構成】顔の部分の状態に関するデータを含むリアルタイム出力を生成する。顔領域検出ユニット１１は検査処理回路５１−５７および決定処理回路５９−６１を有し、これらはパイプライン動作して顔領域の位置を決定する。検査回路５１−５７は３次元ヒストグラムおよびバックプロジェクション処理を用いて画素値頻度を検査する。生成される顔領域信号は、ユニット１２によりマスクを与えられる。ユニット１２は口領域検出ユニット１４および目領域検出ユニット１５にデータを送る。これらの各ユニットは、顔領域検出ユニット１１と同様の原理で動作する。  【効果】合図言語認識、自動漫画アニメーション、あるいは障害者用の改良マンマシンインタフェースのような多くの有用な用途が導かれる。  【選択図】  図１
2005025778.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
デジタル形式のカラー顔画像データ列を受ける手段と、
該画像データをパイプライン方式で処理してリアルタイム出力を発生するよう相互に接続された複数の画像データ処理回路とを備え、
該画像データ処理回路は、
画像データのカラー値を検査し、顔の部分を表す画像データ画素を同定する検査手段と、
該同定された画素の位置座標を検査することにより顔の部分の状態を決定する決定手段とを有し、
さらに、前記画像処理装置は、
求められた顔の部分の状態データをリアルタイムに出力する出力装置を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の装置において、前記検査手段は、画像データ内の画素値の出現頻度を検査する手段を有する画像処理装置。
【請求項３】
請求項１記載の装置において、前記検査手段は、画像データ内の画素値の出現頻度を検査するためにカラーヒストグラム照合を行う手段を有する画像処理装置。
【請求項４】
請求項２記載の装置において、前記検査手段は、画像データ内の画素値の出現頻度を検査するために３次元カラーヒストグラム照合を行う手段を有する画像処理装置。
【請求項５】
請求項３記載の装置において、前記検査手段は、さらに、生成されたヒストグラムを、オフラインで生成されたテンプレートヒストグラムと比較するためのバックプロジェクション（逆投影）手段を有する画像処理装置。
【請求項６】
請求項１記載の装置において、前記決定手段は、さらに、顔の１つまたは複数の部分の領域を決定するためのカウンタを有する画像処理装置。
【請求項７】
請求項１記載の装置において、さらに、受け取ったカラー顔画像データ列を正規化する手段を備える画像処理装置。
【請求項８】
請求項１記載の装置において、前記複数の処理回路は、
画像データに対して顔領域検出処理を行う回路を含む顔領域検出ユニットと、  該顔領域検出ユニットに接続され、画像データと前記顔領域検出ユニットからの出力信号とを用いて、前記検出された顔領域内の顔部分の状態を決定する処理回路を含む顔部分決定ユニットとを有する画像処理装置。
【請求項９】
請求項８記載の装置において、さらに、前記顔領域検出ユニットと前記顔部分検出ユニットとの間に接続されるマスク生成回路を有する画像処理装置。
【請求項１０】
請求項８記載の装置において、口領域検出ユニットと目領域検出ユニットとの２つの顔検出ユニットを有する画像処理装置。
【請求項１１】
請求項１０記載の装置において、該装置は、さらに、前記顔領域検出ユニットと前記顔部分検出ユニットとの間に接続されたマスク生成回路を備え、該マスク生成回路は目マスク信号および口マスク信号を生成する手段を有する画像処理装置。
【請求項１２】
請求項１０記載の装置において、前記口領域検出ユニットおよび前記目領域検出ユニットは、同一の画像データを並列に処理するように前記装置内で接続されている画像処理装置。
【請求項１３】
請求項１記載の装置において、該装置は、さらに、決定された位置データを検証する一貫性チェックを実行する手段を備える画像処理装置。
【請求項１４】
請求項１３記載の装置において、前記各処理回路は、自己が生成した位置データについて一貫性チェックを実行する手段を有する画像処理装置。
【請求項１５】
請求項１３記載の装置において、前記一貫性チェック手段は前記位置データと基準位置データとを比較するようプログラムされたプロセッサを有する画像処理装置。
【請求項１６】
請求項１記載の装置において、前記検査手段は、ノイズが低減されたあと対象領域が回復された画像データを生成するための２値侵食ステップおよび２値拡張ステップを実行する手段を有する画像処理装置。
【請求項１７】
請求項１記載の装置において、さらに、入力画像データ内に表されたカラー指先の位置を決定する画像データ処理回路を備える画像処理装置。
【請求項１８】
請求項１記載の装置において、顔領域の画像処理回路と別個にカラー指先の画像処理回路を備え、両回路は入力画像データを並列に処理するよう接続されている画像処理装置。
【請求項１９】
請求項１７記載の装置において、さらに、顔部分およびカラー指先の位置データに応じて、合図言語での対話を支援するために、カラー指先が顔部分に接近したことを表す出力信号を生成する結果プロセッサを備える画像処理装置。
【請求項２０】
請求項１記載の装置において、さらに、前記画像データ列を生成するビデオ装置を備える画像処理装置。
【請求項２１】
請求項２０記載の装置において、前記ビデオ装置は、アナログデジタル変換器を有するカメラである画像処理装置。
【請求項２２】
請求項２０記載の装置において、前記ビデオ装置はカメラであり、該カメラは光源に隣接して支持枠上に装着され、該支持枠に隣接して着席した人物の顔が視野内に入るように角度をもって上方へ向けられた画像処理装置。
【請求項２３】
顔の画像データを処理する方法であって、
デジタルカラー画像データの列を受け、
顔の部分を表す画像データ画素を同定するために前記画像データ内のカラー値を検査し、
該同定された画素の位置座標を検査することにより当該顔の部分の状態を決定し、この際、前記検査ステップおよび該決定ステップは、画像データをパイプライン方式で処理するよう相互接続された複数の処理回路により実行され、
該決定された顔の部分の状態データをリアルタイムで出力する
ことを特徴とする画像処理方法。
【請求項２４】
請求項２３記載の方法において、前記検査ステップおよび前記決定ステップは、まず顔の領域および位置を同定し、次に顔の部分を同定して当該顔部分の状態を決定する画像処理方法。
【請求項２５】
請求項２３記載の方法において、前記検査ステップは、が図データ内の画素値の出現頻度を検査するサブステップを含む画像処理方法。
【請求項２６】
請求項２３記載の方法において、前記検査ステップは、画像データ内の画素値の出現頻度を検査するためのカラーヒストグラム照合を実行するサブステップを含む画像処理方法。
【請求項２７】
請求項２３記載の方法において、前記検査ステップは、画像データ内の画素値の出現頻度を検査するための３次元カラーヒストグラム照合を実行するサブステップを含む画像処理方法。
【請求項２８】
請求項２３記載の方法において、前記検査ステップは、３次元カラーヒストグラム照合を実行するサブステップを含み、該３次元カラーヒストグラム照合では、生成された３次元カラーヒストグラムを、オフラインで生成されたテンプレートヒストグラムを比較するバックプロジェクションを行う画像処理方法。
【発明の詳細な説明】
【産業上の利用分野】
【０００１】
本発明は、画像処理に関し、特に、顔表現の画像の処理に関する。
【背景技術】
【０００２】
顔面のような対象を探知する方法が、欧州特許明細書ＥＰ４７４，３０７Ａ２（フィリップス社）に記載されている。この方法では、まず、顔のテンプレートが作成され、その概略を表すマスクが抽出される。次に、このマスクは、その対象の具体的な特徴点に左右されない幾つかのサブテンプレートに分割される。各フレームは、順次、一致検出のためサーチ（検索）される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この方法は、顔面のような対象全体の探知には有効と考えられるが、顔面の部分の状態（位置、向き、開閉状態、等）、および指先のような他の部分の状態に関する必要なデータを与えるものではない。したがって、この方法の適用には限界があり、身ぶり手振りによる理解および対話を支援するための合図言語(sign language)データの自動生成および表示生成のような処理には適さない。
【０００４】
本発明の目的は、顔部分の状態をリアルタイムで同定（itentify)するための
顔画像の処理を提供するものである。この目的を達成することにより、合図言語認識、自動漫画アニメーション、あるいは障害者用の改良マンマシンインタフェースのような多くの有用な用途が導かれる。本発明の他の目的は、例えば、合図言語理解および対話を支援するために顔の画像とともに手の画像の処理を提供するものである。
【０００５】
本明細書では、「合図言語」とは、従来の聴覚障害者のための身ぶり手振りによるものに限らず、読唇を援助するための口の動きの認識にも関係するものである。また、「認識」という用語は、合図言語動作を画面表示してユーザによる認識を支援するような合図言語の完全認識を含む広義の行為を指す総体的な意味に用いられる。さらに、「カラー」という用語は、白、黒、灰色を含むあらゆる色を含むものとして用いられている。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、以下の構成から成る。
【０００７】
デジタル形式のカラー顔画像データの列を受ける手段と、
画像データをパイプライン方式で処理してリアルタイム出力を生成するための相互に接続された複数の画像データ処理回路とを備え、
これらの回路は、
画像データのカラー値を検査することにより顔部分を表す画像データ画素を同定する手段と、
この同定された画素の位置座標を検査することにより顔部分の状態を決定する手段と、
この決定された顔部分の状態をリアルタイムに出力する出力装置と、
を有する。
【０００８】
好ましくは、前記処理回路は、画像データ内の画素値の出現頻度を検査する手段を有する。
【０００９】
一例として、この検査手段は、画像データ内の画素値出現頻度を検査するために、３次元カラーヒストグラムマッチングを実行する手段からなる。
【００１０】
好ましくは、前記処理回路は、
画像データに対して顔領域検出動作を行う回路を有する顔領域検出ユニットと、
この顔領域検出ユニットに接続され、画像データおよび前記顔領域検出ユニットから出力された画像データを用いて、前記検出された顔領域内の顔部分の状態を求める処理回路とを有する。
【００１１】
本発明は、他の見地から、以下のステップからなる、顔画像データの処理方法を提供する。
【００１２】
デジタルカラー画像データの列を受け、
顔部分を表す画像データ画素を同定するために画像データ内のカラー値を検査し、
同定された画素の位置座標を検査することにより顔部分の状態を決定し、この際、検査および決定のステップは、画像データをパイプライン方式で処理するために相互に接続された複数の処理回路により実行され、
前記決定された顔部分状態データを表す信号をリアルタイムに出力する。
【発明の効果】
【００１３】
本発明によれば、顔部分の状態をリアルタイムで同定することが可能となり、これによって、合図言語認識、自動漫画アニメーション、あるいは障害者用の改良マンマシンインタフェースのような多くの有用な用途が導かれる。
【実施例】
【００１４】
以下、図面により本発明の実施例について詳細に説明する。
【００１５】
まず、図１、図２、図３に、本発明の画像処理システム１の構成を示す。システム１は、ビデオスクリーン４を制御する画像処理装置３に接続されたビデオカメラ２を有する。装置３は、システム１内の意思決定を支援する処理回路を有するワークステーション５に接続されている。システム１の主目的は、顔の部分の動きを検査し、顔部分に対する人間の指先の接近に関する情報を提供することである。これは、合図言語における重要な点である。見本のスクリーン表示６を図１に示す。図２は、カメラ２の有効な構成を示している。すなわち、カメラ２は、ユーザの顔より低い位置におかれた光源８に隣接してフレーム（支持枠）に取り付けられ、線Ａに沿って上方へ向けられている。これにより、ユーザの頭部が下を向いたときでも常にカメラの視野内に顔が存在するよう保証される。
【００１６】
システム１は、顔部分および指先を同定するよう動作し、それらの位置、向き、開閉状態等に応じて、それらの状態を決定する。このデータはリアルタイムで生成されるので、システム１は次のような用途に有用である。
【００１７】
（ａ）合図言語認識（指先と顔の特徴部との位置関係により、合図ジェスチャーが何を表しているかを決定するのを支援する。）
（ｂ）自動漫画アニメーション（同定の結果を用いて、漫画キャラクタをリアルタイムに生成し現実的な顔のジェスチャーを与えることができる。）
（ｃ）マンマシンインタフェース（眼の動きのような顔部分の動作を用いてスクリーンカーソルを制御することができる。また、ユーザが顔の一部を動かす能力しか持たないような場合に、口の動きをスイッチとして利用することができる。）
次に、特に図３を参照して、システム１の概略構成を説明する。カメラ２は、装置３の正規化ユニット１０に接続されている。正規化ユニット１０は、周囲の照明状態により生じるノイズを除去するためのものである。この正規化回路１０からはＲＧＢ画像がサブシステムに対して出力される。サブシステムは、顔領域の検出、および顔部分マスクの生成のためのユニット１１、１２を有する。正規化ユニット１０は、また、指先検出ユニット１３に対してもＲＧＢ画像入力信号を与える。
【００１８】
顔部分マスクユニット１２は、口領域検出ユニット１４と目領域検出ユニット１５とへマスクデータを与えるよう接続されている。ユニット１３、１４および１５は、すべて、その出力端において、ワークステーション５に接続されている。ワークステーション５は、受け取ったデータの合図言語信号の内容を自動的に解釈する。この出力信号は、特定の用途に従い、必要に応じて、利用することができる。
【００１９】
システム１の構成および動作を詳細に説明する前に、本発明の重要な作用面について簡単に説明する。入力信号はデジタルカラー（この場合、ＲＧＢ）画像データの列であり、これは、種々のユニット内の回路によりパイプライン方式で処理される。すなわち、１または複数のデータ列に対して連続的な動作が行われる。その個々の動作は、比較的簡単なものである。このような処理の助けにより、リアルタイム処理が実現される。したがって、出力データは様々の用途（その幾つかは上述した）に効果的に利用することができる。
【００２０】
他の重要な面は、装置３内の主要ユニットは、各々、主として２つの類型（すなわち検査回路と決定回路）に分類される回路を有する。検査回路は、画像データ列のカラー値（具体的には、画素値頻度）を検査して対象を同定する。他方、決定回路は、このデータを用いて、その対象の位置および領域データを求める。ユニット１１についての対象は全般的な顔領域であり、ユニット１３についての対象は色付けされた指先（coloured fingertip)である。また、ユニット１４の
対象は口領域であり、ユニット１５の対象は目である。他の実施例では、顔領域および口領域の検出のみであるが、基本となる技術的特徴は同じである。概略的な対象画像データ処理に続いて具体的な処理を行うこれらのユニットの構成によっても、複雑さの低減およびリアルタイム処理の達成に役立つ。ユニット１２により得られる本実施例における他の重要な特徴は、概略処理と後続の具体的処理との間にマスクデータを設けることである。これによって、後続処理の効率が改善される。
【００２１】
カメラの代わりに、ビデオテーププレーヤのような適当なビデオ装置により、主画像信号を得るようにしてもよい。あるいは、外部信号源（これは遠隔地にあってもよい）からデジタル画像データを得るようにすることも可能である。
【００２２】
次に図４〜図５１を参照して、システム１の動作を詳細に説明する。この動作の全体的な方法を図４および図５のフローチャートフォーマットに示す。
【００２３】
この方法のステップ２０において、同期パルスの間に、カメラ２内のＡ／Ｄ変換器を介してカメラ２内のアナログ画素列を画像メモリに書き込むことにより、次のフレーム画像が取り込まれる。これにより、初期デジタル入力ＲＧＢ画像信号が得られる。
【００２４】
ステップ２１において、正規化が行われる。この処理では、図６に示すようなＳＲＡＭで構成された大規模ルックアップテーブルに、前記取り込まれたＲＧＢ画像を入力し、図７または図８の式に従って各画素のＲＧＢ値を変換することにより正規化されたＲＧＢ信号画像を生成する。ルックアップテーブルには、ＲＧＢ値の変換のための係数が予めコード化されている。このルックアップテーブルの係数は、図７または図８に与えられた２つの作用のいずれかを利用して算出される。２４ビットのＲＧＢ画像データは３つの８ビット値（すなわち、１つはＲを表し、１つのＧを表し、１つはＢをあらわす）からなる。これらの３つの値は、結合されて、ルックアップテーブルの１つの２４ビットアドレスになる。前記式を用いて、正規化されたＲ，Ｇ，Ｂを表す新たな８ビット値を算出することができる。これらの３つの８ビットデータ値は、結合されて、単一の２４ビットデータ信号になる。この単一の２４ビットデータ信号は、正規化されたＲＧＢ画像として出力される。前記係数は、テーブルとして予めコード化され、初期化時にＳＲＡＭ１０内に係数としてダウンロードされる。この代わりに、製造時にＰＲＯＭ内に係数をプログラムすることにより、予めコード化しておくようにしてもよい。
【００２５】
使用するメモリの容量をより少なくしたい場合には、個別論理（discrete logic)を有する、より小サイズの複数のルックアップテーブルを用いた一層複雑な
回路を用いることもできる。この場合、処理は幾つかのステップに分断される。この構成では、メモリ容量が少なくて済むが、解像度が低くなる。
【００２６】
ステップ２２では、取り込まれた画像の顔領域がユニット１１により検出される。このステップ２２の詳細を図９に示す。図９は、ステップ２２（ａ）〜２２（ｎ）および処理パラメータを示している。顔領域検出ユニット１１は、図１０にその詳細を示す。このユニット１１は、３次元（３Ｄ）ヒストグラム・バックプロジェクション（逆投影）回路５１を有する。この回路５１は、スムージング（平滑化）＃１回路５２に接続される。回路５１の詳細は図１１に、回路５２の詳細は図１２に示す。
【００２７】
回路５１の動作は、３つの、すなわちＸ，Ｙ，Ｚの動作フェーズに分類できる。その動作は、次の通りである。
【００２８】
＜フェーズＸ＞
入力画像は、マルチプレクサ（ＭＵＸ）を介してメモリ（ＭＥＭ）に送られる。このメモリは画像カラーヒストグラムを記憶するために用いられる。画素値は、カウンタ（ＣＯＵＮＴＥＲ）にロードされるヒストグラム値を参照（lookup)
するためのアドレスとして利用される。このカウンタは、このヒストグラムボックスに属する新たな画素が見つかったことを示すためにインクリメントされ、次いで、この値は画像カラーヒストグラムメモリ内に書き戻される。この処理は、入力画像のすべての画素が処理されるまで繰り返される。この時点で、画素値のヒストグラムは画像カラーヒストグラムメモリ内に存在する。なお、このメモリは、各フレームの開始時に０に初期化される必要がある。
【００２９】
＜フェーズＹ＞
このフェーズでは、画像カラーヒストグラムメモリおよびモデルカラーヒストグラムメモリへメモリアドレスを与えるために、内部アドレス発生器（Internal Addr Gen)からのアドレスが用いられる。モデルカラーヒストグラムメモリには、モデルカラーのヒストグラムがオフラインでロードされる。この処理は、ワークステーションがそれらの値をメモリ内にダウンロードすることにより行われる。マルチプレクサは、内部発生アドレスが画像カラーヒストグラムに与えられるよう設定される。内部アドレス発生器は、すべてのヒストグラムボックスに対するアドレスを生成し、同時に、画像カラーヒストグラムおよびモデルカラーヒストグラムの値は除算器ユニットへ出力される。除算器ユニットは、算出論理演算ユニット（ＡＬＵ）およびルックアップテーブル（ＬＵＴ）のいずれでもよいが、これら２つの数値を除算し、その結果を比カラーヒストグラムメモリ内に格納する。  比カラーヒストグラムメモリに対するアドレスも、内部アドレス発生器からマルチプレクサ（ＭＵＸ）を介して与えられる。この処理は、ヒストグラム内のすべてのボックスが処理されるまで繰り返される。
【００３０】
＜フェーズＺ＞
このフェーズでは、マルチプレクサを用いて、比カラーヒストグラムメモリへのアドレスが、原入力画像の画素値により与えられる。この入力画像は、比ヒストグラム値を参照して次の処理ステージにこれらの比ヒストグラム値を出力するために用いられる。ヒストグラム回路５４（図１３に詳細を示す）および閾値回路５３（図１４に詳細を示す）は、２値侵食（erosion）回路（図１５）に接続
される。ユニット１１は、さらに、２値侵食回路５５と類似した２値拡張回路５６、および２値拡張回路＊５７（図１６参照）を有する。また、投影(projection)Ｘ−Ｙ回路５９（図１７参照）も有する。さらに、ユニット１１は、カウンタ６０およびＡＬＵ６１を有する。これらの回路間の信号の流れを、図１０に示す。図１０では、信号の流れに合わせて、２値侵食回路５５を重複して示している。
【００３１】
正規化された入力画像信号はＲＧＢ成分を有し、そのデータ列内の位置はｘ，ｙ位置を表す。ＲＧＢ画像信号は回路５１に入力され、そのＲＧＢデータは図１８に示すようにＲ，Ｇ，Ｂ各成分に分離される。これらの成分値を用いて、そのＲＧＢ値が指し示す特定のボックスの値をインクリメントすることにより、カラー空間のヒストグラムが得られる。３次元ヒストグラムの機能は、３次元空間のある部分が、同じ３次元空間の他の部分に対して、占有された（使用された）相対的な頻度を示すものである。本実施例における３次元空間は、黒を示す（０，０，０）および白を示す（２５５，２５５，２５５）を含むＲＧＢカラー空間である。入力画像が白色のみとすれば、“バケットサイズ（Bucket size）”は１
にセットされ、（０，０，０）以外のすべてのボックスは０となる。可変バケットサイズの機能により、類似色のグループを単一のボックスで代表させることができる。これにより、３次元ヒストグラムのボックス数を低減し、実現上の複雑さを軽減することができる。
【００３２】
入力画像のすべての画素が処理された後、最大の値を有するヒストグラムのボックスはその入力画像の中で最も頻繁に出現した色（そのボックスに複数の色が属する場合は複数の色）であることを示す。２番目に大きい値は２番目に出現頻度の高い色を表す。以下、同様である。図１９に示すようなバックプロジェクション処理において、生成されたヒストグラムは、次に、同定すべき顔部分のテンプレートヒストグラムと比較される。その結果、その画素がその顔領域内にある可能性の度合いを示す出力ＢＰ信号を発生する。口テンプレートの３次元カラーヒストグラムはオフラインで算出される。この算出されたヒストグラムは、そのテンプレート画像内の色の出現頻度を表す。このヒストグラムにおいて、典型的な唇の色に対応するボックス群は大きな値を有するが、それら以外のボックス群の値は０である。テンプレートヒストグラム値が生成ヒストグラム値より大きいボックス群についてテンプレートヒストグラム値を生成ヒストグラム値で除算し、かつ、テンプレートヒストグラム値が生成ヒストグラム値より小さいボックス群について生成ヒストグラム値をテンプレートヒストグラム値で除算することにより新たな比ヒストグラムが得られる。この比ヒストグラムは、入力画像内のどの色が口に属する可能性が高いかを表すものである。最後に、入力ＲＧＢ画像をこの比ヒストグラムに対するルックアップアドレスとして用いて、出力画像を得ることができる。この出力画像は、口に属する可能性の最も高い画素群を強調したものである。
【００３３】
次のステップ（これも回路５１により実行される）では、図２０に示すように、処理の複雑さを軽減するために画素列をサブサンプリングすることにより画像サイズを縮小する。このステップでは、回路５１が入力画像に対して加算処理および平均処理を実行する。
【００３４】
次に、回路５２は、図２１に示すようなスムージング処理を行い、ノイズの低減および適正な閾値機能の信頼性を向上させる。この処理には、重み付け乗算および加算を行うコンボルーション（convolution)を含む。具体的には、回路５２の機能は、１群の画素の平均を求めるものである。この際、その中心の画素が基準画素として用いられる。最も単純な場合、すべての画素の合計を取り、これを画素数で割る。これは、全画素に係数１を掛けて足し合わせたのと等価である。しかし、係数１の代わりに重み付け係数を用いて、基準画素から遠く離れた画素より基準画素に近い画素ほど出力結果に大きい影響を与えるようにしたスムージングアルゴリズムも多い。図２１は、そのような典型的な例を幾つか示している。
【００３５】
回路５２の動作は、次のように説明できる。入力画像は、図１２に示した回路の２５６ビットシフトレジスタの開始点に入力される。相関表面(correlation surface)がＮ×Ｍであるとすると、Ｍ個の２５６ビットシフトレジスタと、その
各行当たりＮ個の遅延素子を用いることになる。各遅延素子の機能は、１クロックの間だけ画素値を記憶し、次の遅延素子へそれを受け渡すことである。遅延素子の各出力には、ワークステーションからオフラインで回路５２にロードされた定数が掛けられる。これらすべての乗算の結果は加算されて出力される。
【００３６】
そこで、回路５４および５３（それぞれ図１３および１４に示す）は、閾値を得るために、図２２に示すようなヒストグラムを生成する。この出力は、図２３に示すような画素値に対する１組の頻度値である。次に、領域（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｅ）（両点を対角頂点とする領域）内で閾値比較を行い、図２４に示すような２値ＢＰ画像を生成する。なお、添字（下付き文字）“ｓ”はスタートを意味し、“ｅ”はエンドを意味している。図２２に示したように、回路５４の機能は、最頻出現画素値に最大頻度を持たせた、画素値のヒストグラムを作ることである。その具現化は、図１３に示したように、画素値が出現した回数を参照するために、その画素値をＳＲＡＭに対するアドレスとして用いる。この回数の値はカウンタにロードされ、インクリメントされてから再びＳＲＡＭに書き戻される。すべての画素が回路５４に入力され、ヒストグラム値が算出された後、このヒストグラム値は回路５４内のＡＬＵ（Arithmetic Logic Unit)へ読み出され、ここで、閾値が算出される。この回路５４では、ＳＲＡＭ内のすべてのヒストグラム値を読み出してその最大値を見つけるためにＡＬＵが用いられる。最大値がみつかると、この最大値に定数（通常１より小さい値）が掛けられ、閾値（ＴＨ）として次の処理ステージへ出力される。
【００３７】
図１４に示した回路５３は、画素列を入力とし、比較器を用いて各画素を、回路５４で算出された閾値と比較する。画素値が閾値と同じかこれより大きければ、比較器は１を出力し、そうでなければ０を出力する。このようにして、２値画像が得られる。
【００３８】
次に、回路５５は、図２５に示すような２値侵食を実行し、画像データからランダムノイズを除去する。続いて、図２６、図２７に示すような２値拡張を行い、領域サイズを回復する。これらのステップに続いて、図１０に示したように、再度２値侵食ステップが行われる。
【００３９】
回路５９は、図２８に示すように、顔領域の投影Ｘ値および投影Ｙ値を得るための投影処理を実行し、顔領域エッジの位置を得るものである。次に、図２９に示すように、ＡＬＵ６１により投影サーチを行い、２値侵食後の画素表現をチェックして位置座標（Ｘｓｆ，Ｙｓｆ），（Ｘｅｆ，Ｙｅｆ）を生成する。ここで、添字は画像内の顔が位置するボックスの座標を示す。
【００４０】
最後に、図３０に示すように、カウンタ６０により面積カウントを行い、顔の面積の値を生成する。この信号は、ユニット１２へ出力される（図３参照）。この出力データには、画像内で顔が見いだされるべき領域を含む。
【００４１】
再び、図４の全体フローに戻り、ＡＬＵ６０により一貫性チェック２３が行われる。これにより、顔領域検出ステップ２２で生成された位置および面積の値が一貫性の観点から検査され、肯定または拒否信号が出力される。ここで判定基準として用いるのは、同定されたボックスの面積である。もしボックスの面積が０または微小（数画素のオーダー）であれば、これは画像中に顔が見つからなかったことを意味する。この場合、このフレームに対しては最早これ以上の処理は不要であり、次のフレームの処理へ移行することができる。
【００４２】
ステップ２４では、検出された領域が表示される。これは、スクリーン４上で四角いボックス（破線）として表されている。
【００４３】
ステップ２５では、色付けされた指先の検出が行われる。そのサブステップ２５（ａ）〜２５（ｍ）を図３１に示す。顔領域検出ステップ２２と同様、入力は、正規化されたＲＧＢ画像であり、出力は、１組の位置および面積の値である。      
【００４４】
これらのステップを具現するユニット１３を図３２に示す。ここで、図１０で説明した要素と同じ要素には同一の参照番号を付してある。ユニット１３は口領域検出ユニット１４と類似しており、双方の関連する入力を示すとともに、別個のＲＧＢ画像入力を破線で示している。ユニット１３は、図３２に示すように、新たなスムージング＃２回路６２を有する。この回路は、図３４に示すように動作する。また、ヒストグラム回路５４には、もう１つの入力がＡＬＵ６３から与えられる。これは、ヒストグラムの作成の基となる領域を制限するためである。スムージング＃２と、ヒストグラム回路５４への２番目の入力とは、もし入力データの品質が高ければ、必ずしも必要ではない。
【００４５】
図３４に示したスムージングでは、中心の基準画素の周囲の画素領域の平均処理が行われる。この場合の全スムージング係数は１であり、したがって、指定された領域内のすべての画素が加算され、その和が画素数で除算される。このステップの目的は、指先が位置する単一の位置を見つけるのを支援することにある。もしスムージングを行わなければ、図３５で決定されるような最大値を持つ画素が幾つか存在するということが起こりうる。これでは、どの画素が指先の本当の位置であるかを決定するのが困難となる。スムージングを行うことにより、与えられた領域内の画素の平均が得られる。指先が存在する位置には大きい値を有する画素が互いに近接して多数存在する一方、指先が位置しない領域には幾つかの大きい値の画素がまばらに存在すると考えられる。スムージングフィルタによる平均化によれば、指先の領域が高められ、指先の実際の位置を見つけるのが容易になる。
【００４６】
ステップ２６では、ＡＬＵ６１により一貫性チェックが行われ、色付けされた指先に対して生成された位置および面積データの受け入れまたは拒絶が行われる。このようにして検出された領域は、ステップ２７で表示される。ステップ２８では、指先の面積が、設定された許容誤差Ａｔ＋，Ａｔ−の間にあるか否かを調べる先端面積チェックを行う。この先端面積チェックがＯＫであれば、フラグＴＦＬＡＧが１にセットされ、そうでなければ、このフラグが０にセットされる。      
【００４７】
次に、ステップ３０において、ユニット１２は、顔部分マスクを検出する。このユニット１２の詳細は図３６、３７、３８に示し、ステップ３０が実行される方法は図３９に示す。このステップでは、検出された顔領域データを用いて、口および目の位置マスクが生成される。生成されたマスクの見本を図３９の下側に示す。ステップ３１では、図４０に示すように、正規化されたＲＧＢ画像、口マスク、目マスクを用いて入力画像をマスクする。これらのマスクは、口および目をサーチするべき領域を制限し、これにより認識速度の向上を図るものである。マスクデータはユニット１４および１５に入力される。
【００４８】
マスク生成のためのハードウエアを図３７に示す。要素６５へ入力されるのは、スキン領域ボックス（Ｘｓｆ，Ｙｓｆ，Ｘｅｆ，Ｙｅｆ）である。本質的には、このボックスを２つの等しい領域に分割することにより口領域と目領域が見いだされる。その結果、目領域はボックス（Ｘｓｆ，Ｙｓｆ，Ｘｅｆ，（Ｙｓｆ＋Ｙｅｆ）／２）で指定され、口領域は（Ｘｓｆ，（Ｙｓｆ＋Ｙｅｆ）／２，Ｘｅｆ，Ｙｅｆ）で指定される。
【００４９】
図３８は、次の処理ステージを示す。この要素６６へ入力されるのは、図３７のＸ１，Ｘ２，Ｙ１，Ｙ２に格納された口領域または目領域のパラメータである。カウンタ、比較器および加算器の組み合わせにより、原画像における当該ボックス領域を定める画素アドレス列が生成される。この画素アドレスを原画像（メモリ）に対するアドレスとして用いることにより、画像メモリから読み出され他の画像処理タスクへ渡されるこれらの画素のごとき、目領域または口領域として定義された画像部分のみを処理することが可能になる。この技術は、画像全体ではなく、指定された領域内の画素のみを後続の画像処理ハードウエアで処理するので有利であり、よって、より高速な処理が行える。さらに、図示されているのはマルチプレクサ（ＭＵＸ）および画像画素列であり、マルチプレクサは各フレーム毎に原画像をメモリへロードするのに用いられる。
【００５０】
ステップ３２では、図４１に示すように、口領域の位置および領域データが生成される。このステップには、以下のようなサブステップが含まれる。
【００５１】
（ａ）ヒストグラム
（ｂ）バックプロジェクション
（ｃ）スムージング＃２
（ｄ）最大値サーチ
（ｅ）スムージング＃１
（ｆ）ヒストグラム
（ｇ）閾値サーチ
（ｈ）画像の閾値
（ｉ）２値侵食
（ｊ）２値拡張
（ｋ）投影Ｘ＆Ｙ
（ｌ）投影サーチ
（ｍ）面積カウント
これらのタスクを実行するユニット１４を図３２、図３３に示す。これらのサブステップは、顔および指先の検出について上述したので、前記説明より容易に理解されよう。勿論、ここではマスクされた画像が用いられるという違いがある。口の面積および位置を表す出力信号が生成される。
【００５２】
ステップ３３では、ユニット１５により目領域の検出が行われる（図４２〜図５１を参照）。このサブステップは図４２および図４３に示され、ユニット１５については図４４〜図４７にその詳細が示されている。図４４に示すように、ユニット１５は、目マスクとＲＧＢ画像データとを受けるＡＮＤゲート７０を有する。このＡＮＤゲート７０は変換回路７１に接続され、変換回路７１はマルチテンプレート照合回路７２に接続される。回路７１は、図４５に示すようにＳＲＡＭルックアップテーブルである。マルチテンプレート照合回路７２は、図４６に示すように、１組の照合回路７５と、これに接続された比較器７６と、さらにこれに接続された、前述のものと類似のスムージング＃２回路７７を有する。さらに、第１および第２のＡＬＵ７８，７９を有し、これらは１組の定数回路８０に接続されている。テンプレート照合回路７５の詳細は図４７に示す。
【００５３】
ユニット１５の動作を説明する。主な入力は、ユニット１２からの目マスクデータ、およびユニット１０からの正規化された入力画像である。その目的は、目の位置を求めることにある。これらの信号がＡＮＤゲート７０で処理された後、ＳＲＡＭ７１により、図４８に示すように、Ｒ，Ｇ，Ｂが加算され、さらに３で割られて、グレースケール（階調）値が得られる。マルチテンプレート照合回路７２は、図４９〜図５１に示すように、比較器７６による最も近いテンプレートの選択により、各々の目に最もよく一致するものを求める。この画像はスムージングされ、２つのＡＬＵ７８，７９により各目のピーク強度(intensity)が求め
られる。ピークの決定の際に繰り返しが生じないように定数が定められる。マルチテンプレート照合のための回路７５は、図４７に示したような８×８の相関器（correlator)である。なお、回路中、添字ｅ１は第１の目を表し、ｅ２は第２
の目を表す。
【００５４】
図４に戻り、ステップ３４において、検出された領域の大まかな位置が大まかな顔内の配置と矛盾しないことを保証するための一貫性チェックを行う。ステップ３５では、検出された領域を表示する。
【００５５】
次に、ステップ３７において、前記判定ステップ３６で示されたようにフラグＴＦＬＡＧが１にセットされていれば、ワークステーション５により、指先に最も近い顔部分を求める。ステップ３８で、その結果が表示される。この場合、該当する部分を四角いボックス内に異なる色で表示することを含む。ステップ３９で処理が終了する。
【００５６】
次に、本発明の他の見地について、図５２および図５３により説明する。このシステムは、対話支援システムとして機能するものであり、テレビ（ＴＶ）カメラ１００、画像処理装置１０１、およびビデオスクリーン１０３付きのワークステーション１０２からなる。画像処理装置１０１およびワークステーション１０２は図５３に示した処理ステップ１１０〜１２０を実行する。基本的に、このシステムは関連する前述した図面に示された回路群の一部（サブセット）を利用するものである。その処理ステップには、ステップ１１０における次フレーム画像の取り込み、これに続くステップ１１１における正規化、およびステップ１１２における顔領域検出を含む。さらに、ステップ１１３では、一貫性チェックが行われる。一貫性チェックがＯＫであれば、システムはステップ１１４へ進み、ここで、検出された領域を表示する。ステップ１１５では、顔部分マスクの検出が行われ、ステップ１１６で入力画像がマスクされ、ステップ１１７で口領域が検出される。一貫性チェック１１８の後、ステップ１１９で検出された領域が表示され、ステップ１２０で本方法が終了する。
【００５７】
図５２に示した対話支援システムは、ＴＶカメラにより非聴覚障害者の顔の像を取り込み、口の位置およびその領域を検出するための顔の像の生成に供することができる。この情報はワークステーション１０２に送られ、ここで、画像を拡大して口の像を表示する。これによって聴覚障害者による読唇が極めて容易になる。
【００５８】
本発明のさらに他の見地について、図５４および図５５を参照して説明する。システム１３０は、ＴＶカメラ１３１、画像処理装置１３２、ワークステーション１３３およびビデオスクリーン１３４からなる。システム１３０の目的は、無言の唇の動きによって機械へのコマンド（命令）を入力を行うことにある。ＴＶカメラ１３１は、ユーザの顔の画像を取り込み、装置１３２がこの画像を処理して、リアルタイムで口の位置およびその領域を検出する。この情報を用いて、本装置は言葉（コマンド）を認識し、この認識されたコマンドはワークステーション１３３へ転送される。ワークステーション１３３は、このコマンドにより制御され、ビデオスクリーン１３４に示すような表示を生成する。装置１３２の動作は、図５５に記載されている。すなわち、ステップ１４０で次のフレーム画像を取り込み、ステップ１４１で正規化を行い、ステップ１４２で顔領域を検出する。次いで一貫性チェック１４３を行い、ステップ１４４で検出領域が表示される。ステップ１４５では顔部分マスクが検出され、ステップ１４６では入力画像がマスクされ、ステップ１４７で口領域が検出される。さらに、一貫性チェック１４８の後、ステップ１４９で検出領域が表示され、ステップ１５０で位置の領域入力がテンプレートと照合され、その結果、１つのコマンドが生成される。  
【図面の簡単な説明】
【００５９】
【図１】本発明の画像処理システムの概略構成図である。
【図２】本発明の画像処理システムの概略構成図である。
【図３】本発明の画像処理システムの概略構成図である。
【図４】本システムにより実行される方法の概略フローチャートである。
【図５】図４のフローチャート内の処理パラメータを示すテーブルの説明図である。
【図６】獲得されたＲＧＢ画像の正規化を説明するための説明図である。
【図７】獲得されたＲＧＢ画像の正規化を説明するための説明図である。
【図８】獲得されたＲＧＢ画像の正規化を説明するための説明図である。
【図９】顔領域検知ステップおよび処理パラメータを示すフロー図である。
【図１０】本システムの顔領域検知ユニットを示すブロック図である。
【図１１】本システムの顔領域検知ユニットを示すブロック図である。
【図１２】本システムの顔領域検知ユニットを示すブロック図である。
【図１３】本システムの顔領域検知ユニットを示すブロック図である。
【図１４】本システムの顔領域検知ユニットを示すブロック図である。
【図１５】本システムの顔領域検知ユニットを示すブロック図である。
【図１６】本システムの顔領域検知ユニットを示すブロック図である。
【図１７】本システムの顔領域検知ユニットを示すブロック図である。
【図１８】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図１９】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２０】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２１】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２２】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２３】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２４】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２５】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２６】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２７】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２８】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図２９】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図３０】顔領域検出のための図４のステップが実行される様子を詳細に示すブロック図である。
【図３１】色付きの指先を検出するステップを示すフロー図である。
【図３２】色付きの指先および口領域の検出のためのユニットのブロック図を示す。
【図３３】色付きの指先および口領域の検出のためのユニットのブロック図を示す。
【図３４】色付きの指先を検出するステップを詳細に示すブロック図である。
【図３５】色付きの指先を検出するステップを詳細に示すブロック図である。
【図３６】顔部分マスクを生成するユニットを示すブロック図である。
【図３７】顔部分マスクを生成するユニットを示すブロック図である。
【図３８】顔部分マスクを生成するユニットを示すブロック図である。
【図３９】顔部分マスク検出および入力画像マスクのステップを詳細に示す説明図である。
【図４０】顔部分マスク検出および入力画像マスクのステップを詳細に示す説明図である。
【図４１】口領域検出ステップを示すフロー図である。
【図４２】目領域検出ステップを示すフロー図である。
【図４３】目領域検出ステップを示すフロー図である。
【図４４】目領域検出ユニットを示すブロック図である。
【図４５】目領域検出ユニットを示すブロック図である。
【図４６】目領域検出ユニットを示すブロック図である。
【図４７】目領域検出ユニットを示すブロック図である。
【図４８】目領域検出ステップをより詳細に示す説明図である。
【図４９】目領域検出ステップをより詳細に示す説明図である。
【図５０】目領域検出ステップをより詳細に示す説明図である。
【図５１】目領域検出ステップをより詳細に示す説明図である。
【図５２】聴覚障害者の読唇を援助する本発明の対話支援システムを図解的に示す説明図である。
【図５３】図５２のシステムの動作を示すフロー図である。
【図５４】読唇のためのマシンインタフェースを図解的に示す説明図である。
【図５５】図５４のシステムの動作を示すフロー図である。
【図１】
2005025778.tif 000003
【図２】
2005025778.tif 000004
【図３】
2005025778.tif 000005
【図４】
2005025778.tif 000006
【図５】
2005025778.tif 000007
【図６】
2005025778.tif 000008
【図７】
2005025778.tif 000009
【図８】
2005025778.tif 000010
【図９】
2005025778.tif 000011
【図１０】
2005025778.tif 000012
【図１１】
2005025778.tif 000013
【図１２】
2005025778.tif 000014
【図１３】
2005025778.tif 000015
【図１４】
2005025778.tif 000016
【図１５】
2005025778.tif 000017
【図１６】
2005025778.tif 000018
【図１７】
2005025778.tif 000019
【図１８】
2005025778.tif 000020
【図１９】
2005025778.tif 000021
【図２０】
2005025778.tif 000022
【図２１】
2005025778.tif 000023
【図２２】
2005025778.tif 000024
【図２３】
2005025778.tif 000025
【図２４】
2005025778.tif 000026
【図２５】
2005025778.tif 000027
【図２６】
2005025778.tif 000028
【図２７】
2005025778.tif 000029
【図２８】
2005025778.tif 000030
【図２９】
2005025778.tif 000031
【図３０】
2005025778.tif 000032
【図３１】
2005025778.tif 000033
【図３２】
2005025778.tif 000034
【図３３】
2005025778.tif 000035
【図３４】
2005025778.tif 000036
【図３５】
2005025778.tif 000037
【図３６】
2005025778.tif 000038
【図３７】
2005025778.tif 000039
【図３８】
2005025778.tif 000040
【図３９】
2005025778.tif 000041
【図４０】
2005025778.tif 000042
【図４１】
2005025778.tif 000043
【図４２】
2005025778.tif 000044
【図４３】
2005025778.tif 000045
【図４４】
2005025778.tif 000046
【図４５】
2005025778.tif 000047
【図４６】
2005025778.tif 000048
【図４７】
2005025778.tif 000049
【図４８】
2005025778.tif 000050
【図４９】
2005025778.tif 000051
【図５０】
2005025778.tif 000052
【図５１】
2005025778.tif 000053
【図５２】
2005025778.tif 000054
【図５３】
2005025778.tif 000055
【図５４】
2005025778.tif 000056
【図５５】
2005025778.tif 000057
【手続補正書】
【提出日】平成16年8月27日(2004.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理装置であって、
デジタル形式のカラー入力画像データ列を受ける手段と、
該画像データを処理する画像データ処理回路と、
テンプレート画像のモデルカラーヒストグラムを保持するメモリとを備え、
該画像データ処理回路は、
上記カラー入力画像データの画素の色の出現頻度から入力画像カラーヒストグラムを生成する入力画像カラーヒストグラム生成手段と、
上記モデルカラーヒストグラムと上記入力画像カラーヒストグラムとをカラー値ごとに照合する照合手段とを有し、
上記照合結果に基づいて上記カラー入力画像データから上記テンプレート画像に対応する部分を抽出することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
上記画像データ処理回路の照合手段は、
上記モデルカラーヒストグラムと上記入力画像カラーヒストグラムとを、ヒストグラム空間を構成するヒストグラムボックスごとに比較して比カラーヒストグラムを生成する比カラーヒストグラム生成手段と、
上記比カラーヒストグラムに対して上記カラー入力画像データの画素値をルックアップアドレスとして用いてその画素値に対応した比カラーヒストグラム値を濃淡画像とするバックプロジェクション手段とを有し、
上記画像データ処理回路は、上記バックアッププロジェクション結果に基づいて上記カラー入力画像データからテンプレート画像に対応する部分を抽出することを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、
上記画像データ処理回路の照合手段は、
上記モデルカラーヒストグラム値が上記入力画像カラーヒストグラム値より大きいヒストグラムボックスについてモデルカラーヒストグラム値を入力画像カラーヒストグラム値で除算し、
上記モデルカラーヒストグラム値が上記入力画像カラーヒストグラム値より小さいヒストグラムボックスについて入力画像カラーヒストグラム値をモデルカラーヒストグラム値で除算することにより比カラーヒストグラムを生成する比カラーヒストグラム生成手段を有することを特徴とする画像処理装置。