JP 4725884 B2 2011.7.13(57)【特許請求の範囲】【請求項１】
ユーザのビデオ画像に視覚的音声前処理を行なうシステムにおいて、ユーザの口画像に対する任意変形に関するパラメータを推定する方法であって、前記ビデオ画像の各々に対し、
前記ユーザの前記画像中の目印となる位置２箇所を決定するステップと、
前記ビデオ画像中のユーザの口の輪郭を決定するステップと、前記口の輪郭の位置を利用することにより、前記任意変形と逆の変形が前記ビデオ画像に対し適用可能となるように、前記ユーザの口画像に関する変形パラメータを推定するパラメータ推定ステップとを含み、10

前記パラメータ推定ステップは、前記画像中の前記ユーザの前記口画像に対する主成分分析の結果を利用して、前記ユーザの前記画像の回転量を推定する第１の回転量推定ステップを含む、方法。
【請求項２】
前記推定するステップは、さらに、
前記ユーザの画像中の、前記目印を利用して、ユーザの画像の回転量を推定する第２の回転量推定ステップと、
前記第１の回転量推定ステップで推定された回転量と、前記第２のステップで推定された回転量とを組合せることにより、前記ユーザの画像の回転角を推定するステップとを含む、請求項１に記載の方法。

20

(2)

JP 4725884 B2 2011.7.13【請求項３】
前記第１の回転量推定ステップが、
前記目印の位置を基準として前記ユーザの画像中の口画像の領域を推定する口領域推定
ステップと、推定された前記口画像中のエッジを検出することにより前記口唇の外側輪郭の座標位置を決定するステップと、
前記唇の外側輪郭のサンプル点の平均と共分散行列とを計算するステップと、
前記共分散行列の第一の固有ベクトルｅ１を求めるステップと、
角度α＝ａｔａｎ（ｅｙ／ｅｘ）を計算するステップとを含み、ここでｅｘおよびｅｙは前記第一の固有ベクトルのｘ軸成分およびｙ軸成分であり、前10記ｘ軸及び前記ｙ軸はそれぞれ、前記画像中の標準座標系を規定する、請求項１または請求項２に記載の方法。
【請求項４】
前記口領域推定ステップが、
前記画像中の前記目印間の距離を、前記画像中の前記目印の前記位置と、推定された変形とを利用して計算するステップと、
前記目印を基準として定められる領域であって、さらに計算で求められた前記目印間の距離と同じ幅となるような距離で選択された幅を有する、口領域を選択するステップとを含む、請求項３に記載の方法。
【請求項５】

20

前記口領域推定ステップがさらに、所定の定数と、前記計算で求められた前記目印間の距離との比率によって、前記口画像のスケーリング係数を推定するスケーリング係数推定
ステップとを含む、請求項４に記載の方法。
【請求項６】
前記スケーリング係数推定ステップにおいて推定された前記口画像のスケーリング係数によって、前記選択された口領域をスケーリングするステップをさらに含む、請求項５に記載の方法。
【請求項７】
目印となる位置２箇所を決定する前記ステップは、前記ユーザの前記画像中の瞳の位置を決定するステップを含む、請求項１〜請求項６のいずれかに記載の方法。

30【請求項８】
前記ユーザの画像中における、前記口領域に対する平行移動の影響を除去するために、前記口領域の画像の移動量を計算するステップをさらに含む、請求項１〜請求項７のいずれかに記載の方法。
【請求項９】
視覚的前処理に用いるプログラム製品であって、プロセッサを用いたシステムに、請求項１〜請求項８のいずれかに記載のステップのす
べてを行なわせる命令を記憶したコンピュータ読取可能媒体を含む、プログラム製品。
【発明の詳細な説明】【技術分野】

40【０００１】
この発明は、自然な発声条件下で一貫した視覚的な音声特徴量の抽出を行なうことに関する。より正確には、この発明は頭部の画像の平行移動、回転およびスケールの微妙な違い(similarity)をすぐさま修正することによって、話者が自身の頭を自由に動かしても差し支えないようにする、視覚的音声特徴量の抽出に関する。
【背景技術】【０００２】
視覚的音声処理は、マン−マシンインターフェイスの研究において重要な課題の１つである。例えば、聴覚的情報に視覚的情報を加えることは少なくとも２つの実用的な基準に合致する。すなわち、これは音声認識における人の視覚的知覚を模倣し、さらに、これは

50

(3)

JP 4725884 B2 2011.7.13

音響信号に常に存在するとは限らない情報を含み得るからである［非特許文献２、８、１５を参照］。
【０００３】
この統合手法は主に、非特許文献９及び非特許文献１３に示される初期段階での統合と最終段階での統合とに分類され、視覚的音声特徴量抽出アルゴリズムは主に、モデル（輪郭、スネーク等）を用いる方法と、外観（画素）を用いる方法とに分類される。詳細は非特許文献１１、１２、及び１６を参照されたい。
【０００４】
モデルを用いるアプローチでも外観を用いるアプローチでも、自然な発声条件下にあっては、一貫した視覚的音声特徴量を抽出することは、制御された条件下におけるよりも困10難である。報告されたさまざまな視覚的特徴量抽出方法及び２つの統合手法では、実験作
業は制御された環境で行なわれるものとされ（例えば非特許文献９、１２及び１６を参照）、話者には頭部を自然に動かしながら話すことが許されない。
【０００５】
これに対して、自然な条件下では、話者は自然に動く。従って、口の画像の微妙な違いを修正することは、視覚的音声処理のために一貫した視覚的特徴量を抽出するには決定的に重要な課題である。
【非特許文献１】Ｓ．グルブズ、Ｋ．キノシタ及びＳ．ヤノ、「トレーニング可能な多変量ガウス分類器を用いたビデオシーケンスからの口トラッキング」、ＰＲＭＵ２００３、
仙台、日本、２００３年１２月（S.

Gurbuz,Tracking

from

Video

Sequencesassifiers.

PRMU

2003,

Sendai,K.

using

Kinoshita

Trainable

Japan,

and

S.

Yano.

DecemberMultivariate

Mouth

Gaussian20

Cl2003.）【非特許文献２】Ａ．アジャウダーニ及びＣ．ベノイト．「ｈｍｍベースのａｓｒにおける聴覚及び視覚パラメータの統合について」、人と機械による音声読取：モデル、システ
ム及び応用、ＮＡＴＯ

ＡＳＩシリーズ、シリーズＦ、コンピュータ及びシステムサイエ

ンス、１５０号、４６１−４７１ページ、１９９６年（A.
.

On

d

asr.

the

integrationInapplications,
numberof

Speechreading

150,

NATO

ASI

pages

Adjoudani

auditory

andvisualbyandMachines:

HumansSeries.

461‑471,

SeriesF,parametersandinmodels,Computer

and

C.
an

Benoithmm‑basesystems,

SystemsandSciences,
30

1996.）【非特許文献３】Ｃ．ブレグラー、Ｈ．ヒルド、Ｓ．マンケ、及びＡ．ワイベル、「唇の読取による、連続文字認識の改良」、音響音声及び信号処理国際会議予稿集、１９９３年（C.

Bregler,

etter

recognition

nce

Acoustics

on

H.

Hild,
by

S.

Manke,

lipreading.

Speech

and

and

A.

Waibel.

ImprovingIn

Proceedingsof

Signal

Processing,

1993.）

connected

Internationall

Confere【非特許文献４】Ｇ．イェンガー、Ｇ．ポタミアノス、Ｃ．ネティ、Ｔ．ファリク、及びＡ．ヴァーマ、「自動音声読取のための頑健な視覚的ｒｏｉ検出」、ＩＥＥＥマルチメデ
ィア信号処理第４回ワークショップ、７９−８４ページ、２００１年（G.

Iyengar,

G.

and

A.

Verma.

Robustdetectionofautomatic

speechreading.

In

IEEE

FourthWorkshop

Processing,pages

2001.）

Potamianos,

C.

Neti,

visualfor

Signalultimediaroi

T.

Faruquie,

79‑84,

onM

40【非特許文献５】Ａ．Ｊ．ジェイン、「ディジタル画像処理の基礎」、プレンティスホー
ル、１９９７年（A.
entice‑Hall,

K.

Jain.

Fundamentals

of

DigitalImage

Processing.

Pr

1997.）【非特許文献６】Ｍ．カス、Ａ．ウィトキン及びＤ．ターゾプーロス、「スネークス：活性輪郭モデル」、コンピュータヴィジョンに関する第１回国際会議予稿集、２５９−２６
８ページ、１９８７年（M.
tivecontour

Computermodels.

Vision,

pages

Kass,

A.

Witkin,In Proceedings259‑268,

of

and

1st

D.

Terzopoulos.

International

Snakes:ConferenceAcon1987.）【非特許文献７】Ｓ．カワト、Ｎ．テツタニ、「ＳＳＲフィルタ及びサポートベクトルマ

50

(4)

JP 4725884 B2 2011.7.13

シンを用いたリアルタイムのスケール適応顔検出及びトラッキング」、コンピュータヴィ
ジョンに関するアジア会議、２００４年（S.
ve

face

detectionort

vectorandmachine.

tracking

In

Asian

in

Kawato,realN.

Tetsutani.

time

with

on

Computer

Conference

SSR

Scale

filteradaptiand

Vision,supp

2004.）【非特許文献８】Ｈ．マクガーク及びＪ．マクドナルド、「唇を聴き声を見る」、ネイチ
ャー、２６４：７４６−７４８、１９７６年（H.
ng

lips

and

seeingvoices.

Nature,

McGurkand

264:746‑748,

J.

MacDonald.

Heari1976.）【非特許文献９】Ｓ．ナカムラ、「聴覚的‑視覚的音声処理のための統計的マルチモーダ
ル統合」、ＩＥＥＥ神経回路網トランザクション、１３（４）、２００２年（S.
ra.
.

StatisticalIEEE

multimodal

Transactionson

integration

Neuralfor

Networks,

audio‑visual13(4),

speechNakamuprocessing

10

2002.）【非特許文献１０】Ｅ．パターソン、Ｓ．グルブズ、Ｚ．チュフェキ、及びＪ．ガウディ、「移動する話し手、話者独立の特徴量研究とＣｕａｖｅマルチモーダル音声コーパスを用いたベースライン結果」、ＥＵＲＡＳＩＰ応用信号処理ジャーナル、２００２（１１）、２００２年（E.

Patterson,

S.

Gurbuz,Z.

Tufekci,‑talker,

speaker‑independentfeature

study

and

e

cuave

multimodal

speechcorpus.

EURASIP

Journalocessing,

2002(11),

2002.）

andJ.

baselineon

Gowdy.

MovingresultsusingthAppliedSignalPr【非特許文献１１】Ｅ．パタジャン、Ｂ．ビショフ、Ｄ．ボドフ及びＮ．ブルック、「音声認識を向上するための改良された自動唇読取システム」、コンピュータシステムにおけるヒューマンファクタに関する会議、１９−２５ページ、１９８８年（E.
Bischoff,D.

systemenhanceintoBodoff,ComputingandBrooke.

An

improved

recognition.

N.

In

Conference

speechSystems,

pages

19‑25,

Petajan,automatic
on

20

B.

lipreading

Human

Factors

1988.）【非特許文献１２】Ｇ．ポタミアノス、Ｊ．ルティン、及びＣ．ネティ、「聴覚的−視覚的ｌｖｃｓｒのための階層的判別特徴量」、音響音声及び信号処理国際会議予稿集、２００１年。（G.

Potamianos,

ant

for

featuresnference

on

J.

Luettin,audio‑visual

Acoustics

and

C.

In

Proceedingsof

Signal

Processing,

2001.）

lvcsr.

Speechand

Neti.

HierarchicaldiscriminInternational

Co【非特許文献１３】Ｄ．ロイ、「相互情報を用いた音声と視覚の統合」、音響音声及び信号処理国際会議予稿集、２０００年（D.
usingnmutualAcoustics

information.

SpeechandRoy.

Integration

In

Proceedingsof

Signal

Processing,

2000）

of

speechInternational

and

30

visionConferenceo【非特許文献１４】Ａ．Ｗ．シニア、「顔認識システムのための顔と特徴量の検出」、聴覚及び視覚ベースのバイオメトリック人物認証（ＡＶＢＰＡ）予稿集、１５４−１５９ページ、１９９９年（A.

W.

nitionProceedings

system.

In

Authentication

Senior.

(AVBPA),

Face
of

pages

and

featureAudio‑andfinding

Video‑Based

for

face

Biometric

recog
Person154‑159, 1999.）【非特許文献１５】Ｅ．バティキオティス−ベイツィン、Ｋ．Ｇ．ムンハル、Ｍ．ヒラヤ
マ、Ｙ.Ｖ．リー、及びＤ．ターゾポーラス、「音声におけるオーディオビジュアルな挙40動の力学」、人と機械による音声読取：データ、モデル及びシステム、Ｄ．Ｇ．ストーク
及びＭ．Ｅ．ヘンケ編、ＮＡＴＯスプリンガーフェアラーク、ニューヨーク、ＮＹ（１９９６）、１５０巻、１９９６年（E.
ayama,

Y.

avior

in speech.

Systems,
w

York,

NY

V.
D.

Lee,
G.

and

In

Terzopoulos.

Speechreading

Stork(1996),

D.

Vatikiotis‑Bateson,
by

The

Man

and

M.

E.

volume150,

1996.）

andHenneckeK.

G.

dynamics

ofMachine:Eds.

Munhall,M.

Hiraudiovisual

Data,

beh

Modelsand

NATOSpringer‑Verlag,

Ne【非特許文献１６】Ｘ．ツァン、Ｒ．Ｍ．マーセロー、Ｍ．クレメンツ、及びＣ．Ｃ．ブ
ラウン、「改良された音声認識のための視覚的音声特徴量の抽出」、音響音声及び信号処
理国際会議、２００２年（X.

Zhang,

R.

M.

Mersereau,

M.

Clements,

and

C.

50

(5)
C.

Brown.

Visual

ion.

In

ing,

2002.）

speechInternationalfeatureConference

extractionon

JP 4725884 B2 2011.7.13
forAcoustics

improved

Speechspeechrecognit

Signal

Process

and【発明の開示】【発明が解決しようとする課題】【０００６】
発明者らが知る限りでは、視覚的音声処理のために口画像の微妙な違いを修正することに関する研究はこれまでなされていない。
【０００７】
この発明は、一貫した視覚的な音声特徴量の抽出を容易にすることにより、聴覚と視覚10とを統合して自然な音声のための音声認識装置の性能を改良するためになされた。この目的のためには、口画像への平行移動の影響、スケーリングの影響及び回転の影響をなくして、視覚的音声処理用に一貫した視覚的特徴を抽出可能な技術が必要である。
【０００８】
従って、この発明の目的の１つは、自然な条件下で話している話者の口画像に対する微妙な違いの影響を、すぐさまなくすためのコンピュータプログラムを提供することである。
【０００９】
この発明の別の目的は、口の境界を検出し、口画像領域の歪のパラメータを推定して逆の歪を適用することにより、自然な条件下で話している話者の口画像に対する微妙な違い

20の影響を、すぐさまなくすためのコンピュータプログラムを提供することである。
【課題を解決するための手段】【００１０】
この発明の第一の局面は、ユーザのビデオ画像に視覚的音声前処理を行なうシステムにおいて、ユーザの口画像に対する任意変形に関するパラメータを推定する方法に関する。
この方法は、ビデオ画像の各々に対し、ユーザの画像中の目印となる位置２箇所を決定するステップと、ビデオ画像中のユーザの口の輪郭を決定するステップと、目印の位置と口の輪郭の位置とをあわせて利用することにより、任意変形と逆の変形がビデオ画像に対し適用可能となるように、ユーザの口画像に関する変形パラメータを推定するステップとを含む。

30【００１１】
好ましくは、推定するステップは、画像中の目印の位置を利用して、ユーザの画像の回転量を推定するステップを含む。
【００１２】
より好ましくは、推定するステップは、ユーザの口画像の、主成分分析に基づく回転量の推定を利用して、ユーザの画像の回転量を推定するステップと、目印の位置を利用して推定した画像の回転量と、主成分分析を利用して推定された画像の回転量とを組み合わせ
ることにより、ユーザの画像の回転角を推定するステップとを含む。
【００１３】
さらに好ましくは、推定するステップが、ユーザの口画像の、主成分分析に基づく回転40量の推定を利用して、ユーザの画像の回転量を推定するステップを含む。
【００１４】
主成分分析に基づく回転量の推定を利用してユーザ画像の回転量を推定するステップは、画像中の口唇の外側輪郭を決定するステップと、唇の外側輪郭のサンプル点の平均と共分散行列とを計算するステップと、共分散行列の第一の固有ベクトルｅ１を求めるステッ
プと、角度α＝ａｔａｎ（ｅｙ／ｅｘ）を計算するステップとを含んでもよく、ここでｅｘおよびｅｙは第一の固有ベクトルのｘ軸成分およびｙ軸成分である。

【００１５】
好ましくは、推定するステップが、画像中の目印間の距離を、画像中の目印の位置と推定された変形とを利用して計算するステップと、口区域を含みさらに目印間の計算された

50

(6)

JP 4725884 B2 2011.7.13

距離と同じ幅となるような距離で選択された幅を有する、口領域を選択するステップと、所定の定数の、計算された目印間の距離に対する比率によって、口画像のスケーリング係数を推定するステップと、をさらに含む。
【００１６】
より好ましくは、方法は、口画像のスケーリング係数によって、選択された口領域をス
ケーリングするステップをさらに含む。
【００１７】
さらに好ましくは、目印となる位置２箇所を決定するステップは、ユーザの画像中の瞳の位置を決定するステップを含む。
10【００１８】
この方法はさらに、口領域を所定の場所にシフトすることにより、口に対する平行移動の影響を除去するステップを含んでもよい。
【００１９】
この発明の第２の局面に従えば、視覚的前処理に用いるプログラム製品は、プロセッサを用いたシステムに、上述の方法のいずれかに記載のステップのすべてを行なわせる命令を記憶したコンピュータ読取可能媒体を含む。
【発明を実施するための最良の形態】【００２０】＜第一の実施例＞
視覚的前処理を行なう動機は、視覚的音声処理のための一貫した視覚的特徴量の抽出を20

容易にすることである。すなわち、この前処理によって、話者の頭の回転、平行移動及びカメラスケールのパラメータを口画像から除去する。図１はこの発明の視覚的前処理アル
ゴリズムの概要を示すブロック図である。
【００２１】［一般的構造］
図１を参照して、この実施例の口画像修正装置３０は、画像フレーム３２の各々から口画像を抽出し、話者の頭部の回転、平行移動、及びカメラスケールパラメータによって引起こされる歪のパラメータを推定し、微妙な違いを修正した口画像３４を出力する。
【００２２】
口画像修正装置３０は、画像フレーム３２中の口画像をトラッキングする口トラッキン

30

グモジュール４０と、画像フレーム３２の各々において、話者の口エッジを検出する口輪
郭線検出モジュール４２と、検出された口画像へのＰＣＡ（Ｐｒｉｎｃｉｐａｌ
ｐｏｎｅｎｔＣｏｍ

Ａｎａｌｙｓｉｓ：主成分分析）に基づき、口画像の回転量を推定するＰ

ＣＡによる回転量推定モジュール４４と、各画像フレーム３２において目の画像をトラッキングし、各画像フレーム３２について話者の瞳画像の座標を出力する両眼トラッキングモジュール４６と、両眼トラッキングモジュール４６から与えられる両眼の位置に基づいて、顔の回転量を推定する両眼位置による回転量推定モジュール４７と、モジュール４４及び４７で推定された回転量を組合わせるための回転量推定組合せモジュール４８とを含む。
40【００２３】
口画像修正装置３０はさらに、瞳間の距離を修正して回転による歪を除去するための両眼距離修正モジュール４９と、回転量推定組合せモジュール４８によって推定された回転量に基づき、話者の頭部の回転によって引起される口画像の歪を修正するための、口領域
回転量修正モジュール５０と、口画像を含む顔画像の予め定められた領域を選択するための口ＲＯＩ（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ：関心領域）選択モジュール５２と、口画像を予め定められた基準サイズ（Ｎ×Ｍ画素）に正規化するためのスケール修正モ
ジュール５４と、正規化された口画像のサイズ（Ｎ及びＭ）を記憶するためのメモリ５６と、ＲＯＩ中の口画像の平行移動の影響をなくし、微妙な違いを修正した口画像３４を出力するための平行移動修正モジュール５８とを含む。
【００２４】50

(7)JP 4725884 B2 2011.7.13［Ａ．修正ステップ］
一般に、観察された口画像ｘと基準となる口画像ｘ°との関係は、以下のように表せる。
【００２５】
ｘ＝ｓＲ（α）ｘ°＋ｔ（１）

ここで、ｓはスケーリングパラメータであり、Ｒ（α）は２Ｄ回転行列（αは回転角）であり、ｔは平行移動ベクトルである。画像フレームは全て、任意のｓ、Ｒ（α）及びｔの影響を除去するために以下のように前処理される。
【００２６】
１．モジュール４４及び４７で推定されたＰＣＡの結果と標準座標系に対する目の角度

10とを組合わせることにより、モジュール４８でＲ（α）の推定と修正とを行なう。
【００２７】
２．両眼の間の距離と上唇の輪郭とを基準として用いて、モジュール５０及び５２で口境界を選択する。
【００２８】
３．両眼の間の距離に基づいて、スケール修正モジュール５４でスケールｓを修正する。
【００２９】
４．固定された座標位置へ口の中心を移動することにより、平行移動修正モジュール５８において平行移動の影響を除去する。

20【００３０】［Ｂ．口境界の選択］
口境界は、口トラッキングアルゴリズムと目のトラッキングアルゴリズムとを合わせて利用することによって選択される。この実施例で用いるアルゴリズムは、本件発明者らによって開発されたものであるが、ここでは入手可能などのようなアルゴリズムを用いてもよい。
【００３１】
口境界の選択は、特にスケール修正のため、この微妙な違いを修正する処理において重要な手順である。発声の間に口の形状はしばしば変形するので、セグメント化した唇の外輪郭又は口角にもとづいた口境界の選択は不正確なスケール修正につながる。このため、

30

顔上で（少なくとも２点の）変形しない目印を測定基準として選択し、セグメント化された口領域が存在する口境界を選択する必要がある。
【００３２】
発明者らは、両眼が好ましい目印となることを見出し、モジュール４７及び４９でそれぞれ推定し修正した瞳間の距離を、口境界選択時の基準距離として利用した。すなわち、口境界の幅は、話者の瞳間の距離と距離方向に同じ幅となるように選択され、セグメント化された口がその中の水平方向中心に位置する。同様に、高さも同じ距離で設定されるが、口の上方境界は上唇の外輪郭の先端で始まる。なぜなら、上顎は目の位置に対し移動しないからである。こうして、Ｌｔ×Ｌｔの口画像が得られる。ここで、Ｌｔは時間ｔにおける、時間依存の瞳間の画素距離である。

40【００３３】
この実施例のモジュール４０で用いられる口トラッキングアルゴリズムはベイズのフレームワークに基づくものである（非特許文献１を参照）。ここでは予めラベリングする必
要のないカラー画像を利用する。これは現在のフレーム中の口領域をセグメント化し、対象となる領域を選択することによって、次のフレームでの検索空間を限定する。両眼トラ
ッキングモジュール４６で用いられる目トラッキングアルゴリズムは両眼の中点を検出することに基づく。ここで用いられるアルゴリズムの詳細は非特許文献７に見られる。これ
らのアルゴリズムはともに、通常のパブリックドメインのオペレーティングシステムで１．９ＧＨｚで動作する最新のコンピュータ上でリアルタイムに動作する。
【００３４】50

(8)JP 4725884 B2 2011.7.13［Ｃ．微妙な違いのパラメータ除去］
一方で、口の外観の歪は一般に任意の３Ｄ回転によって引起される。他方で、人とコン
ピュータのインタフェイスの応用を考えれば、話者にはカメラに向き合うことが要求される。話者はカメラに向き合うが、頭部を自由に動かすことはできる。
【００３５】
カメラの光軸に平行な話者の頭部の動きは、画像のスケーリングを引起す。カメラの光軸に垂直な話者の頭部の動きは、平行移動を引起す（この場合投影的な歪は避ける）。光軸に対して回るような頭部の動きは、口画像の２Ｄ回転を引起す。一般に、頭部の動きは
上述の動きのいずれか、またはその組合せである。もし話者がカメラの光軸から目をそらせば、それはその時点で話者がコンピュータと意思の疎通をはかる意図がない、という意

10

味である。
【００３６】
自然な発声の場合、このような歪の大きさはカメラの光軸に対する話者の頭部の角度に依存する。このような動きは図２に見られるような遠近感（奥行き方向）の歪を生じさせる（３Ｄの頭部回転による）。この実施例で用いるアルゴリズムは、顔がこのように部分的にしか見えない場合、話者がコンピュータと意思の疎通をはかる意図がないものと考え、このような遠近感（奥行き方向）の歪を除くことはしない。
【００３７】
人とコンピュータのインタフェイスの応用設計では、セグメント化された口画像は全てのフレームについて、視覚的特徴量抽出処理に先立って、特に外観に基づく視覚的特徴量20

抽出処理に先立っては、前処理を行なって正準変形を施しておく必要がある。ユーザに求められるのは、発声の間、カメラの焦点にほぼ顔を向けていることなので、剪断変形の効
果はなしと見ることができ、ｘ方向及びｙ方向のスケーリングを同一とみなすことができる。こうして、セグメント化された口画像データに生じうる微妙な違いは、平行移動、ス
ケーリングまたは回転のみか、これらを組合わせたものとなる。
【００３８】
上述の仮定に基づき、観察された口画像データｘと基準口画像データｘ°との関係は次のように表される。
【００３９】
ｘ＝ｓＲ（α）ｘ°＋ｔ

（２）

30

ここでｓはスケーリングパラメータであり、Ｒ（α）はαの２Ｄ回転行列であり、αは２Ｄ回転角であり、ｔは平行移動ベクトルである。
【００４０】
固定された座標位置に口画像の中心を移動することにより、セグメント化された口画像から平行移動ベクトルｔを容易になくすことができる。以下のサブセクションでは、回転角αとスケーリングパラメータｓとをそれぞれどのように推定し除去するかを説明する。
【００４１】［Ｄ．唇の回転の問題］
口角または鼻や目等の他の顔の特徴のみを利用する場合、自然な発声の間にそのような顔の目印の位置を定めることに画素上の正確さが必要なため、回転を正確に修正するには40問題がある［非特許文献４、７及び１０を参照］。目印を使用する口回転修正では、トラッキングした瞳を用いることが合理的であって、ＰＣＡベースの回転量推定及び修正方法と組合わせて上述の問題を克服できることがわかっている。
【００４２】Ｄ．１．

ＰＣＡを用いた回転量修正

ＰＣＡは、多変量データを分析して主成分として知られる新たな直交軸の組を特定する方法である［画像処理におけるＰＣＡの詳細については非特許文献５を参照］。これはＰＣＡによる回転量推定モジュール４４で行なわれる。第一の主成分は、データの最も主要な分散を示す軸であり、第二の主成分はデータの２番目に主要な分散を示す直交軸であり、以下同様である。

50

(9)

JP 4725884 B2 2011.7.13【００４３】
図３に示すように、有向エッジ検出フィルタを適用して、唇の外輪郭を抽出した。輪郭
７０上のｉ番目の点の座標をｘｉとし、μとＣとをそれぞれＮ個のサンプル点に対する平均と共分散とする。
【００４４】【数１】

10

ここで、Ｔは転置を表す。ここでの課題は、新たな直交軸（ｕ−及びｖ−軸）の組を見出し、標準座標系（ｘ−及びｙ−軸）に対する回転角αを推定し、口画素座標データの回転をなくすことである。
【００４５】
図４（Ａ）を参照して、ｘ−軸８０とｕ−軸８２との間の回転角α８４を推定するために、唇の外輪郭端の共分散行列Ｃの固有値｛λ１，λ２｝を求め、最大固有値に対応する
固有ベクトルｅ１を見出す。この処理は以下のとおりである。
【００４６】

20

ｄｅｔ（Ｃ−λ１)＝０（５）

次に、固有ベクトル（特性ベクトルともいう。）を次の式に従って求める。
【００４７】
Ｃｅｉ＝λｉｅｉ，

ｉ＝１，２

（６）

回転角αは以下のように計算される。
【００４８】
α＝ａｔａｎ（ｅｙ／ｅｘ）（７）

ここでｅｘ及びｅｙはｅ１の２成分である。
【００４９】
次に、口領域回転量修正モジュール５０において、口画像データｘにＲ−１＝Ｒ（−α30）を乗ずることにより、回転修正された口画像が得られる。図４（Ｂ）は回転修正後の口画像を示す。
【００５０】
Ｄ．２．

スケーリングの問題

スケーリングの問題は、話者のカメラからの距離、カメラのズーム係数、及び話者の実際の口の寸法から生じる。この場合、唇画像の周波数内容を利用するＤＣＴ（Ｄｉｓｃｒｅｔｅ

ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍａｔｉｏｎ：離散的コサイン変換）またはウェーブレット変換法等の、画素に基づく視覚的特徴量抽出法は、上述の要因の１つまたは２つ以上によって引起されるスケールパラメータを除去することなく口画像を処理した場
合、一貫性を欠く観察ベクトルを生じさせることになる。

40【００５１】
図５に示すような回転した画像でスケーリングファクタを除去するためには、まず、セクションＣで計算したＲ−１を用いてモジュール５０で回転を修正する。次に、両眼距離
Ｌｔ（１００）を測定し、図５（Ｂ）に示すようにモジュール４９で修正する。この画像
をＭ／Ｌｔでスケーリングすることにより図５（Ｃ）に示すように瞳間の距離１１０はＭとなる。ここでＭは予め規定した正規化のための画素長である。Ｎ×Ｍサイズの正規化された口画像１１２がこのスケールの正規化された画像から切取られる。ここで、上方向の境界は上唇の輪郭(図５（Ｃ））である。これを、微妙な違いを修正した口画像３４と呼ぶ。
【００５２】50

(10)JP 4725884 B2 2011.7.13［コンピュータによる実現］
この実施例に従う口画像修正装置３０は、コンピュータハードウェアとその上で実行されるコンピュータプログラムで実現され得る。例えば、口トラッキングモジュール４０は発明者らが開発したプログラムで実現できる。しかしながら、これは公に入手可能な目トラッキングプログラムでも実現可能である。同様に、モジュール４２から５８もコンピュータプログラムで実現可能である。
【００５３】
図６は上述の適当なコンピュータプログラムとともに、この実施例の口画像修正装置３０を実現するコンピュータシステム３３０の斜視図である。図６を参照して、このコンピュータシステム３３０は、ＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ

10

３５０及びＦＤ（フレキシブルディスク）ドライブ３５２を有するコンピュータ３４０と、いずれもコンピュータ３４０に接続されたキーボード３４６と、マウス３４８と、モニタ３４２とを含む。システム３３０はさらに、コンピュータ３４０に接続されて話者の頭部画像のフレームをキャプチャするビデオカメラ３７４を含む。システム３３０はさらに、図示しないマイクロフォンを含む。
【００５４】
図７はコンピュータ３４０のハードウェアブロック図である。図７を参照して、ＣＤ−
ＲＯＭドライブ３５０及びＦＤドライブ３５２に加えて、コンピュータ３４０はＣＰＵ（
中央処理装置）３５６と、ＣＰＵ３５６に接続されたバス３６６と、バス３６６に接続された読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続されたランダムアクセスメモ

20

リ（ＲＡＭ）３６０と、バス３６６に接続されたハードディスクドライブ３５４と、バス
３６６に接続され、ビデオカメラ３７４の出力の各フレームをキャプチャするためのビデ
オキャプチャボード３６８とを含む。
【００５５】
ＣＤ−ＲＯＭドライブ３５０は挿入されるＣＤ−ＲＯＭ３６２からデータを読出し、Ｆ
Ｄドライブ３５２はＦＤ３６４からデータを読出し、ここにデータを書込む。
【００５６】
上述の口画像修正装置３０を実現するプログラムはＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。プログラムがＣＰＵ３５６によって実行される時に、プログラムはハードディスクドライブ３５４から読出されてＲＡ

30

Ｍ３６０にロードされる。ＣＰＵは、ＲＡＭ３６０のプログラムカウンタ（図示せず）という名前のレジスタによって指定されるアドレスから命令をフェッチし、命令中のオペラ
ンドによって指定されるＲＡＭ３６０またはハードディスクドライブ３５４等の記憶装置からデータをフェッチし、結果を命令オペランドによって指定されるアドレスに書込む。
【００５７】
コンピュータ３４０の動作は周知であるので、ここでは詳細は説明しない。
【００５８】［動作］
口画像修正装置３０は以下のように動作する。カラーの画像フレーム３２の各々について、口トラッキングモジュール４０が口領域をセグメント化し、ＲＯＩを選択して次のフ40

レームの探索領域を制限する。口輪郭線検出モジュール４２は図３に示すような口の輪郭
７０を検出する。ＰＣＡによる回転量推定モジュール４４は口輪郭線検出モジュール４２から出力される輪郭７０で、ＰＣＡを利用した画像で予め規定されたｘ−及びｙ−軸を基準に、回転角を推定する。推定された角度が回転量推定組合せモジュール４８に与えられる。
【００５９】
両眼トラッキングモジュール４６は、各画像フレーム３２の両眼の画像をトラッキング
して、ｘ−座標及びｙ−座標を基準とする話者の瞳画像の座標を、両眼位置による回転量
推定モジュール４７と両眼距離修正モジュール４９とに出力する。
【００６０】50

(11)JP 4725884 B2 2011.7.13

回転量推定組合せモジュール４８はＰＣＡによる回転量推定モジュール４４からの角度と両眼位置による回転量推定モジュール４７からの角度とを組合わせ、両眼距離修正モジュール４９と口領域回転量修正モジュール５０とに推定された角度αを出力する。
【００６１】
両眼距離修正モジュール４９は話者の瞳間の距離Ｌｔを修正し、この距離Ｌｔを口ＲＯ
Ｉ選択モジュール５２とスケール修正モジュール５４とに与える。
【００６２】
口領域回転量修正モジュール５０はＲ−１(α)を利用し、回転量推定組合せモジュール
４８からのαを利用して、口領域周囲の話者の顔画像を修正する。口領域回転量修正モジ10

ュール５０は修正された口領域の画像を口ＲＯＩ選択モジュール５２に出力する。
【００６３】
口ＲＯＩ選択モジュール５２は話者の瞳間の距離と同じ幅の距離となるように選択され、セグメント化された口が水平方向の中央に位置するようなＲＯＩを選択する。同様に、
ＲＯＩの高さも同じ距離に設定される。ＲＯＩの上方境界は上唇の外輪郭の先端で始まる。従って、Ｌｔ×Ｌｔの口画像が得られる。ここで、Ｌｔは時間ｔにおける、時間に依存する瞳間の画素距離である。
【００６４】
スケール修正モジュール５４はＲＯＩの画像をＭ／Ｌｔでスケーリングし、この結果、瞳間の距離は図５（Ｃ）に示すようにＭ１１０となる。ここでＭは予め規定した正規化の

20

ための画素長である。Ｎ×Ｍサイズの正規化された口画像がこのスケールの正規化された画像からスケール修正モジュール５４によって切取られる。
【００６５】
最後に、画像の口の中心を画像の幅方向中央の固定された座標点に移動することにより、平行移動の歪を除去する。
【００６６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内
でのすべての変更を含む。

30【図面の簡単な説明】【００６７】【図１】この発明の一実施例に従った口画像修正装置３０を示すブロック図である。
【図２】話者の頭部の回転により引起される口画像の奥行き方向の歪を示す図である。
【図３】口の輪郭７０を示す図である。
【図４】口画像の回転角αのＰＣＡによる推定を示す図である。
【図５】この発明の一実施例による口画像のスケール修正を示す図である。
【図６】この発明の第一の実施例を実現するコンピュータシステム３３０の斜視図である。
【図７】図６に示すコンピュータ３４０のブロック図である。

40【符号の説明】【００６８】
３０

口画像修正装置

３２

画像フレーム３４

微妙な違いを修正した口画像

４０

口トラッキングモジュール

４２

口輪郭線検出モジュール

４４

ＰＣＡによる回転量推定モジュール

４６

両眼トラッキングモジュール

４８

回転量推定組合せモジュール

50

(12)
５０

口領域回転量修正モジュール

５２

口ＲＯＩ選択モジュール

５４

スケール修正モジュール

５６

メモリ

５８

平行移動修正モジュール

【図１】

【図２】

【図３】

【図４】

JP 4725884 B2 2011.7.13

(13)
【図５】

【図７】

【図６】

JP 4725884 B2 2011.7.13

(14)JP 4725884 B2 2011.7.13

フロントページの続き(72)発明者 矢野 澄男
京都府相楽郡精華町光台二丁目２番地２ 株式会社国際電気通信基礎技術研究所内
審査官 秦野 孝一郎(56)参考文献 特開２００３−２８１５３９（ＪＰ，Ａ）
特開平０９−１７１５６０（ＪＰ，Ａ）
10(58)調査した分野(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ

１／００