(57)【要約】【課題】  利用者に関する情報が記録されたカードなどを要することなくかつ人通りの多い場所など雑音の多い場所においても利用可能な装置であって、このような装置におけるユーザインタフェースの利便性を向上させること。【解決手段】  利用者の顔の画像を撮像し、その画像を用いて利用者の属性（人種，性別，年代など）を推定する。そして、その推定結果を元に、出力の内容や態様を制御する事でユーザインタフェースの利便性の向上を可能とする。【選択図】  図１    
2005275935.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの顔を撮像する撮像手段と、
前記撮像手段によって撮像された画像からユーザの顔を検出する検出手段と、
前記検出手段によって検出された顔の画像からユーザの属性を推定する属性推定手段と、
前記属性推定手段による推定結果に応じて出力の内容や態様を制御する出力制御手段と、
前記出力制御手段による制御内容に応じて出力を行う出力手段と
を備える端末装置。
【請求項２】
前記属性は、ユーザの人種に関する情報を含み、
前記出力制御手段は、推定された人種に応じた言語による出力を行うように出力手段を制御する
請求項１に記載の端末装置。
【請求項３】
前記属性は、ユーザの人種に関する情報を含み、
前記出力制御手段は、推定された人種に応じた複数の言語候補を出力するように前記出力手段を制御し、
前記端末装置は、ユーザが、出力手段において使用される言語を前記複数の言語候補の中から選択するための選択手段をさらに備え、
前記出力制御手段は、前記選択手段を介して言語の選択が行われた後は、選択された言語による出力を行うように出力手段を制御する
請求項１に記載の端末装置。
【請求項４】
前記属性は、ユーザの年代に関する情報を含み、
前記出力制御手段は、推定された年代が高齢であると判断できる場合に、表示される文字を通常時よりも大きく表示する、及び／又は、出力される音声を通常時よりも大きな音量で出力するように前記出力手段を制御する
請求項１に記載の端末装置。
【請求項５】
前記属性推定手段により複数の顔に対する推定処理が実行された場合に、出力制御手段が複数種の推定結果のうちいずれの推定結果を用いて処理を行うべきか選択する推定結果選択手段をさらに備え、
前記出力制御手段は、前記推定結果選択手段により選択された推定結果を用いて処理を行う請求項１〜４のいずれかに記載の端末装置。
【請求項６】
ユーザの顔を撮像するステップと、
撮像された画像からユーザの顔を検出するステップと、
検出された顔の画像からユーザの属性を推定するステップと、
推定結果に応じて出力の内容や態様を制御するステップと、
前記制御内容に応じて出力を行うステップと
を情報処理装置に実行させるためのプログラム。
【請求項７】
情報処理装置が、ユーザの顔を撮像するステップと、
情報処理装置が、撮像された画像からユーザの顔を検出するステップと、
情報処理装置が、検出された顔の画像からユーザの属性を推定するステップと、
情報処理装置が、推定結果に応じて出力の内容や態様を制御するステップと、
情報処理装置が、前記制御内容に応じて出力を行うステップと
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに対し情報や選択肢などを出力する装置などに適用されて有効な技術に関する。
【背景技術】
【０００２】
従来、端末装置において出力される表示や音声に用いられる言語はその端末装置が設置される環境などに応じて予め決定されていたが、現在、グローバル化が進むことにより、設置環境などに限らず複数種の言語に対応する事が必要となってきた。例えば、米国のあるＡＴＭ（Automated Teller Machine）では、多くの言語に対応するため、タッチパネルやボタンを操作することで、その後の表示をユーザが選択した言語の表示に変更させることが可能となっている。しかし、言語の選択肢が多くなればなるほど、ユーザが所望の言語を選択するのに多くの時間や手間を要してしまうという問題があった。
【０００３】
このような問題に対し、人物の識別情報入力手段としてのＩＤカードやクレジットカードや預金通帳などに記録された利用者情報を取得し、利用者情報の特性に応じて使用する言語を切り替える技術がある（特許文献１参照）。また、ユーザの第一声を認識し、ユーザの言語を識別して、ユーザの言語を用いた音声応答で対応する技術がある（特許文献２参照）。これらの技術によれば、ユーザがわざわざ所望の言語を選択する必要はなく、端末装置の操作に要していた手間を軽減できる。
【特許文献１】特開２０００−２５０８４０号公報
【特許文献２】特開２００３−３１６３８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の上記技術には以下のような問題点があった。利用者情報を記録しておく技術においては、ユーザは利用しようとする端末装置に応じたカードなどの記録媒体を有している必要があった。このため、利用者を特定する必要のない端末装置（例えば公共端末装置など。具体的には、券売機，観光案内装置，博物館や美術館などの解説装置など）に対しては、利用者情報を記録しておく技術を適用することは困難であった。
【０００５】
また、ユーザの声から言語を認識する技術では、人通りの多い場所など雑音の多い場所においては、利用者の声を正確に認識することは困難であった。特に、利用者を特定する必要のない上記装置は、このような雑音の多い場所に設置されることが多いため、ユーザの声から言語を認識する技術は不適切であった。
【０００６】
そこで本発明はこれらの問題を解決し、利用者に関する情報が記録されたカードなどを要することなくかつ人通りの多い場所など雑音の多い場所においても利用可能な装置であって、ユーザインタフェースの利便性を向上させるための装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、端末装置であって、ユーザの顔を撮像する撮像手段，撮像手段によって撮像された画像からユーザの顔を検出する検出手段，検出手段によって検出された顔の画像からユーザの属性を推定する属性推定手段，属性推定手段による推定結果に応じて出力の内容や態様を制御する出力制御手段，及び、出力制御手段による制御内容に応じて出力を行う出力手段を備える。
【０００８】
本発明によれば、ユーザの音声や、カードに記録された情報などを用いることなく、ユーザの顔の画像によってその属性が推定される。従って、ユーザはカードなどの記録媒体を保持する必要が無く、さらに雑音の多い場所などにおいてもユーザの属性を推定することが可能となる。そして、本発明によれば、推定されたユーザの属性（推定結果）に応じて、出力の内容や態様が制御される。
【０００９】
ここで、ユーザの属性とは、例えばユーザの人種、年代、性別などに関する情報である。また、出力の内容や態様とは、例えば出力に用いられる言語や言葉，出力される文章などの内容，表示される文字の大きさ，表示される文字へのふりがなの有無，表示される画像の内容や種類，出力される音声の音量，出力される音声の性別などである。このような出力の内容や態様が、ユーザの属性に応じて制御されるため、端末装置のユーザインタフェースの利便性向上を図る事ができる。
【００１０】
また、属性推定手段によって推定される属性は、ユーザの人種に関する情報を含むように構成されても良い。この場合、出力制御手段は、推定された人種に応じた言語による出力を行うように出力手段を制御するように構成されても良い。
【００１１】
このように構成された本発明では、ユーザの人種に関する情報が少なくとも推定される。そして、推定されたユーザの人種に応じた言語による出力が行われるため、ユーザは容易に出力の内容を理解することが可能となる。
【００１２】
また、属性推定手段によって推定される属性がユーザの人種に関する情報を含むように構成された場合に、出力制御手段は、推定された人種に応じた複数の言語候補を出力するように出力手段を制御するように構成されても良い。この場合、端末装置は、ユーザが、出力手段において使用される言語を複数の言語候補の中から選択するための選択手段をさらに備えても良い。さらに、出力制御手段は、選択手段を介して言語の選択が行われた後は、選択された言語による出力を行うように出力手段を制御するように構成されても良い。
【００１３】
このように構成された本発明では、ユーザは、選択手段を用いる事によって、出力手段において使用される言語を選択することが可能となる。この際に、あらゆる言語が選択するための候補として提示されるのではなく、ユーザの人種に応じた複数の言語が候補として提示される。人種に応じた言語候補は、例えば、各人種によって使用される言語の統計結果などに基づいて予め決定されても良い。このように構成されることにより、ユーザが使用言語を選択する際の労力を軽減させることが可能となる。
【００１４】
また、属性は、ユーザの年代に関する情報を含むように構成されても良い。この場合、出力制御手段は、推定された年代が高齢であると判断できる場合に、表示される文字を通常時よりも大きく表示する、及び／又は、出力される音声を通常時よりも大きな音量で出力するように出力手段を制御するように構成されても良い。
【００１５】
このように構成された本発明では、ユーザの年代が推定され、この年代からユーザが高齢であると判断できる場合に、文字が通常時よりも大きく表示される。又は、ユーザが高齢であると判断できる場合に、音声が通常時よりも大きな音量で出力される。このため、高齢者にとって読みやすい文字や聞き取りやすい音量での出力が行われる。
【００１６】
また、属性推定手段により複数の顔に対する推定処理が実行された場合に、出力制御手段が複数種の推定結果のうちいずれの推定結果を用いて処理を行うべきか選択する推定結果選択手段をさらに備えるように構成されても良い。この場合、出力制御手段は、推定結
果選択手段により選択された推定結果を用いて処理を行うように構成されても良い。
【００１７】
本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。
【発明の効果】
【００１８】
本発明によれば、利用者の顔画像を用いてその属性が推定されるため、利用者に関する情報が記録されたカードなどを要することなくかつ人通りの多い場所など雑音の多い場所においても、利用者の属性を推定し属性に応じてユーザインタフェースの利便性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下の説明において、顔画像とは、少なくとも人物の顔の一部または全部の画像を含む画像である。従って、顔画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。
【００２０】
［システム構成］
端末装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），
ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
【００２１】
図１は、端末装置１の機能ブロックを示す図である。端末装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、撮像部２，顔検出部３，特徴抽出部４，属性推定部５，属性情報決定部６，出力制御部７，及び出力部８等を含む装置として機能する。顔検出部３，特徴抽出部４，属性推定部５，属性情報決定部６，及び出力制御部７は、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部３，特徴抽出部４，属性推定部５，属性情報決定部６，及び出力制御部７は専用のチップとして構成されても良い。次に、端末装置１が含む各機能部について説明する。
【００２２】
〔撮像部〕
撮像部２は、端末装置１のユーザの顔画像を撮像するように構成され、撮像した画像を顔検出部３へ渡す。例えば撮像部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成される。
【００２３】
撮像部２は、常に撮像を行うように構成されても良いし、不図示のセンサによってユーザが端末装置１を使用しようとしていることが検知された場合に撮像を行うように構成されても良いし、ユーザによって端末装置１が操作された際に撮像を行うように構成されても良い。
【００２４】
〔顔検出部〕
顔検出部３は、撮像部２によって撮像された画像から人の顔を検出し、検出された顔の
位置や大きさ等を示す顔情報を特定する。顔検出部３は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
【００２５】
また、顔検出部３は、撮像部２によって撮像された画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象となる顔を決定しても良い。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置、不図示の測距手段（例えば、光線を対象物に対して発しその反射光を得ることにより測距する手段）による測距結果などである。
【００２６】
顔検出部３は、検出された顔に関する顔情報を特徴抽出部４に対し渡す。
【００２７】
〔特徴抽出部〕
まず、特徴抽出部４は、顔検出部３によって検出された顔における複数の特徴点を設定する（特徴点設定処理）。そして、特徴抽出部４は、特徴点設定処理によって設定された特徴点を元に、この被写体の顔の特徴量として各特徴点の特徴量を取得する（特徴量取得処理）。以下、特徴点設定処理及び特徴量取得処理について説明する。
【００２８】
〈特徴点設定処理〉
特徴点設定処理において、まず特徴抽出部４は検出された顔の器官を検出する。顔の器官とは、例えば目，鼻，鼻孔，口（唇），眉，顎，額などである。特徴抽出部４は、いずれの顔の器官を検出しても良く、複数の器官を検出しても良い。例えば特徴抽出部４は、被写体の顔の両目及び口を検出するように構成される。
【００２９】
次に、特徴抽出部４は、検出された顔の画像をグレースケールの画像に変換する。また、特徴抽出部４は、検出された顔の器官の位置関係に基づいて、検出された顔の画像の角度正規化やサイズ正規化を実施する。これらの処理をまとめて前処理と呼ぶ。また、画像をグレースケールに変換する処理は、顔検出部３における処理や特徴点設定処理におけるどの時点で実行されても良い。
【００３０】
次に、特徴抽出部４は、検出された顔の器官（以下、「注視点」と呼ぶ：例えば両目や口を示す点）の位置に基づいて、複数の特徴点の位置を設定する。特徴抽出部４は、注視点に近いほど密に、注視点から離れるほど粗に特徴点を設定する。
【００３１】
図２（ａ）は、顔検出部３によって検出された被写体の顔を示す図である。図２（ｂ）は、特徴点設定処理によって設定された複数の特徴点の例を示す図である。図２（ｂ）において、黒塗りの丸は注視点を示し、斜線の丸は注視点に基づいて設定された特徴点を示す。以下に説明する特徴量取得処理において、注視点が特徴点として取り扱われても良い。
【００３２】
このような特徴点設定処理は、例えば以下の論文に記載されたＲｅｔｉｎａサンプリングを適用することによって実現できる。
【００３３】
F. SmeraldiandJ. Bigun, “Facial features detection by saccadic exploration of
the Gabordecomposition”, International Conference on Image Processing, ICIP-98, Chicago, October 4-7, volume 3, pages 163-167, 1998.
【００３４】
〈特徴量取得処理〉
特徴量取得処理において、特徴抽出部４は特徴点設定処理によって設定された各特徴点に対し、ガボールフィルタを畳み込む。即ち、特徴抽出部４は、各特徴点についてガボールウェーブレット変換（Gabor Wavelets Transformation：GWT）を実施する。図３は、特徴量取得処理において使用されるガボールフィルタの例（実部）である。特徴抽出部４は、図３に示されるような解像度と方位とを変化させた複数のガボールフィルタを畳み込むことにより、特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取得する。
【００３５】
数１は、ガボールフィルタを表す式である。ガボールフィルタの使用において、式中のｋとθとの値を変更することにより、濃淡特徴から任意の周期性と方向性とを特徴量として取得することが可能となる。
【数１】
2005275935.tif 000003
【００３６】
特徴抽出部４は、特徴量取得処理によって得られる各特徴点の特徴量を、属性推定部５へ渡す。なお、特徴抽出部４は、顔検出部３によって検出された顔のうち、所定の条件を満たす全ての顔について処理を行うように構成されても良い。所定の条件とは、例えば所定の大きさ以上の顔，所定の位置（例えば画像中央の領域），所定の向き（例えば正面を向いている）の顔などの条件である。
【００３７】
〔属性推定部〕
属性推定部５は、特徴抽出部４から受け取る各特徴点の特徴量に基づいて、顔検出部３によって検出された被写体の属性情報を推定する。属性情報とは、その人に関する情報であり、例えば人種、年代、性別などが項目として含まれる。属性推定部５は、予め学習処理が完了しているパターン認識の識別器に対して各特徴点の特徴量を入力することにより、被写体の属性情報を推定する。属性推定部５は、パターン認識の識別器としてサポートベクターマシン（Support Vector Machine：ＳＶＭ）を用いて処理を行う。以下、属性情報のうち人種を推定する場合を例として、サポートベクターマシンについて説明する。
【００３８】
サポートベクターマシンは、二つのクラスに属する学習データの真ん中を通る超平面を識別の境界面とし、パターン認識を行う手法である。サポートベクターマシンにおける識別器は、数２に示される識別関数を用いることにより、入力されたデータ（ここでは全特徴点における特徴量）が二つのクラスのいずれに属するかを推定する。
【数２】
2005275935.tif 000004
【００３９】
数２において、ｌは、学習処理によって選別された学習データの個数、即ち属性推定部５による属性推定処理に用いられる学習データの個数を示す。αｉは、ラグランジュ乗数
を示す。ｘｉ，ｙｉは学習データを示す。ｙｉは“−１”又は“１”のいずれかを有し、ｘｉが二つのクラスのいずれに属するかを示す。ｂはバイアス項、即ちパラメタを示す。学習処理によりこれらの値が決定され、属性推定部５はその学習処理の結果を記憶する。
【００４０】
また、数２において、Ｋはカーネル関数を示す。カーネル関数を使って、入力データをより高い次元に非線形に写像するサポートベクターマシンの非線形拡張が提案されており、これにより、より実問題に対して有効な識別器を構築することが可能である。このようなカーネル関数の代表的なものに、多項式カーネル（数３参照）やガウシアンカーネル（数４参照）等がある。属性推定部５において、いずれのカーネル関数が適用されても良い。
【数３】
2005275935.tif 000005
【数４】
2005275935.tif 000006
【００４１】
サポートベクターマシンは、二つのクラスを識別する識別器を構成する学習法であり、複数種（三種以上）の人種を識別（推定）するためには複数のサポートベクターマシンを組み合わせる必要がある。属性推定部５は、二分木探索を適用することにより、サポートベクターマシンを用いたマルチクラスタリングを実現する。図４は、属性推定部５における人種推定処理に適用される二分木探索の例を示す図である。ここでは、被写体の人種がコーカソイド、ネグロイド、モンゴロイドのいずれであるかを推定する処理を例として説明する。設計に応じて他の人種がさらに候補として含まれるように構成されても良い。
【００４２】
属性推定部５は、まず、サポートベクターマシンを用いて、被写体の人物がネグロイドであるか否かについて推定する。そして、被写体の人物がネグロイドではないと推定された場合には、属性推定部５は、被写体の人物がモンゴロイドであるか否か（又はコーカソイドであるか否か）について推定する。属性推定部５は、人種以外の属性情報の項目、即ち年代や性別についても同様に二分木探索を行うことによって各項目についての推定処理を行う。そして、属性推定部５は、推定された属性情報を属性情報決定部６へ渡す。なお、属性推定部５は、顔検出部３によって検出された顔のうち、所定の条件を満たす全ての顔について処理を行うように構成されても良い。また、属性推定部５は、人種以外の属性情報、例えば性別や年代についても同様の処理を行う事により推定を実施する。
【００４３】
〔属性情報決定部〕
複数の顔が検出された場合、それぞれの顔について属性情報が得られる。このように複数の属性情報が得られた場合、それぞれの属性情報に含まれる各項目の値は異なってしまう場合がある。このような場合、出力制御部７へ出力される属性情報の各項目の値はそれぞれ一つに決定される必要がある。このため、属性情報決定部６は、属性情報決定処理を実施することにより、属性情報の各項目について、いずれの値を出力すべきか決定する。以下、属性情報決定処理の具体例について説明する。
【００４４】
まず属性情報決定部６は、各項目について、各値を有する顔ごとに集合を生成する。次に、属性情報決定部６は、各集合についてその注目度を取得する。注目度とは、各集合に含まれる顔の顔情報などに基づいて決定される値である。例えば、注目度は、各集合に含まれる顔の数、顔の大きさ、顔の向き、顔の位置などに基づいて決定される。そして、属
性情報決定部６は、最も注目度の高い集合における値をその項目の値として決定する。属性情報決定部６は、各項目について値を決定することにより一つの属性情報を生成し、その属性情報を出力制御部７へ渡す。
【００４５】
図５は、属性推定部５によって推定された属性情報の例を示す表である。以下、注目度の具体例として、顔の数が多いほど注目度が高いと仮定し、図５に示される例を用いて、属性情報決定処理の具体例を説明する。属性情報決定部６は、人種、年代、性別の各項目の各値について集合を生成する。コーカソイドの集合は（Ａ）、ネグロイドの集合は（Ｂ，Ｅ）、モンゴロイドの集合は（Ｃ，Ｄ，Ｆ）となる。同様に、１０〜２０の集合は（Ｅ）、２０〜３０の集合は（Ａ，Ｂ，Ｃ，Ｄ，Ｆ）、男の集合は（Ａ，Ｆ）、女の集合は（Ｂ，Ｃ，Ｄ，Ｅ）となる。次に、属性情報決定部６は、各集合の注目度を取得する。この場合、各集合の注目度は、その集合に含まれる顔の数として得られるため、（コーカソイド，ネグロイド，モンゴロイド）＝（１，２，３），（１０〜２０，２０〜３０）＝（１，５），（男，女）＝（２，４）として得られる。そしてこの結果、属性情報決定部６は、（モンゴロイド，２０〜３０，女）という属性情報を生成し、この属性情報を出力制御部７へ渡す。なお、顔が一つしか検出されなかった場合、属性情報決定部６は、属性情報決定処理を実行せずにこの顔に関する属性情報を出力制御部７へ渡しても良い。
【００４６】
〔出力制御部〕
出力制御部７は、属性情報決定部６から渡される属性情報に基づいて、出力部８に出力する内容を制御する。出力制御部７は、属性情報に含まれる年代に応じて、出力部８から出力される表示や音声を制御する。例えば年代が０〜１０である場合、表示される漢字にはふりがなが付されるように制御されても良いし、漢字を用いた表示を行わないように制御されても良いし、アニメーションなどを付加して表示するように構成されても良い。また、例えば年代が６０以上である場合、表示される文字の大きさが通常時よりも大きく表示されるように制御されても良いし、出力される音声のボリュームが通常時よりも大きくなるように制御されても良い。
【００４７】
また、出力制御部７は、属性情報に含まれる性別に応じて、表示される文字の色や絵柄、出力される音声の性別などを制御するように構成されても良い。
【００４８】
また、出力制御部７は、例えばこの属性情報に含まれる人種に応じて、出力部８に出力される言語候補を選択しても良い。言語候補とは、ユーザが表示や使用を望む言語を選択するための候補である。例えばモンゴロイドに対応する言語候補は韓国語、日本語、タイ語、中国語、台湾語、北京語、アラビア語、モンゴル語、ラオ語などである。また、例えばコーカソイドに対応する言語候補は、英語、フランス語、ドイツ語、イタリア語、スペイン語、オランダ語、ロシア語、ポルトガル語、ギリシャ語などである。また、例えばネグロイドに対応する言語候補は、アラビア語、ポルトガル語、英語、フランス語、スワヒリ語などである。この場合、不図示の入力部を介して、ユーザによって言語候補の中から使用言語が選択される。そして、出力制御部７は、選択された使用言語を用いた出力を行うように出力部８を制御する。また、出力制御部７は、ユーザによる選択に関わらず使用言語を決定し、この使用言語を用いた出力を行うように出力部８を制御するように構成されても良い。
【００４９】
〔出力部〕
出力部８は、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等の表示装置や、スピーカ等の音声出力装置などを用いて構成される。出力部８は、タッチパネル等を用いて構成されても良い。出力部８は、出力制御部７による制御内容に応じて、文字や画像の表示や音声出力などを行う。
【００５０】
［動作例］
図６は、端末装置１の動作例を示すフローチャートである。図６を用いて、端末装置１の動作例について説明する。まず、撮像部２がユーザを撮像すると（Ｓ０１）、撮像された画像に対し顔検出部３が顔検出処理を実行しユーザの顔を検出する（Ｓ０２）。次に、特徴抽出部４及び属性推定部５は、顔検出処理によって検出された顔について、属性推定処理を実行する（Ｓ０３）。
【００５１】
図７は、属性推定処理の処理例を示すフローチャートである。図７を用いて、属性推定処理の処理例について説明する。属性推定処理が開始すると、特徴抽出部４は、顔検出部３によって検出された顔における注視点、即ち顔の器官を検出する（Ｓ０８）。次に、特徴抽出部４は、検出された顔の画像に対して注視点の位置などに基づいた前処理を実行し（Ｓ０９）、特徴点を設定する（Ｓ１０）。そして、特徴抽出部４は、各特徴点に対しガボールフィルタを畳み込むことにより特徴量を取得する（Ｓ１１）。
【００５２】
特徴抽出部４が特徴量を取得すると、属性推定部５は、取得された特徴量を入力としてサポートベクターマシンを用いることにより被写体の属性（人種，年代，性別など）を推定する（Ｓ１２）。そして、属性推定部５は、属性推定の結果を出力する（Ｓ１３）。
【００５３】
図６を用いてＳ０３以降の処理について説明する。属性推定処理（Ｓ０３）の後、属性情報決定部６は、顔検出部３によって検出された顔の数に応じてその後の処理を決定する。属性情報決定部６は、顔の数が１以下であった場合（Ｓ０４：＜＝１）、その旨を出力制御部７へ伝える。その後、出力制御部７は、顔が一つ検出されている場合にはその顔の属性情報に基づいた出力を行うように、顔が検出されていない場合には顔が検出されなかった場合用に用意された出力（例えば、通常の音量や通常の文字の大きさで行われる出力や、全ての言語候補を表示するような出力など）を行うように、出力部８を制御する（Ｓ０６）。そして、出力部８は、制御内容に従って出力を実行する（Ｓ０７）。
【００５４】
Ｓ０４の処理の説明に戻る。属性情報決定部６は、顔の数が１より多い場合（Ｓ０４：＞１）、属性情報決定処理を実行する（Ｓ０５）。図８は、属性情報決定処理の処理例を示すフローチャートである。図８を用いて、属性情報決定処理の処理例について説明する。属性情報決定処理が開始すると、属性情報決定部６は、各項目における集合を取得する（Ｓ１４）。次に、属性情報決定部６は、各集合における注目度を取得する（Ｓ１５）。そして、各集合における注目度に従って各項目の値を決定する（Ｓ１６）。属性情報決定部６は、例えば、最大の注目度を有する集合の値をその項目の値として決定しても良い。そして、属性情報決定部６は、各項目について決定した値を有する属性情報を生成し、その属性情報を出力する（Ｓ１７）。
【００５５】
図６を用いてＳ０５以降の処理について説明する。属性情報決定処理（Ｓ０５）の処理の後、出力制御部７は、属性情報決定処理の結果出力された属性情報に基づいた出力を行うように出力部８を制御する（Ｓ０６）。そして、出力部８は、制御内容に従って出力を実行する（Ｓ０７）。
【００５６】
［作用／効果］
端末装置１は、ユーザの顔画像からユーザの属性情報を推定し、その推定結果である属性情報に基づいて出力内容を制御する。例えば、端末装置１は、属性情報としてユーザの人種を推定し、その人種から推測されるユーザの使用言語の選択候補（言語候補）を提示するように構成されても良い。この場合、ユーザは、多くの言語候補の中からではなく、人種推定処理や出力制御処理などによりある程度絞られた言語候補の中から使用言語を選択することが可能となる。従って、使用言語の選択に要するユーザの労力を軽減させることが可能となる。また、例えば、端末装置１は、属性情報としてユーザの年代を推定し、
その年代から推測されるユーザの状態に応じた出力を行うように構成されても良い。具体的には、推測される年代が高齢の場合には、表示される文字を大きく制御しても良いし、出力される音量を上げるように制御しても良い。また、推測される年代が幼い場合には、表示される文字に難しい漢字を用いないように制御しても良いし、ふりがなを振るように制御しても良い。この場合、ユーザは、年代に応じて異なる身体能力や知的能力に応じた出力を受ける事が可能となり、ユーザインタフェースの利便性が向上される。また、例えば、端末装置１は、属性情報としてユーザの性別を推定し、その性別から推測されるユーザの好みに応じた出力を行うように構成されても良い。この場合、ユーザにとってより親しみやすい出力を受ける事が可能となる。
【００５７】
また、端末装置１は、ユーザの属性を、ユーザの顔画像から推定する。このため、騒音の多い場所などにも端末装置１を設置することが可能となり、このような場所でも有効に動作させることができる。
【００５８】
また、端末装置１では、属性情報などが登録された記録媒体を用いる必要なく、ユーザの属性が推定される。このため、ユーザは端末装置１を操作するにあたって、自身の属性情報などが記録された記録媒体を用いることなく、自身の属性情報に応じたユーザインタフェースの提供を受ける事が可能となる。
【００５９】
［変形例］
属性情報決定部６は、顔検出部３によって検出された顔の数ではなく、属性推定処理の対象となった顔の数を用いてＳ０４の判断を行うように構成されても良い。
【００６０】
また、出力制御部７は、出力される文章や言葉や画像などの内容を、属性情報に応じて制御するように構成されても良い。例えば、出力制御部７は、ユーザの年代に応じて、その年代に親しみやすい又は理解しやすい内容を出力するように制御しても良い。例えば、年代によって親しみのある名称や理解可能な言葉に差が生じることは明らかである。また、例えば観光案内などにおいて、年代や性別によって案内されたいとユーザが望むであろう内容は異なる。従って、このような制御が行われることにより、ユーザはより有効な情報を得ることが可能となる。
【図面の簡単な説明】
【００６１】
【図１】端末装置の機能ブロックを示す図である。
【図２】特徴点の設定例を示す図である。
【図３】ガボールフィルタの例を示す図である。
【図４】二分木探索の例を示す図である。
【図５】属性推定部によって推定された属性情報の例を示す表である。
【図６】端末装置の動作例を示すフローチャートである。
【図７】属性推定処理における動作例を示すフローチャートである。
【図８】属性情報決定処理における動作例を示すフローチャートである。
【符号の説明】
【００６２】
１          端末装置
２          撮像部
３          顔検出部
４          特徴抽出部
５          属性推定部
６          属性情報決定部
７          出力制御部
８          出力部
【図１】
2005275935.tif 000007
【図２】
2005275935.tif 000008
【図３】
2005275935.tif 000009
【図４】
2005275935.tif 000010
【図５】
2005275935.tif 000011
【図６】
2005275935.tif 000012
【図７】
2005275935.tif 000013
【図８】
2005275935.tif 000014