(57)【要約】【課題】セミナや研修で行われている表情訓練と同等以上の効果を、ディジタル画像処理技術を用いた機械との対話で行う方法の具体化が課題である。【解決手段】上記課題を解決するため、表情訓練器を訓練生の顔を撮影するディジタルカメラと、前記カメラにより撮影した顔写真から手本となる顔写真を創出するソフトウエアと、前記顔写真等を表示する装置と、手本となる顔写真を見ながら作った顔との差異を定量化し訓練生にフィードバックするソフトウエアと、前記ディジタルカメラやソフトウエアの作動を指示する操作部から構成した。【選択図】  図１
2007108620.tif 000002
【特許請求の範囲】
【請求項１】
訓練生の顔を撮影するディジタルカメラと、手本となる顔写真を創出するソフトウエアと、前記顔写真等を表示する装置と、手本となる顔写真と訓練生の顔写真との差異を定量化し、訓練生にフィードバックするソフトウエアと、前記ディジタルカメラやソフトウエアの作動を指示する操作部からなることを特徴とする表情訓練器。
【請求項２】
請求項１において、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、指定した人物の顔写真の特徴点と自分の顔の特徴点との位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成したことを特徴とする表情訓練器。
【請求項３】
請求項１において、訓練生にフィードバックするソフトウエアを、手本となる顔写真と訓練生の顔写真について各部位の特徴点の座標データから各部位の評価値を演算し表示させ、さらに手本と訓練生の評価値の差分を自乗し特定の重み係数を乗じて加算した総合評価値を表示させるソフトウエアから構成したことを特徴とする表情訓練器。
【請求項４】
請求項３において、各部位の評価値として、顔の左右非対称度、眉と目の形、頬の位置、口角、皺の位置と形を選んだことを特徴とする表情訓練器。
【請求項５】
請求項１において、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成したことを特徴とする表情訓練器。
【請求項６】
請求項３で述べた訓練生にフィードバックするソフトウエアに、あらかじめ用意されたフィードバック文章群と、手本と訓練生の各特徴点の評価値の差分データと前記文章群とを対応づけるソフトウエアと、対応づけられた文章を表示するソフトウエアを追加したことを特徴とする表情訓練器。
【請求項７】
請求項１において、すべてのソフトウエアとハードウエアを携帯電話機に収めたことを特徴とする表情訓練器。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、日常生活において表情を豊かに魅力的にさせる、あるいは業務上における応対・接遇能力をアップさせるための表情訓練を、ディジタル画像処理技術を用いて機械との対話で行う方法ならびに装置に関する。
【背景技術】
【０００２】  表情豊かな魅力的な人になりたいという願望は大勢の人が持っており、また企業等における新人研修や事業の再構築に伴う人員の接客関連部門への異動などが背景にあって、近年表情訓練の重要性が認識され、各種セミナや研修が行われている。【０００３】  しかし、セミナや研修に参加できる人は限られ、老人や病気の人は参加できず、またセミナや研修だけでは継続的な訓練ができず効果も限定的である。そこで、簡易な訓練器があれば自宅や病院や会社を問わずどこでも継続的な訓練ができて効果が大きいと考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】  セミナや研修で行われている表情訓練と同等以上の効果を、ディジタル画像処理技術を用いた機械との対話で行う方法の具体化が課題である。
【課題を解決するための手段】
【０００５】  本発明の装置は、上記課題を解決するため、訓練生の顔を撮影するディジタルカメラと、顔写真から特徴点を抽出するソフトウエアと、手本となる顔写真を創出するソフトウエアと、手本となる顔写真を見ながら作った顔との差異を定量化し訓練生にフィードバックするソフトウエアと、前記顔写真等を表示する装置と、前記ディジタルカメラやソフトウエアの作動を指示する操作部から構成したものである。この際、手本となる顔写真を創出するソフトウエアは、訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、訓練生が指定した人物の顔写真の特徴点と自分の顔の特徴点の位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成している。また、訓練生にフィードバックするソフトウエアを、手本となる顔写真と訓練生の顔写真について各部位の特徴点の座標データから各部位の評価値を演算し表示させ、さらに手本と訓練生の評価値の差分を自乗し特定の重み係数を乗じて加算した総合評価値を表示させるソフトウエアから構成している。【０００６】  第二の解決手段は、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成したものである。【０００７】  第三の解決手段は、第一の解決手段の訓練生にフィードバックするソフトウエアに、あらかじめ用意されたフィードバック文章群と、手本と訓練生の各特徴点の評価値の差分データと前記文章群とを対応づけるソフトウエアと、対応づけられた文章を表示するソフトウエアを追加したものである。【０００８】  第四の解決手段は、すべてのソフトウエアとハードウエアを携帯電話機に収めたものである。【０００９】  上記第一の解決手段による作用は次の通りである。即ち、自分の顔写真の特徴点を抽出した後、特定人物の顔の特徴点と比較して自分の特徴点を移動させ、その後ＣＳＲＢＦを用いて顔写真を創生するといったディジタル画像処理技術を用いて、自分の顔写真を望ましい顔に変形してこれを手本とし、この手本と自分の顔との差異についてもディジタル画像処理技術を用いて定量的に演算して訓練生に教えることで再現性のある客観的な指導を行うものである。手本の顔写真の作り方は、訓練生が特定の人物の顔写真を選び、自分の顔がこの人物の顔に似るように現実的な範囲内でディジタル画像処理技術を用いて変形させることで行なう。【００１０】  上記第二の解決手段による作用は次の通りである。即ち、望ましい顔写真を作るのに、訓練生が選んだ方向性により顔写真の特徴点を移動させることで行い、後は第一の解決手段と同様ディジタル画像処理技術を用いて創出する。【００１１】上記第三の解決手段による作用は次の通りである。即ち、訓練生へのフィードバックを文章で行い、この文章を、多少の遊び心と古来の教訓や医学知識を織り交ぜて構成することで、あたかも経験豊かな指導員からのアドバイスのような感覚で楽しみながら訓練をすることができる。また顔の輪郭や頬のふくらみや目尻の上がり下がりなど、短期間の訓練では変えられないようなファクターについても長期的取り組みや古来の教えなどに例えて訓練生を納得させることができる。【００１２】  上記第四の解決手段による作用は次の通りである。即ち、すべてのソフトウエアとハードウエアを携帯電話機に収めることで、訓練生は何時でも何処でも都合の良い場所と時間を選んでトレーニングを行える。
【発明の効果】
【００１３】  上述したように本発明の表情訓練機は、自宅や会社を問わずどこでも継続的な表情訓練ができるため、時間的余裕がなくセミナや研修に参加できるない人や、老人や病気の人でも継続的な訓練ができ効果が大きいと考えられる。
【発明を実施するための形態】
【００１４】  以下に、本発明を実施するための最良の形態を図面に基づいて説明する．
【００１５】  図１は、本発明の全体図を示す。表情訓練器は、操作器１、全体の演算や入出力をコントロールするＣＰＵ２、記憶装置３、特徴点抽出＆復元ソフトウエア４、手本となる顔を創生するソフトウエア５、訓練生へのフィードバック内容作成と表示ソフトウエア６、表示器７、ディジタルカメラ８から構成される。訓練生９は、操作器１を操作して表情訓練器を起動させ、自分の顔をディジタルカメラ８により撮影する。この顔画像データは記憶装置３に送られる。続いて特徴点抽出＆復元ソフトウエア４により特徴点の抽出を行い結果を記憶装置３に送る。次に手本となる顔を創生するソフトウエア５により自分の顔写真を訓練で使う手本となる顔に変形させる。この手本となる顔画像についても、特徴点抽出＆復元ソフトウエア４により特徴点の抽出を行い結果を記憶装置３に送る。訓練生へのフィードバック内容作成と表示ソフトウエア６は、手本となる顔画像を表示器７に表示する。訓練生９は表示器７に表示された手本となる顔画像を見て、自分の顔が手本に近づくように表情訓練を行う。ある程度訓練したら、操作器１により再度、訓練生へのフィードバック内容作成と表示ソフトウエア６を作動させてフィードバック内容を表示させる。訓練生９は表示器７に表示された結果を見てさらに工夫して訓練を続行する。何回かフィードバックを行ううちに総合判断数値が閾値に収まってくれば、目標達成の表示が出て訓練を終了する。
【００１６】図２は、上記の動作の流れをフローチャートで表したものである。
【００１７】  図３は、顔写真から特徴点を抽出するソフトウエアの演算プロセスを示すブロック図である。
【００１８】  図４は、手本となる顔写真を創出するソフトウエアの演算プロセスを示すブロック図である。訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、訓練生が指定した人物の顔写真の特徴点と自分の顔の特徴点の位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成している。
【００１９】  図５は、手本となる顔写真を創生するソフトウエアにより処理された顔画像の一連の変化の概要を示す図である。
【００２０】  図６は、フィードバック内容作成ソフトウエア６の中で実施される、左右非対称度の評価値Ｘ１の演算内容を示す図である。Ｘ１は次の演算式により計算される。
【数式１】
2007108620.tif 000003
ただし、ｉ：特徴点の番号
αｉ：各特徴点の左右非対称の重み係数
βｉ：各特徴点の上下非対称の重み係数
ｘｒｉ，ｘｌｉ：左右特徴点の左右座標
ｙｒｉ，ｙｌｉ：左右特徴点の上下座標
【００２１】  図７は、フィードバック内容作成ソフトウエア６の中で実施される、目の評価値Ｘ２の演算内容を示す図である。Ｘ２は次の演算式により計算される。
【数式２】
2007108620.tif 000004
ただし、ｅａ，ｅｂ，ｅｉ：各特徴点間の寸法
λｉ：  各寸法比の重み係数
【００２２】  図８は、フィードバック内容作成ソフトウエア６の中で実施される、頬の評価値Ｘ３の演算内容を示す図である。Ｘ３は次の演算式により計算される。
【数式３】
2007108620.tif 000005
ただし、ｆａ，ｆｂ，ｆ１，ｆ２：各特徴点間の寸法
μ１，μ２：各寸法比の重み係数
ｆ１，ｆ２を定める頬の特徴点は、まず明暗と色合いの差が大きい領域を抽出し（図９の顔写真の白色に塗った領域で、これを頬面と定義する）、次にこの頬面の重心に相当する点を計算して求めこれを特徴点とする。
【００２３】  図９は、フィードバック内容作成ソフトウエア６の中で実施される、口角の評価値Ｘ４の演算内容を示す図である。Ｘ４は次の演算式により計算される。
【数式４】
2007108620.tif 000006
ただし、ｘｒｉ，ｘｌｉ：左右の口角のｘ座標（ｉ＝１：内側、ｉ＝２：外側）
ｙｒｉ，ｙｌｉ：左右口角のｙ座標（ｉ＝１：内側、ｉ＝２：外側）
【００２４】  さらに図示してないが、顔の皺の位置と形についても次の演算式により評価値Ｘ５が計算される。
【数式５】
2007108620.tif 000007
ただし、γｈ：ｈ＝１は目尻の皺の重み係数
ｈ＝２は頬の皺の重み係数
ｈ＝３は口の周りの皺の重み係数
ｘｈｉ，ｘｈｉ：皺のｘ座標（ｉ＝１：内側代表点、ｉ＝２：外側代表点）
ｙｈｉ，ｙｈｉ：皺のｙ座標（ｉ＝１：内側代表点、ｉ＝２：外側代表点）
ａ，ｂ，ｃ：それぞれ目尻、頬、口の周りの皺の好ましい傾斜角で統計的データから決めたものである．
【００２５】  図１０は、手本となる顔写真を見ながら訓練して作った顔との差異を定量化し、総合判断指数の計算式と、訓練生にフィードバックするための表示画面を示す図である。
総合指数Ａは次の演算式により計算される。
【数式６】
Ａ＝ρ１（Ｘ１ａ−Ｘ１ｂ）２＋ρ２（Ｘ２ａ−Ｘ２ｂ）２＋ρ３（Ｘ３ａ−Ｘ３ｂ）２＋ρ４（Ｘ４ａ−Ｘ４ｂ）２
ただし、ρｉ（ｉ＝１〜４）は重み係数であり、十分データを蓄積してから定める。
Ｘｉａ（ｉ＝１〜４）は手本となる顔写真の各評価値、Ｘｉｂ（ｉ＝１〜４）は訓練後に撮影した訓練生の顔写真の各評価値である。
図中のグラフは、Ａ、Ｘｉａ（ｉ＝１〜４）、Ｘｉｂ（ｉ＝１〜４）を表示器の画面に表示した例を示す。総合判断はＡの大きさを棒グラフで、個別グラフは、Ｘｉａ（ｉ＝１〜４）を破線で示してこれに囲まれたエリアを色塗りし、Ｘｉｂ（ｉ＝１〜４）を太い実線で示している。
ここで図示していないが、さらに上記数式５の皺の評価を加える場合には、総合指数Ａは次式となる。
【数式７】
Ａ＝ρ１（Ｘ１ａ−Ｘ１ｂ）２＋ρ２（Ｘ２ａ−Ｘ２ｂ）２＋ρ３（Ｘ３ａ−Ｘ３ｂ）２＋ρ４（Ｘ４ａ−Ｘ４ｂ）２＋ρ５（Ｘ５ａ−Ｘ５ｂ）２
ただし、ρｉ（ｉ＝１〜５）は重み係数であり、Ｘｉａ（ｉ＝１〜５）は手本となる顔写真の各評価値、Ｘｉｂ（ｉ＝１〜５）は訓練後に撮影した訓練生の顔写真の各評価値である。
【第二の実施例】
【００２６】  図１１は、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成した場合の演算プロセスを示すブロック図である。選択されたｉ番目の方向性によりｊ番目の特徴点をｘ方向にζｉｊだけ移動させ、ｙ方向にηｉｊだけ移動させる。ζｉｊ，ηｉｊは、多数の顔写真とその方向性評価結果のデータによる相関分析から事前に決めておく。
【第三の実施例】
【００２７】  図１２は、訓練生へのフィードバックを文章で行い、この文章を、多少の遊び心と古来の教訓や医学知識を織り交ぜて構成した表示例を示す図である。
【００２８】  図１３は、訓練結果と文章群との対応表を示す。フィードバック内容作成ソフトウエア６に、この内容がプログラムされており、例えば訓練者が知的という方向性を選択し、頬に関して手本との差が大きかった場合にはｃ１という文章を選択して表示する。表示は一つでも上位二つを表示しても良い。図１２はｃ１とｃ２の二つを表示した例である。
【第四の実施例】
【００２９】    図１４は、すべてのソフトウエアとハードウエアを携帯電話機に収めた場合の全体図である。携帯電話機１０は、ＣＰＵ１１、ＲＡＭ１２、記憶装置１３、音声入出力ユニット１４、キー入出力装置１５、無線通信ユニット１６、ＬＣＤ１７、ディジタルカメラ１８を含む。
【図面の簡単な説明】
【００３０】
【図１】  本発明の全体構成例である．
【図２】  一連の動作の流れをフローチャートで表した図である。
【図３】  図３は、顔写真から特徴点を抽出するソフトウエアの演算プロセスを示すブロック図である。
【図４】  手本となる顔写真を創生するソフトウエアの演算プロセスを示すブロック図である。
【図５】  手本となる顔写真を創生するソフトウエアにより処理された顔画像の一連の変化を示す図である。
【図６】  フィードバック内容作成ソフトウエア６の中で実施される、左右非対称度の評価値Ｘ１の演算内容を示す図である。
【図７】  フィードバック内容作成ソフトウエア６の中で実施される、目の評価値Ｘ２の演算内容を示す図である。
【図８】  フィードバック内容作成ソフトウエア６の中で実施される、頬の評価値Ｘ３の演算内容を示す図である。
【図９】  フィードバック内容作成ソフトウエア６の中で実施される、口角の角度Ｘ４の演算内容を示す図である。
【図１０】  訓練生にフィードバックするための表示画面を示す図である。
【図１１】  選択された方向性から、手本となる顔写真を創生するソフトウエアの演算プロセスを示すブロック図である。
【図１２】  文章表示によるフィードバック表示法を示す図である。
【図１３】  訓練結果と文章群の対応表を示す図である。
【図１４】  すべてのソフトウエアとハードウエアを携帯電話機に収めた場合の全体図である。
【符号の説明】
【００３１】１  操作器
２  ＣＰＵ
３  記憶装置
４  特徴点抽出＆復元ソフトウエア
５  手本の顔創出ソフトウエア
６  フィードバック内容作成＆表示ソフトウエア
７  表示器
８  ディジタルカメラ
９  訓練生
１０  携帯電話機
１１  ＣＰＵ
１２  ＲＡＭ
１３  記憶装置
１４  音声入出力ユニット
１５  キー入力装置
１６  無線通信ユニット
１７  ＬＣＤ
１８  ディジタルカメラ
【図１】
2007108620.tif 000008
【図２】
2007108620.tif 000009
【図３】
2007108620.tif 000010
【図４】
2007108620.tif 000011
【図５】
2007108620.tif 000012
【図６】
2007108620.tif 000013
【図７】
2007108620.tif 000014
【図８】
2007108620.tif 000015
【図９】
2007108620.tif 000016
【図１０】
2007108620.tif 000017
【図１１】
2007108620.tif 000018
【図１２】
2007108620.tif 000019
【図１３】
2007108620.tif 000020
【図１４】
2007108620.tif 000021