(57)【要約】【課題】  インタラクティビティを高く維持したまま，情報の表現力が高い３Ｄアニメーションを提供することの可能な，情報表示装置を提供する。【解決手段】  情報表示装置１において，２次元画面１８上にあらわれる３Ｄモデル１１１の要素を監視し，情報の欠落を検出した場合に，欠落した事実を通知する監視部１１３と，監視部の通知を受けて３Ｄモデルを動作させ，３Ｄモデルが動作で表す意味が欠落することを防ぐ情報欠落防止部１１４とを備えたことを特徴とする。３Ｄモデルの表現する動作から失われた情報を別の方法で補完するための要素を追加することによりシステムのユーザにとってのインタラクティビティを高く維持したまま，情報の表現力が高い３Ｄアニメーションを提供することが可能である。【選択図】  図１
2005222504.tif 000002
【特許請求の範囲】
【請求項１】
情報表示装置において，
複数の要素から構成され，指令によって動作することを特徴とする３Ｄモデルと，
前記３Ｄモデルに与えるべき指令を作成する指令作成部と，
前記３Ｄモデルが動作するアニメーションの画像が表示される２次元画面と，
前記３Ｄモデルと，前記３Ｄモデルを観察する仮想空間上の視点を表すデータとの関係から前記２次元画面上にアニメーション画像を表示する描画部と，
前記２次元画面上にあらわれる３Ｄモデルの要素を監視し，情報の欠落を検出した場合に，欠落した事実を通知する監視部と，
前記監視部の通知を受けて前記３Ｄモデルを動作させ，前記３Ｄモデルが動作で表す意味が欠落することを防ぐ情報欠落防止部と，
を備えたことを特徴とする，情報表示装置。
【請求項２】
前記指令作成部は，
ユーザが表したい意味を表す言語を入力する言語入力部と，
入力された言語を単語単位に分解して出力する形態素解析部と，
３Ｄモデルに動作を行わせるための指令と，単語の意味との対応関係が格納されている単語辞書と，
前記形態素解析部から出力される単語と前記単語辞書の情報とを用いて，前記３Ｄモデルに入力された文章の意味を表現する動作を行わせるための一連の指令を作成するデータ作成部と，
を備えたことを特徴とする，請求項１に記載の情報表示装置。
【請求項３】
前記指令作成部は，ユーザの動作を計測する動作計測部を備え，前記動作計測部により計測されたデータから前記３Ｄモデルに与えるべき指令を作成することを特徴とする，請求項１または２に記載の情報表示装置。
【請求項４】
前記監視部は，前記２次元画面上での前記３Ｄモデルの要素の重なりを監視し，要素が重なる場合に，他の要素に情報が欠落したことを通知することを特徴とする，請求項１〜３のいずれかに記載の情報表示装置。
【請求項５】
前記監視部は，前記２次元画面上における３Ｄモデルの要素間における遠近感のあらわれ方を監視し，遠近感が損なわれていると判断する場合に，他の要素に情報が欠落したことを通知することを特徴とする，請求項１〜４のいずれかに記載の情報表示装置。
【請求項６】
前記監視部は，前記２次元画面上における前記３Ｄモデルの要素の動作速度を監視し，速度が一定の範囲外にあると判断する場合に，他の要素に情報が欠落したことを通知することを特徴とする，請求項１〜５のいずれかに記載の情報表示装置。
【請求項７】
アニメーションの表示速度を変更することができる速度変更入力部をさらに備えたことを特徴とする，請求項１〜６のいずれかに記載の情報表示装置。
【請求項８】
前記２次元画面上にあらわる３Ｄモデルの方向を変更する視点変更入力部をさらに備えたことを特徴とする，請求項１〜７のいずれかに記載の情報表示装置。
【請求項９】
単語と，その単語の意味を表すために，必要となる３Ｄモデルの要素とその要素の監視の方法を示すデータを格納している属性辞書と，
前記形態素解析部の出力と前記属性辞書の持つ情報とを用いて，前記２次元画面上で監視すべき要素と監視の方法とを，前記３Ｄモデルが行っている動作と動作を行っている時刻に対応して示す監視情報データを作成する監視情報作成部と，
をさらに備え，
前記監視部は，前記監視情報作成部が作成する監視情報データを用いて，監視の方法と監視すべき要素を前記３Ｄモデルが行っている動作と動作を行っている時刻に対応して変更し，変更した監視の方法に基づいて前記２次元画面上の要素を監視し，情報が欠落していると判断した場合に通知を行うことを特徴とする，請求項２〜８のいずれかに記載の情報表示装置。
【請求項１０】
前記監視部からの通知を受けて，前記２次元画面上に情報を補完するための要素を追加する情報欠落補完部をさらに備え，
前記監視情報作成部は，前記監視部が情報欠落していると判断した場合に，補完すべき前記３Ｄモデルの要素を示すデータと，補完すべき意味を表す文字列とをさらに含む前記監視情報データを作成し，
前記監視部は，さらに，補完すべき前記３Ｄモデルの要素を示すデータと，補完すべき文字列とを，前記３Ｄモデルが行っている動作と動作を行っている時刻に対応して変更し，情報が欠落していると判断した場合に，補完すべき情報を前記情報欠落補完部に通知することを特徴とする，請求項９に記載の情報表示装置。
【請求項１１】
前記情報欠落補完部は，前記監視部からの通知を受けて，前記２次元画面上に情報を補完するための文字列を字幕として表示することを特徴とする，請求項１０に記載の情報表示装置。
【請求項１２】
前記情報欠落補完部は，監視部からの通知を受けて，前記２次元画面上に情報を補完するための要素を前記２次元画面上にサブ画面として表示することを特徴とする，請求項１０または１１に記載の情報表示装置。
【請求項１３】
前記単語辞書は言語と手話との対応関係を表現することを特徴とする，請求項２〜１２のいずれかに記載の情報表示装置。
【請求項１４】
前記単語辞書は，データ構造の異なる形容詞，副詞を含む修飾用辞書とその他の単語をふくむその他辞書とから構成され，
前記データ作成部は，修飾語が他のデータによって表される動作の変更を必要とするものである場合に，蓄積されたデータの一部を変更することを特徴とする，請求項１３に記載の情報表示装置。
【請求項１５】
前記データ作成部は，単語間の連接規則として表される手話の文法知識をデータとして有することを特徴とする，請求項１３または１４に記載の情報表示装置。
【請求項１６】
前記３Ｄモデルは，人体を表現することを特徴とする，請求項１〜１５のいずれかに記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，手話，ジェスチャ，パントマイムなど特定の意味を持った動作を３Ｄモデルに表現させることを目的とした３Ｄ（３次元：３−Ｄｉｍｅｎｓｉｏｎ）アニメーション利用の情報表示装置に関するものである。
【背景技術】
【０００２】
モデルの動作，変化などで情報を提示するための３Ｄアニメーション表示装置では仮想空間上に配置されたユーザの視点と，同じく仮想空間に配置された３次元情報を持つ３Ｄモデルとの関係から２次元画面に投影される画像を計算によって求め，それを画面上に表示する。文章またはあらわすべき意味を入力することでそれを表現する３Ｄアニメーションを作成，表示するシステムの例として手話アニメーション表示装置がある。特開平５−２６４４８号公報に開示されるように，入力として文章を用い，人間を模した３Ｄモデルに文章の意味をあらわす動作をさせて手話を表現する３Ｄアニメーションを得る手話アニメーション表示装置の典型的な処理プロセスは以下の通りである。
【０００３】
（１）文章入力：キーボードなどの文章入力手段によって文章を入力する。
（２）文章解析：文章を形態素解析し，品詞を割り当て単語に分解する。
（３）データ読み出し：単語に割り当てられた３Ｄモデルに対する動作指令情報を登録された辞書から読み出し，３Ｄモデルへの動作指令となる時系列データを作成する。
（４）データ修正：単語間のわたり部，副詞などデータの単純な割り当てで解決できない部分を補完，修正して時系列データを完成させる。
（５）アニメーション出力：ユーザからの再生開始の指示の後，時系列データに従って３Ｄモデルを動作させ，視点との関係から２次元投影画像を決定し２次元画面上に描写する。
【０００４】
近年では，“手の動的拡大による手話アニメーションの可読性向上手法”黒田知宏，千原國宏：ヒューマンインタフェースシンポジウム  ’９９論文集，ｐｐ．７２１−７２４，特開平８−１６８２１号公報に開示されるように，生成する手話アニメーションを表現する３Ｄ人体モデルの手の部分を拡大して手話の可読性を高める手話アニメーション表示システムが存在する。
【０００５】
【特許文献１】特開平６−２４３２３０号公報
【特許文献２】特開平８−１６８２１号公報
【非特許文献１】論文，“手の動的拡大による手話アニメーションの可読性向上手法”，黒田知宏，千原國宏：ヒューマンインタフェースシンポジウム  ’９９論文集，ｐｐ．７２１−７２４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで，特許文献１のようなシステムでは以下のような問題があった。すなわち，実際の動作を撮影した動画を表示するシステムに比べ，３Ｄモデルの精緻さが不十分であり，３次元情報を含まない情報であるため，動作の遠近感，奥行きの情報が失われ易いなどの問題があった。例えば，手話において，利き腕の手の指を握った状態から人差し指と中指の２本だけ伸ばし，顔に近づける動作は，その動作を目のそばへ向けて行えば「見なさい」という意味になり，鼻のそばへ向けて行えば，「においをかぐ」という意味になる。３Ｄモデルにこのような動作を行わせた場合，視点とモデルの位置関係によってはこれら二つの手話を間違い易い場合がある。このような手話の例は数多くある。
【０００７】
特許文献２のようなシステムでは以下のような問題があった。
意味を表現する動作アニメーション以外に強調のための拡大などのアニメーション効果が加わることによって，動作アニメーションの持つ意味を壊してしまう場合がある。すなわち，手話アニメーションの場合に３Ｄ人体モデルの手先の部分を拡大する処理によって重要な意味を表現している人体モデルの唇の部分が隠され，意味が失われてしまうことがある。例えば，手話において「そば」「うどん」を表す動作では，利き腕の手の指を握った状態から人差し指と中指の２本だけ伸ばした手を箸に見立てて，そば猪口を持っているように見立てた非利き腕から麺を手繰るような動作，手の形はまったく同じであって，ただ音を表現する口の形の違いによって区別される。このような動作では手の拡大動作によって唇が隠れてしまうようなことがあると二つの単語を区別することができない。
【０００８】
さらに特許文献１の持つ問題と同じように，拡大により距離感が失われ，手を拡大する処理のアニメーションによって，３Ｄモデルが手を前に突き出しているのだとアニメーションを見る側に誤解され，動作アニメーションの表現する意味が壊れてしまう場合があるなどの問題もあった。
【０００９】
本発明は，従来の情報表示装置が有する上記問題点に鑑みてなされたものであり，本発明の目的は，仮想空間に配置された３Ｄモデルとそれを見る視点から決定される，３Ｄモデルの２次元画像上への投影を常に監視する要素をシステムに配置することで，システムのユーザが３Ｄアニメーションの表示中に視点や速度を自由に変更できるようなインタラクティビティの高い構成としても，または３Ｄアニメーションを表示する画像表示部分に，小さい，描画能力が低いなどの物理的な制限がある場合でも３Ｄモデルを制御して重要な情報をあらわす３Ｄモデルの部位が常に画面にあらわれるようにすることの可能な，新規かつ改良された情報表示装置を提供することである。
【００１０】
また本発明の他の目的は，３Ｄモデルの表現する動作から失われた情報を別の方法で補完するための要素を追加することによりシステムのユーザにとってのインタラクティビティを高く維持したまま，情報の表現力が高い３Ｄアニメーションを提供することの可能な，新規かつ改良された情報表示装置を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するため，本発明によれば，３Ｄアニメーション利用の情報表示装置が提供される。本発明の情報表示装置（１）は，複数の要素から構成され，指令によって動作することを特徴とする３Ｄモデル（１９）と，３Ｄモデルに与えるべき指令を作成する指令作成部（１０）と，３Ｄモデルが動作するアニメーションの画像が表示される２次元画面（１８）と，３Ｄモデルと，３Ｄモデルを観察する仮想空間上の視点を表すデータとの関係から２次元画面上にアニメーション画像を表示する描画部（１１０）と，２次元画面上にあらわれる３Ｄモデルの要素を監視し，情報の欠落を検出した場合に，欠落した事実を通知する監視部（１１３，２５，３３）と，監視部の通知を受けて３Ｄモデルを動作させ，３Ｄモデルが動作で表す意味が欠落することを防ぐ情報欠落防止部（１１４）と，を備えたことを特徴とする（請求項１）。
【００１２】
かかる情報表示装置によれば，監視部が２次元画面上にあらわれる３Ｄモデルの要素（例えば，手先や唇など）を常に監視し，それらの重なりを検出した場合に情報欠落防止部が３Ｄモデルが動作で表す意味が欠落することを防ぐ（例えば，３Ｄモデルに対し手先を縮小させる指示を出す）ことが可能である。このことにより，ユーザが３Ｄモデルによるアニメーションの表示中に常に画面内での視点方向を変更できるようなインタラクティビティの高い構成としても，また３Ｄモデルが指文字を表現するときに手を拡大するという単純なルールに基づいた強調処理を行った場合でも，表現すべき手話の情報をあらわす唇の部分が画面に表示されるようになり，情報の欠落を防ぐことができる。
【００１３】
本発明の情報表示装置において，以下のような応用が可能である。
【００１４】
指令作成部（１０）の一構成例としては，ユーザが表したい意味を表す言語を入力する言語入力部（１１）と，入力された言語を単語単位に分解して出力する形態素解析部（１２）と，３Ｄモデルに動作を行わせるための指令と，単語の意味との対応関係が格納されている単語辞書（１４）と，形態素解析部から出力される単語と単語辞書の情報とを用いて，３Ｄモデルに入力された文章の意味を表現する動作を行わせるための一連の指令を作成するデータ作成部（１３）と，を備える構成とすることが可能である（請求項２）。言語（例えば，日本語，英語，中国語などの自然言語）を入力として，その意味を表す３Ｄアニメーションを表示することが可能である。
【００１５】
指令作成部は，ユーザの動作を計測する動作計測部を備え，動作計測部により計測されたデータから３Ｄモデルに与えるべき指令を作成するようにしてもよい（請求項３）。ユーザの動作を入力として用い，それを表す３Ｄアニメーションを表示することが可能である。
【００１６】
監視部は，２次元画面上での３Ｄモデルの要素の重なりを監視し，要素が重なる場合に，他の要素に情報が欠落したことを通知するようにしてもよい（請求項４）。３Ｄモデルの要素が重なる場合に，他の要素に情報が欠落したことを通知することで，要素が画面上にあらわれることによって表される情報を維持することが可能である。
【００１７】
また，監視部は，２次元画面上における３Ｄモデルの要素間における遠近感のあらわれ方を監視し，遠近感が損なわれていると判断する場合に，他の要素に情報が欠落したことを通知するようにしてもよい（請求項５）。３Ｄモデルの要素間における遠近感が損なわれていると判断する場合に，他の要素に情報が欠落したことを通知することで，遠近感によって表される情報を維持することが可能である。
【００１８】
また，監視部は，２次元画面上における３Ｄモデルの要素の動作速度を監視し，速度が一定の範囲外にあると判断する場合に，他の要素に情報が欠落したことを通知するようにしてもよい（請求項６）。３Ｄモデルの要素の動作速度が一定の範囲外にあると判断する場合に，他の要素に情報が欠落したことを通知することで，速度によって表される情報を維持することが可能である。
【００１９】
アニメーションの表示速度を変更することができる速度変更入力部（１１５）をさらに備えるようにしてもよい（請求項７）。アニメーションの表示速度を変更することができ，ユーザの利便性が向上する。
【００２０】
２次元画面上にあらわれる３Ｄモデルの方向を変更する視点変更入力部（１１６）をさらに備えるようにしてもよい（請求項８）。アニメーションの表示方向を変更することができ，ユーザの利便性が向上する。
【００２１】
単語と，その単語の意味を表すために，必要となる３Ｄモデルの要素とその要素の監視の方法を示すデータを格納している属性辞書（２２）と，形態素解析部（２１）の出力と属性辞書の持つ情報を用いて，２次元画面上で監視すべき要素と監視の方法を３Ｄモデルが行っている動作と動作を行っている時刻に対応して示す監視情報データを作成する監視情報作成部（２３）と，をさらに備えるようにしてもよい。そして，監視部は，監視情報作成部が作成する監視情報データを用いて，監視の方法と監視すべき要素を３Ｄモデルが行っている動作と動作を行っている時刻に対応して変更し，変更した監視の方法に基づいて２次元画面上の要素を監視し，情報が欠落していると判断した場合に通知を行うようにしてもよい（請求項９）。
【００２２】
かかる構成によれば，属性辞書と監視情報作成部が，３Ｄモデルの動作が表現する単語ごとに監視すべき要素と，情報欠落が起こりうる場合に採るべき処理を指定した監視情報データを作成することで，より細かく情報欠落の防止方法を指定することができる。結果，より幅広く情報欠落を防いだ３Ｄアニメーションを表現することができる。
【００２３】
監視部からの通知を受けて，２次元画面上に情報を補完するための要素を追加する情報欠落補完部（３４）をさらに備えるようにしてもよい。そして，監視情報作成部（２３）は，監視部が情報欠落していると判断した場合に，補完すべき３Ｄモデルの要素を示すデータと，補完すべき意味を表す文字列とをさらに含む監視情報データを作成し，監視部は，さらに，補完すべき３Ｄモデルの要素を示すデータと，補完すべき文字列とを，３Ｄモデルが行っている動作と動作を行っている時刻に対応して変更し，情報が欠落していると判断した場合に，補完すべき情報を情報欠落補完部（３４）に通知するようにしてもよい（請求項１０）。
【００２４】
かかる構成によれば，監視部からの指令を受けて欠落した情報を補完する情報欠落補完部によってユーザからの速度指令，視点変更指令によって画面上にモデルが表すべき情報があらわれなくなってしまうような場合でもユーザに情報を提示することが可能になる。
【００２５】
情報欠落補完部は，監視部からの通知を受けて，２次元画面上に情報を補完するための文字列を，字幕として表示するようにしてもよく（請求項１１），あるいは，２次元画面上にサブ画面として表示するようにしてもよい（請求項１２）。あるいは，字幕と２次元画面上のサブ画面とを併用するようにしてもよい。２次元画面上に情報を補完するための情報を表示することで，ユーザの利便性が向上する。
【００２６】
単語辞書は言語と手話との対応関係を表現するようにしてもよい（請求項１３）。また，３Ｄモデルは，人体を表現するようにしてもよい（請求項１６）。言語の入力によって，手話のアニメーションを表示することが可能である。
【００２７】
単語辞書は，データ構造の異なる形容詞，副詞を含む修飾用辞書とその他の単語をふくむその他辞書とから構成され，データ作成部は，修飾語が他のデータによって表される動作の変更を必要とするものである場合に，蓄積されたデータの一部を変更するようにしてもよい（請求項１４）。データ作成部が単にデータの追加をするだけでなく蓄積されたデータの一部の変更も可能となる。
【００２８】
データ作成部は，単語間の連接規則として表される手話の文法知識をデータとして有するようにしてもよい（請求項１５）。入力された順に単語を表すデータを割り当てていくのではなく，手話にふさわしい順序となるようにデータの順序を変更することが可能である。
【００２９】
また，本発明の他の観点によれば，コンピュータを，上記情報表示装置として機能させるためのプログラムと，そのプログラムを記録した，コンピュータにより読み取り可能な記録媒体が提供される。ここで，プログラムはいかなるプログラム言語により記述されていてもよい。また，記録媒体としては，例えば，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，フレキシブルディスク（ＦＤ）など，プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体，あるいは将来用いられるいかなる記録媒体をも採用することができる。
【００３０】
なお上記において，構成要素に付随して括弧書きで記した参照符号は，理解を容易にするため，後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず，本発明がこれに限定されるものではない。
【発明の効果】
【００３１】
以上説明したように，本発明によれば，仮想空間に配置された３Ｄモデルとそれを見る視点から決定される，３Ｄモデルの２次元画像上への投影を常に監視する要素をシステムに配置することで，システムのユーザが３Ｄアニメーションの表示中に視点や速度を自由に変更できるようなインタラクティビティの高い構成としても，または３Ｄアニメーションを表示する画像表示部分に，小さい，描画能力が低いなどの物理的な制限がある場合でも３Ｄモデルを制御して重要な情報をあらわす３Ｄモデルの部位が常に画面にあらわれるようにすることが可能である。
【００３２】
また，３Ｄモデルの表現する動作から失われた情報を別の方法で補完するための要素を追加することによりシステムのユーザにとってのインタラクティビティを高く維持したまま，情報の表現力が高い３Ｄアニメーションを提供することが可能である。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照しながら，本発明にかかる情報表示装置の好適な実施の形態について詳細に説明する。なお，本明細書および図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００３４】
（第１の実施の形態）
第１の実施の形態では，入力された日本語文章に対してその意味を表す手話アニメーションを表示し，３Ｄ人体モデルの唇と，手先要素の２次元画面上での状態を監視することで，手先と重なることによって唇のあらわす情報が失われることを防ぐためのシステム構成例について述べる。
【００３５】
図１は，第１の実施の形態を示すブロック図である。
本実施の形態にかかる情報表示装置１は，図１に示したように，指令作成部１０と，タイマ１７と，２次元画面１８と，３Ｄモデル１９と，描画部１１０と，３Ｄモデル１１１と，監視部１１３と，情報欠落防止部１１４と，視点１１２を変更する視点変更入力部１１５と，速度変更入力部１１６と，から構成されている。指令作成部１０は，文入力部１１と，形態素解析部１２と，時系列データ１６を作成する時系列データ作成部１３と，単語辞書１４と，修飾用辞書１５と，から構成されている。２次元画面１８上には，３Ｄモデル１１１が表示されている。以下に，各構成要素について詳細に説明する。
【００３６】
文入力部１１はユーザによって使用され３Ｄアニメーションで表したい意味の文章を入力するための機能部である。キーボードによる文字入力受付，また音声入力をテキスト変換しての入力など多様な形態を想定している。
【００３７】
形態素解析部１２は入力された文章を形態素解析し，品詞を割り当てて単語に分割する機能部である。
【００３８】
時系列データ作成部１３は分割された単語をキーとして単語辞書１４を検索し，辞書から単語に対応する時系列データを読み出して時系列データ１６として蓄積し，必要に応じてデータを修正，追加する機能部である。
【００３９】
単語辞書１４は手話単語を構成する動作を３Ｄモデル１９に表現させるためのデータを保持する記憶手段である。単語辞書１４の詳細については，図４〜図１６を参照しながらさらに後述する。
【００４０】
修飾用辞書１５は副詞，形容詞的な意味を持つ手話単語を構成する動作を３Ｄモデル１９に表現させるためのデータを保持する記憶手段である。修飾用辞書１５は名詞，動詞，接続詞を表す動作を表すため以外のデータを含み，時系列データ作成部から参照され，時系列データを作成，変更するのに用いられる。修飾用辞書１５の詳細については，図１７を参照しながらさらに後述する。
【００４１】
時系列データ１６は時系列データ作成部１３によって作成された３Ｄモデル１９に対する動作指令を行うためのデータである。
【００４２】
タイマ１７は時間経過とともに時系列データを読み出し３Ｄモデル１９の状態を更新する。
【００４３】
２次元画面１８は３Ｄアニメーションが表示される部分である。
【００４４】
３Ｄモデル１９は，実際に動きを表現する人体のモデルの例である。３Ｄモデル１９の詳細については，図２〜図３を参照しながらさらに後述する。
【００４５】
描画部１１０はタイマ１７と独立した一定時間ごとに視点１１２と３Ｄモデル１９の関係から２次元画面１８に３Ｄモデル１９を３Ｄモデル１１１として描写する機能部である。
【００４６】
視点１１２は３次元空間上にベクトルとして定義されるデータである。
【００４７】
視点変更入力部１１５はユーザが３Ｄアニメーション描写中に視点１１２を変更するための機能部である。
【００４８】
速度変更入力部１１６はユーザがタイマ１７の状態更新時間間隔を変更するための機能部である。タイマ１７の更新時間を変更することでアニメーションの速度を変更することができる。
【００４９】
監視部１１３は２次元画面１８上にあらわれる３Ｄモデル１１１の部分の中で，意味を表現する上で重要となる部分を監視し，情報の欠落を検知した場合に情報欠落防止部１１４に通知をする機能部である。本実施の形態では，２次元画面１８上にあらわれる３Ｄモデル１１１の口の要素を監視し，３Ｄモデルの手で口が覆われるなどと３Ｄモデルの動作によって口が画面上にあらわれなくなると予測した場合に情報欠落防止部１１４に通知をする。
【００５０】
情報欠落防止部１１４は監視部１１３からの通知を受けて，視点１１２または３Ｄモデル１９に重要な部分を２次元画面１８上にあらわすようにするための指令を送信する機能部である。
【００５１】
本実施の形態では，時系列データ作成部１３に対する入力を文入力部１１からのものとしたが，人間の動作を計測するための三次元計測手段やデータグローブなどを用いて，ジェスチャなどユーザの動作を計測し，計測されたデータの特徴量を検索キーとし時系列データ作成部１３の入力として，ユーザの行った動作の意図をあらわすアニメーションを作成する構成とすることも可能である。
【００５２】
次いで，本実施の形態に特徴的な構成要素である，３Ｄモデル１９，単語辞書１４，および修飾用辞書１５について説明する。
【００５３】
（３Ｄモデル１９）
図２は，実際に動きを表現する人体の３Ｄモデルの説明図である。
この３Ｄモデル１９は，人間の上半身のみを模擬しており，大きく頭，首，胴体，両腕から構成される。腕の部分は関節を３つ剛体リンクでつないだ３関節３リンクのリンク系となっており，胴体部分に肩の関節で接している。腕リンクの肩側の端と反対側の端に手先がある。肩と手先の中間部分の関節を肘関節とする。
【００５４】
首は胴体の上面に接しており，頭部と胴体をつないでいる。接続する部分に関節を持つ。３Ｄモデル１９の要素は独立した部分から成り立っている。肩関節を回転させると肩につながれた要素すべてが肩の関節の軸を回転軸として回転するような階層性を持った構造をしているが，要素ごとに独立的に指令を与えて動作を行わせたり，要素の大きさ，形状などの属性を変更させたりすることも可能である。
【００５５】
３Ｄモデル１９を構成する各要素は代表点と呼ばれる点を３つずつ持つ。他要素との接続によって移動に拘束を受ける代表点を固定点と呼ぶ。固定点とその他二つの代表点の相対的な位置関係を変更することで要素の位置，姿勢を自由に指定できる。図２中の（ｘ０，ｙ０，ｚ０）を固定点とすると，（ｘ１，ｙ１，ｚ１）と（ｘ２，ｙ２，ｚ２）の値を変更することで前腕要素の姿勢を指示することができる。
【００５６】
図３は，３Ｄモデル１９の手先（右手先）１９ａを示す説明図である。左手先も鏡対称の同様な構造を持つ。このように手先１９ａは指一本あたりａ，ｂ，ｃと３つの操作可能な要素を持ち，指５本で計１５の要素を持つ。各要素の姿勢を指定することで指の形を決定するためのデータは指形データ辞書（図９を参照しながら後述する）に格納されている。
【００５７】
３Ｄモデル１９は時間ごとの各要素の代表点２点の固定点に対する相対位置情報を動作指令として動作する。代表点の固定点に対する相対位置情報は位置ベクトルデータ（図７を参照しながら後述する）として与えられる。前腕部にとっての上腕部のように，上位階層の要素の姿勢と位置によって，下位階層の要素の固定点が定まる。３Ｄモデルの基本的な構造は点を各要素でつないだようなリンク系として与えられているが，リンクの表面に楕円体などの要素を重ねることによってより立体的に見えるようにされている。
【００５８】
３Ｄモデルの頭部の前面を顔とする。顔は多角形，いわゆるポリゴンで構成されている。唇，眉，頬などの顔上にある要素も同様に多数の頂点で構成される多角形として表現されている。多角形の頂点の３次元位置を変更することで形状を変形させることができる。変形に必要なデータは口形データ辞書（図１１を参照しながら後述する），眉形データ辞書（図１４を参照しながら後述する），頬形データ辞書（図１５を参照しながら後述する），あご形データ辞書（図１６を参照しながら後述する）に示すような形で与えられる。
【００５９】
（単語辞書１４）
以下に，単語辞書１４内部のデータ構造の例を，図４〜図１６を参照しながら説明する。
単語辞書１４内部は複数の辞書で構成されている。ここでは単語辞書１４の一例として，単語辞書（図４），時系列データ辞書（図５），口形時系列データ辞書（図６），位置ベクトルデータ辞書（図７），手形パタン辞書（図８），指形データ辞書（図９），口形パタン辞書（図１０），口形データ辞書（図１１），表情パタン辞書（図１２），表情データ辞書（図１３），眉形データ辞書（図１４），頬形データ辞書（図１５），あご形データ辞書（図１６）について説明する。なお，本実施の形態では，取り扱う言語を日本語とし，表現される手話を日本手話とする。
【００６０】
図４は，単語辞書の構成を示す説明図である。
インデックスはデータを管理するために振られた番号である。単語意味ラベルはそのデータの表現する手話単語に対応する日本語の意味を示す。時系列データ作成部はこのラベルをキーにして日本語単語と手話データの対応付けを行う。単語文字ラベルはそのデータの表現する手話に対応する日本語の文字を表す。このデータを後の補完処理に用いることがある。品詞ラベルはそのデータの表現する手話単語に対応する日本語の品詞を表す。後述するが品詞によって時系列データ作成部１３の行う処理が異なる。時系列データへのポインタは該当する単語をあらわす時系列データのポインタの構成を表す。
【００６１】
手話においては異なる単語の意味をあらわす動作を組み合わせることで別の単語の意味を作ることがある。そのため１つの単語を表現するために二つ以上の時系列データを用いることがある。例えば，図４の表中「公園」という単語のデータは「公園」が「遊ぶ」という手話の動作と「場所」という手話の動作の組み合わせで表されることを表現している。
【００６２】
口形時系列データへのポインタは該単語の音を表す口形時系列データを表す。手話動作が同じでも表現する単語が異なる場合があり，その場合には口の形のデータをそれぞれの単語に適したものにしなければならない。図４の表に例として「公園」の例が示されている。口形時系列データへのポインタは時系列データと異なり，単純に「遊ぶ」，「場所」を足しあわせたものではなく「こうえん」を表現する口形データを指している。このようにデータを再利用できるので単語辞書と時系列データ，口形時系列データの独立性を高めておくことがデータ管理上好適である。
【００６３】
図５は，時系列データ辞書の構成を示す説明図である。
インデックスは単語辞書などからの参照キーである。手話動作を表現する命令と，その命令の指示する動作を始める相対時間，終了する相対時間を組にした構成になっている。命令部分には位置ベクトルデータ，手形パタンへのポインタ，表情パタンへのポインタが格納される。その種類はデータの種類によって示される。
【００６４】
図６は，口形時系列データ辞書の構成を示す説明図である。
図５の時系列データ辞書と同様の構成である。データ部分には口形パタンへのポインタが格納される。データの種類を表すキーはすべて同一である。
【００６５】
図７は，位置ベクトルデータの構成を示す説明図である。
前述の３Ｄモデル１９に特定の動作を行わせるために３Ｄモデル１９に与えるべき命令が列挙されている。手話話者の利き手の側を強手，反対の手を弱手と称するが，強手，弱手の順にモデルの肩，肘，手首，首，あごの姿勢，位置を指定するための各要素の代表点２点の固定点に対する相対位置ベクトルデータが格納されている。
【００６６】
図８は，手形パタン辞書の構成を示す説明図である。
図４の時系列データのポインタから参照されるインデックスと強手側，弱手側，あるいは両方の手の区別と指の形を表現するための指形データへのポインタを並べている。
【００６７】
図９は，指形データ辞書の構成を示す説明図である。
図９の各要素の中の値は，図３に示した手先１９ａの指の形をあらわすための位置ベクトルデータの情報を保持している。親指から小指までの５本の指に対し指を構成するａ，ｂ，ｃの各要素に対して姿勢を示すデータを元に，指の形を決定する。姿勢の指示をする情報は位置ベクトルデータと同様の構成をしている。
【００６８】
図１０は，口形パタン辞書の構成を示す説明図である。
図４の時系列データのポインタから参照されるインデックスと口の形に対応する音，口型データへのポインタを並べている。
【００６９】
図１１は，口形データ辞書の構成を示す説明図である。
図１０の口形パタン辞書から参照されるインデックスと口の形をポリゴンで表現したときの多角形の頂点座標として表される。
【００７０】
図１２は，表情パタン辞書の構成を示す説明図である。
図４の時系列データのポインタから参照されるインデックスと対応する表情の表す意味のラベル，表情データへのポインタを並べている。
【００７１】
図１３は，表情データ辞書の構成を示す説明図である。
図１２の表情パタン辞書から参照されるインデクスと左右の眉，頬の形状パタンへのポインタ，左右の眉，頬の位置を表す３次元座標位置，あごの形状をあらわすパタンへのポインタ，あごの３次元座標位置をあらわしている。ここでの３次元座標位置とはそれぞれの要素の初期位置からの変量を示している。
【００７２】
図１４は，眉形データ辞書の構成を示す説明図である。図１５は，頬形データ辞書の構成を示す説明図である。図１６は，あご形データ辞書の構成を示す説明図である。それぞれ図１３に示される表情データ辞書のポインタから参照されるインデックスと形状パタンにつけられた名前，形状を表現するポリゴンの頂点座標の組を有している。
【００７３】
（修飾用辞書１５）
次に修飾用辞書１５の内部構成について図１７を用いて説明する。インデックス，単語意味ラベル，単語文字ラベル，品詞ラベルは単語辞書のものと同様である。
【００７４】
手話における副詞，形容詞的要素の表現は単純な名詞，動詞的要素の表現と異なる。そのため修飾用辞書１５は単語辞書１４と異なる構成をしている。副詞，形容詞的要素の表現はそれぞれの単語の意味をもつ手話単語を手話動作列中に追加して行われる場合と，文の中で動詞，名詞などの要素の動作を変更することで表現される場合がある。それぞれデータ変更方法で「動作速度変更」，「動作範囲変更」，「単語の追加」の三種類の方法のうちいずれかを指定する。変更品詞はこの動作によって変更される単語の品詞を示している。単語の追加を行う場合にはデータは空である。データの最後の要素は変更のパラメータ，または挿入される単語を示す単語辞書へのポインタを示す。
【００７５】
本実施の形態にかかる情報表示装置１は，以上のように構成されている。
次いで，本実施の形態の動作について説明する。
【００７６】
本実施の形態における動作の流れを示す。時系列データ作成の流れを図１８に，アニメーションの表示の流れを図１９に示す。また，実際のプログラムの画面動作例を図２０に示す。
【００７７】
（１．文章入力）
ステップＳ１８１でユーザはキーボードなどの文章入力手段によって３Ｄアニメーションで表現したい文章を入力する。ステップＳ１８２のように音声入力などで文章を入力する場合，ステップＳ１８３の音声テキスト変換をすることにより入力された音声を文章に変換し，次のステップへの入力とする。
【００７８】
（２．単語への割り当て）
形態素解析部１２は入力された文章をステップＳ１８４で形態素解析し，形態素に分解する。さらにステップＳ１８５で形態素に一般的な日本語の辞書を用いて品詞を割り当てる。品詞を割り当てられた形態素を以下では単語と呼ぶ。
【００７９】
（３．時系列データの作成と編集）
（３−１．データの割り当て）
時系列データ作成部１３は，単語を１つ読み出し，ステップＳ１８６で単語の品詞を調べ，「て」「に」「を」「は」などの手話として表されない非自立語である場合にはステップＳ１８７で無視する。その他の場合に単語を次のステップＳ１８８への入力とする。
【００８０】
ステップＳ１８８で単語の品詞が形容詞，または副詞であるかどうか判断する。
単語の品詞が形容詞，または副詞以外である場合には時系列データ作成部はステップＳ１８９で単語の意味ラベルと品詞名をキーとして単語辞書からその単語の意味をあらわすための時系列データを検索する。単語として単語辞書に登録されていない場合にはステップＳ１８１０で文字の表す音を表現する指文字で表現する。単語として登録されている場合には時系列データ作成部１３は単語辞書１４からデータをステップＳ１８１１で読み出し，ステップＳ１８１２で仮データ（１）に追加する。
【００８１】
単語が副詞または形容詞であった場合はステップＳ１８１３で単語の意味ラベルと品詞名をキーとして修飾用辞書からその単語の意味を表すための時系列データを検索する。単語として登録されていない場合はステップＳ１８１０に進む。単語として登録されている場合は既存のデータをステップＳ１８１４で読み，ステップＳ１８１５で仮データ（１）とは別系統の仮データ（２）に追加する。
【００８２】
ステップＳ１８６からステップＳ１８１２，ステップＳ１８１５までの処理を単語がなくなるまで繰り返す。
【００８３】
（３−２．指文字で表現）
ステップＳ１８２１で時系列データ作成部１３は単語の単語文字ラベルから一文字読み出し，ステップＳ１８２２でその文字を検索キーとして単語辞書から指文字を表現するための時系列データを読む。単語文字ラベルの文字がなくなるまで指文字データを追加する。
【００８４】
（３−３．順序の変更）
ステップＳ１８１６で時系列データ作成部１３は得られた仮データ（１）の組を既存の研究と同様に単語間の状態遷移として表現されている文法に従った並び順に変更して配置する。
【００８５】
（３−４．位置データの補完）
ステップＳ１８１７では時系列データ作成部１３が仮データ（２）の指示する指令に従って仮データ（１）に修飾的単語を示す時系列データを挿入する。処理はステップＳ１８１１と同様である。文の区切りを示すためのうなずく様子の動作を表すための時系列データもこのステップで同様に追加する。
【００８６】
（３−５．位置データの修正）
ステップＳ１８１８では位置データの修正を行う。例えば「大きい」という形容詞が「地震」という名詞にかかる場合がある。この場合修飾用辞書中の「大きい」の変更方法は「範囲の変更」であるので，時系列データ作成部は修飾用辞書を参照して単語意味ラベルを書きかえ「大きな地震」とし，パラメータを参照して文中の「地震」という名詞の動作位置の終点を位置パラメータによって変更した値として，動作の範囲を拡大する。さらに３Ｄモデルが指文字での表現を行う場合に見易さを向上させるため３Ｄモデルに手の拡大を行わせる指令などの強調を表すための指令データを追加する。
【００８７】
（３−６．時間データの修正）
ステップＳ１８１９で時系列データ作成部１３は単語を表現する一群の時系列データに同一のインデックスを割り当て，相対時間で表現されている動作開始時間，動作終了時間を前の単語が終了した時間を加算して絶対時間表現とする。仮データの指示する指令に従って時系列データに動作速度を変更するため開始時間，動作終了時間を修正する処理を行う。例えば図２１に示されるように「ゆっくり」という副詞が「いう」という動詞にかかる場合がある。この場合修飾用辞書中の「ゆっくり」の変更方法は「速度の変更」であるので，時系列データ作成部は修飾用辞書を参照して単語意味ラベルを書きかえ「ゆっくりいう」とし，パラメータを参照して文中の「言う」という動詞の動作開始から終了までの時間を時間パラメータを乗じた値とする。
【００８８】
（３−７．その他の修正）
ステップＳ１８２０で時系列データ作成部１３は編集中の時系列データの各単語間をつなぐ部分，いわゆるわたり部の位置データを，時間データを参照して動作が滑らかになるようスプラインなどを用いて補間処理して修正する。
【００８９】
（４．アニメーションの表示）
ステップＳ１９１でユーザがアニメーション再生の指示を出して後，ステップＳ１９２で時系列データを読み出し，それに従って３Ｄモデルを動作させる，すなわち，タイマ１７が指示された時間ごとに時系列データの指令を３Ｄモデルに伝える。
【００９０】
ステップＳ１９３で描画部がタイマ１７とは独立した時間間隔で３Ｄモデルと視点をあらわすベクトルデータとの関係から投影される像を計算し２次元画面上に描写する。
【００９１】
アニメーションの操作中にユーザは次のような操作が可能である。
ａ）画面上の視点変更入力部１１６を用いて視点を変更する。
ｂ）速度変更入力部１１５を用いてモデルの動作速度を変更する。
ｃ）停止ボタンを押すことでアニメーションの表示を途中で停止する。
【００９２】
これらの処理はステップＳ１９４に示される。それぞれ図２０の画面に示された入力部を操作することで操作指令を出す。ステップＳ１９５でユーザの入力が終了指示である場合を検出しステップＳ１９６で終了させる。
【００９３】
（４−１．監視による情報損失防止）
本実施の形態の構成の場合，監視部１１３は，３Ｄモデル１９の唇の要素と手先の要素の２次元画面上へのあらわれ方を常に監視している。ステップＳ１９７で監視部が一般的な重なり検出アルゴリズムを用いて２次元画面１８上の手先１９ａと，唇の重なりを検査し，重なりが検出された場合にステップＳ１９８で情報欠落防止部に通知を行う。
【００９４】
重なり検出のためのアルゴリズムの例を以下に述べる。図２２に示したように３Ｄモデル１９の手を表現する要素の重心を中心点とし，要素を表現する多角形の頂点のうち重心から最も遠く離れた点と中心の距離を半径として中心点を中心にして円を描き，視線ベクトルの方向，円とスクリーン間の距離から，スクリーン上に投影される中心点と半径を得て，同様に唇に対しても円の中心となる点と半径を得る，画面上での二つの中心点のユークリッド距離を求めそれが二つの円半径の和よりも小さくなる場合に二つの要素が重なると判断する。
【００９５】
（４−２．再描画）
ステップＳ１９９で情報欠落防止部１１４は監視部１１３からの通知を受けて，３Ｄモデル１９に指示を出す，すなわちこの本実施の形態の構成例の場合には３Ｄモデル１９に唇と重なった手を縮小させる指令を行う。ステップＳ１９１０で３Ｄモデルが指示に従って動作する。ステップＳ１９１１で変更された３Ｄモデル１９，視点，速度の状況を反映して描画部１１０が２次元画面１８を描写する。
【００９６】
（４．）の処理を時系列データがなくなるか，ユーザから終了の指示が出るまで繰り返す。
【００９７】
（第１の実施の形態の効果）
以上説明したように，本実施の形態によれば，監視部１１３が２次元画面１８上にあらわれる３Ｄモデル１９の手先１９ａと唇を常に監視し，それらの重なりを検出した場合に情報欠落防止部１１４がモデルに対し手先を縮小させる指示を出す。このことにより，ユーザが３Ｄモデル１９によるアニメーションの表示中に常に画面内での視点方向を変更できるようなインタラクティビティの高い構成としても，また３Ｄモデル１９が指文字を表現するときに手を拡大するという単純なルールに基づいた強調処理を行った場合でも，表現すべき手話の情報をあらわす唇の部分が画面に表示されるようになり，情報の欠落を防ぐことができる。
【００９８】
（第２の実施の形態）
第２の実施の形態では，第１の実施の形態のシステム構成に属性辞書２２，監視情報作成部２３，監視情報データ２４という要素を追加することにより，３Ｄモデル１９の要素の「重なり検出」に加えて，「遠近感の欠如」によって情報が欠落することを防ぐための例を示す。
【００９９】
図２３は第２の実施の形態を示すブロック図である。
本実施の形態にかかる情報表示装置２は，図２３に示したように，第１の実施の形態にかかる情報表示装置１の構成要素に加えて，属性辞書２２と，監視情報作成部２３を含んで構成されている。また，タイマ２７，監視部２５，情報欠落防止部２６に新たな機能を加えている。以下では，これら本実施の形態に特徴的な構成要素を中心に説明し，上記第１の実施の形態と実質的に同様の機能を有する構成要素については，同一符号を付すことで重複説明を省略する。
【０１００】
属性辞書２２は入力された文章中の単語を鍵とし，情報欠落を防ぐために３Ｄモデル１９のどの要素を監視すべきか，欠落を防止するためにどのような処理を行うべきかなどの情報を格納する記憶手段である。
【０１０１】
監視情報作成部２３は属性辞書２２と時系列データ１６を用い，形態素解析部２１の出力を参照して監視部２５が参照するための監視情報データ２４を作成する機能部である。
【０１０２】
監視情報データ２４は３Ｄモデル１１１の動作中に監視部２５が監視に必要なデータを時系列に並べた構成をしている。３Ｄアニメ表示中に監視すべき３Ｄモデル１１１の要素と監視すべき状態，また情報欠落防止部２６から指示すべき内容の情報を含んでいる。これは監視部２５によって参照される。
【０１０３】
監視部２５は監視情報データ２４を参照し，その指示内容に従って２次元画面１８上の３Ｄモデル１１１を監視する。各種情報の欠落を検出した場合に，情報欠落防止部に通知を行う機能部である。
【０１０４】
情報欠落防止部２６は監視部２５からの通知を受け，３Ｄモデル１９または視点１１２に情報欠落を防止するための指示を出す機能部である。
【０１０５】
図２４は，属性辞書２２のデータの構成を示す説明図である。
属性辞書２２のインデックスは対応する単語の単語辞書のインデックスと同じ値が入っている。このインデックスを用いて単語との対応付けを行う。監視対象は３Ｄモデル１９がインデックスに示された単語を表現している動作中に，監視部２５が情報の欠落を防ぐために監視を行うべき３Ｄモデル１９の要素を示す。
【０１０６】
監視アルゴリズムの種類は３Ｄモデル１９の要素のどの状態を監視すべきかを示す。具体的には「重なり検出」，「遠近感検出」から選択されている。
【０１０７】
パラメータにはそれぞれ重なりの余裕範囲，遠近感を表す場合の許容範囲，を含む。これらのパラメータについては後に詳述する。
【０１０８】
防止用のアルゴリズムは監視部２５から指令を受けた際に３Ｄモデル１９に与えるべき指令の種類を示している。「拡大／縮小」「回転」「透過」の中から選択され，格納されている。
【０１０９】
パラメータにはそれぞれ，要素の透過率，拡大／縮小率，回転速度が格納されている。
監視情報データ２４の構成は図２５のようになっている。監視情報データのインデックス（ｉｎｄｅｘ）は対応する時系列データのインデックスと同じ値が入っている。また，動作開始時間，終了時間は，意味を表す動作の単位の開始時間，終了時間を示すものであり，時系列データから求める。その他のパラメータは属性辞書２５の持つデータと同じものである。
【０１１０】
本実施の形態にかかる情報表示装置２は，以上のように構成されている。
次いで，本実施の形態の動作について説明する。
【０１１１】
第２の実施の形態における動作の流れから，監視情報データ作成の流れについて図２６，その後のアニメーション表示処理について図２７にそれぞれ示す。
【０１１２】
（１．文章入力），（２．単語への割り当て），（３．時系列データの作成と編集），までは，上記第１の実施の形態と同様である。
【０１１３】
（４−ｂ：監視情報データの作成）
図２６に示された流れで監視情報作成部２３が監視情報データを作成する。
ステップＳ２６１で監視情報作成部２３が作成された時系列データ１６からデータを１つ読み出す。
【０１１４】
ステップＳ２６２で監視情報作成部２３が読み出されたデータのインデックスをキーにして属性辞書２２を検索する。該当データがない場合にはステップＳ２６１に戻り，次のデータを読み出す。該当データがある場合にはステップＳ２６３で時系列データから意味を表す動作の単位の開始時間，終了時間を抜きだし，属性辞書からそれぞれの時間ごとのアルゴリズム選択，アルゴリズムの対象，パラメータ，防止用のアルゴリズム，パラメータを読み出し，ステップＳ２６４でデータに追加する。時系列データがなくなるまでステップＳ２６１からステップＳ２６４までの処理を繰り返し，完成したデータを監視情報データとする。
【０１１５】
（５−ｂ：アニメーションの表示）
ステップＳ１９６までは，第１の実施の形態と同様である。これらの処理と並列に監視情報データから監視部２５へのデータの読み込みを行う。
【０１１６】
ステップＳ２７１で監視部２５はタイマ２７の指令で３Ｄモデルの動作状況と同期して監視情報データを読み出す。
【０１１７】
ステップＳ２７２で監視部２５はステップＳ２７１で読み出したデータに従って，監視する要素，監視する状態とそのためのアルゴリズム，情報欠落防止部２６へ通知する欠落防止の処理をする。監視情報データが「重なり検出」の処理を持っている場合は，検出に使用するアルゴリズムは上記第１の実施の形態と同様であるが，本実施の形態では監視するべき３Ｄモデルの要素，余裕範囲を任意に指定できる。ここで余裕範囲とは，実際に２次元画面１８上に表示される円の半径をパラメータで指定した値だけ拡大することで，重なりが生ずる状態に余裕を持って監視部２５からの指令を発生させることができるその余裕の範囲のことである。
【０１１８】
監視情報データによって指定される監視状態が「遠近感検出」である場合の情報欠落検出のためのアルゴリズムを図２８で説明する。３Ｄモデル１９上でつながりのある要素における３つの点を監視し，動作によって変更される要素の動作が直線的である場合に遠近感が欠落したとして情報欠落防止部２６に通知する。具体的には各要素上の３点に対し２本のベクトルを設定し，ベクトルの角度変化を計算してその値が監視情報データのパラメータの値以下である場合に情報欠落防止部２６への指令を発生させるというものである。このベクトルは３Ｄモデル１９の持つ３次元情報を無視し，２次元平面上での位置関係から計算する。時系列データの指令によってＰ２がＰ２’に移動するが図２８（ａ）の例では遠近感が表現されており，図２８（ｂ）の例では欠落しているとする。
【０１１９】
ステップＳ２７３で監視部２５は指定されたアルゴリズムに基づいて，指定された要素を観察し情報の欠落が検出された場合に情報欠落防止部２６にステップＳ２７４で通知を行う。通知には情報欠落防止部２６が３Ｄモデルのどの要素に対してどのような情報欠落防止処理を行うかの情報が含まれている。
【０１２０】
ステップＳ２７５で監視部２５から指令を受けた情報欠落防止部２６は「拡大縮小」「回転」「透過」のうちのいずれかの指令を３Ｄモデルに対して行う。「拡大縮小」の場合は監視情報データに示されるパラメータの値を倍率として要素を拡大または縮小する。「回転」の場合は，監視情報データに示されるパラメータの値を回転量として３Ｄモデルを体の中心軸周りに回転させる。「透過」の場合は，監視情報データに示されるパラメータの値を物体の光の透過率として要素を半透明または透明にする。
【０１２１】
ステップＳ２７６で情報欠落防止部２６によって通知された指令に従って３Ｄモデル１９または視点が動作する。
【０１２２】
ステップＳ２７７で描画部１１０が更新された視点と３Ｄモデル１９に対する情報から再度２次元画像を描画する。
【０１２３】
５−ｂの処理を時系列データがなくなるまで繰り返す。
【０１２４】
（第２の実施の形態の効果）
以上説明したように，本実施の形態によれば，属性辞書２２と監視情報作成部２３が，３Ｄモデル１９の動作が表現する単語ごとに監視すべき要素と，情報欠落が起こりうる場合に採るべき処理を指定した監視情報データを作成することで，より細かく情報欠落の防止方法を指定することができる。結果，上記第１の実施の形態よりも幅広く情報欠落を防いだ３Ｄアニメーションを表現することができる。
【０１２５】
（第３の実施の形態）
第３の実施の形態では，第２の実施の形態の監視情報データに補完用情報という要素を，さらにシステムに情報欠落補完部３４という要素を追加することにより，ユーザの操作などによって３Ｄモデルが表現するアニメーションから欠落してしまった情報を３Ｄモデルの動作とは別の情報提示によって補完するための構成例を示す。
【０１２６】
図２９は第３の実施の形態を示すブロック図である。
本実施の形態にかかる情報表示装置３は，図２９に示したように，第２の実施の形態にかかる情報表示装置２の構成要素に加えて，２次元画面１８上に，サブ画面３５または字幕３６を含んで構成されている。また，監視部３３，情報欠落補間部３４に新たな機能を加えている。以下では，これら本実施の形態に特徴的な構成要素を中心に説明し，上記第１，第２の実施の形態と実質的に同様の機能を有する構成要素については，同一符号を付すことで重複説明を省略する。
【０１２７】
監視部３３は監視情報データ３１にしたがって，２次元画面上１８に描かれた３Ｄモデル１１１の要素のうち，監視情報データによって指定された要素を同じく指定されたアルゴリズムに従って監視し，情報の欠落を検知した場合に情報欠落補完部３４に通知する。通知の内容には補完の方法と，補完すべきデータの内容も含まれている。
【０１２８】
情報欠落補完部３４としては字幕による表示手段，サブ画面による表示手段の２種類を想定している。
【０１２９】
サブ画面３５は３Ｄモデル１９の要素の一部だけを拡大して２次元画面１８上に重ねて表示するための画面である。
【０１３０】
字幕３６は３Ｄモデル１９が表している動作の意味を表す文字を２次元画面１８中に重ねて表示する。
【０１３１】
補完用情報３２を追加した監視情報データ３１の構成を図３４に示す。字幕用のデータには字幕表示手段が表示すべき文字列が格納されている。サブ画面用のデータには，サブ画面に表示すべき要素，すなわち口形データ，手形データへのポインタが格納されている。それぞれ監視情報作成部２３が時系列データから読み出したものである。
【０１３２】
また属性辞書２２の監視用アルゴリズムとして「速度検出」を追加する。これは，要素の重心位置における画面上移動平均を微分することで要素の動作速度を得るというものである。図３０を参照しながら説明する。時間Ｔ０と時間Ｔ１の間に重心が距離Ｄ０だけ進んでいる。これからＶ＝Ｄ０／Ｔ１−Ｔ０という計算で速度を求めることができる。この値がパラメータに示された範囲の外にある場合に速度情報が欠落したと判断して情報欠落補完部３４に通知する。
【０１３３】
本実施の形態にかかる情報表示装置３は，以上のように構成されている。
次いで，本実施の形態の動作について説明する。
【０１３４】
（１．文章入力），（２．単語への割り当て），（３．時系列データの作成と編集）までは，上記第１，第２の実施の形態と同様である。
【０１３５】
（４−ｃ：監視情報データの作成）
ステップ自体は，上記第２の実施の形態の（４−ｂ）と同様であるが，検索される監視情報データの構成は前述したように上記第２の実施の形態と異なっている。字幕用のデータ，サブ画面用データを他のデータと同様に読み込む。
【０１３６】
（５−ｃ：アニメーションの表示）
アニメーション表示のフローを図３１に示す。
【０１３７】
監視部３３によって２次元画面１８上にあらわれる３Ｄモデル１１１の要素の情報が欠落したことが情報欠落補完部３４に通知された場合，情報欠落補完部３４は２次元画面上に欠落情報を補完するための表示を行うための処理をする。
【０１３８】
ステップＳ１９１からＳ１９６までは，上記第１，第２の実施の形態と同様。これらの処理と並列に監視情報データから監視部３３へのデータの読み込みを行う。
【０１３９】
ステップＳ３１１で監視部３３はタイマ２７の指令で３Ｄモデル１９の動作状況と同期して監視情報データを読み出す。
【０１４０】
ステップＳ３１２で監視部３３はステップＳ３１１で読み出したデータに従って，監視する要素，監視する状態とそのためのアルゴリズム，情報欠落補完部３４へ通知する補完すべき内容の情報を決定する。
【０１４１】
ステップＳ２７３で監視部３３は指定されたアルゴリズムに基づいて，指定された要素を観察し情報の欠落が検出された場合に情報欠落補完部３４にステップＳ３１３で通知を行う。通知にはどのような情報補完処理を行うかの情報が含まれている。
【０１４２】
ステップＳ３１４で監視部３３から指令を受けた情報欠落補完部３４は「字幕表示」「サブ画面の追加」のいずれかの処理を行う。サブ画面表示の場合には，図３２に示したように，２次元画面２８上に唇の拡大画像，手の拡大画像を重畳したサブ画面３５を表示する。字幕表示の場合には，図３３に示したように，２次元画面１８上に動作の表す意味を字幕３６として表示する。
【０１４３】
ステップＳ３１６で描画部が更新された視点と３Ｄモデルに対する情報から再度２次元画像を描画，さらに字幕またはサブ画面を２次元画面上に表示する。
【０１４４】
（５−ｃ）の処理を時系列データがなくなるまで繰り返す。
【０１４５】
（第３の実施の形態の効果）
以上説明したように，本実施の形態によれば，監視部からの指令を受けて欠落した情報を補完する情報欠落補完部３４によってユーザからの速度指令，視点変更指令によって画面上にモデルが表すべき情報があらわれなくなってしまうような場合でもユーザに情報を提示することが可能になる。
【０１４６】
さらに，学習などの用途で手話アニメーションを表示する場合，３Ｄモデルが両手を同時に動作させるなどユーザが注目すべき要素が多数ある場合にはユーザが視点を変更して自分が見たい要素をよく見ることができるよう視点を変更することがある。その場合に視点変更動作によって画面上から欠落してしまった要素による情報をサブ画面で表示することによってシステム全体としてユーザに提示できる情報が保たれる。
【０１４７】
同様にユーザが速度変更を行ったため，副詞など動作の速度によって伝わる情報が欠落してしまった場合にその情報を字幕として補完することでシステム全体としてユーザに提示できる情報を保つことが可能である。
【０１４８】
以上，添付図面を参照しながら本発明にかかる情報表示装置の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４９】
例えば，上記実施の形態においては，手話アニメーションを表示する情報表示装置について説明したが，手話に限らず手旗信号，パントマイム，ダンスなど特定の意味を表現するための動作を３Ｄモデルに行わせるアニメーション表示システムに応用可能である。
【０１５０】
上記実施の形態においては日本語による辞書検索を行ったが，辞書のデータを変更することでその他外国語によるアニメーション表示システムとすることも可能である。
【０１５１】
上記実施の形態においてＰＣ上のソフトウェアとして表現される情報表示装置の例を示したがＰＣに限らず携帯電話，タブレットＰＣ，ＰＤＡなどでもよい，また専用のハードウェアを用意してもよい。
【０１５２】
上記実施の形態において各辞書の構成を表の形として示したが，ツリーなどの異なるデータ構造を用いてもよい。
【０１５３】
上記実施の形態において重なり検出，遠近感検出，速度検出のアルゴリズムの例を示したが同様の効果を得ることができる別のアルゴリズムを用いてもよい。
【０１５４】
上記実施の形態において３Ｄモデルに対する動作指令を位置ベクトルとして与えたが，モデルの各関節軸の角度を指定する角度ベクトルなど，別の方法で指定してもよい。
【０１５５】
上記第２，第３の実施の形態において情報欠落防止部を持つシステムと情報欠落補完部を持つシステムを別の構成としたがこれらの要素は排他的なものでなく，双方の要素を持つシステムとしてもよい。
【０１５６】
上記実施の形態において３Ｄの人体モデルを設計したが，このモデルに限らず人間の全身を表現するモデルとしたり，あるいは単純化して腕だけのモデルとしたりするシステム構成も可能である。
【０１５７】
上記実施の形態において３Ｄ人体モデルは一体であったが、これが複数であってもよい。
【産業上の利用可能性】
【０１５８】
本発明は，手話，ジェスチャ，パントマイムなど特定の意味を持った動作を３Ｄモデルに表現させることを目的とした３Ｄ（３次元：３−Ｄｉｍｅｎｓｉｏｎ）アニメーション利用の情報表示装置に利用可能である。
【図面の簡単な説明】
【０１５９】
【図１】第１の実施の形態を示すブロック図である。
【図２】人体３Ｄモデルとその要素の姿勢の表現法を示す説明図である。
【図３】右手先の３Ｄモデルの例を示す説明図である。
【図４】単語辞書の構成を示す説明図である。
【図５】時系列データ辞書の構成を示す説明図である。
【図６】口形時系列データ辞書の構成を示す説明図である。
【図７】位置ベクトルデータの構成を示す説明図である。
【図８】手形パタン辞書の構成を示す説明図である。
【図９】指形データ辞書の構成を示す説明図である。
【図１０】口形パタン辞書の構成を示す説明図である。
【図１１】口形データ辞書の構成を示す説明図である。
【図１２】表情パタン辞書の構成を示す説明図である。
【図１３】表情データ辞書の構成を示す説明図である。
【図１４】眉形データ辞書の構成を示す説明図である。
【図１５】頬形データ辞書の構成を示す説明図である。
【図１６】あご形データ辞書の構成を示す説明図である。
【図１７】修飾用辞書の内部構成を示す説明図である。
【図１８】時系列データ作成の流れを示す説明図である。
【図１９】アニメーションの表示の流れを示す説明図である。
【図２０】実際のプログラムの画面動作例を示す説明図である。
【図２１】副詞による時系列データ変更の例を示す説明図である。
【図２２】重なり検出の例を示す説明図である。
【図２３】第２の実施の形態を示すブロック図である。
【図２４】属性辞書のデータの構成を示す説明図である。
【図２５】監視情報データの構成を示す説明図である。
【図２６】監視情報データ作成の流れを示す説明図である。
【図２７】アニメーション表示処理を示す説明図である。
【図２８】遠近感検出の例を示す説明図である。
【図２９】第３の実施の形態を示すブロック図である。
【図３０】速度検出の例を示す説明図である。
【図３１】アニメーション表示のフローを示す説明図である。
【図３２】サブ画面が表示された画面の例を示す説明図である。
【図３３】字幕が表示された画面の例を示す説明図である。
【図３４】補完用情報を追加した監視情報データの構成を示す説明図である。
【符号の説明】
【０１６０】
１  情報表示装置
１０  指令作成部
１１  文入力部
１２  形態素解析部
１３  時系列データ作成部
１４  単語辞書
１５  修飾用辞書
１６  時系列データ
１７  タイマ
１８  ２次元画面
１９  ３Ｄモデル
１１０  描画部
１１１  ３Ｄモデル
１１２  視点
１１３  監視部
１１４  情報欠落防止部
１１５  視点変更入力部
１１６  速度変更入力部
【図１】
2005222504.tif 000003
【図２】
2005222504.tif 000004
【図３】
2005222504.tif 000005
【図４】
2005222504.tif 000006
【図５】
2005222504.tif 000007
【図６】
2005222504.tif 000008
【図７】
2005222504.tif 000009
【図８】
2005222504.tif 000010
【図９】
2005222504.tif 000011
【図１０】
2005222504.tif 000012
【図１１】
2005222504.tif 000013
【図１２】
2005222504.tif 000014
【図１３】
2005222504.tif 000015
【図１４】
2005222504.tif 000016
【図１５】
2005222504.tif 000017
【図１６】
2005222504.tif 000018
【図１７】
2005222504.tif 000019
【図１８】
2005222504.tif 000020
【図１９】
2005222504.tif 000021
【図２０】
2005222504.tif 000022
【図２１】
2005222504.tif 000023
【図２２】
2005222504.tif 000024
【図２３】
2005222504.tif 000025
【図２４】
2005222504.tif 000026
【図２５】
2005222504.tif 000027
【図２６】
2005222504.tif 000028
【図２７】
2005222504.tif 000029
【図２８】
2005222504.tif 000030
【図２９】
2005222504.tif 000031
【図３０】
2005222504.tif 000032
【図３１】
2005222504.tif 000033
【図３２】
2005222504.tif 000034
【図３３】
2005222504.tif 000035
【図３４】
2005222504.tif 000036