(57)【要約】【課題】操作が簡単で精度の高いかな文字入力を行えるかな文字入力装置を提供する。【解決手段】唇画像入力手段１から入力される最新の唇画像をバッファに記憶している。コード判断手段８は、コード情報ＴＢＬ９を参照して、コード入力手段７で入力されたコードの種別等を、かな文字生成手段４と画像特徴抽出手段２に送る。入力されたコードの種別がかな文字入力に関するものであるときには、バッファに記憶された唇画像から画像特徴抽出手段２で唇画像の特徴データを抽出する。この唇画像の特徴データと母音ＤＢ６とにより母音を決定し、かな文字生成手段４で母音の情報と子音等からかな文字を生成して、かな文字出力手段５で外部に出力される。また、唇画像入力手段１で入力された唇画像から画像特徴抽出手段２で抽出された特徴データやデータ入力手段１１から入力された大量の特徴データを母音ＤＢ生成手段１０に送って、母音ＤＢ６の内容に反映させる。【選択図】図２
2005108079.tif 000002
【特許請求の範囲】
【請求項１】
かな文字に関連した情報をコードとして入力するコード入力手段と、かなの唇形状の画像と動画像のうち少なくとも１つを入力する唇画像入力手段と、前記唇画像入力手段から入力された唇画像の特徴データを抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出した特徴データと予め母音の唇形状の特徴データを保持する母音データベースとを照合して、入力した唇形状の母音情報を決定する母音判断手段と、前記母音判断手段で決定した母音情報と前記コード入力手段で入力されたかな文字に関連した情報とを組み合わせてかな文字を生成するかな文字生成手段とを有し、唇形状から判断される母音情報と子音情報等とを組み合わせることによって、かな文字を生成するようにしたことを特徴とするかな文字入力装置。
【請求項２】
請求項１に記載のかな文字入力装置において、前記画像特徴抽出手段で抽出された唇画像の特徴データが母音のいずれであるかを使用者に指定させて、この抽出された特徴データで前記母音データベースの指定された母音に対する特徴データを更新する母音データベース生成手段を有し、個別に入力された唇画像の特徴データを母音データベースへ反映させることによって、母音の唇画像の認識精度を向上させるようにしたことを特徴とするかな文字入力装置。
【請求項３】
請求項１に記載のかな文字入力装置において、母音の特徴データを入力するデータ入力手段と、前記データ入力手段で入力された母音の特徴データで前記母音データベースを更新する母音データベース生成手段を有し、外部から大量に読み込んだ母音の特徴データを母音データベースへ反映させることによって、母音の唇画像の認識精度を向上させるようにしたことを特徴とするかな文字入力装置。
【請求項４】
かな文字に関連した情報をコードとして入力するコード入力工程と、かなの唇形状の画像と動画像のうち少なくとも１つを入力する唇画像入力工程と、前記入力された唇画像の特徴データを抽出する画像特徴抽出工程と、前記抽出した特徴データと予め母音の特徴データを保持する母音データベースとを照合して、入力した唇形状の母音情報を決定する母音判断工程と、前記決定した母音情報と前記入力されたかな文字に関連した情報と組み合わせてかな文字を生成するかな文字生成工程とを有し、唇形状から判断される母音情報と子音情報等とを組み合わせることによって、かな文字を生成するようにしたことを特徴とするかな文字入力方法。
【請求項５】
請求項１、２または３に記載のかな文字入力装置の機能をコンピュータに実現させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、余分な道具や機器を必要とせずに操作が簡単でしかも精度の高いかな文字入力を行えるかな文字入力装置、かな文字入力方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、コンピュータや携帯電話で文章を入力する場合や、それらの機器に記憶された文字情報を検索するために文字を入力する場合等の文字入力を行う機会が増えている。
このような文字入力のうち「かな文字」を入力する場合のよく知られた方法としては、次のような様々な方法が考えられており、また、問題点も指摘されている。
【０００３】
（１）コンピュータ端末などに使用されているキーボードのように、全てのかな文字がボタンに表示されており、そのボタンを押すことによって入力する。
この方法は、かな文字と１対１対応しているボタンを押すため、操作が簡単で精度も高い点が挙げられるが、ボタンをかな文字の個数分用意する必要があるという問題がある。
【０００４】
（２）携帯電話などに使用されている方式で、１つのボタンを複数回押すことによってかな文字を変化させて入力する。
この方法は、（１）番目の方法に比べて少ないボタン数で済むが、操作回数が増大し、使用者の操作が煩雑になってしまうという問題がある。
【０００５】
（３）ペンなどを使用して画面などに文字形を描くことにより、そのペンの軌跡からかな文字を判断して入力する。
この方法は、使用者が文字を書く感覚で入力できるため、操作が容易である反面、ペンなどの道具や文字を描くための場所が必要となること、および入力に多少時間がかかるという問題がある。
【０００６】
（４）入力した音声を音声認識して、その音声認識結果を文字として入力する。
この方法は、使用者が発話するだけでよく、使用が容易であり、（３）のように道具や場所を必要としない反面、音声認識の認識精度が（３）のような文字認識の認識精度に未だ達していないため、実用に供し得ないという問題がある。
【０００７】
この問題を解決するために、特許文献１は、発話中の母音だけの認識に限れば認識率が高いことを利用して、発話した母音部分を音声認識し、子音部分はボタンで入力することによって、これらの子音と母音の２つを組み合わせてかな文字を生成し、比較的少ない操作で精度の高い入力方法を実現している。
【０００８】
（５）唇画像の形状だけを用い、その画像認識結果を文字として入力する。
上述の（４）の方法では、周囲の音響雑音が大きいと認識精度が劣化してしまうため、音声によらず唇画像を取り込み、単語と対応付けた画像パターンと比較し、一致した場合その画像パターンに対応する単語を入力する。
例えば、特許文献２では、利用者が氏名、会社名、地名等のダイヤル情報を受話器に発話している時の唇の画像から唇の形状の特徴を抽出し、この特徴と形状辞書中の特徴とを比較して、音声を認識する。
【特許文献１】特開平０６−６７６８８号公報
【特許文献２】特開平０６−３１１２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のような文字を入力する方法のうち、余分な道具や機器を必要とせずに、操作が簡単でしかも精度の高いかな文字入力を行えるのは、（４）あるいは（５）の方法である。
しかし、（４）の方法は、周囲の雑音が大きい環境下や、発話が不可能あるいはなるべく避けた方が良い環境下では、音声から認識することは困難であり、かな文字入力ができない可能性がある。
【００１０】
また、（５）の方法は、単語に対して唇画像の特徴を対応付けたものであり、単語が増加すればそのたびに唇画像を用意しなければならない。
また、唇形状と文字とを対応付けておき、取り込んだ唇の画像の特徴量によって画像認識して、文字を入力するような技術も提案されているが、唇画像の認識のための特徴量のデータサイズが大きくなり、実用の域には達していない。
【００１１】
本発明は、上述のような実情を考慮してなされたものであって、余分な道具や機器を必要とせずに、操作が簡単でしかも精度の高いかな文字入力を行えるかな文字入力装置、かな文字入力方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本発明では次のような構成とした。
（１）使用者がかな文字を発話した時の唇形状（発声しなくともよい）の画像または動画像を入力する唇画像入力手段と、
（２）入力した唇形状の画像または動画像から母音を判断するための特徴データを抽出する画像特徴抽出手段と、
（３）母音の唇画像の特徴データを保持する母音データベースと照合して、抽出した唇形状の特徴データに対応する母音情報を決定する母音判断手段と、
（４）子音情報等の文字入力用のデータに対応するコードを入力するコード入力手段と、
（５）唇形状から判断した母音情報およびコード入力された子音情報等からかな文字を生成するかな文字生成手段と、
を有し、唇形状の画像または動画像を使用して、比較的簡単に精度が高いかな文字入力を実現することができる。
【００１３】
さらに、個別にかなの唇形状の画像または動画像を入力させて、入力された画像または動画像から母音の特徴データを抽出して、この抽出した特徴データを指定した母音情報と対応付けて母音データベースを更新する母音ＤＢ生成手段も備えている。
また、母音ＤＢ生成手段は、データ入力手段によって母音の特徴データを大量に入力させて、この大量に入力される母音の特徴データによって母音データベースを更新することもできる。
これにより使用者に特化した母音の唇形状の特徴データを母音データベースに保持することができるので、母音の認識精度の向上を実現できる。
さらに、大量のデータを用いて母音データベースを改善することができるので、認識精度をさらに向上させることができる。
【発明の効果】
【００１４】
本発明によれば、以下のような効果を発揮する。
（１）「かな」を発話するときの唇の形状は母音ごとに異なっており、その形状から比較的容易に母音を特定することができる。これを利用して、唇形状の画像あるいは動画像を入力する撮像手段と、子音情報等を入力するキーやボタンとを持たせるだけで、余分な道具や機器を必要とせずに、操作が簡単でしかも精度の高いかな文字入力を行える。
（２）使用者の唇形状の画像あるいは動画像によって認識するため、より使用者に特化した認識が可能となり、母音認識の性能を向上させることができる。
（３）大量の母音データを読み込んで母音認識用の辞書を作成できるので、母音認識の性能を向上させることができる。
（４）発声を伴わない唇形状の画像または動画像を用いて母音認識できるため、雑音の大きい環境、発話できないような環境または発声の不自由な人（例えば、唖者）であっても容易に利用することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明のかな文字入力装置に係る好適な実施形態を説明する。
（Ａ）かな文字入力装置の装置例：
図１は、本実施形態のかな文字入力装置を実現する際の装置例である。この装置例では、装置前面の上部に唇形状の動画像または静止画像を取り込むカメラ（撮像手段）１０１を配設し、その下に入力した文字やメッセージ等を表示する表示画面１０２、一番下にコードを入力するためのボタン１０３を配設している。
また、装置側面には、外部から母音の唇形状の特徴データを取り込むための外部コネクタ１０４が配設されている。
【００１６】
この装置により、使用者は「かな文字」を発話したときの唇の形状を形成しながら、子音に対応するボタン１０３を押すことによってかな文字を入力し、そのかな文字は表示画面１０２により確認できる。本発明では、かな文字を発話したときの唇の形状だけが必要となるものであって、発声してもしなくてもよい。以下、かなの唇形状という場合は、「かな」を発話したときと同様な唇形状をとることを言うこととする。
【００１７】
また、母音の唇形状の画像特徴を保持する母音ＤＢ（データベース）は、カメラ１０１で１つずつかなの唇形状の動画像または画像を入力して登録することもできるし、外部コネクタ１０４を介して母音の唇形状の画像特徴を大量に入力することで、母音ＤＢを生成・更新することができる。
【００１８】
（Ｂ）かな文字入力装置の機能構成と動作概略：
図２は、本発明のかな文字入力装置の機能構成を示すブロック図であり、同図において、かな文字入力装置は、例えば、図１の１０１のようなカメラなどの撮像手段から入力される最新の数フレームの唇形状の動画像または画像をバッファへ記憶する唇画像入力手段１、入力された唇形状の動画像や画像の画像特徴を抽出する画像特徴抽出手段２、抽出された特徴データがどの母音に該当するかを判断する母音判断手段３、母音の情報と子音等の情報からかな文字を生成するかな文字生成手段４、生成したかな文字を例えば、図１の表示画面１０２や外部コネクタ１０４を介して外部へ出力するかな文字出力手段５、母音ごとに唇形状の動画像または画像の画像特徴を保持する母音ＤＢ（データベース）６、例えば、図１の１０３のようなキーやタッチパネルなどでコードを入力するコード入力手段７、コード入力手段７で入力されたコードに対応するデータまたは処理の種類を保持するコード情報ＴＢＬ（テーブル）９、コード情報ＴＢＬ９と照合して入力されたコードをデータおよび処理の種類へ変換するコード判断手段８、唇形状の動画像または画像の特徴データあるいは外部から入力された特徴データから母音ＤＢ６を生成する母音ＤＢ生成手段１０、例えば、図１の１０４を介して外部から母音の唇形状の特徴量を入力するデータ入力手段１１とからなっている。
【００１９】
このような構成のかな文字入力装置は、概略次のように動作する。
（１）かな文字を入力するとき：
カメラなどによってかなの唇形状の動画像または画像を唇画像入力手段１で入力し、入力されたデータは、画像特徴抽出手段２に送られて、その動画像や画像から特徴が抽出される。この特徴データは、かな文字入力時には母音判断手段３に送られ、母音ＤＢ６に保持した母音の唇形状の画像特徴と比較されて母音が認識され、かな文字生成手段４に送られる。
【００２０】
また、使用者がボタンやタッチパネルなどのコード入力手段７でコードを入力し、コード判断手段８で、その入力されたコードをコード情報ＴＢＬ９と照合して、コードによってどのような指示が与えられたかを判断する。入力されたコードが子音等のかな文字に関する情報を指示した場合には、このかな文字関連情報をかな文字生成手段４へ送る。
これにより、かな文字生成手段４はかな文字関連情報と母音情報とでかな文字を生成し、かな文字出力手段５で生成されたかな文字を表示画面や外部コネクタを介して外部へ出力する。
【００２１】
（２）母音ＤＢ６へ母音に関する唇画像の特徴を登録するとき：
コード入力手段７で母音ＤＢ登録の指示を入力すると、唇画像入力手段１で入力された唇形状の動画像または画像が画像特徴抽出手段２に送られて、その動画像や画像の特徴が抽出される。この特徴データを母音ＤＢ生成手段１０に送り、コード入力手段７で入力された母音と対応付けられて母音ＤＢ６へ登録する。ここで、母音ＤＢ６にすでに同じ母音に対して特徴データが登録されているときには、新規の特徴データを登録済みの特徴データへ反映して更新する。
【００２２】
または、母音の種類を表すデータとこの母音に対する唇形状の特徴データとがデータ入力手段１１から入力されると、それらの入力データを母音ＤＢ生成手段１０へ送り、母音と特徴データを対応付けて母音ＤＢ６へ登録する。ここで、母音ＤＢ６にすでに同じ母音に対して特徴データが登録されているときには、新規の特徴データを登録済みの特徴データへ反映させて更新する。この登録作業は、データ入力手段１１から入力されるデータがなくなるまで繰り返し行われる。
【００２３】
（Ｃ）唇形状の動画像または画像の画像特徴：
一般的に、認識したい事柄（ここでは母音）の代表的な特徴量と入力した特徴量と比較してその差異を計算し、差異の少ない事柄を判断結果とする場合に、その精度を上げるには以下のような条件が挙げられる。
【００２４】
・認識したい事柄の差異が大きいこと。
・代表的な特徴量がその事柄の特徴を捉えていること。
【００２５】
まず、前者に関しては、母音の唇の形状は比較的判断が容易であるため適していると考えられる。
また、後者に関しては、使用者の唇形状を使用することで、その使用者の唇形状の特徴に合わせたデータが生成され、また、外部からの大量の特徴量データを使用することで、統計的に特徴を捉えたデータが生成され、精度の高い認識ができると考えられる。
【００２６】
上記の考察に基づいて、画像特徴抽出手段２の機能である唇形状の動画像または画像から特徴データを抽出する方法について説明する。
図３は、唇画像入力手段１で読み込まれた唇形状の動画像または画像から特徴データを抽出する方法を説明するための図である。
【００２７】
唇画像入力手段１が唇形状の静止画像のみを入力できる場合には、１枚の画像のみ（例えば、図３の（Ａ３））から特徴を抽出する。例えば、図３（Ａ３）のような画像に対して、画素（画像の１要素）の濃淡差を計算してエッジを抽出し、図３（Ｂ）のように画像の唇部分の輪郭を抽出する。その後で、唇のエッジを囲む最小の矩形（バウンダリボックス）を計算し、この矩形の縦の長さＢ２と横の長さＢ３を計算する。さらに、この矩形の対角線の交点Ｂ１を求めて唇の中心点を計算する。
このようにして求められた各母音の唇輪郭形状の縦・横・中心点の平均値を静止画像における特徴データとする。
この他にも１枚の静止画像から唇形状の特徴を抽出できる方法があればこれに限らない。
【００２８】
または、唇画像入力手段１が唇形状の動画像を入力できる場合には、入力データは図３（Ａ）に示すように複数枚の画像（Ａ１、Ａ２、Ａ３等）から構成されており、これらの複数の画像データを使用して画像特徴を抽出する。
例えば、唇形状の中心と輪郭データ（唇のエッジ）を使用して、唇の上側面部、上中央部、下部の３箇所の部分が平均してどのくらい変化したかをオプティカルフローによって計算する。図３（Ａ１）の上記３箇所の上側面部（Ｃ１）、上中央部（Ｃ２）、下部（Ｃ３）の画素が図３（Ａ２）上の同じ部位の画素へどの位移動したかを表す指標を計算する。また、図３（Ａ２）と図３（Ａ３）に対しても同様に計算する。
このようにして求められた各母音における各部位での指標の平均を計算することによって、各部位の唇画像移動平均値を計算して、各母音の特徴データとする。
【００２９】
本実施形態では、上記のような値を採用しているが、これ以外でも、唇形状の画像または動画像から母音を特定できるようなデータであればこれに限らない。例えば、次のようなものが考えられる。
・平均値のみではなく分散値も使用する。
・ＤＰ（Dynamic Programming）やＨＭＭ（Hidden Markov Model）と呼ばれるモデルを使用する。
【００３０】
（Ｄ）母音データベースのデータ構造：
図４は、母音ＤＢ６のデータ構造例である。同図において、母音ＤＢ６は、各母音（「あ」から「お」）に対する特徴データとして、２つの唇輪郭形状平均値、３つの唇画像移動平均値、標本数および評価値を求めるときの５つの平均値に対する重み付け値を保持している。
唇輪郭形状平均値は、各標本における唇輪郭形状の縦および横の大きさの和をそれぞれ標本数で除した平均値を画素単位で保持する。ここで、唇輪郭形状の縦および横は、上述した唇のエッジを囲むバウンダリボックスの縦の長さと横の長さに相当するものである。
また、唇画像移動平均値は、唇の動画像（映像）データから計算したオプティカルフロー（唇上の同じ部位の点の画素がどのくらい移動したかを表す指標）を、上側面部、上中央部、下部のそれぞれの部位について、１枚当り何画素移動したかを平均した値である。
【００３１】
標本数は、各母音の特徴データの平均値を計算したときに使用したデータの個数を表している。また、重み付けは、２つの唇輪郭形状平均値および３つの唇移動平均値のそれぞれの要素をどのくらいの割合で認識に使用するかを表す重み値である。
【００３２】
なお、ここでは各母音の特徴データの平均値を再計算して母音ＤＢ６に特徴データを反映させているが、特徴データを母音ＤＢ６に反映させることができれば、他の計算式および方法であってもよい。
【００３３】
（Ｅ）コード情報テーブルのデータ構造：
図５は、コード情報ＴＢＬ９のデータ構造例である。図５において、コード情報ＴＢＬ９は、２つのモード（コードデータ入力モードと母音ＤＢ登録モード）によってそれぞれ別の対応付けがなされたデータ構造を持っている。
「コードデータ入力モード」では、コード入力手段７で入力されたコードに対して、「対応データ」と「唇認識」の２つのデータ項目が対応している。
【００３４】
「対応データ」は、コードが入力されたときの子音を表す情報や、すでに入力したかな文字に対する操作を指示する情報や、母音ＤＢへの特徴データの登録指示等である。
例えば、「対応データ」が「あ行」乃至「わ行」の場合は、それぞれが示す子音のデータを表し、母音情報と組み合わせることで文字データを作成する。
「対応データ」が「ん」の場合には、「ん」が母音を持たないので、母音認識無しで（即ち、唇形状を認識することなく）文字データを作成する。
【００３５】
さらに、「対応データ」が「濁点」、「半濁点」の場合は、直前に生成した「かな文字」にそれぞれを付加して、「濁音」あるいは「半濁音」の「かな文字」を生成する。
例えば、「か」を生成した後に「対応データ」が「濁点」のコードを入力すれば「が」が生成され、「ふ」を生成した後に「対応データ」が「半濁点」のコードを入力すれば「ぷ」が生成される。
【００３６】
また、「対応データ」が「小文字」の場合は、生成した「かな」を小文字にした「かな」を生成する。
例えば、「つ」を生成した後に、「対応データ」が「小文字」のコードを入力すれば、「っ」が生成される。
【００３７】
また、「対応データ」が「母音ＤＢ登録」の場合には、「母音ＤＢ登録モード」にモード変更を行って、唇形状の動画像または画像を取り込んで画像特徴抽出手段２を起動させて、唇形状の画像特徴を抽出し、この特徴を母音ＤＢ６へ登録する。登録が完了すると、コードデータ入力モードにモード変更される。
【００３８】
また、文字入力に関する操作指令を示すデータであれば、「対応データ」を上述したもの以外としてもよい。例えば、
・文字の挿入、削除、変更に関する機能を表すデータ、
・カタカナ、漢字変換などの機能を表すデータ、
等が挙げられる。
【００３９】
図５において、「唇認識」の項目が「○」である場合は、コードが入力されたときに、カメラ１０１で撮影された唇形状の動画像または画像を取り込み、画像特徴抽出手段２を起動させて、唇形状の画像特徴を抽出し、母音判断手段３で母音を決定し、かな文字生成手段４でかな文字を生成させるという一連の処理のトリガーを与えることを示している。この場合は、「あ行」乃至「わ行」などのように子音情報が存在するときに使用する。
【００４０】
また、「唇認識」の項目が「×」である場合は、唇形状の動画像または画像を取り込まず、すでに生成したかな文字に対する操作（「対応データ」で指定した操作）を行うトリガーを与えることを示している。
また、コード情報ＴＢＬ９中の「−」は、データが無いことを示している。
【００４１】
「母音ＤＢ登録モード」では、母音に関する特徴データを母音ＤＢ６へ登録するときに、画像特徴抽出手段２で抽出された唇形状の動画像または画像の特徴データがどの母音に対応する母音であるかを指示するときに使う。例えば、図１の装置のボタン１０３の「１」が押されたときには、抽出された特徴データが母音「あ」に対応する特徴データであるとして母音ＤＢ６へ登録される。
【００４２】
（Ｆ）母音データベースの生成（個別入力の場合）：
図６および図７を用いて、個別入力された母音の特徴データを母音ＤＢ６へ登録するときの処理について説明する。
図６は、母音ＤＢ６へ母音に対する唇形状の特徴データを登録処理するときの機能構成を示すブロック図であり、図２に示したかな文字入力装置の機能構成の部分構成である。個別入力の登録時は、唇画像入力手段１、画像特徴抽出手段２、母音ＤＢ６、コード入力手段７、コード判断手段８、コード情報ＴＢＬ（テーブル）９、母音ＤＢ生成手段１０を用いる。
【００４３】
次に、図７のフローチャートを用いて、唇形状の特徴データを母音ＤＢ６へ登録する処理の流れを説明する。
まず、使用者は登録したい母音を含むかなの唇形状を形成しながら、「母音ＤＢ登録」を示すボタンを押す。
コード入力手段７は押されたボタンのコードを入力し、コード情報ＴＢＬ９と照合してそのコードが「母音ＤＢ登録」のコードであるかを判断する（ステップＳ１０）。「母音ＤＢ登録」が入力されない場合（ステップＳ１０のＮＯ）はそのまま処理を終了する。
【００４４】
一方、「母音ＤＢ登録」が入力された場合（ステップＳ１０のＹＥＳ）、母音ＤＢ登録モードとなり、バッファに蓄えてある唇画像入力手段１から入力された唇形状の動画像または画像のデータをメモリへ保存する（ステップＳ１１）。
ここで、バッファを１フレーム分とした場合は、１枚の静止画像を対象として特徴データの抽出が行われる。また、バッファやメモリを複数フレーム分としたときには、最新の数フレーム分の動画像を対象に特徴データを抽出する。
【００４５】
メモリに保存された唇形状の動画像または画像から特徴データを抽出する（ステップＳ１２）。
メモリに保存された画像から唇のエッジを抽出し、このエッジのバウンダリボックスを計算し、唇の中心とバウンダリボックスの縦と横の長さを計算する。ここで、静止画像を対象とする場合には、メモリに保存された最終の唇形状の画像に対して上記の計算を行う。
また、動画像を対象とする場合には、メモリに保存された最新の数フレーム分のデータから各フレーム間の唇の上側面部、上中央部、下部における各画素の移動平均値を計算する（図３参照）。
ステップＳ１１およびＳ１２で唇画像特徴抽出手段２を構成する。
【００４６】
特徴データを計算した後、例えば、装置の表示画面１０２へ母音の種類を入力するように入力促進メッセージを表示し、コード入力手段７で母音の種類（「あ」乃至「お」のいずれか）の指示が使用者から入力されるまで待つ（ステップＳ１３）。
入力したコードに対してコード情報ＴＢＬ９を参照して、母音の指示であると判断された場合、計算した特徴データをその指示された母音の種類（「あ」乃至「お」のいずれか）に応じて母音ＤＢ６へ反映して更新し、「コードデータ入力モード」へ戻して処理を終了する（ステップＳ１４）。
ステップＳ１４で母音ＤＢ生成手段１０を構成する。
【００４７】
「む」の唇形状から母音「う」の特徴データを登録する例を用いて、上記ステップＳ１４における母音ＤＢ６の更新処理を説明する。
まず、使用者は「む」の唇形状をとるかまたは「む」と発話しながら、コード「右」ボタン（「母音ＤＢ登録」）を押す。
コード「右」ボタンが押される前までの「む」の唇画像の数フレームがバッファに記録され、コード「右」（「母音ＤＢ登録」）が入力されたことにより、現在バッファにある唇形状の動画像または画像をメモリへ保存する。
【００４８】
このメモリへ記憶された唇の形状から唇の輪郭（唇画像のエッジのバウンダリボックス）を計算して、唇の中心および形状の縦と横の長さを計算する。ここでは、形状の縦の値を「１２」画素、横の値を「９」画素とする。
また、動画像が扱える場合には、メモリへ記憶した最新数フレームの唇形状の画像を使用して、唇の上側面部、上中央部、下部の画素の移動値を計算する。ここでは、各部の移動値をそれぞれ、上側面部を「２」、上中央部を「１」、下部を「１」とする。
この計算が終了すると、装置の表示画面へ母音の種類を入力するように入力促進メッセージを表示する。
【００４９】
使用者がコード入力手段７から「３」（母音「う」）を入力すると、母音「う」の新しい特徴データ（唇輪郭形状平均値と唇画像移動平均値）を、現在の平均値と標本数から次の式で再計算する。
（新平均値）＝｛（現在の平均値）×（標本数）＋（計算した特徴データ）｝
÷｛（標本数）＋１｝
【００５０】
図４に示した母音ＤＢ６に対して、母音「う」の特徴データは次のように計算される。
「う」の輪郭平均縦：（１０×１００＋１２）÷（１００＋１）＝１０.０２
「う」の輪郭平均横：（１０×１００＋９）÷（１００＋１）＝９.９９
「う」の唇の上側面画素移動平均：（１×１００＋２）÷（１００＋１）＝１.０１
「う」の唇の上中央画素移動平均：（１×１００＋１）÷（１００＋１）＝１.０
「う」の唇の下画素移動平均：（１×１００＋１）÷（１００＋１）＝１.０
【００５１】
上記式によって計算された新平均値を、母音「う」の特徴データとして母音ＤＢ６を更新する。
これにより、入力した唇形状の画像データから得た母音の特徴データを母音ＤＢ６に反映させることができる。
【００５２】
（Ｇ）母音データベースの生成（外部入力の場合）：
図８および図９を用いて、外部入力された母音の特徴データを母音ＤＢ６へ登録するときの処理について説明する。
図８は、外部入力された母音に対する唇形状の特徴データを母音ＤＢ６へ登録処理するときの機能構成を示すブロック図であり、図２に示したかな文字入力装置の機能構成の部分構成である。外部入力の登録時は、母音ＤＢ（データベース）６、母音ＤＢ生成手段１０、データ入力手段１１を用いる。
【００５３】
次に、図９のフローチャートを用いて、外部入力された母音に関する唇形状の特徴データを母音ＤＢ６へ登録する処理の流れを説明する。
装置の外部コネクタ１０４に、母音の種類を示す情報とその母音に対する特徴データとを対応させたデータを記録した記憶装置やこれらのデータを供給するコンピュータを接続させると、特徴データ一括入力モードとなり、まず、母音一件分のデータを読み込む（ステップＳ２０）。
この母音一件分のデータとは、図４の例の場合、唇輪郭形状値（縦と横の長さ）、唇画像移動値（上側面部、上中央部、下部）の５つの特徴データと、この特徴データがどの母音を示すかの種類情報である。
ステップＳ２０でデータ入力手段１１を構成する。
【００５４】
次に、この特徴データを指定された母音の種類（「あ」乃至「お」のいずれか）に応じて母音ＤＢ６に反映させて更新し（ステップＳ２１）、データ入力手段１１から入力がなくなるまでステップＳ２０とＳ２１を繰り返す（ステップＳ２２）。
ここで、母音ＤＢ６の更新方法は、（Ｆ）の個別入力のステップＳ１４と同じである。
ステップＳ２１およびＳ２２で母音ＤＢ生成手段１０を構成する。
【００５５】
また、本実施形態では重み付けを変更しないものとしたが、外部から入力する唇輪郭形状値と唇画像移動値の入力割合、例えば、唇輪郭形状値の方がデータとして多く、唇画像移動値の方がデータとして少ない場合には重み付けを変更するようにしてもよい。
【００５６】
（Ｈ）かな文字入力：
図１０および図１１を用いて、かな文字を入力するときの処理について説明する。
図１０は、母音情報を唇形状の動画像あるいは画像から入力し、かな文字入力関連情報をコード入力してかな文字を生成するときの機能構成を示すブロック図であり、図２に示したかな文字入力装置の機能構成の部分構成である。かな文字入力の構成は、唇画像入力手段１、画像特徴抽出手段２、母音判断手段３、かな文字生成手段４、かな文字出力手段５、母音ＤＢ（データベース）６、コード入力手段７、コード判断手段８、コード情報ＴＢＬ（テーブル）９、母音ＤＢ生成手段１０、データ入力手段１１を用いる。
【００５７】
次に、図１１のフローチャートを用いて、かな文字入力するときの処理の流れを説明する。
まず、使用者は入力したい「かな」の唇形状をとるかまたは「かな」を発話しながら、かな文字入力関連情報を示すボタンを押す。
コード入力手段７で押されたボタンに対するコードを入力し、コード情報ＴＢＬ９と照合して、このコードに対応する「対応データ」と「唇認識」を取り出す。そのコードの「対応データ」がかな文字入力関連の情報であるかを判断する（ステップＳ３０）。かな文字入力関連の情報に対応するコードが入力されない場合（ステップＳ３０のＮＯ）はそのまま処理を終了する。
【００５８】
一方、かな文字入力関連の情報に対応するコードが入力された場合（ステップＳ３０のＹＥＳ）、コードデータ入力モードとなり、このコードの「唇認識」が「○」である場合（ステップＳ３１のＹＥＳ）、一時的に記憶している最終決定済み文字を確定してかな文字出力手段５へ渡すとともに、バッファに蓄えてある唇画像入力手段１から入力された唇形状の動画像あるいは画像のデータをメモリへ保存する（ステップＳ３２）。
ここで、バッファを１フレーム分とした場合は、１枚の静止画像を対象として特徴データの抽出が行われる。また、バッファやメモリを複数フレーム分としたときには、最新の数フレーム分の動画像を対象に特徴データを抽出する。
【００５９】
メモリに保存された唇形状の動画像あるいは画像から特徴データを抽出する（ステップＳ３３）。
メモリに保存された画像から唇のエッジを抽出し、このエッジのバウンダリボックスを計算し、唇の中心とバウンダリボックスの縦と横の長さを計算する。ここで、静止画像を対象とする場合には、メモリの保存された最終の唇形状の画像に対して上記の計算を行う。
また、動画像を対象とする場合には、メモリに保存された最新の数フレーム分のデータから各フレーム間の唇の上側面部、上中央部、下部における各画素の移動平均値を計算する（図３参照）。
ステップＳ３２およびＳ３３で画像特徴抽出手段２を構成する。
【００６０】
計算された特徴データと母音ＤＢ６から判断して、入力された唇形状がどの母音にあたるのかを決定する（ステップＳ３４）。
この判断方法は、母音ＤＢ６の各要素（２つの唇輪郭形状平均値、３つの唇画素移動平均値）について次の式、
（（唇画像の特徴データ値）−（母音ＤＢの特徴データ値））2×（重み付け）
で計算した数値の和が最も小さい値をもつものを母音と決定とする。ここで母音の決定に上記の計算式を使用しているが、母音ＤＢ６と特徴データから１つの母音を決定できるものであれば、他の計算式および方法でも良い。
ステップＳ３４で母音判断手段３を構成する。
【００６１】
次に、コード入力手段７で入力されたコードの「対応データ」が「あ行」乃至「わ行」のいずれかである場合には、この「対応データ」が示す子音情報（例えば、「さ行」等）と決定された母音情報（例えば、母音「え」）とから「かな文字」（例えば、「せ」）を生成し、このかな文字を最終決定済み文字として一時的に記憶する（ステップＳ３５）。
例えば、コード情報ＴＢＬの「対応データ」が「か行」であり、母音データが「う」であれば、文字データを「く」として生成する。
【００６２】
一方、「唇認識」を必要としないと判断された場合（ステップＳ３１のＮＯ）、先に最終決定済み文字として一時的に記憶されている文字に対して「対応データ」の機能を実行し、最終決定済みの文字として一時的に記憶する（ステップＳ３６）。
例えば、先に最終決定済み文字として「つ」が記憶されており、「対応データ」として「小文字」が指定されたときには、文字データ「っ」を生成する。
ステップＳ３５およびＳ３６でかな文字生成手段４を構成する。
【００６３】
ステップＳ３５またはＳ３６で生成された最終決定済み文字を表示画面へ表示して、一旦、かな文字入力処理を終了する（ステップＳ３７）。
【００６４】
以下、かな文字入力の動作を「む」を入力する場合を例にして説明する。
使用者は「む」の唇形状をとるかまたは「む」と発話しながら、コード「７」（「ま行」）を入力する。
唇画像入力手段１は、「む」の唇形状の動画像あるいは画像をバッファに記録する。
コード入力手段７でコード「７」が入力されると、コード判断手段８はコード情報ＴＢＬ９と照合して、コード「７」に対応する「対応データ」と「唇認識」の両項目の内容を取り出す。
【００６５】
この「対応データ」項目が「母音ＤＢ登録」以外であり、「唇認識」項目が「○」であるから、バッファに取り込まれている唇形状の最新の数フレーム（静止画像の場合には、１フレーム）をメモリへ記憶させて、画像特徴抽出手段２で唇形状の特徴データを計算する。
画像特徴抽出手段２では、メモリへ記憶された唇形状から唇の輪郭（唇画像のエッジのバウンダリボックス）を計算して、唇の中心およびバウンダリボックスの縦と横の長さを計算する。ここでは、バウンダリボックスの縦を「１２」画素、横を「９」画素とする。
また、動画像が扱える場合には、メモリへ記憶した最新数フレームの唇形状の画像を使用して、唇の上側面部、上中央部、下部の画素の移動値を計算する。ここでは、各部の移動値をそれぞれ、上側面部を「２」、上中央部を「１」、下部を「１」とする。
【００６６】
次に、母音判断手段３で計算された特徴データに対応する母音を決定する。
母音の決定方法としては、母音ＤＢ６の各要素（２つの唇輪郭形状平均値、３つの唇画素移動平均値）について、対応する特徴データの値との差の２乗に重みを乗じて、母音ごとの各要素の評価値を計算し、この各要素の評価値の和を計算することによって、母音ごとの評価値を計算する。
【００６７】
例えば、図４によれば、母音「あ」に対する母音ＤＢ６の特徴データは、それぞれ次のようになっている。
唇輪郭形状平均値（縦）＝２０、唇輪郭形状平均値（縦）の重み付け＝０.１、
唇輪郭形状平均値（横）＝２０、唇輪郭形状平均値（横）の重み付け＝０.１、
唇画像移動平均値（上側面）＝２、唇画像移動平均値（上側面）の重み付け＝１、
唇画像移動平均値（上中央）＝３、唇画像移動平均値（上中央）の重み付け＝１、
唇画像移動平均値（下）＝１、唇画像移動平均値（下）の重み付け＝１。
【００６８】
したがって、母音「あ」の評価値は次のような計算式になる。
母音「あ」の評価値＝（１２−２０）2×０.１＋（９−２０）2×０.１＋
（２−２）2×１＋（１−３）2×１＋（１−１）2×１
＝６４×０.１＋１２１×０.１＋０×１＋４×１＋０×１
＝２２.５
ここで、右辺１項目は唇輪郭形状の縦、２項目は唇輪郭形状の横、３項目は唇画像移動の上側面、４項目は唇画像移動の上中央、５項目は唇画像移動の下の各要素の評価値を表している。
同様にして、母音「い」乃至母音「お」の評価値は次のように計算される。
【００６９】
母音「い」の評価値＝４×０.１＋１２１×０.１＋１×１＋１×１＋０×１＝１４.５
母音「う」の評価値＝４×０.１＋１×０.１＋１×１＋０×１＋０×１＝１.５
母音「え」の評価値＝９×０.１＋３６×０.１＋０×１＋１×１＋０×１＝５.４
母音「お」の評価値＝９×０.１＋１×０.１＋１×１＋１×１＋１×１＝４.０
【００７０】
これらの結果から評価値が最も小さい母音「う」を判断結果とする。
次に、かな文字生成手段４は、先に取り出されたコード「７」の「対応データ」である「ま行」と、母音判断の結果である「う」を組み合わせて「む」の文字を生成し、最終決定済み文字として「む」の文字を表示画面へ表示する。
【００７１】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化し、予めＲＯＭ等の記録媒体に書き込んでおき、装置にこのＲＯＭを装着して、これらのプログラムをマイクロプロセッサで実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されて実行された状態が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００７２】
なお、このような機能を実現するプログラムは、半導体媒体（例えば、ＲＯＭ、不揮発性メモリ等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれの形態の記録媒体で提供されてもよい。
あるいは、ネットワーク等の通信網を介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００７３】
本発明のかな文字入力装置の機能をプログラムとしたり、そのプログラムを記録媒体に記録することによって、コスト、可搬性、汎用性を向上させることができる。
【図面の簡単な説明】
【００７４】
【図１】本発明のかな文字入力装置を実現する際の装置例である。
【図２】本発明のかな文字入力装置の機能構成を示すブロック図である。
【図３】唇画像入力手段で読み込まれた唇形状の動画像または画像から特徴データを抽出する方法を説明するための図である。
【図４】各母音の特徴データを保持する母音データベースのデータ構造例である。
【図５】コード情報テーブルのデータ構造例である。
【図６】母音に対する唇形状の特徴データを母音ＤＢへ登録処理するときの機能構成を示すブロック図である。
【図７】唇形状の特徴データを母音ＤＢへ登録する処理の流れを説明するフローチャートである。
【図８】外部入力された母音の唇形状の特徴データを母音ＤＢへ登録処理するときの機能構成を示すブロック図である。
【図９】外部入力された唇形状の特徴データを母音ＤＢへ登録する処理の流れを説明するフローチャートである。
【図１０】かな文字を入力するときの機能構成を示すブロック図である。
【図１１】かな文字入力するときの処理の流れを説明するフローチャートである。
【符号の説明】
【００７５】
１…唇画像入力手段、２…画像特徴抽出手段、３…母音判断手段、４…かな文字生成手段、５…かな文字出力手段、６…母音ＤＢ、７…コード入力手段、８…コード判断手段、９…コード情報ＴＢＬ、１０…母音ＤＢ生成手段、１１…データ入力手段、１０１…カメラ、１０２…表示画面、１０３…ボタン、１０４…外部コネクタ。
【図１】
2005108079.tif 000003
【図２】
2005108079.tif 000004
【図３】
2005108079.tif 000005
【図４】
2005108079.tif 000006
【図５】
2005108079.tif 000007
【図６】
2005108079.tif 000008
【図７】
2005108079.tif 000009
【図８】
2005108079.tif 000010
【図９】
2005108079.tif 000011
【図１０】
2005108079.tif 000012
【図１１】
2005108079.tif 000013