(57)【特許請求の範囲】
【請求項１】
互いに独立して配列される複数の入力キーを有し、手指動作と非手指動作とを連動して意味内容を表現する手話情報を入力するための入力装置であって、
前記複数の入力キーの一部に該当し、上半身を複数の部位に分解した上半身部位がそれぞれに割り当てられると共に割り当てられた前記上半身部位を表示する複数の上半身入力キーであって、それぞれに割り当てられた前記上半身部位同士の相対的な位置関係に従って互いに隣接配置されることで、前記上半身の全形を分解表示する複数の上半身入力キーと、
前記複数の入力キーの一部に該当し、手指の形状がそれぞれに割り当てられると共に割り当てられた前記手指の形状を表示する複数の手指入力キーと、
を備え、
複数の前記手指入力キーおよび複数の前記上半身入力キーがそれぞれ一群となって前記入力キーの配置領域の左右に分かれて配置されており、
前記手指入力キーで入力された手指の形状と、前記上半身入力キーで入力された上半身の部位、を入力識別手段で識別して動的に変化する手話表現の入力を可能とした入力装置。
【請求項２】
前記上半身入力キーと、前記手指入力キーとはそれぞれ汎用キーボードのキートップに割り当てられていることを特徴とする請求項１記載の入力装置。
【請求項３】
前記上半身入力キーは手話入力者に対してキーボードの左側に配置され、前記手指入力キーはキーボードの右側に配置されていることを特徴とする請求項２記載の入力装置。
【請求項４】
前記上半身入力キーと、前記手指入力キーとはそれぞれ平面的な入力画面にキーボード画像としてタッチパネル画面に表示されている請求項１記載の入力装置。
【請求項５】
互いに独立して配列される複数の入力キーを有する入力手段および制御手段を備え、手指動作と非手指動作とから手話の意味情報を検索する検索装置であって、
前記入力手段は、前記複数の入力キーの一部に該当し、上半身を複数の部位に分解した上半身部位がそれぞれに割り当てられると共に割り当てられた前記上半身部位を表示する複数の上半身入力キーであってそれぞれに割り当てられた前記上半身部位同士の相対的な
位置関係に従って互いに隣接配置されることで前記上半身の全形を分解表示する複数の上半身入力キーと、前記複数の入力キーの一部に該当し、手指の形状がそれぞれに割り当てられると共に割り当てられた前記手指の形状を表示する複数の手指入力キーと、を有し、複数の前記手指入力キーおよび複数の前記上半身入力キーがそれぞれ一群となって前記入力キーの配置領域の左右に分かれて配置されており、
前記制御手段は、前記入力手段の手指入力キーの入力により手指動作情報を取得した後に、当該手指動作情報と組み合わされる可能性のある前記上半身入力キーからの入力による非手指動作情報を予測して、記憶手段に記憶されている手指動作情報と非手指動作情報との組み合わせからなる有意単語を読み出して表示手段に表示する、手話検索装置。
【請求項６】
前記制御手段は、前記手指動作情報を取得して前記記憶手段に記憶されている手指動作情報と非手指動作情報との組み合わせからなる有意単語を読み出して前記表示手段に表示した後に、
さらに前記上半身入力キーからの入力があったときには、前記手指動作情報と当該上半身入力キーからの入力による非手指動作情報との組み合わせにより前記有意単語の絞り込み検索を行い、検索結果情報を前記表示手段に表示させる請求項５記載の手話検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手話で表現される視覚的な意思伝達に利用される手話キーボードおよびそれを用いた手話検索装置に関する。
【背景技術】
【０００２】
従来、聴覚障害者（ろう者）のための情報伝達手段として手話が多く用いられている。手話は、手指動作と非手指動作とを同時に使う視覚言語であり、音声言語と並ぶ言語であるが、これらの手話による表現と電子情報をどのように関連付けるかが課題であった。【０００３】
たとえば、特開２００８−２１６３９７号（特許文献１）では、健聴者および聴覚障害者の双方が情報内容を簡単かつ迅速にしかも正確に把握できるようにするために、文章データを形態素解析してキーワードを抽出し、このキーワードから箇条書きテキストデータと断片手話映像データに変換してろう者に視覚的に表示する技術が開示されている。【０００４】
また、手話者の上半身を動画として撮影して、これを画像解析して単語や文章に変換するような技術が提案されてくることも当業者であれば容易に創到するであろう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１６３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の文献１の技術は、入力され文書データを形態素解析する処理と、その結果をさらにあらかじめ用意された断片手話映像データに変換するといった複数の作業が必要なために、文書データの意味内容が正確に断片手話映像に反映されにくい問題があった。【０００７】
さらに、手話者の動作を動画で撮影して、これを画像解析する技術は、手話者も個性によって微妙に手指動作と非手指動作が異なり、かつ両者の連係動作についても個性があるため、画像解析が難しいという問題があった。【０００８】
さらに、手話による表現は両手を上半身の大きな動きを必要とするため、手指や腕に障害を負ったり、年齢を重ねたろう者には体力的に難しいという懸念もあった。【０００９】
すなわち、少なくとも一方がろう者である場合の、手話をインターフェースとしたコミュニケーションにおいては、情報入力に際してより簡略な入力方式の登場が望まれていた。
一方、手話は手指動作と非指動作とが連動して意味内容を示すものであるが、これらの両動作から手話の意味内容を推測するのは難しく、あらかじめ手指動作と非指動作に分けたカード等を用意してこれらの意味内容を学習するしか方法がなかった。【００１０】
本発明は、斯かる実情に鑑みてなされたものであり、その第１の課題は手話が手指動作と非手指動作から成り立っているという特性に着目して、簡易に入力が可能な入力手段を提供することにある。
本発明の第２の課題は手指動作と非手指動作とから手話の意味内容を検索可能な検索手段を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は以下の手段からなる。【００１２】
本発明の請求項１は、手指動作と非手指動作とを連動して意味内容を表現する手話情報を入力するための入力装置であって、少なくとも話者の上半身部位を分解表示した複数の上半身入力領域と、手指の形状をその一つずつに割り当てた手指入力領域と、話者の手首を垂直上方にした動作と、垂直下方にした動作と、水平方向にした動作とをそれぞれ表す手首状態入力領域と、前記手指入力領域で入力された手指の形状と、それに引き続いて入力された上半身の部位と、必要に応じて入力された手首の動作とを入力識別手段で識別して動的に変化する手話表現の入力を可能とした入力装置である。【００１３】
これによれば、入力装置が上半身入力領域と、手指入力領域と、手首状態入力領域とに分割されているため、手指動作と非手指動作とが連動してスムーズに入力することができ、手話の意味する情報の入力を極めて簡便に行うことが可能となる。【００１４】
本発明の請求項２は、前記上半身入力領域と、手指入力領域と、手首状態入力領域はそれぞれ汎用キーボードに割り当てられているキーボードである。このように汎用のキーボードに各領域を割り当てることによって、ハードウエアの物理的構成を改めて設計し直すことなく、安価で簡易な手話入力が可能となる。【００１５】
本発明の請求項３は、前記上半身入力領域は手話入力者に対してキーボードの左側に配置され、前記手指入力領域はキーボードの右側に配置され、手首状態入力領域はキーボードの上部に配置されていることを特徴とするものである。【００１６】
これによれば、手話入力のために汎用のキーボードを用いる場合に最適な配置を得ることができる。【００１７】
本発明の請求項４は、前記上半身入力領域と、手指入力領域と、手首状態入力領域はそれぞれ平面的な入力画面にキーボード画像としてタッチパネル画面に表示されているものである。【００１８】
これによれば、物理的な入力装置としてタッチパネル表示画面を有するパーソナルコンピュータやパッド面上に印刷で領域が表示されたタッチパッド等を用いることができ、キーボード装置の物理的な構造にとらわれないで各領域の配置が可能となる。
本発明の請求項５は、手指動作と非手指動作とから手話の意味情報を検索する検索装置であって、少なくとも話者の上半身部分を分解表示した複数の上半身入力領域と、手指の形状をその一つずつに割り当てた手指入力領域と、話者の手首を垂直上方にした動作と、垂直下方にした動作と、水平方向にした動作とをそれぞれ表す手首状態入力領域とを有する入力手段と、前記入力手段の手指入力領域の入力により手指動作情報を取得した後に、当該手指動作情報と組み合わされる可能性のある非手指動作情報、すなわち前記上半身入力領域からの入力と前記手首状態入力領域からの入力を予測して、記憶手段に記憶されている手指動作情報と非手指動作情報との組み合わせからなる有意単語を読み出して表示手段に表示する制御手段とを有する手話検索装置である。
これによれば、まず手指動作が当てはめられた手指入力領域を指定するだけで、この手指動作を出発動作として組み合わされる非手指動作が予想され、その組み合わせが意味する有意単語が表示手段に表示されるため、手話検索が可能となる。
本発明の請求項６は、前記制御手段は、前記手指動作情報を取得して前記記憶手段に記憶されている手指動作情報と非手指動作情報との組み合わせからなる有意単語を読み出して表示手段に表示した後に、さらに上半身入力領域および／または手首状態入力領域からの入力があったときには、前記手指動作情報と当該上半身入力情報および／または手首状態入力情報との組み合わせにより前記有意単語の絞り込み検索を行い、検索結果情報を前記表示手段に表示させる請求項５記載の手話検索装置である。
これによれば、手指入力領域からの入力に続いて、上半身入力領域と手首状態入力領域の入力によってさらに単語候補を絞り込むことができる。
【発明の効果】
【００１９】
本発明の手話キーボードによれば、手話による表現やその意味内容の検索をより簡易かつ的確にすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例であるキーボードの配置を示す説明図
【図２】実施例の上半身入力領域を示す説明図
【図３】実施例の入力手順を示す説明図（１）
【図４】実施例の入力手順を示す説明図（２）
【図５】実施例の入力手順を示す説明図（３）
【図６】実施例の入力手順を示す説明図（４）
【図７】実施例の入力手順を示す説明図（５）
【図８】実施例の入力手順を示す説明図（６）
【図９】実施例の検索手順を示す説明図（１）
【図１０】実施例の検索手順を示す説明図（２）
【図１１】実施例の検索手順を示す説明図（３）
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を添付図面を参照して説明する。
【実施例】
【００２２】
本発明の手話キーボードは図１に示すキートップを備えた汎用のキーボード装置であり、その各キートップにそれぞれ上半身入力領域と、手指入力領域と、手首状態入力領域を割り当てて配置している。【００２３】
より具体的には、図１においてキーボードの入力者側（手前側）からみて左側に上半身入力領域（１０１〜１０９）が配置され、右側に手指入力領域（２０１〜２２４）が配置され、上部に手首状態入力領域（３０１〜３０５）が配置されている。【００２４】
上半身入力領域は、キートップ１０１〜１０９が示す９個のキーで構成されており、１０１が左上頭部、１０２が中央上頭部、１０３が右上頭部、１０４が左肩部、１０５が下顔部、１０６が右肩部、１０７が左手部、１０８が腹部、１０９が右手部をそれぞれ表示している。【００２５】
手指入力領域は、キートップ２０１〜２２４が示す２４個のキーで構成されており、それぞれのキートップには手話として用いられる手指形状がそれぞれ割り当てられて表示されている。【００２６】
また、手首状態入力領域は、キートップ３０１〜３０５が示す５個のキーで構成されている。【００２７】
なお、左シフトキー４０１は、左手の手の形を選択するためのキーで、当該左シフトキー４０１を押した後に、手指入力キー２０１〜２２４を押すことで左手の手指入力が実現するようになっている。また、右手に関しては、左シフトキー４０１を押していない時が右手の手指入力モードとなっている。さらに、Caps Lock（シフトキー「Shift」とコントロールキー「Ctrl」を同時に押すと実現する機能）を用いて常時左手による手指入力モードとしてもよい。【００２８】
さらに、指を曲げるという「Ｌ字状の図形」をキートップに表示したキー（指曲げキー４０２）も用意する。基本的に指を曲げるものは少ないので、手指入力キー２０１〜２２４のいずれかを押した後に、この指曲げキー４０２を１回押すと、曲がるの動作が入力されることになる。また、この指曲げキー４０２を再度押すと曲げた指が戻るという動作を入力したことになる。なお、指が90度以上曲がった場合は曲がったとし、若干曲げる程度のものは、キーボード上では、曲がってないと判断する。【００２９】
なお、手首状態入力キーの一部３０１と３０２は、小さな円形と大きな円形をキートップに表示しており、手話の大きさを表す「小」、「大」を意味する。手首状態入力キー３０３〜３０５は、手首の角度を意味しており、手首を垂直下に向けたキー３０３、水平にしたキー３０４、垂直上に向けたキー３０５が配置されている。【００３０】
なお、キートップへの表示は省略したが、以上に説明したキー以外のキーは「です」や「しかし」などの、接続詞などの短縮キーとしての機能を割り当ててもよい。【００３１】
手話キーボードは、汎用のパーソナルコンピュータにＵＳＢインターフェース、ルートゥース、赤外線通信等の無線インターフェースで接続されている。当該パーソナルコンピュータには、図示は省略するが、中央処理装置（ＣＰＵ）を中心に、バス（ＢＵＳ）を介して接続された、メインメモリ（ＭＭ）、大規模記憶装置としてのハードディスク装置（ＨＤ）、出力装置としてのディスプレイ装置（ＤＩＳＰ）、プリンタ装置（ＰＲＮ）等を有している。【００３２】
前記ハードディスク装置（ＨＤ）内にはオペレーティングシステム（ＯＳ）とともに、アプリケーションプログラム（ＡＰＬ）がインストールされている。当該アプリケーションプログラム（ＡＰＬ）はバス（ＢＵＳ）およびメインメモリ（ＭＭ）を介して中央処理装置（ＣＰＵ）に読み込まれて順次実行処理される。【００３３】
このアプリケーションプログラム（ＡＰＬ）は、手話キーボードで入力された手話情報をそれを意味する文章に変換する機能を有しており、手話文法に従った解析アルゴリズムモジュールに基づいて変換テーブルに登録された文章情報をディスプレイ装置（ＤＩＳＰ）に出力するようになっている。なおこの解析アルゴリズムモジュールは手話キーボード内に設けておき、パーソナルコンピュータには変換後の文章情報をテキストコードとして入力するようにしてもよい。【００３４】
以下は、当該手話キーボードが機能として備える解析アルゴリズムによる解析手順を手話キーボードの入力手順にしたがって説明する。【００３５】
表現したい言葉が二つの動作から成り立っている手話の場合（例：なぜ？＝理由→何？）、最初の手の形（手指キー２０１〜２２４で特定）および位置（上半身入力キー１０１〜１０９で特定）を押した後に、特に何もせずに、各キーから指を話し、次の手話の手の形（手指キー２０１〜２２４で特定）・位置（上半身入力キー１０１〜１０９で特定）を特定した後、エンターキーで確定する。【００３６】
一方、連続した動作の手話の場合、たとえば「よろしく＝良い＋お願い」等の場合、最初の手の形（手指キー２０１〜２２４で特定）・位置（上半身入力キー１０１〜１０９で特定）を押した後に、これらのキーから指を離さずに押しながら、次の手の形、位置を選択する。【００３７】
以下にさらに詳細な文章を手話キーボードで入力する場合について説明する。【００３８】
たとえば、「お疲れ様」という手話は、両手をグーにし、右手を首のあたりから、胸の前に置いた左手に向かって下ろす動作を行う手話である。これを本実施例の手話キーボードで入力する場合、まず左手を選択する左シフトキー４０１を押し、次に手指キーの「グー」を意味するキー２０１を押し、上半身入力キーの左手の位置のキー１０７を押した後にこれらのキーの押し下げ状態を離し、次に再度手指キーの「グー」を意味するキー２０１を押し、首の位置を示す上半身入力キー１０５を押した状態のまま胸の位置を意味する上半身入力キー１０８を押す。これらの動作によって、「左手を胸の前にグーの形で置き、右手をグーにし、首から胸にかけて移動させた手話」ということになる。以上の手順をキートップを押す手順で示したのが図３である。【００３９】
図４は、「一緒」を意味する手話を手話キーボードで入力する手順を示したものであり、「両手の人差指を立て、胸の左右に広げ、指を近づけていき、指の脇をくっつける」という動作を表している。【００４０】
すなわち、「左シフトキー４０１→手指キー２２４→上半身入力キー１０９を押したままキー１０８を押して一旦キーを離す。次に、手指キー２２４→上半身入力キー１０８を押したままキー１０７を押した後各キーを離す」という動作を表している。【００４１】
図５は、「小さい」を意味する手話を手話キーボードで入力する手順を示したものであり、左手の人差指を立て、右手の人差指と中指を立て、それで左の手の人差指の左右に置くことによって漢字の「小」を作る。【００４２】
これを実施例の手話キーボードで入力する場合、「左シフトキー４０１→手指キー２２４→上半身入力キー１０５」の順序で押した後、各キーを開放し、次に、「手指キー２１０→上半身入力キー１０５」を押す。【００４３】
図６は、「探す」という手話を手話キーボードで入力する手順を示したものであり、「人差指と親指で輪を作って、顔の高さで左から右へ動かす」という動作を表している。【００４４】
具体的には、「手指キー２１４→上半身入力キー１０３を押した状態のまま、キー１０２およびキー１０１を順次押す」ことで入力可能である。【００４５】
また、「小」（小キー３０１）と「大」（大キー３０２）を使う場合の手話について説明すると、「さっき」、「以前」、「ずっと前」の手話は掌を少し丸め、後ろに向けて後ろに引く動作が共通である。しかし、その動作を小さく行えば、「さっき」、大きく行えば「ずっと前」、普通におこうと「以前」となる。つまり、掌をすぼめた形は手指キー２１７であるので、「手指キー２１７→上半身入力キー１０１」（図７）の入力で「以前」に変換され、「手指キー２１７→上半身入力キー１０１→小キー３０１」が「さっき」（または「先ほど））に変換され、「手指キー２１７→上半身入力キー１０１→大キー３０２」が「ずっと前」に変換されてパーソナルコンピュータに入力されることになる。【００４６】
図８は、「キャンプ」を意味する手話を手話キーボードで入力する手順を示したものである。「キャンプ」は手話では手の位置を変えながら、手の形も変えるため、複雑な動きを必要とする。具体的には、「左手の甲を上に向け、胸の前で体と平行に左腕を置き、右手の指を開いて、左手の甲の上に置き、手をすぼめながら首の位置まで上げる」という動作を行う。【００４７】
手話キーボードでは、「左シフトキー４０１→手指キー２１７→上半身入力キー１０８」と押した後に各キーを離し、次いで「手指キー２１９を押しながらキー２２３を押す」。さらに「上半身入力キー１０８を押しながらキー１０５を押す」というキー入力によって「キャンプ」という単語に変換されてパーソナルコンピュータに入力されることになる。【００４８】
なお、以上に説明したキーの配置や操作手順はあくまでも一例であり本実施例に限定されるものではない。要するに、上半身の部位を示すキーが分割表示されて、かつ各指の形がそれぞれのキーに割り当てられていればよい。【００４９】
さらに、以上の実施例の説明では、汎用のキーボード装置に上半身入力キーや手指キーを割り当てて配置した手話キーボード装置で説明したが、キーボードは必ずしも機械的なキーの押し下げ機構を備えたものである必要はなく、たとえばタッチパネルディスプレイ装置に画像表示されたものであってもよい。また、タッチペンで入力するタッチパッドの表面に図１に示したキーボードが印刷され、タッチペンのタッチ位置でキーボードと同じ入力が可能な機能を有するものであってもよい。
次に、本実施形態の手話キーボードを検索装置の入力手段として用いた場合の実施形態について説明する。
当該キーボードは、図示しないパーソナルコンピュータにＵＳＢ等のインターフェースを介して接続されている。
パーソナルコンピュータは汎用のコンピュータであり、中央処理装置およびメインメモリを中心にバスで接続されたハードディスク装置、ディスプレイ装置等を有している。
ハードディスク装置内には、オペレーティングシステムとともに、手話アプリケーションプログラム、手話動画データ、手指動作と非手指動作の組み合わせにより表現される単語データベース等が格納されており、この手話アプリケーションプログラムをバスおよびメインメモリを介して中央処理装置が順次読み込んで実行処理することによって、以下に説明する本実施形態の機能が実現される。
本実施形態で説明したキーボード（図１参照）は、ＵＳＢインターフェースを介して前記バスに接続されている。
キーボードを用いた手話検索を行う場合、まず中央処理装置は手話アプリケーションプログラムを読み込んでキーボードからの割り込み処理を待つ。
まず、キーボードの手指入力キー、ここでは人差し指を上方にした状態のキー、すなわち手指キー２０３が押されると、手話アプリケーションプログラムは、当該手指キーの割り込みコードを検出して、この手指キーを用いる単語を単語データベースから読み出してその候補単語を手話画像とともにディスプレイ装置に表示する（図９参照）。このとき、単語データベースは学習機能により、使用頻度の高い単語のグループのみを表示する。図９では、前記手指キー２０３の手指動作を使うことによって表現可能な６個の単語、すなわち「私」、「手話」、「明日」、「考える」、「聴く」および「遊ぶ」が文字と手話画像とで表示されている。
この段階で検索目的の単語が見つかった場合には検索は終了する。
当該検索結果が大量に索出された場合には、前記手指キー２０３の手指動作の入力に続いて、非手指動作を意味するキー、たとえば上半身入力キー１０１（頭の右上を示すキー）を押す。これによって、人差し指を頭の右上に位置させた状態の手話が意味する候補単語に絞り込まれてこれらの絞り込み候補単語が手話画像とともにディスプレイ装置に表示される（図１０）。
上記図１０に示した絞り込み検索でもまだ絞り込みが完了しない場合には、さらに非手指キーの入力によって、手話の動作を限定することで単語を絞り込むことができる。たとえば図１１に示すように、手指キー２０３→上半身入力キー１０１に続いて、シフトキー４０１を押しながら手指キー２０３を押すことによって、左手の人差し指を指定入力することができる（図１１参照）。この段階で、右手の人差し指を頭の右上に配置させながら左手の人差し指を使う手話に該当する単語に絞り込みが行われる。この結果同図に示すように、「聴」と「遊ぶ」の単語に絞り込まれることになる。
最後に、頭の左上を表す上半身入力キー１０３を押すことによって、左手の人差し指を頭の左上に配置させる手話動作を意味することになり、これによって最終的に両手の人差し指を頭のそれぞれの上方に配置させる「遊ぶ」という単語を意味する手話動作に絞り込まれる（図１１参照）
このように、手指キー２０３→上半身入力キー１０１→シフトキー４０１＋手指キー２０３→上半身入力キー１０３と順次キーが押されていく段階毎に手話動作が絞り込まれそれに該当する単語も絞り込みが行われていく。
以上の実施形態では、独立したキーボードがＵＳＢ規格等のインターフェースで手話アプリケーションプログラムをインストールしたパーソナルコンピュータに接続した場合で説明したが、これに限定されるものではなく、図１に示したようなキー配置を有するキーボードを備えたものであれば、電子辞書、スマートホン等で実現してもよい。
さらに、手話アプリケーションプログラムは、パーソナルコンピュータのハードディスク装置にインストールした場合で説明したが、これに限らず、当該プログラムはサーバにインストールされており、インターネット等の通信網を介して入力結果や検索結果を端末装置に表示させるようにしてもよい。
【産業上の利用可能性】
【００５０】
本発明の手話キーボードは、手話により表現される意味内容の入力システムまたは検索システム、手話の電子辞書として利用することができる。
【符号の説明】
【００５１】
１０１〜１０６  上半身入力領域（上半身入力キー）
２１０〜２２４  手指入力領域（手指入力キー）
３０１〜３０５  手首状態入力領域（手首状態入力キー）
４０１  左シフトキー
４０２  指曲げキー
【図１】
0005628691.tif 000002
【図２】
0005628691.tif 000003
【図３】
0005628691.tif 000004
【図４】
0005628691.tif 000005
【図５】
0005628691.tif 000006
【図６】
0005628691.tif 000007
【図７】
0005628691.tif 000008
【図８】
0005628691.tif 000009
【図９】
0005628691.tif 000010
【図１０】
0005628691.tif 000011
【図１１】
0005628691.tif 000012