(57)【要約】【課題】視覚以外の感覚系も用いて、ポインターやアイコンなどの現在位置や移動方向を直感的に認識できる音付き表示装置を提供する。【解決手段】音声付き表示装置は、音階割り付け部１、座標指定部２、音階取得部３、音源位置設定部４、音声出力部５から構成され、音階割り付け部１において、音階、オクターブを表示画面の直交座標系に割り付け、座標指定部２において、音を出力してほしい指定座標値を指定し、音階取得部３において、前記の音階割付に従って指定された指定座標値に対応する音階を決定し、表示装置の左右に搭載されたステレオ式のスピーカーである音声出力部６において、音階取得部３において決定された音階を出力する。【選択図】      図２
2005327054.tif 000002
【特許請求の範囲】
【請求項１】
音声出力手段を有した表示装置において、
前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て手段と、
音を出力したい座標の位置である指定座標値を指定する座標指定手段と、
前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得手段と、
を有し、
前記音声出力手段は、前記取得した音を出力する
ことを特徴とする音声出力付き表示装置。
【請求項２】
前記座標指定手段は、
前記表示画面上に表示されているポインターの座標の位置を取得する座標取得手段と、
前記取得した座標の位置を前記指定座標値とする座標決定手段と、
を有する
ことを特徴とする請求項１に記載の音声出力付き表示装置。
【請求項３】
前記座標指定手段は、
前記表示画面上における所定の基準点の座標の位置を前記指定座標値とする座標決定手段を有する
ことを特徴とする請求項１に記載の音声出力付き表示装置。
【請求項４】
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成手段を有し、
前記音声出力手段は、前記生成した仮想の音像に従って所定の音を出力する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の音声出力付き表示装置。
【請求項５】
ユーザーの顔を撮影した画像を入力する画像入力手段と、
前記入力画像からユーザーの顔向きを検出する顔向き検出手段と、
を有し、
前記音像生成手段は、前記指定座標値を表現する音源が前記音源座標系上に存在するかのように前記検出された向きに対応した仮想の音像を生成する
ことを特徴とする請求項４に記載の音声出力付き表示装置。
【請求項６】
任意の三次元物体を撮影した画像を入力する画像入力手段と、
前記入力画像から三次元物体の向きを検出する三次元物体向き検出手段と、
前記座標指定手段は、
前記検出された向きに対応する表示画面上の座標の位置を指定座標値とする
ことを特徴とする請求項１から４の中で少なくとも一項に記載の音声出力付き表示装置。
【請求項７】
音声出力手段を有した表示装置における音出力方法において、
前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当てステップと、
音を出力したい座標の位置である指定座標値を指定する座標指定ステップと、
前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得ステップと、
前記取得した音を前記音声出力手段から出力する出力ステップと、
を有する
ことを特徴とする音声出力付き表示装置の音出力方法。
【請求項８】
音声出力手段を有した表示装置における音出力方法を実現するコンピュータのプログラムにおいて、
前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て機能と、
音を出力したい座標の位置である指定座標値を指定する座標指定機能と、
前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得機能と、
前記取得した音を前記音声出力手段から出力する出力機能と、
を実現する
ことを特徴とする音声出力付き表示装置の音出力方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末操作を行う際にポインターの絶対位置を音で示す音声出力付き表示装置に関するものである。
【背景技術】
【０００２】
パソコンなどの端末操作をする際に、操作内容などを表示する画面において、従来はポインター（カーソル）の位置を視覚によって確認している。
【０００３】
そのため、作業を中断した後に再び作業に戻る場合、ポインター位置を瞬時に見つけにくい。また、手許の資料を見ながら表示画面を見ないで操作を行う場合、ポインター位置を確認することができない。視力の低下した高齢者や弱視者にとっては、例えポインターを大きく表示したとしても視力だけに頼ることには限界がある。全盲者にとっては、視力だけに頼ったインターフェースを使うことができないという問題点がある。
【０００４】
このような問題点を解決するために、音声を利用した技術が既にいくつか提案されている。
【０００５】
特許文献１の発明では、ポインター位置の座標を数字で読み上げることを提案している。しかし、数字からは表示画面のポインター位置を直感的に認識しにくい。また、特許文献１では、ポインター位置から目標とするアイコンへの方向を音階で出力することも提案している。しかし、目標を決めずにポインターを移動させたい場合は使うことができない。また、方向を一定の音で表現しても直感的にわかりにくいという問題点がある。
【０００６】
特許文献２の発明では、表示装置の周りに２つ以上のスピーカーを配し、ポインターの移動方向に応じたスピーカーから音を出力することを提案している。これは音源位置をスピーカー位置と一致させた物理的な音像制御に相当するが、スピーカーの配置間隔が小さい場合などは、スピーカー配置位置の違いによる音の違いは小さく、聞き分けにくいという問題点がある。
【０００７】
特許文献３の発明では、カメラで撮影したユーザーの顔画像から、顔がどちらを向いているかを認識する顔向き推定技術を用いて、ユーザーの顔向きに応じてポインターを移動させることが提案されている。しかし、正確に顔の向きだけでポインターの位置を指定することが困難であるというという問題点がある。
【特許文献１】特開平９−２５８９４６号公報
【特許文献２】特開平７−８４７２４号公報
【特許文献３】特開２００３−１４１５５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、視覚以外の感覚系も用いて、ポインターやアイコンなどの現在位置や移動方向を直感的に認識できる音付き表示装置を提供する。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、音声出力手段を有した表示装置において、前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て手段と、音を出力したい座標の位置である指定座標値を指定する座標指定手段と、前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得手段と、を有し、前記音声出力手段は、前記取得した音を出力することを特徴とする音声出力付き表示装置である。
【００１０】
請求項２に係る発明は、前記座標指定手段は、前記表示画面上に表示されているポインターの座標の位置を取得する座標取得手段と、前記取得した座標の位置を前記指定座標値とする座標決定手段と、を有することを特徴とする請求項１に記載の音声出力付き表示装置である。
【００１１】
請求項３に係る発明は、前記座標指定手段は、前記表示画面上における所定の基準点の座標の位置を前記指定座標値とすることを特徴とする請求項１に記載の音声出力付き表示装置である。
【００１２】
請求項４に係る発明は、前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成手段を有し、前記音声出力手段は、前記生成した仮想の音像に従って所定の音を出力することを特徴とする請求項１から３の中で少なくとも一項に記載の音声出力付き表示装置である。
【００１３】
請求項５に係る発明は、ユーザーの顔を撮影した画像を入力する画像入力手段と、前記入力画像からユーザーの顔向きを検出する顔向き検出手段と、を有し、前記音像生成手段は、前記指定座標値を表現する音源が前記音源座標系上に存在するかのように前記検出された向きに対応した仮想の音像を生成することを特徴とする請求項４に記載の音声出力付き表示装置。
【００１４】
請求項６に係る発明は、任意の三次元物体を撮影した画像を入力する画像入力手段と、前記入力画像から三次元物体の向きを検出する三次元物体向き検出手段と、前記座標指定手段は、前記検出された向きに対応する表示画面上の座標の位置を指定座標値とすることを特徴とする請求項１から４の中で少なくとも一項に記載の音声出力付き表示装置である。
【００１５】
請求項７に係る発明は、音声出力手段を有した表示装置における音出力方法において、前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当てステップと、音を出力したい座標の位置である指定座標値を指定する座標指定ステップと、前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得ステップと、前記取得した音を前記音声出力手段から出力する出力ステップと、を有することを特徴とする音声出力付き表示装置の音出力方法である。
【００１６】
請求項８に係る発明は、音声出力手段を有した表示装置における音出力方法を実現するコンピュータのプログラムにおいて、前記表示装置における表示画面上の所定の位置を示すための直交座標系の座標値に対して、一方向にはオクターブ毎に順番に音が上がるように音を割り当て、他方向には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て機能と、音を出力したい座標の位置である指定座標値を指定する座標指定機能と、前記指定された指定座標値に対応して、前記割り当てられた音を取得する音声取得機能と、前記取得した音を前記音声出力手段から出力する出力機能と、を実現することを特徴とする音声出力付き表示装置の音出力方法のプログラムである。
【発明の効果】
【００１７】
請求項１、２、７、８の発明であると表示画面中の絶対位置に対して音階、オクターブを割り振り、割り振られた音を出力することによって、指定座標値（例えば、ポインター）の位置を直感的に認識できる。ポインターの位置や動きを、視覚効果だけではなく、音声で表すことにより、視力低下者、弱視や全盲者にも端末作業を行うことができるようになる。また、十分な視力を持っている場合でも、作業中断後などに、視覚だけに頼るよりもポインターを探しやすくなる。表示画面を見ないで作業を行うことも可能となる。
【００１８】
また、指定座標値の移動中でも、随時その位置の音を出力すれば、音がオクターブ上がっているのか下がっているのかで上下方向、または、左右方向を、音階の変化で左右方向、または、上下方向を直感的に認識できる。
【００１９】
請求項３の発明であると、表示装置の基準点（例えば、四隅）の音を出力することにより、基準音を知ることができ、ポインターの位置が表示画面のどの辺りにあるのかをポインター位置の音との比較で絶対音感を持たなくても認識可能となる。
【００２０】
請求項４の発明であると、あたかも音源がポインターと同じように動いているかのように、音像を変化させることにより、ポインターの移動方向をより強調することができる。また、左端に設定した「ド」と右端に設定した「シ」などのように、割付座標は離れていても、音階が近いために左右を判断しにく場合、音像の違いにより左右を認識しやすくなる。
【００２１】
請求項６の発明であると、マウス代わりに顔向きを使うことにより、音声情報に物理的直感が加わり、ポインターの移動をより認識しやすくなる。
【発明を実施するための最良の形態】
【００２２】
以下では、本発明の一実施形態の音声付き表示装置について図１から図６に基づいて説明する。
【００２３】
本実施形態の音声付き表示装置をパソコンに搭載した場合を例に説明する。
【００２４】
（１）音声付き表示装置の構成
図２に基づいて音声付き表示装置の構成を説明する。図２は、音声付き表示装置のブロック図を示す。
【００２５】
この音声付き表示装置は、液晶表示装置であり、また、音階割り付け部１、座標指定部２、音階取得部３、音源位置設定部４、音声出力部５を有し、各部１，２，３，４の各機能はパソコンに記憶されたプログラムによって実行される。
【００２６】
音階割り付け部１において、音階、オクターブを表示画面の直交座標系に割り付ける。割り付け方は様々な方法が考えられる。
【００２７】
その一例として、５オクターブ分の琉球音階を用いる場合を図３に示す。表示画面の左から右へはドミファソラシ、下から上へは１オクターブずつ上がるように設定する。音を出力したい表示画面上の座標値を（ｘ，ｙ）で、表示画面の横幅をW、縦幅をＨで表せば、表示画面のｘ座標が０以上W／６未満の領域にはドを割り付け、W／６以上２＊W／６未満の領域にはミを割り付ける。縦方向を例えば５オクターブで表すとすれば、０以上Ｈ／５未満の領域は、Ｈ／５以上２＊Ｈ／５未満の領域に対して１オクターブ高い音を設定する。
【００２８】
座標指定部２において、音を出力してほしい座標値（以下、指定座標値という）を指定する。座標の指定方法の詳細については後述する。
【００２９】
音階取得部３において、前記の音階割付に従って指定された指定座標値に対応する音階を決定する。また同時に、この表示画面上の指定座標値にポインターを表示してもよい。
【００３０】
表示装置の左右に搭載されたステレオ式のスピーカーである音声出力部６から音階取得部３において決定された音階、オクターブを出力する。なお、この音声出力部６はパソコンに搭載されたもの、または、表示装置と別体でもよい。
【００３１】
音源位置設定部４において、音源位置、音源速度、音源方向などを指定し、表示画面に対応した位置に音源が存在するかのように仮想の音像を生成することもできる。これについては、後述する。
【００３２】
本実施形態の音声付き表示装置では、図１に示すように、ポインターの位置を音階、オクターブで表現し、仮想的に音源が移動するかのような音像生成により、ユーザーは、ディスプレイを見なくてもポインターの絶対位置と動きを認識できる。
【００３３】
（２）音源位置設定部４の構成
次に、音源位置設定部４の構成について説明する。
【００３４】
音源方向は例えば、表示画面からユーザーに向かい、表示画面に対して垂直方向に設定する。音源位置を指定するために、まず表示画面に対応した音源座標系のＸ−Ｙ平面を設定する。図４に音源座標系の例を示す。表示画面の直交座標系（ｘ，ｙ）と音源座標系のＸ−Ｙ平面をそのまま一致させてもよい。音源位置の違いを認識しやすくなるよう、Ｘ−Ｙ座標のスケールを変えたり、表示画面より奥に音源座標系を設定することもできる。例えば図４のように、音源座標系のＸ−Ｙ平面が表示画面から距離Ｚ’だけ奥になるように、音源座標系を設定した場合、スケールaと表示画面上の指定座標（ｘ、ｙ）を用いて、音源座標（Ｘ，Ｙ，Ｚ）を（Ｘ,Ｙ,Ｚ）＝（ａｘ，ａｙ，０）と表せば、表示画面の位置関係をそのまま音源座標系に反映させることができる。
【００３５】
ここで、スケールａと奥行きＺ’はユーザーが自由に設定できるようにしておけば、ユーザーの音源位置認識能力に合わせて音像生成をカスタマイズできる。
【００３６】
音源の速度は常に０に設定しておいてもよいし、カーソルの移動に伴って音源も移動するかのように設定することもできる。後者の場合、音源の速度ベクトルは音源座標系系の時間微分によって得られる。このように設定された音階、音源座標、音源速度、音源方向などに従って生成される音像を音声出力部６から出力すれば、ユーザーには表示画面の直交座標系に対応した位置で音階が鳴っているかのように聞こえ、出力された音声からカーソル位置などを知ることができる。
【００３７】
（３）ユーザーの位置情報を考慮した音像の生成方法
次に、音源位置だけでなく、ユーザーの位置や向きの情報を考慮した音像を生成することもできる。これは、音声出力部６にヘッドホンなどを用いる場合に有効である。
【００３８】
例えば簡単に、ユーザーが表示画面に対して正面を向き、頭部中心が表示画面の中心の延長上に固定されていると仮定して、ユーザーの頭部位置と頭部向きを音源座標系で表現すればよい。このとき、頭部速度は（０，０，０）となる。図４で表される音源座標系のＸ−Ｙ平面と表示画面との距離をＺ’、表示画面とユーザーの頭部中心との距離をＺ’’とすれば、音源座標系（右手系）における頭部位置は（ａ＊Ｗ／２，ａ＊Ｈ／２，−Ｚ’−Ｚ’’）となる。
【００３９】
ただし、座標系の取り方は、ここで示す例が絶対的なものではなく、仮想の音像を生成するプログラムに合わせて設定あるいは変換すればよい。
【００４０】
ここではユーザーの頭部が固定されている場合を考えたが、実際にはユーザーの頭部の向きは作業中に移動する。より正確な仮想の音像を生成するために、ユーザーの頭部の動きを直接反映させてもよい。そのために、ユーザーの顔画像を撮影し、顔がどちらを向いているかを計算すれば、求まった顔向きをそのままユーザーの頭部の向きとして用いることができる。
【００４１】
図５に基づいて説明する。
【００４２】
画像入力部９において、ユーザーの顔画像を入力する。
【００４３】
顔向き計算部１０において、入力画像から顔向きを求める。そのために例えば、前述の特許文献３で提案されている顔向き計算手法を用いることができる。これは、顔画像を入力し、入力された画像から同一平面にない４点以上の顔の特徴点の二次元座標を検出し、あらかじめ登録しておいた特徴点の三次元座標を用いて、入力画像における顔の向きを求める方法である。
【００４４】
こうして求められた顔向きをユーザーの頭部の向きとして、音源位置設定部４において設定する。
【００４５】
また、頭部の位置は特徴点の重心座標から、頭部の速度ベクトルは頭部の位置座標の時間微分により設定できる。
【００４６】
以上のように設定された、音階、オクターブ、音源位置、音源速度、音源方向、ユーザー頭部位置、頭部速度、頭部向きに従って生成される仮想の音像を音声出力部６から出力すれば、ユーザーの頭部位置も考慮された正確な音像により表示画面の直交座標系における指定座標値を容易に想像することができる。
【００４７】
（４）座標指定方法−ポインターの存在位置
ところで、どの指定座標値を知りたいかによって、図２で表される座標指定部２における座標指定の方法も異なる。座標指定の例を図６に示す。
【００４８】
ポインターの存在位置を知りたい場合には、ポインター位置取得部６において、ポインターの位置している座標の位置を取得し、座標指定部２に渡せば、ポインターの位置している指定座標値での音階を出力できる。
【００４９】
ポインターが移動している場合も、移動のたびにポインターの座標の位置を取得し座標指定部２に渡せば、移動の軌跡を音階やオクターブの変化で知ることができる。
【００５０】
（５）座標指定方法−基準位置
ポインターの存在位置を知りたい場合、前記の座標指定方法でポインターの存在位置の音階を出力するだけでなく、その音を基準音と比較することができれば、絶対音感がなくても表示画面上の位置を想像しやすくなる。
【００５１】
そのために例えば、表示画面の四隅を基準点に設定する。図６で表される基準位置取得部７において、何らかのショートカットキーを設定し、設定したキーを押した場合に、表示画面の四隅の座標値を順に図６で表される座標指定部２に渡せば、表示画面の四隅での音階を基準音として順に出力できる。
【００５２】
（６）ポインターを操作するデバイス
ポインターを操作するデバイスとして、マウスがよく用いられる。これはマウスの相対的な動きをポインターの移動に反映させるため、全盲者には表示画面の絶対位置を把握しづらい。また作業中にキーボードから手を離す必要がある。
【００５３】
例えば、マウスの代わりに顔向きを利用してポインターを動かせば、作業中にキーボードから手を離す必要もなく、音声情報に物理的な顔の絶対向きが加わることによって表示画面上の指定座標値をより直感的に想像しやすくなる。
【００５４】
ユーザーの位置情報を考慮した音像生成方法に関して前記したように、図５の画像入力部９と顔向き計算部１０において、ユーザーの顔画像から顔向きを求めることができる。
【００５５】
図５で表されるポインター位置計算部１１において、特許文献３に従って顔向きからポインターの座標値を計算する。
【００５６】
図５で表されるポインター表示部１２において、求まったポインターの座標値にポインターを表示し、図５で表される座標指定部２において求まった座標値を指定座標値として指定すれば顔向きに対応したポインター位置の音階を出力することができる。
【００５７】
なお、表示画面を見ないで操作を行いたい場合もあるので、顔向きをポインター操作に利用するかしないかは、ユーザーが切り替えられるようにしておく。
【００５８】
また、ポインターを操作するためには顔に限らず、任意の三次元物体を用いることができる。
【００５９】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００６０】
（１）変更例１
音階としては、上記実施形態の琉球音階以外に平均律などがある。人間の認識できる周波数であれば、任意の周波数間隔をもつ音階を指定もできる。
【００６１】
（２）変更例２
音階割り付けとしては、上記実施形態の左から右へドレミファソラシ以外に右から左へドレミファソラシがある。また、上から下へ１オクターブずつ上がる設定にしてもよい。
【００６２】
また、縦方向と横方向を逆にして、下から上へドレミファソラシ、左から右へ１オクターブずつ上がる設定にしてもよい。
【００６３】
また、表示画面全体の範囲で音階を割り当てる以外に、アクティブなウィンドウなど、特定の表示領域内だけで音階を割り付けてもよい。
【００６４】
（３）変更例３
割り付け解像度としては、半音も入れて、横１２音階、縦６オクターブ、などがある。各音階名に対して音を重ねれば、より解像度を上げることができる。例えば、ドの領域をさらに、横１２音階、縦６オクターブに分割し、各音を重ね和音で表現すればよい。重ね和音以外にも、「ドミッ」「ドミドー」のような単音の連続でもよい。あるいは、ドの領域内で所定のキー操作を行ったら、その領域内を更に分割して単音で細かく表現する。この領域分割を繰り返せば、１画素単位の動きに対応できる。あるいは、所定のキー操作を行ったら、その座標を中心とした小領域に対して、その領域内を更に分割して単音で表現してもよい。また、分割毎に音色を変化させることもできる。
【００６５】
（４）変更例４
表示装置がマルチウィンドウの場合には、ウィンドウ毎に音色を変えることもできる。
【００６６】
（５）変更例５
ウィンドウのドラッグとしては、ウィンドウのドラッグ時にも、ドラッグ位置を音階で出力もできる。
【００６７】
（６）変更例６
ウィンドウの位置としては、位置を知りたいウィンドウを指定し、ウィンドウの四隅の音階を出力すれば、ウィンドウの位置もわかる。ポインターの位置の音階出力の合間に時々アクティブウィンドウの四隅の音階出力をすれば、ウィンドウ領域を基準にしたポインターの位置がわかる。また、ウィンドウをドラッグする場合は、ドラッグ中のウィンドウの四隅を音階出力する。
【００６８】
（７）変更例７
表示装置が三次元ディスプレイの場合には、奥行きを音色の変化で表し、３Ｄ音像制御を行えば三次元ディスプレイにも対応できる。また、顔向きも三次元で推定しているため対応可能である。
【００６９】
（８）変更例８
表示装置がマルチディスプレイの場合には、ディスプレイ毎に音色を変える。
【００７０】
（９）変更例９
アイコンの位置としては、位置を知りたいアイコンを指定し、アイコン位置の音階を出力すれば、アイコンの位置もわかる。アイコンの位置とポインターの位置を交互に音階出力すれば、ポインターをどちらに動かせば目標とするアイコンに近づけるかがわかる。
【００７１】
（１０）変更例１０
音声出力としては、位置情報を表す音階以外に、テキスト読み上げソフトを併用して、画面の文字情報を音声で伝達してもよい。これにより、音声情報での操作性が向上する。読み上げる位置を音階出力した後に読み上げたり、読み上げの声の高さを音階にあわせてもよい。
【００７２】
（１１）変更例１１
上記実施形態では、パソコンに搭載した場合について説明したが、これに限らず、例えば、情報携帯端末（ＰＤＡ）や携帯電話などに搭載してもよい。
【産業上の利用可能性】
【００７３】
本発明は、パソコン、情報携帯端末、携帯電話などに搭載するのが好適である。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施形態の音声出力付き表示装置の使用例の図である。
【図２】同じく音声出力付き表示装置のブロック図である。
【図３】表示画面上の音階、オクターブの割付例の図である。
【図４】音源座標系の例の図である。
【図５】顔向き利用の例の図である。
【図６】座標指定の方法を示す図である。
【符号の説明】
【００７５】
１    音階割り付け部
２    座標指定部
３    音階取得部
４    音源位置設定部
５    音声出力部
６    ポインター位置取得部
７    基準位置取得部
８    顔向きによるポインター位置取得部
９    画像入力部
１０    顔向き計算部
１１    ポインター位置計算部
１２    ポインター表示部
【図１】
2005327054.tif 000003
【図２】
2005327054.tif 000004
【図３】
2005327054.tif 000005
【図４】
2005327054.tif 000006
【図５】
2005327054.tif 000007
【図６】
2005327054.tif 000008