(57)【特許請求の範囲】
【請求項１】
コンピュータによって実現される作曲方法であって、
ディジタル・ペンからの入力を受ける段階と、
前記ディジタル・ペンのペン先のタブレット上の位置に基づいて、音符または休符の入力が要求されているか、無拘束の手書きの入力が要求されているかを判定する段階とを含み、
前記判定する段階で、音符または休符の入力が要求されていると判定した場合には、
前記ペン先の前記タブレット上の位置に音符および休符のスクロール・メニューを立ち上げ、該メニューをスクロールして音符または休符を選択する段階と、
前記ペン先を前記タブレット上の前記スクロール・メニューを立ち上げた位置から外して音符または休符を前記スクロール・メニューを立ち上げた前記位置に挿入することを決定する段階であって、前記ペン先の位置を、拍子に関して最も頻繁に使用された音符と一致させ、前記作曲者が、タブレット上の所望の位置に接触することによって同じ持続時間の音符を書くことができるようにする段階と、
決定した前記位置に音符または休符を表示する段階と
をさらに含み、
前記判定する段階で、前記無拘束の手書きを行うと判定した場合には、
前記ディジタル・ペンの使用により前記無拘束の手書きによる情報を入力する段階と、
前記ディジタル・ペンのペン先のタブレット上の位置に基づいて選択された辞書を用いて、入力された前記情報を音楽記号表現に変換する段階と、
前記タブレット上に変換された前記音楽記号表現を表示する段階と
をさらに含む方法。
【請求項２】
コンピュータによって実行可能な、作曲方法を実行するためのコンピュータ可読命令プログラムであって、
ディジタル・ペンからの入力を受ける段階と、
前記ディジタル・ペンのペン先のタブレット上の位置に基づいて、音符または休符の入力が要求されているか、無拘束の手書きの入力が要求されているかを判定する段階とをコンピュータに実行させ、
前記判定する段階で、音符または休符の入力が要求されていると判定した場合には、さらに、
前記ペン先の前記タブレット上の位置に音符および休符のスクロール・メニューを立ち上げ、該メニューをスクロールして音符または休符を選択する段階と、
前記ペン先を前記タブレット上の前記スクロール・メニューを立ち上げた位置から外して音符または休符を前記スクロール・メニューを立ち上げた前記位置に挿入することを決定する段階であって、前記ペン先の位置を、拍子に関して最も頻繁に使用された音符と一致させ、前記作曲者が、タブレット上の所望の位置に接触することによって同じ持続時間の音符を書くことができるようにする段階と、
決定した前記位置に音符または休符を表示する段階と
をコンピュータに実行させ、
前記判定する段階で、前記無拘束の手書きを行うと判定した場合には、さらに
前記ディジタル・ペンの使用により前記無拘束の手書きによる情報を入力する段階と、
前記ディジタル・ペンのペン先のタブレット上の位置に基づいて選択された辞書を用いて、入力された前記情報を音楽記号表現に変換する段階と、
前記タブレット上に変換された前記音楽記号表現を表示する段階と
をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般に、コンピュータを使用してコモン・ミュージック・ノテーション（Common Music Notation（ＣＭＮ））を入力するためのインタフェースに関し、詳細には、迅速かつ自然にこれを実行するためのインタフェースに関する。
【０００２】
【従来の技術】
従来の技法では、ユーザ／作曲者がコンピュータ上で簡単かつ能率的に作曲を行なうことが課題であった。もう１つの課題が、無拘束に手書きされたテキストの自動認識であった。隠れマルコフ・モデル（ＨＭＭ）などの統計的方法が音声認識に使用されて成功をおさめ、それらの方法が最近、手書き文字認識の問題にも適用されて大きな成功を収めた。
【０００３】
しかし、本発明以前に、大語彙手書き文字認識を利用して記譜システムを生み出そうとする試みはなかった。
【０００４】
さらに、コンピュータを使用する従来の作曲システムおよび方法では一般に、入力装置としてキーボードおよびマウスが、「ドラッグ・アンド・ドロップ」または「ピック・アンド・プレース」法で使用される。すなわち、音符を入力するため、ユーザがマウスを介してメニューにアクセスし、それを別の場所（例えば表示画面上の五線紙）に移動させる。しかしこのような技法は非常に面倒な上に時間がかかり、ユーザに大きな疲労と不便を強いる。
【０００５】
記譜システムにおける「ピック・アンド・プレース」システムの１つの重大な問題は、一般的な記譜法では数百もの形状が使用され、これらのサイズが大きく、これらを階層的に分類することが困難であるために、数百からなるリストの中からユーザが適当な記号を見つけ出すことが非常に難しいことである。音譜作成者は、自分がどの記号を書いているかを完全に知っている。しかし、可能な数百もの記号の中からその記号を見つけ出す過程で作曲者の思考の糸はちぎれ、音符を書く瞬間に効果的な芸術的ムードは破壊される。そのため、現行のほとんどのコンピュータ記譜ソフトウェアはオンザフライ作曲に対して用をなさず、曲を紙の上に書いた後の単なる編集ツールとして使用されているにすぎない。
【０００６】
【発明が解決しようとする課題】
したがって、本発明以前の作曲者は、紙の上に書くときのようにスタイラスを使用してディジタル・パッド上に曲を生み出すことができず、きれいな結果を見ること、およびシンセサイザを通して曲を即座に再生することができない。
【０００７】
従来のシステムおよび技法の上記の問題、短所および欠点、ならびにその他の問題、短所および欠点を考慮して、本発明は考案された。本発明の目的は、ディジタル・ペン、ライティング・スタイラスなどの入力装置を使用してコモン・ミュージック・ノテーションを書くための構造および方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、本発明の一態様によればコンピュータによって実現される作曲方法は、入力装置からの入力に基づいてメニューを立ち上げる段階と、前記入力装置を用い、メニュー項目および作曲者による無拘束の手書きに基づいて音譜を選択的に入力する段階と、前記音譜を表示する段階を含む。
【０００９】
したがって、本発明のユニークかつ明白とは言えない特徴を用いて、作曲者は、簡単かつ能率的に作曲することができる。作曲者は、パレット上でクリック（タッピング）するだけで一般に使用されている音符を入力することができ、「クレシェンド」、「アンダンテ」、音部記号、曲の拍子／調子などの所定のマーク、用語などのあまり一般的でない項目をタブレット上に単純に書き込む（例えば手書きする）ことができる。これによってインタフェースが、作曲者がペン／鉛筆と紙を伝統的に使用して作曲する（例えば人々が慣れ親しんでいる）紙インタフェースに非常によく似たインタフェースとなる。しかし紙インタフェースとは異なり、本発明ではユーザが短時間で作曲し、その曲を即座に聞いて、その曲がどのようなものかを知ることができる。
【００１０】
したがって、作曲者は、紙の上に書くときのようにスタイラスを使用してディジタル・パッド上に曲を生み出すことができ、さらに追加の利点として、きれいな結果を見ること、およびシンセサイザを通して曲を即座に再生することができるので、本発明を使用して従来のプロセスを排除することができる。これによってシステムは、単なるオーサリング・ツールではない生成ツールとなる。
【００１１】
【発明の実施の形態】
次に図面、具体的には図１〜９を参照すると、本発明に基づく方法および構造の好ましい実施形態が示されている。
【００１２】
好ましい実施形態
以下に、図１〜９を参照して本発明の好ましい実施形態を説明する。
【００１３】
図１に、本発明のシステム１００の概略ブロック図を示す。システム１００は、好ましくはディジタル・ペンを備える入力装置１０、音符／休符ディテクタ２１および手書き文字認識エンジン２２を含む検出装置２０、手書き文字認識エンジン２２によってアクセスされる辞書３０、検出装置２０の出力を受け取り、ディジタル・ペンからの入力を音譜に変換する音譜変換装置（コンバータ）４０、入力装置１０および手書き文字ディテクタ２０に結合され、入力装置の位置を検知し、他の音譜に空間的に関係した選択位置で使用可能な音譜（例えば音符／休符、手書き記号など）を決定するのに使用する位置ディテクタ、ならびにユーザが見られるようにスクリーンまたはディスプレイ出力上に音譜を表示する出力装置６０を含む。
【００１４】
先に述べたとおり入力装置１０は、ユーザがタブレットなどの上に無拘束に（例えば通常の手書きの活字体または筆記体で）書くことができるディジタル・ペン（または他の同種の筆記用具）であることが好ましい。
【００１５】
本発明では、ユーザが２種類の入力（例えば、音符／休符と、ユーザが書き込んだ「クレシェンド」記号、「アレグロ」記号、符尾の接続、音部記号などの外来マーク）を入力することができるので、検出装置２０は、音符／休符ディテクタ２１および手書き文字認識エンジン２２を含む。ディテクタ２１は、ユーザが選択した従来の音符および休符を検出する。
【００１６】
手書き文字認識エンジン２２はディテクタ２１と並列に位置し、図２に示すように、単語レコグナイザ２２Ａ（例えば「Andante」、「piano」などの語を認識する）、図形マーク・レコグナイザ２２Ｂ（例えば、音部記号、図７の四分音符の下のクレシェンド記号４０６などの記号を認識する）、および音譜を調整／修正する（例えば音符群の丸囲み、音符の消去など）ためのジェスチャ（例えば一般的な校正表記）を認識するジェスチャ・レコグナイザ２２Ｃを含む。
【００１７】
後に詳細に論じるように、通常の書込みは、特定の位置にどの種類の語を入力することができるかに影響を与えるもの以外は重要ではない。しかし、例えばクレシェンド記号（例えば記号４０６）は、クレシェンド記号がどこから始まり、どこで終わるかが非常に重要であり、それが曲のスパンに直接に影響するため重要である。これは、スパンを変更することを可能にする手書き認識装置の追加の特徴である。さらに、音部記号、拍子（例えば４／４、３／４、２／４など）などを手書きすることができる。メニューから選択される唯一の項目は、音符／休符（例えば作曲者によって最も多く実行／使用される項目）である。
【００１８】
このことは有利であることに留意されたい。これは、音符が手書きの場合、作曲者はこのような音符を一般に、頭の中で曲が「フレッシュ」である間にすばやく書くためシステムが音符にしづらいと思われるからである。したがってペンの位置が、メニューをポップアップさせる位置、および音符を挿入する位置を決定する。従来の技法とは違い「ドラッグ・アンド・ドロップ」または「ピック・アンド・プレース」操作は必要ない。さらに、メニューを立ち上げたとき、最後に入力した音符が十字形メニューの「十字線」の中にある。ペンをその位置から外すと音符が挿入され、ペンを上または下に動かすと、所望の音符が見つかるまで音符がスクロールする。音符は多くの回数、繰り返されるのでこのことは有利である。さらに、音符に線を引いて消す（例えば音符の上に「×」を描く、あるいは音符または他の項目にピグテールを付ける）などのジェスチャを実行すると、音符が消去される。他のジェスチャも使用可能である。例えば、ディジタル・ペンで一群の音符を丸く囲むことによってそれらの音符を１つのグループにまとめることができる。音符群を丸で囲み、タブレット上の他の領域にペンを移動させ／滑らせ、次いでペンを持ち上げることによって、音符群を移動させることができる（「ドラッグ・アンド・ドロップ」操作と同様）。
【００１９】
したがって本発明は、作曲者にとってペンと紙、またはコンピュータによって実現されるマウスを使用した作曲システムを使用するよりもはるかに簡単である。
【００２０】
本発明のシステムには、２つの主要なインタフェース部分がある。１つは、音符／休符（例えば極めて一般的な項目およびユーザが書きたくない項目）を適切に選択することである。これによって紙から離れることができ、従来技法のようにマウスを使用するよりも速く選択することができる。すなわち、本発明は、マウスを使用したシステムよりもはるかに高速である。これは、このようなマウス・ベースのシステムではユーザが同じメニューに頻繁にアクセスし、同じ音符を選択する必要があるためである。例えば２個の四分音符が欲しい場合には、メニューへ移動し、音符を選択し、元の位置に戻り、音符をドロップし、さらにもう一度、同じ操作を繰り返さなければならない。本発明では対照的に、選択した位置でポップアップ・メニューを開き、軽くたたいて（タッピング）離すだけで、複数の四分音符（または他の音符／休符）を挿入することができる。
【００２１】
本発明の重要な利点は、ユーザが手書きし本発明が検出した部分に対して第２のインタフェース部分が提供されることである。音楽には多数のマークがあり、ユーザが適当なマークをデータベースから選択するためには、データベースが非常に大きくなければならない。これは不便であり、コストもかかる。従来のシステム（例えばCODA Music Technology社が生産している音楽プログラムFinale（登録商標）など）で作曲するとき、ユーザは、データベース（またはマニュアル）へ移動し、ファンクション・キーなどの使用を介して正しいマークを選択しなければならない。したがって多くの場合、適当なマークを見つけるまでに書きたい曲を忘れてしまっている。したがって多くの状況では、作曲者は紙の上に曲を書き、次いでデータベースへ移動して、ゆっくりかつ丹念に適当なマークを挿入することになり、これによって作曲は極めて非能率になる。したがって、このようなプログラムはユーザ・フレンドリとは言えない。
【００２２】
したがって、本発明の重要な利点は、ユーザがタブレット上でマークを手書きするだけで多くのマークをすばやく選択できることである。すなわち、ユーザは所望のマークを知っており、そのマークを所望の位置に手書きするだけでよい。
【００２３】
コンバータ４０は、ディテクタ２０が検出した入力を標準的な音楽記号表現に変換する。コンバータは次いで、作曲した曲を作曲者が聞くことを可能にする出力装置６０（例えばミュージカル・インスツルメント・ディジタル・インタフェース）に出力を送る。したがって本発明では、ユーザが曲を対話形式で入力することができ、ごく短時間のうちに曲を聞くことができる。
【００２４】
本発明は、コンピュータを使用して「コモン・ミュージック・ノテーション（ＣＭＮ）」を迅速かつ自然に入力することができる新たなインタフェースを提供する。本発明の目的上、「コモン・ミュージック・ノテーション」は、西洋社会によって開発され使用された古典的記譜法と定義される（例えばバッハ（Johann S. Bach）の作品を参照されたい）。
【００２５】
本発明の技法では、ペンおよびディジタイザ・タブレットを使用してその入力を得ることが好ましい。当業者なら周知のとおり、作曲者が無拘束の手書きを使用することができる限り、他の器具（例えば筆記具またはスタイラス）も使用することができる。
【００２６】
辞書３０は、有効なキー・ワードのリストを有することに留意されたい。したがって手書きする語／記号は、設計者の制約条件および必要条件に十分に近くなければならない。あるいは、より大きな（またはより小さな）辞書を本発明に取外し可能に付加することができる。この点に関し、複数の辞書を使用することができ、これによってより大きな柔軟性が得られる。
【００２７】
さらに、入力装置位置ディテクタ５０を提供することによって、ミュージック・パレット上の入力装置の所望の位置を知ることができ、このような入力を辞書３０（および手書き文字認識エンジン）に提供することができることに留意されたい。現在の位置に基づいて辞書をオンザフライで変更することは、本発明の固有の特徴であることに留意されたい。すなわち、いくつかのマークは、楽譜のある所定の位置にしかおそらく現れない。例えば、いくつかの位置では、「Andante」、「allegro」などのマークしか有効に入力することができない。したがって、入力装置の位置を知ることによって、適当な辞書（または所定の数の語）を自動的に選択することができる。したがって、特定の位置に有効に入力できる語の数は有限であり、手書き文字認識の結果は向上する。辞書中の２０，０００（またはそれ以上）もの語をふるいにかけなければならない代わりに、本発明ではこの可能性を狭めることができる。例えば、１００語の中から探索するだけでよい。次いでその記号を入力する。
【００２８】
したがって辞書は、ある位置に対して可能（有効）な語を保持する。例えば、ユーザが音部記号の下で書込みを始めた場合、その位置へ有効に入力できるのは速度情報だけであろう。同様に、ユーザが音符の下で書込みを始めた場合、使用することができるのはある数の語だけである。したがって、本発明は、適当な辞書を知的に選んで、無拘束になされた手書き（例えば筆記体。いずれにせよ基本的にユーザが書いたもの）の手書き文字認識の誤りを低減させる。
【００２９】
図２に、手書き文字認識エンジン２２を詳細に示す。
【００３０】
図６に示した本発明の方法３００を参照してその動作を説明する。段階３０１で、タブレットを（例えばペンで）タッピングする（またはマウスでクリックする）ことによって、音符および休符を入力する。
【００３１】
この入力の結果、段階３０２でペン位置が検出される。ペン位置の検出に基づいて、音符／休符の入力を希望しているのかどうかが判定され、そうである場合には、ペン先の位置（クリックの場合にはマウスのカーソルの位置）に音符および休符の動的メニュー４００（例えば図７に分かりやすく示したメニュー）が立ち上がる。
【００３２】
あるいは段階３０５で、手書き文字認識エンジン２２によって手書き文字が検出される。
【００３３】
段階３０６で、手書き文字認識エンジンによって、手書き文字がテキストであるかどうかが判定される。そうである場合には段階３０７で辞書が調べられ、そのテキストが挿入される。
【００３４】
テキストでない場合には段階３０８で、手書き文字認識エンジンによって手書き文字が図形であるかどうかが判定される。そうである場合には段階３０９で図形辞書が調べられ、その図形が挿入される。
【００３５】
図形でもない場合には段階３１０で、手書き文字認識エンジンによって、手書き文字がジェスチャであるかどうかが判定される。そうである場合には段階３１１で所望のジェスチャが実行される。それぞれの場合でユーザによる次の入力は待たされる。最後の入力時、または手書き文字を判定することができなかったときに、このプロセスは終了する。
【００３６】
ペン先の位置は、最後に使用された音符または（拍子に関して）最も頻繁に使用された音符と一致する。本発明では、ユーザが対話形式で、両方の音部記号の曲、拍子の変更などを含む曲を書くことができる。これは、プログラムによってカスタマイズすることができる。これによって作曲者は、譜表（すなわちその上に曲を書く５本の罫線）上の適当な位置でタッピングするだけで、同じ長さの音符を迅速に書くことができる。例えば、参照符号４０５に同じ長さ（例えば１／８拍）の音符を示す。
【００３７】
さらに、図７のメニュー４００の中のＳ（例えば参照符号４０２）はシステムを休符モードに置く。休符モードは、音符４０１の入力と同様に動作するが、音符の代わりに休符（休止）を挿入するモードである。本発明の「Ｓ」フィーチャへペンを動かすと、音符が適当な休符拍子に置かれる。すなわち、所望の休符がウィンドウ４０８中に現れるまでペンをタッピングさせることによって、休符（１／４拍、１／２拍、３／４拍など）をスクロールさせることができる。
【００３８】
さらに、メニューの右側の参照符号４０７に、音符の拍子を伸ばす機能が示されている。例えば、「１．５拍」（１拍半）の拍子を有する音符が欲しい場合には、ペンをタッピングして全音符を得、次いでペンをボックス４０７に移動させる。
【００３９】
クレシェンド、アレグロなどのような項目（例えば参照符号４０６参照）、音部記号、トリル、スラーなどの特殊記号、「Allegro、Andante」などの速度情報（例えば図７の参照符号４０３）、または楽器情報（例えば、参照符号４０４参照）は、無拘束の手書きを使用して書き込まれる。
【００４０】
操作時、ペンを所望の位置に置くと、その位置にテーブル４００Ａが「ポップアップ」する。したがって例えば図７に示すように、四分音符Ｃと二分音符Ｇの間の位置Ｘにペンを置いた場合、これらの２つの音符の間にポップアップ・メニューが現れる。
【００４１】
一実施形態では、ユーザが入力をおこなう図７の位置４００Ｂに最後に使用した音符がポップアップする。例えば、１／８（または１／４）音符を最後に入力した場合、これは基本的にこの曲の速度であるため、別の１／８（または１／４）音符を入力する好機となる。したがって、ただ複数回タッピングするだけで複数個の音符を入力することができる。さらに音符を連結することができる。１つの位置でペンを上または下に動かすと、所望の音符が位置４００Ｂに現れるまで音符が上または下にスクロールする。所望の音符からペンを離すとその音符がその位置に挿入される。
【００４２】
さらに、上下の矢印４００ａによって曲の調子を調節することができる。例えば、四分音符をクリックし、上矢印にペンを移動させるとその四分音符を「半音上げる」ことができ、ペンを下矢印に移動させクリックすると「半音下げる」ことができる。
【００４３】
さらに、音符の下の「piano」の指定４０４は、曲の調性を変化させる。
【００４４】
したがって、ペンを移動させ、または手書きするだけで作曲することができる。
【００４５】
このような項目は、従来技術である無拘束手書き文字認識システムを使用して認識され、適当な位置に置かれる。これらのシステムについては図３〜５に関して後に詳細に説明する。
【００４６】
したがって本発明は、大語彙、書き手独立、無拘束手書きテキスト用の汎用認識システムを使用する。先に述べたとおり「無拘束」という語は、ユーザが任意の字体（例えば活字体、筆記体、またはこれらの字体の任意の組合せ）で書くことができることを意味する。
【００４７】
この語は、純粋な活字体または純粋な筆記体にはめったに遭遇しない一般的な手書きテキストをより的確に表現する語である。さらに、記載のシステムの重要な特性は、このシステムが、ＨＭＭベースの従来のシステムで必要な大量のメモリを必要とせずに例えば４８６パーソナル・コンピュータ（ＰＣ）プラットホーム上でリアルタイムで認識を実行することである。このシステムは主に、書き手独立のタスクに集中する。言語モデルなしの書き手独立の２１，０００語語彙タスクでは、誤り率１８．９％が達成された。
【００４８】
無拘束オンライン手書きテキストの自動認識について言及する。オンライン認識では、データが、ペンの動きを追跡する電子タブレット上に集められ、これによってテンポラル情報が保存される。離散文字を認識するＴＤＮＮなど、この問題に対するいくつかの方法が報告されている。より最近になって、隠れマルコフ・モデル（ＨＭＭ）などの統計的方法が音声認識に適用されて成功し、自動手書き文字認識の問題にも適用されている。一システムでは、連続パラメータＨＭＭを使用して、分離して書かれた文字を認識する。
【００４９】
本発明は、特定の字体（例えば純粋な筆記体または純粋な活字体）に限定されないＨＭＭベースのシステムを含むことが好ましい。書込みは、実際に頻繁に遭遇する状況であるこれらの２つの字体の任意の組合せで実施することができる。本発明の検出装置は、限られたメモリを有する小さなＰＣプラットホーム上でリアルタイムで実行できるように設計されている。正確さを犠牲にして計算およびメモリ要件を引き下げるため、妥協することも可能であることに留意されたい。
【００５０】
認識は２段階で実行されることが好ましい。最初の段階では、より単純なモデルを使用して、可能な候補文字列の短いリストを作り出す。これを「ファスト・マッチ（ＦＭ）」と呼ぶ。
【００５１】
続いて、計算的により大規模なモデルを使用して、リスト中のそれぞれの語を再配列する。以下に、このモデルの形状マッチング機能を示す。言語モデルまたは文法の実験は説明しない。
【００５２】
先に述べたように、本発明の無拘束手書き機能ではさらに、クレシェンド記号などのジェスチャ認識（例えば項目を丸で囲む、項目を移動させる、個々の項目を消去するために「ピグテイル」を付ける、曲の選択部分を消去するために線を引いて消すなどのジェスチャ、および認識エンジンが学習することができ、さまざまな定義前の機能に関連づけることができる他のユーザ定義ジェスチャ）、「AndanteまたはPiano」などの手書きテキスト認識、および図７の動的テーブルによって与えられる位置情報を使用する。
【００５３】
内部表現
内部的には、作曲者が入力した情報をデータベースを使用して保持する。位置および時間情報は解析され、この音譜によって伝えられる全ての情報を含む内部データ構造中に保持される。
【００５４】
この情報は、きれいなフォーマットで再生または印刷できるよう、ミュージカル・インスツルメント・ディジタル・インタフェース（ＭＩＤＩ）出力または他の任意の音楽出力に変換できなければならない。これは、音譜（例えば拍子情報と位置情報の両方）の内蔵知識を有する解析プログラムの使用によって達成される。
【００５５】
図３を参照する。前処理および特徴抽出に関して、データは、例えば７０Ｈｚから１００Ｈｚの間のサンプリング・レートでサンプリングされ、時間索引が付けられた点（ｘ，ｙ）のストリームとして集められる。集められた等時間間隔の点は、標準サイズに正規化され、ホマヨーン（Homayoon S.M. Beigi）他の「Size Normalization in Online Unconstrained Handwriting Recognition」, ICIP94, 169-172ページ, 1994に記載のとおりに、空間的に再サンプリングされる。これによって、速度に起因した矛盾が取り除かれ、認識が、書き手独立サンプルに固有のさまざまな書込み速度に対してよりロバストになる。同様にサイズの正規化は、書き手依存認識ではそれほど重要ではないが、書き手独立認識では重要である。軌道に沿ってとった等間隔の点のところで、Δｘ、Δｙ、ｃｏｓθおよびｓｉｎθを含む特徴ベクトルが構築される。θはサンプルの角度と定義する。隣接点のウィンドウをまたぐようにいくつかの個々の特徴ベクトルを１つの大きな特徴ベクトルにスプライシングすることによって、文脈情報を組み込む。ウィンドウの中心は一般に、ｘおよびｙの極値に位置する。次いで、このようなそれぞれの特徴ベクトルをより低次の次元空間に投影する。このベクトルを以後、フレームと呼ぶ。一般的な語は、このようなフレーム３０個によって表すことができ、それぞれのフレームは軌道に沿った付近の点群を表す。
【００５６】
ファスト・マッチでは計算を制限するため、退化単一状態モデル（degenerate single state model）を使用して候補仮説の短いリストを作り出す（例えば、ベルガーダ（E.J. Bellegarda）他「"A Statistical Approach to Automatic Handwriting Recognition」, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994年11月を参照されたい）。図４に、この単一状態モデルのトポロジを示す。
【００５７】
この特徴抽出によって、手書きテキストに対応する一連のフレームｆ1，ｆ2．．．が生み出される。ガウス混合モデルによって、特定の文字ｃjがフレームｆtを生じる確率、すなわちｐ（ｆt｜ｃj）＝Σiｐ（ｆt｜ｇi）ｐ（ｇi｜ｃj）を決定する。ｇiは、対角共分散行列を有するガウス分布である。分布ｇiは、トレーニング段階中の全てのフレームの教示なしクラスタ化によって得られる。
【００５８】
トレーニング中にさらに、エクスペクタンス・マキシマイゼーション（Expectance Maximization：ＥＭ）アルゴリズムを介して混合係数ｐ（ｇi｜ｃj）を見積もる。デコード中、それぞれのフレームは、他の全てのフレームから独立しているとみなされ、この特定の文字が一組のフレームを生じる確率は単に、そのフレーム・ブロックを構成する個々のｐ（ｆt｜ｃj）の積である。
【００５９】
この簡略モデルは、デュレーション・モデル化（duration modeling）を提供しないことに留意されたい。さらに、文字の始まりと文字の終わりの間に区別はない。単一の出力分布がその文字全体を特徴づける。この文字の状態または再分割のサブ・モデルの概念は後に詳細に導入される。
【００６０】
認識前にセグメント化の概念はない。セグメント化は認識の当然の結果として生じる。これは、後に説明する探索によって達成される。
【００６１】
詳細マッチでは、先に説明したファスト・マッチを単一状態ＨＭＭに等しいとすることができる。１文字中のフレームの相対位置の概念はない。詳細マッチ・モデルでは、この状態退化が除去され、それぞれの文字が、一連の状態によってモデル化される。それぞれの状態は、モデル化する文字の部分に対応する出力分布に関連づけられている。
【００６２】
図５に、文字ｉのＨＭＭを示す。ＨＭＭは、ｓ1，ｓ2，．．．，ｓLiと標識されたＬｉ個の状態を有する。Ｌｉは、文字ｉの平均フレーム数である。Ｌｉ個の状態ｓ1，ｓ2，．．．，ｓLiにはそれぞれ、ｔ1、ｔ2およびｔ3と標識された３つの遷移から成る一組の遷移が関連づけられる。遷移ｔ1およびｔ2の結果、観察特徴ベクトルは放出に至る。状態の数Ｌｉ、状態遷移確率ｐ（ｓi，ｔj）および出力確率分布ｐ（ｆt｜ｓi，ｔj）がモデルを完全に指定する。所与の状態の遷移ｔ1とｔ2は結合される。すなわちｐ（ｆt｜ｓi，ｔ1）＝ｐ（ｆt｜ｓi，ｔ2）である。したがって、出力分布は単独で状態に関連づけられ、ｐ（ｆt|ｓi）と書くことができる。出力確率は、結合されたガウス分布の混合から決定され、ｐ（ｆt｜ｓi）＝Σkｐ（ｆt｜ｇk）ｐ（ｇk｜ｓi）と書くことができる。総和は分布のプール全体にわたる。したがってＨＭＭは、状態遷移確率ｐ（ｓi，ｔj）および混合係数ｐ（ｇk|ｓi）によって完全に指定される。
【００６３】
ＨＭＭは、単一状態モデルをＬi回複製することによってファスト・マッチ・モデルから開始される。ＨＭＭは、分かち書きされた文字および無拘束に書かれた語を使用し、Viterbiまたはフォワード・バックワード・トレーニングを使用してトレーニングされる。本発明のシステムでは、これらの２つのトレーニング方式の正確度の間にそれほど大きな差はない。
【００６４】
デコードでは、文字ｉを与えられたフレーム・セットの確率は、そのフレーム・セットを作り出すことができる最も有望な状態シーケンスの確率によって与えられる。語を構成する最適な文字・シーケンスは、時間同期ビーム探索によって決定される。
【００６５】
先に述べたビーム探索に関して、２０，０００＋語辞典が、一般的な接頭辞および接尾辞をマージした構造に格納される。この探索は辞典ドリブンなので、語彙中の有効な語に対応するパスだけが拡張される。それぞれのフレームには、そのフレームで終わる全ての可能な部分パスを含むスタックが関連づけられる。これらのスタックは確率によってソートされる。
【００６６】
当然の帰結として、しきい値を使用して低確率エレメントを枝刈りする。最後のスタックの最上位の要素が認識された文字列に対応する。拡張されたノード数を制限する制約の導入によって探索空間はより扱いやすくなる。このような１つの制約が、それぞれの文字の長さ分布である。所与の文字がまたぐことができるフレームの数の範囲を指定するこれらの長さヒストグラムは、トレーニング中に生成される。単一状態モデルはフレームのデュレーションまたは数をモデル化する能力を持たないので、ファスト・マッチ段ではこれらの分布が使用される。多状態モデルの文脈では、個々のモデルの強さおよび状態遷移確率がデュレーションを定義するので、外部長さ分布は使用されない。さらに、先に述べたとおり、以前に実施した他の入力に対するタブレット上のディジタル・ペンの相対位置は、この将来の入力の範囲および内容の実行可能性に影響する。
【００６７】
遅延ストロークは、左から右へＨＭＭを使用して文字をモデル化するときに問題を起こす。遅延ストロークの例は、文字「ｉ」および「ｊ」のドット、および文字「ｘ」および「ｔ」の交差である。これらは、文字の本体からしばしば時間的に分離されるストロークである。ほとんどの場合、これらは、語全体を書き込んだ後で追加される。これらの文字のデータ・ポイントは時間的に必ずしも連続しているというわけではなく、したがって、これらの文字に対して左から右モデルを使用したときに問題が生じる。本発明はこの問題を、これらの文字の非遅延ストロークだけに関してＨＭＭをトレーニングすることによって解決する。遅延ストロークは、ＨＭＭをトレーニングする前に除去する。デコードにおいて、探索機構は最初に、フレーム確率および文字・モデルに基づいて、非遅延ストロークを拡張する。次いで遅延ストロークを、非遅延ストロークに対するそれらの相対位置およびそれらのファスト・マッチ確率に基づいて組み込む。
【００６８】
データ・セットおよびトレーニングに関する実験を実施した。データ・セットに関して、主たる関心はレコグナイザの書き手独立性能にあるので、最初の作業は、十分な大きさの書き手プールからデータを集めることであった。１００人の書き手のプールから約１００，０００文字のデータを集めた。トレーニング・セットは、２０，０００＋語の辞典から選択した語および分かち書きされた離散文字を含む。被験者には、自らの自然な書体で書くように求め、水平な線の上に書くように促した。書体に属するその他の指導または指示はしなかった。テスト・セットは、２５人の書き手から成る別個の集団から集めたデータ、および同じ辞典からランダムに選択した語から構成されている。この場合もやはり、テキスト・データを書く方法に関して制約は設けなかった。テストおよびトレーニング・セットにはともに、ネイティブおよび非ネイティブの書き手を含めた。データは、コンバーティブルＩＢＭ（登録商標）ペン・ノートブック・コンピュータ上で集めた。予想されたとおりデータは、３つの大まかなカテゴリ、すなわち純粋な離散体、離散体と筆記体の混合、および純粋な筆記体に分けられた。
【００６９】
明白なことだが、データの「品質」または人間による読みやすさは広範囲にわたる。アルファベットは、大文字、小文字、数字およびいくつかの句読記号および特殊文字からなる。
【００７０】
トレーニングでは、幅広い書き手から書体を取り込むため、それぞれの文字に対してではなく、それぞれの文字のそれぞれの重大な変動に対してモデルを構築した。例えば、文字は、ペン・ストローク数、ペンの移動方向または実際の形状が異なる。教示なしの自動手順を使用して、レクシーム（lexeme）と呼ばれるこれらの変動を識別する。このセットに対して約１５０のレクシームが生成された。それぞれのレクシームに対して個々のベースフォーム、単一および複数状態をトレーニングする。それぞれのＨＭＭは平均して６つの状態から成るので、これによって９００の異なる状態が得られる。システム中のパラメータを減らすため、ベースフォーム間およびベースフォーム内で個々の状態は共用される。
【００７１】
これらの実験の結果を得た。実際問題として、手書き認識システムの一時的ユーザは、特定ユーザ向けシステムをトレーニングするのに必要な時間および努力に投資することを好まない。トレーニングがオプションでないシナリオを予見することも容易である（例えばパブリック・キオスク、ポイント・オブ・セールスなど）。これは、書き手独立タスクに集中するための動機付けであった。詳細マッチの結果は、ファスト・マッチから最上位のいくつかの仮説をとり、それらを多状態モデルに提示することによって得た。ファスト・マッチは枝刈りの手段として有効に働く。テスト語はランダムに選択したので、困惑（perplexity）を低減させることによって認識性能を向上させるため、文法は利用しなかった。大語彙状況において誤り率は１９％であった。
【００７２】
レコグナイザをこのタスクに適した統計的言語モデルとともに使用すれば、この数字を大幅に低下させることができると予想される。異なるタスクに対する認識時間はさまざまである。ＩＢＭ  ＲＳ／８０００ワークステーション・プラットホーム上での１語あたりの認識時間は、小語彙タスクで０．４秒、大語彙タスクで０．４８秒である。標準の４８６ＰＣプラットホームでは認識時間がこれらの数値の４から５倍かかるが、それでもリアルタイム認識には十分である。
【００７３】
さらに、小パイロット書き手依存実験を実施した。書き手独立システムを開始点として使用して、その書き手からの追加のトレーニング・サンプルに基づいてモデルを構築した。文法なしの２１，０００語彙タスクに対するこの書き手の元々の書き手独立誤り率は２７％であった。この数字は、平均の書き手独立誤り率１９％よりもかなり高い。これらの新たな書き手依存モデルを用いると、誤り率は１０％弱まで低下した。
【００７４】
上で報告した書き手独立結果は、文法を利用しないことを考慮すれば非常に励みになる。研究によれば、上記のテスト・セットからなんの脈絡もなしに語を提示したときの人間の誤り率は７％である。ノートテーキング（音声の書取りに相当する）などの応用では、タスクの困惑をかなり低減させる統計的文法を利用することができる。以前の研究から、このような言語モデルが、同様のタスクに対して誤り率を１／４に低減させることが分かっている。
【００７５】
先に述べたとおり、本発明は、標準的なメモリ構成を有するＰＣプラットホーム上でリアルタイムで実行することができる認識エンジンを使用する。したがって、通常なら回避される探索エラーに終わる攻撃的な枝刈り戦略が好ましい。同様の計算上の理由から、モデル中の分布の数は制限される。正確度に関するこれらの制約の影響を低減させる努力はしたが、それらを緩和した場合、誤り率がさらに低下することは容易に分かる。
【００７６】
現在、このモデルに対するいくつかの改良が進行中である。文脈依存モデルが、音声と手書きの両方に対して性能をかなり向上させることが示されており、これらは自然な向上である。さらに左利きおよび右利きモデル（およびことによると性別依存モデル）を用いて実験することも可能である。データ・セットのサイズは別の問題である。書き手独立認識の成功のためには１００，０００文字では十分なデータとは言えない。これは、将来的に取り組む必要がある領域である。
【００７７】
したがって、本発明のユニークかつ明白とは言えない特徴を用いて、作曲者は、簡単かつ能率的に作曲することができる。作曲者は、パレット上でクリック（タッピング）するだけで一般に使用されている音符を入力することができ、「クレシェンド」、「アンダンテ」、音部記号、曲の拍子／調子などの所定のマーク、記号、ジェスチャ、図形および用語などのあまり一般的でない項目をタブレット上に単純に書き込む（例えば手書きする）ことができる。これによってインタフェースが、作曲者がペン／鉛筆と紙を伝統的に使用して作曲する（例えば人々が慣れ親しんでいる）紙インタフェースに非常によく似たインタフェースとなる。しかし紙インタフェースとは異なり、本発明ではユーザが短時間で作曲し、その曲を即座に聞いて、その曲がどのようなものかを知ることができる。
【００７８】
図８に、本発明に基づく情報ハンドリング／コンピュータ・システムの代表的なハードウェア構成を示す。この構成は、少なくとも１台のプロセッサまたは中央処理装置（ＣＰＵ）５１１を有することが好ましい。
【００７９】
ＣＰＵ５１１はシステム・バス５１２を介して、ランダム・アクセス・メモリ（ＲＡＭ）５１４、リード・オンリー・メモリ（ＲＯＭ）５１６、（ディスク装置５２１、磁気テープ・ドライブ５４０などの周辺装置をバス５１２に接続する）入力／出力（Ｉ／Ｏ）アダプタ５１８、（キーボード５２４、マウス５２６、スピーカ５２８、マイクロホン５３２および／または他のユーザ・インタフェース装置をバス５１２に接続する）ユーザ・インタフェース・アダプタ５２２、情報ハンドリング・システムをデータ処理ネットワーク、インターネット、イントラネット、パーソナル・エリア・ネットワーク（ＰＡＮ）などに接続する通信アダプタ５３４、およびディスプレイ装置５３８および／またはプリンタ５３９（例えばディジタル・プリンタ）にバス５１２を接続するディスプレイ・アダプタ５３６に相互接続される。
【００８０】
上述のハードウェア／ソフトウェア環境に加え、本発明の異なる態様は、コンピュータによって実現される上記方法を実行する方法を含む。この方法は一例として、先に論じた特定の環境で実現することができる。
【００８１】
このような方法は例えば、ディジタル・データ処理装置によって具体化されたコンピュータを操作して機械可読の命令シーケンスを実行することによって実現することができる。これらの命令は、さまざまなタイプの信号保持媒体中に置くことができる。
【００８２】
したがって、本発明のこの態様は、ＣＰＵ５１１を組み込んだディジタル・データ・プロセッサおよび前記ハードウェアによって実行可能な、本発明の方法を実行する機械可読命令プログラムを具体化する信号保持媒体を含むプログラム製品を対象とする。
【００８３】
この信号保持媒体は例えば、例えば高速アクセス記憶装置に代表される、ＣＰＵ５１１の内部のＲＡＭを含むことができる。あるいはこれらの命令を、磁気データ記憶ディスケット６００（図６）などのＣＰＵ５１１が直接または間接にアクセスすることができる他の信号保持媒体に含めることができる。
【００８４】
ディスケット６００、コンピュータ／ＣＰＵ５１１または他の場所に含まれるかどうかに関わらず、これらの命令は、ＤＡＳＤ記憶装置（例えば従来の「ハード・ドライブ」またはＲＡＩＤアレイ）、磁気テープ、電子式リード・オンリー・メモリ（例えばＲＯＭ、ＥＰＲＯＭまたはＥＥＰＲＯＭ）、光記憶装置（例えばＣＤ−ＲＯＭ、ＷＯＲＭ、ＤＶＤ、ディジタル光テープなど）、紙の「パンチ」カード、ディジタル／アナログ通信リンクおよび無線などの伝送媒体を含む他の適当な信号保持媒体などのさまざまな機械可読データ記憶媒体に格納することができる。例示的な本発明の一実施形態では、機械可読命令が、「Ｃ」などの言語からコンパイルされたソフトウェア・オブジェクト・コードを含むことができる。
【００８５】
したがって、本発明のユニークかつ明白とは言えない態様を用いて、作曲者は、簡単かつ効率的に作曲することができる。作曲者は、パレット上でクリックするだけで一般に使用されている音符を入力することができ、「クレシェンド」、「アンダンテ」、音部記号、曲の拍子／調子などの所定のマーク、用語などのあまり一般的でない項目をタブレット上に単純に書き込む（例えば手書きする）ことができる。これによってインタフェースが、作曲者がペン／鉛筆と紙を伝統的に使用して作曲する（例えば人々が慣れ親しんでいる）紙インタフェースに非常によく似たインタフェースとなる。しかし紙インタフェースとは異なり、本発明ではユーザが短時間で作曲し、その曲を即座に聞いて、その曲がどのようなものかを知ることができる。
【００８６】
本発明の好ましい実施形態を説明してきたが、これは一例として与えたにすぎないことに留意されたい。したがって当業者であれば、添付の請求項の趣旨および範囲に含まれる修正とともに本発明を実施することができることを認識しよう。
【００８７】
すなわち、本発明は、無拘束の書込みに加えて特殊な図形文字を使用する他の同様な応用の多くの可能性を生み出す。本発明は、最高度の柔軟性、非常に一般的な図形記号をシステムにタッピングする容易さ、および切取り、貼付け、移動、削除などの論理演算を実行するジェスチャとして新たな図形記号をトレーニングする能力に対する無拘束手書き文字認識システムの組合せを提供する。さらに、定義されたジェスチャを、それらを利用する応用の機能にリンクさせることができる。
【００８８】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００８９】
（１）コンピュータによって実現される作曲方法であって、
入力装置からの入力に基づいてメニューを立ち上げる段階と、
前記入力装置を用い、メニュー項目および作曲者による無拘束の手書きに基づいて音譜を選択的に入力する段階と、
前記音譜を表示する段階
を含む方法。
（２）タブレット上でのタッピングおよび前記入力装置の作動のいずれかによって音符および休符を選択的に入力する段階をさらに含む上記（１）に記載の方法。
（３）入力される音譜が、コモン・ミュージック・ノテーション（ＣＭＮ）を含む上記（１）に記載の方法。
（４）前記入力が、ペンおよびディジタイザ・タブレットを使用して入力を得ることによって実行される上記（１）に記載の方法。
（５）前記入力が、入力装置の先端の位置に動的音符メニューを立ち上げる上記（１）に記載の方法。
（６）前記入力が、入力が発生した入力装置のカーソルの位置に動的音符メニューを立ち上げる上記（１）に記載の方法。
（７）入力装置の先端の位置が、最後に使用された音符と最も頻繁に使用された音符のうちの一方と一致する上記（１）に記載の方法。
（８）前記最も頻繁に使用された音符が拍子に基づいて決定され、前記作曲者が、譜表上の所望の位置に接触することによって同じ持続時間の音符を書くことができる上記（７）に記載の方法。
（９）前記メニューが、前記ディスプレイ上で作動されると、入力装置を、休符を入力する休符モードに置くアイコンを含む上記（１）に記載の方法。
（１０）手書きされ表示される項目が、前記音符および休符以外の項目を含む上記（２）に記載の方法。
（１１）手書きされる前記項目が、クレシェンド、所定の特殊記号および速度情報のうちの少なくとも１つを含む上記（１０）に記載の方法。
（１２）前記クレシェンド、所定の特殊記号および速度情報のうちの少なくとも１つが、前記入力装置を用いた無拘束の手書きを使用して書かれる上記（１１）に記載の方法。
（１３）前記項目が、無拘束の手書き文字認識システムを使用して認識され、適当な所定の位置に置かれる上記（１２）に記載の方法。
（１４）ジェスチャ認識、手書き文字認識、および音譜を保持する動的テーブルによって与えられる位置情報を使用する段階をさらに含む上記（１）に記載の方法。
（１５）作曲者が入力した情報を格納するデータベースを提供する段階をさらに含み、位置および時間情報が解析され、音譜によって伝えられる情報を含む内部データ構造に格納される上記（１４）に記載の方法。
（１６）前記位置および時間情報が再生または印刷されるように、前記情報をミュージカル・インスツルメント・ディジタル・インタフェース（ＭＩＤＩ）出力に変換する段階をさらに含む上記（１５）に記載の方法。
（１７）前記入力装置の位置を検出する段階をさらに含み、手書きされる前記項目の範囲および内容が、検出した前記入力装置の位置に依存する上記（１）に記載の方法。
（１８）コンピュータによって実現される作曲システムであって、
タブレットを横切るディジタル・ペン
を備え、
前記ディジタル・ペンの動きによって音符および休符を入力するメニューを立ち上げ、前記ディジタル・ペンの動きによって作曲者が無拘束の手書きを介して図形、テキストおよびジェスチャ情報を入力することができ、
さらに、
前記メニューから選択した情報および前記無拘束の手書きを音譜に変換するトランスポーザと、
前記音譜を表示するディスプレイ
を備えるシステム。
（１９）タブレット上でのタッピングおよび前記入力装置の作動のいずれかによって音符および休符を選択的に入力する段階をさらに含む上記（１８）に記載のシステム。
（２０）入力される音譜が、コモン・ミュージック・ノテーション（ＣＭＮ）を含む上記（１８）に記載のシステム。
（２１）前記入力が、ペンおよびディジタイザ・タブレットを使用して入力を得ることによって実行される上記（１８）に記載のシステム。
（２２）前記入力が、入力装置の先端の位置に動的音符メニューを立ち上げる上記（１８）に記載のシステム。
（２３）前記入力が、入力が発生した入力装置のカーソルの位置に動的音符メニューを立ち上げる上記（１８）に記載のシステム。
（２４）入力装置の先端の位置が、最後に使用された音符と最も頻繁に使用された音符のうちの一方と一致する上記（１８）に記載のシステム。
（２５）ディジタル・データ処理装置によって実行可能な、作曲方法を実行するための機械可読命令プログラムを記録した記録媒体であって、前記方法が、
入力装置からの入力の検出に基づいてメニューを立ち上げる機能と、
メニュー項目および作曲者による無拘束の手書きに基づいて前記入力装置を用いて音譜を選択的に入力する機能と、
前記音譜を表示する機能
を前記データ処理装置に実行させる、記録媒体。
【図面の簡単な説明】
【図１】本発明に基づくシステム１００の全体ブロック図である。
【図２】本発明のシステム１００の検出装置２０の手書き文字認識装置２２を示す図である。
【図３】認識装置の動作流れ図である。
【図４】１つの文字に対する単一状態モデルを示す図である。
【図５】隠れマルコフ・モデル（ＨＭＭ）のトポロジを示す図である。
【図６】本発明の例示的な方法３００を示す図である。
【図７】入力装置によって立ち上げられた例示的なメニュー（ミュージック・パレット）４００を示す図である。
【図８】本発明を組み込むための例示的なハードウェア／情報ハンドリング・システム５００を示す図である。
【図９】本発明に基づく方法のプログラムの諸段階を格納する信号保持媒体６００（例えば記憶媒体）を示す図である。
【符号の説明】
１０  入力装置
２０  検出装置
２１  音符／休符ディテクタ
２２  手書き文字認識装置
２２Ａ  単語レコグナイザ
２２Ｂ  図形マーク・レコグナイザ
２２Ｃ  ジェスチャ・レコグナイザ
３０  辞書
４０  音譜変換装置（コンバータ）
５０  位置ディテクタ
６０  出力装置
１００  発明のシステム
５００  ハードウェア／情報ハンドリング・システム
５１１  中央処理装置（ＣＰＵ）
５１２  システム・バス
５１４  ランダム・アクセス・メモリ（ＲＡＭ）
５１６  リード・オンリー・メモリ（ＲＯＭ）
５１８  入力／出力（Ｉ／Ｏ）アダプタ
５２１  ディスク装置
５２２  ユーザ・インタフェース・アダプタ
５２４  キーボード
５２６  マウス
５２８  スピーカ
５３２  マイクロホン
５３４  通信アダプタ
５３６  ディスプレイ・アダプタ
５３８  ディスプレイ装置
５４０  磁気テープ・ドライブ
６００  磁気データ記憶ディスケット
【図１】
0003927407.tif 000002
【図２】
0003927407.tif 000003
【図３】
0003927407.tif 000004
【図４】
0003927407.tif 000005
【図５】
0003927407.tif 000006
【図６】
0003927407.tif 000007
【図７】
0003927407.tif 000008
【図８】
0003927407.tif 000009
【図９】
0003927407.tif 000010