(57)【要約】【課題】医療分野で使用される手書きされた文字を認識して電子化する際に、誤認識を少なくして手書き文字の認識精度を向上させる。【解決手段】カルテ上のシェーマに手書きで記入された文字を認識する文字認識システムであって、前記シェーマのシェーマ情報を取得するシェーマ情報取得手段と、前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定手段と、前記部位設定手段により設定された部位に関する語彙を設定する語彙設定手段と、前記設定された語彙に基づき、前記手書き部分の文字を認識する認識手段とを設け、シェーマを認識し、その上に手書きで記入された部分を検出することで病状のある部位を特定する。【選択図】図２
2014026431.tif 000002
【特許請求の範囲】
【請求項１】
カルテ上のシェーマに手書きで記入された文字を認識する文字認識システムであって、
前記シェーマのシェーマ情報を取得するシェーマ情報取得手段と、
前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定手段と、
前記部位設定手段により設定された部位に関する語彙を設定する語彙設定手段と、
前記設定された語彙に基づき、前記手書き部分の文字を認識する認識手段と、
を有することを特徴とする文字認識システム。
【請求項２】
前記認識手段による文字認識結果を補正する補正手段を更に有し
前記シェーマに対応する部位の位置関係を表す部位間位置情報を有し、
前記認識手段による文字認識結果と前記補正手段による補正結果のスコア差があらかじめ決めた閾値より大きい場合は、前記部位間位置情報を使い推定された部位の周囲の部位に関係する語彙で補正を行うことを特徴とする請求項１に記載の文字認識システム。
【請求項３】
前記カルテのシェーマと重なり合う部分の手書きストローク情報を検出し、検出した手書き部分とシェーマとの重なりから部位を特定することを特徴とする請求項１または２に記載の文字認識システム。
【請求項４】
前記カルテに記載されている過去の治療履歴からその患者に関連する部位を優先的に選択して特定することを特徴とする請求項１乃至３の何れか１項に記載の文字認識システム。
【請求項５】
前記カルテへの書き込みに使用された電子ペンにより、使用者が用紙へ記入する際にペン先周辺の撮影を行ってドットパターンを読み取り、読み取ったドットパターンによって使用されている用紙の情報からシェーマ情報を取得するとともに、ペン先の移動によって生成された位置の情報から手書きストローク情報を検出して部位を特定することを特徴とする請求項１または２に記載の文字認識システム。
【請求項６】
カルテ上のシェーマに手書きで記入された文字を認識する文字認識装置であって、
前記シェーマのシェーマ情報を取得するシェーマ情報取得手段と、
前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定手段と、
前記部位設定手段により設定された部位に関する語彙を設定する語彙設定手段と、
前記設定された語彙に基づき、前記手書き部分の文字を認識する認識手段と、
を有することを特徴とする文字認識装置。
【請求項７】
カルテ上のシェーマに手書きで記入された文字を認識する文字認識方法であって、
前記シェーマのシェーマ情報を取得するシェーマ情報取得工程と、
前記シェーマに記入された手書き部分を取得する手書き部分取得工程と、
前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定工程と、
前記部位設定工程において設定された部位に関する語彙を設定する語彙設定工程と、
前記設定された語彙に基づき、前記手書き部分の文字を認識する認識工程と、
を有することを特徴とする文字認識方法。
【請求項８】
カルテ上のシェーマに手書きで記入された文字を認識する文字認識方法の各工程をコンピュータに実行させるプログラムであって、
前記シェーマのシェーマ情報を取得するシェーマ情報取得工程と、
前記シェーマに記入された手書き部分を取得する手書き部分取得工程と、
前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定工程と、
前記部位設定工程において設定された部位に関する語彙を設定する語彙設定工程と、
前記設定された語彙に基づき、前記手書き部分の文字を認識する認識工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文字認識システム及び文字認識装置に関し、特に、医療文書に記入された手書き文字を認識するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
医療分野では、従来より所見や診断情報などの医療情報が紙のカルテ用紙に記載されることが一般的である。近年、医療分野における電子化が進み、カルテに記載される内容をパーソナル・コンピュータを用いて電子化する電子カルテが普及している。しかし、医療情報には図形情報であるシェーマも含まれており、これを例えばキーボードやマウスなどにより入力して電子化することは容易ではない。
【０００３】
このため、ペンタブレットを使い画面に表示されているシェーマの近傍に所見や診断情報を電子的に手書きすることや、特定の用紙と電子ペンを使い手書きされた情報を電子的に取得することが行われている。特許文献１では、特定の用紙に電子ペンで記載した所見や診断情報を図形情報であるシェーマと関連付けて保存することで情報を活用する手段を提供している。
また、過去の紙カルテが大量に蓄積されており、これをスキャナで読み取ることで画像データに変換して電子カルテに取り込むことが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
紙カルテを電子化する場合や、ペンタブレットを使用した電子カルテシステムにおいて手書きされた文字情報を活用するためには、文字認識を行ってコンピュータで扱える電子データとする必要がある。
【０００６】
しかしながら、医療分野で使用される語彙の中には類似した文字が多く存在するため、手書きされた文字を認識して電子化するには認識精度の問題があった。例えば、人体の部位や病名に使われている文字は同一の偏や旁を持つことが多いため誤認識しやすい問題点があった。
本発明は前述の問題点に鑑み、医療分野で使用される手書きされた文字を認識して電子化する際に、誤認識を少なくして手書き文字の認識精度を高めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の文字認識システムは、カルテ上のシェーマに手書きで記入された文字を認識する文字認識システムであって、前記シェーマのシェーマ情報を取得するシェーマ情報取得手段と、前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、前記シェーマ情報に基づき、前記カルテに手書きされている部分に関連する部位の情報を設定する部位設定手段と、前記部位設定手段により設定された部位に関する語彙を設定する語彙設定手段と、前記設定された語彙に基づき、前記手書き部分の文字を認識する認識手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、医療分野で使用される手書きされた文字を認識して電子化する際に、誤認識を少なくして手書き文字の認識精度を高めることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態を示し、文字認識システムの構成例を示す図である。
【図２】第１の実施形態で行なわれる処理の一例を示すフローチャートである。
【図３】シェーマに記入された手書き部分を検出する様子を説明する図である。
【図４】紙カルテ入力時のシェーマと部位の対応部位を特定する説明する図である。
【図５】文字認識処理及び認識結果を説明する図である。
【図６】部位と関連語彙の関係情報を示す図である。
【図７】部位間の接続例を説明する図である。
【図８】電子カルテ入力時の手書き部の検出を説明する図である。
【図９】文字認識装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
図１は、本発明の実施形態を示し、文字認識システムの構成例を示す図である。図１に示したように、本発明の実施形態の文字認識システムは、スキャナ装置１０１、電子カルテサーバ１０２、電子カルテ端末１０３をネットワーク１０４を介して接続されて構成されている。本実施形態の文字認識システムは、紙カルテ・電子カルテをスキャンして、医療文書に記入された手書き文字を認識するために用いられる。スキャナ装置１０１、電子カルテサーバ１０２、電子カルテ端末１０３等はコンピュータシステムをそれぞれ有している。
【００１１】
（第１の実施形態）
スキャナ装置１０１は、紙カルテをスキャンするための装置である。本実施形態では直接ネットワーク１０４に接続しているが、ネットワーク１０４に接続されたコンピュータと一式であってもよい。スキャナ装置１０１は、スキャンして生成した画像データを、ネットワーク１０４を経由して電子カルテサーバ１０２に送信する。
【００１２】
電子カルテサーバ１０２は、電子カルテデータの管理や紙カルテをスキャンして生成された画像データを電子カルテデータとともに蓄積するサーバである。スキャン画像中の文字を検出して認識する文字認識処理はこのサーバで行ってもよい。
電子カルテ端末１０３は、ペンタブレットであり、電子カルテへの記入はペンを使って行うことができる。
【００１３】
図２は、本実施形態の文字認識システムで行なわれる処理の一例を示すフローチャートである。本実施形態においては、紙カルテからスキャンされた画像を処理する場合を説明する。
Ｓ２０１は、シェーマ情報取得ステップである。シェーマ情報とは、カルテ上のシェーマが示す人体の部位を示す情報である。紙カルテをスキャンしたものを処理する場合、あらかじめシェーマが印刷されている用紙を用いる場合と、スタンプになっているシェーマを紙に押すことで用紙にシェーマを付けている場合がある。
【００１４】
シェーマが印刷されている用紙である場合は、あらかじめ登録されている用紙のフォーマット情報とスキャンされた画像から抽出されたフォーマット情報を比較して使用している用紙を特定することができる。用紙が特定できれば、シェーマの種類と位置を特定することができる。
シェーマの無い用紙にシェーマのスタンプが押された場合は、使用されるスタンプの情報をあらかじめ登録しておく。そして、登録されたシェーマをスキャン画像中から登録されたスタンプを検索することで使用しているシェーマの種類と位置・大きさを特定することができる。
【００１５】
Ｓ２０２は、シェーマ上に記入された手書き部分を検出して取得する手書き部分取得ステップである。紙カルテをスキャンした画像で、図３（Ａ）に示す画像が得られている場合、位置や大きさに若干の誤差がでるため、まず検出した位置と大きさからシステムに登録されている未記入のシェーマの画像データを変倍して大きさを揃える。
【００１６】
スキャンの状態によって線が太くなったり細くなったりしているため、変倍されたシェーマを膨張処理させて図３（Ｂ）に示すようなマスク画像を生成する。このマスク画像を紙カルテから検出したシェーマの位置に合わせてマスク処理を行うと、図３（Ｃ）に示すような画像を得ることができる。これを手書き部分とする。
【００１７】
Ｓ２０３は、Ｓ２０２で取得した手書き部分とシェーマとの重なりから部位を設定する部位設定ステップである。シェーマ毎に図４（Ａ）に示すような部位の情報があり、この情報との重なりを調べることによって手書きで記入された部分の部位を特定する。
図４（Ｂ）に部位情報と手書き部の重なりを示す。シェーマにある各部位の情報はピクセル毎に設定されており、手書き部分のピクセルを各部位との重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は画素数の多い部位を選択する。図４（Ｂ）の場合は、頸部と判断することになる。
【００１８】
Ｓ２０４は、文字認識を行うステップである。紙カルテをスキャンした画像データを認識する場合は、オフラインの手書き文字認識を行う。図５（Ａ）に示すように、シェーマと接触しているストローク以外のものを認識対象として文字認識処理を行う。その結果、図５（Ｂ）のような認識結果が得られる。
【００１９】
Ｓ２０５は、Ｓ２０３で特定した部位によって文字認識結果を判定するための語彙空間を設定するステップである。図６に示す部位と関連語彙の関係情報を持っており、この関係から文字認識結果を判定するための語彙を決定して設定する。例えば、シェーマ情報が示す部位が「頸部」であれば、「切創」「挫傷」はあるが、「血腫」「皮下異物」「打撲」は無いため、これらの単語は文字認識結果の判定に使用しないように語彙設定する。図４の例では、部位は頸部が選択されているため、「頸部」と「切創」「挫傷」が選択される。本実施形態においては、認識結果の文字列の信頼度を判定し、文字認識結果と補正結果のスコア差があらかじめ決めた閾値より小さい場合は前回使用した部位の周辺の部位を認識対象として設定する。そして、設定された部位に基づいて語彙空間を決定して文字認識を行う。最終的には、一番信頼度の高い文字列を認識結果とする。
【００２０】
Ｓ２０６は、文字認識結果の文字列を、Ｓ２０５で決定した語彙で判定するステップである。図５（Ｂ）に示した認識結果が得られた場合、部位は「頸部」が選択されているため、第一候補から生成される文字列「頭部挫傷」をＳ２０５で決定した「頸部」「切創」「挫傷」で照合する。照合の結果、「頭部」が含まれないため、次の候補である「頸」に文字を入れ替える補正処理を行う。この補正結果として「頸部挫傷」を得ることができる。同様に照合処理を行うと「頸部挫傷」は限定された語彙と照合処理が成功する。照合処理が成功すれば全ての処理を終了し、成功しなければＳ２０７に進むことになる。
【００２１】
Ｓ２０７は、語彙空間を変更するステップであり、現在設定してある部位の周辺にある部位に語彙空間を拡大する処理を行う。図４（Ａ）に示したシェーマの部位の場合は、図７に示すように、人体の部位を示すシェーマに対応する部位の位置関係を表す部位間位置情報が用意されている。「頸部」で照合が失敗してこの処理に入ってきた場合は、図７（Ａ）に示すように、「頭部」に変更する処理を行う。
【００２２】
また、シェーマ中に多数の部位が含まれる例として、図７（Ｂ）を用いて説明する。
図７（Ｂ）では、部位（Ａ）〜（Ｅ）の５つの部位があり、「部位（Ａ）」は「部位（Ｂ）」と近接している。「部位（Ｂ）」は、「部位（Ａ）」「部位（Ｃ）」「部位（Ｄ）」と近接している。
【００２３】
以下同様に「部位（Ｃ）」は、「部位（Ｂ）」及び「部位（Ｅ）」と、「部位（Ｄ）」は「部位（Ｂ）」及び「部位（Ｅ）」と、「部位（Ｅ）」は、「部位（Ｃ）」及び「部位（Ｄ）」と近接している。Ｓ２０３で設定されている部位が「部位（Ｂ）」である場合、「部位（Ａ）」「部位（Ｃ）」「部位（Ｄ）」に語彙空間を変更する。
【００２４】
次に、この処理が行われる場合は、「部位（Ａ）」の周囲にある未処理の部位は無く、「部位（Ｃ）」「部位（Ｄ）」に接続された「部位（Ｅ）」が未処理であるため、「部位（Ｅ）」に語彙空間を変更することになる。また、部位の関係は、階層的になる場合もある。
【００２５】
この例を、図７（Ｃ）に示す。
前方から見た頭部のシェーマには、頭部の中に頭頂部、前頭部、左右の側頭部があり、側頭部には、耳部、前頭部には、眼窩部、鼻部、口唇部、頬部が含まれている。Ｓ２０３で得られる部位の情報は、手書き部とシェーマの重なりから得られるものであるため、最下層の部位が得られることになる。部位の変更ステップにおいては、この階層構造を使い近接する部位だけではなく、前述の部位間位置情報を用いて推定された部位の周囲の部位に関係する上位階層の部位を変更対象とする。
Ｓ２０８は、Ｓ２０７の部位設定変更ステップが成功したか否かの判定を行うステップである。成功していれば、Ｓ２０５に進む。成功しなければ処理を終了する。
【００２６】
以上の処理を行うことによって、使用されているシェーマを特定し、シェーマに記入された部位を特定して認識を行うことで文字認識結果を照合するための語彙空間を設定する。文字認識結果をシェーマから設定された語彙空間で照合処理を行うことにより、正しい認識結果を得ることができる。尚、上記処理では、Ｓ２０４にて文字認識を行った後、Ｓ２０５で語彙空間を設定し、Ｓ２０６で認識された文字を判定した。しかし、例えば、Ｓ２０４における文字認識の際に、あらかじめ語彙空間を設定しておき、当該語彙空間を用いて、認識される文字を制限してもよい。このような処理を行うことにより、Ｓ２０６における認識結果の判定の処理は不要になる。
【００２７】
（第２の実施形態）
本実施形態においては、電子カルテにおいて文字認識を行う場合を説明する。
電子カルテの場合も図２に示した第１の実施形態の処理フローと同じフローにて実施できる。各ステップの処理が紙カルテの場合と異なるものを以下で説明する。
Ｓ２０１は、シェーマ情報を取得するステップである。電子カルテでの操作の場合、システムに登録されているシェーマの中から使用するものを選択してカルテ上に張り付け、その上にペンで記入を行うため、電子カルテのシステムから使用しているシェーマ情報を取得する。
【００２８】
Ｓ２０２は、シェーマに記入された手書き部分を検出して取得する手書き部分取得ステップである。電子カルテの場合は、記入された情報は全てストローク情報として保持しているため、シェーマと重なり合う部分の手書きストロークのみを取得すればよい。図８（Ａ）のように電子カルテ上に表示されているものは、図８（Ｂ）のシェーマと図８（Ｃ）の手書き部に容易に分離できる。
【００２９】
Ｓ２０３は、Ｓ２０２で検出した手書き部分とシェーマとの重なりから部位を特定するステップである。電子カルテの場合、手書き部分はストローク情報であるため、描画処理によって画像データを生成する。生成された画像のストローク部分のピクセルを各部位毎の重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は、画素数の多い部位を選択する。ビットマップ画像で表現されたシェーマの場合も同様に、手書き部分のピクセルを各部位毎の重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は、画素数の多い部位を選択する。
Ｓ２０４以降のステップは、紙カルテの場合とまったく同じである。
【００３０】
以上の処理を行うことによって、電子カルテにおいても使用されているシェーマを特定し、シェーマに記入された部位を特定して認識を行うことで文字認識結果を照合するための語彙空間を設定する。文字認識結果をシェーマから設定された語彙空間で照合処理を行うことにより、正しい認識結果を得ることができる。
【００３１】
（第３の実施形態）
前述した第１及び第２の実施形態では、Ｓ２０３における部位の選択をシェーマ毎に設定されている部位との重なりの面積で決定していたが、患者が特定できる場合は、その情報を活用して部位を選択することもできる。性別の情報によって、性別に依存する部位を選択するかしないかを決定する。例えば、男性であれば、子宮は存在しないため部位の選択時の候補に子宮があっても選択せず、他の候補を選択する。
【００３２】
また、患者が特定できていれば電子カルテにある過去の治療履歴からその患者に関連する部位を優先的に選択することができる。例えば治療履歴から、「頭部」「腹部」「胃」「大腸」の部位が取得できた場合に、シェーマから得られた部位が「頭部」「頸部」であれば「頭部」を選択する。また、この選択時に時間的に近い治療履歴から得られる情報を優先的に使用することもできる。
【００３３】
例えば、シェーマから得られた部位が「頭部」「頸部」であり、治療履歴から、１週間前に「頸部」、１年前に「頭部」が治療されていると取得できれば、時間的に近い「頸部」を選択する。
同様に、Ｓ２０７の語彙空間を変更するステップにおいても、患者に関する情報から選択する部位を限定することができる。
以上の処理によって、患者に関する情報を部位の決定に活用して語彙空間を限定すれば文字認識の精度が高めることができる。
【００３４】
（第４の実施形態）
電子ペンを使ったシステムにおいても同様のフローで実施できる。
特殊なドットパターンを印刷した用紙を使い、電子ペンには、紙面への書き込み部とその近傍にドットパターンを読み取る撮影部を備えている。電子ペンは、使用者が用紙へ記入する圧力を検出して撮影部でペン先周辺の撮影を開始し、ドットパターンを読み取る。
【００３５】
読み取ったドットパターンによって使用されている用紙とその用紙中での記入位置を検出する。使用されている用紙の情報からシェーマ情報を取得する。またペン先の移動によって生成された位置の情報からストローク情報を生成することができる。ストローク情報が得られれば第２の実施形態の電子カルテの場合と同様に文字認識を実施すればよい。
【００３６】
（第５の実施形態）
前述した実施形態においては、ネットワーク１０４を介して接続されたスキャナ装置１０１、電子カルテサーバ１０２及び電子カルテ端末１０３により構成された文字認識システムについて説明した。それに対して、本実施形態においては、医療文書中の手書き文字を認識するために必要な機能を一体的に備えた文字認識装置を説明する。
【００３７】
図９は、本実施形態の文字認識装置のハードウェア構成の一例を示す図である。
図９において、ＣＰＵ９０１は、ＲＯＭ９０２に格納されている制御プログラムに従って本装置全体の制御を行う。ＲＯＭ９０２は、制御プログラム等を格納する。ＲＡＭ９０３は、画像データ等を記憶する。外部記憶装置９０４は、磁気ディスク等の外部記憶装置である。ディスプレイ９０５は、例えば、文字の認識結果等を表示する。キーボード９０６は、オペレータの操作に応じて情報を入力する。ポインティングデバイス９０７は、例えばマウス等である。スキャナ９０８は、画像を読み取る。
【００３８】
なお、文字認識装置は、汎用的なコンピュータでも実施可能である。この場合、媒体等で提供される制御プログラムは、外部記憶装置９０４に記憶され、オペレータの指示等によりＣＰＵ９０１が制御プログラムに基づき処理を実行する。また、ネットワークインターフェース１０９は、図示しない遠隔地に存在する装置と通信し、プログラムやデータ等を読み込んだり、書き込んだりする。
【００３９】
また、スキャナ９０８やディスプレイ９０５等は、ネットワークＩ／Ｆ９０９を介して接続された構成でもよい。
ＣＰＵ９０１が、制御プログラムに基づき処理を実行することによって、前述した文字認識装置の機能及び前述したフローチャートに係る処理が実現される。
【００４０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１０１  スキャナ
１０２  電子カルテシステムのサーバ
１０３  電子カルテのユーザ端末
１０４  ネットワーク
【図１】
2014026431.tif 000003
【図２】
2014026431.tif 000004
【図３】
2014026431.tif 000005
【図４】
2014026431.tif 000006
【図５】
2014026431.tif 000007
【図６】
2014026431.tif 000008
【図７】
2014026431.tif 000009
【図８】
2014026431.tif 000010
【図９】
2014026431.tif 000011