(57)【要約】【課題】  マイクやペンを持ち替えることなく、文字入力した結果の修正、あるいは文字入力そのものを補助する。【解決手段】  まず撮像カメラ１３８で撮像される操作者の顔撮像を取得して（ステップＳ１１）、この顔画像から顔の動きパターンを認識し（ステップＳ１２）、認識パターンをデータベースＤＢ１中のパターンと比較し照合する（ステップＳ１３）、比較照合の結果、一致するパターンが検出された場合には（ステップＳ１４）、該当するコマンドを読み出してデータベースＤＢ２中のコマンドと比較照合する（ステップＳ１５）。該当するコマンドがあるか判断し（ステップＳ１６）、検出されない場合にはエラーを表示し（ステップＳ１７）、検出された場合にはそれに対応する編集操作命令を読み出し出力する（ステップＳ１８）。【選択図】      図５
2006107283.tif 000002
【特許請求の範囲】
【請求項１】
文字入力操作を受け付ける文字入力デバイスと、
前記文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成部と、
操作者の顔を撮像するための撮像カメラと、
前記撮像カメラにより撮像される顔画像から顔の動きパターンを認識する動き認識部と、
予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを備え、前記動き認識部にて認識した顔の動きパターンに相当するパターンを前記第１のデータベースから検索して当該パターンに対応するコマンドを推論するコマンド推論部と、
予め前記コマンド推論部が推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを備え、前記第２のデータベースを参照して前記コマンド推論部の推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力部とを具備し、
前記文字列生成部で生成される文字列と前記命令出力部から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする文書作成装置。
【請求項２】
前記動き認識部は、前記顔画像から前記顔の特定方向からの移動方向を検出し、当該移動方向を顔の動きパターンの要素とすることを特徴とする請求項１記載の文書作成装置。
【請求項３】
前記動き認識部は、上下左右の方向または各方向の連続動作をそれぞれ前記顔の動きパターンとして認識し、斜めの動きパターンの受け付けを排除することを特徴とする請求項１記載の文書作成装置。
【請求項４】
前記動き認識部は、前記顔画像から前記顔の特定方向からの移動量を検出し、当該移動量を顔の動きパターンの要素とすることを特徴とする請求項１記載の文書作成装置。
【請求項５】
前記動き認識部は、前記顔画像から前記顔の特定方向から所定方向に移動させた時間を検出し、当該時間を顔の動きパターンの要素とすることを特徴とする請求項１記載の文書作成装置。
【請求項６】
前記文字入力デバイスは、音声認識装置、または手書き文字認識装置であることを特徴とする請求項１記載の文書作成装置。
【請求項７】
前記命令出力手段は、前記編集操作命令に、前記文字列入力の開始命令、前記文字列の削除、改行、インヒデント、バックスペース、スペース挿入の少なくともいずれかを含むことを特徴とする請求項１乃至３、６記載のいずれか記載の文書作成装置。
【請求項８】
前記命令出力手段は、前記編集操作命令として、前記移動量相当で削除する文字数または挿入するスペース数を調整する命令を生成出力することを特徴とする請求項４記載の文書作成装置。
【請求項９】
前記命令出力手段は、前記編集操作命令として、前記移動された時間相当で削除する文字数または挿入するスペース数を調整する命令を生成出力することを特徴とする請求項５記載の文書作成装置。
【請求項１０】
文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成過程と、
操作者の顔を撮像カメラで撮像する撮像過程と、
前記撮像過程により撮像される顔画像から顔の動きパターンを認識する動き認識過程と、
予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを参照して、前記動き認識過程にて認識された顔の動きパターンに相当するパターンを検索し当該パターンに対応するコマンドを推論するコマンド推論過程と、
予め前記コマンド推論過程が推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを参照して、前記コマンド推論過程の推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力過程とを具備し、
前記文字列生成過程で生成される文字列と前記命令出力過程から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする文書作成方法。
【請求項１１】
文書を作成し編集する処理をコンピュータに実行させるための文書作成プログラムであって、
文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成ステップと、
操作者の顔を撮像カメラで撮像する撮像ステップと、
前記撮像ステップにより撮像される顔画像から顔の動きパターンを認識する動き認識ステップと、
予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを参照して、前記動き認識ステップにて認識された顔の動きパターンに相当するパターンを検索し当該パターンに対応するコマンドを推論するコマンド推論ステップと、
予め前記コマンド推論ステップが推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを参照して、前記コマンド推論ステップの推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力ステップとを具備し、
前記文字列生成ステップで生成される文字列と前記命令出力過程から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする文書作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば医用レポート作成装置に用いられ、文書入力操作をキーボードやマウス等の手入力操作によらずに実現可能とする文書作成装置、文書作成方法及び文書作成プログラムに関する。
【背景技術】
【０００２】
従来から、医療行為の専門分野が細分化され、レントゲン、ＭＲＩ等の画像診断装置で撮影した医用画像の読影を専門医に依頼することが広く行われている。このような読影依頼に際し、専門医は読影対象の画像を表示させて、その結果を報告書（レポート）にまとめ、依頼元に渡す処置を行う。
【０００３】
既に、この医用レポートの作成を電子的に行う装置が実用化されている。この装置では、例えば読影依頼元からネットワーク配信等によって渡される医用画像をいったん蓄積し、レポートシートを画面表示して、そのシート上に必要な項目を入力する。そして、読影対象の画像を順次表示させ、その画像の所見をシート内の所見記入欄へ、画像所見を元に、読影依頼元での検査目的を考慮した診断結果を診断記入欄へ書き込む。所見で指摘する画像については、必要に応じて縮小／拡大画像または切り出し画像を作成し、画像添付欄等に貼り付ける。以上の手順によって作成された医用レポートのシートデータは、例えばネットワークを通じて読影依頼元に渡される。
【０００４】
ところで、上記のような従来の医用レポート作成装置では、文書作成時に、文字の入力操作において、一般的なキーボード入力に加え、音声入力、ペン入力などの各種デバイスが提供されている。従来から標準的に用いられているキーボード以外の音声入力、ペン入力等の新しいデバイスを用いるユーザも増えてきているが、いざ文書編集のための修正となると、マイク／ペンからキーボード／マウスへ持ち替えて行っているユーザがほとんどである。
【０００５】
このように、マイク／ペンからキーボードへの持ち替えは、医師が連続して所見を入力する際の手間を増やすこととなり、音声入力／ペン入力の使用が広く普及することを妨げる一因となっている。また、音声による修正（例えば「いちもじさくじょ」と発声すると１文字削除する（キーボードのバックスペース押下に相当）コマンド等）も検討されているが、現時点で実用的と言われる域には達していない。
【０００６】
尚、特許文献１には、キーボードを使用しながらマウスのようなポインティングデバイスを併用することの煩わしさを軽減するために、高度なＧＵＩを構築することが可能となる人物顔動作検出方式について開示されている。
【０００７】
この方式によれば、人物の顔画像から人物の注目方向を抽出すると共に、顔内部の部品の特定の変化を検出して予め指定される操作コマンドとの対応を判定し、注目方向と判定結果の操作コマンドとをポインティングデバイスの代わりを果たすことができる。しかしながら、この文献の記載では、具体的に注目方向と操作コマンド判定結果を使用したときの例が記載されておらず、上記のような医用レポート作成に対して単純に活用することはできない。
【特許文献１】特開平０９−３０５７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上述べたように、従来の医用レポート作成装置に代表される文書作成装置では、文書そのもののテキストは音声やペンによる入力が普及しつつも、編集作業ではキーボードやマウスを利用するといった、従前のＧＵＩ環境で処理している場合が多い。
【０００９】
本発明は上記の問題を解決し、マイクやペンを持ち替えることなく、あるいは、キーボードのみを使用する環境に於いても文字入力した結果の修正、あるいは文字入力そのものを補助することのできる文書作成装置、文書作成方法及び文書作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明に係る文書作成装置は、文字入力操作を受け付ける文字入力デバイスと、前記文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成部と、操作者の顔を撮像するための撮像カメラと、前記撮像カメラにより撮像される顔画像から顔の動きパターンを認識する動き認識部と、予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを備え、前記動き認識部にて認識した顔の動きパターンに相当するパターンを前記第１のデータベースから検索して当該パターンに対応するコマンドを推論するコマンド推論部と、予め前記コマンド推論部が推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを備え、前記第２のデータベースを参照して前記コマンド推論部の推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力部とを具備し、前記文字列生成部で生成される文字列と前記命令出力部から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする。
【００１１】
また、本発明に係る文書作成方法は、文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成過程と、操作者の顔を撮像カメラで撮像する撮像過程と、前記撮像過程により撮像される顔画像から顔の動きパターンを認識する動き認識過程と、予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを参照して、前記動き認識過程にて認識された顔の動きパターンに相当するパターンを検索し当該パターンに対応するコマンドを推論するコマンド推論過程と、予め前記コマンド推論過程が推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを参照して、前記コマンド推論過程の推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力過程とを具備し、前記文字列生成過程で生成される文字列と前記命令出力過程から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする。
【００１２】
また、本発明に係る文書作成プログラムは、文字入力デバイスの文字入力操作に応答して文字列を生成する文字列生成ステップと、操作者の顔を撮像カメラで撮像する撮像ステップと、前記撮像ステップにより撮像される顔画像から顔の動きパターンを認識する動き認識ステップと、予め複数の顔の動きパターンとコマンドの対応関係が登録された第１のデータベースを参照して、前記動き認識ステップにて認識された顔の動きパターンに相当するパターンを検索し当該パターンに対応するコマンドを推論するコマンド推論ステップと、予め前記コマンド推論ステップが推論するコマンドと前記文字列の編集操作命令との対応関係が登録される第２のデータベースを参照して、前記コマンド推論ステップの推論コマンドに対応する前記文字列の編集操作命令を読み出し出力する命令出力ステップとを具備し、前記文字列生成ステップで生成される文字列と前記命令出力過程から出力される編集操作命令に基づいて文書ファイルを作成することを特徴とする。
【００１３】
すなわち、本発明の特徴とする点は、撮像カメラを用いて操作者の顔を撮像し、撮像した顔画像から顔の動きパターンを検出して、予め登録されたパターン−コマンド・データベースから該当するコマンドを推論し、推論コマンド−編集操作命令・データベースから推論コマンドに対応する編集操作命令を出力するようにして、顔の動きだけで文字列の編集を可能としたことにある。
【発明の効果】
【００１４】
上記構成によれば、マイクやペンを持ち替えることなく、あるいは、キーボードのみを使用する環境に於いても文字入力した結果の修正、あるいは文字入力そのものを補助することのできる文書作成装置、文書作成方法及び文書作成プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
図１は本発明に係る文書作成装置が適用される医用レポート作成装置、医用レポート再生装置を含む病院情報システム（ＨＩＳ）の構成を示すブロック図である。図１において、１１はネットワークであり、このネットワーク１１には、医用画像、医用レポートを含む医療情報を共有化するための医療情報サーバ１２と、例えば放射線課読影室に設置され、依頼された読影画像に対する医用レポートを作成する医用レポート作成装置１３と、内科、外科等の各診療室に設置され、上記医用レポートを受け取って適宜再生可能な医用レポート参照装置１４とが接続されており、相互に情報通信が可能となっている。
【００１７】
尚、詳細は図示しないが、本実施形態において、上記医療情報サーバ１２には、ＨＩＳサーバ、画像ファイルサーバ、レポートシステムサーバが含まれているものとする。また、医用レポート参照装置１４は、医用レポート専用装置でもよいが、例えば各診療室に設置させている電子カルテシステムの端末を利用することも可能である。
【００１８】
上記医用レポート作成装置１３は、図２に示すように、ネットワーク１１に接続されるワークステーション装置１３１を備える。このワークステーション装置１３１には、入力装置としてキーボード１３２、マウス１３３が接続され、表示装置としてレポートモニタ装置１３４、参照情報モニタ装置１３５を備える。参照情報モニタ装置１３５には、一度に多数の参照情報をモニタできるように、マルチディスプレイが望ましい。また、本発明によって付加される入力デバイスとして、マイクロホン１３６、タブレット（ペン入力）１３７、撮像カメラ１３８が装備されている。
【００１９】
上記ワークステーション装置１３１は、図３に示すように、情報処理プロセッサ１３Ａ、通信ポート１３Ｂ、作業用に情報を格納するためのストレージユニット１３Ｃ、キーボード１３２及びマウス１３３の入力操作に対応した指示情報を受け付ける入力インターフェース部１３Ｄ、レポートモニタ装置１３４及び参照情報モニタ装置１３５にそれぞれモニタ表示情報を出力する出力インターフェース部１３Ｅを備える。尚、上記ストレージユニット１３Ｃにはキャッシュメモリを用いられるが、ハードディスク装置を併用するようにしてもよい。
【００２０】
上記情報処理プロセッサ１３Ａは、通信ポート１３Ｂを通じて医療情報サーバ１２から所見作成で参照するための画像、過去の医用レポート、履歴情報等のコンテンツを読み出し、ストレージユニット１３Ｃに格納しておく。また、情報処理プロセッサ１３Ａは、アプリケーションとして、種々のコンテンツをモニタし、拡大、縮小、切り出し等の編集を行うコンテンツ表示・編集プログラムＡ１、医用レポートの電子ファイルを作成・編集するためのレポートファイル作成・編集プログラムＡ２、リンク付け処理プログラムＡ３、ネットワーク管理プログラムＡ４を備え、電源投入及びオペレータの指示入力に従ってプログラムを選択し実行する。
【００２１】
図４は、上記構成による医用レポート作成装置１３において、情報処理プロセッサ１３Ａに搭載されるレポートファイル作成・編集プログラムＡ２に本発明を適用した場合の文書作成機能の具体的な構成を示すブロック図であり、図５はその処理の流れを示すフローチャートである。
【００２２】
本発明の装置では、レポートモニタ装置１３４の前に操作者が座り、文書作成を行う。入力の途中、操作者が左を向けば削除、右を向けばスペースの追加などのルールをデータベースに登録しておき、操作者の顔の動きに併せて文書の入力／修正の補助機能とする。
【００２３】
まず、情報処理プロセッサ１３Ａのレポートファイル作成・編集プログラムＡ２は、図４に示すように、文字列作成部Ａ２０、動き認識部Ａ２１、コマンド推論部Ａ２２、命令出力部Ａ２３を備える。
【００２４】
文字列作成部Ａ２０は、上記マイクロホン１３６による音声認識入力、タブレット１３７のペンによる文字入力等の入力デバイスの文字入力操作に応答して文字列を生成する。ここでは既存の入力デバイス（キーボード、マウス）の不使用を目的としているが、場合によって併用することも可能である。
【００２５】
動き認識部Ａ２１は、撮像カメラ１３８により撮像される操作者の顔画像から顔の動きパターンを認識する。認識の方法として、例えば顔の特徴となる部位（目、鼻、口など）を抽出し、各部位間の比率から、顔が正面方向からどの方向にどの程度向けられているかを順次判別し、その顔が向いている方向の変化を動きとして認識する方法が考えられる。この際、動きをある程度パターン化する。例えば、斜めの動きは無視し、上下左右のみの動きとその組み合わせのパターンを認識する。また、移動量、移動後の継続時間を動きパターンの要素としてもよい。
【００２６】
コマンド推論部Ａ２２は、予め複数の顔の動きパターンとコマンドの対応関係が登録されたデータベースＤＢ１を備え、動き認識部Ａ２１にて認識した顔の動きパターンに相当するパターンをデータベースＤＢ１から検索して当該パターンに対応するコマンドを推論する。
【００２７】
命令出力部Ａ２３は、予めコマンド推論部Ａ２２が推論するコマンドと文字列の編集操作命令との対応関係が登録されるデータベースＤＢ２を備え、このデータベースＤＢ２を参照してコマンド推論部Ａ２２の推論コマンドに対応する文字列の編集操作命令を読み出し出力する。命令には、例えば文字列入力の開始命令、前記文字列の削除、改行、インデント、バックスペース、スペース挿入等がある。
【００２８】
上記構成によるレポートファイル作成・編集プログラムＡ２では、図５に示すように、まず撮像カメラ１３８で撮像される操作者の顔撮像を取得して（ステップＳ１１）、この顔画像から顔の動きパターンを認識し（ステップＳ１２）、認識パターンをデータベースＤＢ１中のパターンと比較し照合する（ステップＳ１３）、比較照合の結果、一致するパターンが検出された場合には（ステップＳ１４）、該当するコマンドを読み出してデータベースＤＢ２中のコマンドと比較照合する（ステップＳ１５）。該当するコマンドがあるか判断し（ステップＳ１６）、検出されない場合にはエラーを表示し（ステップＳ１７）、検出された場合にはそれに対応する編集操作命令を読み出し出力する（ステップＳ１８）。
【００２９】
以下、顔の動きパターンから推論されるコマンドと編集操作命令との関係を例示する。
【００３０】
（１）右に動いたと判別された推論コマンドに対し、スペースを挿入する命令を出力する。右を向いた量または時間を判定して、スペースを挿入する文字数を調整する。
【００３１】
（２）左を向いたと判別された推論コマンドに対し、一文字削除の命令を出力する。左を向いた量または時間を判定して、削除する文字数を調整する。
【００３２】
（３）顔が正面を向いている時には音声入力開始、他を向いているときは音声入力終了という設定とする。一般に、音声入力を開始するためにはキーボードのCTRLキーなどを押しているが、これにより、キーボードを使う必要が全くなくなる。
【００３３】
（４）下を向いてから左を向くというパターンを認識した場合には、改行を挿入する。
【００３４】
以上のように、本発明に係る文書作成機能によれば、例えば音声認識により所見情報の入力を行い、所見入力画面で所見を入力中に顔を左へ向ける動作を行うと、その左へ顔を向ける動作に合わせて、入力された所見情報を削除する。顔の動きに連動して削除する量が変わるように、顔の動き検出手段から出力される角度情報が所定の値を越えて左へ向けられた時に削除を開始し、顔が動いている順次文字を削除していく。ここで、操作者が席を立つ場合等に、誤って所見が削除されないような条件を加える。誤って削除するのを防ぐため、顔を真横に振った場合のみ削除、顔を斜めに動かした場合は削除しない、といったルールを決めておく。
【００３５】
本発明によれば、従来、キーボード以外のデバイスにて文書を入力する際、修正するためには、そのデバイスからキーボードへの持ち替えを余儀なくされてきたが、上記の機能を有することにより、修正時にデバイスを持ち替える必要が無く、実質的な文書入力時間の削減を図ることができる。特に音声認識と顔の動きを合わせて所見入力を行うことにより、良好な操作性が得られる。
【００３６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る医用レポート作成装置、医用レポート参照装置を含む病院情報システム（ＨＩＳ）の構成を示すブロック図。
【図２】本発明に係る医用レポート作成装置、医用レポート参照装置の基本的な構成を示すブロック図。
【図３】本発明に係る医用レポート作成装置の一実施形態を示すブロック図。
【図４】上記医用レポート作成装置の情報処理プロセッサに搭載されるレポートファイル作成・編集プログラムに本発明を適用した場合の文書作成機能の具体的な構成を示すブロック図。
【図５】図４に示す文書作成機能の処理の流れを示すフローチャート。
【符号の説明】
【００３８】
１１…ネットワーク、１２…医療情報サーバ、１３…医用レポート作成装置、１４…医用レポート参照装置、
１３１…ワークステーション装置、１３２…キーボード、１３３…マウス、１３４…レポートモニタ装置、１３５…参照情報モニタ装置、１３６…マイクロホン、１３７…タブレット（ペン入力）、１３８…撮像カメラ、
１３Ａ…情報処理プロセッサ、１３Ｂ…通信ポート、１３Ｃ…ストレージユニット、１３Ｄ…入力インターフェース部、１３Ｅ…出力インターフェース部、
Ａ１…コンテンツ表示・編集プログラム、Ａ２…レポートファイル作成・編集プログラム、Ａ３…リンク付け処理プログラム、Ａ４…ネットワーク管理プログラム、
Ａ２０…文字列作成部、Ａ２１…動き認識部、Ａ２２…コマンド推論部、Ａ２３…命令出力部、ＤＢ１…パターン−コマンドデータベース、ＤＢ２…コマンド−命令データベース。
【図１】
2006107283.tif 000003
【図２】
2006107283.tif 000004
【図３】
2006107283.tif 000005
【図４】
2006107283.tif 000006
【図５】
2006107283.tif 000007