(57)【要約】      （修正有）【課題】定型書式の各項目をより正確に文字入力可能な端末装置およびプログラムを提供する。【解決手段】所定項目を入力可能な複数のエリアを有する定型書式を表示する表示部と、複数のエリアの中から第一エリアを選択し、入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、第一条件を満たしていれば、複数のエリアの中から、第一エリアとは異なる第二エリアを選択する制御部とを備える。制御部は、第一条件を満たしていなければ、第一エリアを選択し続ける。【選択図】図５Ａ
2018180884.tif 000002
【特許請求の範囲】
【請求項１】
所定項目を入力可能な複数のエリアを有する定型書式を表示する表示部と、
前記複数のエリアの中から第一エリアを選択し、入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する制御部と、を備え、
前記制御部は、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける、
端末装置。
【請求項２】
前記制御部は、前記第一エリアを選択し続けて、入力音声の認識結果を表す文字を、選択中の第一エリアに追加入力し確定させる、
請求項１に記載の端末装置。
【請求項３】
コンピュータに、
所定項目を入力可能な複数のエリアを有する定型書式を表示させる第一処理と、
前記複数のエリアの中から第一エリアを選択し、入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する第二処理と、
前記第一条件を満たしていなければ、前記第一エリアを選択し続ける第三処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声認識により、定型書式（ひな形、テンプレートと呼ばれる場合もある）の各項目を文字入力可能な端末装置及びプログラムに関する。
【背景技術】
【０００２】
従来、この種の端末装置としては、例えば特許文献１に記載の問診票作成システムがある。問診票作成システムは、診票の作成に際して患者の負担を軽減するために、問診票のテンプレートに、テキストデータを合成し、問診票データを生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−９１２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の目的は、定型書式の各項目をより正確に文字入力可能な端末装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００５】
本開示の第一形態は、所定項目を入力可能な複数のエリアを有する定型書式を表示する表示部と、前記複数のエリアの中から第一エリアを選択し、入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する制御部と、を備え、前記制御部は、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける、端末装置に向けられる。
【０００６】
本開示の第二形態は、コンピュータに、所定項目を入力可能な複数のエリアを有する定型書式を表示させる第一処理と、前記複数のエリアの中から第一エリアを選択し、入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する第二処理と、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける第三処理と、を実行させるプログラムに向けられる。
【発明の効果】
【０００７】
本開示によれば、定型書式の各項目をより正確に文字入力可能な端末装置およびプログラムを提供することが出来る。
【図面の簡単な説明】
【０００８】
【図１】本開示の一実施形態に係る端末装置を備えた音声認識システムの構成を示す図
【図２】図１の端末装置の詳細な構成を示す図
【図３】メイン画面の初期状態と、メニュー画面を示す模式図
【図４】第一定型書式および第二定型書式を例示する模式図
【図５Ａ】図２の端末装置における処理の前半部分を示すフロー図
【図５Ｂ】図２の端末装置における処理の後半部分を示すフロー図
【図６】第一定型書式への文字入力を示す模式図
【図７】第二定型書式への文字入力を示す模式図
【発明を実施するための形態】
【０００９】
以下、上記図面を参照して、本開示の一実施形態に係る端末装置１１およびプログラムを詳説する。
【００１０】
＜１．定義＞
いくつかの図面にはｘ軸、ｙ軸が示される。ｘ軸は、本開示では、タッチスクリーン１１７の横方向（左右方向）を示すとする。ｙ軸は、タッチスクリーン１１７の縦方向（上下）を示すとする。
【００１１】
下表１は、以下の説明で使用される頭字語や略語の意味を示す。
【００１２】
【表１】
2018180884.tif 000003
【００１３】
＜２．音声認識システム１の全体構成＞
図１は、音声認識システム１の全体構成を示すブロック図である。
【００１４】
音声認識システム１は、端末装置１１を備えている。
【００１５】
端末装置１１は、例えばスマートフォン又は携帯電話であって、音声認識サーバ１３とネットワーク１５を介して双方向データ通信可能に接続される。
【００１６】
より具体的には、端末装置１１は、ユーザによる入力音声の時間波形を表す音声データを、ネットワーク１５に送出する。なお、音声データは、音声の時間波形以外にも、入力音声の特徴量を表すデータであっても良い。
【００１７】
ネットワーク１５は、例えばインターネット回線であって、端末装置１１から送出された音声データを音声認識サーバ１３に伝送する。
【００１８】
音声認識サーバ１３は、例えばサーバ装置であって、ネットワーク１５を介して端末装置１１の音声データを受信して、受信音声データに周知の音声認識を行う。その結果、音声認識サーバ１３は、端末装置１１側での表示等のために、音声認識の結果を文字で表すテキストデータを生成する。なお、テキストデータが表す文字には、一部の記述記号（句点等）が付加される場合もある。
【００１９】
また、本開示で、テキストデータとは、キーボード入力されたものだけでなく、音声認識の結果を文字で表すものとする。
【００２０】
音声認識サーバ１３は、自身が生成したテキストデータを、ネットワーク１５を介して端末装置１１に送信する。
【００２１】
なお、音声認識サーバ１３は本開示の要部ではないため、音声認識サーバ１３に関しては、これ以上の説明を控える。
【００２２】
端末装置１１は、ネットワーク１５を介して音声認識サーバ１３からのテキストデータを受信する。端末装置１１は、所定項目を入力可能な複数のエリアを有する定型書式に、受信テキストデータを入力し表示する共に、必要に応じて、ユーザ操作に従って、表示中のテキストデータを編集する。その後、端末装置１１は、ユーザ操作に応答して、表示中のテキストデータを確定する。
【００２３】
＜３．端末装置１１の詳細な構成＞
端末装置１１は、図２に示すように、音声入力部１１１と、制御部１１３と、送受信部１１５と、タッチスクリーン１１７と、を備えている。
【００２４】
音声入力部１１１は、例えばマイクおよびＡＤＣの組み合わせであって、ユーザの入力音声をＡＤ変換してデジタル信号を生成し、制御部１１３に送信する。
【００２５】
制御部１１３は、例えば、基板上に実装されたマイコン、プログラムメモリ、メインメモリおよびストレージを含む。
【００２６】
制御部１１３において、マイコンは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行する。
【００２７】
送受信部１１５は、通信ＩＦと呼ばれてもよく、本開示では、制御部１１３で生成された音声データをネットワーク１５に送出すると共に、ネットワーク１５上を伝送されてきたテキストデータを制御部１１３に転送する。
【００２８】
タッチスクリーン１１７は、タッチパネルがディスプレイに備わったもので、ディスプレイの表示画面をユーザが直接触れることで操作できるディスプレイである。タッチスクリーン１１７は、制御部１１３で生成された画面データに従って画面表示を行う。また、タッチスクリーン１１７は、ユーザ操作に応答して、ユーザの操作位置等を示す情報を生成し制御部１１３に送信する。
【００２９】
＜４．端末装置１１で使用される定型書式＞
次に、図３，図４をさらに参照して、端末装置１１で使用される定型書式について説明する。
【００３０】
ユーザは、端末装置１１を操作してプログラムを起動しログインをする。ログイン完了後、制御部１１３は、タッチスクリーン１１７におけるメイン画面Ｓmainの表示内容を初期状態にする（図３左側を参照）。
【００３１】
本端末装置１１は、定型書式（ひな形、テンプレートと呼ばれる場合もある）の各項目を文字入力可能になっている。
【００３２】
具体的には、図３中央に示すように、ユーザは、メイン画面Ｓmainの右端から中央に向けて指でスワイプする。これに応じて、制御部１１３の制御下で、図３右側に示すように、いくつかの定型書式を呼び出すためのメニュー画面Ｓmenuがタッチスクリーン１１７のメイン画面Ｓmainにオーバーレイ表示される。
【００３３】
音声認識システム１は、例えば、医療・介護向けのクラウド型音声認識サービスに適用可能である。この場合、メニュー画面Ｓmenuには、第一定型書式の一例として、図４左側に例示するように、体温や血圧等のバイタル情報が入力される第一定型書式Ｓtemp1が制御部１１３内に登録される。メニュー画面Ｓmenuには他にも、第二定型書式の一例として、図４右側に示すように、ＳＯＡＰ入力用の第二定型書式Ｓtemp2も制御部１１３に登録される。
【００３４】
ここで、第一定型書式Ｓtemp1と、第二定型書式Ｓtemp2の共通点と相違点について説明する。
【００３５】
第一定型書式Ｓtemp1および第二定型書式Ｓtemp2において、入力項目名の右側方に、音声認識の結果を表す文字列の入力エリアとしての可変部（図４，図６で### と例示）が設定される。本開示では、第一定型書式Ｓtemp1または第二定型書式Ｓtemp2が表示されると、まず、最も上の可変部が選択された状態となる。ユーザの入力音声の認識結果を表す文字列で選択中の可変部が埋められると、一つ下方の可変部が選択される。以降、同様の処理が繰り返される。
【００３６】
ここで、バイタル情報は基本的に数値であり、非常に簡潔である。それに対し、ＳＯＡＰは、必ずしも簡潔では無く、二以上の文章を含む長文であることもある。従って、上記のような可変部の選択は、可変部に入力されるべき情報に応じて適切に切り替えられることが望ましい。
【００３７】
このような技術的背景から、端末装置１１では、下記のような音声入力が採用される。
【００３８】
＜５．端末装置１１における処理の詳細＞
次に、図５Ａ〜図７をさらに参照して、端末装置１１における処理を詳説する。
【００３９】
図５Ａにおいて、制御部１１３は、メイン画面Ｓmainの表示内容を初期状態にした後、ユーザの操作に応答して（図３を参照）、定型書式（第一定型書式Ｓtemp1および第二定型書式Ｓtemp2のいずれか）を呼び出して、図６左側に示すように、メイン画面Ｓmainの上部に表示させる（ステップＳ００１）。なお、図６には、第一定型書式Ｓtemp1が例示される。
【００４０】
次に、制御部１１３は、メイン画面Ｓmainに呼び出した定型書式において最も上の可変部を選択し、選択中の可変部を強調表示する（ステップＳ００３）。
【００４１】
ユーザは、例えば第一定型書式Ｓtemp1を呼び出した後、各可変部に文字入力を行いたい場合、図６左側に示すように、メイン画面Ｓmainに含まれる録音ボタンＢrec を短押し操作する。ここで、短押し操作とは、予め定められた時間未満の時間だけ録音ボタンＢrec を操作することを意味する。これに応じて、タッチスクリーン１１７は、録音ボタンＢrec が操作されたことおよび操作時間を表す情報を制御部１１３に送信する。
【００４２】
制御部１１３は、タッチスクリーン１１７からの情報を受信すると（ステップＳ００５でＹＥＳ）、第一条件が満たされたか否かを判断するために、録音ボタンＢrec が短押し操作されたか否かを判断する（ステップＳ００７）。
【００４３】
ステップＳ００７においてＹＥＳと判断すると、制御部１１３は、バイタル情報のような簡潔な情報の可変部への入力が要求されているとみなすと共に、図６中央に示すように、メイン画面Ｓmainの下部に、音声認識の実行中であることを表示させる（ステップＳ００９）。
【００４４】
ユーザは、録音ボタンＢrec を短押し後、音声入力部１１１（図２を参照）向けて話し出す。本開示では、ユーザの入力音声として”さんじゅうはってんぜろ”が例示される（図６中央の吹き出しＯbal1内を参照）。音声入力部１１１は、自身に入力された音声を表す電気信号を生成して制御部１１３に送信する。
【００４５】
制御部１１３は、話し終わりを検知すると、話し始めから話し終わりまでの音声データを生成し、送受信部１１５を介してネットワーク１５に送出する（図１等を参照）。
【００４６】
その後、制御部１１３は、直前に送った音声データの音声認識の結果を文字で表すテキストデータを、音声認識サーバ１３から、ネットワーク１５および送受信部１１５を介して受信する。制御部１１３は、受け取ったテキストデータが表す文字列を、表示中の第一定型書式Ｓtemp1において選択中の可変部（即ち、第一エリア）に、確定された状態で入力し表示させる（ステップＳ０１１）。
【００４７】
次に、制御部１１３は、未選択の可変部が残っていれば（ステップＳ０１３でＹＥＳ）、図６右側に示すように、現在選択中の可変部の一つ下の可変部を選択して、選択中の可変部を強調表示する（ステップＳ０１５）。その後、処理はステップＳ００５に戻る。
【００４８】
それに対し、未選択の可変部が無ければ（ステップＳ０１３でＮＯ）、図５Ａ，図５Ｂの処理を終了する。なお、ステップＳ０１３でＮＯと判断した後、制御部１１３は、ユーザの操作に従って、各可変部の入力文字列を編集しても良い。
【００４９】
上記に対し、ステップＳ００１で第二定型書式Ｓtemp2が呼び出され、ユーザが各可変部に文字入力を行いたい場合、図７左側に示すように、メイン画面Ｓmainに含まれる録音ボタンＢrec を長押し操作する。ここで、長押し操作とは、短押し操作とは逆に、予め定められた時間以上の時間だけ録音ボタンＢrec を操作することを意味する。これに応じて、タッチスクリーン１１７は、録音ボタンＢrec が継続的に操作されたことを表す情報を制御部１１３に送信する。
【００５０】
上記の場合、制御部１１３は、ステップＳ００７においてＮＯと判断し、ＳＯＡＰのような長文の情報の可変部への入力が要求されているとみなす。これに応じて、制御部１１３は、上記同様、メイン画面Ｓmainの下部に、音声認識の実行中であることを表示させる（図５ＢのステップＳ０１７）。
【００５１】
ユーザは、録音ボタンＢrec を長押し後、音声入力部１１１（図２を参照）向けて話し出す。本開示では、ユーザの入力音声として”じゅういちがつ…（略）…いたい”が例示される（図７左側の吹き出しＯball1を参照）。音声入力部１１１は、自身に入力された音声を表す電気信号を生成して制御部１１３に送信する。
【００５２】
制御部１１３は、話し始めから話し終わりまでの音声データを生成し、送受信部１１５を介してネットワーク１５に送出する（図１等を参照）。その後、制御部１１３は、音声認識サーバ１３から受け取ったテキストデータが表す文字列を、表示中の第二定型書式Ｓtemp2において選択中の可変部に入力し表示させる。制御部１１３はさらに、図７中央に示すように、メイン画面Ｓmainの下部に、可変部の切り替えという機能が割り当てられた完了ボタンＢcompを表示させる（ステップＳ０１９）。なお、可変部への入力文字が、ステップＳ０１７の実行時点で編集可能であっても良い。
【００５３】
次に、制御部１１３は、完了ボタンＢcompがタッチ操作されたか否かを判断する（ステップＳ０２１）。タッチスクリーン１１７は、ユーザが完了ボタンＢcompをタッチ操作すると、そのことを示す情報を制御部１１３に送信する。受信情報に基づき、制御部１１３は、ステップＳ０２１の判断を行う。
【００５４】
ステップＳ０２１でＮＯと判断すると、制御部１１３は、第一エリアとしての現在選択中の可変部を変更すること無く引き続き選択し続けて（ステップＳ０２３）、ステップＳ０１７に戻る。
【００５５】
ユーザは、音声入力部１１１（図２を参照）向けて話し出す。本開示では、ユーザの入力音声として”ひだりがわがとくにいたい”が例示される（図７中央の吹き出しＯball2を参照）。この入力音声は前述と同様の手法でテキストデータ化され、ステップＳ０１９の実行により、表示中の第一定型書式Ｓtemp2において選択中の可変部に、追加の文字列が入力され表示される（図７右側を参照）。
【００５６】
それに対し、ステップＳ０２１でＹＥＳと判断した後、制御部１１３は、未選択の可変部が残っていれば（ステップＳ０２５でＹＥＳ）、現在選択中の可変部の一つ下の可変部を選択して、選択中の可変部を強調表示する（ステップＳ０２７）。その後、処理はステップＳ０１７に戻る。
【００５７】
それに対し、未選択の可変部が無ければ（ステップＳ０２５でＮＯ）、図５Ａ，図５Ｂの処理を終了する。
【００５８】
＜６．端末装置１１の作用・効果＞
上記の通り、本開示によれば、定型書式の各項目をより正確に文字入力可能な端末装置１１を提供することが出来る。
【００５９】
前述の通り、第一定型書式Ｓtemp1への入力文字列は、第二定型書式Ｓtemp2への入力文字列と比較すると簡潔である。逆に、第二定型書式Ｓtemp2への入力文字列は相対的に長く複数の文章を含む場合もある。
【００６０】
本開示では、制御部１１３は、第一定型書式Ｓtemp1において、第一エリアとしての選択中の可変部（項目名）に文字列（項目）が入力されると、第二エリアとしての未選択の可変部を自動的に選択する。これを第一エリアとして、制御部１１３は、新たな文字列を入力する。従って、第一定型書式Ｓtemp1の使用時には、ユーザは各項目をテンポよく入力可能である。
【００６１】
それに対し、制御部１１３は、第二定型書式Ｓtemp2において、第一エリアとしての選択中の可変部に文字列が入力されたとしても、完了ボタンＢcompが操作されない限り、引き続き同一の可変部が選択される。従って、ユーザは、第二定型書式Ｓtemp2の使用中、長文や複数の文章を入力しやすくなる。
【００６２】
上記のことから、本開示によれば、定型書式の各項目をより正確に文字入力可能な端末装置１１を提供することが出来る。
【００６３】
＜７．付記＞
上記では、制御部１１３にプログラムが格納されるとして説明した。しかし、これに限らず、プログラムは、コンピュータにより読み取り可能な記録媒体（例えばＤＶＤ等）に格納されて提供されても構わない。他にも、各種端末装置がダウンロードできるように、プログラムはサーバ装置に格納されていても良い。
【００６４】
上記では、端末装置１１は、音声認識サーバ１３からテキストデータの提供を受けるとして説明した。しかし、これに限らず、端末装置１１が入力音声に対し音声認識を行ってテキストデータを生成し、自身が生成したテキストデータに対し図５Ａ，図５Ｂの処理を行っても構わない。
【００６５】
また、上記では、図５ＡのステップＳ００７における第一条件は、短押し操作されたか、長押し操作されたかであった。しかし、これに限らす、第一条件は、シングルタップされたか、ダブルタップされたかでも構わない。
【産業上の利用可能性】
【００６６】
本開示の端末装置およびプログラムは、定型書式の各項目をより正確に文字入力可能であり、医療・介護向けのクラウド型音声認識サービス等に好適である。
【符号の説明】
【００６７】
１１  端末装置
１１１  音声入力部
１１３  制御部
１１５  送受信部
１１７  タッチスクリーン
【図１】
2018180884.tif 000004
【図２】
2018180884.tif 000005
【図３】
2018180884.tif 000006
【図４】
2018180884.tif 000007
【図５Ａ】
2018180884.tif 000008
【図５Ｂ】
2018180884.tif 000009
【図６】
2018180884.tif 000010
【図７】
2018180884.tif 000011
【手続補正書】
【提出日】平成30年5月18日(2018.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定項目を入力可能な複数のエリアを有する定型書式を表示する表示部と、
前記複数のエリアの中から第一エリアを選択し、第１の入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、前記第１の入力音声の認識前に実行されたユーザ操作が第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する一方、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける制御部と、
を備える端末装置。
【請求項２】
前記制御部は、前記第一条件を満たしていなければ、前記第一エリアを選択し続け、第２の入力音声の認識結果を表す文字を、選択中の第一エリアに追加入力し確定させる、
請求項１に記載の端末装置。
【請求項３】
前記ユーザ操作は、録音ボタンの押し操作である、
請求項１または２に記載の端末装置。
【請求項４】
前記押し操作は、長押しおよび短押しを含む、
請求項３に記載の端末装置。
【請求項５】
前記ユーザ操作は、録音ボタンのタップ操作である、
請求項１または２に記載の端末装置。
【請求項６】
前記タップ操作は、シングルタップおよびダブルタップを含む、
請求項５に記載の端末装置。
【請求項７】
コンピュータに、
所定項目を入力可能な複数のエリアを有する定型書式を表示させる第一処理と、
前記複数のエリアの中から第一エリアを選択し、第１の入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、前記第１の入力音声の認識前に実行されたユーザ操作が第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する第二処理と、
前記第一条件を満たしていなければ、前記第一エリアを選択し続ける第三処理と、
を実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本開示の第一形態は、所定項目を入力可能な複数のエリアを有する定型書式を表示する表示部と、前記複数のエリアの中から第一エリアを選択し、第１の入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、前記第１の入力音声の認識前に実行されたユーザ操作が第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する一方、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける制御部と、を備える、端末装置に向けられる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本開示の第二形態は、コンピュータに、所定項目を入力可能な複数のエリアを有する定型書式を表示させる第一処理と、前記複数のエリアの中から第一エリアを選択し、第１の入力音声の認識結果を表す文字を、選択中の第一エリアに入力し確定させた後、前記第１の入力音声の認識前に実行されたユーザ操作が第一条件を満たしていれば、前記複数のエリアの中から、前記第一エリアとは異なる第二エリアを選択する第二処理と、前記第一条件を満たしていなければ、前記第一エリアを選択し続ける第三処理と、を実行させるプログラムに向けられる。