(57)【要約】【課題】音声データの入出力を簡易に制御する。【解決手段】記憶制御部１６は、指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、特定の日にち又は曜日又は時間帯又は時間に対応づけて第２の音声を記憶させ、出力部１８は、特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された第２の音声、第１の音声の順に出力する。【選択図】図１
2018200624.tif 000002
【特許請求の範囲】
【請求項１】
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する、
処理をコンピュータに実行させることを特徴とする音声入出力制御プログラム。
【請求項２】
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記記憶部にいくつの音声登録がなされたかを示す情報を表示する、
ことを特徴とする請求項１記載の音声入出力制御プログラム。
【請求項３】
前記情報は、アイコン又はカラーバーである、
ことを特徴とする請求項２記載の音声入出力制御プログラム。
【請求項４】
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記第１の音声、前記第２の音声のそれぞれの長さを示す情報を表示する、
ことを特徴とする請求項１記載の音声入出力制御プログラム。
【請求項５】
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する、
処理をコンピュータが実行することを特徴とする音声入出力制御方法。
【請求項６】
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させる制御部と、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する出力部と、
を有することを特徴とする音声入出力制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声入出力制御プログラム、音声入出力制御方法、及び音声入出力制御装置に関する。
【背景技術】
【０００２】
従来、簡単な音声処理装置を設けて、音声によるスケジュール管理を可能にする電話装置が提案されている。この電話装置は、使用者が発声するスケジュール情報を、マイクロホンから入力し、マイクロホンに接続された音声認識装置が、入力されたスケジュール情報のうち日時データのみを識別する。そして、この電話装置は、識別した日時データを、制御手段により、タイマー記憶手段に設定及び記憶し、マイクロホンから入力された日時データ以外のスケジュール情報は、音声記録装置にそのまま記録される。
【０００３】
また、個人の使用に便利なスケジューラ機能を実現した電話機が提案されている。この電話機は、予定の日時を指定するダイヤル釦と、音声メッセージを入力するマイクと、予定の日時及びメッセージを登録する制御を行う登録制御部と、入力された音声メッセージを登録制御部の制御に基づき記憶するメモリとを有する。また、この電話機は、指定された予定の日時が到来した場合にその旨を通知する制御を行う通知制御部と、メモリに記憶された音声メッセージを通知制御部の制御に基づき再生するスピーカとを有する。
【０００４】
また、ＬＣＤ画面に表示されるカレンダー画面の各日にち部分がタッチパネルからなり、選択された日にち部分をタッチ操作することでカレンダー画面上にウインドウが表示される情報端末機が提案されている。この情報端末機では、ウインドウに表示される所定のアイコンがタッチ操作されることによって録音可能状態となり、受話器をオフフックし音声による録音が開始され、受話器のオンフックで録音が停止しカレンダー画面に録音有りのマークが表示される。さらに、録音有りのマークがタッチ操作されることでカレンダー画面上にウインドウが表示され、ウインドウの所定のアイコンがタッチ操作されることで、情報端末機のスピーカから音声により録音された情報が再生される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１３４７６号公報
【特許文献２】特開２０００−２５３１０９号公報
【特許文献３】特開平１１−２３２２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
読み書きが苦手な人にとって、スケジュール帳に予定を記入し、スケジュールを管理することは困難な場合があり、スケジュール管理に誤りが生じる可能性がある。そこで、従来技術のように、音声入力を用いたスケジュール管理を行うことが考えられる。
【０００７】
しかし、登録した予定の一部に変更があった場合、音声データの一部分を修正することは困難であるため、記憶済みの該当の音声データを一旦削除して、変更後の内容を改めて音声入力し直すなどの煩雑な処理が必要となる。
【０００８】
本発明は、一つの側面として、音声データの入出力を簡易に制御することを目的とする。
【課題を解決するための手段】
【０００９】
一つの態様として、指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させる。前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させる。前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する。
【発明の効果】
【００１０】
一つの側面として、音声データの入出力を簡易に制御することができる、という効果を有する。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る音声入出力制御装置を含む情報処理端末の概略を示すブロック図である。
【図２】背景データベースの一例を示す図である。
【図３】予定データベースの一例を示す図である。
【図４】本実施形態に係る音声入出力制御装置を含む情報処理端末として機能するコンピュータの概略を示すブロック図である。
【図５】本実施形態における音声入出力制御処理の一例を示すフローチャートである。
【図６】新規登録処理の一例を示すフローチャートである。
【図７】新規の予定情報の登録を説明するための図である。
【図８】音声データの長さに応じたアイコンの表示サイズの一例を示す図である。
【図９】追加削除処理の一例を示すフローチャートである。
【図１０】予定情報の追加を説明するための図である。
【図１１】アイコンの表示サイズの更新を説明するための図である。
【図１２】変更処理の一例を示すフローチャートである。
【図１３】背景画像の変更を説明するための図である。
【図１４】予定情報を表すバー表示の一例を示す図である。
【図１５】予定情報が示す時間帯に応じたアイコンの表示態様の一例を示す図である。
【図１６】曲線を表した背景画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
【００１３】
図１に示すように、本実施形態に係る音声入出力制御装置１０は、マイク３２、タッチパネルディスプレイ３４、及びスピーカ３６を備えた情報処理端末３０に搭載される。情報処理端末３０は、例えば、タブレット端末、スマートフォン、携帯電話等である。
【００１４】
音声入出力制御装置１０は、機能的には、受付部１２と、表示制御部１４と、記憶制御部１６と、出力部１８とを含む。記憶制御部１６は開示の技術の制御部の一例であり、出力部１８は開示の技術の出力部の一例である。また、音声入出力制御装置１０の所定の記憶領域には、背景データベース（ＤＢ）２２と、予定ＤＢ２４とが記憶される。
【００１５】
ここで、例えば、学習障害のある人は、様々な記憶を、何らかのビジュアルに対応付けて記憶する傾向がある。例えば、人物、空等を含む画像のようなビジュアルに対して、プライベートの予定は「人物」に対応付けて、仕事の予定は「空」に対応付けて記憶する、といったイメージで記憶作業が行われる。なお、どのようなビジュアルを想定するか、また、ビジュアルに対してどの位置にどのような事項を対応付けて記憶するかということには個人差がある。
【００１６】
そこで、本実施形態は、スケジュールとして管理される各予定情報（詳細は後述）を対応付けるビジュアルとして、背景画像を利用する。背景画像としては、直線又は曲線などのグラフや図形、イラスト、写真など、様々な画像を利用することができる。また、ユーザ自身が撮影した写真や、作成したイラスト等を背景画像として利用することもできる。したがって、背景ＤＢ２２には、図２に示すように、予め様々な背景画像の各々が、背景画像の識別情報である背景ＩＤが付与されて記憶されると共に、任意の画像を新たに背景画像として追加可能である。
【００１７】
予定ＤＢ２４は、図３に一例を示すように、予定情報が記憶されるデータベースである。各予定情報には、予定情報の識別情報である予定ＩＤが付与されている。各予定情報は、「位置（座標）」、「予定（音声）」、「追加回数」、「予定（テキスト）」、「認識予定情報」、「連結予定ＩＤ」等の情報を含む。
【００１８】
「位置（座標）」は、その予定情報が対応付けられた背景画像上の位置を示す座標である。予定情報は、背景画像毎に異なる位置に対応付けることが可能である。そこで、「位置（座標）」には、背景画像の背景ＩＤに対応付けて、各予定情報がその背景画像に対応付けられる位置を示す座標が記憶される。「予定（音声）」は、予定情報として入力された音声データであり、記憶される音声データの長さ（再生時間）、及び音声データが記憶される日時が対応付けられる。音声データは、１つの予定情報に対して複数回入力可能であり、「追加回数」は、音声データが追加で入力された回数を示す。「予定（テキスト）」は、文字入力や、音声データの音声認識結果から得られる、予定情報の内容を示すテキストデータであり、テキストデータが記憶される日時が対応付けられる。
【００１９】
「認識予定情報」は、音声データを音声認識した結果から、予定情報として必要な情報を抽出したものである。本実施形態では、「認識予定情報」を、入力された音声データが示す予定情報に関連する日時、場所、人、内容を含む情報とする。なお、「日時」の情報は、日にち、曜日、時間帯、又は時間で特定される情報である。「連結予定ＩＤ」は、音声データが記憶された日時（以下、「予定情報の記憶日時」という）、又は予定情報が示す日時（「認識予定情報」の日時の情報）の時系列順で連続する前後の予定情報の予定ＩＤである。
【００２０】
受付部１２は、タッチパネルディスプレイ３４に対する操作、及びマイク３２を介して入力される音声データを受け付け、受け付けた操作の内容に応じて、表示制御部１４、記憶制御部１６、又は出力部１８への情報の受け渡し等の処理を行う。
【００２１】
具体的には、受付部１２は、新規予定の登録の操作として、登録済みの予定情報が対応付けられた位置以外の位置へのタッチ操作を受け付けた場合、タッチ操作された位置の座標、及び新規予定の登録である旨を表示制御部１４に通知する。なお、受付部１２は、予定情報が対応付けられた位置か否かを、予定ＤＢ２４の「位置（座標）」に、現在表示されている背景画像の背景ＩＤに対応付けて記憶されている座標に基づいて判定する。
【００２２】
また、受付部１２は、音声データの入力を受け付け、受け付けた音声データに対して音声認識処理を実行する。さらに、受付部１２は、文字入力されたテキストデータを受け付ける。受付部１２は、受け付けた音声データ、その音声データの音声認識結果、タッチ操作された位置の座標、現在表示されている背景画像の背景ＩＤ、及び受け付けたテキストデータを、新規の予定情報として、記憶制御部１６へ受け渡す。
【００２３】
また、受付部１２は、記憶済みの予定情報に対する操作として、いずれかの予定情報が対応付けられた位置へのタッチ操作を受け付ける。この場合、受付部１２は、予定ＤＢ２４を参照して、タッチ操作された位置に対応する予定情報の予定ＩＤを取得し、取得した予定ＩＤを出力部１８へ通知する。また、受付部１２は、記憶済みの予定情報に対する操作である旨を表示制御部１４へ通知する。
【００２４】
また、受付部１２は、記憶済みの予定情報に対する操作として、音声データの追加の指示を受け付けた場合には、音声データを受け付け、受け付けた音声データに対して音声認識処理を実行する。さらに、受付部１２は、テキストデータの修正を受け付けてもよい。受付部１２は、受け付けた音声データ、その音声データの音声認識結果、及びテキストデータ（修正ありの場合）に、タッチ操作された位置に対応する予定情報の予定ＩＤを対応付けて、予定情報の更新情報として、記憶制御部１６へ受け渡す。また、受付部１２は、記憶済みの予定情報に対する操作として、記憶済みの予定情報を削除する指示を受け付けた場合には、その旨を予定ＩＤと共に記憶制御部１６に通知する。
【００２５】
また、受付部１２は、いずれかの予定情報が対応付けられた位置の変更を指示する操作を受け付けた場合には、変更後の位置の座標を取得し、取得した座標と、該当の予定情報の予定ＩＤと、現在表示されている背景画像の背景ＩＤとを、記憶制御部１６へ受け渡す。
【００２６】
また、受付部１２は、背景画像の変更を指示する操作を受け付けた場合、その旨を表示制御部１４へ通知する。また、受付部１２は、背景画像の選択を受け付けると、選択された背景画像の背景ＩＤを表示制御部１４へ通知する。
【００２７】
表示制御部１４は、予め設定された背景ＩＤ、又は受付部１２から通知された背景ＩＤが示す背景画像を背景ＤＢ２２から取得し、取得した背景画像がタッチパネルディスプレイ３４に表示されるように制御する。また、表示制御部１４は、背景画像が初期表示若しくは変更された際、又は、記憶制御部１６から予定ＤＢ２４が更新されたことを通知された際に、予定ＤＢ２４から予定情報の各々を取得する。表示制御部１４は、タッチパネルディスプレイ３４に表示した背景画像上に、取得した予定情報の各々に対応するアイコンを表示する。アイコンを表示する位置は、予定ＤＢ２４において、現在表示している背景画像の背景ＩＤに対応付けて記憶された「位置（座標）」が示す位置である。
【００２８】
表示制御部１４は、表示するアイコンの表示態様を、予定情報として記憶されている音声データの数、及び各音声データの長さを表す表示態様とする。表示制御部１４は、例えば、アイコンのサイズや色、アイコンに表示するマーク等を異ならせることにより、上記の記憶されている音声データの数及び長さを表すことができる。なお、表示制御部１４は、予定ＤＢ２４の「追加回数」から、記憶されている音声データの数を取得することができ、「予定（音声）」の各音声データに対応付けられている長さ（再生時間）の情報から、各音声データの長さを取得することができる。
【００２９】
また、表示制御部１４は、取得した予定情報に含まれる「予定（テキスト）」欄のテキストデータが示す文字列を、アイコンの周辺、又はアイコン内に表示する。なお、「予定（テキスト）」欄のテキストデータが示す文字列に応じたイラスト等のアイコンを表示するようにしてもよい。さらに、表示制御部１４は、取得した予定情報に含まれる「連結予定ＩＤ」が示す予定情報に対応したアイコン同士を連結線で連結する。
【００３０】
また、表示制御部１４は、受付部１２から、タッチ操作された位置の座標、及び新規予定の登録である旨が通知された場合、通知された位置に、新規の予定情報を登録中であることを示す表示態様でアイコンを表示する。また、表示制御部１４は、音声データを受付中であることを示す画像（例えば、マイクの画像）や、メッセージを表示する。さらに、表示制御部１４は、文字入力を受け付けるためのテキストボックスを表示する。
【００３１】
また、表示制御部１４は、受付部１２から、記憶済みの予定情報に対する操作である旨が通知されると、該当の予定情報への音声データ追加を行う際に選択される追加ボタン、及び該当の予定情報を削除する際に選択される削除ボタンを表示する。
【００３２】
また、表示制御部１４は、受付部１２から、背景画像を変更する旨が通知された場合、例えば、図２に示すような背景ＤＢ２２に記憶された複数の背景画像を一覧で表示すると共に、いずれかの背景画像を選択可能な背景選択画面を表示する。
【００３３】
記憶制御部１６は、受付部１２から新規の予定情報を受け渡されると、受け渡された新規の予定情報に予定ＩＤを付与して、予定情報に含まれる情報を、予定ＤＢ２４の各項目に対応付けて記憶する。音声データ及びテキストデータについては、記憶日時を対応付ける。また、記憶制御部１６は、音声認識結果を形態素解析して、各単語を予め定めた単語リストと照合するなど、従来既知の手法を用いて、音声認識結果から日時、場所、人、内容の情報を抽出し、「認識予定情報」として記憶する。また、記憶制御部１６は、予定ＤＢ２４の「追加回数」の項目には、初期値の「０回」を記憶する。また、記憶制御部１６は、予定情報の記憶日時、又は予定情報が示す日時の時系列順に連続する前後の予定情報を特定し、その予定情報の予定ＩＤを「連結予定ＩＤ」に記憶する。
【００３４】
また、記憶制御部１６は、受付部１２から予定情報の更新情報を受け渡されると、更新情報に含まれる音声データを、更新情報に含まれる予定ＩＤに対応する予定ＤＢ２４の「予定（音声）」欄に追加し、音声データの長さ及び記憶日時を対応付ける。また、記憶制御部１６は、音声データを追加して記憶した場合には、「追加回数」欄の回数に１加算する。また、記憶制御部１６は、更新情報にテキストデータが含まれる場合には、「予定（テキスト）」欄を更新情報に含まれるテキストデータで更新し、記憶日時を更新する。さらに、記憶制御部１６は、更新情報に含まれる音声認識結果から必要な情報を抽出し、「認識予定情報」欄を更新する。これに伴い、予定情報が示す日時が変更されるなどして、他の予定情報も含め、連結予定ＩＤが変更になる場合には、記憶制御部１６は、各予定情報の「連結予定ＩＤ」欄を更新する。
【００３５】
また、記憶制御部１６は、受付部１２から予定情報を削除する旨を予定ＩＤと共に通知された場合には、その予定ＩＤが示す予定情報を予定ＤＢ２４から削除する。これに伴い、記憶制御部１６は、他の予定情報の「連結予定ＩＤ」欄を更新する。
【００３６】
また、記憶制御部１６は、受付部１２から、予定ＩＤ、背景ＩＤ、及び座標を受け渡された場合には、予定ＤＢ２４において、該当の予定ＩＤ及び背景ＩＤに対応する「位置（座標）」を、受け渡された座標に更新する。
【００３７】
記憶制御部１６は、予定ＤＢ２４を更新した場合には、その旨を表示制御部１４へ通知する。
【００３８】
出力部１８は、受付部１２から予定ＩＤが通知されると、通知された予定ＩＤに対応する音声データを予定ＤＢ２４から取得し、取得した音声データをスピーカ３６から出力する。通知された予定ＩＤに対応する音声データが複数記憶されている場合、出力部１８は、各音声データに対応付けられている記憶日時が新しい順に音声データを出力する。例えば、新規登録で記憶された音声データが１つと、追加で記憶された音声データが１つある場合、出力部１８は、追加で記憶された音声データから先に出力し、その後で新規登録時の音声データを出力する。これにより、追加や修正した内容が先に出力されるため、正しい予定を把握し易くなる。
【００３９】
情報処理端末３０は、例えば図４に示すコンピュータ４０で実現することができる。コンピュータ４０は、Central Processing Unit（ＣＰＵ）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、マイク３２、タッチパネルディスプレイ３４、及びスピーカ３６を含む入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部４５とを含む。また、コンピュータ４０は、インターネット等のネットワークに接続される通信インターフェース（Ｉ／Ｆ）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。
【００４０】
記憶部４３は、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、音声入出力制御装置１０を搭載した情報処理端末３０として機能させるための音声入出力制御プログラム５０が記憶される。音声入出力制御プログラム５０は、受付プロセス５２と、表示制御プロセス５４と、記憶制御プロセス５６と、出力プロセス５８とを有する。また、記憶部４３は、背景ＤＢ２２、及び予定ＤＢ２４の各々を構成する情報が記憶される情報記憶領域６０を有する。なお、記憶部４３には、情報処理端末３０が有する他の機能に関するプログラムやデータも記憶されるが、ここでは記載を省略する。
【００４１】
ＣＰＵ４１は、音声入出力制御プログラム５０を記憶部４３から読み出してメモリ４２に展開し、音声入出力制御プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、受付プロセス５２を実行することで、図１に示す受付部１２として動作する。また、ＣＰＵ４１は、表示制御プロセス５４を実行することで、図１に示す表示制御部１４として動作する。また、ＣＰＵ４１は、記憶制御プロセス５６を実行することで、図１に示す記憶制御部１６として動作する。また、ＣＰＵ４１は、出力プロセス５８を実行することで、図１に示す出力部１８として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、背景ＤＢ２２、及び予定ＤＢ２４の各々をメモリ４２に展開する。これにより、音声入出力制御プログラム５０を実行したコンピュータ４０が、音声入出力制御装置１０を搭載した情報処理端末３０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。
【００４２】
次に、本実施形態に係る音声入出力制御装置１０の作用について説明する。音声入出力制御装置１０により提供されるスケジュール管理のアプリケーションが情報処理端末３０において起動されると、音声入出力制御装置１０が図５に示す音声入出力制御処理を実行する。
【００４３】
ステップＳ１１で、表示制御部１４が、予め設定された背景ＩＤが示す背景画像を背景ＤＢ２２から取得し、取得した背景画像がタッチパネルディスプレイ３４に表示されるように制御する。予め設定された背景ＩＤが示す背景画像は、例えば、初期設定された背景画像、ユーザにより指定された背景画像、前回アプリケーション終了時に最終的に表示されていた背景画像等とすることができる。
【００４４】
そして、表示制御部１４は、予定ＤＢ２４から予定情報の各々を取得し、タッチパネルディスプレイ３４に表示した背景画像上の、その背景画像の背景ＩＤに対応する「位置（座標）」が示す位置に、予定情報の各々に対応するアイコンを表示する。
【００４５】
次に、ステップＳ１２で、受付部１２が、例えば、背景画像において、予定情報に対応するアイコン以外の位置へのタッチ操作を受け付けた否かを判定することにより、新規予定の登録の操作を受け付けたか否かを判定する。肯定判定の場合、受付部１２が、タッチ操作された位置の座標、及び新規予定の登録である旨を表示制御部１４に通知する。そして、処理はステップＳ２０へ移行し、後述する新規登録処理が実行される。一方、否定判定の場合には、処理はステップＳ１３へ移行する。
【００４６】
ステップＳ１３では、受付部１２が、いずれかの予定情報が対応付けられたアイコンへのタッチ操作を受け付けたか否かを判定することにより、記憶済みの予定情報に対する操作を受け付けたか否かを判定する。肯定判定の場合、受付部１２が、予定ＤＢ２４を参照して、タッチされたアイコンに対応する予定情報の予定ＩＤを取得し、取得した予定ＩＤを出力部１８へ通知する。また、受付部１２は、記憶済みの予定情報に対する操作である旨を表示制御部１４へ通知する。そして、処理はステップＳ３０へ移行し、後述する追加削除処理が実行される。一方、否定判定の場合には、処理はステップＳ１４へ移行する。
【００４７】
ステップＳ１４では、受付部１２が、背景画像を変更する操作、又は予定情報に対応するアイコンを移動させる操作を受け付けたか否かを判定する。背景画像を変更する操作は、例えば、背景画像上のアイコンが表示されていない位置でのダブルタップや長押し、又は、メニュー画面を表示させて、メニュー画面から背景画像を選択するコマンドを選択する操作等とすることができる。また、アイコンを移動させる操作は、アイコンに対するドラッグ操作等とすることができる。肯定判定の場合、処理はステップＳ５０へ移行し、後述する変更処理が実行される。一方、否定判定の場合には、処理はステップＳ７０へ移行する。
【００４８】
ステップＳ７０では、受付部１２が、スケジュール管理のアプリケーションを終了するコマンドを受け付けたか否かを判定する。否定判定の場合には、処理はステップＳ１２に戻り、肯定判定の場合には、音声入出力制御処理を終了する。
【００４９】
次に、図６を参照して、音声入出力制御処理（図５）のステップＳ２０で実行される新規登録処理について説明する。
【００５０】
ステップＳ２１で、表示制御部１４が、例えば図７の上段の図に示すように、受付部１２から通知された位置（座標）に、新規の予定情報を登録中であることを示す表示態様でアイコン７１を表示する。また、表示制御部１４は、音声データを受付中であることを示す画像（例えば、マイクの画像）や、メッセージを表示する（図示省略）。さらに、表示制御部１４は、文字入力を受け付けるためのテキストボックスを表示する（図示省略）。
【００５１】
次に、ステップＳ２２で、受付部１２が、音声データの入力を受け付け、受け付けた音声データに対して音声認識処理を実行する。
【００５２】
次に、ステップＳ２３で、受付部１２が、テキストボックスに文字入力されたテキストデータを受け付ける。なお、テキストデータは、直接入力される場合に限定されず、表示制御部１４が、音声データの音声認識結果から抽出された、予定情報の内容を示す単語を編集可能な状態でテキストボックスに表示するようにしてもよい。
【００５３】
次に、ステップＳ２４で、受付部１２が、受け付けた音声データ、その音声データの音声認識結果、タッチ操作された位置の座標、現在表示されている背景画像の背景ＩＤ、及び受け付けたテキストデータを、新規の予定情報として、記憶制御部１６へ受け渡す。記憶制御部１６は、新規の予定情報に予定ＩＤを付与し、予定情報に含まれる情報を、予定ＤＢ２４の各項目に対応付けて記憶する。また、記憶制御部１６は、音声認識結果を形態素解析して、日時、場所、人、内容の情報を抽出し、「認識予定情報」に記憶する。また、記憶制御部１６は、「追加回数」欄に、初期値の「０回」を記憶する。さらに、記憶制御部１６は、予定情報の記憶日時、又は予定情報が示す日時の時系列順に連続する前後の予定情報を特定し、その予定情報の予定ＩＤを「連結予定ＩＤ」に記憶する。記憶制御部１６は、予定ＤＢ２４が更新された旨を表示制御部１４へ通知する。
【００５４】
次に、ステップＳ２５で、表示制御部１４が、更新された予定ＤＢ２４に基づいて、表示を更新する。具体的には、図７の中段の図に示すように、表示制御部１４は、アイコン７１の表示態様を、アイコン７１の表示位置に対応付けて予定情報が記憶されていることを示す表示態様に変更する。また、表示制御部１４は、図８に示すように、アイコン７１の表示サイズを、そのアイコン７１に対応する予定情報として記憶された音声データの長さに応じたサイズで表示する。図８の例では、音声データの長さが長いほど、アイコンの表示サイズを大きくする例を示している。
【００５５】
また、表示制御部１４は、予定情報に含まれる「予定（テキスト）」欄のテキストデータが示す文字列７２を、アイコン７１の周辺に表示する。なお、「予定（テキスト）」にテキストデータが記憶されていない場合には、「認識予定情報」に含まれるいずれかの情報を示す文字列７２を表示してもよい。さらに、表示制御部１４は、図７の下段の図に示すように、各予定情報に含まれる「連結予定ＩＤ」が示す予定情報に対応したアイコン同士を連結線７３で連結する。
【００５６】
なお、図７の下段の図は、図７の中段の図の状態からさらに２件の予定情報が新規で記憶された場合の一例である。この例では、予定情報が示す日時の時系列順に、アイコン７１を連結線７３で連結した例を示している。なお、予定情報の記憶日時順にアイコン７１を連結した場合には、「映画」−「英語」−「バイト」の順にアイコン７１が連結される。
【００５７】
表示が更新されると、新規登録処理は終了し、処理は音声入出力制御処理（図５）に戻る。
【００５８】
次に、図９を参照して、音声入出力制御処理（図５）のステップＳ３０で実行される追加削除処理について説明する。
【００５９】
ステップＳ３１で、出力部１８が、受付部１２から通知された予定ＩＤ、すなわち、選択されたアイコン７１に対応する予定情報を示す予定ＩＤに対応する音声データを予定ＤＢ２４から取得する。そして、図１０の上段の図に示すように、取得した音声データをスピーカ３６から出力する。この際、複数の音声データが取得された場合には、出力部１８は、各音声データに対応付けられている記憶日時が新しい順に音声データを出力する。
【００６０】
次に、ステップＳ３２で、図１０の中段の図に示すように、表示制御部１４が、追加ボタン７４、及び削除ボタン７５を表示する。
【００６１】
次に、ステップＳ３３で、受付部１２が、追加ボタン７４が選択されたか否かを判定する。肯定判定の場合には、処理はステップＳ３４へ移行し、否定判定の場合には、処理はステップＳ３８へ移行する。
【００６２】
ステップＳ３４では、受付部１２が、音声データの入力を受け付け、受け付けた音声データに対して音声認識処理を実行する。次に、ステップＳ３５で、受付部１２が、テキストボックスに文字入力されたテキストデータを受け付ける。なお、テキストデータに対する変更がない場合には、本ステップは省略してもよい。
【００６３】
次に、ステップＳ３６で、受付部１２が、受け付けた音声データ、その音声データの音声認識結果、及びテキストデータ（変更ありの場合）に予定ＩＤを対応付けて、予定情報の更新情報として、記憶制御部１６へ受け渡す。記憶制御部１６は、受付部１２から受け渡された更新情報に含まれる音声データを予定ＤＢ２４に追加すると共に、「追加回数」欄の回数に１加算する。また、記憶制御部１６は、更新情報にテキストデータが含まれる場合には、そのテキストデータで予定ＤＢ２４の「予定（テキスト）」欄を更新する。
【００６４】
さらに、記憶制御部１６は、更新情報に含まれる音声認識結果から必要な情報を抽出し、「認識予定情報」欄を更新する。例えば、ある予定情報の「認識予定情報」が、（日時，場所，人，内容）＝（２月１２日，  ，両親，食事）であったとする。この「食事」の予定情報に対して、追加ボタン７４が選択され、場所「新宿」の情報を含む音声データが追加されたとする。この場合、「認識予定情報」は、（２月１２日，新宿，両親，食事）のように更新される。
【００６５】
次に、ステップＳ３７で、記憶制御部１６が、選択されたアイコン７１に対応する予定情報以外の他の予定情報も含め、各予定情報の「連結予定ＩＤ」欄を更新する。なお、アイコン７１同士を、予定情報が示す日時の時系列順で連結する場合であって、音声データの追加によって予定情報が示す日時に変更がない場合には、連結予定ＩＤに変更はないため、本ステップを省略してもよい。記憶制御部１６は、予定ＤＢ２４が更新された旨を表示制御部１４へ通知し、処理はステップＳ４０へ移行する。
【００６６】
一方、ステップＳ３８では、受付部１２が、削除ボタン７５が選択されたか否かを判定する。肯定判定の場合には、受付部１２が、記憶済みの予定情報を削除する旨を予定ＩＤと共に記憶制御部１６に通知し、処理はステップＳ３９へ移行する。否定判定の場合には、処理はステップＳ３３に戻る。
【００６７】
ステップＳ３９では、記憶制御部１６が、受付部１２から通知された予定ＩＤが示す予定情報を予定ＤＢ２４から削除する。また、これに伴い、記憶制御部１６は、他の予定情報の「連結予定ＩＤ」欄を更新する。そして、記憶制御部１６は、予定ＤＢ２４が更新された旨を表示制御部１４へ通知し、処理はステップＳ４０へ移行する。
【００６８】
ステップＳ４０では、表示制御部１４が、更新された予定ＤＢ２４に基づいて、表示を更新する。具体的には、図１０の下段の図に示すように、表示制御部１４は、予定ＤＢ２４の「追加回数」を参照して、音声データが追加された予定情報に対応するアイコン７１内に、音声データが追加された回数を表すマークを表示する。図１０の例では、音声データが１回追加された場合を「＋」で表している。この場合、音声データが２回追加された場合には、「＋＋」のようなマークを表示することができる。また、マークを表示する場合に限らず、「１」、「２」、・・・のように、追加された回数をそのまま数字で表示してもよい。
【００６９】
また、音声データが追加されたことに伴い、音声データの長さも長くなるため、表示制御部１４は、図１１に示すように、アイコン７１の表示サイズも更新する。なお、図１１の例では、追加で記憶された音声データの数を、アイコン７１内の同心円の数で表している。その他の表示の更新については、新規登録処理（図６）のステップＳ２５と同様である。表示が更新されると、追加削除処理は終了し、処理は音声入出力制御処理（図５）に戻る。
【００７０】
なお、図１１の下段に示すアイコンが、上記ステップＳ３１で選択された場合、図１１に示すように、追加で記憶された音声から先に出力される。
【００７１】
次に、図１２を参照して、音声入出力制御処理（図５）のステップＳ５０で実行される変更処理について説明する。
【００７２】
ステップＳ５１で、受付部１２が、上記音声入出力制御処理のステップＳ１４で受け付けた操作が背景画像の変更か、又はアイコンの移動かを判定する。背景画像の変更の場合は、処理はステップＳ５２へ移行し、アイコンの移動の場合には、処理はステップＳ５７へ移行する。
【００７３】
ステップＳ５２では、受付部１２が、背景画像の変更が指示された旨を表示制御部１４へ通知する。表示制御部１４は、背景ＤＢ２２に記憶された複数の背景画像を一覧で表示すると共に、いずれかの背景画像を選択可能な背景選択画面を表示する。
【００７４】
次に、ステップＳ５３で、受付部１２が、背景選択画面から背景画像の選択を受け付け、選択された背景画像の背景ＩＤを表示制御部１４へ通知する。
【００７５】
次に、ステップＳ５４で、表示制御部１４が、受付部１２から通知された背景ＩＤが示す背景画像を背景ＤＢ２２から取得し、取得した背景画像を表示する。
【００７６】
次に、ステップＳ５５で、表示制御部１４が、予定ＤＢ２４から予定情報の各々を取得し、選択された背景画像の背景ＩＤに対応する「位置（座標）」が示す位置に、予定情報の各々に対応するアイコンを表示する。このように、背景画像毎に「位置（座標）」の情報を持つため、図１３に示すように、同じ予定情報を示すアイコンであっても、背景画像が異なる場合には異なる位置に表示される。
【００７７】
なお、初めて選択された背景画像などのように、予定ＤＢ２４に「位置（座標）」が記憶されていない背景画像の場合には、表示制御部１４は、所定の位置に予定情報の各々に対応するアイコンを表示する。所定の位置は、例えば、予め定めた位置、予定情報が示す日時又は記憶日時の時系列順に配列した位置、変更前に表示していた背景画像の背景ＩＤに対応する「位置（座標）」が示す位置等とすることができる。
【００７８】
次に、ステップＳ５６で、受付部１２が、予定情報に対応するアイコンを移動させる操作を受け付けたか否かを判定する。肯定判定の場合は、処理はステップＳ５７へ移行し、否定判定の場合は、変更処理は終了し、処理は音声入出力制御処理（図５）に戻る。
【００７９】
ステップＳ５７では、表示制御部１４が、受付部１２により受け付けられた操作に応じて、アイコンの表示位置を移動させる。そして、受付部１２が、アイコンの移動後の位置の座標を取得し、取得した座標と、該当のアイコンに対応する予定情報の予定ＩＤと、現在表示されている背景画像の背景ＩＤを、記憶制御部１６へ受け渡す。
【００８０】
次に、ステップＳ５８で、記憶制御部１６が、予定ＤＢ２４において、受付部１２から受け渡された予定ＩＤ及び背景ＩＤに対応する「位置（座標）」を、受け渡された座標に更新する。そして、変更処理は終了し、処理は音声入出力制御処理（図５）に戻る。
【００８１】
以上説明したように、本実施形態に係る音声入出力制御装置によれば、新規の予定情報として音声データを記憶し、その予定情報に追加や修正がある場合には、その追加や修正の内容を音声データとして追加して記憶する。そして、その予定情報の出力の際には、記憶日時が新しい順に音声データを出力する。すなわち、追加した音声データから先に出力する。このように、音声データの一部を修正したい場合には、修正したい部分のみの音声データを追加で記憶すればよいため、音声データ全体を一旦削除して修正後の内容を記憶し直すといった煩雑な処理を行う必要がない。また、出力（再生）時には、追加した音声データから先に出力するため、追加や変更された事項の把握が容易になる。すなわち、本実施形態によれば、音声データの入出力を簡易に制御することができる。
【００８２】
また、上記実施形態では、予定情報に対応するアイコンの表示サイズを、その予定情報として記憶された音声データの長さに応じたサイズとする。また、追加で記憶された音声データの数をマーク等で表示する。これにより、各予定情報について、記憶されている音声データの数と、その長さ（再生時間）を直感的に把握することができる。
【００８３】
なお、上記実施形態では、予定情報に対応するアイコンの表示サイズを、その予定情報として記憶された音声データの長さに応じたサイズとする場合について説明したが、これに限定されない。例えば、図１４に示すように、各予定情報をバー表示で表してもよい。図１４の例では、バー表示の長さは、そのバー表示が表す予定情報として記憶された音声データの長さに対応している。また、１つの予定情報について複数の音声データが記憶されている場合には、各音声データに対応する部分毎に、バー表示に区切り線を入れたり、バー表示を色分けしたり、枠線の色や種類を異ならせたりしてもよい。これにより、上記実施形態と同様に、各予定情報について、記憶されている音声データの数と、その長さ（再生時間）を直感的に把握することができる。なお、図１４に示すバー表示の例であっても、バー表示のいずれかの部分がタッチされるなどした場合に、そのバー表示に対応する予定情報として記憶された音声データを、記憶日時が新しい順に出力すればよい。
【００８４】
また、上記実施形態において、予定情報が示す日時に応じて、アイコンの表示態様を異ならせてもよい。例えば、図１５に示すように、午前、午後、及び夜の時間帯を予め定めておき、予定情報が示す日時がいずれの時間帯に属するかに応じて、その予定情報に対応するアイコン７１の色や形状を異ならせるようにしてもよい。
【００８５】
また、上記実施形態では、背景画像上の任意の位置に予定情報を対応付ける場合について説明したが、背景画像上に時間軸を設定し、この時間軸上の位置を、予定情報を対応付ける位置として受け付けるようにしてもよい。例えば、図１６に示すように、曲線７６を表した背景画像を用いることができる。この場合、例えば、曲線７６の左端から右端に向かって時間の経過を表すことができる。また、曲線７６の左端から右端までで表される期間は、１日、１週間、１ヶ月等の任意の期間を設定可能とする。
【００８６】
図１６の例では、曲線７６上の位置がタッチされた場合に、その位置にアイコン７１を表示し、音声データを受け付けるようにすればよい。また、アイコン７１は曲線７６に沿って移動可能とする。この場合、曲線７６上でのアイコン７１の移動量、及び曲線７６の左端から右端までで表される期間に応じて、移動後のアイコン７１の位置に対応する日時を算出し、予定ＤＢ２４に記憶された予定情報の「認識予定情報」の日時の情報を更新するようにしてもよい。例えば、図１６の曲線７６が、左端が朝、右端が夜に対応した１日の期間を表しており、アイコン７１が実線で示す位置から破線で示す位置に移動されたとする。この場合、午後の予定を午前の予定に更新するなどのように、「認識予定情報」の日時の情報を更新することができる。
【００８７】
なお、開示の技術において、背景画像上の任意の位置に予定情報を対応付けることは必須ではない。例えば、通常のカレンダーに上記実施形態のアイコンを対応付けてもよい。また、背景画像やカレンダーに対応付けることなく、音声入力された予定情報を、例えば図１４のような形式で一覧表示するだけでもよい。
【００８８】
また、上記実施形態では、予定情報の記憶日時又は予定情報が示す日時の時系列でアイコンを連結する場合について説明したが、これに限定されない。例えば、予定情報の記憶日時又は予定情報が示す日時に基づいて、予定情報を日付、時間帯等でグループ化し、同一グループの予定情報に対応するアイコンを線で囲むなどしてもよい。
【００８９】
また、上記実施形態では、いずれかのアイコンが選択された場合に、そのアイコンに対応する予定情報を示す音声データが出力される場合について説明したが、音声データの出力のタイミングはこれに限定されない。例えば、予め定めた時刻や、目覚まし時計機能のアラームに連動した時刻に、その日の予定情報をまとめて音声出力してもよい。この際も、複数の音声データが記憶されている予定情報については、記憶日時が新しい順に出力するとよい。
【００９０】
また、上記実施形態では、音声入出力制御プログラム５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
【００９１】
以上の実施形態に関し、更に以下の付記を開示する。
【００９２】
（付記１）
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、
【００９３】
前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する、
処理をコンピュータに実行させることを特徴とする音声入出力制御プログラム。
【００９４】
（付記２）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記記憶部にいくつの音声登録がなされたかを示す情報を表示する、
ことを特徴とする付記１記載の音声入出力制御プログラム。
【００９５】
（付記３）
前記情報は、アイコン又はカラーバーである、
ことを特徴とする付記２記載の音声入出力制御プログラム。
【００９６】
（付記４）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記第１の音声、前記第２の音声のそれぞれの長さを示す情報を表示する、
ことを特徴とする付記１記載の音声入出力制御プログラム。
【００９７】
（付記５）
前記特定の日にち又は曜日又は時間帯又は時間に対応づけて、前記第１の音声及び前記第２の音声がいくつ前記記憶部に記憶されたかを示す情報を表示する、
ことを特徴とする付記１記載の音声入出力制御プログラム。
【００９８】
（付記６）
前記特定の日にち又は曜日又は時間帯又は時間に対応づけて、前記記憶部に記憶された前記第１の音声及び前記第２の音声の長さを示す情報を表示する、
ことを特徴とする付記１記載の音声入出力制御プログラム。
【００９９】
（付記７）
前記第１の音声は、表示画面上において、いずれかの日にち又は曜日又は時間帯又は時間に対応づける対象の位置として指定された位置に対応付けて前記記憶部に記憶され、
前記第２の音声は、前記第１の音声に対応する位置の指定に応じて、前記第１の音声に対応する前記日にち又は曜日又は時間帯又は時間に対応づけて前記記憶部に記憶される
ことを特徴とする付記１〜付記６のいずれか１項記載の音声入出力制御プログラム。
【０１００】
（付記８）
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する、
処理をコンピュータが実行することを特徴とする音声入出力制御方法。
【０１０１】
（付記９）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記記憶部にいくつの音声登録がなされたかを示す情報を表示する、
ことを特徴とする付記８記載の音声入出力制御方法。
【０１０２】
（付記１０）
前記情報は、アイコン又はカラーバーである、
ことを特徴とする付記９記載の音声入出力制御方法。
【０１０３】
（付記１１）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記第１の音声、前記第２の音声のそれぞれの長さを示す情報を表示する、
ことを特徴とする付記８記載の音声入出力制御方法。
【０１０４】
（付記１２）
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させる制御部と、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する出力部と、
を有することを特徴とする音声入出力制御装置。
【０１０５】
（付記１３）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記記憶部にいくつの音声登録がなされたかを示す情報を表示する表示部をさらに含む、
ことを特徴とする付記１２記載の音声入出力制御装置。
【０１０６】
（付記１４）
前記情報は、アイコン又はカラーバーである、
ことを特徴とする付記１３記載の音声入出力制御装置。
【０１０７】
（付記１５）
時間帯に対応づけて前記第１の音声、前記第２の音声が前記記憶部に記憶された場合に、前記第１の音声、前記第２の音声のそれぞれの長さを示す情報を表示する表示部をさらに含む、
ことを特徴とする付記１２記載の音声入出力制御装置。
【０１０８】
（付記１６）
指定された特定の日にち又は曜日又は時間帯又は時間に対応づけて入力された第１の音声を記憶部に記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間を指定した、音声の追加入力として第２の音声の入力がなされた場合に、前記特定の日にち又は曜日又は時間帯又は時間に対応づけて前記第２の音声を記憶させ、
前記特定の日にち又は曜日又は時間帯又は時間に対応する音声の出力指示に応じて、追加入力された前記第２の音声、前記第１の音声の順に出力する、
処理をコンピュータに実行させることを特徴とする音声入出力制御プログラムを記憶した記憶媒体。
【符号の説明】
【０１０９】
１０   音声入出力制御装置
１２   受付部
１４   表示制御部
１６   記憶制御部
１８   出力部
２２   背景データベース
２４   予定データベース
３０   情報処理端末
３２   マイク
３４   タッチパネルディスプレイ
３６   スピーカ
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
４９   記憶媒体
５０   音声入出力制御プログラム
７１   アイコン
７２   文字列
７３   連結線
７４   追加ボタン
７５   削除ボタン
７６   曲線
【図１】
2018200624.tif 000003
【図２】
2018200624.tif 000004
【図３】
2018200624.tif 000005
【図４】
2018200624.tif 000006
【図５】
2018200624.tif 000007
【図６】
2018200624.tif 000008
【図７】
2018200624.tif 000009
【図８】
2018200624.tif 000010
【図９】
2018200624.tif 000011
【図１０】
2018200624.tif 000012
【図１１】
2018200624.tif 000013
【図１２】
2018200624.tif 000014
【図１３】
2018200624.tif 000015
【図１４】
2018200624.tif 000016
【図１５】
2018200624.tif 000017
【図１６】
2018200624.tif 000018