(57)【要約】【課題】  ユーザが情報を特定の情報の補助的情報として容易に指定でき、更に出力形態を指定可能にすることにより、ユーザの自由度を高める。【解決手段】  指定されたテキストとオブジェクトとを関連付ける手段と、それらを関連付ける際に前記テキストの出力形態を指定する出力形態指定手段とを有し、前記テキストの出力に関しては前記指定された出力形態にて出力する。【選択図】  図１
2009205261.tif 000002
【特許請求の範囲】
【請求項１】
指定されたテキストについての情報を記憶するテキスト情報記憶手段と、
指定されたオブジェクトについての情報を記憶するオブジェクト情報記憶手段と、
前記テキスト情報と前記オブジェクトを関連付ける関連付け手段と、
前記テキスト情報と前記オブジェクト情報の関連情報を記憶する関連情報記憶手段とを有し、
前記関連情報が前記テキストの出力形態を含む
ことを特徴とする情報処理装置。
【請求項２】
前記テキストを前記関連情報に記憶された出力形態で出力する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
テキスト解析手段を更に有し、前記テキスト情報の候補を提示する
ことを特徴とする請求項１に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報と補助情報とを関連付けて記録する情報処理装置に関する。
【背景技術】
【０００２】
文書や画像の補助情報としてテキストのコメントや音声メモを付与する技術は既に広く活用されている。そのための技術として、複数のメモを管理し、同時に表示することができる技術（例えば特許文献１）等が開示されている。また、デジタルカメラで撮った画像に音声メモを付与して管理する技術（例えば特許文献２、特許文献３）はよく知られている。
【特許文献１】特開平６−２３１１７５号公報
【特許文献２】特開平６−０３８１５６号公報
【特許文献３】特開平１１−０４６３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１および特許文献２、特許文献３で開示されたような技術により、特定の情報に対してユーザが容易にメモを付与することができるようになった。しかしながら、先に挙げた文献では、ユーザが補助情報を入力する際に、入力段階で補助情報と意識して入力する必要がある。また、メモを入力する際に出力形態（イメージ表示、テキスト表示、音声出力等）が既に特定されているため、ユーザの自由度が少ない。
【０００４】
本発明は、このような事情を鑑みてなされたものであり、ユーザが情報を特定の情報の補助的情報として容易に指定でき、更に出力形態を指定可能にすることにより、ユーザの自由度を高めることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、
指定されたテキストについての情報を記憶するテキスト情報記憶手段と、
指定されたオブジェクトについての情報を記憶するオブジェクト情報記憶手段と、
前記テキスト情報と前記オブジェクトを関連付ける関連付け手段と、
前記テキスト情報と前記オブジェクト情報の関連情報を記憶する関連情報記憶手段とを有し、
前記関連情報が前記テキストの出力形態を含む
ことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザはある情報を特定の情報の補助的情報として容易に指定できるので、補助情報を入力する際に、入力段階で補助情報と意識する必要がない。また、補助情報として指定する際に補助情報の出力形態が指定できるので、ユーザが形態に応じていちいち入力し直したりする必要がない。
【発明を実施するための最良の形態】
【０００７】
次に、本発明の詳細を実施例の記述に従って説明する。
【０００８】
以下、図面を参照しながら本発明の好適な実施例について説明していく。
【実施例１】
【０００９】
図１は、本発明の実施例１における情報処理装置の基本構成を示す図である。情報処理装置は、入力部１０１、表示部１０２、音声合成部１０３、制御部１０４、記憶部１０５から構成される。
【００１０】
本体入力部１０１はボタン群やタッチパネル等の入力装置から構成され、各種の指示を本装置に入力するための入力インタフェースとして機能する。
【００１１】
表示部１０２は液晶ディスプレイ等の表示装置から構成され、画像や文字等により構成される各種の情報を表示する。なお、表示部１０２としてタッチパネル式の表示装置を用いてもよく、その場合、表示部１０２は本体入力部１０１としての機能（各種の指示を本装置に入力する機能）をも有することになる。
【００１２】
音声合成部１０３はスピーカやヘッドフォン、Ｄ／Ａ変換器等により構成されており、後述の制御部１０４の制御により読み上げテキストから音声データを作成してＤ／Ａ変換し、音として外部に出力する処理を行う。上記音声合成技術については公知の技術を利用する。
【００１３】
制御部１０４はワークメモリやＣＰＵ、ＭＰＵ等により構成されており、後述の記憶部１０５に記憶されたプログラムやデータを読み出して各種の処理を実行する。
【００１４】
記憶部１０５は、各種の情報を保存するためのハードディスクドライブ装置や、情報処理システムに各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体等により構成されている。またこのハードディスクドライブ装置や記憶媒体には、各種のアプリケーションプログラム、ユーザ・インタフェース制御プログラム、そして各プログラムを実行する際に必要な各種のデータ等が記憶されており、これらは制御部１０４の制御により、本装置に読み込まれる。
【００１５】
テキスト情報１０６は入力部１０１によって指定されたテキストに関する情報であり、記憶部１０５に記憶されている。
【００１６】
オブジェクト情報１０７は、入力部１０１によって指定されたテキストに関する情報であり、記憶部１０５に記憶されている。
【００１７】
関連情報１０８は、テキスト情報とオブジェクト情報についての関連情報であり、テキスト情報１０６、オブジェクト情報１０７とともに記憶部１０５に記憶されている。関連情報についての詳細は後述する。
【００１８】
次に、本発明の実施例１における情報処理装置の関連付け時の動作について、図２のフローチャートを参照して説明する。
【００１９】
入力部１０１により入力されたテキストやオブジェクト（図形、テキスト等）は表示部１０２上に表示される。
【００２０】
表示部１０２上のテキストとオブジェクトが指定されると（ステップＳ２０１にてＹＥＳ）、ステップＳ２０２にて関連付けされるのを待つ。
【００２１】
ステップＳ２０１にて指定されたテキストとオブジェクトが関連付けられると（ステップＳ２０２にてＹＥＳ）、ステップＳ２０３にてテキストの出力形態が指定されるのを待つ。
【００２２】
テキストの出力形態が指定されると（ステップＳ２０３にてＹＥＳ）、ステップＳ２０４にてテキストをオブジェクトに関連付け、テキストの出力形態とともにその関連情報を記憶する。ここで指定する出力形態は、少なくともテキストを出力するモダリティ（ＧＵＩ、音声など）情報を含む。その他、出力トリガとなるイベントや詳細情報（ＧＵＩであれば表示するサイズやテキストのフォント、音声であれば読み上げ速度や音量等）も指定できるようにし、モダリティと併せて記憶するようにしてもよい。ただし、これら出力トリガや詳細情報はオブジェクト毎ではなくアプリケーション全体の設定としてもよい（その場合はここで指定する必要はない）。
【００２３】
続いて、本発明の実施例１における情報処理装置の出力時の動作について、図４のフローチャートを参照して説明する。
【００２４】
オブジェクトに対して所定のイベントが起きると（ステップＳ４０１にてＹＥＳ）、ステップＳ４０２の処理へと進む。ここで、所定のイベントとは、前述の出力トリガとなるイベントであり、例えばオブジェクトをクリックしたり、マウスオーバーしたり等が挙げられる。続いてステップＳ４０２では指定された形態でテキストを出力する。例えば出力モダリティが音声と指定されている場合は、音声合成にてテキストを出力する。
【００２５】
続いて、本発明の実施例１における情報処理装置の動作例を図５に示す。
【００２６】
図５の表示画面５０１上には「駅から徒歩1分」というテキスト５０２と画像オブジェクト５０３が表示されている。
【００２７】
ユーザにより、テキスト５０２が丸５０５で、オブジェクト５０３が丸５０６でそれぞれ囲まれると、テキスト５０２とオブジェクト５０３は選択状態になる（図２のステップＳ２０１にてＹＥＳ）。
【００２８】
丸５０５と丸５０６をつなぐ線５０７が引かれると（図２のステップＳ２０２にてＹＥＳ）、テキスト５０２とオブジェクト５０３の関連付けを行う。この際、テキスト５０２の出力形態を指定するためのダイアログ５０９（テキストを音声で出力するかコメントとして画面上に表示するかという２つの選択肢）を提示する。
【００２９】
もし、オブジェクト５０３が画像オブジェクトではなくテキストだった場合は、テキスト５０２とオブジェクト５０３（テキスト）のどちらを補助情報（メモ）とするかを選択するステップを入れてもよい。
【００３０】
ダイアログ５０９にて音声が選択されると（図２のステップＳ２０３にてＹＥＳ）、テキスト５０２を音声合成用のテキストとして保存し（図５の５１１）、テキスト５０２とオブジェクト５０３の関連情報を保存する（図２のステップＳ２０４）。前述のように、出力トリガとなるイベントや出力形態の詳細情報（読み上げ速度や話者、音量等、音等声合成に関するパラメータ）を入力するよう促し、関連情報に含めてもよい。本実施例では、アプリケーションにて、オブジェクトへのマウスオーバーを出力トリガとなるよう設定されているものとする。
【００３１】
また、音声合成用のテキスト５１１は別ファイルに保存しても、同ファイル内で音声合成用テキストとして保存しても、どちらでもよい。
【００３２】
関連付け処理が終了すると、図５の５１０のように、関連付けされたテキストは画面から削除する（本実施例では画面から削除するが、残しておいてもよい）。
【００３３】
関連付け以降、図６の６０１のようにオブジェクト５０３に対してマウスオーバーのイベントが起きると、関連付けたテキストを音声出力する（「駅から徒歩1分」と音声合成出力する、図６の６０２）。
【００３４】
補足として、図５の５０９のダイアログにてコメント表示を選択した場合の出力例を図６の６０３に示す。オブジェクト５０３に対してマウスオーバーのイベントが起きると、関連付けたテキストをコメントとして（図６の６０４）画面上に表示する。
【００３５】
尚、上記ではテキストやオブジェクトの指定方法として丸をつけ、関連付けとして線を引く例を示したが、これに限らない。例えばテキストをオブジェクト上にドラッグ＆ドロップする等、他の方法を用いてもよい。
【００３６】
以上のように、実施例１によれば、テキストをオブジェクトに関連付ける際に出力形態を指定するので、ユーザはオブジェクトに音声メモを付けたり、コメントを付けたりする作業を容易にできる。
【実施例２】
【００３７】
続いて、本発明の実施例２について説明する。本発明の実施例１では、ユーザがテキストを丸で囲む等をして画面上から指定する例を示した。実施例２では、システムがメモ候補となる単語を抽出し、ユーザに提示する例を示す。
【００３８】
本発明の実施例２における情報処理装置の動作について、図３のフローチャートを参照して説明する。
【００３９】
ユーザによりテキストが入力されると（ステップＳ３０１にてＹＥＳ）、テキスト解析を行い、単語の抽出を行う（ステップＳ３０２）。テキストの解析技術については公知の技術を利用する。また、手書き文字や画像に含まれるテキストについては公知の文字認識技術を利用し、単語の抽出を行う。
【００４０】
この際、テキストに含まれる単語の抽出のみにとどまらず、データベース等を利用して関連語や言い替え語（例えば略語については正式名称等）を併せて抽出してもよい。
【００４１】
続いて、ステップＳ３０２で抽出した単語をメモ候補としてユーザに提示する（ステップＳ３０３）。提示するタイミングはこのタイミングに限らず、常に提示しておき、新たに単語が追加されたときに再表示してもよいし、ユーザがメモ候補表示を促した時点で表示してもよい。
【００４２】
続いて本実施例における情報処理装置の動作例を図７に示す。
【００４３】
図７は、携帯電話上でメールを打つ際にメモ候補を提示し、選択されたメモをメールに関連付ける例を示している。図７の７０１はメールの入力例であり、これらの文字が入力されるごとにテキスト解析を行い、単語を抽出する（図３のステップＳ３０２）。続いて、ユーザの指示により７０２のようにメモ候補を提示する。メモ候補７０２に示すように、テキストを解析した結果抽出した単語をユーザに提示する。前述のように、単なる単語抽出にとどまらず、関連語や言い替え語を併せて抽出してもよい。
【００４４】
メモ候補７０２の中から１の『おはよう』が選択されると、メモ『おはよう』の出力モダリティを指定するための画面７０３を表示する。画面７０３で出力モダリティが選択されると、メールとメモ『おはよう』を関連付け、出力モダリティを含む関連情報を記憶する。この際、本文から『おはよう』というテキストを削除してもよい。
【００４５】
続いて、メール再生時の例を図８に示す。上記で、出力モダリティとして『音声』が選択された場合は、再生時に８０１のように画面上にメールの本文を表示し、メモ「おはよう」を音声合成出力（８０２）する。また、出力モダリティとして『画面表示』が選択された場合は、再生時に画面上にメールの本文（８０１）と、『おはよう』というメモ（８０３）とを交互に表示する。この際、メモ画面８０３の透明度を上げて本文画面８０１と重ねて表示する等、他の表示方法を用いてもよい。
【００４６】
また、図９に示すように、画像に含まれるテキストをメモ候補として提示してもよい。図９では表示された画像９０１に含まれる文字『Candy』と『下丸子駅』を抽出して提示する例を示している（９０２）。尚、画像に含まれるテキストを抽出する際は公知の文字認識技術を利用する。
【００４７】
以上のように、実施例２によれば、システムがメモの候補となる単語を提示するので、ユーザは選択して出力形態を指定するだけで簡単に補助情報を付与することができる。
【００４８】
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００４９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施例１における情報処理装置の基本構成を示すブロック図である。
【図２】本発明の実施例１に係る情報処理装置の動作手順を示すフローチャートである。
【図３】本発明の実施例２に係る情報処理装置の動作手順を示すフローチャートである。
【図４】本発明の実施例１に係る情報処理装置の動作手順を示すフローチャートである。
【図５】本発明の実施例１に係る情報処理装置の動作の一例を示す図である。
【図６】本発明の実施例１に係る情報処理装置の動作の一例を示す図である。
【図７】本発明の実施例２に係る情報処理装置の動作の一例を示す図である。
【図８】本発明の実施例２に係る情報処理装置の動作の一例を示す図である。
【図９】本発明の実施例２に係る情報処理装置の動作の一例を示す図である。
【符号の説明】
【００５４】
１０１  入力部
１０２  表示部
１０３  音声合成部
１０４  制御部
１０５  記憶部
１０６  テキスト情報
１０７  オブジェクト情報
１０８  関連情報
【図１】
2009205261.tif 000003
【図２】
2009205261.tif 000004
【図３】
2009205261.tif 000005
【図４】
2009205261.tif 000006
【図５】
2009205261.tif 000007
【図６】
2009205261.tif 000008
【図７】
2009205261.tif 000009
【図８】
2009205261.tif 000010
【図９】
2009205261.tif 000011