(57)【要約】【課題】テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できるようにする。【解決手段】入力部（１０）によって生成されたテキストデータ、または、文字認識部２１によって手書きデータから変換されたテキストデータを検索語として、手書きデータおよびテキストデータを少なくとも含む検索対象の検索を行う検索部（２２）を備える。【選択図】図１
2014059671.tif 000002
【特許請求の範囲】
【請求項１】
情報検索を行う情報検索装置であって、
手書き入力から手書きデータを生成する一方で、文字指定入力から第１のテキストデータを生成する入力手段と、
前記入力手段が生成した前記手書きデータを文字認識し、第２のテキストデータへ変換する文字認識手段と、
前記入力手段によって生成された第１のテキストデータ、または、前記文字認識手段によって前記手書きデータから変換された前記第２のテキストデータを検索語として検索対象の検索を行う検索手段と、を備え、
前記検索対象は、手書きデータおよびテキストデータの両方を少なくとも含むことを特徴とする情報検索装置。
【請求項２】
手書きデータから手書きの特徴的な情報である特徴情報を抽出する手書き情報抽出手段と、
前記手書き情報抽出手段が抽出した前記特徴情報を前記手書きデータと関連付けて所定の記憶部に格納する制御を行う記憶制御手段と、を備え、
前記検索手段は、
前記所定の記憶部から読みだした前記検索対象に含まれるテキストデータと、前記検索語と、を比較する一方、前記所定の記憶部から読みだした前記検索対象に含まれる手書きデータと関連付けられた前記特徴情報と、前記検索語と、を比較することで検索を行うことを特徴とする請求項１に記載の情報検索装置。
【請求項３】
前記手書き入力から生成された手書きデータ、前記第１のテキストデータ、および、前記検索対象のいずれか少なくとも１つを表示する制御を行う表示制御手段を備えることを特徴とする請求項１または２に記載の情報検索装置。
【請求項４】
前記検索対象に、当該検索対象が検索されたデータであることを示す表示を付加した検索結果画像を出力する検索結果画像出力手段を備え、
前記表示制御手段は、
前記検索結果画像出力手段が出力した前記検索結果画像を表示する制御を行うことを特徴とする請求項３に記載の情報検索装置。
【請求項５】
請求項１から４までのいずれか１項に記載の情報検索装置と、
テキストデータ、手書きデータ、および、手書きの特徴的な情報である特徴情報を格納する記憶部を備え、
前記手書きデータは、
前記特徴情報と関連付けられて前記記憶部に格納されることを特徴とする情報検索システム。
【請求項６】
請求項１から４までのいずれか１項に記載の情報検索装置を動作させるための情報検索プログラムであって、コンピュータを前記各手段として機能させるための情報検索プログラム。
【請求項７】
請求項６に記載の情報検索プログラムが記録されたコンピュータ読取り可能な記録媒体。
【請求項８】
請求項５に記載の情報検索システムを備えた電子手帳。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報検索を行う情報検索装置、該情報検索装置を備えた情報検索システム、情報検索プログラムおよび該情報検索プログラムが記録されたコンピュータ読み取り可能な記録媒体、ならびに該情報検索システムを備えた電子手帳に関する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Personal Digital Assistants）などの携帯端末の技術分野においては、タッチパネルの普及に伴い、タッチパネルのタッチ画面上に仮想的に表示された仮想キーに対する操作により携帯端末に対して指令を与えるための、いわゆるＧＵＩ（グラフィカル・ユーザ・インターフェイス）の開発が盛んになってきている。
【０００３】
一方、キーボードの操作が不慣れな人でも文字入力することが可能な入力方式の一つとして、手書き入力方式が良く知られている。手書き入力方式では、手書き入力が可能な所定の手書き入力エリアに入力された手書き文字の軌跡を抽出して文字認識を行い、文字コードに変換するようになっている。
【０００４】
以上のような入力方式を用いて情報検索を行う技術の一例として特許文献１に開示された手書きでないテキストを使用して手書きデータベースを探索する方法がある。この方法では、手書き文字認識システムまたは適切なトレーニング手順から引き出された書き手特有の筆跡モデルを使用して、テキスト・クエリーは、デジタル・インク・データベースの作成者がテキスト・クエリーを手で書いたとすれば抽出されたであろう特徴ベクトルと類似した特徴ベクトルへ変換されるようになっている。また、この特徴ベクトルはデータベースを探索するために使用されている。
【０００５】
また、特許文献２には、文字または図形等のデータを手書きによって入力する入力部と、その入力されたデータを手書きの形態をなすイメージデータとして記憶する記憶部と、その記憶されたイメージデータを表示する表示部と、この記憶部及び表示部を駆動制御する制御部とを備え、その制御部には入力された手書きの文字データを認識してキーワードに変換するとともに、そのキーワードを記憶部に格納する認識手段を備える情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９３５１９号公報（２００８年１２月４日公開）
【特許文献２】特開平７−２８８３７（１９９５年１月３１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述のような従来技術は、（１）テキストで検索語を入力し、テキストを検索対象として情報検索を行うか、（２）手書きで検索語を入力し、手書き文字を検索対象として情報検索を行うか、のいずれかの方法でしか検索できなかったという問題がある。
【０００８】
例えば、前記特許文献１に開示された方法では、手書きでないテキストを使用して手書きデータベースを探索しているが、その検索対象はインクデータとなっている。
【０００９】
また、前記特許文献２に開示された情報処理装置では、手書きデータを検索した際に、手書きデータおよびテキストデータを結果として表示することができるようになっているが、そのテキストデータは手書きした内容を文字認識した結果である検索語（キーワード）であり、テキストデータは検索対象となっていない。
【００１０】
本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できる情報検索装置などを提供することにある。
【課題を解決するための手段】
【００１１】
前記の課題を解決するために、本発明の一態様に係る情報検索を行う情報検索装置であって、手書き入力から手書きデータを生成し、文字指定入力から第１のテキストデータを生成する入力手段と、前記入力手段が生成した前記手書きデータを文字認識し、第２のテキストデータへ変換する文字認識手段と、前記入力手段によって生成された第１のテキストデータ、または、前記文字認識手段によって前記手書きデータから変換された前記第２のテキストデータを検索語として検索対象の検索を行う検索手段と、を備え、前記検索対象は、手書きデータおよびテキストデータの両方を少なくとも含むことを特徴とする。
【発明の効果】
【００１２】
本発明の一態様によれば、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の一形態である情報検索システムに係る機能ブロック図である。
【図２】前記情報検索システムに係る情報検索の流れを示すフローチャートである。
【図３】前記情報検索システムに係るＷｅｂ以外を対象とした情報検索の流れを示すフローチャートである。
【図４】前記情報検索システムに係るデータ入力（検索対象の格納）の流れを示すフローチャートである。
【図５】前記情報検索システムに係る情報検索に関連するユーザーインターフェースの状態遷移図である。
【図６】前記情報検索システムに係る情報検索の流れを説明するための模式図である。
【図７】前記情報検索システムに係る表示画面の一例を示す図である。
【図８】前記情報検索システムに係る検索結果表示のための表示画面の一例を示す図である。
【図９】前記情報検索システムに係る手書きデータの特徴情報の抽出手順の一例を説明するための模式図である。
【図１０】前記情報検索システムに係る手書き文字の検索手順の一例を説明するための模式図である。
【発明を実施するための形態】
【００１４】
本発明の実施の一形態について、図１〜図１０に基づいて説明すれば、以下のとおりである。以下の特定の項目で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の項目で説明されている場合は、その構成と同じである。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
〔情報検索システム１〕
まず、図１に基づき、本発明の実施の一形態である情報検索システム１の構成について説明する。図１は、情報検索システム１、情報検索システム１の接続先（Ｗｅｂサービス５、ローカルＤＢ６）、および記憶制御部（記憶制御手段）２を示すブロック図である。
【００１５】
同図に示すように、情報検索システム１は、入力部（入力手段）１０、主制御部２０、記憶制御部２、表示制御部（表示制御手段）４を備える。
【００１６】
なお、以下では、本実施形態の情報検索システム１から記憶制御部２および／または表示制御部４を除外した形態を、本発明の一態様に係る情報検索装置に対応する形態とみても良い。
【００１７】
（情報検索システム１の動作概要）
次に、図６に基づき、情報検索システム１の動作の概要（情報検索の流れ）について説明する。図６は、情報検索システム１に係る情報検索の流れを説明するための模式図である。同図に示すように、情報検索システム１の基本的な動作には、大きく分けて、検索キーワード入力（ａ）、検索実行（ｂ）および結果表示（ｃ）の３つの場面が存在する。
【００１８】
（ａ：検索キーワード入力）
検索キーワード入力ａの場面では、ユーザーが入力部１０への手書き入力Ｓ５または文字指定入力Ｓ６（文字指定入力）を行う（図２参照）。入力が手書き入力Ｓ５であった場合は主制御部１において文字認識Ｓ７を行い、手書き入力Ｓ５および文字指定入力Ｓ６のいずれが行われた場合においても一意（一意対応）の文字列を示すテキストデータが検索語として生成される。検索語としてのテキストデータには、文字指定入力Ｓ６由来の第１のテキストデータと、手書き入力Ｓ５由来の第２のテキストデータとが含まれる。しかしながら、第１のテキストデータおよび第２のテキストデータを区別して記載すると煩雑となるため、以下では、第１のテキストデータおよび第２のテキストデータのいずれも「テキストデータ」と呼ぶ。
【００１９】
（ｂ：検索実行）
検索実行ｂの場面では、ユーザーにより指定された検索先である、Ｗｅｂサービス５またはローカルＤＢ６をリソースとして、入力された検索語により、検索対象の検索が行われる。
【００２０】
（ｃ：結果表示）
結果表示ｂの場面では、検索結果としての検索対象は主制御部１により検索結果画像データに変換され表示制御部４を通じ、検索結果表示ＵＩｄ２０を介して表示される。
【００２１】
結果表示ｃに示すとおり、検索結果表示ＵＩｄ２０には、検索結果画像データとして、テキストデータとともに「重要」との手書き文字が実線の枠に囲まれて表示されている。ここで、「重要」との手書き文字を囲む矩形形状の実線の枠は、手書き文字である「重要」が検索されたデータであることを示す表示である。なお、本実施形態では、検索されたデータであることを示す表示の一例として略矩形形状の実線の枠を示しているが、これに限定されない。例えば、枠は、略矩形形状に限定されず、略楕円形などであっても良い。また、枠を構成する線は、実線である必要はなく、一点鎖線、二点鎖線などを適宜用いて良い。
【００２２】
（記憶制御部２）
記憶制御部２は検索語または検索対象（登録データ）として入力または生成されたテキストデータおよび手書きデータの他、手書き特徴情報を記憶部３へ格納する制御を行う機能を備える。ここで、「手書き特徴情報（特徴情報）」は、手書きデータから抽出される情報であり、対応する抽出ベースとしての手書きデータと互いに関連付けて記憶部３に格納される。また、記憶制御部２は、その他、記憶部３に記録されたデータを読み出し、出力をする制御を行う機能も備える。
【００２３】
なお、記憶制御部２は、記憶部３がＲＤＢ（Relational DataBase）を記録した記憶媒体である場合は、ＲＤＢＭＳ（Relational DataBase Management System）の機能を備えていても良い。
【００２４】
（表示制御部４）
表示制御部４は、文字指定入力Ｓ６から生成された第１のテキストデータ、および、検索対象としての検索結果画像データのいずれか少なくとも１つを含む画像データを所定の表示部（不図示）へ出力する（表示する）制御を行う機能を備えている。
【００２５】
これにより、手書き入力Ｓ５された手書きデータと文字指定入力Ｓ６された第１のテキストデータを視覚的に確認することができる他、検索された検索対象としての検索結果画像データを視覚的に確認することができる。
【００２６】
（入力部１０）
入力部１０は、手書き入力から手書きデータを生成し、文字指定入力から第１のテキストデータを生成する機能を有する。
【００２７】
より具体的には、図１に示すように、入力部１０は文字指定入力部１１および手書き入力部１２を備える。入力部１０はユーザーが文字指定入力部１１から入力を行った場合はテキストデータ（第１のテキストデータ）を、手書き入力部１２から入力を行った場合は手書きデータを、それぞれユーザー入力データとして生成する機能を備える。
【００２８】
また、入力部１０は文字指定入力部１１が出力したテキストデータの一部もしくは全部を他の対応するテキストデータに変換する、例えば、“a”を“あ”または“亜”などに変換する、いわゆるＩＭ（Input Method）機能を備えてもよい。
【００２９】
本実施形態では、入力部１０はユーザーが検索を行うことができる検索入力ＵＩ（User Interface）ｄ１０を備え、検索入力ＵＩｄ１０は文字指定入力部１１および手書き入力部１２を備えている。また、入力部１０はユーザーがデータ（検索対象となる登録データ）を入力できる文字指定入力部１１および手書き入力部１２を備えるデータ入力ＵＩ（図示せず）も備える。
【００３０】
検索入力ＵＩｄ１０は図７に示す検索入力ＵＩ（手書き）ｄ１１および検索入力ＵＩ（文字指定）ｄ１２を備え、ＵＩとして、手書き入力部１１には手書き入力エリアｄ１１−３が対応し、文字指定入力部１２には文字指定入力エリアｄ１２−３がそれぞれ対応している。
【００３１】
また、検索入力ＵＩｄ１０は、ユーザーが検索先としてローカルＤＢ６またはＷｅｂサービス５を選択して検索の実行を指示するコマンドを発行することができるインターフェースとして、それぞれ、検索ボタン（ローカル）ｄ１０−６および検索ボタン（Ｗｅｂ）ｄ１０−７を備える。コマンドの発行をイベントとして、入力部１０は主制御部２０に前記ユーザー入力データおよび／または前記コマンドを出力する。
【００３２】
また、データ入力ＵＩ（不図示）は文字指定入力部１１と、手書き入力部１２を備える。また、データ入力ＵＩは、ユーザーがデータ登録の実行を指示するデータ登録コマンドを発行することができるインターフェースを備える。入力部１０は、データ登録コマンドの発行をイベントとして、上述したユーザー入力データおよびコマンドを出力する。
【００３３】
なお、本実施形態では、入力部１０はタッチパネルを備えるディスプレイへソフトウェア制御によりＵＩを表示することで、直感的な入力インターフェースとして実現する場合を例にとって説明するが、本発明が適用可能な形態はこれに限定されるものではない。例えば、文字指定入力部１１としてはハードウェアキーボードを、手書き入力部１２としてはタッチパッドを利用することができるが、革新的なインターフェースを備えるソフトウェア、ハードウェアおよびそれぞれを併用した手書き入力手段および／または文字指定入力手段が将来的に開発された場合でも、本発明を適用できることは言うまでもない。
【００３４】
（手書きデータ）
手書き入力から入力部１０が生成する手書きデータは図９に示す手書き入力データ７に模式的に示している。
【００３５】
手書き入力データ７はユーザーの手書き入力部ｄ１２への入力の軌跡情報であるストローク情報と前記ストローク情報の入力順であるストローク番号を含む。
【００３６】
図９  手書き入力データ７においてストローク情報は“あ”、“い”、“う”の各一画に対応し、ストローク番号は前記一画に付記された（１）〜（７）に対応する情報である。
【００３７】
（主制御部２０）
同図に示すように、主制御部２０は文字認識部（文字認識手段）２１、検索部（検索手段）２２、手書き情報抽出部（情報抽出手段）２３、検索結果出力部（検索結果出力手段）２４を備える。また、主制御部２０は記憶領域を備える。前記記憶領域はＲＡＭ（Random Access Memory）であってもよい。主制御部２０の動作の詳細については後述する。
【００３８】
（文字認識部２１）
文字認識部２１は、文字認識手段は、手書きデータを文字認識し、一意の文字列を示すテキストデータ（第２のテキストデータ）へ変換する機能を備える。
【００３９】
なお、手書きデータの文字認識方法は特に限定されず、公知の任意の文字認識方法を採用することができる。
【００４０】
（手書き情報抽出部２３）
手書き文字情報抽出部２３は手書きデータから手書き入力の特徴的なデータである手書き特徴情報を抽出する機能を備える。
【００４１】
ここで、図９に基づき、手書き情報抽出部２３が手書きデータから手書き特徴データを抽出する手順の詳細について説明する。図９は、手書きデータの特徴情報の抽出手順の一例を説明するための模式図である。
【００４２】
手書き情報抽出部２３は手書き入力データ７を入力データとして、特徴データ抽出Ｓ２６を実行し、ストローク番号Ｃ１、認識結果（テキスト）Ｃ２およびそれぞれの対応情報を含む認識テーブルＴ１の形式で手書き特徴情報を出力する。
【００４３】
なお、文字認識部２１は手書き情報抽出部２３を含んでいてもよい。すなわち、文字認識部２１は手書き情報抽出部２３が出力した手書き特徴データの一部または全部を、抽出および／または変換し、一意の文字列を示すテキストデータに変換する機能を備えることで、上述した手書き文字変換を実現してもよい。
【００４４】
（検索部２２）
検索部２２は入力部１０から入力されたテキストデータを検索語として、入力部１０から入力された前記コマンドに応じ、Ｗｅｂサービス５を検索先とした検索として検索（Ｗｅｂ）Ｓ１１、または記憶制御部２を通じて記憶部３を検索先とした検索として検索（ローカル）Ｓ１０を行い、前記検索対象内の検索条件に該当する検索該当データおよび前記検索該当データに登録日時などが近傍する検索該当近傍データを検索結果データとして出力する。このとき、検索部２２は検索結果データを複数出力してもよい。これにより、ユーザーが望む検索結果が得られる可能性が高くなる。また、検索該当近傍データは手書きデータを含んでいてもよい。これにより、検索結果に検索該当データの前後のデータとしてテキストデータおよび手書きデータ含めることができ、ユーザーは検索結果をより理解しやすくなる。
【００４５】
（検索（ローカル）Ｓ１０）
検索（ローカル）Ｓ１０は図３のフローチャートに示す通り、テキストデータを対象とした検索（テキスト対象検索Ｓ１０−１）、および、手書きデータを対象とした検索（手書き対象検索Ｓ１０−２）、それぞれの検索結果データを併合したデータを検索結果データとして出力する。
【００４６】
これにより、ユーザーは検索該当データ（検索対象）がテキストデータであるか、手書きデータであるかを意識することなく、テキストデータ、手書きデータの双方（両方）を検索対象とした検索を行うことができる。
【００４７】
（テキスト対象検索Ｓ１０−１）
テキスト対象検索Ｓ１０−１は、記憶部３に格納されたテキストデータと前記検索語を比較することで検索対象の検索を行い、検索結果データを出力する。
【００４８】
（手書き対象検索Ｓ１０−２）
手書き対象検索Ｓ１０−２については、図１０に示すように、検索語が検索対象語“い”を示すデータである場合を例にとって説明する。
【００４９】
記憶部３には認識テーブルＴ１およびユーザーが入力を行ったストロークおよびストローク番号を含む手書き特徴情報として手書き格納データ８が格納されている。
【００５０】
手書き対象検索Ｓ１０−２では、最初に記憶部３に格納された認識テーブルＴ１内の認識結果（テキスト）Ｃ２と、検索語を比較する。認識結果（テキスト）Ｃ２が検索対象語“い”である行のストローク番号Ｃ１の値“（４）〜（５）”が検索条件に該当するデータに対応する該当ストローク番号である。手書き格納データ８において、該当ストローク番号に対応するストロークデータが検索条件に該当する検索該当データ９である。
【００５１】
これにより、テキストデータである検索語データにより、手書きデータを対象に検索を行うことができる。
【００５２】
手書き対象検索Ｓ１０−２では、検索該当データ９および検索該当データ９に近傍する“あ”、“う”を含む検索該当近傍データを検索結果データとして出力する。検索該当データは複数あってもよく、検索該当近傍データは手書きデータを含んでいてもよい。
【００５３】
なお、手書き対象検索Ｓ１０−２の方法は前記説明の方法に限られず、他の公知である任意の手書き文字検索の方法を用いることができる。
【００５４】
（検索結果出力部２４）
検索結果出力部２４は検索部２２が出力した検索結果データを検索結果ＵＩｄ２０へ変換し出力する。
【００５５】
検索結果出力部２４は最初に検索結果データに含まれる検索該当結果データおよび検索結果近傍データを用いて、入力時の表示を再現し、あるいは一定の規則により再構築した再現画像を生成する。続いて、検索該当結果データに対応する画像部分に特徴的な表示である検索結果ハイライト表示ｄ２０−２を合成し、合成した結果の画像である検索結果ＵＩｄ２０を出力する。
【００５６】
図８に示す検索結果ＵＩ（タイムライン）ｄ２１および検索結果ＵＩ（ノート）ｄ２２は検索結果ＵＩｄ２０の例である。
〔記憶部３〕
記憶部３はテキストデータ、手書きデータ、手書き特徴情報を記録し、読み出し要求により記録した情報を読み出し、出力する。ここで、手書き特徴情報は、対応する手書きデータと互いに関連付けられて記憶部３に格納される。記憶部３は上記のようにＲＤＢを記録した記憶媒体であってもよい。また、前記記憶媒体はフラッシュメモリ、ＨＤＤ（Hard Disk Drive）またはＴＣＰ／ＩＰプロトコルを介して読み書きを行うＮＡＳ（Network Attached Storage）であってもよいが、それぞれの場合に記憶部３について読み書きの制御を行う機能を記憶制御部２は備える。
〔ローカルＤＢ６〕
図１に示すように、ローカルＤＢ６は記憶制御部２および記憶部３を含む。ローカルＤＢ６はＳＱＬｉｔｅなどのＲＤＢＭＳおよび前記ＲＤＢが記録された記憶媒体であってもよい。
〔Ｗｅｂサービス５〕
Ｗｅｂサービス５は検索語データを含む検索クエリをＨＴＴＰ（Hyper Text Transfer Protocol）リクエストにより受け取り、Ｗｅｂサービス５に保存されたデータを対象に検索語との比較を行うことで検索を行い、ＨＴＴＰレスポンスにより検索結果情報を出力する。また、Ｗｅｂサービス５はユーザーがデータを入力できるインターフェースを独自に備える。Ｗｅｂサービス５は特定のＨＴＴＰリクエストにより保存されたデータの検索を行うＡＰＩ（Application Program Interface）を備えたインターネット上の予定表サービスであってもよい。
〔検索フロー〕
図２に示すフローチャートおよび図５に示す状態遷移図に基づき、検索のフローについて説明する。
【００５７】
（検索ＵＩ初期化）
図５に示す検索ＵＩ未起動状態ｄ１において、検索画面の初期化を行う検索ＵＩ初期化（ステップ）Ｓ１（以下、「ステップ」は省略する）が実行されると、図７に示す検索入力ＵＩ（手書き）ｄ１１を表示する検索入力ＵＩ表示Ｓ２が実行される。
【００５８】
（検索ＵＩ切り替え）
検索入力ＵＩ（手書き）ｄ１１において入力切替ボタン（文字指定）ｄ１１−２をユーザーがタップすることで、入力モード切替Ｓ３が行われ、検索入力ＵＩ（文字指定）ｄ１２を表示する検索入力ＵＩ（文字指定）表示Ｓ４が実行される。また、検索入力ＵＩ（文字指定）ｄ１２において入力切替ボタン（手書き）ｄ１２−２をユーザーがタップすることを起点として、入力モード切替Ｓ３が行われ、検索入力ＵＩ（手書き）表示Ｓ２が実行される。
【００５９】
（手書き検索語入力）
検索入力ＵＩ（手書き）ｄ１１においてユーザーが検索手書き入力エリアｄ１１−３へ手書き入力を行う手書き入力Ｓ５が行われると、手書き入力から一意の文字列に対応するテキストデータである認識結果データを出力する文字認識Ｓ７が実行される。認識結果データは検索語認識結果表示エリアｄ１１−１へ表示される。
【００６０】
（文字指定検索語入力）
検索入力ＵＩ（文字指定）ｄ１２においてユーザーが検索文字指定入力エリアｄ１２−３により、文字を指定して入力を行う文字指定入力Ｓ６が行われると、入力された文字列または入力された文字列をＩＭにより変換された文字列が検索語入力結果表示エリアｄ１２−１へ表示される。
【００６１】
（検索対象選択）
ユーザーが検索ボタン（ローカル）ｄ１０−６または検索ボタン（Ｗｅｂ）ｄ１０−７をタップすることにより検索方法指定Ｓ８、検索方法判断Ｓ９が実行される。検索ボタン（ローカル）ｄ１０−６がタップされた場合はローカルＤＢ６を対象とした検索である検索（ローカル）Ｓ１０が実行され、検索ボタン（Ｗｅｂ）ｄ１０−７がタップされた場合は、Ｗｅｂサービスを対象とした検索である検索（Ｗｅｂ）Ｓ１１が実行される。
【００６２】
（検索結果表示）
検索（ローカル）Ｓ１０が実行された場合は、検索結果ＵＩｄ２０を表示する。検索結果ＵＩｄ２０は、検索結果ＵＩ（ノート）ｄ２２のように入力時の表示を模した画像であってもよいし、一定の規則に従った編集を行った検索結果ＵＩ（タイムライン）ｄ２１であってもよい。検索結果は検索該当データに対応する画像部分または検索該当データに対応する画像部分の近傍部分をハイライト表示した検索結果ハイライト表示ｄ２０−２を加える。これによりユーザーは検索結果を認識することができる。また、検索結果出力部２４は前記検索結果データに含まれる検索該当結果データの件数および／または検索語を検索結果概要表示エリアｄ２０−１に検索結果ＵＩｄ２０に合成してもよい。これにより、ユーザーが検索結果を把握しやすくなる。
【００６３】
（検索結果ＵＩ終了）
検索結果ＵＩｄ２０においてユーザーが検索結果ＵＩ終了ボタンｄ２０−３をタップすることで検索結果ＵＩｄ２０が終了され、検索ＵＩ初期化Ｓ１が実行される。検索ＵＩ初期化Ｓ１が実行後、検索入力ＵＩ（手書き）表示Ｓ２が実行され、検索入力ＵＩ（手書き）ｄ１１が表示される。
〔データ入力フロー〕
図４に基づき、データ入力のフローを説明する。
【００６４】
（データ入力ＵＩ初期化）
ユーザーが一定の操作によりデータ入力ＵＩを起動すると、データ入力ＵＩの初期化を行うデータ入力ＵＩ初期化Ｓ２１が実行される。データ入力ＵＩ初期化Ｓ２１が実行されると手書きによりユーザーがデータ入力を行うことができるデータ入力ＵＩであるデータ入力ＵＩ（手書き）を表示するデータ入力ＵＩ（手書き）表示Ｓ２２が実行される。
【００６５】
（データ入力ＵＩ切り替え）
前記データ入力ＵＩ（手書き）が表示された状態において、ユーザーが一定の操作を行うことで入力手段を切り替える入力モード切替Ｓ２３が実行され、文字指定入力によりユーザーがデータを入力することができるデータ入力ＵＩ（文字指定）を表示するがデータ入力ＵＩ（文字指定）表示Ｓ２４が実行される。前記データ入力ＵＩ（文字指定）が表示されている場合においても、ユーザーが一定の操作を行うことで入力手段を切り替える入力モード切替Ｓ２３が実行され、前記データ入力ＵＩ（手書き）が表示される。
（手書きデータ入力）
前記データ入力ＵＩ（手書き）においてユーザーが手書き入力を行う手書き入力Ｓ２５が実行されると手書きデータから手書き特徴データを抽出する特徴データ抽出Ｓ２６が実行される。これにより主制御部２０に前記手書きデータおよび前記手書き特徴データが一時的に記録される。
（文字指定データ入力）
また、前記データ入力ＵＩ（文字指定）が表示されている場合において、ユーザーが文字指定入力によりデータ入力を行う文字指定入力Ｓ２７が実行されると主制御部２０に文字指定入力により入力されたテキストデータが一時的に記録される。
（データ保存）
前記手書き入力Ｓ２５または文字指定入力Ｓ２７が実行された場合において、ユーザーにより、データ保存を指示するデータ保存指示Ｓ２８が実行されると、主制御部に一時的に記録された前記手書きデータおよび手書き特徴データ、またはテキストデータが記憶制御部２により、記憶部３へ記録される（データ保存Ｓ２９）。
〔情報検索システム１の効果〕
情報検索システム１によれば、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できる。
【００６６】
また、情報検索システム１によれば、文字指定入力Ｓ６および手書き入力Ｓ５のいずれであっても、手書きデータとテキストデータとを直接関連付けることなく検索対象の検索が可能になる。このため、検索処理に必要な情報量を低減させることができる。
【００６７】
さらに、情報検索システム１によれば、手書き入力Ｓ５された手書きデータと文字指定入力Ｓ６された第１のテキストデータを視覚的に確認することができる他、検索された検索対象を視覚的に確認することができる。
【００６８】
最後に、情報検索システム１によれば、表示制御部に４よって表示される画像データの中から検索されたデータを区別することができる。
【００６９】
〔まとめ〕
本発明の一態様に係る情報検索装置は、情報検索を行う情報検索装置であって、手書き入力から手書きデータを生成し、文字指定入力から第１のテキストデータを生成する入力手段と、前記入力手段が生成した前記手書きデータを文字認識し、第２のテキストデータへ変換する文字認識手段と、前記入力手段によって生成された第１のテキストデータ、または、前記文字認識手段によって前記手書きデータから変換された前記第２のテキストデータを検索語として検索対象の検索を行う検索手段と、を備え、前記検索対象は、手書きデータおよびテキストデータの両方を少なくとも含んでいる。
【００７０】
前記構成によれば、入力手段は、手書き入力から手書きデータを生成し、文字指定入力から第１のテキストデータを生成する。また、文字認識手段は、手書きデータを文字認識し、第２のテキストデータへ変換する。これにより、手書きデータ、第１のテキストデータおよび第２のテキストデータが得られる。
【００７１】
次に、検索手段は、第１のテキストデータ、または、第２のテキストデータを検索語として検索対象の検索を行う。また、検索対象は手書きデータおよびテキストデータを少なくとも含む。これにより、検索語としてのテキストデータに、文字指定入力由来の第１のテキストデータと、手書き入力由来の第２のテキストデータとが含まれ、かつ、検索対象に手書きデータおよびテキストデータの両方が少なくとも含まれることになる。よって、文字指定入力由来の第１のテキストデータまたは手書き入力由来の第２のテキストデータのいずれかを検索語として、手書きデータおよびテキストデータを検索対象として検索することができる。
【００７２】
すなわち、本発明の一態様に係る検索装置によれば、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できる。
【００７３】
また、本発明の一態様に係る情報検索装置は、手書きデータから手書きの特徴的な情報である特徴情報を抽出する手書き情報抽出手段と、前記手書き情報抽出手段が抽出した前記特徴情報を前記手書きデータと関連付けて所定の記憶部に格納する制御を行う記憶制御手段と、を備え、前記検索手段は、前記所定の記憶部から読みだした前記検索対象に含まれるテキストデータと、前記検索語と、を比較する一方、前記所定の記憶部から読みだした前記検索対象に含まれる手書きデータと関連付けられた前記特徴情報と、前記検索語と、を比較することで検索を行っても良い。
【００７４】
前記構成によれば、手書き情報抽出手段は、手書き入力から生成した手書きデータから特徴情報を抽出する。ここで、特徴情報は、手書きの特徴的な情報である。
【００７５】
また、記憶制御手段は、手書き情報抽出手段が抽出した特徴情報を手書きデータと関連付けて所定の記憶部に格納する制御を行う。さらに、検索手段は、所定の記憶部から読みだした検索対象に含まれるテキストデータと、検索語とを比較することで検索を行う。また、検索手段は、一方で、所定の記憶部から読みだした検索対象に含まれる手書きデータと関連付けられた特徴情報と、検索語とを比較することで検索を行う。
【００７６】
これにより、文字指定入力および手書き入力のいずれであっても、手書きデータとテキストデータとを直接関連付けることなく検索対象の検索が可能になる。このため、検索処理に必要な情報量を低減させることができる。
【００７７】
また、本発明の一態様に係る情報検索装置は、前記手書き入力から生成された手書きデータ、前記第１のテキストデータ、および、前記検索対象のいずれか少なくとも１つを表示する制御を行う表示制御手段を備えていても良い。
【００７８】
前記構成によれば、手書き入力された手書きデータと文字指定入力された第１のテキストデータを視覚的に確認することができる他、検索された検索対象を視覚的に確認することができる。
【００７９】
また、本発明の一態様に係る情報検索装置は、前記検索対象に、当該検索対象が検索されたデータであることを示す表示を付加した検索結果画像を出力する検索結果画像出力手段を備え、前記表示制御手段は、前記検索結果画像出力手段が出力した前記検索結果画像を表示する制御を行っても良い。
【００８０】
前記構成によれば、表示制御手段によって表示されるデータの中から検索されたデータを区別することができる。
【００８１】
また、本発明の一態様に係る情報検索システムは、前記のいずれかの情報検索装置と、テキストデータ、手書きデータ、および、手書きの特徴的な情報である特徴情報を格納する記憶部を備え、前記手書きデータは、前記特徴情報と関連付けられて前記記憶部に格納されても良い。
【００８２】
前記構成によれば、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できる検索システムを実現できる。
【００８３】
本発明の一態様に係る電子手帳は、前記の情報検索システムを備えていても良い。
【００８４】
前記構成によれば、テキストおよび手書きのいずれで検索語を入力しても、テキストおよび手書き文字の両方を少なくとも含む検索対象を検索できる電子手帳を実現できる。
【００８５】
前記のいずれかの情報検索装置を動作させるための情報検索プログラムであって、コンピュータを前記検索手段として機能させるための情報検索プログラム、および、該情報検索プログラムが記録されたコンピュータ読取り可能な記録媒体も本発明の範疇に含まれる。
【００８６】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８７】
〔ソフトウェアによる実現例〕
最後に、情報検索システム１の各ブロック、特に主制御部１０、記憶制御部２および表示制御部４は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【００８８】
後者の場合、情報検索システム１は、各機能を実現するプログラムの命令を実行するＣＰＵ、前記プログラムを格納したＲＯＭ（Read Only Memory）、前記プログラムを展開するＲＡＭ（Random Access Memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報検索システム１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記情報検索システム１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８９】
前記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【００９０】
また、情報検索システム１を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【００９１】
本発明は、情報検索を行う情報検索装置、該情報検索装置を備えた情報検索システム、情報検索システムを備えた電子機器、情報検索装置または情報検索システムを構築するためのアプリケーションなどに利用することができる。
【００９２】
例えば、本発明は、電子手帳および電子手帳アプリ、あるいは、電話帳および電話帳アプリなどにも適用することができる。
【符号の説明】
【００９３】
１  情報検索システム
２  記憶制御部（記憶制御手段）
３  記憶部
４  表示制御部（表示制御手段）
５  Ｗｅｂサービス
６  ローカルＤＢ
１０  入力部（入力手段）
１１  文字指定入力部
１２  手書き入力部
２０  主制御部
２１  文字認識部（文字認識手段）
２２  検索部（検索手段）
２３  手書き情報抽出部（情報抽出手段）
２４  検索結果出力部（検索結果出力手段）
ｄ１０  検索入力ＵＩ
ｄ２０  検索結果ＵＩ
【図１】
2014059671.tif 000003
【図２】
2014059671.tif 000004
【図３】
2014059671.tif 000005
【図４】
2014059671.tif 000006
【図５】
2014059671.tif 000007
【図６】
2014059671.tif 000008
【図７】
2014059671.tif 000009
【図８】
2014059671.tif 000010
【図９】
2014059671.tif 000011
【図１０】
2014059671.tif 000012