(57)【要約】【課題】  外界に氾濫している情報の中から、自己の欲する情報を的確に抽出できるようにする。【解決手段】  ユーザ所望の探索情報（探索の対象にすべき情報）を入力するための手段５４と、入力された探索情報に基づいて所定のキーデータベースから１又は２以上のキーデータを取得して所定の対照用メモリに記憶する手段と、外部の情報を取り込む機能を備えた手段５７等と、取り込んだ外部情報に対して当該外部情報の種別に対応する所定の処理を施してキーデータとの比較対照可能なデータ形式に変換する手段と、データ形式変換後の外部情報を前記対照用メモリの保持データと比較して合致する部分と当該外部情報内での位置を抽出する手段と、抽出した合致部分の情報をユーザに対して出力する手段とを有する情報処理装置。【選択図】      図２
2005275997.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ所望の探索情報を入力するための探索情報入力手段と、
入力された探索情報に基づいて所定のキーデータベースから１又は２以上のキーデータを取得して所定の対照用メモリに記憶するキーデータ取得手段と、
外部の情報を取り込む機能を備えた外部情報収集手段と、
取り込んだ外部情報に対して当該外部情報の種別に対応する所定の処理を施してキーデータとの比較対照可能なデータ形式に変換するデータ変換手段と、
データ形式変換後の外部情報を前記対照用メモリの保持データと比較して合致する部分と当該外部情報内での位置を抽出するデータ抽出手段と、
抽出した合致部分の情報をユーザに対して出力する合致情報出力手段と、
を備えた情報処理装置。
【請求項２】
請求項１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーワードとキーワードを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキーワード又は前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーワードを取得する、
ことを特徴とする情報処理装置。
【請求項３】
請求項１又は請求項２に於いて、
前記外部情報収集手段は、外界の音声を取り込むマイク装置である、
ことを特徴とする情報処理装置。
【請求項４】
請求項１又は請求項２に於いて、
前記外部情報収集手段は、メール受信機能を備えた送受信装置である、
ことを特徴とする情報処理装置。
【請求項５】
請求項１又は請求項２に於いて、
前記外部情報収集手段は、通話音声を取り込む電話装置である、
ことを特徴とする情報処理装置。
【請求項６】
請求項１又は請求項２に於いて、
前記外部情報収集手段は、撮影範囲内の画像を取り込む撮像装置である、
ことを特徴とする情報処理装置。
【請求項７】
請求項１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、
前記外部情報収集手段は撮影範囲内の画像を取り込む撮像装置である、
ことを特徴とする情報処理装置。
【請求項８】
請求項１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、
前記外部情報収集手段はブラウザの表示画像を取り込むデータ変換装置である、
ことを特徴とする情報処理装置。
【請求項９】
請求項２、請求項７、又は請求項８に於いて、
前記探索情報入力手段は、音声入力装置と、該音声入力装置により探索情報として入力された音声を文字列に変換する音声文字列変換装置と、から成る、
ことを特徴とする情報処理装置。
【請求項１０】
請求項２、請求項７、又は請求項８に於いて、
前記探索情報入力手段は、撮像装置と、該撮像装置により撮像された画像から文字を抽出して文字列に変換する画像文字列変換装置と、から成る、
ことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部から取り込んだ情報の中から、予めユーザにより指定された所望の情報に合致する情報を探し出してユーザに報知する機能を備えた情報処理装置に関する。本発明の情報処理装置は、例えば、カメラ機能、及び／又は、音声入力機能、及び／又は、データ送受信機能等を備えた携帯電話機等として実現され得る。
【背景技術】
【０００２】
カメラ機能、及び／又は、周囲の音声や通話音声の入力機能、及び／又は、メール等のデータ送受信機能等を備えた携帯電話機は周知である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
実社会やインターネット上には多数の情報が溢れているため、その中から、自己の欲する情報を的確に抽出することは容易ではない。
本発明は、外界に氾濫している情報の中から、自己の欲する情報を的確に抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、下記［１］〜［８］のように構成される。
［１］構成１：
ユーザ所望の探索情報を入力するための探索情報入力手段と、
入力された探索情報に基づいて所定のキーデータベースから１又は２以上のキーデータを取得して所定の対照用メモリに記憶するキーデータ取得手段と、
外部の情報を取り込む機能を備えた外部情報収集手段と、
取り込んだ外部情報に対して当該外部情報の種別に対応する所定の処理を施してキーデータとの比較対照可能なデータ形式に変換するデータ変換手段と、
データ形式変換後の外部情報を前記対照用メモリの保持データと比較して合致する部分と当該外部情報内での位置を抽出するデータ抽出手段と、
抽出した合致部分の情報をユーザに対して出力する合致情報出力手段と、
を備えた情報処理装置。
【０００５】
ユーザ所望の探索情報は、例えば、後述の構成２，７，８のように、文字列として入力され得る。その場合、キーボード等の文字入力装置から入力されてもよい。或いは、後述の構成９や１０のように、音声や画像等の非文字の形態で入力された後に文字列に変換される構成でもよい。
キーデータは、テキストデータ（キーワード）でもよく、画像データ（キー画像若しくはキーパターン）でもよく、音声データ（キー音声）でもよい。
キーデータベースは、後述の構成２，７，８のように、２以上の階層から成る構造でもよい。また、その場合に於いて、上位階層と下位階層とが構成２のように同種類のデータでもよく、構成７や８のように異種類のデータ（上位階層がテキストデータ，下位階層が画像データ）でもよい。
外部の情報とは、例えば、撮像装置により撮像される画像（構成６，７参照）、データ受信装置により受信されるインターネット上の情報（構成８参照）、メール受信装置により受信されるメール（構成４参照）、マイク装置により集音される装置周辺の音声（構成３参照）、電話装置により取得される通話音声（構成５参照）、等である。
データ変換手段の構成は、外部情報の種別とキーデータの種別とに応じて定まる。例えば、外部情報が画像データで且つキーデータがテキストデータの場合には、データ変換手段は、画像（外部情報）から文字列を抽出してテキストデータに変換する（構成２を受ける構成６参照）。また、外部情報とキーデータが共に画像データの場合には、データ変換手段は、画像（外部情報）の大きさを、キーデータとのパターンマッチング可能な大きさに変換する（構成７参照）。また、外部情報が音声データで且つキーデータがテキストデータの場合には、データ変換手段は、音声（外部情報）から文字列を抽出してテキストデータに変換する（構成２を受ける構成３，５参照）。なお、外部情報とキーデータの種別が同じであり、且つ、外部情報のデータ形式を変えなくてもキーデータとの比較対照が可能な場合には、データ変換手段は、取り込まれた外部情報をそのままデータ抽出手段に渡してよい（構成２を受ける構成４参照）。
データ抽出手段が抽出する「合致する部分」は、全部が合致する部分としてもよく、一部が合致する部分としてもよい。また、「当該外部情報内での位置」とは、外部情報が画像データの場合は座標であり、外部情報が音声の場合は時間軸上の位置である。
合致情報出力手段は、スピーカに音声出力する手段でもよく、ディスプレイに表示出力する手段でもよい。さらに、出力に際してユーザの注意を引くために、例えば、光の点滅及び／又は装置の振動及び／又はブザー音の鳴動等を行うように構成してもよい。
【０００６】
［２］構成２：
構成１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーワードとキーワードを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキーワード又は前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーワードを取得する、
ことを特徴とする情報処理装置。
キージャンルワードとは、キーワードが所属している分類名を表す文字列である。キージャンルワードを探索情報として指定した場合には、当該キージャンルワードの分類に属する各キーワードが探索情報として一括して指定されることになる。
［３］構成３：
構成１又は２に於いて、
前記外部情報収集手段は、外界の音声を取り込むマイク装置である、
ことを特徴とする情報処理装置。
本情報処理装置を、携帯型録音装置として構成してもよい。
［４］構成４：
構成１又は２に於いて、
前記外部情報収集手段は、メール受信機能を備えた送受信装置である、
ことを特徴とする情報処理装置。
本情報処理装置を、携帯型メール送受信装置として構成してもよい。
［５］構成５：
構成１又は２に於いて、
前記外部情報収集手段は、通話音声を取り込む電話装置である、
ことを特徴とする情報処理装置。
本情報処理装置を、携帯電話機として構成してもよい。
［６］構成６：
構成１又は２に於いて、
前記外部情報収集手段は、撮影範囲内の画像を取り込む撮像装置である、
ことを特徴とする情報処理装置。
本情報処理装置を、デジタルカメラとして構成してもよい。
［７］構成７：
構成１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、
前記外部情報収集手段は撮影範囲内の画像を取り込む撮像装置である、
ことを特徴とする情報処理装置。
［８］構成８：
構成１に於いて、
前記探索情報入力手段は文字列を探索情報として入力する機能を有し、
前記キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、
前記キーデータ取得手段は、前記探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、
前記外部情報収集手段はブラウザの表示画像を取り込むデータ変換装置である、
ことを特徴とする情報処理装置。
本情報処理装置を、携帯型インターネット端末装置として構成してもよい。
［９］構成９：
構成２、７、又は８に於いて、
前記探索情報入力手段は、音声入力装置と、該音声入力装置により探索情報として入力された音声を文字列に変換する音声文字列変換装置と、から成る、
ことを特徴とする情報処理装置。
［１０］構成１０：
構成２、７、又は８に於いて、
前記探索情報入力手段は、撮像装置と、該撮像装置により撮像された画像から文字を抽出して文字列に変換する画像文字列変換装置と、から成る、
ことを特徴とする情報処理装置。
【発明の効果】
【０００７】
構成１の情報処理装置は、ユーザ所望の探索情報（探索の対象にすべき情報）を入力するための手段と、入力された探索情報に基づいて所定のキーデータベースから１又は２以上のキーデータを取得して所定の対照用メモリに記憶する手段と、外部の情報を取り込む機能を備えた手段と、取り込んだ外部情報に対して当該外部情報の種別に対応する所定の処理を施してキーデータとの比較対照可能なデータ形式に変換する手段と、データ形式変換後の外部情報を前記対照用メモリの保持データと比較して合致する部分と当該外部情報内での位置を抽出する手段と、抽出した合致部分の情報をユーザに対して出力する手段とを有するため、ユーザは所望の探索情報を入力しておくことにより、外界に氾濫している情報の中から当該探索情報が指す情報を得ることができる。
【０００８】
構成２の情報処理装置は、構成１に於いて、探索情報入力手段は文字列を探索情報として入力する機能を有し、キーデータベースはキーワードとキーワードを分類別に束ねるキージャンルワードとを有する階層構造を成し、キーデータ取得手段は探索情報入力手段により入力された文字列に合致するキーワード又は探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーワードを取得するため、構成１が持つ効果に加えて、ユーザは、所望の文字列又は所望の文字列が属している分類（ジャンル）を表す文字列を指定することで、探索情報を指定できる効果がある。
構成３の情報処理装置は、構成１又は２が持つ効果に加えて、ユーザ指定の探索情報に合致する情報を周囲の音声から探し出してユーザに知らせ得る効果がある。
構成４の情報処理装置は、構成１又は２が持つ効果に加えて、ユーザ指定の探索情報に合致する情報を受信メールから探し出してユーザに知らせ得る効果がある。
構成５の情報処理装置は、構成１又は２が持つ効果に加えて、ユーザ指定の探索情報に合致する情報を通話内容から探し出してユーザに知らせ得る効果がある。
構成６の情報処理装置は、構成１又は２が持つ効果に加えて、ユーザ指定の探索情報に合致する情報を撮影画像から探し出してユーザに知らせ得る効果がある。
構成７の情報処理装置は、構成１に於いて、探索情報入力手段は文字列を探索情報として入力する機能を有し、キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、キーデータ取得手段は探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、外部情報収集手段は撮影範囲内の画像を取り込む撮像装置であるため、構成１が持つ効果に加えて、ユーザは、撮影した画像内から所望の画像パターンを探し出したい場合、当該所望の画像パターンが属している分類（ジャンル）を表す文字列（分類名）を指定することで足り、当該画像パターンを入力しなくてもよいという効果がある。
構成８の情報処理装置は、構成１に於いて、探索情報入力手段は文字列を探索情報として入力する機能を有し、キーデータベースはキーパターンとキーパターンを分類別に束ねるキージャンルワードとを有する階層構造を成し、キーデータ取得手段は探索情報入力手段により入力された文字列に合致するキージャンルワードの分類に属する各キーパターンを取得し、外部情報収集手段はブラウザの表示画像を取り込むため、構成１が持つ効果に加えて、ユーザは、ブラウザの表示画像内から所望の画像パターンを探し出したい場合には、当該所望の画像パターンが属している分類（ジャンル）を表す文字列（分類名）を指定することで足り、当該画像パターンを入力しなくてもよいという効果がある。
構成９の情報処理装置は、構成２、７、又は８に於いて、探索情報入力手段は、音声入力装置と、該音声入力装置により探索情報として入力された音声を文字列に変換する音声文字列変換装置とから成るため、構成２、７、又は８が持つ効果に加えて、探索情報を音声入力できる効果がある。
構成１０の情報処理装置は、構成２、７、又は８に於いて、探索情報入力手段は、撮像装置と、該撮像装置により撮像された画像から文字を抽出して文字列に変換する画像文字列変換装置とから成るため、構成２、７、又は８が持つ効果に加えて、探索情報を撮影画像で入力できる効果がある。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明を具体的に説明する。
図１は、インターネット上の情報を取り込むネット端末装置としての機能と、メールを送受信するメール端末機能と、デジタルカメラ機能と、デジタル放送を受信して映像や音声を再生するテレビ機能と、を備えた携帯電話機（移動電話機）として、本発明の情報処理装置を具体化した一構成例を示すブロック図である。
【００１０】
携帯電話機・メール端末機・ネット端末機：
携帯電話機・メール端末機・ネット端末機の構成要素は、アンテナ５９、電話・データ用送受信回路２１、チャネルコーデック２２、音声コーデック２３、マイク５１、スピーカ５２、入力装置５４、表示装置５５、及び制御装置１０である。
【００１１】
アンテナ５９で受信された電話電波は、電話・データ用送受信回路２１で復調され、チャネルコーデック２２にて分解されて必要なチャネルの音声信号が取り出され、音声コーデック２３にてアナログ信号に変換され、スピーカ５２から音声として出力される。
また、マイク５１から入力された音声は、音声コーデック２３にてデジタル化され、制御装置１０からの制御信号とともにチャネルコーデック２２にてＴＤＭＡ（又はＣＤＭＡでもよい）信号へ変換され、電話用送受信回路２１にて変調されて、アンテナ５９から送出される。
通話音声を外部情報として取り込むモードでは、チャネルコーデック２２にて取り出された音声データを制御装置１０が取得して、所定のデータ変換処理（文字列への変換処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（通話の識別情報と通話内時刻）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
携帯電話機周辺の音声を外部情報として取り込むモードでは、マイク５１から入力されて音声コーデック２３にてデジタル化された音声データを制御装置１０が取得して、所定のデータ変換処理（文字列への変換処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（時刻、及び／又はＧＰＳ機能（不図示）等で取得した現在位置）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
【００１２】
メールが受信された場合には、制御装置１０は、当該メールを記憶装置内の所定のエリア（不図示）に格納する。
メールを外部情報として取り込むモードでは、制御装置１０は、受信メールに対して所定のデータ変換処理（テキストデータを抽出する処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（メール識別情報とメール内での位置）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
【００１３】
インターネット上のサーバからデータを受信した場合には、制御装置１０は、ブラウザソフトを起動して、当該受信データを表示装置５５に表示する。
インターネットから取得した画像を外部情報として取り込むモードでは、制御装置１０は、受信画像に対して所定のデータ変換処理（画像からの文字の抽出・抽出文字の文字列への変換処理，キーパターンとのパターンマッチング可能な画像への変換処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（画像の識別情報と画像内での位置）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
【００１４】
入力装置５４は、探索情報（探索の対象にすべき情報）の入力、呼出相手先の電話番号の入力、メールの入力、モード（ユーザにより指定された探索情報が指示する情報を抽出する探索モード／電話モード／テレビ視聴モード／インターネット情報の表示モード／メール送受信モード等）の設定や切り換え等、種々の入力に用いられる。
探索情報の入力は、階層構造のメニュー選択により所望のキーワード、キージャンルワード、又は、キーパターンを選択入力することにより行われるが、音声入力された音声データを文字列に変換することで入力したり、画像入力された画像から画像パターンを抽出することで入力したり、画像入力された画像から文字を抽出して文字列を構成することで入力するようにしてもよい。
【００１５】
表示装置５５は、探索結果（ユーザにより指定された探索情報が指示する情報を抽出できなかった旨／ユーザにより指定された探索情報に基づいて抽出した情報）の表示、メールの表示、インターネット情報の表示／テレビ映像の表示等に用いられる。
【００１６】
デジタルカメラ：
デジタルカメラの構成要素は、シャッターや設定等を入力するための入力装置５４、カメラ（撮像装置）５７、操作案内を音声出力するためのスピーカ５２、ファインダやモニタ画面として機能する表示装置５５、及び制御装置１０である。
【００１７】
カメラ５７で撮影した画像を外部情報として取り込むモードでは、制御装置１０は、撮影画像に対して所定のデータ変換処理（画像からの文字の抽出・抽出文字の文字列への変換処理，キーパターンとのパターンマッチング可能な画像への変換処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（画像の識別情報と、画像内での位置）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
【００１８】
テレビ視聴装置：
テレビ視聴装置の構成要素は、アンテナ５９、テレビ用受信回路３１、デスクランブラ３２、デマルチプレクサ３３、デコーダ（例：ＭＰＥＧデコーダ）３４、音声処理回路３５、スピーカ５２、映像処理回路３６、表示装置５５、入力装置５４、及び制御装置１０である。
【００１９】
アンテナで受信されたテレビ電波は、テレビ用受信回路３１にて選局・復調・誤り訂正され、デスクランブラ３２にてスクランブルを解除されてトランスポートストリーム（ＴＳ）が取り出される。このトランスポートストリーム（ＴＳ）からデマルチプレクサ３３にて必要な番組のパケットが取り出され、更にサービスインフォメーション（ＳＩ）が取得され、クロックが再生される。取り出されたパケットは、デコーダ３４にて音声データと映像データに復号され、それぞれ、音声処理回路３５によりアナログの音声信号に変換されてスピーカ５２から音声として出力され、映像処理回路３６により表示装置５５に適合する走査フォーマットのアナログのビデオ信号に変換されて表示装置５５から映像として出力される。
【００２０】
テレビ放送から取得した映像その他のデータを外部情報として取り込むモードでは、制御装置１０は、受信データに対して所定のデータ変換処理（画像からの文字の抽出・抽出文字の文字列への変換処理，キーパターンとのパターンマッチング可能な画像への変換処理，テキストデータの抽出処理等）や、データ抽出処理を行い、予めユーザにより設定されて対照用メモリに保持されている探索情報が指すキーデータに合致するデータが抽出された場合は、当該データとその位置（画像の識別情報と画像内での位置，テキストデータの識別情報とテキストデータ内での位置等）とを記憶し、鳴動や振動等で抽出の旨をユーザに報知した後、又は所定のタイミングで、又は指示に応答して、表示装置５５に表示する。
【００２１】
図２は探索モードの手順を示すフローチャートであり、図３は図１内の記憶装置１０内のキーデータベースの構成例を示す説明図である。また、図４〜図６は探索結果の表示画面例を示す説明図である。
【００２２】
図３の例では、キーデータベースは、大分類と分類（ジャンル）と項目という３階層から構成されている。
メニュー画面（不図示）に於いて探索モードを選択すると、大分類名が表示される。その中の何れかを選択すると（Ｓ０１）、当該選択した大分類名に属する全ての項目のキーデータ（キーワード）が選択されて対照用メモリに記憶される（Ｓ０３）。
大分類階層に於いて何れの大分類名も選択せず、カーソルを所望の大分類名に置いておくと、若干の時間経過後に、当該大分類名に属する分類（ジャンル）名が表示される、その中の何れかを選択すると（Ｓ０１）、当該選択した分類（ジャンル）名に属する全ての項目のキーデータ（キーワード）が選択されて対照用メモリに記憶される（Ｓ０３）。
分類階層に於いて何れの分類（ジャンル）名も選択せず、カーソルを所望の分類（ジャンル）名に置いておくと、若干の時間経過後に、当該分類（ジャンル）名に属するキーデータ（キーワード）が表示される、その中の何れかを選択すると（Ｓ０１）、当該選択したキーデータが選択されて対照用メモリに記憶される（Ｓ０３）。
【００２３】
キーデータが全て選択されると、外部情報の取り込み範囲を選択するための対象範囲選択画面（不図示）が表示される。外部情報としては、前述のように、カメラ入力画像、マイク入力音声、通話音声、受信メール、インターネットからの受信データ、テレビ受信映像、テレビ受信データが重複を許して選択可能であり、これらが、対象範囲選択画面に選択可能に表示される。
ユーザが所望の外部情報取り込み先を選択すると（Ｓ０５）、当該選択された外部情報取り込み先用の装置が、外部情報取り込みモードに設定される（Ｓ０７）。
【００２４】
ステップＳ０９では、情報検索自動開始（〜終了）モードが、ユーザ入力により指定される。例えば、通話音声を外部情報取り込み先としている場合は、全ての通話に於いて外部情報を取り込むように指定してもよく、或る特定の電話番号との通話でのみ外部情報を取り込むように指定してもよい。受信メール、インターネットからの受信データ、テレビ受信映像、テレビ受信データ等についても同様である。また、カメラ入力画像を外部情報取り込み先としている場合は、撮影した画像の全てを外部情報取り込み対象として指定してもよいが、撮影時に指定した画像のみを外部情報取り込み対象として指定するようにしてもよい。また、マイク入力音声を外部情報取り込み先としている場合は、或る特定の時刻から外部情報の取り込みを開始するように指定してもよいが、所定の開始キー等の入力操作に応答して取り込みを開始するように指定してもよい。
ステップＳ１１では、上記指定を所定のメモリエリアに記憶する。
【００２５】
ステップＳ１１で記憶された開始タイミングになると（Ｓ１３でＹＥＳ）、ステップＳ０７で設定した検索対象範囲からの情報の取り込みを開始するとともに、当該取り込んだデータを、ステップＳ０３で対照用メモリに記憶した１又は２以上のキーデータとの比較対照が可能なデータ形式に変換する（Ｓ１５）。
【００２６】
ステップＳ１７では、ステップＳ１５で取り込み・データ変換したデータから、文字を抽出するとともに、当該抽出した文字により構成され得る文字列を抽出する。なお、本例では、キーデータとしてキーワードを設定しているため、このステップＳ１７では文字列を抽出しているが、キーデータとして画像データ（キーパターン）を設定した場合は、文字列に代えて画像を抽出することとする。即ち、本例では、図３の項目にキーワードのみが列挙されているが、キーワードのみならずキーパターンも持つようにしてもよい。
【００２７】
文字列が構成されると、次にステップＳ１９に進み、当該構成した各文字列と、ステップＳ０３で比較対照用メモリに記憶した１又は２以上のキーワードとを比較対照して、合致するものが有るか否かを調べる。
その結果、合致するものが抽出された場合は、当該合致部分とそのデータ内位置とを表示装置５５に表示する（Ｓ２１）。
【００２８】
その表示例を図４〜６に示す。
図４は、「ＢＡＤ」というキーワードに合致する文字列を、カメラ入力画像である書棚の撮影画像内から抽出した例である。
図５は、「時間」というジャンルに属するキーワード（例：月，日，時，分，秒，それらの間の数字）に合致する文字列を、受信メールから抽出した例である。なお、この場合の表示設定は、抽出した文字列とともに当該メールの主要部（抽出した文字列を含む前後所定文字量の部分）を表示するように設定されているため、図示のように、抽出した文字列以外の文字列も併せて表示されている。このような表示設定も、前記ステップＳ０５で併せて行い得るものとする。
図６は、「携帯電話番号」というキーワードに合致する文字列を、通話音声から抽出した例である。なお、この場合の表示設定は、抽出した文字列とともに、その理解を助けるように予め用意されている所定の表示パターンを表示するように設定されているため、図示のように、抽出した文字列以外のパターン等も併せて表示されている。このような表示設定は、初期設定により用意されているものとする。或いはユーザ選択やユーザ入力により、前記ステップＳ０５で併せて行い得るようにしてもよい。
なお、該当する文字が抽出されなかったり、該当する文字列を構成できなかった場合には、その旨が表示装置５５に表示される。
【図面の簡単な説明】
【００２９】
【図１】実施の形態の形態電話機の構成を示すブロック図。
【図２】探索情報が指すキーワードに合致する外部情報を抽出して表示する手順を示すフローチャート。
【図３】図１のキーデータベースの構成例を示す説明図。
【図４】図２のステップＳ２１での表示出力例を示す説明図。
【図５】図２のステップＳ２１での表示出力例を示す説明図。
【図６】図２のステップＳ２１での表示出力例を示す説明図。
【符号の説明】
【００３０】
１０  制御装置
５１  マイク
５２  スピーカ
５４  入力装置
５７  カメラ
５５  表示装置
【図１】
2005275997.tif 000003
【図２】
2005275997.tif 000004
【図３】
2005275997.tif 000005
【図４】
2005275997.tif 000006
【図５】
2005275997.tif 000007
【図６】
2005275997.tif 000008