(57)【要約】【課題】音声認識の際に参照される単語を、利用者が視認できるようにした上で追加できるようにする。【解決手段】被写体の画像を取得する撮像部１０と、画像を表示する表示部４０と、画像に含まれる文字列（第１文字列）を抽出し、抽出された文字列から、意味がある最小単位の単語を抽出する文字認識エンジン２０と、抽出された単語を記憶する単語データベース２６（第１記憶部）とを備える。【選択図】図１
2007212581.tif 000002
【特許請求の範囲】
【請求項１】
第１文字列を含む画像を取得する画像取得部と、
前記画像を表示する表示部と、
前記画像に含まれる第１文字列を抽出する第１抽出部と、
前記第１抽出部で抽出された前記第１文字列から、単語を抽出する第２抽出部と、
前記第２抽出部で抽出された前記単語を記憶する第１記憶部と、
を備えた画像処理装置。
【請求項２】
前記表示部により表示される前記画像における、前記単語の位置を記憶する第２記憶部と、
音声を取得する音声取得部と、
前記音声を第２文字列に変換する音声変換部と、
前記第２文字列の中に前記第１記憶部に記憶される単語が含まれるとき、少なくとも、前記第２記憶部に記憶される前記位置にある前記単語を含む画像を、前記第１記憶部に記憶される単語を含む画像とは異なる画像に変更する画像変更部と、をさらに備えた
請求項１記載の画像処理装置。
【請求項３】
前記第２抽出部は、文字として意味をなす最小単位の単語を抽出する形態素解析部である
請求項１または２に記載の画像処理装置。
【請求項４】
前記画像変更部は、前記第２記憶部に記憶される前記位置にある前記単語を含む画像を、少なくとも、前記第２記憶部に記憶される前記位置にある前記単語を含む画像の輝度とは異なる輝度を有する前記単語を含む画像に変更する
請求項２記載の画像処理装置。
【請求項５】
前記画像を順次記憶する第３記憶部と、
前記第２文字列の中に前記第１記憶部に記憶される単語が含まれるとき、その単語を含む画像を前記第３記憶部から抽出する第３抽出部と、をさらに備えた
請求項２記載の画像処理装置。
【請求項６】
表示装置と第１記憶装置と第２記憶装置とを有する画像処理装置における画像処理方法であって、
前記画像処理装置は、
第１文字列を含む画像を取得するステップと、
前記画像を前記表示装置に表示させるステップと、
前記画像に含まれる第１文字列を抽出するステップと、
抽出された前記第１文字列から、単語を抽出するステップと、
抽出された前記単語を前記第１記憶装置に記憶させるステップと、
前記表示装置により表示される前記画像における、前記単語の位置を前記第２記憶装置に記憶させるステップと、
音声を取得するステップと、
前記音声を第２文字列に変換するステップと、
前記第２文字列の中に前記第１記憶装置に記憶される単語が含まれるとき、少なくとも、前記第２記憶装置に記憶される前記位置にある前記単語を含む画像を、前記第１記憶装置に記憶される単語を含む画像とは異なる画像に変更するステップと、
を備えた画像処理方法。
【請求項７】
表示装置と第１記憶装置と第２記憶装置とを有するコンピュータに実行させるプログラムであって、
前記コンピュータに、
第１文字列を含む画像を取得する手順と、
前記画像を前記表示装置に表示させる手順と、
前記画像に含まれる第１文字列を抽出する手順と、
抽出された前記第１文字列から、単語を抽出する手順と、
抽出された前記単語を前記第１記憶装置に記憶させる手順と、
前記表示装置により表示される前記画像における、前記単語の位置を前記第２記憶装置に記憶させる手順と、
音声を取得する手順と、
前記音声を第２文字列に変換する手順と、
前記第２文字列の中に前記第１記憶装置に記憶される単語が含まれるとき、少なくとも、前記第２記憶装置に記憶される前記位置にある前記単語を含む画像を、前記第１記憶装置に記憶される単語を含む画像とは異なる画像に変更する手順と、
を実行させるプログラム。
【請求項８】
表示装置と第１記憶装置と第２記憶装置とを有するコンピュータに実行させるプログラムを記録した記録媒体であって、
前記コンピュータに、
第１文字列を含む画像を取得する手順と、
前記画像を前記表示装置に表示させる手順と、
前記画像に含まれる第１文字列を抽出する手順と、
抽出された前記第１文字列から、単語を抽出する手順と、
抽出された前記単語を前記第１記憶装置に記憶させる手順と、
前記表示装置により表示される前記画像における、前記単語の位置を前記第２記憶装置に記憶させる手順と、
音声を取得する手順と、
前記音声を第２文字列に変換する手順と、
前記第２文字列の中に前記第１記憶装置に記憶される単語が含まれるとき、少なくとも、前記第２記憶装置に記憶される前記位置にある前記単語を含む画像を、前記第１記憶装置に記憶される単語を含む画像とは異なる画像に変更する手順と、
を実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した音声を文字列に変換する音声認識技術を利用した画像処理技術に関する。
【背景技術】
【０００２】
一般に、人間の声を文字列に変換するための音声認識技術が知られている。かかる音声認識技術において、入力された音声の文字列への変換は、文字として意味をなす最小単位の単語が記憶されたデータベースを参照して行われる。このような参照対象の単語は、音声認識技術が利用される場面ごとに異なることが多いため、場面に応じて簡便にデータベース内の単語を追加できるようにすることが望ましい。
かかる観点から、下記特許文献１には、２次元バーコードなどの外部データを読み込むための読込手段を設けることによって、上記データベース内の単語（語彙情報）を追加できるようにした音声認識装置が開示されている。
【０００３】
【特許文献１】特開２００３−３０８０８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された音声認識装置では、音声認識による参照対象の単語が２次元バーコードなどの外部データに含まれているため、利用者は、その外部データを通して新たにデータベースに登録される単語を視認することができない。それゆえ、利用者は、２次元バーコードなどの外部データにより、どのような単語が追加されたかが分からず、利用者がデータベースへの単語の追加を躊躇し、音声認識技術の利用場面が限定されるという問題があった。
【０００５】
したがって、本発明の目的は、単語を利用者が視認できるようにした上で追加できるようにした画像処理装置、画像処理方法、プログラム、および記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、第１文字列を含む画像を取得する画像取得部と、前記画像を表示する表示部と、前記画像に含まれる第１文字列を抽出する第１抽出部と、前記第１抽出部で抽出された前記第１文字列から、単語を抽出する第２抽出部と、前記第２抽出部で抽出された前記単語を記憶する第１記憶部と、を備えた画像処理装置である。
【０００７】
画像取得部は、第１文字列を含む画像を取得する。表示部は、前記画像を表示する。第１抽出部は、前記画像に含まれる第１文字列を抽出する。第２抽出部は、前記第1抽出部で抽出された前記第１文字列から、単語を抽出する。第１記憶部は、前記第２抽出部で抽出された前記単語を記憶する。
それゆえ、本発明によれば、画像取得部がたとえば被写体から取得した画像から、直接単語を抽出することができる。
【発明の効果】
【０００８】
したがって、本発明によれば、単語を利用者が視認できるようにした上で追加できる。
【発明を実施するための最良の形態】
【０００９】
＜第１の実施形態＞
第１の実施形態に係る携帯端末では、画像に表示される利用者所望の単語を抽出し、自端末内に追加できるようにすることを目的としている。
以下、本発明の画像処理装置の一実施形態としての携帯端末１について、図１から図３までを用いて、説明する。図１は、本実施形態に係る携帯端末１のシステム構成を示すブロック図である。以下、図１を参照して、携帯端末１の構成を説明する。
【００１０】
撮像部１０（画像取得部）は、たとえばＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Devices）などの撮像素子と、被写体の像を撮像素子上に結像するための光学レンズと、撮像素子から出力される画像データに対して所定の処理を行い、画面ごとの画像データＩＭＧを順次生成する画像処理回路とを含む。撮像部１０は、この画像処理回路によって生成された画像データＩＭＧを、後段の文字認識エンジン２０に供給する。
なお、画像データＩＭＧは、ＣＰＵ３０を経由して順次表示部４０に送信されて表示される。すなわち、表示部４０はファインダとして機能する。
【００１１】
文字認識エンジン２０は、画面ごとの画像データＩＭＧから文字列（第１文字列）を抽出する文字列抽出部２０１（第１抽出部）と、第１抽出部と、抽出された文字列の中から文字として意味をなす最小単位の単語を抽出する形態素解析部２０２（第２抽出部）とを備える。
ここで、文字として意味をなす最小単位の単語とは、その最小単位の単語単体で意味が分かる文字列のことである。例えば、「ベビー用品」という文字列の場合で考えると、「ベビー」と「用品」という意味をなす単語であり、「ベ」と「ビー用品」というように、意味をなさない単語のことではない。
文字列抽出部２０１は、公知の画像認識処理を利用して、フレーム画像内の文字列を抽出する。たとえば文字列抽出部２０１は、文字列とその文字列に対応する部分画像データとを関連付けたデータベースを備える。部分画像データは、フレーム画像が細分化された、たとえば矩形の画像データである。そして、文字列抽出部は、画面を所定の部分領域ごとに順次走査しながら、データベース内の部分画像データを参照して文字列を認識し、抽出する。
形態素解析部２０２は、公知の形態素解析処理を利用して、文字列から、意味のある単語を抽出する。すなわち、形態素解析部２０２は、形態素解析用辞書２５を参照しながら、文字列抽出部２０１によって抽出された文字列を解析し、意味がある最小単位の単語を抽出する。形態素解析用辞書２５には、文字列を解析するための文法規則、品詞情報などが格納されている。
このようにして、文字認識エンジン２０は、画像データＩＭＧによる画面上の単語をＣＰＵ３０に供給する。なお、文字認識エンジン２０の処理の対象となる画面は、携帯端末１の利用者によって指定可能であることが好ましい。すなわち、順次取り込まれるフレーム画像が表示部４０に表示されていくが、利用者による所定の操作によって、文字列走査の対象となるフレーム画像を選択できるようにすることが好ましい。
【００１２】
ＣＰＵ３０は、文字認識エンジン２０から供給された単語データを単語データベース２６（第１記憶部）に登録する。
【００１３】
単語データベース２６は、図示しない内部または外部の音声認識処理において参照される。たとえば、単語データベース２６に対する参照は、図１に示すように、外部インタフェース（Ｉ／Ｆ）５０およびＣＰＵ３０を介して外部の音声認識装置から行われる。
【００１４】
次に、携帯端末１における単語登録動作について図２および図３を参照して説明する。
図２は、表示部４０の表示画面４０aの一例であって、携帯端末１が取り込むフレーム画像例を示す図である。図３は、携帯端末１の単語登録動作を示すフローチャートである。
携帯端末１の利用者が、撮像部１０を通して、たとえば「ベビー用品」と文字情報を含む表示画面４０ａを画像データとして取り込んだ場合を想定する。
先ず、撮像部１０は、画像データＩＭＧとして画面４０ａのフレーム画像を取り込む（ステップＳ１）。
次いで、文字認識エンジン２０は、この画面４０ａを順次走査し、部分画像データとしての「ベビー用品」を認識し、この部分画像データとしての「ベビー用品」から、文字列としての「ベビー用品」を抽出する（ステップＳ２）。さらに、「ベビー用品」（文字列）に対して形態素解析を行い、２つの意味のある単語「ベビー」および「用品」を抽出する（ステップＳ３）。
ＣＰＵ３０は、文字認識エンジン２０によって抽出された２つの単語「ベビー」および「用品」のデータを単語データベース２６に登録する（ステップＳ４）。
【００１５】
以上説明したように、本実施形態の携帯端末１によれば、被写体の画像を取得する撮像部１０と、画像を表示する表示部４０と、画像に含まれる文字列（第１文字列）を抽出し、抽出された文字列から、意味がある最小単位の単語を抽出する文字認識エンジン２０（第１抽出部、第２抽出部）と、抽出された単語を記憶する単語データベース２６（第１記憶部）とを備えるため、携帯端末１の利用者が表示部４０を通して画像上の単語を視認でき、かつ、その単語を、音声認識の際に参照される単語として単語データベース２６に簡便に（自動的に）登録することができる。
【００１６】
＜第２の実施形態＞
以下、本発明の画像処理装置の他の実施形態としての携帯端末を説明する。
第２の実施形態に係る携帯端末では、音声認識技術を利用して、画面上に表示される単語を利用者が容易に視認することができるようにすることを目的としている。
【００１７】
先ず、図４を参照して本実施形態に係る携帯端末２の構成を説明する。図４は、本実施形態に係る携帯端末２のシステム構成を示すブロック図である。なお、図１に示したものと同一の部位については、同一の符号を付して重複説明を行わない。
【００１８】
文字認識エンジン２１は、文字列抽出部２０１と形態素解析部２０２とを備え、第１の実施形態における文字認識エンジン２０とほぼ同一の機能を有するが、抽出した単語とその単語の画面上の位置データとを対応付けて、ＣＰＵ３１に供給する点が異なる。位置データベース３５には、文字認識エンジン２１によって供給される位置データが、この位置データと対応する単語データとともにＣＰＵ３１により登録される。
【００１９】
音声入力部６０は、音声を集音するマイクロフォンと、マイクロフォンからの音声信号を処理する音声処理部とを含む。音声処理部は、マイクロフォンからのアナログ音声信号を必要に応じて増幅し、さらに、デジタルの音声データＶＣに変換する。また、音声処理部は、マイクロフォン以外の他の機器から音声データを取得する場合に、所定のコーデック処理を行ってもよい。
【００２０】
音声認識辞書２７は、音素（子音や母音などの人間の発音の基本的単位）と、音素に対応する文字列とを対応付けて記憶するメモリである。
音声認識エンジン７０は、ＣＰＵ３１と協調して、音声入力部６０から供給される音声データＶＣを文字列に変換する。音声認識エンジン７０における音声認識処理に対しては、公知の音声認識技術を利用することができる。
音声認識エンジン７０は、供給された音声データＶＣの音響特徴データを生成し、音声認識辞書２７にアクセスして、生成された音響特徴データに対応する文字列を生成する。ここで、音響特徴データは、多数の話者の音声から求めた音素の統計的な音響特徴情報であって、音響モデルとして予め音声認識エンジン７０に内蔵されているものとする。
さらに、音声認識エンジン７０は、ＣＰＵ３１を介して、単語データベース２６に登録された単語を音声認識の対象単語として参照し、入力された音声データＶＣに対応する文字列を生成する。これにより、ＣＰＵ３１は、音声認識エンジン７０が生成した文字列内に単語データベース２６に登録された単語が含まれることを認識すると同時に、音声認識エンジン７０は、単語データベース２６に登録された単語が考慮して生成文字列の精度を高めることができる。
【００２１】
画像メモリ８０には、撮像部１０によって生成されるフレームごとの画像データＩＭＧが、ＣＰＵ３１によって順次格納される。
【００２２】
次に、携帯端末２の動作について図５および図６を参照して説明する。
図５は、表示部４０の表示画面４０aの一例であって、携帯端末２が取り込むフレーム画像例を示す図である。図６は、携帯端末２の動作を示すフローチャートである。
【００２３】
以下の説明では、携帯端末２の利用者が、たとえばデパートでベビー用品の買い物を行う場面において、図５に示すように、撮像部１０を通して「ベビー用品」と文字情報を含む画面４０ａを画像データＩＭＧとして取り込む場合を想定する。
以下で説明する動作によって、本実施形態に係る携帯端末２では、デパートにおける案内表示板・地図など、多量の文字情報が散在しているものから、利用者が探している情報に素早くアクセスすることを望む場合、その案内表示板・地図をファインダに捉えた（すなわちフレーム画像を取り込んだ）後、たとえば「ベビー用品を見る」と発話するだけで、画面上で「ベビー用品」という文字が強調されて表示される。したがって、利用者は「ベビー用品」売り場に素早くアクセスできるようになる。
【００２４】
以下、順に各ステップを説明する。
先ず、撮像部１０は、画像データＩＭＧとして画面４０ａのフレーム画像を取り込む（ステップＳ１０）。
次いで、文字認識エンジン２１は、この画面４０ａを順次走査し、部分画像データとしての「ベビー用品」を認識し、この部分画像データとしての「ベビー用品」から、文字列としての「ベビー用品」を抽出する（ステップＳ１１）。さらに、「ベビー用品」（文字列）に対して形態素解析を行い、２つの意味のある単語「ベビー」および「用品」を抽出する（ステップＳ１２）。
さらに、文字認識エンジン２１は、単語としての「ベビー」および「用品」の画面４０ａにおける位置データを生成する（ステップＳ１３）。そして、単語としての「ベビー」および「用品」を、これらの単語に対応する位置データと対応付けて、ＣＰＵ３１に供給する。たとえば、図５に示す例では、「ベビー」（単語）の位置データとして座標（Ｘ１，Ｙ１）および座標（Ｘ２，Ｙ２）を生成し、「用品」（単語）の位置データとして座標（Ｘ２，Ｙ１）および座標（Ｘ３，Ｙ２）を生成して、ＣＰＵ３１に供給する。
なお、図５では、各単語に対する位置データとして、単語を含む矩形上の２点の座標によって表す例を示している。
【００２５】
ＣＰＵ３０は、文字認識エンジン２１によって抽出された２つの単語「ベビー」および「用品」を単語データベース２６に登録するとともに、各単語と、各単語に対応する位置データとを対応付けて位置データベース３５に登録する（ステップＳ１４）。
【００２６】
ここで、携帯端末２の利用者が「べびーようひんをみる（ベビー用品を見る）」と発話したとすると、音声入力部６０がその音声を入力し（ステップＳ１５の「ＹＥＳ」）、その音声信号が音声入力部６０によって処理され、対応する音声データＶＣが音声認識エンジン７０に供給される。
次いで、音声認識エンジン７０は、供給された音声データＶＣを対象として、ＣＰＵ３１と協調した所定の音声認識処理を行う（ステップＳ１６）。すなわち、音声認識エンジン７０は、供給された音声データＶＣの音響特徴データを生成し、音声認識辞書２７にアクセスして、生成された音響特徴データに対応する文字列を生成する。そして、音声認識エンジン７０は、ＣＰＵ３１を介して、単語データベース２６に登録された単語を参照して文字列を生成する。
具体的には、単語データベース２６には、２つの単語「ベビー」および「用品」が登録されているので、音声認識エンジン７０は、供給された音声データＶＣとしての「べびーようひんをみる」を、単語としての「ベビー」と「用品」を含むものとして認識した上で、文字列としての「ベビー用品を見る」に正しく変換することができる。ここで、音声認識エンジン７０は、音声データＶＣの一部である「べびー」と「ようひん」とを、それぞれ単語としての「ベビー」と「用品」とに適切に変換するための文字変換機能を内蔵しているものするが、この機能はＣＰＵ３１に持たせてもよい。
このようにして、携帯端末２の利用者が、たとえばデパートでベビー用商品の買い物を行う場面に応じた適切な音声認識を行うことができる。
【００２７】
音声認識エンジン７０からの音声認識結果を受けて、ＣＰＵ３１は、音声認識によって得られた「ベビー用品を見る」（文字列）内の「ベビー」と「用品」に対応する位置データを、位置データベース３５を参照することによって取得する（ステップＳ１７）。
次いで、ＣＰＵ３１は、ステップＳ１７において取得した位置データに対応する単語の部分画像データが強調されるように、画像データ（画面４０ａのフレーム画像）の加工処理を行った上で（ステップＳ１８）、表示部４０に表示させる（ステップＳ１９）。
なお、単語の部分画像データの強調は、ブリンキングの有無、明るさ、色、大きさ、字体のいずれかの変更によって行うことができる。これによって、携帯端末２の利用者は、単語データベース２６に登録された単語を画面上で容易に視認することができる。
【００２８】
以上説明したように、本実施形態の携帯端末２によれば、画像によって取り込まれた単語を音声認識のために単語データベース２６に登録し、画像入力音声に基づいた音声認識処理が単語データベース２６に登録された単語を参照して行われ、さらに、参照された単語が表示画面上で強調されて表示される。したがって、音声認識技術を利用して、画面上に表示される単語を利用者が容易に視認することができるようにする。
【００２９】
なお、図６のステップＳ１２において、単語の抽出の対象となるフレーム画像は、撮像部１０から供給される画像データＩＭＧである必要はなく、画像メモリ８０に格納された過去の画像データであってもよい。すなわち、音声の入力が単語の画像データの加工処理（単語の強調表示）のトリガになるが、その加工対象の画像は、リアルタイムに近いタイミングで入力される画像である必要はなく、画像メモリ８０に格納された過去の画像であってもよい。
【００３０】
以上、本発明の実施の形態を詳述してきたが、本発明は上述した実施形態に限定されず、当業者に自明な種々の改変が可能である。例えば、図１および図４に示した本実施形態のハードウエア構成は一例に過ぎず、各実施形態の説明において参照したフローチャートの一部または全部の手順を含んだプログラムに応じて処理を実行するＣＰＵまたはＤＳＰ(Digital Signal Processor)によって構成してもよい。また、そのようなプログラムを、たとえばＨＤＤ(Hard Disk Drive)、ＤＶＤ(Digital Video Disk)などの内部または外部の記録媒体に格納するようにした構成としてもよい。
【００３１】
本発明の実施形態として携帯端末を例として説明したが、撮像機能を備え、音声認識処理が実行可能な装置であれば携帯端末に限られず、たとえばデジタルカメラや携帯可能なパーソナルコンピュータでもよい。
この場合も本実施例の携帯端末と同様に、被写体から、直接、単語を抽出することができ、音声認識の際に参照される単語を、利用者が視認できるようにした上で追加できるという効果を有する。
【図面の簡単な説明】
【００３２】
【図１】第１の実施形態に係る携帯端末のシステム構成を示すブロック図である。
【図２】第１の実施形態に係る携帯端末が取り込むフレーム画像例を示す図である。
【図３】第１の実施形態に係る携帯端末の動作を示すフローチャートである。
【図４】第２の実施形態に係る携帯端末のシステム構成を示すブロック図である。
【図５】第２の実施形態に係る携帯端末が取り込むフレーム画像例を示す図である。
【図６】第２の実施形態に係る携帯端末の動作を示すフローチャートである。
【符号の説明】
【００３３】
１，２      携帯端末
１０        撮像部
２０，２１  文字認識エンジン
２５        形態素解析用辞書
２６        単語データベース
２７        音声認識辞書
３０，３１  ＣＰＵ
３５        位置データベース
４０        表示部
５０        外部インタフェース
６０        音声入力部
７０        音声認識エンジン
８０        画像メモリ
【図１】
2007212581.tif 000003
【図２】
2007212581.tif 000004
【図３】
2007212581.tif 000005
【図４】
2007212581.tif 000006
【図５】
2007212581.tif 000007
【図６】
2007212581.tif 000008