(57)【要約】【課題】利用者が正確に文字情報を把握することができる音声出力装置を提供する。【解決手段】表示情報を撮影する表示情報撮影部２２と、表示情報撮影画像データから文字データを抽出する文字データ抽出部２４と、文字データと単語記憶部２８に記憶されている単語とを比較し、抽出された文字データと一致する単語が無い場合には、抽出された文字データを変更することによって、単語記憶部２８に記憶されている単語と一致させて通過させる欠損情報補間処理部２６と、欠損情報補間処理部２６を通過した文字データと、常用語句辞書２９に記憶されている常用語句とを比較し、常用語句辞書２９に記憶されている常用語句と一致しない場合には文字データを通過させないように動作する常用語句フィルタリング部と３０、常用語句フィルタリング部３０を通過した文字データを音声データに変換する音声データ変換部３４と、音声データを出力する音声データ出力部３４とを具備する。【選択図】図１
2015143931.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物に表示されている表示情報を撮影する表示情報撮影部と、
該表示情報撮影部により撮影された表示情報撮影画像データから文字データを抽出する文字データ抽出部と、
単語を予め記憶させている単語記憶部と、
前記文字データ抽出部で抽出された文字データと、前記単語記憶部に記憶されている単語とを比較し、抽出された文字データと一致する単語が無い場合には、抽出された文字データを構成する文字のうちいずれか１つ又は複数の文字を変更することによって、単語記憶部に記憶されている単語と一致させて通過させ、抽出された文字データと一致する単語が有る場合には抽出された文字データをそのまま通過させる、欠損情報補間処理部と、
前記単語記憶部とは別個設けられており、前記単語記憶部に記憶されている単語のうち常用されている語句のみを記憶している常用語句辞書と、
前記欠損情報補間処理部を通過した文字データと、常用語句辞書に記憶されている常用語句とを比較し、抽出した文字データと一致する単語又は前記欠損情報補間処理部によって文字を変更して得られた単語が常用語句辞書に記憶されている常用語句と一致しない場合には文字データを通過させないように動作する常用語句フィルタリング部と、
前記常用語句フィルタリング部を通過した文字データを音声データに変換する音声データ変換部と、
前記音声データを出力する音声データ出力部とを具備することを特徴とする音声出力装置。
【請求項２】
前記単語記憶部は、利用状況に基づいて異なる単語が記憶されている複数の単語記憶部を有しており、
利用者が利用状況に基づいて単語記憶部を切り替え可能であることを特徴とする請求項１記載の音声出力装置。
【請求項３】
前記常用語句辞書は、利用状況に基づいて異なる常用語句が記憶されている複数の常用語句辞書を有しており、
利用者が利用状況に基づいて常用語句辞書を切り替え可能であることを特徴とする請求項１又は請求項２記載の音声出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字情報を読み取り、読み取った文字情報を音声出力する、文字情報の音声出力装置に関する。
【背景技術】
【０００２】
視覚に障害がある人たちにとって、買い物などの日常の外出時においては、商品等に記載された文字情報を確認することが必要な場合が多い。
そこで、撮像装置で文字画像を撮像し、撮像された文字画像を文字情報に変換し、文字情報を音声で出力する装置が提案されている。
【０００３】
例えば、特許文献１に開示されている音声出力装置（特許文献１では音声読み上げ装置）では、撮像した画像を入力する画像入力部と、入力された画像を記憶する画像メモリと、画像メモリに記憶されている画像に含まれる文字領域を抽出し、抽出した文字群から文字を認識すると共に、参照データを用いて文字列が何を示しているのかを判断した後に、音声合成をして音声を読み上げる構成を有している。
【０００４】
上記の音声出力装置では、取得した画像データから文字が記載されている領域を抽出し、この領域内の文字を認識し、認識した文字の読みに対応する文字の読み方を読み情報としてリスト領域情報を記憶しており、認識した文字と読み情報に基づいて音声合成して音声読み上げをするようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２０５１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の音声出力装置では、撮像画像が不鮮明であったり、あるいは文字が小さい場合には、文字の認識が困難であった。文字の認識が困難な場合であっても、よりそれに近い文字を推測して音声出力がなされるため、利用者は意味の無い音声を聞かされることにもなり、正確な文字情報の把握が困難であるという課題がある。
【０００７】
特に視覚に障害がある人にとって形状が類似している物品の把握がしにくいという問題がある。例えば、缶ビールと缶ジュース等は手に取っただけでは内容の判別が困難であり、またビールとジュースを間違って購入するわけにはいかないので、特に正確に判別できる仕組みが望まれている。
【０００８】
そこで本発明は上記課題を解決すべくなされ、その目的とするところは、利用者が正確に文字情報を把握することができる音声出力装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明にかかる音声出力装置によれば、認識対象物に表示されている表示情報を撮影する表示情報撮影部と、該表示情報撮影部により撮影された表示情報撮影画像データから文字データを抽出する文字データ抽出部と、単語を予め記憶させている単語記憶部と、前記文字データ抽出部で抽出された文字データと、前記単語記憶部に記憶されている単語とを比較し、抽出された文字データと一致する単語が無い場合には、抽出された文字データを構成する文字のうちいずれか１つ又は複数の文字を変更することによって、単語記憶部に記憶されている単語と一致させて通過させ、抽出された文字データと一致する単語が有る場合には抽出された文字データをそのまま通過させる、欠損情報補間処理部と、前記単語記憶部とは別個設けられており、前記単語記憶部に記憶されている単語のうち常用されている語句のみを記憶している常用語句辞書と、前記欠損情報補間処理部を通過した文字データと、常用語句辞書に記憶されている常用語句とを比較し、抽出した文字データと一致する単語又は前記欠損情報補間処理部によって文字を変更して得られた単語が常用語句辞書に記憶されている常用語句と一致しない場合には文字データを通過させないように動作する常用語句フィルタリング部と、前記常用語句フィルタリング部を通過した文字データを音声データに変換する音声データ変換部と、前記音声データを出力する音声データ出力部とを具備することを特徴としている。
この構成を採用することによって、文字データの一部が不明確な場合でも、単語記憶部に記憶された単語に基づいて不明確な部分を補完して正確な単語として認識できる。さらに、常用語句辞書に無い単語については、音声化せずに削除してしまう。これにより、無駄と思われる情報を排除して利用者にとって有用な情報のみを伝えることができる。
【００１０】
また、前記単語記憶部は、利用状況に基づいて異なる単語が記憶されている複数の単語記憶部を有しており、利用者が利用状況に基づいて単語記憶部を切り替え可能であることを特徴としてもよい。
この構成によれば、例えば買い物モード、散歩モード、交通モードなど、利用状況に即した複数の単語記憶部を設けておき、利用者がいずれの単語記憶部を用いて欠損情報を補完するかを切り替えられるようにすることができるので、より状況に適した正確な単語として認識することができる。
【００１１】
また、前記常用語句辞書は、利用状況に基づいて異なる常用語句が記憶されている複数の常用語句辞書を有しており、利用者が利用状況に基づいて常用語句辞書を切り替え可能であることを特徴としてもよい。
この構成によれば、例えば買い物モード、散歩モード、交通手段モードなど、利用状況に即した複数の常用語句辞書を設けておき、利用者がいずれかの常用語句辞書を用いてフィルタをかえることができる。つまり、状況によっては不要な音声出力をしないように排除することにより、状況を認識しようとする利用者の負担を軽減し、有用な情報だけを利用者に伝えることができる。
【発明の効果】
【００１２】
本発明によれば、不明確な部分を補完して正確な単語として認識できるとともに、不要と思われる情報を排除して利用者にとって有用な情報のみを伝えることができるので、利用者が正確に文字情報を把握することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる音声出力装置の構成を示す説明図である。
【図２】単語記憶部を複数設けた実施形態について説明する説明図である。
【図３】常用語句辞書を複数設けた実施形態について説明する説明図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態を図面に基づいて説明する。
図１は、本実施形態の全体構成を示している。本実施形態の音声出力装置２０は、視覚に障害がある人向けに、文字情報を音声情報に変換して出力する装置である。
音声出力装置２０は、表示情報撮影部２２と、画像データを文字データに変換する文字情報抽出部２４と、文字データを補間する欠損情報補間処理部２６と、不要な文字データを削除する常用語句フィルタリング部３０と、文字データを音声データに変換する音声データ変換部３４と、音声データを出力する音声データ出力部３６とを備えている。
【００１５】
（表示情報撮影部）
音声出力装置２０は、表示情報撮影部２２によって対象物の文字情報を撮影する。表示情報撮影部２２としては、デジタルカメラを例に挙げることができる。デジタルカメラとしては、Ｃ−ＭＯＳ、ＣＣＤ等の方式はいずれであってもよい。
【００１６】
表示情報撮影部２２で撮影された表示情報撮影画像データは、文字情報抽出部２４によって文字データが抽出される。文字情報抽出部２４は、具体的には光学文字認識手段として公知のＯＣＲ（optical character recognition）ソフトによって実現することができる。
ＯＣＲソフトは、表示情報撮影画像データ中の文字として認識できる部分を読み取って、文字データを形成する。
なお、文字情報抽出部２４では、記号も認識可能であるとよい。
【００１７】
（欠損情報補間処理部）
文字情報抽出部２４で抽出された文字データは、欠損情報補間処理部２６に入力される。
欠損情報補間処理部２６は、入力された文字データと、単語記憶部２８に記憶されている単語とを比較して、入力された文字データと一致する単語が無い場合には、入力された文字データを構成する文字のうちいずれか１つの文字又は複数の文字を変更することによって、単語記憶部に記憶されている単語と一致させて通過させるように動作する。また、欠損情報補間処理部２６は、入力された文字データと一致する単語が有る場合には入力された文字データをそのまま通過させるように動作する。
【００１８】
欠損情報補間処理部２６は、文字情報抽出部２４で抽出された文字データが正しく抽出されていない場合であってもその誤りを修正することができる。欠損情報補間処理部２６は、一般的なワープロソフト等で用いられている補間機能を有するソフトウェアを採用することができる。
【００１９】
欠損情報補間処理部２６では記号についてもその誤りがあれば修正可能とするとよい。例えば、缶飲料等がアルミ缶なのかスチール缶なのかを識別することも視覚に障害がある人にとっては、極めて重要である。
そこで、欠損情報補間処理部２６における記号の補間も文字の補間と同様に行われる。単語記憶部２８には、予め主要な記号を記憶させておき、欠損情報補間処理部２６記憶させてある記号と同一または近似する記号を認識した場合には、その記号を抽出して、文字データと共にまたは記号単独で文字データを形成する。
【００２０】
欠損情報補間処理部２６のさらに具体的な動作について説明する。欠損情報補間処理部２６に文字データが入力されると、欠損情報補間処理部２６は、単語記憶部２８に対して一致する単語の有無を検索する。
なお、単語記憶部２８は、予めＲＯＭ等の記憶装置に主要な単語を記憶させて構成されているものである。
【００２１】
欠損情報補間処理部２６は、入力された文字データと、単語記憶部２８に記憶されている単語とを先頭の文字データから比較していく。
欠損情報補間処理部２６は、入力された文字データと、単語記憶部２８に記憶されている単語が全文字一致する場合には、入力された文字データをそのまま次の処理部である常用語句フィルタリング部３０へ出力する。
【００２２】
欠損情報補間処理部２６は、入力された文字データと、単語記憶部２８に記憶されている単語とを先頭の文字データから比較していき、何れかの文字データで一致しないものがある場合、一致しない文字データを留保し、その次の文字データを比較していく。
入力された文字データのすべてを単語記憶部２８の単語と比較した結果、一致しない文字データがあったとしても、他の文字データと一致する場合には、その単語を次の処理部である常用語句フィルタリング部３０へ出力する。
【００２３】
欠損情報補間処理部２６の具体的な動作例を説明する。
欠損情報補間処理部２６に入力される文字データが「みとく」であるとする。欠損情報補間処理部２６では、入力された文字データのうち最初の文字データ「み」から単語記憶部２８内の単語と比較していく。
本実施例では、欠損情報補間処理部２６は「み」は一致するが、「み」の次に「と」がくる単語が存在しないとする。そして、欠損情報補間処理部２６は最後の３つ目の文字データ「く」を有する、「み」「不明」「く」の単語を単語記憶部２８から検索する。
【００２４】
上記の例の場合、単語記憶部２８において「みとく」の単語は記憶されていないが、「みるく」の単語は記憶されているものとする。
この場合、欠損情報補間処理部２６は、入力された文字データは「みるく」であると補間し、「みるく」を次の処理部である常用語句フィルタリング部３０へ出力する。
【００２５】
なお、上記の例では、３文字の文字データ中、真ん中の１つの文字が不名の場合であった。しかし、欠損情報補間処理部２６は、最初の文字又は最後の文字が不明であっても、他の文字が一致する単語を検索してその単語を入力された文字データとして補間することができる。
また、２文字、４文字等、文字数によって上記の処理方法は変わるわけではない。
【００２６】
なお、図２に示すように、単語記憶部２８は、異なるモードごとに複数設けられていてもよい。
モードとしては、買い物、散歩、交通などを挙げることができ、日常生活における複数の状態においてよく使用される単語を、それぞれの単語記憶部２８ａ、２８ｂ、２８ｃに記憶させておく。
【００２７】
また、欠損情報補間処理部２６には、利用者が操作可能な、第１のモード切替スイッチ３１が設けられている。第１のモード切替スイッチ３１を利用者が操作することにより、欠損情報補間処理部２６がいずれの単語記憶部２８ａ、２８ｂ、２８ｃから単語を抽出するかを切り替えることができる。
【００２８】
例えば、買い物モードにおいての単語は、牛乳、ジュース、豆腐、納豆、食パン、・・等の食品名に関する単語の他に、100円、200円などの価格に関する単語、原材料名、製造者名、販売者名などに関する単語など、買い物をする際に必要とされるものが考えられる。
【００２９】
散歩モードにおける単語としては、工事中、危険、通行止めなど道路の交通に関する単語、また自動販売機等で飲料を購入することも考えられるため、清涼飲料、ビール、コーヒー等の缶飲料又はペットボトル飲料に関する単語等が考えられる。
【００３０】
また、交通モードにおける単語としては、駅名、切符の種別、バス停名などが考えられる。
【００３１】
複数の単語記憶部２８が切り替え可能な場合における欠損情報補間処理部の動作例を説明する。
例えば、利用者が買い物に行く際に、第１のモード切替スイッチ３１を買い物モードに設定しておく。
買い物モードに設定している際に、表示情報撮影部２２が撮影して欠損情報補間処理部２６に送られてきた文字が「かしさ」であったとする。欠損情報補間処理部２６は、入力された文字データのうち最初の文字データ「か」について買い物モード単語記憶部２８ａ内の単語と比較していく。文字「か」から始まる３文字の単語の中で、買い物モード単語記憶部２８ａ内で「かじき」が抽出されると、欠損情報補間処理部２６は、文字データを「かじき」と認識する。そして、欠損情報補間処理部２６は「かじき」の文字データを次の常用語句フィルタリング部３０へ送る。
【００３２】
このように、単語記憶部２８をモードごとに単語を記憶させておくことにより、似たような単語が違う分野で存在する場合があっても、的確な単語を抽出することができる。
例えば、上記の例では「かしさ」という文字データについて、買い物モードでは「かじき」という文字データに補間することができるが、例えば交通モードでは「かしま」という文字データに補間することができ、状況に応じた的確な単語に補間できる。
【００３３】
（常用語句フィルタリング部）  
欠損情報補間処理部２６によって補間処理された文字データは、常用語句フィルタリング部３０に入力され、常用語句にフィルタリングされる。
常用語句は、常用語句辞書２９に記憶されている単語である。常用語句フィルタリング部３０は、欠損情報補間処理部２６から送られてきた文字データと常用語句辞書２９に記憶されている常用語句を比較する。
なお、常用語句辞書２９は、予めＲＯＭ等の記憶装置に常用語句を記憶させて構成されているものである。
【００３４】
常用語句フィルタリング部３０は、欠損情報補間処理部２６から送られてきた文字データと常用語句辞書２９内の常用語句とを比較した結果、欠損情報補間処理部２６から送られてきた文字データが常用語句辞書２９に含まれていると判断した場合には、その文字データを次の音声データ変換部３４に送信する。
【００３５】
なお、記号についても予め常用記号として常用語句辞書２９に記憶させておき、常用語句辞書２９に記憶されている記号は次の音声データ変換部３４に送信し、常用語句辞書２９に記憶されていない記号は削除することができる。
【００３６】
常用語句フィルタリング部３０は、欠損情報補間処理部２６から送られてきた文字データと常用語句辞書２９内の常用語句とを比較した結果、欠損情報補間処理部２６から送られてきた文字データが常用語句辞書２９に含まれていないと判断した場合には、その文字データを次の音声データ変換部３４に送信することなく、削除する。
つまり、常用語句辞書２９に搭載されていない語句については、最終的に音声データとして出力されることが無い。
【００３７】
このように、撮影した文字データをまず欠損情報補間処理部２６で補間し、そして補間された文字データを常用語句フィルタリング部３０によってフィルタリングすることによって、正確な情報を利用者に提供するとともに、無駄な情報は利用者には提供しないようにすることができるため、視覚に障害がある利用者にとって外出時に困ることが無くなる。
【００３８】
なお、図３に示すように、常用語句辞書２９は、異なるモードごとに複数設けられていてもよい。
モードとしては、買い物、散歩、交通などを挙げることができ、日常生活における複数の状態においてよく使用される語句を、各モードのそれぞれの常用語句辞書２９ａ、２９ｂ、２９ｃに記憶させておく。
【００３９】
また、常用語句フィルタリング部３０には、利用者が操作可能な、第２のモード切替スイッチ３２が設けられている。第２のモード切替スイッチ３２を利用者が操作することにより、常用語句フィルタリング部３０がいずれのモードの常用語句辞書２９ａ、２９ｂ、２９ｃから常用語句を抽出するかを切り替える。
【００４０】
例えば、買い物モードにおいての常用語句は、牛乳、ジュース、豆腐、納豆、食パン、・・等の食品に関する常用語句の他に、100円、200円などの価格に関する常用語句、原材料名、製造者名、販売者名などに関する常用語句など、買い物をする際に必要とされるものが考えられる。
【００４１】
散歩モードにおける常用語句としては、工事中、危険、通行止めなど道路の交通に関する常用語句、また自動販売機等で飲料を購入することも考えられるため、清涼飲料、ビール、コーヒー等の缶飲料又はペットボトル飲料に関する常用語句等が考えられる。
【００４２】
また、交通モードとしては、駅名、切符の種別、バス停名などが挙げられる。
【００４３】
複数の常用語句辞書２９が切り替え可能な場合における常用語句フィルタリング部３０の動作例を説明する。
利用者は、例えば買い物に出かけた際に、第２のモード切替スイッチ３２を買い物モードに設定しておく。
常用語句フィルタリング部３０は、欠損情報補間処理部２６から送られてきた文字データが、買い物モードの常用語句辞書２９ａに記憶されているかどうかを判断する。
【００４４】
例えば、買い物モードに設定している際に、表示情報撮影部２２が撮影した文字が「工事中」であったとする。
常用語句フィルタリング部３０が、買い物モードに対応する常用語句辞書２９内に記憶されている語句に「工事中」の語句が含まれているかどうかを比較する。比較の結果、買い物モードに対応する常用語句辞書２９内に「工事中」の文字が含まれていないことが判明した場合、「工事中」の語句は次の音声データ変換部３４に送ることなく、削除する。つまり、常用語句辞書２９に搭載されていない語句については、最終的に音声データとして出力されることが無い。
【００４５】
一方、比較の結果、買い物モードに対応する常用語句辞書２９内に「工事中」の文字が含まれていることが判明した場合、「工事中」の語句は次の音声データ変換部３４に送られる。
【００４６】
なお、ここで説明している例としての「工事中」という文字は、通常買い物をしている利用者は撮影しないと思われる。
しかし利用者が買い物中に買い物とは関係の無いところを撮影した場合や、あるいは文字情報抽出部２４及び欠損情報補間処理部２６が買い物に関係のある文字を撮影したとしても文字が不鮮明であったりして誤変換された場合が考えられる。
このようにして、常用語句として予め登録されていない文字を撮影した場合には、その文字を音声出力しないようにすることで、状況を認識しようとする利用者の負担を軽減し、有用な情報だけを利用者に伝えることができる。
【００４７】
（音声データ変換部）
音声データ変換部３４は、常用語句フィルタリング部３０によってフィルタリングされた文字データを音声データに変換する機能を有する。
音声データ変換部３４は、具体的には文字データを音声データに変換して、スピーカ３６から実際の音声として出力できる機能を有する。
【００４８】
音声データ変換部３４の具体的構成としては、いわゆるＴＴＳシステム（テキスト読み上げシステム）を採用することができる。ＴＴＳシステムとしては、波形接続型とフォルマント合成型などが知られているが、どちらの方法であってもよい。
波形接続型のＴＴＳシステムにおいても種々の方法が存在するが、例えば文字１文字における音声データを予め記憶部（図示せず）に記憶させておき、読み上げ対象の文字データに該当する音声データを１文字ずつ記憶部から取り出して再生することが挙げられる。
また、フォルマント合成型の場合には、文字データ１文字ごとに音声データに対応する波形を合成している。
【００４９】
（音声データ出力部）
音声データ変換部３４によって、文字データから変換された音声データは、音声データ出力部３６から実際の音声として出力される。
音声データ出力部３６としては、スピーカであってもヘッドフォンであってもよい。
【００５０】
上述してきたように、本実施形態においては、画像から読み出した文字データを音声データに変換する前に、欠損情報を補間する処理を行うことで、画像が不鮮明であったりした場合でも、確実に正確な文字データにすることができ、さらに常用語句フィルタリング処理を行うことで、不要又は意味の無い文字データを削除して音声出力しないようにできる。このようにして、特に視覚に障害がある利用者にとっては、不明確な部分を補完して正確な単語として認識できるとともに、不要と思われる情報が排除されて利用者にとって有用な情報のみを把握できるので、特に視覚に障害がある利用者にとって正確に文字情報を把握することができる。
【符号の説明】
【００５１】
２０   音声出力装置
２２   表示情報撮影部
２４   文字情報抽出部
２６   欠損情報補間処理部
２８   単語記憶部
２９   常用語句辞書
３０   常用語句フィルタリング部
３１   第１のモード切替スイッチ
３２   第２のモード切替スイッチ
３４   音声データ変換部
３６   音声データ出力部
【図１】
2015143931.tif 000003
【図２】
2015143931.tif 000004
【図３】
2015143931.tif 000005