(57)【要約】【課題】効率よく且つ楽しく語学学習を行うことができる外国語学習支援装置を提供する。【解決手段】外国語学習支援装置は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラに撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備える。【選択図】図１
2015049372.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影するカメラと、
音声を出力する音声出力部と、
カメラに撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。
【請求項２】
被写体を撮影するカメラと、
音声を出力する音声出力部と、
カメラに撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。
【請求項３】
請求項１又は２において、
前記主領域は、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域であることを特徴とする外国語学習支援装置。
【請求項４】
カメラとディスプレイを備えたコンピュータに、
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。
【請求項５】
カメラとディスプレイを備えたコンピュータに、
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域の所定認識領域を占める色を認識し、当該色の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像を認識し、認識した対象を語学学習に利用する外国語学習支援装置及び外国語学習支援プログラムに関する。
【背景技術】
【０００２】
特許文献１は、ユーザの視線方向を撮影し、その撮影画像に含まれる文字部分を文字認識し、認識された文字を翻訳し、その翻訳結果を表示又は音声出力する翻訳装置について開示している。特許文献２は、カメラで学習者の行動を撮影し、撮影された学習者の行動を認識し、認識されたデータに関連する語学学習用データを音声出力する行動認識発話型語学学習装置について開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２０７７３２号公報
【特許文献２】特開２００２−２０７４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、近年急速に普及しているスマートフォンやタブレット端末を、それに搭載されるカメラ機能及びその比較的大きな表示画面（タッチ機能付き）を有効に利用して、学習効率の高い外国語学習支援装置として用いる手法を考案した。
【０００５】
本発明の目的は、特にスマートフォンやタブレット端末に最適な、効率よく且つ楽しく語学学習を行うことができる外国語学習支援装置及び外国語学習支援プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の外国語学習支援装置の第１の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラに撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。
【０００７】
本発明の外国語学習支援装置の第２の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラに撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。
【０００８】
本発明の第１の外国語学習支援プログラムは、カメラとディスプレイを備えたコンピュータに、カメラにより被写体を撮影する工程と、カメラにより撮影された画像をディスプレイに表示する工程と、表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるためのプログラムである。
【０００９】
本発明の第２の外国語学習支援プログラムは、カメラとディスプレイを備えたコンピュータに、カメラにより被写体を撮影する工程と、カメラにより撮影された画像をディスプレイに表示する工程と、表示される画像全体領域の所定認識領域を占める色を認識し、当該色の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明の外国語学習支援装置及び外国語学習支援プログラムによれば、生活の身近な場面において、簡単且つ容易に効率よく語学学習を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における外国語学習支援装置としてのスマートフォンの外観構成例を示す図である。
【図２】本実施の形態における外国語学習支援装置の構成を概略的に示すブロック図である。
【図３】本発明の実施の形態における外国語学習支援装置の第１の動作フローを示す図である。
【図４】第１の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。
【図５】データベースの構成例を示す図である。
【図６】本発明の実施の形態における外国語学習支援装置の第２の動作フローを示す図である。
【図７】第２の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
【００１３】
図１は、本発明の実施の形態における外国語学習支援装置としてのスマートフォンの外観構成例を示す図である。なお、外国語学習支援装置は、スマートフォンやタブレットなどの携帯型小型電子端末が特に好適であるが、据置型のパーソナルコンピュータなどさまざまな形態の電子端末への適用を妨げるものではない。
【００１４】
外国語学習支援装置１０の外観形状は、矩形の板状の筐体１１を備え、その筐体１１の一方の面には、タッチパネル１２が大部分を占めて構成される。
【００１５】
タッチパネル１２が搭載されている正面には、レシーバ１３、マイクロフォン１４及びハードボタン１５が設けられる。また、外国語学習支援装置１０の側面や底面には、ハードキー１６、スピーカ（図２参照）及び音声出力端子（図２参照）などの外部インターフェースが設けられる。さらに、背面には、カメラ（図２参照）が設けられる。
【００１６】
図２は、本実施の形態における外国語学習支援装置の構成を概略的に示すブロック図である。外国語学習支援装置１０は、上記各構成要素に加えて、ＯＳ、本実施の形態で例示する語学学習用のアプリケーションプログラム、データなどを記憶する記憶部２５、及びアプリケーションプログラムなどの各種コンピュータプログラムを実行する制御手段としての主制御部２６を有し、また、通信手段として、移動体通信用アンテナ２１、移動体通信部２２、無線LAN通信用アンテナ２３及び無線LAN通信部２４を有し、サーバ５０と通信ネットワークを介して通信可能である。さらに、スピーカ１８、カメラ３０や音声出力端子１７を含む外部インターフェース３２などを有する。
【００１７】
タッチパネル１２は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ２７と、入力機能を担うタッチセンサ２８とで構成される。ディスプレイ２７は、例えば、液晶ディスプレイや有機EL（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ２８は、ディスプレイ２７の上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ２８の接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
【００１８】
表示装置としてのタッチパネル１２は、カメラ３０で撮影される画像及び主制御部２６によるアプリケーションプログラムの実行により生成される画像を表示する。表示領域が分割され、複数の画像を表示することも可能である。入力装置としてのタッチパネル１２は、操作面に対して接触する接触物（遊戯者の指やタッチペンなどを含む。以下「指」という）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部２６に与える。指の動作は、接触点の位置又は領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１２の短辺方向及び長辺方向の二軸上の座標値として表される。
【００１９】
図３は、本発明の実施の形態における外国語学習支援装置の第１の動作フローを示す図であり、図４は、その第１の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。主制御部２６が、記憶部２５に格納されているアプリケーションプログラムを実行することで、該動作フローは処理され、主制御部２６は、物体認識手段又は色認識手段、言語翻訳手段及び音声出力制御手段として機能する。
【００２０】
図３において、主制御部２６は、カメラ３０で撮影されているフレーム毎の画像を取り込み（Ｓ１０）、各フレーム画像を画像処理し、画像に含まれる物体を認識・識別する（Ｓ１２）。図４（ａ）に示すように、各フレーム画像は、タッチパネル１２の分割された表示領域のうちの一つに表示されている。また、物体認識については、既知の認識技術を採用することができるが、例えば、さまざまな物体の輪郭データやパターンデータを記憶した物体データベースを用意し、画像全体領域のうちあらかじめ設定された認識領域を占める物体を物体データベースと比較することで、物体を認識する。認識領域は、画像全体領域のうちの主領域であって、例えば、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域である。該物体データベースは、アプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。
【００２１】
図５（ａ）は、物体データベースの構成例を示す図である。物体データベースは、少なくとも識別名称、表示用データ及び輪郭データ（パターンデータ）を含んで構成される。識別名称は、物体の名称であり、表示用データは、認識した物体をユーザに確認させるためのタッチパネル１２に表示するアイコンマークである。
【００２２】
主制御部２６は、物体を認識すると、図４（ｂ）に示すように、認識した物体の表示用データ（アイコンマーク）をタッチパネル１２の別の表示領域に表示する（Ｓ１４）。図４の例では、物体はテレビであり、テレビのアイコンマークが表示される。
【００２３】
ユーザは、認識された物体が画像に表示されている物体であると確認し、正誤判定入力を行う（Ｓ１６）。具体的には、タッチパネル１２の更なる別領域に表示されている「○」領域をタッチし、正判定入力が行われ（図４（ｃ）参照）、画像に表示されている物体と認識された物体が異なる場合は、「×」をタッチし、誤判定入力が行われる。誤判定入力が行われると、物体認識処理を繰り返す。
【００２４】
正判定入力が行われると、主制御部２６は、認識された物体の名称を所定の言語に翻訳して音声出力する（Ｓ１８）。例えば、認識された物体の名称を英語で音声出力する（図４（ｄ）参照）。もちろん、言語は英語に限らず別の言語であってもかまわない。辞書データベースがアプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。
【００２５】
図５（ｂ）は、辞書データベースの構成例を示す図である。辞書データベースは、少なくとも識別名称、外国語音声データで構成される。識別名称は、物体の名称であり、音声データは、認識した物体名称の英単語音声データである。英単語に限らず、例えば、その英単語を含む例文の音声データであってもよい。主制御部２６は、認識された物体に対する音声データを辞書データベースから読み出し、スピーカから音声出力する。
【００２６】
図６は、本発明の実施の形態における外国語学習支援装置の第２の動作フローを示す図であり、図７は、その第２の動作フローに従った外国語学習支援装置のタッチパネル１２の表示画面の例を示す図である。第２の動作フローは、第１の動作フローとの比較において、物体の認識に代わって、色の認識を行うものである。第１の動作フローと第２の動作フローはモード選択機能を組み込むことにより、選択切換可能に実行される。
【００２７】
図６において、主制御部２６は、カメラ３０で撮影されているフレーム毎の画像を取り込み（Ｓ２０）、各フレーム画像を画像処理し、画像に含まれる物体を認識・識別する（Ｓ２２）。図７（ａ）に示すように、各フレーム画像は、タッチパネル１２の分割された表示領域のうちの一つに表示されている。また、色認識については、画像全体領域のうちの所定の認識領域を占める色を色データベースと比較することで、物体を認識する。認識領域は、画像全体領域のうちの主領域であっては、例えば、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域である。該色データベースは、アプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。
【００２８】
図５（ｃ）は、色データベースの構成例を示す図である。色データベースは、少なくとも色識別情報、表示用色データ及び色データで構成される。表示用色データは、認識した色をユーザに確認させるためのタッチパネル１２に表示する色アイコンマークである。
【００２９】
主制御部２６は、色を認識すると、図７（ｂ）に示すように、認識した色の表示用色データ（色アイコンマーク）をタッチパネル１２の別の表示領域に表示する（Ｓ２４）。
【００３０】
ユーザは、認識された色が画像に表示されている色であると確認し、正誤判定入力を行う（Ｓ２６）。具体的には、タッチパネル１２の更なる別領域に表示されている「○」領域をタッチし、正判定入力が行われ（図７（ｃ）参照）、画像に表示されている色と認識された物体が異なる場合は、「×」をタッチし、誤判定入力が行われる。誤判定入力が行われると、物体認識処理を繰り返す。
【００３１】
正判定入力が行われると、主制御部２６は、認識された色の名称を所定の言語に翻訳して音声出力する（Ｓ２８）。例えば、認識された色の名称を英語で音声出力する（図７（ｄ）参照）。もちろん、言語は英語に限らず別の言語であってもかまわない。図５（ｄ）に例示される色の音声データを有する辞書データベースがアプリケーションプログラムのデータとして、記憶部２５にあらかじめ格納されている。色の外国語音声データは、認識した色の英単語音声データであり、さらに、英単語を含む英語の例文の音声データであってもよい。主制御部２６は、認識された色に対する音声データを辞書データベースから読み出し、スピーカ１８から音声出力する。
【００３２】
本発明によれば、生活の身近な場面において、時と場所を選ばすに、簡単且つ容易に楽しく効率よく語学学習を行うことができる。特に、幼児や児童が興味ある対象物にカメラを向けて、カメラで撮影した対象又はその色の英単語（又は英文）が音声出力されるもので、子供は勉強をしているという意識を持たずに、遊びの中で興味を持って楽しみながら英語学習が自然と行われ、効率的な語学学習が実現される。
【００３３】
本発明は、前記実施の形態に限定されるものではなく、本発明の分野における通常の知識を有する者であれば想到し得る各種変形、修正を含む要旨を逸脱しない範囲の設計変更があっても、本発明に含まれることは勿論である。
【符号の説明】
【００３４】
１０：外国語学習支援装置、１１：筐体、１２：タッチパネル、１３：レシーバ、１４：マイクロフォン、１５：ハードボタン、１６：ハードキー、１７：音声出力端子、１８：スピーカ、２０：移動体通信用アンテナ、２２：移動体通信部、２３：無線LAN通信用アンテナ、２４：無線LAN通信部、２５：記憶部、２６：主制御部、２７：ディスプレイ、２８：タッチセンサ、３０：カメラ、３２：外部インターフェース
【図１】
2015049372.tif 000003
【図２】
2015049372.tif 000004
【図３】
2015049372.tif 000005
【図６】
2015049372.tif 000006
【図４】
2015049372.tif 000007
【図５】
2015049372.tif 000008
【図７】
2015049372.tif 000009
【手続補正書】
【提出日】平成26年8月6日(2014.8.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮影するカメラと、
音声を出力する音声出力部と、
カメラにより撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。
【請求項２】
被写体を撮影するカメラと、
音声を出力する音声出力部と、
カメラにより撮影された画像を表示する表示部と、
前記表示部に表示される画像全体領域のうちの所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする外国語学習支援装置。
【請求項３】
請求項１又は２において、
前記所定認識領域は、画像全体領域の過半領域、または、過半を超えずとも中央部分を含む領域であることを特徴とする外国語学習支援装置。
【請求項４】
カメラとディスプレイを備えたコンピュータに、
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域のうちの所定認識領域を占める物体を認識し、当該物体の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。
【請求項５】
カメラとディスプレイを備えたコンピュータに、
カメラにより被写体を撮影する工程と、
カメラにより撮影された画像をディスプレイに表示する工程と、
表示される画像全体領域の所定認識領域を占める色を認識し、当該色の名称に関連する音声データを翻訳された所定言語で音声出力させる工程とを実行させるための外国語学習支援プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するための本発明の外国語学習支援装置の第１の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラにより撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める物体を認識し、当該物体に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の外国語学習支援装置の第２の構成は、被写体を撮影するカメラと、音声を出力する音声出力部と、カメラにより撮影された画像を表示する表示部と、前記表示部に表示される画像全体領域の所定認識領域を占める色を認識し、当該色に関連する音声データを翻訳された所定言語で前記音声出力部より出力させる音声出力制御部とを備えることを特徴とする。