(57)【特許請求の範囲】
【請求項１】
文字、又は数字及び記号が記載された複数枚のカードと、
カメラと表示部とを備える端末とよりなるカード学習システムであって、
前記端末は、
文字の配列による単語を示す画像、又は数字及び記号の配列による計算式を示す画像を、それぞれの単語又は計算式の意味を示す正解画像とともに記憶する記憶部と、
文字、又は数字及び記号が記載された複数枚のカードを前記カメラが撮影した撮影画像に基づいて、撮影した複数枚の前記カードのそれぞれの種類を認識する画像認識部と、
前記画像認識部で認識した複数枚の前記カードに記載された文字の配列、又は数字及び記号の配列が、前記記憶部に記憶された単語又は計算式と一致するかを判定する判定部と、
前記カメラが前記カードを撮影した撮影画像に、前記記憶部に記憶された画像を重畳する画像重畳部と、を備え、
前記画像認識部が前記撮影画像から前記カードを認識したとき、前記カメラが前記カードを撮影した撮影画像に、前記画像認識部が認識した前記カードに記載された文字を示す画像、又は数字及び記号を示す画像を重畳して前記表示部に表示した後に、前記判定部が前記一致を判定した場合に、前記カメラが前記カードを撮影した撮影画像に、前記単語又は計算式の意味を示す前記正解画像を重畳した画像の表示に、前記表示部の表示を置き換える
カード学習システム。
【請求項２】
前記カメラが前記カードを撮影した撮影画像に、前記正解画像を重畳した画像の表示への置き換えは、移行画面の表示を経由した後に行われる
請求項１に記載のカード学習システム。
【請求項３】
文字、又は数字及び記号が記載された複数枚のカードと、カメラと表示部とを備える端末とにより行うカード学習方法であって、
文字、又は数字及び記号が記載された複数枚のカードを前記カメラが撮影した撮影画像から、撮影した複数枚の前記カードのそれぞれの種類を前記端末の画像認識部が認識する認識処理と、
前記画像認識部が認識した複数枚の前記カードに記載された文字の配列、又は数字及び記号の配列が、記憶部に記憶された特定の単語又は計算式と一致するかを前記端末の判定部が判定する判定処理と、
前記認識処理で、前記画像認識部が前記撮影画像から前記カードを認識したとき、前記カメラが前記カードを撮影した撮影画像に、前記画像認識部が認識した前記カードに記載された文字を示す画像、又は数字及び記号を示す画像を重畳して前記表示部に表示した後に、前記判定処理で前記判定部が前記一致を判定した場合に、前記カメラが前記カードを撮影した撮影画像に、前記単語又は計算式が意味する正解画像を重畳した画像の表示に、前記表示部の表示を置き換える表示処理と、を含む
カード学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カード学習システム及びカード学習方法に関し、特にＡＲ技術（Augmented Reality技術：拡張現実技術）を使ってカードゲームを実行して単語や数字などを学習する技術に関する。
【背景技術】
【０００２】
従来、使った言葉学習や計算学習を行うカードが知育用として各種知られている。
例えば、１枚１枚のカードに、「Ａ」、「Ｂ」、「Ｃ」、・・・などの文字を記載し、その文字カードを並び替えて、意味のある単語を作成する文字学習が知られている。具体的には、「Ｃ」というカードと、「Ａ」というカードと、「Ｒ」というカードを横一列に並べることで、「ＣＡＲ」という単語が作成される。
【０００３】
同様に、１枚ずつのカードに異なる数字が記載された数字カードを用意して、その数字カードを並べることで、複数桁の数字を作成することができる。また、「＋」や「−」などの記号のカードと組み合わせることで、簡単な計算などの数字学習が実行できる。
【０００４】
特許文献１には、かるた遊びができるカードゲームの一例が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１０７５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、ことばや数字が記載されたカードの並び替えで、言葉学習や計算学習ができることは従来から知られているが、カードを並べた結果が正しいか否かは、例えばカード学習を手助けしている大人が教えるようにしていた。すなわち、正解を教える人がいない限り、子供が並べたカードが、意味のある正解の単語などの並びであるのかは解らないという問題があった。
例えば、上述した例では、「Ｃ」、「Ａ」、「Ｒ」の３枚のというカードを並べることで、「ＣＡＲ」という単語が作成されるが、「ＣＡＲ」が車という意味であることは、誰かが子供（学習者）に教えない限り解らない。
【０００７】
本発明は、カードの並び替えによる言葉学習や数字学習のようなカードを使った学習を行う際に、本人に正解が確実に解るようにして適切な学習ができるカード学習システム及びカード学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のカード学習システムは、文字、又は数字及び記号が記載された複数枚のカードと、カメラと表示部とを備える端末とよりなるカード学習システムであって、端末は、文字の配列による単語を示す画像、又は数字及び記号の配列による計算式を示す画像を、それぞれの単語又は計算式の意味を示す正解画像とともに記憶する記憶部と、文字、又は数字及び記号が記載された複数枚のカードをカメラが撮影した撮影画像に基づいて、撮影した複数枚のカードのそれぞれの種類を認識する画像認識部と、画像認識部で認識した複数枚のカードに記載された文字の配列、又は数字及び記号の配列が、記憶部に記憶された単語又は計算式と一致するかを判定する判定部と、カメラがカードを撮影した撮影画像に、記憶部に記憶された画像を重畳する画像重畳部と、を備えるものである。
そして、画像認識部が撮影画像からカードを認識したとき、カメラがカードを撮影した撮影画像に、画像認識部が認識したカードに記載された文字を示す画像、又は数字及び記号を示す画像を重畳して表示部に表示した後に、判定部が一致を判定した場合に、カメラがカードを撮影した撮影画像に、単語又は計算式の意味を示す正解画像を重畳した画像の表示に、表示部の表示を置き換えるものである。
【０００９】
また本発明のカード学習方法は、文字、又は数字及び記号が記載された複数枚のカードと、カメラと表示部とを備える端末とにより行うカード学習方法であって、文字、又は数字及び記号が記載された複数枚のカードをカメラが撮影した撮影画像から、撮影した複数枚のカードのそれぞれの種類を端末の画像認識部が認識する認識処理と、画像認識部が認識した複数枚のカードに記載された文字の配列、又は数字及び記号の配列が、記憶部に記憶された特定の単語又は計算式と一致するかを端末の判定部が判定する判定処理と、認識処理で、画像認識部が撮影画像からカードを認識したとき、カメラがカードを撮影した撮影画像に、画像認識部が認識したカードに記載された文字を示す画像、又は数字及び記号を示す画像を重畳して表示部に表示した後に、判定処理で判定部が一致を判定した場合に、カメラがカードを撮影した撮影画像に、単語又は計算式が意味する正解画像を重畳した画像の表示に、表示部の表示を置き換える表示処理と、を含む。
【発明の効果】
【００１１】
本発明によれば、並べたカードによる単語や数列に対応した正解画像が重畳して表示されるため、カード学習の実行者は重畳された画像から正解が解り、カードを使った言葉学習のような様々な学習が、高い学習効果を持って一人で行うことが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態例によるカードゲームの実行例を示す図（例１）である。
【図２】本発明の一実施の形態例によるカードゲームの実行例を示す図（例２）である。
【図３】本発明の一実施の形態例によるカードゲーム装置のハードウェア構成例（例１）を示すブロック図である。
【図４】本発明の一実施の形態例によるカードゲーム装置のハードウェア構成例（例２）を示すブロック図である。
【図５】本発明の一実施の形態例によるカードゲーム装置の機能ブロック図である。
【図６】本発明の一実施の形態例によるカードゲーム装置による言葉学習の処理の流れを示すフローチャートである。
【図７】本発明の一実施の形態例による言葉学習の実行時の表示例（例１）を示す図である。
【図８】本発明の一実施の形態例による言葉学習の実行時の表示例（例２）を示す図である。
【図９】本発明の一実施の形態例による言葉学習の実行時の表示例（例３）を示す図である。
【図１０】本発明の一実施の形態例による画像組み合わせ学習の実行時の表示例を示す図である。
【図１１】本発明の一実施の形態例によるカードゲーム装置による計算遊びの処理の流れを示すフローチャートである。
【図１２】本発明の一実施の形態例による計算学習の実行時の表示例を示す図である。
【図１３】本発明の一実施の形態例による各カードの画像の例を示す図である。
【図１４】本発明の一実施の形態例による画像、言葉、音声の登録例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態例（以下「本例」と称する）を、添付図面を参照して説明する。
【００１４】
［カードによる学習例］
図１は、本例のシステムでカードによる学習状態の例（例１）を示す。
図１の例は、タブレットと称される情報処理端末１００をユーザ（学習者）が手で持ちながら、学習者がテーブル上の複数枚のカードＣ１，Ｃ２，Ｃ３，・・・を並び替えて、単語などの学習を行うものである。情報処理端末１００には、カメラと表示部が内蔵され、本例の学習システムを実現するソフトウェアが実装されている。
【００１５】
各カードＣ１，Ｃ２，Ｃ３，・・・の表面には、それぞれ別の文字が１文字ずつ記載されている。但し、同じ文字が記載されたカードが複数枚存在してもよい。また、各カードＣ１，Ｃ２，Ｃ３，・・・の表面には、個々のカードを認識するのに必要な画像が印刷されている。つまり、カード上の文字の背景に記載された画像から、学習システムがカードＣ１，Ｃ２，Ｃ３，・・・の表面に記載された文字を特定することができる。
【００１６】
学習者は、複数枚のカードＣ１，Ｃ２，Ｃ３，・・・の表面に記載された文字を見ながら、文字が特定の単語となるようにカードを並び替える操作を行う。並び替えられた複数枚のカードは、情報処理端末１００に内蔵されたカメラで撮影され、情報処理端末１００によって認識処理される。
【００１７】
図２は、本例のシステムでカードによる学習状態の別の例（例２）を示す。
図２の例は、ＡＲグラスやスマートグラス等と称されるメガネ型の情報処理端末１００′を使用した場合を示す。情報処理端末１００′には、カメラと表示部が内蔵され、本例の学習システムを実現するソフトウェアが実装されている。メガネ型の情報処理端末１００′に内蔵されたカメラは、その端末の装着者の前方を撮影する。
この図２の例では、学習者は、情報処理端末１００′を頭部に装着しながら、テーブル上の複数枚のカードＣ１，Ｃ２，Ｃ３，・・・を並び替えて、単語などの学習を行う。
情報処理端末１００′がカードＣ１，Ｃ２，Ｃ３，・・・を認識する処理は、図１の例のタブレット型の情報処理端末１００と同じなので、その説明は省略する。
【００１８】
なお、図２に示すメガネ型（ＡＲグラス又はスマートグラス）の情報処理端末１００′を用いる場合、表示部は透過型ディスプレイで構成される。したがって、装着者（学習者）は、ディスプレイパネルを透過した周囲の様子に画像や文字などの情報が重なって表示された画像を見ることができる。但し、メガネ型の情報処理端末１００′であっても非透過型の表示部を備えて、カメラ画像などの内部で生成した画像のみを表示するようにしてもよい。
【００１９】
以下の説明では、図１に示すタブレット型の情報処理端末１００の構成を説明するが、図２に示すメガネ型の情報処理端末１００′の基本的な構成も、タブレット型の情報処理端末１００と同一である。
【００２０】
［情報処理端末の構成］
図３は、本例の情報処理端末１００のハードウェア構成を示す。
情報処理端末１００は、ＣＰＵ（central processing unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶部１０４、表示部１０５、音声入出力部１０６、カメラ１０７及びネットワークインタフェース１０８を備え、これらの各部がバスラインでデータ転送可能に接続されている。
【００２１】
ＣＰＵ１０１は、学習処理を行う機能を実現するソフトウェア（プログラム）のプログラムコードをＲＯＭ１０２などから読み出して実行する演算処理部である。
ＲＯＭ１０２には、情報処理端末１００に実装された各種機能を実行するプログラムコードが記憶されている。カードを使った学習処理を実行するプログラムも、同様にＲＯＭ１０２に記憶されている。
ＲＡＭ１０３は、ＲＯＭ１０２や記憶部１０４に記憶されているプログラムやデータを読み出すために使用されるワーク用メモリである。
【００２２】
記憶部１０４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量のデータ記憶部である。記憶部１０４には、カードゲームを実行する際の各カードの認識に必要な画像データや、正解画像のデータなどが記憶され、ＣＰＵ１０１の制御で読み出される。記憶部１０４に記憶されるカードゲーム用のデータは、例えば後述するカードゲームサーバ２００から取得される。
表示部１０５には、カメラ１０７で撮影された画像や、情報処理端末１００内で生成された各種画像が表示される。例えばカードゲームによる学習処理を実行する際には、表示部１０５に、カメラ１０７で撮影された画像や正解画像などが表示される。
【００２３】
音声入出力部１０６は、音声処理部とスピーカとマイクロフォンとを備え、音声処理部でＣＰＵ１０１から指示された音声データのアナログ変換等の音声処理が実行され、処理された音声がスピーカから出力される。例えばカードゲームによる学習処理を実行する際には、スピーカから効果音などが出力される。また、音声入出力部１０６は、マイクロフォンも備え、マイクロフォンが拾った音声を音声処理部が音声データ化する。マイクロフォンが拾った音声によるデータは正解時の音声の登録時に使用される。
カメラ１０７は、情報処理端末１００の周囲を撮影する。図１に示すタブレット型の情報処理端末１００の場合、情報処理端末１００を構成する筐体の裏面側にカメラ１０７が配置され、このカメラ１０７により表示部１０５の反対側が撮影される。
【００２４】
ネットワークインタフェース１０８は、インターネットＮに接続される通信部である。
このネットワークインタフェース１０８は、カードゲームによる学習処理を実行する際には、予め用意されたカードゲームサーバ２００と通信を行う。
【００２５】
なお、図３に示すネットワークインタフェース１０８がカードゲームサーバ２００と通信を行いながらゲームの進行を行うのは一例であり、図４に示すように、ネットワークインタフェース１０８を備えない構成、又はネットワークインタフェース１０８をゲームの実行時には使用しない構成としてもよい。
【００２６】
図４に示す情報処理端末１００は、情報処理端末１００が予めカードゲームの進行に必要な情報を全て取得して、記憶部１０４に記憶する。
なお、カードゲームの進行に必要な情報を記憶部１０４に記憶した場合にも、図３に示すように情報処理端末１００がネットワークインタフェース１０８を備えて、カードゲーム用プログラムの更新などを随時行うようにしてもよい。
【００２７】
［カードゲームを実行する機能から見た構成］
図５は、本例の情報処理端末１００がカードゲームのプログラムを実行する際の機能から見た構成を示す機能ブロック図である。
カメラ１０７で撮影された画像は、画像認識部１０１ａに供給される。画像認識部１０１ａは、撮影画像をキャプチャして、キャプチャされた撮影画像と予め用意されたカード画像とを比較し、撮影画像に含まれるカードの種類の認識処理を行う。画像認識部１０１ａは、後述する判定部１０１ｂや画像重畳部１０１ｃと共に、ＣＰＵ１０１がプログラムを実行することで形成される処理部である。
【００２８】
画像認識部１０１ａは、予め本カードゲームで使用する全てのカードの表面に印刷された画像の情報を認識する処理（認識処理）を行う。各カードの表面に印刷された画像の例については後述する（図１３）。ここでは、画像認識部１０１ａは、複数枚のカードを１つの撮影画像から同時に認識することができ、各カードの向きや各カードの並び状況についても判別することができる。例えば、画像認識部１０１ａは、３枚のカードがほぼ隙間がない状態でも横並びであるか否かを判別することが可能である。
画像認識部１０１ａで認識された複数枚のカードの種類の情報と、カードの並び状況の情報は、判定部１０１ｂに供給される。
【００２９】
判定部１０１ｂは、画像認識部１０１ａで認識した複数枚のカードの種類と、そのカードの並び状況が、記憶部１０４に記憶された正解であるか、あるいは意味のある並びであるかを判定する判定処理を実行する。ここで、記憶部１０４に記憶された正解の並びであると判定したとき、判定部１０１ｂは、記憶部１０４に記憶された正解画像の情報や効果音などの音声情報を読み出し、正解画像の情報を画像重畳部１０１ｃに供給するとともに、音声情報を音声入出力部１０６に供給する。
なお、後述する正解用の音声の登録時には、音声入出力部１０６に入力された音声情報を記憶部１０４に記憶させる。
【００３０】
また、画像重畳部１０１ｃは、供給される正解画像を、カメラ１０７から供給される撮影画像に重畳して、表示部１０５に供給する。ここでの正解画像は、ＡＲ技術を利用してカード上に物体や文字などが立体的に存在して見えるようにした３Ｄ画像であり、動画像又は静止画像である。なお、画像重畳部１０１ｃが撮影画像に重畳（又は透過画像に重畳）する画像を、ＡＲ技術を用いた３Ｄ画像とするのは一例であり、一般的な動画や静止画でもよい。
表示部１０５は、正解画像が重畳された撮影画像を表示する。なお、図２に示すメガネ型の情報処理端末１００′の場合には、表示部１０５は、正解画像のみを画面内に重畳表示し、撮影画像は表示しないようにしてもよい。
そして、音声入出力部１０６は、表示部１０５における正解画像の表示に連動して、正解画像に対応した効果音を出力する。
【００３１】
［カードゲーム実行時の処理の流れ］
図６は、情報処理端末１００（又は１００′）によりカードゲームで言葉（単語）の学習を実行するときの処理例を示すフローチャートである。以下の説明では、本例のカードゲームは、ＡＲカードゲームと称する。
ここでは、図１又は図２に示すように、学習者は、複数枚のカードＣ１，Ｃ２，Ｃ３，・・・をテーブル上に並べて、その複数枚のカードＣ１，Ｃ２，Ｃ３，・・・を情報処理端末１００で撮影しながらＡＲカードゲームを実行する。
【００３２】
まず、学習者は、ＡＲカードゲームのプログラムを起動する（ステップＳ１１）。
ＡＲカードゲームのプログラムが起動されると、情報処理端末１００の表示部１０５は、ＡＲカードゲームの開始を表示する。そして、カメラ１０７での撮影が開始されると共に、表示部１０５での撮影画像の表示が実行される（ステップＳ１２）。ここで、画像認識部１０１ａでは、撮影画像に含まれるカードの認識処理が行われる。
【００３３】
そして、ステップＳ１２で画像認識部１０１ａが撮影画像の認識処理を開始した後、画像認識部１０１ａは、ＡＲカードゲーム用のカードを認識したか否かを判断する（ステップＳ１３）。
このステップＳ１３で、ＡＲカードゲーム用のカードを認識したと判断された場合（ステップＳ１３のＹＥＳ）、画像重畳部１０１ｃは、認識したカードの表面に記載された文字（３Ｄ画像）を撮影画像に重畳する（ステップＳ１４）。この文字画像を重畳して行事した具体的な例は後述する（図７Ａや図８Ａのような表示形態）。
次に、画像認識部１０１ａは、認識したカードが複数枚並んでいるか否かを判断する（ステップＳ１５）。このステップＳ１５で、カードが複数枚並んでいると画像認識部１０１ａが判断したとき（ステップＳ１５のＹＥＳ）、判定部１０１ｂは、予め登録されたカード配列か否かを判定する（ステップＳ１６）。
【００３４】
ステップＳ１６で、予め登録されたカード配列であると判定部１０１ｂが判定した場合には（ステップＳ１６のＹＥＳ）、判定部１０１ｂは、該当するカード並びの文字列の意味の正解画像を記憶部１０４から読み出し、画像重畳部１０１ｃで読み出した正解画像と撮影画像を重畳して表示部１０５に表示する（ステップＳ１７）。この正解画像の重畳表示が終了すると、ステップＳ１２での撮影及び表示の処理に戻る。
【００３５】
また、ステップＳ１３で、ＡＲカードゲーム用のカードを認識しないと判断された場合（ステップＳ１３のＮＯ）、ステップＳ１５で複数枚のカードの並びを検出しないと判断された場合（ステップＳ１５のＮＯ）、及びステップＳ１６で登録された配列ではないと判断された場合（ステップＳ１６のＮＯ）も、ステップＳ１２での撮影及び表示の処理に戻る。
【００３６】
［ＡＲカードゲーム実行時の表示の例］
図７〜図１０は、本例のＡＲカードゲーム実行時の表示例を示す。図７及び図８では、いずれも情報処理端末１００のカメラ１０７で撮影した画像が表示部１０５に表示される状態を示す。
図７は、英語の言葉（単語）を学習するときの例である。
ここでは、それぞれのカードの表面に文字「Ｃ」、「Ａ」、「Ｒ」が印刷された３枚のカードＣ１１，Ｃ１２，Ｃ１３を用意する。実際には、これ以外の文字が印刷された多数のカードが用意されているが、図７では学習者が取り出した３枚のみを示している。
【００３７】
そして、図７Ａに示すように、学習者が３枚のカードＣ１１，Ｃ１２，Ｃ１３を横に並べて、それぞれのカードＣ１１，Ｃ１２，Ｃ１３の表面に印刷された文字「Ｃ」、「Ａ」、「Ｒ」が横一列に並んだ状態になったとする。
ここでは、それぞれのカードＣ１１，Ｃ１２，Ｃ１３を認識することで、それぞれのカードＣ１１，Ｃ１２，Ｃ１３の表面に印刷された文字「Ｃ」、「Ａ」、「Ｒ」が立体画像Ｐ１１として、撮影画像に重畳して表示される。
【００３８】
図７Ａに示すカード並びのとき、ＡＲカードゲームでは、３枚のカードＣ１１，Ｃ１２，Ｃ１３の横一列の並びが正解として登録されており、正解画像の重畳処理に移る。最初に図７Ｂに示すように、正解画像を表示するための移行画面Ｐ１２が撮影画像に重畳表示される。ここでは、移行画面Ｐ１２として雲などを表示した例を示すが、「せいかい」などの文字を表示してもよい。また、正解であることを示す効果音「ボーン」が音声入出力部１０６から出力されるようにしてもよい。
【００３９】
続いて、図７Ｃに示すように、正解画像である自動車の画像Ｐ１３が、撮影画像に重畳表示される。この正解画像の自動車は、画面上で立体的に表示される。また、表示される画像を自動車が画面内を動く動画にしてもよい。また、自動車であることを示す「ブブー」などの効果音を音声入出力部１０６から出力するようにしてもよい。
【００４０】
図８は、ひらがなの言葉（単語）を学習するときの例である。
ここでは、それぞれのカードの表面に文字「う」、「し」が印刷された２枚のカードＣ２１，Ｃ２２を用意する。実際には、これ以外の文字が印刷された多数のカードが用意されているが、図８では学習者が取り出した２枚のみを示している。
【００４１】
そして、図８Ａに示すように、学習者が２枚のカードＣ２１，Ｃ２２を横に並べて、それぞれのカードＣ２１，Ｃ２２の表面に印刷された文字「う」、「し」が横一列に並んだ状態になったとする。
ここでは、それぞれのカードＣ２１，Ｃ２２を認識することで、それぞれのカードＣ２１，Ｃ２２の表面に印刷された文字「う」、「し」が立体画像Ｐ２１として、撮影画像に重畳して表示される。
【００４２】
図８Ａに示すカード並びのとき、ＡＲカードゲームでは、２枚のカードＣ２１，Ｃ２２の横一列の並びが正解として登録されており、正解画像の重畳処理に移る。ここでは、最初に図８Ｂに示すように、正解画像を表示するための移行画面Ｐ２２が撮影画像に重畳表示される。また、正解であることを示す効果音「ボーン」が音声入出力部１０６から出力される。
【００４３】
続いて、図８Ｃに示すように、正解画像である牛の画像Ｐ２３が、撮影画像に重畳表示される。この正解画像の牛は、画面上で立体的に表示される。また、牛が画面内で動く動画としてもよい。また、牛であることを示す「モー」などの効果音が音声入出力部１０６から出力されるようにしてもよい。
【００４４】
図９は、それぞれのカードの表面に単語が印刷され、その単語と、画像のカードとが並べられたときの表示例を示す。
すなわち、「ＣＡＲ」と印刷されたカードＣ３１と、自動車の絵が印刷されたカードＣ３２とを用意して、この２枚のカードＣ３１，Ｃ３２を並べたとき、ＡＲカードゲームでは正解と認識され、自動車などを示す正解画像Ｐ３１が撮影画像に重畳される。
【００４５】
図１０は、それぞれのカードに自動車のパーツを印刷して、自動車の正しい形状に組み立てることができた場合の表示例を示す。
すなわち、図１０Ａに示すように、自動車の車体上部のカードＣ４１、ドアのカードＣ４２、ボンネットのカードＣ４３、トランクのカードＣ４４、タイヤのカードＣ４５及びＣ４６を用意する。そして、図１０Ａに示すように、各カードＣ４１〜Ｃ４６を自動車として正しい並びに配置したとき、図１０Ｂに示すように、自動車などを示す正解画像Ｐ４１が撮影画像に重畳される。
【００４６】
［カードゲーム実行時の処理の流れ］
図１１は、情報処理端末１００（又は１００′）によりＡＲカードゲームで計算学習を実行するときの処理例を示すフローチャートである。
【００４７】
まず、学習者は、ＡＲカードゲームのプログラムを起動する（ステップＳ２１）。
ＡＲカードゲームのプログラムが起動されると、情報処理端末１００の表示部１０５は、ＡＲカードゲームの開始を表示する。そして、カメラ１０７が撮影を行い、表示部１０５が撮影画像の表示を実行する（ステップＳ２２）。
【００４８】
そして、画像認識部１０１ａが、ステップＳ２２で撮影した画像からＡＲカードゲーム用のカードを認識したか否かを判断する（ステップＳ２３）。
このステップＳ２３で、ＡＲカードゲーム用のカードを認識したと判断された場合（ステップＳ２３のＹＥＳ）、画像認識部１０１ａは、認識したカードが複数枚並んでいるか否かを判断する（ステップＳ２４）。このステップＳ２４で、カードが複数枚並んでいると画像認識部１０１ａが判断したとき（ステップＳ２４のＹＥＳ）、判定部１０１ｂは、予め登録された計算式のカード配列か否かを判定する（ステップＳ２５）。
【００４９】
判定部１０１ｂは、ステップＳ２５で、予め登録された計算式のカード配列であると判定したとき（ステップＳ２５のＹＥＳ）、判定部１０１ｂは、該当するカード並びの計算の実行をイメージする正解画像を記憶部１０４から読み出し、読み出した正解画像を、画像重畳部１０１ｃで撮影画像に重畳して表示部１０５に表示する（ステップＳ２６）。ここでの正解画像についても、例えばＡＲ技術を利用して立体的に存在して見えるようにした３Ｄ画像とする。この正解画像の重畳表示が終了すると、ステップＳ２３の画像認識部１０１ａでのカード認識処理に戻る。
また、ステップＳ２３でＡＲカードゲーム用のカードを認識しないと判断された場合（ステップＳ２３のＮＯ）、ステップＳ２４で複数枚のカードの並びを検出しないと判断された場合（ステップＳ２４のＮＯ）、及びステップＳ２５で登録された計算式の配列でないと判断された場合（ステップＳ２５のＮＯ）も、ステップＳ２３の画像認識部１０１ａでのカード認識処理に戻る。
【００５０】
［ＡＲカードゲーム実行時の計算の表示の例］
図１２は、本例のＡＲカードゲーム実行時の計算の表示例を示す。
ここでは、それぞれのカードの表面に数字又は記号「６」、「−」、「３」が印刷された３枚のカードＣ５１，Ｃ５２，Ｃ５３を用意する。実際には、これ以外の数字や記号（＋、÷、×など）が印刷された多数のカードが用意されているが、図１２では学習者が取り出した３枚のみを示している。
【００５１】
そして、図１２Ａに示すように、学習者が３枚のカードＣ５１，Ｃ５２，Ｃ５３を横に並べて、それぞれのカードＣ５１，Ｃ５２，Ｃ５３の表面に印刷された数字又は記号「６」、「−」、「３」が横一列に並んだ状態になったとする。
このとき、それぞれのカードＣ５１，Ｃ５２，Ｃ５３を認識することで、「６−３」の計算式の実行をイメージする画像が重畳される。
すなわち、最初に図１２Ｂに示すように、６個の物体（果物など）が並んだ画像Ｐ５１が、撮影画像に重畳される。
【００５２】
次に、図１２Ｂに示すように、６個の物体の内の３個を小鳥が食べる動画Ｐ５２が表示され、最後に、図１１Ｃに示すように、３個の物体のみが表示された画像Ｐ５３が表示される。
このような表示が行われることで、「６−３」の計算が実行されるイメージ画像が、カードの撮影画像に重畳表示される。
なお、図１２に示すように重畳される画像についても、例えば３Ｄ画像であり、動画像又は静止画像である。但し、画像重畳部１０１ｃが撮影画像に重畳（又は透過画像に重畳）する画像を、ＡＲ技術を用いた３Ｄ画像とするのは一例であり、一般的な動画や静止画でもよい。
【００５３】
［カード認識用の画像の例］
図１３は、各カードに印刷された画像の例を示す。
ここでは、図１３Ａに示すように、３枚のカードＣ６１，Ｃ６２，Ｃ６３の例を示す。
それぞれのカードの中央には、それぞれ別の文字「ｃ」，「ａ」，「ｒ」が印刷されており、その周囲には、各カードに特有の背景画像（模様）が印刷されている。
【００５４】
図５に示す画像認識部１０１ａは、この背景画像（模様）を認識することで、それぞれのカードの種類、つまりどの文字が印刷されているかを認識する。また、カードの向きについても、背景画像（模様）から判別が可能である。図１３Ａでは、２つの文字「ｃ」，「ａ」が認識されて、それぞれの文字の立体画像Ｐ６１，Ｐ６２が表示された状態を示す。図示は省略するが、カードＣ６３についても判別が完了することで、同様な文字の立体画像が表示される。
【００５５】
図１３Ａに示すカード配列のとき、図７で説明した例と同様に、図１３Ｂに示す移行画像Ｐ６２が表示された後、図１３Ｃに示す正解画像（自動車）Ｐ６４が撮影画像に重畳表示される。
なお、図１３Ｄに示すように、３枚のカードＣ６１，Ｃ６２，Ｃ６３が正解でない配列のとき（ここでは「ａ」，「ｃ」，「ｒ」の配列）には、それぞれのカード上の文字の立体画像Ｐ７１，Ｐ７２，Ｐ７３のみが表示されるだけであり、その後の正解画像の表示には変化しない。
【００５６】
以上説明したように、本例の情報処理端末１００又は１００′でＡＲカードゲームを実行することで、言葉（単語）や計算などの学習を効果的に行うことができる。すなわち、カードゲームを実行する学習者は、カードの並び替えを行い、その結果を情報処理端末１００又は１００′のカメラ１０７で撮影させるだけで、自動的に画面内に正解画像が表示され、単語学習や計算学習を、一人で手軽に実行できるようになる。
【００５７】
［画像、文字、音声を登録する例］
ここまでの説明では、正解画像や音声は、ＡＲカードゲームのプログラムとして予め用意されたものとした。これに対して、ユーザ（学習者の保護者など）が、正解画像などを登録するようにしてもよい。
図１４は、ユーザが登録する処理時の画面の例を示す。
まず、図１４Ａに示すように、情報処理端末１００の表示部１０５は、登録する画像（写真）の選択画面を表示する。ここでは、「カメラで撮影」の選択ボタン３０１と、「フォルダから選ぶ」の選択ボタン３０２とを表示し、ユーザがいずれか一方を選択する。
【００５８】
ユーザが「カメラで撮影」の選択ボタン３０１を選んだときには、カメラ１０７が撮影した画像が取り込まれる。
ユーザが「フォルダから選ぶ」の選択ボタン３０２を選んだときには、情報処理端末１００が記憶したフォルダ、又はカードゲームサーバ２００に用意されたフォルダから、任意の画像を選択することができる。画像の選択後には、文字（言葉）の入力処理に移る。
【００５９】
図１４Ｂは、文字（言葉）を入力する画面の例を示す。
ここでは、情報処理端末１００の表示部１０５は、選択された画像の表示領域３０３と、文字の入力領域３０４とを表示する。選択された画像の表示領域３０３には、図１４Ａの選択画面で選ばれた画像が表示される。この選択された画像の表示領域３０３に表示される画像が、正解画像として登録される。
文字の入力領域３０４には、正解画像に紐付けられる単語（言葉）がユーザ操作で入力される。図１４Ｂの例では、「ｃａｒ」と入力した状態を示す。
このように「ｃａｒ」の文字列を登録することで、３枚のカードに記載された文字が「ｃａｒ」と並んだとき、表示領域３０３に表示される画像が、正解画像として重畳表示される。
文字（言葉）の入力後には、音の登録処理に移る。
【００６０】
図１４Ｃは、音を登録する画面の例を示す。
ここでは、情報処理端末１００の表示部１０５は、登録する音を「録音する」の選択ボタン３０５を表示する。
【００６１】
ユーザが「録音する」の選択ボタン３０５を選んだときには、音声入出力部１０６で取り込んだ音が録音され、記憶部１０４に記憶される。
このようにして録音された音が、正解画像の表示時に、効果音として出力される。
【００６２】
このように、ユーザが任意の画像と文字列と音を登録できることで、ユーザが自由にＡＲカードゲームで学習できる内容をカスタマイズでき、様々なレベルの学習ができるようになる。
なお、図１４に示す画面での処理で登録された内容は、情報処理端末１００の記憶部１０４が記憶して、この情報処理端末１００でのＡＲカードゲームの実行時に利用されるが、例えば図３に示すカードゲームサーバ２００が登録内容を保持してもよい。カードゲームサーバ２００が保持した登録内容は、その登録作業を行ったユーザの情報処理端末１００での実行時に利用する他に、別のユーザの情報処理端末１００での実行時に、登録内容を利用させてもよい。
【００６３】
［変形例］
なお、図７などで説明したカードの実行画面については、好適な一例を示すものであり、その他の表示形態としてもよい。
また、各実行画面では、タブレット型の情報処理端末１００での表示例としたが、メガネ型（ＡＲグラス又はスマートグラス）の情報処理端末１００′の場合には、カメラ画像は表示させず、実際のカードが透過して見える状態で、正解画像などを重畳すればよい。
【００６４】
また、タブレット型の情報処理端末１００やメガネ型の情報処理端末１００′以外の形態の各種情報処理端末で、本発明のカードゲームを実行するようにしてもよい。この場合、本例のカードゲームを構成するプログラム（ソフトウェア）を用意して、既存のタブレットやスマーフォン、ゲーム専用の端末に実装してもよい。
【００６５】
また、画像からカードの種類を認識する処理としては、図１３に示すように、カメラ１０７が撮影した画像から、各カードの背景の画像（模様）を認識するようにしたが、その他の処理でカードの種類や並び状況を認識してもよい。例えば、各カードの表面に記載された文字を、撮影画像から直接認識してもよい。カードの並び状況（向き）についても、認識した文字から判別することができる。
あるいは、カードの種類を認識するための特別なコード（ＱＲコード（登録商標）やバーコードなど）を、カードの表面に印刷してもよい。
【符号の説明】
【００６６】
１００，１００′…情報処理端末、１０１…ＣＰＵ、１０１ａ…画像認識部、１０１ｂ…判定部、１０１ｃ…画像重畳部、１０４…記憶部、１０５…表示部、１０６…音声入出力部、１０７…カメラ
【要約】
【課題】カードの並び替えによる言葉遊びや数字遊びのような学習を行う際に、本人に正解が確実に解るようにして適切な学習ができる
【解決手段】文字又は数字の配列による単語又は数列を、それぞれの言葉又は数列に対応した正解画像とともに記憶する記憶部１０４と、文字又は数字が記載された複数枚のカードを撮影した撮影画像に基づいて、撮影した複数枚のカードのそれぞれの種類を認識する画像認識部１０１ａと、画像認識部で認識した種類の複数枚のカードに記載された文字又は数字の配列が、記憶部に記憶された単語又は数列と一致するかを判定する判定部１０１ｂと、判定部で一致した単語又は数列に対応して記憶部に記憶された正解画像を重畳する画像重畳部１０１ｃと、画像重畳部で正解画像が重畳された画像を表示する表示部１０５と、を備える。
【選択図】図３【図１】
0006778445.tif 000002
【図２】
0006778445.tif 000003
【図３】
0006778445.tif 000004
【図４】
0006778445.tif 000005
【図５】
0006778445.tif 000006
【図６】
0006778445.tif 000007
【図７】
0006778445.tif 000008
【図８】
0006778445.tif 000009
【図９】
0006778445.tif 000010
【図１０】
0006778445.tif 000011
【図１１】
0006778445.tif 000012
【図１２】
0006778445.tif 000013
【図１３】
0006778445.tif 000014
【図１４】
0006778445.tif 000015