(57)【要約】  脳内映像をより鮮明な映像で再現できる脳内映像再生装置を提供する。  脳内映像再生装置１は、利用者の脳活動データを取得するデータ取得部１０と、脳活動データから映像情報を検出して脳内映像を形成する脳内映像形成部３１と、脳活動データから言語情報を検出する言語情報検出部３２と、言語情報に対応するサンプル画像を記憶する画像データベース４２と、脳内映像にサンプル画像を重畳させた加工映像を形成する映像加工部３３と、を有することを特徴とする。
2017022228.tif 000002
【特許請求の範囲】
【請求項１】
利用者の脳活動データを取得するデータ取得部と、
前記脳活動データから映像情報を検出して脳内映像を形成する脳内映像形成部と、
前記脳活動データから非映像情報を検出する非映像情報検出部と、
前記非映像情報に対応するサンプル画像を記憶する画像データベースと、
前記脳内映像に前記サンプル画像を重畳させた加工映像を形成する映像加工部と、を有することを特徴とする脳内映像再生装置。
【請求項２】
請求項１に記載の脳内映像再生装置であって、
前記非映像情報は言語情報であることを特徴とする脳内映像再生装置。
【請求項３】
請求項１または２に記載の脳内映像再生装置であって、
前記脳活動データと前記非映像情報とを関連付けるルックアップテーブルを有し、
前記非映像情報検出部は、前記ルックアップテーブルを参照することを特徴とする脳内映像再生装置。
【請求項４】
請求項１から３のいずれか一項に記載の脳内映像再生装置であって、
前記脳活動データの取得には、ＥＥＧ、ＭＥＧ、ｆＭＲＩ、ｆＮＩＲＳ、ＳＰＥＣＴ、およびＥＣｏＧを含む脳画像化技術のいずれかを用いることを特徴とする脳内映像再生装置。
【請求項５】
請求項１から４のいずれか一項に記載の脳内映像再生装置であって、
前記脳内映像形成部で形成された前記脳内映像と、前記非映像情報検出部で検出された前記非映像情報と、前記映像加工部で形成された前記加工映像と、を表示する映像表示部を有することを特徴とする脳内映像再生装置。
【請求項６】
請求項５に記載の脳内映像再生装置であって、
前記映像表示部に表示された前記加工映像を視認した前記利用者の前記脳活動データを再度取得し、再度取得した前記脳活動データに基づいて前記加工映像を補正する映像補正部を有することを特徴とする脳内映像再生装置。
【請求項７】
請求項５または６に記載の脳内映像再生装置であって、
前記映像表示部は、取得した前記脳活動データに対して複数の異なる前記加工映像を含む選択肢を表示可能であり、
前記映像表示部と、前記利用者が前記選択肢から任意の前記加工映像を選択することが可能な操作部と、を含むインターフェイス部を有することを特徴とする脳内映像再生装置。
【請求項８】
請求項７に記載の脳内映像再生装置であって、
取得した前記脳活動データに基づいて前記選択肢を確率的または統計的に形成する外部装置と接続されていることを特徴とする脳内映像再生装置。
【請求項９】
請求項８に記載の脳内映像再生装置であって、
前記利用者から過去に取得した前記脳活動データを蓄積し分析することにより、前記選択肢において確率的または統計的に可能性が高い順に前記加工映像を前記映像表示部に表示することを特徴とする脳内映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳内映像再生装置に関する。
【背景技術】
【０００２】
脳内で認識されている脳内映像を再現する技術が開示されている（例えば、特許文献１参照）。特許文献１では、利用者が視覚（眼）を通じて映像を認識したときの脳活動データを、例えば機能的磁気共鳴断層画像法（ｆＭＲＩ：functional Magnetic Resonance Imaging）等の脳画像化技術を用いて取得し、脳活動の状態と映像との関係をモデル化することにより、利用者の脳内で認識されている脳内映像の再現を可能としている。このような技術によれば、言葉に関する能力が失われている人や言葉による表現が困難な状態にある人の脳内映像を再現することで、その人の考えを第三者が認識することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１３／０１８４５５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際に映像を見ている状態の脳内映像と比べて、映像を見ないで頭の中で思い描いている状態の脳内映像は断片的であったり不鮮明であったりする場合が多く、したがって、このような状態において脳内映像として再現される映像も、断片的なもの或いは不鮮明なものとなってしまう。そうすると、第三者がその映像を見ても、利用者の脳内映像が何の映像であるか、すなわち、利用者が何を考えているのかを認識することが困難となる。そのため、実際に映像を見ている、見ていないに関わらず、脳内映像をより鮮明な映像で再現できる技術が求められている。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。【０００６】
［適用例１］本適用例の脳内映像再生装置は、利用者の脳活動データを取得するデータ取得部と、前記脳活動データから映像情報を検出して脳内映像を形成する脳内映像形成部と、前記脳活動データから非映像情報を検出する非映像情報検出部と、前記非映像情報に対応するサンプル画像を記憶する画像データベースと、前記脳内映像に前記サンプル画像を重畳させた加工映像を形成する映像加工部と、を有することを特徴とする。【０００７】
本適用例の脳内映像再生装置の構成によれば、データ取得部で利用者の脳活動データを取得し、脳内映像形成部で利用者の脳内映像を形成する。また、取得した利用者の脳活動データから非映像情報検出部で非映像情報を検出するので、利用者が実際に映像を見ていない場合でも、頭の中で何を思い描いているかを非映像情報として取得できる。そして、検出した非映像情報に対応するサンプル画像を画像データベースから抽出して、脳内映像形成部で形成した脳内映像にサンプル画像を重畳させた加工映像を映像加工部で形成するので、脳内映像形成部で形成した脳内映像よりも鮮明な映像で再現できる。これにより、利用者の脳内映像が何の映像であるか、すなわち、利用者が何を考えているのかを第三者がより容易に認識することが可能となる。【０００８】
［適用例２］上記適用例の脳内映像再生装置であって、前記非映像情報は言語情報であることが好ましい。【０００９】
この構成によれば、取得した利用者の脳活動データから言語情報を検出するので、利用者が実際に映像を見ていない場合でも、頭の中で何を思い描いているかを言語情報として取得できる。そのため、言語情報に基づいて対応するサンプル画像を画像データベースから抽出できる。また、例えば、再現した脳内映像に検出した言語情報を付加すれば、利用者が何を考えているのかを第三者がより一層容易に認識することが可能となる。【００１０】
［適用例３］上記適用例の脳内映像再生装置であって、前記脳活動データと前記非映像情報とを関連付けるルックアップテーブルを有し、前記非映像情報検出部は、前記ルックアップテーブルを参照することが好ましい。【００１１】
この構成によれば、脳活動データと非映像情報とを関連付けるルックアップテーブルを参照することで、取得した脳活動データに対応する言語情報等の非映像情報を特定することができる。これにより、画像データベースから非映像情報に対応するサンプル画像をより容易かつ確実に抽出することが可能となる。【００１２】
［適用例４］上記適用例の脳内映像再生装置であって、前記脳活動データの取得には、ＥＥＧ、ＭＥＧ、ｆＭＲＩ、ｆＮＩＲＳ、ＳＰＥＣＴ、およびＥＣｏＧを含む脳画像化技術のいずれかを用いることが好ましい。【００１３】
この構成によれば、ＥＥＧ、ＭＥＧ、ｆＭＲＩ、ｆＮＩＲＳ、ＳＰＥＣＴ、およびＥＣｏＧを含む脳画像化技術のいずれかを用いることで、利用者の脳活動データを取得できる。【００１４】
［適用例５］上記適用例の脳内映像再生装置であって、前記脳内映像形成部で形成された前記脳内映像と、前記非映像情報検出部で検出された前記非映像情報と、前記映像加工部で形成された前記加工映像と、を表示する映像表示部を有することが好ましい。【００１５】
この構成によれば、形成された脳内映像と、言語情報等の非映像情報と、脳内映像にサンプル画像を重畳させた加工映像と、を映像表示部に表示することで、利用者が何を考えているのかを第三者がより正確に認識することが可能となる。また、これらを映像表示部に表示することで、利用者が自身の脳活動データから形成された脳内映像と非映像情報と加工映像とを視認し検証することができる。【００１６】
［適用例６］上記適用例の脳内映像再生装置であって、前記映像表示部に表示された前記加工映像を視認した前記利用者の前記脳活動データを再度取得し、再度取得した前記脳活動データに基づいて前記加工映像を補正する映像補正部を有することが好ましい。【００１７】
この構成によれば、映像表示部に表示された加工映像を視認した利用者の脳活動データを再度取得して映像補正部で加工映像を補正するので、脳内映像をより一層鮮明な映像で再現できる。【００１８】
［適用例７］上記適用例の脳内映像再生装置であって、前記映像表示部は、取得した前記脳活動データに対して複数の異なる前記加工映像を含む選択肢を表示可能であり、前記映像表示部と、前記利用者が前記選択肢から任意の前記加工映像を選択することが可能な操作部と、を含むインターフェイス部を有することが好ましい。【００１９】
この構成によれば、インターフェイス部により、取得した脳活動データに対して複数の異なる加工映像を含む選択肢を映像表示部に表示し、利用者が操作部を操作して表示された選択肢から任意の加工映像を選択できるので、利用者の脳内映像をより正確に再現することが可能となる。【００２０】
［適用例８］上記適用例の脳内映像再生装置であって、取得した前記脳活動データに基づいて前記選択肢を確率的または統計的に形成する外部装置と接続されていることが好ましい。【００２１】
この構成によれば、脳内映像再生装置に接続された外部装置に、取得した脳活動データに基づいて確率的または統計的に選択肢が形成される。そのため、より確度や頻度が高い選択肢を提示できるので、利用者が何を考えているのかの認識精度を向上できる。また、選択肢を形成する機能を外部装置に持たせることで、認識精度を向上させつつ、脳内映像再生装置を簡易な構成とすることができる。【００２２】
［適用例９］上記適用例の脳内映像再生装置であって、前記利用者から過去に取得した前記脳活動データを蓄積し分析することにより、前記選択肢において確率的または統計的に可能性が高い順に前記加工映像を前記映像表示部に表示することが好ましい。【００２３】
この構成によれば、特定の利用者から過去に取得した脳活動データを蓄積し分析して、確率的または統計的に可能性が高い順に加工映像を表示するので、その利用者に対してより確度や頻度が高い選択肢を提示できる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る脳内映像再生装置の概略構成を示すブロック図。
【図２】画像データベースに記憶されたサンプル画像の一例を示す模式図。
【図３】画像データベースに記憶されたサンプル画像の一例を示す模式図。
【図４】画像データベースに記憶されたサンプル画像の一例を示す模式図。
【図５】第１の実施形態に係る脳内映像再生装置による脳内映像の再現処理を説明するフローチャート。
【図６】脳内映像形成部で形成した脳内映像の一例を示す模式図。
【図７】映像加工部で形成した加工映像の一例を示す模式図。
【図８】第２の実施形態に係る脳内映像再生装置の概略構成を示すブロック図。
【図９】第２の実施形態に係る脳内映像再生装置による脳内映像の再現処理を説明するフローチャート。
【発明を実施するための形態】
【００２５】
本発明の実施形態は、言葉に関する能力が失われている利用者や言葉による表現が困難な状態にある利用者（以下では、単に利用者と称する）と、第三者とのコミュニケーションを支援する脳内映像再生装置を提供することを目的とする。より具体的には、利用者が頭の中で思い描いている対象物（可能であれば、対象物が置かれた状況も含む）を映像としてより鮮明に再現することを可能にする。なお、ここでいう第三者とは、利用者がコミュニケーションをとる相手のことであり、言葉に関する能力が正常な人を想定しているが、他の利用者であってもよい。
【００２６】
特許文献１（米国特許出願公開第２０１３／０１８４５５８号明細書）に、カリフォルニア大学による脳内映像を再現する技術が開示されている。この技術では、被験者が視覚（眼）を通じて映像を認識したときの脳活動データを脳画像化技術を用いて取得し、脳活動の状態と映像との関係をモデル化することにより、利用者の脳内で認識されている脳内映像の再現を可能としている。また、特表第２０１２−５２２５５９号公報には、眠っている人が見ている夢を可視化する技術が開示されている。
【００２７】
本発明に係る脳内映像再生装置は、特許文献１に開示された技術に基づくものであり、取得した脳活動データから映像情報を検出して脳内映像を形成する装置である。そして、本発明に係る脳内映像再生装置は、脳活動データからさらに非映像情報を検出し、その非映像情報から利用者が頭の中で何を思い描いているかを認識して、脳内映像をより鮮明に再現しようとするものである。なお、非映像情報とは、映像情報以外で対象物を概念として認識することが可能な情報であり、具体的には対象物の名称等の言語情報や、視覚以外の五感に訴える情報、即ち、味覚、触覚、聴覚、嗅覚の情報、更に、寒い、暑いといった温感情報、好き嫌い、恐怖といった感情に関する情報等である。
【００２８】
まず、本発明に係る脳内映像の再現方法について概略を説明する。眠っている人が夢を見たときの映像を例にとると、例えば、犬に噛まれた夢を見た場合、夢の中で見た犬の大きさや色、吠えた鳴き声等の特徴は記憶していても、犬の外観形状等の詳細や犬の周りの景色等は記憶に残っていないということがある。また、夢の中で見た犬の特徴についても断片的にしか記憶に残っていないこともある。
【００２９】
これを、脳内でのデータ処理に置き換えて考えてみる。人が視覚で実際に見ている映像では、脳の後頭葉視覚野において対象物の外観形状等の詳細や背景等まで高解像度でデータ処理される。そして、データ処理された高解像の映像を脳内で認識して、対象物が犬であることや、その全体像及び特徴、周囲の状況までを認識することができる。一方、眠っている状態において夢で見る映像では、実際に見ている映像のように対象物や背景を含む全てに対して高解像度でデータ処理されない（高解像度のデータ処理を必要としていない）と考えられるが、それでも夢で見た対象物が犬であると認識することができる。
【００３０】
そこで、発明者らは、夢の中では脳の視覚野での映像だけからではなく、夢で見ている対象物を概念的に捉えて対象物が何であるかを判断しているのではないか、という仮説を立てた。つまり、夢の中で犬を見ている場合、脳内で、対象物である犬を外観形状等の詳細な映像として認識しているのではなく、例えば、『犬』であるという言語としての認識に基づいて概念的に捉えることで、犬の細部の形状認識の処理を簡略化している可能性があると考えた。
【００３１】
この仮説は、眠っている人が夢を見ている場合だけでなく、起きている人が何かを考えている場合にも適用されると考えられる。すなわち、人が脳内で何かを思い描いている場合には、脳の視覚野での映像だけでなく、思い描いている対象物の概念的な情報（例えば、言語情報）を伴っているものと考えられる。
【００３２】
このような考えによれば、人が頭の中で思い描いている状態の脳内映像は、視覚で実際に見ている状態の脳内映像と比べて断片的なものや不鮮明なものであり、このような状態の脳内映像を高精度に再現しても、視覚で実際に見ている状態と同様の鮮明な映像は得られない。そうすると、再現されたその人の脳内映像を第三者が見ても、その人の脳内映像が何の映像であるか、すなわち、その人が何を考えているのかを認識することは困難となる。
【００３３】
例えば、特開２０１４−１１５９１３号公報には、人（被験者）の脳活動情報から対象物の名前等の対象物情報を取得して出力する技術が開示されている。このような技術によれば、脳活動データから言語情報を得ることが可能となる。脳活動データから言語情報が得られれば、対象物が何であるかを認識できるので、その言語情報に基づいて対象物の外観形状等を大雑把ではあるが想定することができる。
【００３４】
よって、発明者らは、従来の脳活動データから映像情報を検出して形成した脳内映像に、脳活動データから得られる言語情報に基づいて選択された対象物のサンプル画像を重ね合わせれば、より鮮明に脳内映像を再現できるのではないか、と考えた。以下、本発明を具体化した実施形態について図面を参照して説明する。
【００３５】
（第１の実施形態）
＜脳内映像再生装置の構成＞
第１の実施形態に係る脳内映像再生装置について、図１を参照して説明する。図１は、第１の実施形態に係る脳内映像再生装置の概略構成を示すブロック図である。第１の実施形態に係る脳内映像再生装置１は、人の脳内で認識されている脳内映像を再現する装置である。なお、本明細書において、「映像」は静止画に限定されず動画も含むものとする。したがって、脳内映像再生装置１により再現される脳内映像は、静止画を主とするが動きを伴うものであってもよい。
【００３６】
図１に示すように、脳内映像再生装置１は、データ取得部１０と、映像処理部２０と、ＵＩ（ユーザーインターフェイス）部５０とを備えている。データ取得部１０とＵＩ部５０とは、インターフェイス（図示しない）を介して映像処理部２０と接続されている。
【００３７】
データ取得部１０は、利用者の脳活動データを取得する機能を有する。データ取得部１０は、ＥＥＧ（Electroencephalogram：脳波計）、ＭＥＧ（Magnetoencephalography：脳磁計）、ｆＭＲＩ（functional Magnetic Resonance Imaging：機能的磁気共鳴画像装置）、ｆＮＩＲＳ（functional Near-Infrared Spectroscopy：機能的近赤外線分光装置）、ＳＰＥＣＴ（Single Photon Emission Computed Tomography：単光子放射線コンピューター断層撮影）、およびＥＣｏＧ（Electrocorticogram：脳皮質電図）を含む脳画像化技術のいずれかに適応する装置で構成される。
【００３８】
映像処理部２０は、データ取得部１０で取得した脳活動データから検出した映像情報及び非映像情報（具体的には言語情報）に基づいて脳内映像を再現する機能を有する。映像処理部２０は、処理部３０と記憶部４０とを備えている。処理部３０は、脳内映像形成部３１と、非映像情報検出部としての言語情報検出部３２と、映像加工部３３とを含む。脳内映像形成部３１は、特許文献１に開示された技術に基づいて、脳活動データから映像情報を検出して脳内映像を形成する。
【００３９】
言語情報検出部３２は、後述するルックアップテーブル４１を参照して、脳活動データから言語情報を検出する。ここで検出する言語情報は、主に対象物の名称であるが、対象物の動作や対象物が置かれている状況に関する情報を含んでいてもよい。映像加工部３３は、後述する画像データベース４２から、言語情報検出部３２が検出した言語情報に対応するサンプル画像を取得し、脳内映像形成部３１が形成した脳内映像にサンプル画像を重畳させた加工映像を形成する。映像加工部３３が形成した加工映像が、利用者の脳内映像を再現した映像として出力される。
【００４０】
処理部３０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えている。処理部３０は、例えば、ＲＯＭに記憶された制御プログラムをＲＡＭに展開し、そのＲＡＭに展開された制御プログラムをＣＰＵが実行することで処理部３０の各部として動作する。あるいは、処理部３０は、ＣＰＵを備える代わりに、ＣＰＵと制御プログラムで実行される機能と同じ機能を実現するＡＳＩＣ（Application Specific IC）などのハードウェアで構成されてもよいし、ＣＰＵとＡＳＩＣとの双方で構成されてもよい。
【００４１】
記憶部４０は、ルックアップテーブル４１と画像データベース４２とを含む。ルックアップテーブル４１には、予め収集された脳活動データに基づいて、個々の脳活動データと言語情報とが関連付けされて記憶されている。画像データベース４２は、ルックアップテーブル４１に記憶された個々の言語情報に対応するサンプル画像が記憶されている。記憶部４０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの不揮発性メモリーで構成され、不揮発的に、かつ、書き換え可能に情報を記憶する。
【００４２】
なお、映像処理部２０は、特定のハードウェア構成に限定するものではなく、ハードウェアとソフトウェアとにより任意に実現可能であり、クラウドシステムのクラウドサーバー等の外部装置であってもよい。
【００４３】
ＵＩ部５０は、映像表示部５１と操作部５２とを含む。映像表示部５１は、映像加工部３３で形成された加工映像を再現した脳内映像として表示する。これにより、利用者が何を考えているのかを第三者に示すことができる。また、利用者が自身の脳活動データから形成された脳内映像を確認することができる。映像表示部５１は、液晶装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ装置（Electroluminescence Display）などの表示装置によって構成される。
【００４４】
映像表示部５１が、さらに、脳内映像形成部３１で形成された脳内映像と、言語情報検出部３２で検出された言語情報とを表示することとしてもよい。このような構成にすれば、利用者が何を考えているのかを第三者がより正確に認識することが可能となるとともに、利用者が自身の脳活動データから形成された脳内映像と言語情報と加工映像とを視認し検証することができる。
【００４５】
操作部５２は、ボタンやキー、あるいは、タッチパネル等で構成される。操作部５２がタッチパネルで構成される場合、映像表示部５１と操作部５２とが一体化されていてもよい。また、ＵＩ部５０は、映像処理部２０の機能を実現するクラウドサーバーにクライアントとして接続された携帯端末等であってもよい。
【００４６】
＜脳内映像の再現方法＞
次に、第１の実施形態に係る脳内映像再生装置１による脳内映像の再現方法を説明する。脳内映像再生装置１では、予め、ルックアップテーブル４１と画像データベース４２とを構築する。まず、様々な対象物のサンプル画像を用意する。サンプル画像は、同種の対象物、すなわち、同じ言語情報で表現される対象物に対して互いに異なる特徴を有する複数のサンプル画像を用意することが好ましい。
【００４７】
図２、図３、及び図４は、画像データベースに記憶されたサンプル画像の一例を示す模式図である。図２、図３、及び図４には、対象物が「自動車」である場合の異なる特徴を有するサンプル画像の例を、画像Ｐ１，Ｐ２，Ｐ３として示している。なお、サンプル画像は、静止画像を主体とするが、移動（上昇、落下等）や状態変化（変形、断裂等）等の対象物の動きを伴うものを含んでいてもよい。
【００４８】
次に、用意したサンプル画像を利用者（被験者）に見せて、そのサンプル画像が示す対象物を言語情報（名称）で表現してもらう。言語情報の表現方法としては、可能であれば声を出して言葉で表現してもらうことが望ましいが、筆記やキーボード入力等により表現してもらってもよいし、用意した選択肢の中から選択してもらってもよい。
【００４９】
各サンプル画像について、利用者がそのサンプル画像が示す対象物を言語情報で表現しているときの脳活動データを取得する。１つのサンプル画像について取得した脳活動データと、そのサンプル画像に対して表現された言語情報とを対応させてルックアップテーブル４１に記憶する。また、そのサンプル画像と表現された言語情報とを対応させて画像データベース４２に記憶する。これを繰り返すことで、脳内映像再生装置１の記憶部４０に、ルックアップテーブル４１と画像データベース４２とが構築される。
【００５０】
続いて、第１の実施形態に係る脳内映像再生装置１を用いて、利用者の脳内映像を再現する方法を、図５を参照して説明する。図５は、第１の実施形態に係る脳内映像再生装置による脳内映像の再現処理を説明するフローチャートである。図６は、脳内映像形成部で形成した脳内映像の一例を示す模式図である。図７は、映像加工部で形成した加工映像の一例を示す模式図である。
【００５１】
まず、データ取得部１０は、利用者の脳活動データを取得する（ステップＳ０１）。続いて、脳内映像形成部３１は、特許文献１に開示された技術に基づいて、データ取得部１０が取得した脳活動データから映像情報を検出する（ステップＳ０２）。そして、検出した映像情報から脳内映像を形成する（ステップＳ０３）。ここでは、脳内映像として、図６に示す映像Ｐ４が形成されたものとする。
【００５２】
また、言語情報検出部３２は、データ取得部１０が取得した脳活動データから言語情報を検出する（ステップＳ０４）。言語情報の検出は、例えば、以下のようにして行われる。言語情報検出部３２は、取得した脳活動データとルックアップテーブル４１に記憶されている脳活動データとを比較し、取得した脳活動データに対して所定の近似性があると認められる脳活動データを抽出する。
【００５３】
ルックアップテーブル４１に記憶されている複数の脳活動データに所定の近似性があると認められる場合は、最も近似性が高い脳活動データを抽出する。そして、言語情報検出部３２は、ルックアップテーブル４１を参照して、抽出した脳活動データに対応する言語情報を検出する。ここでは、脳活動データに対応する言語情報として「自動車」が検出されたものとする。
【００５４】
続いて、映像加工部３３は、画像データベース４２に記憶されたサンプル画像の中から、言語情報検出部３２が検出した言語情報に対応するサンプル画像を抽出する（ステップＳ０５）。ここでは、脳活動データに対応する言語情報として「自動車」が検出されているので、図２、図３、及び図４に示す複数のサンプル画像Ｐ１，Ｐ２，Ｐ３が対象として検索される。
【００５５】
ステップＳ０５において、映像加工部３３は、脳内映像形成部３１が形成した脳内映像に対して類似性が高いサンプル画像を抽出する。脳内映像とサンプル画像との類似性の評価は、例えば、外形形状や模様、空白部や開口部の大きさや位置関係等において類似する箇所を検出し、類似する箇所の多さや、類似する箇所の範囲の大きさ等に基づいて行われる。ここでは、図２、図３、及び図４に示すサンプル画像Ｐ１，Ｐ２，Ｐ３の中から、図２に示すサンプル画像Ｐ１が抽出されたものとする。
【００５６】
次に、映像加工部３３は、脳内映像形成部３１が形成した脳内映像に、画像データベース４２から抽出したサンプル画像を重畳させて加工映像を形成する（ステップＳ０６）。画像の加工は、例えば、脳内映像とサンプル画像との類似箇所を特定し、その類似箇所以外の部分について、脳内映像の比較的鮮明な部分は脳内映像を残し、不鮮明な部分をサンプル画像で補うことで行われる。ここでは、図６に示す映像Ｐ４に、図２に示すサンプル画像Ｐ１が重畳されて加工され、図７に示す加工映像Ｐ５が形成される。
【００５７】
ステップＳ０５で、言語情報に対応するサンプル画像が複数検索され、その中から脳内映像形成部３１が形成した脳内映像に対して類似性が高いサンプル画像が複数抽出された場合は、ステップＳ０６で、それぞれのサンプル画像を脳内映像に重畳させて、複数の加工映像を形成する。次に、映像加工部３３が形成した加工画像が複数あるか否かを判定する（ステップＳ０７）。
【００５８】
加工画像が複数ある場合（ステップＳ０７：ＹＥＳ）は、選択肢（複数の加工映像）を映像表示部５１に表示する（ステップＳ０８）。利用者は、映像表示部５１を視認し、操作部５２を操作することにより、選択肢の中から、頭の中に思い描いた映像に最も近い加工映像を選択する（ステップＳ０９）。その結果が、映像表示部５１に表示される（ステップＳ１０）。映像加工部３３が形成した加工画像が複数ない場合（ステップＳ０７：ＮＯ）は、加工映像が結果として映像表示部５１に表示される（ステップＳ１０）。
【００５９】
図６に示す脳内映像形成部３１が形成した映像Ｐ４では、対象物が何であるか分かりにくいが、図７に示す加工映像Ｐ５では対象物が自動車であることと、その特徴とが良く分かるようになる。第三者は、映像表示部５１に表示されたこの加工映像を視認することで、利用者が何を考えているのかを知ることができる。これにより、利用者と第三者と（あるいは、２人の利用者同士）のコミュニケーションをとることができる。
【００６０】
なお、ステップＳ０４で、ルックアップテーブル４１に記憶されている脳活動データに対して取得した脳活動データとの近似性が同程度に高いものが複数ある場合に、これら複数の脳活動データに対応する複数の異なる言語情報を検出し、複数の言語情報又は言語情報に対応するサンプル画像の候補を表示して利用者に選択してもらうこととしてもよい。
【００６１】
また、ステップＳ１０で、脳内映像形成部３１で形成された脳内映像（図６に示す映像Ｐ４）と、言語情報検出部３２で検出された言語情報と、映像加工部３３で形成された加工映像（図７に示す映像Ｐ５）と、映像表示部５１に表示するようにしてもよい。このようにすれば、例えば、最終的な加工映像から対象物が何であるかを第三者が認識できない場合に、脳内映像や言語情報を総合することにより対象物を認識することが可能となる。
【００６２】
また、例えば、最終的な加工映像に示された対象物が利用者が思い描いたものと異なっている場合に、検出された言語情報を表示することで脳活動データから正しい言語情報が検出されたか否かを検証することが可能となる。脳活動データから正しい言語情報が検出されていなかった場合に、操作部５２から正しい言語情報を入力することにより、ステップＳ０５のサンプル画像の抽出とステップＳ０６の加工映像の形成とを、やり直す構成としてもよい。さらに、脳活動データから正しい言語情報が検出されていなかった場合に、正しい言語情報を操作部５２から入力することにより、ルックアップテーブル４１の脳活動データと言語情報との関連付けを修正する構成としてもよい。
【００６３】
以上述べたように、第１の実施形態に係る脳内映像再生装置１によれば、取得した利用者の脳活動データから言語情報を検出し、検出した言語情報に対応するサンプル画像を、脳活動データから形成した脳内映像に重畳させた加工映像を形成するので、脳内映像をより鮮明な映像で再現できる。これにより、利用者の脳内映像が何の映像であるか、すなわち、利用者が何を考えているのかを第三者がより容易に認識することが可能となる。
【００６４】
（第２の実施形態）
＜脳内映像再生装置の構成＞
第２の実施形態に係る脳内映像再生装置について、図８を参照して説明する。図８は、第２の実施形態に係る脳内映像再生装置の概略構成を示すブロック図である。図８に示すように、第２の実施形態に係る脳内映像再生装置２は、データ取得部１０と、映像処理部２０Ａと、ＵＩ部５０と、ＵＩ部６０とを備えている。データ取得部１０とＵＩ部５０とＵＩ部６０とは、インターフェイス（図示しない）を介して映像処理部２０Ａと接続されている。ここでは、第１の実施形態との相違点を説明し、第１の実施形態と同じ構成要素については同一の符号を付してその説明を省略する。
【００６５】
映像処理部２０Ａは、処理部３０Ａと記憶部４０Ａとを備えている。処理部３０Ａは、脳内映像形成部３１と、言語情報検出部３２と、映像加工部３３と、映像補正部３４とを含む。映像補正部３４は、映像加工部３３が形成した加工映像の細部を補正する機能を有する。例えば、最終的な加工映像に示された対象物の一部分が鮮明でない場合や、利用者が思い描いたものと一部分が異なっている場合等に、その部分を補正することができる。これにより、第２の実施形態に係る脳内映像再生装置２では、利用者の脳内映像をより一層鮮明かつ正確な映像で再現することができる。
【００６６】
加工映像の補正は、例えば、映像表示部５１に表示された加工映像の中の鮮明でない部分や補正が必要な部分を利用者が指定し、補正内容を映像表示部５１に表示された選択肢（例えば、部分的な拡大／縮小、部分的な追加／削除／置換等）の中から選択して補正するようにしてもよい。また、補正が必要な部分に対して、その部分の補正に適した他のサンプル画像を検索して候補を表示するようにしてもよい。
【００６７】
記憶部４０Ａは、複数のルックアップテーブル（ここでは、ルックアップテーブル４１ａとルックアップテーブル４１ｂとの２つ）と、複数の画像データベース（ここでは、画像データベース４２ａと画像データベース４２ｂとの２つ）と、統計データベース４３とを含む。ルックアップテーブル及び画像データベースは、それぞれ３つ以上あってもよい。
【００６８】
ルックアップテーブル４１ａとルックアップテーブル４１ｂとの複数のルックアップテーブルを有することで、例えば、一方を基本テーブルとし、他方を特定の利用者の専用テーブルとして用いることができる。また、ルックアップテーブル４１ａとルックアップテーブル４１ｂとを、２人の利用者それぞれに対する専用テーブルとして用いることもできる。
【００６９】
画像データベース４２ａと画像データベース４２ｂとの複数の画像データベースを有することで、例えば、一方にサンプル画像を記憶し、他方に最終的な加工映像（補正映像も含む）を蓄積して記憶することができる。その場合、ルックアップテーブル４１ａ（又は４１ｂ）に、取得した脳活動データと最終的な加工映像とを関連付けて記憶する構成としてもよい。このようにすれば、過去の加工映像を蓄積することで、新たに取得した脳活動データから最終的な加工映像を抽出することも可能となる。
【００７０】
統計データベース４３には、例えば、過去に取得した脳活動データに対して検出された言語情報や、その言語情報に対応して選択されたサンプル画像や、最終的に得られた加工映像（補正映像も含む）等の統計的なデータが蓄積される。換言すれば、利用者が脳内映像再生装置２を繰り返し利用することで、その利用者特有の思考パターンや関心事等を学習することができる。
【００７１】
これにより、第２の実施形態に係る脳内映像再生装置２では、データ取得部１０が取得した脳活動データに対して、脳活動データと言語情報との関連付けの適合度をより高めることができる。そして、サンプル画像として過去に選択された頻度が高い画像から順に表示させたり、加工映像の選択肢として適合する確率が高い映像から順に表示させたりすることができる。このとき、選択肢の中で、最も頻度が高いサンプル画像を他のサンプル画像よりも大きく表示したり、最も適合する確率が高い加工映像を他の加工映像よりも大きく表示したりするようにしてもよい。
【００７２】
また、過去に取得した脳活動データのうち特定の脳活動データに対して同じ加工映像（補正映像も含む）が高い頻度で得られている場合は、その特定の脳活動データと同じ脳活動データを新たに取得した際に、その特定の脳活動データに対して過去に得られた加工映像（補正映像も含む）を候補として表示するようにしてもよい。
【００７３】
ＵＩ部６０は、ＵＩ部５０と同様に、映像表示部６１と操作部６２とを含む。第２の実施形態に係る脳内映像再生装置２は、例えば、ＵＩ部５０を利用者が使用し、ＵＩ部６０を第三者（あるいは、他の利用者）が使用することで、利用者と第三者（あるいは、２人の利用者同士）が互いに離れた場所にいる場合でも、コミュニケーションをとることができる。
【００７４】
＜脳内映像の再現方法＞
次に、第２の実施形態に係る脳内映像再生装置による脳内映像の再現方法を説明する。図９は、第２の実施形態に係る脳内映像再生装置による脳内映像の再現処理を説明するフローチャートである。ここでは、第１の実施形態との相違点を説明し、第１の実施形態と同じ処理については同一の符号を付してその説明を省略する。
【００７５】
第２の実施形態では、ステップＳ１０の後、ステップＳ１０で映像表示部５１に表示された加工映像に対して補正が必要か否かを利用者に確認する（ステップＳ１１）。補正が必要と利用者が判断した場合（ステップＳ１１：ＹＥＳ）は、利用者がＵＩ部５０又はＵＩ部６０から補正箇所や補正内容を指定（又は選択）する（ステップＳ１２）。映像補正部３４は、利用者が指定（又は選択）した補正内容に基づいて、加工映像に対する補正を実行する（ステップＳ１３）。
【００７６】
補正を実行した結果の映像が、映像表示部５１に表示される（ステップＳ１４）。補正が不要と利用者が判断した場合（ステップＳ１１：ＮＯ）は、ステップＳ１０で表示された加工映像が結果として映像表示部５１に表示される。
【００７７】
利用者が補正された映像（補正が不要の場合は、加工映像）を確認すると、結果が確定され映像処理部２０Ａに送信される（ステップＳ１５）。そうすると、ステップＳ０１で取得した脳活動データに対して最終的に得られた補正映像（補正が不要の場合は、加工映像）が画像データベース４２ａ（又は４２ｂ）に記憶される。
【００７８】
また、ステップＳ０１で取得した脳活動データに対して、利用者により言語情報が修正された場合は、修正された言語情報が関連付けされてルックアップテーブル４１ａ（又は４１ｂ）に記憶される。そして、各脳活動データに対する言語情報、サンプル画像、加工映像（補正映像も含む）等の適合度が統計的なデータとして統計データベース４３に蓄積される。
【００７９】
以上述べたように、第２の実施形態に係る脳内映像再生装置２によれば、形成した加工映像に対して細部を補正できるので、利用者の脳内映像をより一層鮮明かつ正確な映像で再現することができる。また、過去の統計的なデータを蓄積することで、取得した脳活動データに対する脳内映像として、適合する確率が高い映像を選択して表示させることができる。これにより、利用者が何を考えているのかを相手がより一層容易に認識することが可能となるので、利用者と第三者（あるいは、２人の利用者同士）の意思疎通をより円滑にすることができる。
【００８０】
上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。変形例としては、例えば、以下のようなものが考えられる。
【００８１】
（変形例１）
上記実施形態の脳内映像再生装置１，２において、取得した脳活動データから言語情報検出部３２が検出する言語情報は、複数であってもよい。複数の異なる言語情報が検出される場合は、利用者の脳内映像に複数の対象物が含まれていることや、対象物だけでなく背景も重要な要素であることが考えられる。このような場合は、検出された複数の言語情報のそれぞれに対してサンプル画像を抽出し、脳内映像形成部３１が形成した脳内映像にそれらのサンプル画像を重畳して加工すれば、利用者の脳内映像に含まれる複数の対象物や背景をより鮮明に再現することが可能となる。
【００８２】
（変形例２）
脳内映像再生装置２において、映像補正部３４で加工映像を補正する際に、補正前の加工映像を見ているときの利用者の脳活動データを取得し、その再取得した脳活動データから形成した脳内映像を用いて補正を実行することとしてもよい。このようにすれば、加工映像に対する利用者の反応を反映して映像を補正することができる。
【００８３】
（変形例３）
脳内映像再生装置２において、利用者とコミュニケーションをとる相手（第三者）が正常に言葉を話すことができる人である場合に、第三者について脳活動データを取得して脳内映像を再現し、再現した第三者の脳内映像を利用者のＵＩ部５０の映像表示部５１に表示するようにしてもよい。このようにすれば、互いの脳内映像を視認しあうことができるので、互いの意思疎通をより円滑にすることができる。
【００８４】
（変形例４）
脳内映像再生装置１，２は、声を出すことができない人、失語症の人等の言葉を話すことが困難な人のコミュニケーションの支援に適しているが、以下のような分野にも応用が可能である。例えば、事故や犯罪等を目撃した人の記憶を映像で再現することや、頭に浮かんだアイデアを映像で具現化することや、言葉ではうまく表現できない場合に映像で表現することも可能となる。また、心理カウンセリング等で睡眠中の夢を記録したい場合や、昏睡状態で話ができない状態の人とのコミュニケーションを図りたい場合等にも応用することが可能である。
【００８５】
（変形例５）
非映像情報として、対象物の名称という言語情報以外の情報を用いる場合に関して、説明する。利用者の脳活動データから検出された映像情報が赤い円形であった場合、映像情報だけからは、それが何かは不明である。名称として「リンゴ」という情報が検出できれば、赤いリンゴであることが判るが、名称が検出できなくても、「甘酸っぱい」という味覚情報が検出できれば、それが「リンゴ」であると推定できる。
また、映像情報から「山」であることが検出され、かつ、「寒い」という温感情報が検出できれば、それは、「夏山」ではなく、「冬山」であることが判る。
このように、映像情報に加えて、さまざまな非映像情報を用いることで、コミュニケーションがより正確に行えるようになる。
【符号の説明】
【００８６】
１，２…脳内映像再生装置、１０…データ取得部、２０，２０Ａ…映像処理部（外部装置）、３１…脳内映像形成部、３２…言語情報検出部、３３…映像加工部、３４…映像補正部、４１，４１ａ，４１ｂ…ルックアップテーブル、４２，４２ａ，４２ｂ…画像データベース、４３…統計データベース、５０，６０…ＵＩ（ユーザーインターフェイス）部、５１，６１…映像表示部、５２，６２…操作部。
【図１】
2017022228.tif 000003
【図２】
2017022228.tif 000004
【図３】
2017022228.tif 000005
【図４】
2017022228.tif 000006
【図５】
2017022228.tif 000007
【図６】
2017022228.tif 000008
【図７】
2017022228.tif 000009
【図８】
2017022228.tif 000010
【図９】
2017022228.tif 000011
【国際調査報告】
2017022228.tif 000012
2017022228.tif 000013
2017022228.tif 000014
2017022228.tif 000015