(57)【要約】【課題】眼球の映り込んでいる動画像についての動画像データから、自動的且つ正確に、瞳孔の範囲を抽出する。【解決手段】動画像データが画像処理部１２２に届くと、閾値決定部１２２Ｂ内の第１処理部１２２Ｂ１が、動画像データに含まれる静止画像データに基づく１つの静止画像に対して、濃度値極大から濃度値極小までの仮閾値を用いて二値化を行い、多数の仮閾値静止画像を生成する。第２処理部１２２Ｂ２は、多数の仮閾値静止画像に基づく仮閾値が変化しても仮閾値静止画像中の濃度が極大となっている面積が変化しない仮閾値の範囲を特定し、その範囲で特定閾値を決定する。二値化処理部１２２Ａは、特定閾値を用いて動画像データを二値化する。【選択図】図５（Ｂ）
2020089559.tif 000002
【特許請求の範囲】
【請求項１】
動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部と、
前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理部と、
前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理部で使用される前記特定閾値を決定する閾値決定部と、
を備えている画像処理装置であって、
前記閾値決定部は、
少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理部と、
前記第１処理部で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理部と、
を備えており、
前記二値化処理部は、
二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにするようになっている、
画像処理装置。
【請求項２】
前記第２処理部は、前記仮閾値の範囲のうちの中央を含む５０％の範囲に含まれるように前記特定閾値を決定するようになっている、
請求項１記載の画像処理装置。
【請求項３】
前記カメラと一体となっている、
請求項１記載の画像処理装置。
【請求項４】
前記二値化処理部は、前記二値静止画像データの元となる前記静止画像データのすべてに対して、同一の前記特定閾値を用いて二値化の処理を行うようになっている、
請求項１記載の画像処理装置。
【請求項５】
前記カメラによる撮像の環境が予め定められた条件にしたがって複数通りに変化するようになっているとともに、
前記閾値決定部は、複数通りの撮像の環境のそれぞれに対応した複数の前記特定閾値を生成するようになっており、
前記二値化処理部は、前記二値静止画像データの元となる複数の前記静止画像データのそれぞれに対して、前記静止画像データに基づく前記静止画像のそれぞれが撮像されたときの撮像の環境に対応して生成された前記特定閾値を用いて二値化の処理を行うようになっている、
請求項１記載の画像処理装置。
【請求項６】
前記カメラは、撮像の環境が変化する瞬間における前記静止画像に対して、所定のデータであるタイミングデータを埋め込むようになっているとともに、
前記閾値決定部は、前記動画像データに含まれるすべての前記静止画像データについて前記タイミングデータが埋め込まれているか否かの判定を行い、前記静止画像中に埋め込まれた前記タイミングデータの有無に基づいて新たな特定閾値を生成するか否かを決定するようになっている、
請求項５記載の画像処理装置。
【請求項７】
前記カメラにおいて撮像の環境が変化するタイミングが予め決定されているとともに、
前記閾値決定部は、前記タイミングで区切られた同じ環境で撮像された前記静止画像データ用の特定閾値を１つずつ生成するようになっている、
請求項５記載の画像処理装置。
【請求項８】
前記動画像データ受付部は、前記動画像データを所定のネットワークを介して前記カメラから受取るようになっている、
請求項１記載の画像処理装置。
【請求項９】
動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部を備えるコンピュータで実行される方法であって、
前記コンピュータが実行する、
前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、所定の同一の閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像された前記静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理過程と、
前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理過程で使用される前記特定閾値を決定する閾値決定過程と、
を含んでおり、
前記閾値決定過程では、
少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理過程と、
前記第１処理過程で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理過程と、
を実行するとともに、
前記二値化処理過程では、
二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにする、
画像処理方法。
【請求項１０】
動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部を備えたコンピュータを、
前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、所定の同一の閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像された前記静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理部と、
前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理部で使用される前記特定閾値を決定する閾値決定部と、
を備えており、
前記閾値決定部が、
少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理部と、
前記第１処理部で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理部と、
を備えており、
前記二値化処理部が、
二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにするようになっている、
画像処理装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼球の画像の中から瞳孔の範囲を抽出するための画像処理技術に関する。
【背景技術】
【０００２】
瞳孔が、交感神経と副交感神経の二重支配を受けていることは、医学の分野で古くから知られている。瞳孔の拡大（散瞳）は交感神経のはたらきによって実現され、瞳孔の縮小（縮瞳）は、副交感神経のはたらきによって実現される。
したがって、刺激光を被験者の目に照射して瞳孔がどのように反応するかを観察することにより、交感神経と副交感神経とのどちらが優位にはたらいているか、ということを判定することができる。交感神経が優位である場合には一般に被験者は、緊張状態、興奮状態にあり、副交感神経が優位である場合には一般に被験者は、リラックス状態、鎮静状態にある。したがって、瞳孔の反応を観察することにより、交感神経と副交感神経とのどちらが優位にはたらいているかということだけでなく、例えば被験者の現時点における心身の状態をも、判定することが可能となる。しかも、周知のように、交感神経と副交感神経とはともに、被験者の意思とは無関係に働く自律神経に属する。したがって、かかる判定の結果は、被験者の意思によって誤魔化すことができないという点で信頼性が高い。
かかる瞳孔の観察による心身の状態の判定は、医療目的でも行われるし、そうでない目的でも行われる。また、被験者は人に限らず、例えば人以外の哺乳動物を対象とすることも可能である。
【０００３】
以上の如き目的を達成するために眼球の撮像がなされることがあり得る。そのための眼球撮像装置も実用化されており、普及している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、そのような眼球撮像装置にも課題がある。
特に上述した目的で眼球を撮像した場合には、瞳孔の拡縮を正確に捉えることが必要となる。そのためには、カメラで眼球を撮像することによって生成された動画像の中から瞳孔の範囲を正確に抽出するための技術が必要となる。
しかしながら、それを自動的に行うのは簡単でない。瞳孔は、概ねその周囲に円形に広がる虹彩の中心に存在する。しかしながら、虹彩と瞳孔の境界線は滑らかな曲線状とはなっておらず細かな凹凸が存在するため、眼球を撮像して生成された動画像に対して画像処理を行って動画像中の瞳孔の範囲を抽出するのは、少なくともそれを正確に行おうとした場合には難しい。
【０００５】
本願発明は、眼球を撮像して生成された動画像データに対して画像処理を行うことにより、自動的且つ正確に動画像中の瞳孔の範囲を抽出するための技術を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために本願発明者は次のような技術を提案する。
本願発明は、動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部と、前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理部と、前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理部で使用される前記特定閾値を決定する閾値決定部と、を備えている画像処理装置である。
そしてこの画像処理装置における前記閾値決定部は、少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理部と、前記第１処理部で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理部と、を備えており、前記二値化処理部は、二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにするようになっている。
【０００７】
本願における画像処理装置は、動画像データに基づく動画の中から、より詳細には動画に映り込んだ眼球の中から瞳孔の範囲を抽出するために用いられる。もっとも、眼球の中から瞳孔の範囲を抽出する目的、或いは眼球の画像から抽出された瞳孔の範囲の利用目的は、交感神経と副交感神経とのどちらが優位にはたらいているかを判定することや、被験者の心身の状態を判定することであっても良いし、それ以外でも構わない。
本願における画像処理装置は、動画像データ受付部を備えており、カメラから動画像データを受取る。動画像データは、静止画像についてのデータである静止画像データを多数連ねたものである。かかる動画像データは、極一般的なものである。動画像データを構成する静止画像データに基づく静止画には、被験者の片眼の眼球が映り込んでいる。
上述したように、画像処理装置は、動画像データ受付部を備えており、動画像データ受付部によりカメラから動画像データを受取るようになっている。このとき、画像処理装置は、カメラとは別体に構成されている場合と、カメラと一体的に構成されている場合がある。カメラと別体で構成される画像処理装置は、デスクトップ型或いはラップトップ型のコンピュータ、タブレット、又はスマートフォン等の例えば公知或いは周知のコンピュータ装置によって構成される。これらによって画像処理装置がカメラと別体として構成される場合には、カメラとコンピュータ装置とを接続するための手段、例えば、カメラとコンピュータ装置とが有線接続される場合においてはコンピュータ装置における接続端子が、カメラとコンピュータ装置とが無線接続される場合においてはコンピュータ装置における通信機構（例えば、Ｂｌｕｅｔｏｏｔｈによる通信を行うための通信機構）が、本願発明における動画像データ受付部となる。画像処理装置がカメラと一体である場合、画像処理装置は例えば、カメラに内蔵された状態となる。その場合におけるカメラは、動画像データを生成する撮像素子（例えば、ＣＣＤ、或いはＣＭＯＳ）そのものということになり、画像処理装置として機能するカメラに内蔵のコンピュータ（この場合には、演算装置）に撮像素子を接続するためのインターフェイスが、本願発明における動画像データ受付部となる。
なお、動画像データ受付部は、動画像データをカメラから直接（例えば、他の装置、機器を経ないで）受取るようになっていても良い。他方、前記動画像データ受付部は、前記動画像データを所定のネットワークを介して前記カメラから受取るようになっていてもよい。この場合、画像処理装置はいわゆるクラウドコンピューティングの技術を利用するものとなる。
この場合、画像処理装置は、カメラとは別体のコンピュータ、或いはカメラと一体となったコンピュータから、ネットワークを介して動画像データを受取り、その動画像データに対して後述するような画像処理を行うことによって生成された二値動画像データを、送信元のコンピュータに返送するか、或いは他の装置に転送することになる。
【０００８】
本願発明における画像処理装置は、二値化処理部を備えている。この二値化処理部は、動画像データに対して、二値化の処理を行うものである。それが行う二値化の処理自体は公知或いは周知のもので足りる。二値化処理部は、動画像データ受付部が受付けた動画像データに含まれる静止画像データのうちの少なくとも複数に対して、二値化の処理を行うことで、二値動画像データを生成する。静止画像データのうちの少なくとも複数に対して、二値化の処理を行うというのは、動画像データに基づく動画像のすべての部分について二値化の処理を行わなくても良い、ということを示している。例えば、動画像データ受付部が１０秒分の動画像についての動画像データを受付けた場合において、最終的に生成される二値動画像データが、その後半７秒分の動画像についてのものであっても良いというのが、静止画像データのうちの少なくとも複数に対して、二値化の処理を行うという文章の意味するところの一例である。また、動画像データに含まれる多数の静止画像データに対して１つおきに２値化の処理をすることで、最終的に生成される二値動画像データのフレーム数を動画像データのフレーム数の半分にする、というようなことも上記文言の意味するところの他の例となる。画像処理装置のコンピューティングパワーが不足していて、動画像データに含まれるすべての静止画像データに対して二値化の処理を行うのが難しい場合には、このような方法を採用することができる。
公知或いは周知のように、二値化の処理には閾値が必須であるが、二値化処理部で行われる二値化の処理の場合には、閾値として特定閾値が用いられる。本願発明における画像処理装置は、その特定閾値を決定するための閾値決定部を備えている。閾値決定部が生成して二値化処理部で使用される特定閾値は１つの場合も、複数の場合もある。二値化の処理を行う際において閾値を決定するための手法として、ｐ−タイル法、モード法等が知られているが、そのような従来の技法を用いて閾値を決定しても、瞳孔と虹彩の境界線を正確に判別することができない。そこで、本願発明では、閾値決定部を上述のようなものとしている。
本願の画像処理装置における閾値決定部は、第１処理部と第２処理部とを備えている。第１処理部は、静止画像データのうちの少なくとも１つに基づく静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する。つまり、第１処理部は、ある静止画像を二値化する処理を、閾値を変えながら繰り返すものとされている。その結果生成される二値化された画像が、仮閾値静止画像である。仮閾値静止画像を幾つ作るか、言い換えれば幾つの閾値を用いて静止画像を二値化するかは適宜決定することができるが、例えば、静止画像の各画素に割当てられる極大から極小までの濃度（或いは明度）が０から２５５の２５６段階なのであれば、その数を例えば、２５６とすることができる。もっとも、特定閾値は、濃度のすべての段階で行う必要はなく、例えば、濃度が０から２５５の２５６段階なのであれば、その奇数段階目の濃度のみを閾値として用いるとか、特定閾値が含まれることが大凡予想されている濃度範囲のみ、例えば、濃度が０から２５５の２５６段階である場合に５０から２００の範囲の濃度のみを閾値として用いることができる。
他方、第２処理部は、第１処理部で生成された複数の仮閾値静止画像に基づいて、仮閾値が変化しても仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない仮閾値の範囲を特定するとともに、その範囲に含まれるようにして特定閾値を決定するものとなっている。このような方法で特定閾値を決定することができる理由は、次に述べるが如きである。れは、静止画像に映り込んだ例えば人間の瞳孔は、人種等を問わず、虹彩を含む眼球の他の部分よりも明度が低い（濃度が高い）ため、適切な閾値を設定してやれば、静止画像の中から瞳孔のみを抽出することが可能となるという、本願発明者の研究結果に基づく。
そして、眼球が映り込んだある静止画像を極大の濃度から極小の濃度に向けて徐々に小さくなる様々な仮閾値で二値化して仮閾値静止画像にした場合には、仮閾値が徐々に小さくなるにつれて仮閾値静止画像中の濃度が極大となっている範囲の面積は徐々に大きくなっていくが、仮閾値がある程度小さくなると仮閾値の大きさをそれよりも小さくしても仮閾値静止画像中の濃度が極大となっている範囲の面積に変化が生じなくなり、更にある大きさよりも仮閾値が小さくなると今度は閾値が小さくなるに連れて仮閾値静止画像中の濃度が極大となっている範囲の面積がまた徐々に大きくなるという、定型化できる変化が生じることと、閾値の大きさが変化しても仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない場合における仮閾値静止画像中の濃度が極大となっている範囲は、元の静止画像における瞳孔の範囲とよく一致していることと、が判明した。これらによれば、第１処理部で生成された複数の仮閾値静止画像に基づいて、仮閾値が変化しても仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない範囲に含まれるようにして決定された特定閾値を閾値として用いることにより、二値化処理部で行われる二値化の処理を行った結果得られた二値動画像データは、その二値動画像データを構成する二値静止画像データに基づく各二値静止画像が、瞳孔のみを正確に抽出したものとなる。そして、二値化処理部は、二値化の対象となる連続する少なくとも複数の静止画像データを同一の特定閾値を用いて二値静止画像データにする。このようにある程度まとまった静止画像データに対して二値化処理部が同じ特定閾値を用いて二値化の処理を行うため、二値化処理部で行う処理を比較的高速なものとすることができる。また、第１処理部、第２処理部が行う処理も、二値化処理部が行う処理も定型化したものであるので、それらが行う処理を自動的に行うことが可能である。
これにより、本願発明における画像処理装置を用いれば、眼球を撮像して生成された動画像データに対して画像処理を行うことにより、自動的且つ正確に動画像中の瞳孔の範囲を抽出することが可能となる。
【０００９】
上述したように、閾値決定部における第２処理部は、第１処理部で生成された複数の仮閾値静止画像に基づいて、仮閾値が変化しても仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない仮閾値の範囲を特定して、その範囲の仮閾値から特定閾値を決定するようになっている。
例えば、前記第２処理部は、前記仮閾値の範囲のうちの中央を含む５０％の範囲に含まれるように前記特定閾値を決定するようになっていても良い。そうすることにより、眼球を撮像して生成された動画像データに基づく動画像中の瞳孔の範囲の抽出が、より正確となる。上述の５０％の範囲は、３０％とするのがより好ましい。もちろん、そうすることによって、眼球を撮像して生成された動画像データに基づく動画像中の瞳孔の範囲の抽出が、更に正確になる。
【００１０】
前記二値化処理部は、前記二値静止画像データの元となる前記静止画像データのすべてに対して、同一の前記特定閾値を用いて二値化の処理を行うようになっていてもよい。そうすることによって、二値化処理部で行う処理をより定型化することができるし、また閾値決定部で生成する特定閾値を１つだけとすることにより、動画像データから二値動画像データを生成する処理を、より短時間で行えるようになる。
【００１１】
前記カメラによる撮像の環境が予め定められた条件にしたがって複数通りに変化するようになっているとともに、前記閾値決定部は、複数通りの撮像の環境のそれぞれに対応した複数の前記特定閾値を生成するようになっており、前記二値化処理部は、前記二値静止画像データの元となる複数の前記静止画像データのそれぞれに対して、前記静止画像データに基づく前記静止画像のそれぞれが撮像されたときの撮像の環境に対応して生成された前記特定閾値を用いて二値化の処理を行うようになっていてもよい。
例えば、カメラによって撮像を行い動画像データを生成している最中に、撮像の環境（本願において、「撮像の環境」とは、撮像の結果に影響を与える環境を意味する。）が変化する場合がある。例えば、照明光が有る状態と無い状態という２つの状態の環境の変化がカメラによる撮像中に生じる場合がある。或いは、照明光が無い状態での撮像が基本であるが、カメラによる撮像が行われている最中に一時的に照明光がある状態となる場合がある。この場合には、照明光が無い、照明光が有る、そして照明光が無いという３つの状態が生じることになる。このような撮像の環境の変化がある場合、それぞれの環境で撮像された動画像中の静止画像毎にそれに相応しい特定閾値が必要となる場合がある。つまり、特定閾値が１つのみであると、ある撮像の環境下で撮像された動画像（動画像データ）から正しく瞳孔を検出することが可能であっても、他の環境下で撮像された動画像（動画像データ）から正しく瞳孔を検出することができないこともあり得る。閾値決定部が、複数通りの撮像の環境のそれぞれに対応した複数の特定閾値を生成するようになっており、また、二値化処理部が、二値静止画像データの元となる静止画像データのそれぞれに対して、静止画像データに基づく静止画像のそれぞれが撮像されたときの撮像の環境に対応して生成された特定閾値を用いて二値化の処理を行うことにより、カメラで動画像データを生成する際に撮像の環境の変化があったとしても、二値化の処理の対象となるすべての静止画像データから適切な二値静止画像データを得ることが可能となる。つまり、動画像データに含まれる静止画像データの二値化を二値化処理部が行うときに、動画像データに含まれるその静止画像データが撮像された時点における撮像の環境と、その静止画像データを二値化するときに用いられる特定閾値とを同期させて変化させることにより、適切な二値静止画像データを、ひいては適切な二値動画像データを得ることができるようになる。
カメラは、撮像の環境が変化する瞬間における静止画像に対して、所定のデータであるタイミングデータを埋め込むようになっているとともに、前記閾値決定部は、前記動画像データに含まれるすべての前記静止画像データについて前記タイミングデータが埋め込まれているか否かの判定を行い、前記静止画像中に埋め込まれた前記タイミングデータの有無に基づいて新たな特定閾値を生成するか否かを決定するようになっていてもよい。上述のように、撮像の環境が変化する場合において適切な特定閾値を用いて動画像データに含まれる特定閾値を変化させるには、動画像データに含まれるその静止画像データが撮像された時点における撮像の環境と、その静止画像データを二値化するときに用いられる特定閾値の変化とを、同期させることが必要となる。この工夫は、そのための工夫の一例である。カメラで、撮像の環境の変化が生じる瞬間における静止画像に対してタイミングデータ（例えば、静止画像の少なくとも一部に、ある画像（照明光があることを示す電球のマーク等、或いは静止画像全体をブランク（真っ黒）とする等）や、文字や記号等を埋め込むようにすることで、画像処理装置の閾値決定部及び二値化処理部はそれらが現在扱っている静止画像データに基づく静止画像が撮像された瞬間の環境を把握することが可能となる。それにより、上述した同期が可能となる。なお、タイミングデータは、ある撮像の環境から別の撮像の環境に移る瞬間の静止画像データにのみ含めても良いが、上述の別の撮像の環境の間のすべての静止画像データに含まれていても良い。つまり、タイミングデータは、その有無により、画像処理装置の閾値決定部及び二値化処理部が、少なくとも閾値決定部が、それらが現在扱っている静止画像データに基づく静止画像が撮像された瞬間の環境を把握できるようにすることが目的なので、その目的が達成されるように動画像データ中に埋め込まれれば良い。
また、前記カメラにおいて撮像の環境が変化するタイミングが予め決定されているとともに、前記閾値決定部は、前記タイミングで区切られた同じ環境で撮像された前記静止画像データ用の特定閾値を１つずつ生成するようになっていてもよい。これも、上述の如き同期を実現するための工夫である。カメラにおいて撮像の環境が変化するタイミングが予め決定されているのであれば、閾値決定部及び二値化処理部は、カメラにおける撮像の条件を閾値決定部や二値化処理部に知らせるためのタイミングデータの如きデータが無くても、カメラにおいて生成された動画像データに含まれる静止画像データに基づく静止画像が撮像された瞬間の環境を把握することが可能となる。そのような場合においては、閾値決定部が、上述のタイミングで区切られた同じ環境で撮像された静止画像データ用の特定閾値を１つずつ生成するようになっていれば、撮像の環境と特定閾値とを同期させた状態で変化させられるようになる。
【００１２】
本願発明者は、画像処理装置で実行される方法をも本願発明の一態様として提案する。かかる方法による効果は、本願発明による画像処理装置の効果に等しい。
一例となるその方法は、動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部を備えるコンピュータで実行される方法である。
そしてこの方法は、前記コンピュータが実行する、前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、所定の同一の閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像された前記静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理過程と、前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理過程で使用される前記特定閾値を決定する閾値決定過程と、を含んでおり、前記閾値決定過程では、少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理過程と、前記第１処理過程で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理過程と、を実行するとともに、前記二値化処理過程では、二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにする。
【００１３】
本願発明者は、画像処理装置として所定の例えば汎用のコンピュータを機能させるためのコンピュータプログラムをも本願発明の一態様として提案する。かかるコンピュータプログラムによる効果は、本願発明による画像処理装置の効果に等しく、また、本願による画像処理装置として所定のコンピュータを機能させることが可能となることもその効果である。
一例となるそのコンピュータプログラムは、動画を撮像することのできる所定のカメラで撮像されることによって前記カメラによって生成された、被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものである、動画像のデータである動画像データを受付ける動画像データ受付部を備えたコンピュータを、前記動画像データに含まれる前記静止画像データのうちの少なくとも複数に対して、所定の同一の閾値である特定閾値を用いて二値化の処理を行うことにより、前記静止画像を二値化した画像である二値静止画像された前記静止画像のデータである二値静止画像データを多数連ねたものである、動画像のデータである二値動画像データを生成する二値化処理部と、前記動画像データに含まれる前記静止画像データのうちの少なくとも１つを用いることにより、前記二値化処理部で使用される前記特定閾値を決定する閾値決定部と、を備えており、前記閾値決定部が、少なくとも１つの前記静止画像データに基づく前記静止画像を異なる複数の閾値である仮閾値で二値化することにより、各画素の濃度が極大か極小となるようにされた複数の仮閾値静止画像を生成する第１処理部と、前記第１処理部で生成された複数の前記仮閾値静止画像に基づいて、前記仮閾値が変化しても前記仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない前記仮閾値の範囲を特定するとともに、その範囲に含まれるようにして前記特定閾値を決定する第２処理部と、を備えており、前記二値化処理部が、二値化の対象となる連続する少なくとも複数の前記静止画像データを同一の前記特定閾値を用いて前記二値静止画像データにするようになっている、画像処理装置として機能させるためのコンピュータプログラムである。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態による心身の状態の判定システムの全体構成を示す図。
【図２】図１に示した心身の状態の判定システムに含まれる眼球撮像装置の頭部の水平断面図。
【図３】図１に示した心身の状態の判定システムに含まれる眼球撮像装置の垂直断面図。
【図４】図１に示したコンピュータ装置のハードウェア構成を示す図。
【図５（Ａ）】図２に示したコンピュータ装置の内部に生成される機能ブロックを示すブロック図。
【図５（Ｂ）】図５（Ａ）に示した画像処理部の内部に生成される機能ブロックの例を示すブロック図。
【図６】図１に示した眼球撮像装置で撮像を行うときにおける照明光と反射光の振る舞いを説明するための図。
【図７】図５（Ｂ）に示した第１処理部で多数生成される仮閾値静止画像における仮閾値と仮閾値静止画像中の濃度が極大の範囲の面積との関係を示すグラフ。
【図８】図１に示したコンピュータ装置で生成されるグラフデータに基づいてディスプレイに表示される画像の一例を概略的に示す図。
【図９】第２実施形態における被験者の心身の状態の判定システムの全体構成を概略的に示す図。
【図１０】図９に示したコンピュータ装置内に生成される機能ブロックを示す機能ブロック図。
【図１１】図９に示したサーバ内に生成される機能ブロックを示す機能ブロック図。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明の好ましい第１及び第２実施形態及び変形例について説明する。
両実施形態、及び変形例の説明において、同一の対象には同一の符号を付すものとし、重複する説明は場合により省略するものとする。また、特に矛盾しない限りにおいて、各実施形態及び変形例に記載の技術内容は相互に組み合せることができるものとする。
【００１６】
≪第１実施形態≫
図１に、この実施形態における心身の状態の判定システム（以下、単に「判定システム」という場合がある。）の概観を示す。
図１に示したように、判定システムは、眼球撮像装置１と、コンピュータ装置１００との組合せにより構成されている。
眼球撮像装置１にはカメラが含まれる。コンピュータ装置１００は本願発明における画像処理装置の機能を有する。つまり、この実施形態における心身の状態の判定システムは、本願発明における画像処理装置とカメラとが別体の場合の一例ということになる。
この実施形態における判定システムは、人の心身の状態を判定するための物である。つまり、被験者は人間である。もっとも判定の対象たる被験者は、人間に限らず、人間以外の哺乳動物としても良い。その場合には、以下に説明する眼球撮像装置１の構成（例えば、以下に説明する眼球撮像装置１の頭部の大きさ、形状）が、撮像の対象となる哺乳動物に適切となるように必要に応じて変形される。
【００１７】
この実施形態における眼球撮像装置１は、被験者たる人間の眼球を撮像して被験者の眼球、より詳細には眼球中の瞳孔の拡縮の状態がその画像に含まれる動画についてのデータである動画像データを生成し、出力する機能を有している。その限りにおいて眼球撮像装置１は、公知或いは周知のもので良い。
この実施形態における眼球撮像装置１は、手持ち可能とされた把持部１０と、把持部１０の上方前側に設けられた頭部２０とを備えている。
把持部１０と頭部２０は、これには限られないが例えば不透明な樹脂製である。少なくとも頭部２０は、不透明な素材でできている必要がある。それらの内部は中空であり、後述するようにしてその内部に種々の部品が内蔵され、或いは取付けられる。把持部１０及び頭部２０には部品が内蔵されるので、それらは部品が内蔵される事実上のケースとして機能する。
把持部１０は、片手で手持ちすることができる形状となっており、これには限られないがこの実施形態では棒状或いは円柱状の形状とされている。
頭部２０は先端に向かってやや広がる断面略矩形状のフードと呼べるように構成された筒であり、不透明な素材例えば不透明な樹脂でできている。頭部２０の先端（使用時に、被験者の顔に対面される側、図１における手前側）には開口２１が設けられている。これには限られないが、この実施形態における開口２１は、その四隅が丸められた横長の略矩形である。この眼球撮像装置１は、被験者自身、或いは被験者以外の例えば、医師等がその把持部１０を把持して、頭部２０の先端の開口２１の縁を被験者のいずれかの目の周囲に当接させた状態で用いられる。開口２１の縁を隙間なく被験者の目の周りに押付けることにより、頭部２０を構成する樹脂が不透明なこともあり、頭部２０の内側に外光が入り込まない状態を作り出せるようになっている。
なお、把持部１０か頭部２０の適当な位置、例えば把持部１０の前側には、スイッチ１５が設けられている。スイッチ１５は、後述する刺激光光源を点灯させる切っ掛けとなる入力を行うための操作子であり、この実施形態では把持部１０に押し込んで入力を行う押し釦とされている。もっとも、刺激光光源を点灯させる切っ掛けとなる入力信号を生成することが可能であれば、スイッチ１５は押し釦式である必要はない。もっといえば、被験者の目の周囲に頭部２０の開口２１の縁が押し当てられたことを検出するセンサを用いること等により、被験者或いは医師等の意思によらずに刺激光光源を点灯させることも可能である。そのような構成が採用される場合には、眼球撮像装置１にスイッチ１５を設けることは不要となる。
【００１８】
図２に眼球撮像装置１における頭部２０の水平断面図を、図３に眼球撮像装置１全体の垂直断面図をそれぞれ示す。
頭部２０の内部の図１における手前側には、レンズ１１、照明光光源３１ａ及び刺激光光源３１ｂと、第１偏光板３２とが設けられている。また、頭部２０の内部の図１における奥側には、第２偏光板３３及び撮像素子１２が設けられている。
【００１９】
この実施形態において、照明光光源３１ａは複数である。照明光光源３１ａは、照明光としての自然光を発するものである。それが可能な限り照明光光源３１ａは電球、ＬＥＤ等適宜のもので構成することができる。この実施形態における照明光光源３１ａはこれには限られないがＬＥＤである。照明光光源３１ａは、ある程度の指向性をもって対象物たる眼球の表面に向けて光を発するようになっている。後述するように、撮像時において、眼球は、開口２１の略中央に位置することになるので、各照明光光源３１ａから照射される光の光軸は、概ね開口２１の中央の方向を向いている。それにより、撮像時に眼球が位置することが予定された一定の範囲は、照明光光源３１ａからの照明光によりある程度一様の明るさで照明されることになる。なお、照明光光源３１ａは、頭部２０に固定された基板に固定されているが、基板の図示は省略している。
照明光光源３１ａが発する照明光の波長には特に制限はない。一般的な白色光を照明光光源３１ａが発するようになっていても良い。もっとも、被験者の目へ生理的な影響を与えないように、例えば、照明光の照射が原因となる瞳孔の拡縮が生じないようにすることを重視するのであれば、照明光は不可視な波長の光、例えば赤外領域の波長の光とすべきであり、それには限られないがこの実施形態ではそうされている。より具体的には、この実施形態の照明光光源３１ａは、赤外領域のうちの特定の波長範囲の波長の光を選択的に発生させるＬＥＤにて構成されている。この実施形態の照明光光源３１ａが照射する光の波長は、被験者に視認されないことを主な理由に、９００ｎｍ或いはそれよりも長いものとされている。波長を長くしても、この実施形態における第１偏光板３２と第２偏光板３３に用いられる直線偏光板（例えば、ワイヤグリッド偏光板）によって、後述するような艶消しの画像を得ることに対する影響は生じない。しかしながら波長が長いと、一般的な撮像素子１２による撮像は行いにくくなる。このような点を考慮し、照明光の波長を９００ｎｍよりも長い範囲で適当に選択すべきである。この実施形態における照明光光源３１ａは、これには限られないが、図示せぬスイッチにより電源をＯＮした場合には、常時点灯するようになっている。
上述したように、この実施形態における照明光光源３１ａは、これには限られないが複数である。各照明光光源３１ａは、頭部２０の開口２１付近に位置しており、この実施形態では、開口２１の図１における水平方向の両外側における頭部２０の壁のやや内側に位置している。開口２１の右側と左側に位置する照明光光源３１ａはそれぞれ、直線状に、より正確には、図１における鉛直方向に、この実施形態では複数個ずつ並んでいる。図３に示したように、開口２１の右側において上下方向に並ぶ照明光光源３１ａの数は５つであり、開口２１の左側においても同様である。もっとも、当然に開口２１の右側と左側上下方向に並べた照明光光源３１ａの数は５つずつである必要がなく、もっと言えば複数である必要もない。
他方、刺激光光源３１ｂは、被験者の目へ、被験者が明るさを感じられるような波長の光、言い換えれば被験者の目の瞳孔に拡縮の反応を促すような波長の光である刺激光を照射するための光源である。これには限られないが、この実施形態では、開口２１の右側と左側に上述したようにそれぞれ上下に５つずつ並んだ照明光光源３１ａの上側に、設けられている。もっとも、刺激光光源３１ｂの位置は、被験者の目へ刺激光を照射できるのであればこの限りではない。また、刺激光光源３１ｂから出る刺激光は、第１偏光板３２を通過させる必要がないため、第１偏光板３２の図１における手前側に位置していても構わない。
この実施形態における刺激光光源３１ｂは通常は点灯しておらず、上述したようにスイッチ１５が押された場合に、点灯するようになっている。スイッチ１５が押された場合に刺激光光源３１ｂが点灯する時間は短時間で良い。スイッチ１５が押された場合に刺激光光源３１ｂが点灯する時間は、例えば、０．１秒から１秒の間から決定することが可能である。この実施形態では、この限りではないが、その時間は、０．５秒となっている。
【００２０】
頭部２０の左右の端付近において上下方向に５つ並んだ照明光光源３１ａ、及び刺激光光源３１ｂの手前にはそれぞれ、それを通過した自然光である照明光及び刺激光を直線偏光にする偏光板である第１偏光板３２が１枚ずつ配置されている。この実施形態における第１偏光板３２は、図１、図３に示されたように、縦長の矩形であり、その限りではないが、この実施形態では、開口２１の下端から上端にわたるようにして開口２１の先端付近に配されている。この実施形態では、照明光光源３１ａから出た光のうち、撮像素子１２によって後述するように行われる撮像に寄与する照明光はすべて、第１偏光板３２を通過するようになっており、第１偏光板３２の幅はその観点から設計されている。なお、撮像素子１２による撮像に寄与する照明光がすべて第１偏光板３２を通過するようにするために、これには限られないが、この実施形態では、レンズ１１の周囲にその内縁が隙間なく接し、且つその外縁が頭部２０の内周面に隙間なく接する、ドーナツ型であり光を通さない壁である隔壁１９が、頭部２０内に設けられている。隔壁１９は、頭部２０内の空間を、レンズ１１の前側の空間と後側の空間とに区切るものである。かかる隔壁１９の存在により、各照明光光源３１ａから発せられた光のうち、第１偏光板３２を通過していないものがレンズ１１の後側の撮像素子１２が存在する空間に到達しないようになる。なお、この実施形態では刺激光光源３１ｂから出た刺激光も第１偏光板３２を通過するようになっているが、上述したように刺激光光源３１ｂから出た刺激光は、必ずしも第１偏光板３２を通過しなくても良い。
この実施形態における第１偏光板３２は、赤外領域の波長の光に対して偏光板として機能するものとなっている。必ずしもこの限りではないが、この実施形態における第１偏光板３２は、ワイヤグリッド偏光板である。ワイヤグリッド偏光板は、樹脂の板に、非常に細い金属線を所定間隔で平行に配したものであり、通常の偏光板が偏光板として機能しない赤外領域の波長の光に対しても偏光板として機能する。ワイヤグリッド偏光板の例としては、旭化成イーマテリアルズ株式会社が製造販売する「Ａｓａｈｉ  Ｋａｓｅｉ  ＷＧＦ（商標）」を挙げることができる。なお、以上については、第２偏光板３３も同じである。
上述したように、第１偏光板３２を通過した照明光は直線偏光になる。例えば、第１偏光板３２を通過した直線偏光である照明光の偏光面は、図１において水平となるようになっている。
【００２１】
レンズ１１は、照明光が眼球である対象物で反射して生じる反射光を撮像素子１２に結像させるためのものである。それが可能な限りにおいて、レンズ１１は一枚である必要はないし、レンズ１１以外の必要な光学部品を含んでいても良い。また、レンズ１１は像の拡大の機能を持っていてもよいし、それ以外の機能を持っていても良い。
撮像素子１２は、反射光を捉え撮像を行うものである。この実施形態の撮像素子１２は赤外領域の波長の光による撮像を行えるものであればどのようなものでも構わない。撮像素子１２は例えばＣＣＤ、或いはＣＭＯＳにより構成することができる。撮像素子１２は撮像により得た画像のデータを生成する。撮像素子１２が撮像する画像は、動画である。撮像素子は、眼球を撮像して、動画像のデータである動画像データを生成する。動画像データによる動画には、被験者の眼球が映り込んでおり、瞳孔の拡縮が分かるものとなる。動画像データは、静止画像についてのデータである静止画像データを多数連ねたものとなる。
撮像素子１２は、接続線１２ａにて回路１３に接続されている。回路１３は撮像素子１２が生成した画像のデータを接続線１２ａを介して撮像素子１２から受取るようになっている。回路１３は、ビデオ信号の外部への出力に先んじて必要な処理、例えば明るさの調整や、必要であればアナログ／デジタル変換などを行う。
回路１３は接続線１３ａを介して出力端子１４に接続されている。出力端子１４は、図示を省略のケーブル１６を介して、コンピュータ装置１００との接続を行うものである。ケーブル１６と出力端子１４との接続はどのように行われても良いが、例えば、ＵＳＢその他の規格化された接続方式を用いるのが便利であろう。なお、眼球撮像装置１によって生成された動画像データのコンピュータ装置１００への出力は、この実施形態のように有線で行われる必要はない。動画像データの出力が無線で行われる場合には、眼球撮像装置１は、出力端子１４に代えて、例えばＢｌｕｅｔｏｏｔｈ（商標）による通信をコンピュータ装置１００と行うための公知或いは周知の通信機構を備えることになる。もちろん、コンピュータ装置１００との接続を、有線と無線の双方で行えるようにすることも可能である。
回路１３は、また、上述したスイッチ１５に接続線１５ａによって接続されている。スイッチ１５からの入力信号を受けた回路１３は、刺激光光源３１ｂを点灯させるようになっている。
【００２２】
第２偏光板３３は、上述したように第１偏光板３２と同じものでできているものの、その機能が第１偏光板３２と異なる。第２偏光板３３は、第１偏光板３２によって直線偏光とされた照明光が眼球である対象物の表面で反射することによって生じた反射光のうちの眼球の表面で反射された光である表面反射光に含まれる直線偏光の成分を遮断する機能を有している。
照明光と反射光の光軸を軸として見れば、第１偏光板３２と第２偏光板３３とは、それらを通過した光の直線偏光における偏光面が直交するような向きとなるようになっている。この実施形態でいえば、自然光が第２偏光板３３を反射光と同じ向きで通過した場合、第２偏光板３３を通過することによって生じた直線偏光の偏光面は、図１における鉛直方向となるようになっている。
眼球からの反射光は、レンズ１１を通り、更には第２偏光板３３を通過してから撮像素子１２で撮像される。したがって、撮像素子１２で撮像に寄与する光は、反射光のうち、第２偏光板３３を通過できる成分のみとなる。なお、第２偏光板３３は、撮像素子１２と対象物との間の反射光の光路上に存在すれば良く、例えば、レンズ１１の眼球側に存在しても良いし、また、例えばレンズ１１が複数枚のレンズからなるのであれば、複数枚のレンズの間に位置しても良い。
【００２３】
次に、コンピュータ装置１００について説明する。
コンピュータ装置１００は、一般的なコンピュータであり、市販のもので良い。この実施形態におけるコンピュータ装置１００は、これには限られないが市販のタブレットである。なお、コンピュータ装置１００は、以下に記載する構成、機能を備えている限り、必ずしもタブレットである必要はなく、スマートフォンや、ノート型パソコン、デスクトップ型パソコン等であっても構わない。スマートフォンや、パソコンである場合においても、コンピュータ装置１００は市販のものであっても良い。タブレットとしては、例えば、Apple Japan合同会社が製造、販売を行うiPad（商標）シリーズを挙げることができる。スマートフォンとしては、例えば、同社が製造、販売を行うiPhone（商標）シリーズを挙げることができる。
【００２４】
コンピュータ装置１００の外観は、図１に示されている。
コンピュータ装置１００は、ディスプレイ１０１を備えている。ディスプレイ１０１は、静止画又は動画、一般的にはその双方を表示するためのものであり、公知、或いは周知のものを用いることができる。ディスプレイ１０１は例えば、液晶ディスプレイである。コンピュータ装置１００は、また入力装置１０２を備えている。入力装置１０２は、ユーザが所望の入力をコンピュータ装置１００に対して行うためのものである。入力装置１０２は、公知或いは周知のものを用いることができる。この実施形態におけるコンピュータ装置１００の入力装置１０２はボタン式のものとなっているが、これには限られず、テンキー、キーボード、トラックボール、マウスなどを用いることも可能である。特に、コンピュータ装置１００がノート型パソコン、デスクトップ型パソコンである場合には、入力装置１０２はキーボードや、マウス等になるであろう。また、ディスプレイ１０１がタッチパネルである場合、ディスプレイ１０１は入力装置１０２の機能を兼ねることになり、この実施形態ではそうされている。
【００２５】
コンピュータ装置１００のハードウェア構成を、図４に示す。
ハードウェアには、ＣＰＵ（central processing unit）１１１、ＲＯＭ（read only memory）１１２、ＲＡＭ（random access memory）１１３、インターフェイス１１４が含まれており、これらはバス１１５によって相互に接続されている。
ＣＰＵ１１１は、演算を行う演算装置である。ＣＰＵ１１１は、例えば、ＲＯＭ１１２、或いはＲＡＭ１１３に記録されたコンピュータプログラムを実行することにより、後述する処理を実行する。図示をしていないが、ハードウェアはＨＤＤ（hard disk drive）その他の大容量記録装置を備えていてもよく、コンピュータプログラムは大容量記録装置に記録されていても構わない。
ここでいうコンピュータプログラムには、本願発明の判定装置の１つとしてこのコンピュータ装置１００を機能させるためのコンピュータプログラムが少なくとも含まれる。このコンピュータプログラムは、コンピュータ装置１００にプリインストールされていたものであっても良いし、コンピュータ装置１００の出荷後にインストールされたものであっても良い。このコンピュータプログラムのコンピュータ装置１００へのインストールは、メモリカード等の所定の記録媒体を介して行なわれても良いし、ＬＡＮ或いはインターネットなどのネットワークを介して行なわれても構わない。
ＲＯＭ１１２は、ＣＰＵ１１１が後述する処理を実行するために必要なコンピュータプログラムやデータを記録している。ＲＯＭ１１２に記録されたコンピュータプログラムとしては、これに限られず、コンピュータ装置１００がタブレットなのであれば、コンピュータ装置１００をタブレットとして機能させるために必要な、例えば、電子メールを実行するためのコンピュータプログラムやデータが記録されている。コンピュータ装置１００は、また、インターネット上のホームページを閲覧することも可能とされており、それを可能とするための公知或いは周知のｗｅｂブラウザを実装している。
ＲＡＭ１１３は、ＣＰＵ１１１が処理を行うために必要なワーク領域を提供する。場合によっては、上述のコンピュータプログラムやデータが記録されていてもよい。
インターフェイス１１４は、バス１１５で接続されたＣＰＵ１１１やＲＡＭ１１３等と外部との間でデータのやり取りを行うものである。インターフェイス１１４には、上述のディスプレイ１０１と、入力装置１０２とが接続されている。入力装置１０２から入力された操作内容についてのデータは、インターフェイス１１４からバス１１５に入力されるようになっている。また、周知のようにディスプレイ１０１に画像を表示するための画像データは、インターフェイス１１４から、ディスプレイ１０１に出力されるようになっている。インターフェイス１１４は、また、上述したケーブル１６から（正確には、ケーブル１６と接続されたコンピュータ装置１００が備える図示せぬ入力端子から）、動画像データを受付けるようになっている。ケーブル１６から入力された動画像データは、インターフェイス１１４からバス１１５に送られるようになっている。
【００２６】
ＣＰＵ１１１がコンピュータプログラムを実行することにより、コンピュータ装置１００の内部には、図５（Ａ）で示されたような機能ブロックが生成される。なお、以下に説明する機能ブロックは、コンピュータ装置１００を本願発明の画像処理装置の１つとして機能させるための上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、コンピュータ装置１００にインストールされたＯＳその他のコンピュータプログラムとの協働により生成されても良い。
コンピュータ装置１００には、本願発明の機能との関係で、入力部１２１、画像処理部１２２、グラフ生成部１２３、出力部１２４が生成される。
【００２７】
入力部１２１は、インターフェイス１１４から、データを受付けるものである。入力部１２１が受付けるデータは、入力装置１０２から入力された操作内容のデータと、ケーブル１６から入力された動画像データである。入力部１２１は、それらデータをインターフェイス１１４を介して受取った場合、それを画像処理部１２２に送るようになっている。
画像処理部１２２は、入力部１２１から受付けた動画像データに基いて、二値動画像データを生成するものである。画像処理部１２２内には、二値化処理部１２２Ａ、及び閾値決定部１２２Ｂが生成され、また閾値決定部１２２Ｂ内には、第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２が生成される。簡単にいうと、二値化処理部１２２Ａは、動画像データ或いはその一部に対して二値化の処理を行うものであり、閾値決定部１２２Ｂは、二値化処理部１２２Ａが二値化の処理を行う際に用いる閾値である特定閾値を決定するものである。第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２の機能も含めて、画像処理部１２２の機能及び画像処理部１２２が生成する二値動画像データの詳細については後述する。画像処理部１２２は、生成した二値動画像データデータを、グラフ生成部１２３に対して送るようになっている。また、場合によっては、画像処理部１２２から出力部１２４に、二値動画像データが送られうる。
グラフ生成部１２３は、二値動画像データを受取った場合、それに基いて、瞳孔の拡縮を示すグラフのデータであるグラフデータを生成するものである。グラフ生成部１２３の機能、及びグラフ生成部１２３が生成するグラフデータの詳細については後述する。グラフ生成部１２３は、生成したグラフデータを、出力部１２４に対して送るようになっている。
出力部１２４は、グラフデータに基づく画像、または、場合によっては二値動画像データに基づく画像についての画像データを、インターフェイス１１４を介してディスプレイ１０１に出力するものである。出力部１２４は、グラフデータ又は二値動画像データに基づいてディスプレイ１０１に画像を表示させるための画像データを生成する機能を有している。画像データを受取ったディスプレイ１０１には、グラフデータ又は二値動画像データに対応した画像が表示されることになる。
【００２８】
次に、以上で説明した判定システムの使用方法、及び動作を説明する。
判定システムを用いる場合には、まず、上述したように、ケーブル１６で、眼球撮像装置１とコンピュータ装置１００とを接続する。両者を接続すると、この実施形態では、眼球撮像装置１の照明光光源３１ａが点灯する。眼球撮像装置１に電源スイッチを設けておき、その電源スイッチをＯＮにすることで照明光光源３１ａが点灯するようになっていてもよい。
その状態で、被験者又は医師等がその把持部１０を把持し、その頭部２０における開口２１の縁を、被験者の片目の周囲に押し当てる。このとき、開口２１の周囲から頭部２０の内部に外光が入り込まないように、被験者の目の周囲と開口２１の縁との間に隙間ができないように注意する。
【００２９】
照明光光源３１ａから出た照明光は、第１偏光板３２を通過してから、開口２１の略中央に位置する眼球で反射し、レンズ１１及び第２偏光板３３を通過して撮像素子１２に至る。撮像素子１２は、眼球からの反射光を捉え、撮像を行う。その結果、撮像素子１２は、瞳孔の拡縮の状態がわかるような状態で被験者の眼球が映っている動画像についてのデータである動画像データを生成する。被験者の片眼の眼球を含む静止画像についてのデータである静止画像データを多数連ねたものとなる。この実施形態で使用される照明光の波長は上述したように、被験者の目には見えない赤外領域の波長であるから、照明光の影響によって被験者の目の瞳孔が拡縮することはない。
動画像データは、接続線１２ａを介して回路１３へ送られ、回路１３で必要に応じて適当な処理（明るさの調整等）をなされてから接続線１３ａを介して出力端子１４に至る。そして、出力端子１４からケーブル１６を経て、コンピュータ装置１００へと至るようになっている。動画像データは眼球撮像装置１からコンピュータ装置１００へと常に送られていても良いが、この実施形態では、動画像データは、常に眼球撮像装置１からコンピュータ装置１００へと送られているわけではない。動画像データは、後述するように、必要な時間帯の分だけが眼球撮像装置１からコンピュータ装置１００へと送られるようになっている。
【００３０】
照明光光源３１ａからの照明光によって撮像素子１２で撮像される反射光がどのようなものかということを、概念的に図６に示す。
図６（Ａ）は眼球の最表面で反射する反射光である表面反射光を、図６（Ｂ）は眼球の表面から若干眼球内に入って反射する反射光である内部反射光の振る舞いを示している。また、太線の○印の中に引かれた直線は当該部分における照明光又は反射光の偏光面の向きを観念的に示しており、○印の中に放射状に線が引かれているのは当該部分における照明光又は反射光の直線偏光性が乱れている（例えば自然光化している。）ことを示している。
照明光光源３１ａから出た照明光は、第１偏光板３２を通過する。第１偏光板３２を通過した照明光は直線偏光になる。その場合の照明光である直線偏光の偏光面は、図１における水平方向である。ここまでは、図６（Ａ）、（Ｂ）で共通である。
第１偏光板３２を通過した直線偏光である照明光は、眼球Ｘに当たり、眼球Ｘからの反射光となる。眼球Ｘの表面で反射した反射光のうち表面反射光は、その偏光状態が理想的には維持されたままである。直線偏光である表面反射光は、自然光を通過させたときに生じる直線偏光の偏光面の向きが第１偏光板３２と直交するようにされている第２偏光板３３に遮断され、撮像素子１２には届かない（図６（Ａ））。
他方、内部反射光は、その偏光状態が乱れている。内部反射光は、その中に含まれる光のうち、表面反射光に含まれる直線偏光の偏光面と直交する方向で振動するものが、第２偏光板３３を通過するので、その半分程度が撮像素子１２に到達することになる（図６（Ｂ））。
結果として、照明光光源３１ａからの照明光を用いて撮像素子１２が画像を撮像するために利用される光は、内部反射光のみということになる。これがどのようなことを意味するかというと、撮像素子１２が撮像を行うことにより生成される画像は艶消し画像になるということである。つまり、撮像素子１２が撮像する動画像には、例えば、照明光光源３１ａそれ自体が映り込むことがなく、眼球そのものの状態が正確に映し出されたものとなる。これは、当該動画像から瞳孔の大きさを例えば画像処理により把握するのに大きく役立つ。
【００３１】
医師等は、眼球撮像装置１の頭部２０における開口２１の縁を被験者の片目の周囲に押し当てた状態で、把持部１０に設けられたスイッチ１５を押す。この状態でも、被験者の目は暗順応していない。スイッチ１５を押すと、スイッチ１５で生成された入力信号が回路１３に送られ、回路１３が刺激光光源３１ｂに刺激光を照射させる。刺激光は、上述したように、この実施形態ではこれには限られないが０．５秒間照射される。
刺激光光源３１ｂから出た刺激光は、第１偏光板３２を通過してから、開口２１の略中央に位置する眼球で反射し、レンズ１１及び第２偏光板３３を通過して撮像素子１２に至る。刺激光光源３１ｂから出て眼球で反射した刺激光も、照明光の場合と同様に内部反射光のみが撮像素子１２に至ることになる。もっとも、撮像素子１２は、そもそも刺激光の波長の光の撮像を行わないようになっているので、刺激光、或いは刺激光に基づく画像は撮像素子１２では撮像されない。
撮像素子１２は、この実施形態では、常に、例えば、眼球撮像装置１がケーブル１６によってコンピュータ装置１００に接続されているときは常に、上述のような動画像データを生成するようになっている。この動画像データは、常に回路１３へと送られている。回路１３には、図示せぬ上書き記録部が内臓されており、上書き記録部は常に動画像データを上書きしつつ保存している。このような上書き記録部は、例えば、公知或いは周知のリングバッファにより構成することができる。上述したように、撮像素子１２で生成された動画像データのうち、コンピュータ装置１００で後述する判定を行うのに必要な分に対応する動画像データが、コンピュータ装置１００へ送られる。上書き記録部には、コンピュータ装置１００へ送られるその必要な分の動画像データに対応した動画像よりも長い時間の動画像に対応する動画像データが記録される。例えば、コンピュータ装置１００に送られる動画像データに対応する動画像が最長で６秒間分なのであれば、上書き記録部に記録されている動画像データを、過去の６秒間分よりも長い、例えば過去の１０秒分の動画像に対応する動画像データとすればよい。もちろんこれには限られないが、とりあえずこの実施形態では、眼球撮像装置１からコンピュータ装置１００へと送られる動画像データに対応する動画像は、最長で６秒間分であるものとする。
上述のように、スイッチ１５が押されるとそれによりスイッチ１５で生成された入力信号が回路１３に送られる。これを受取った回路１３は、上述したように刺激光光源３１ｂを点灯させるとともに、スイッチ１５が押された瞬間において上書き記録部に記録されていた過去１秒分の動画像についての動画像データ、及びスイッチ１５が押された瞬間から後の５秒間分の動画像についての動画像データを、６秒間分の動画像データとして上書き記録部から読み出す。
つまり、このようにして、回路１３は、スイッチ１５が押された場合に、スイッチ１５が押された瞬間と事実上同時である刺激光光源３１ｂが刺激光の照射を開始した瞬間を基準として、その前１秒間、その後５秒間の合計６秒間分の動画像についての動画像データを生成し、それを接続線１３ａを介して出力端子１４へ送る。かかる６秒間分の動画像データは、ケーブル１６を介して眼球撮像装置１からコンピュータ装置１００へと送られることになる。
回路１３に、刺激光光源３１ｂが刺激光の照射を開始した瞬間を基準として、その前１秒間、その後５秒間の合計６秒間分の動画像についての動画像データを生成させるには、上述の上書き記録部は必須でない。例えば、スイッチ１５から回路１３に上述した入力信号の入力があった瞬間の１秒後に回路１３が刺激光光源３１ｂに刺激光の照射を開始させるとともに、回路１３がスイッチ１５から入力信号が入力された瞬間から６秒間分の動画像についての動画像データを出力端子１４に送るようになっていれば、回路１３は、刺激光光源３１ｂが刺激光の照射を開始した瞬間を基準として、その前１秒間、その後５秒間の合計６秒間分の動画像についての動画像データを生成することになる。
【００３２】
いずれにせよ、この実施形態では６秒分の長さとされた動画像についての動画像データは、ケーブル１６を介して眼球撮像装置１からコンピュータ装置１００に送られる。その動画像データは、インターフェイス１１４から、コンピュータ装置１００内の入力部１２１に送られる。
入力部１２１は受取った動画像データを画像処理部１２２に送る。動画像データを受取った画像処理部１２２は、動画像データに基いて、二値動画像データを生成する。
【００３３】
画像処理部１２２が動画像データから二値動画像データを生成する際の処理は以下のようなものである。
画像処理部１２２が動画像データを受取ると、画像処理部１２２は、まず特定閾値を決定する。特定閾値を決定するのは、閾値決定部１２２Ｂである。動画像データが画像処理部１２２に受取られると、動画像データに含まれる多数の静止画像データのうちの少なくとも１つが、閾値決定部１２２Ｂ内の第１処理部１２２Ｂ１に送られる。動画像データに含まれる多数の静止画像データのうちのどれが閾値決定部１２２Ｂの第１処理部１２２Ｂ１に送られるようになっているかは、適当に決定することができる。例えば、動画像データに含まれる最初の静止画像が第１処理部１２２Ｂ１に送られるようになっていても良いし、動画像データに含まれる動画像の１秒目に対応する静止画についての静止画像データが第１処理部１２２Ｂ１に送られるようになっていても良い。また、動画像データに含まれる静止画のうちの幾つか、例えば２つ、或いは３つが第１処理部１２２Ｂ１に送られるようになっていても構わない。とりあえず、ここでは、第１処理部１２２Ｂ１には１つのみの静止画像データが送られるものとする。
第１処理部１２２Ｂ１は静止画像データを受取ると、複数の互いに異なる仮閾値を閾値として、静止画像データに基づく静止画像を二値化して、複数の仮閾値静止画像とする。複数の仮閾値静止画像はいずれも、各画素の濃度が極大か極小となるようにされる。仮閾値は、上述のように複数である。各画素に割当てられ得る濃度が仮に０〜２５５の２５６段階なのであれば（これには限られないがこの実施形態では、静止画像の各画素に割当てられる濃度は０〜２５５の２５６段階であるものとする。）、仮閾値としては、濃度０〜濃度２５５までの最大で２５６個を採用することが可能である。もっとも、この場合においても、追って決定される特定閾値の精度がそれ程求められないのであれば、２、４、６…という偶数の濃度値のみを仮閾値とするとか、奇数の濃度値のみを仮閾値とするとか、３の倍数の濃度値のみを仮閾値とするということも可能である。特定閾値が含まれることが大凡予想されている濃度値の範囲（後述するＳの範囲が含まれ得る範囲）が明確なのであれば、その範囲、例えば、濃度が０から２５５の２５６段階である場合に５０から２００の範囲の濃度のみを閾値として用いることも可能である。この場合には、仮閾値静止画像の数は、２５６個よりも減る。この実施形態では、仮閾値として、濃度０〜濃度２５５までの２５６個を用いるものとする。そうすると、第１処理部１２２Ｂ１は、２５６個の仮閾値静止画像を生成することになる。第１処理部１２２Ｂ１は、その２５６個の仮閾値静止画像についての仮閾値静止画像データを、第２処理部１２２Ｂ２に引き渡す。
【００３４】
第２処理部１２２Ｂ２は、第１処理部１２２Ｂ１で生成された複数（この実施形態では２５６個）の仮閾値静止画像に基づいて、仮閾値が変化しても仮閾値静止画像中の濃度が極大となっている範囲の面積が変化しない仮閾値の範囲を特定するとともに、その範囲に含まれるようにして特定閾値を決定する。
上述したようにして第１処理部１２２Ｂ１で生成された閾値を２５５とした仮閾値静止画像は、元の静止画像の画素のうち、濃度値が２５５であった画素のみが濃度値が極大（２５５）であり、それ以外の画素はすべて濃度値が極小（０）となるようなものとなる。閾値を２５４とした仮閾値静止画像は、元の静止画像の画素のうち、濃度値が２５５と２５４であった画素のみが濃度値が極大（２５５）であり、それ以外の画素はすべて濃度値が極小（０）となるようなものとなる。閾値を２５３とした仮閾値静止画像は、元の静止画像の画素のうち、濃度値が２５５から２５３であった画素のみが濃度値が極大（２５５）であり、それ以外の画素はすべて濃度値が極小（０）となるようなものとなる。つまり、仮閾値を濃度値極大の状態から下げていくと、濃度値が極大となる範囲（面積）はだんだん増えていく。
しかしながら、この関係は仮閾値を小さくし続けていっても保たれるものではなく、仮閾値をそれ以上小さくしても濃度値が極大となる範囲（面積）が増えない状態となる。この状態は、元の静止画像中の瞳孔の部分に存在する画素のみの濃度値が極大となっている状態である。
その状態はしばらく続くが、仮閾値をある程度以上小さくすると、また、濃度値が極大となる範囲（面積）が増えはじめる。
仮閾値の大きさと、仮閾値静止画像中の濃度値が極大となっている範囲の面積を概略的に図に示すと、図７に示したようになる。図７においてＳで示した範囲が、仮閾値が変化しても仮閾値静止画像中の濃度値が極大となっている範囲の面積が変化しない範囲である。第２処理部１２２Ｂ２は、そのＳの範囲を特定し、そのＳの範囲の中で特定閾値を決定する。Ｓの範囲の中でどう特定閾値を決定しても良いが、この実施形態における第２処理部１２２Ｂ２は、Ｓの範囲の中央を含む（中央を中心とする）５０％の範囲に含まれるように特定閾値を決定するようになっていても良く、より好ましくはＳの範囲の中央を含む（中央を中心とする）３０％の範囲に含まれるように特定閾値を決定するようになっている。この実施形態では、Ｓの範囲の中央の閾値を仮閾値として決定するようになっている。特定閾値に端数が出た場合には、例えば端数を繰り上げる、繰り下げる等の適当な処理を行えば良い。
以上のようにして、閾値決定部１２２Ｂで特定閾値が決定される。
決定された特定閾値についてのデータは、閾値決定部１２２Ｂから、二値化処理部１２２Ａへと送られる。また、入力部１２１から画像処理部１２２へと送られていた動画像データは、特定閾値についてのデータと前後して、二値化処理部１２２Ａに受取られている。
なお、上述したように、閾値決定部１２２Ｂにおける第１処理部１２２Ｂ１は複数の静止画像データを受取る場合がある。その場合には、第１処理部１２２Ｂ１は、各静止画像データに基づく静止画から、上述した２５６個で一組の仮閾値静止画像を生成して、それを第２処理部１２２Ｂ２に送る。それを受付けた第２処理部１２２Ｂ２は、上述した処理を複数組の仮閾値静止画像の各組に対して行って、複数の特定閾値を決定する。そして、第２処理部１２２Ｂ２は、そのように決定された複数の特定閾値に基づいて、例えば、複数の特定閾値を平均して、得られる閾値を、改めて特定閾値として決定する。
【００３５】
二値化処理部１２２Ａは、受取った動画像データに対して二値化の処理を行う。より具体的には、動画像データに含まれる多数の静止画像データのそれぞれに基づく多数の静止画について二値化の処理を行う。上述の第１処理部１２２Ｂ１が行う二値化の処理もそうであるが、二値化処理部１２２Ａが行う二値化の処理も公知或いは周知のもので足りる。二値化処理部１２２Ａが各静止画像に対して二値化の処理を行うときに用いる閾値は、二値化の処理の対象となるすべての静止画像について同じである。その閾値は、上述のようにして二値化処理部１２２Ａが閾値決定部１２２Ｂから受取った特定閾値である。
二値化処理部１２２Ａは、動画像データに含まれるすべての静止画像について二値化の処理を行っても良いし、動画像データに含まれる静止画像についてのすべてではない複数に対して二値化の処理を行っても良い。例えば、上述した６秒分の動画像データのうち、最初の０．５秒分についての静止画像については二値化の処理を行わないようにしても良い。この実施形態では、６秒分の動画像データのすべてに対応する静止画像ついて、二値化処理部１２２Ａは二値化の処理を行う。静止画像を二値化したのが二値化静止画像であり、二値静止画像のデータが二値静止画像データである。そして二値静止画像データを連ねたものが、二値動画像データである。
二値化処理部１２２Ａは生成した二値動画像データをグラフ生成部１２３へと送る。
【００３６】
グラフ生成部１２３は、二値動画像データを受取った場合、それに基いて、瞳孔の拡縮を示すグラフのデータであるグラフデータを生成するものである。上述したように、各静止画像は、既に二値化されており、各静止画像中で濃度が極大となっている範囲は、元々の静止画像中に映り込んでいた瞳孔の範囲に対応している。
したがって、各二値静止画像中の濃度が極大となっている範囲の面積を求めるとそれは、各静止画像における瞳孔の大きさに対応する。例えば、時間を横軸、その時点における瞳孔の大きさ（例えば、面積）を縦軸としたグラフのデータであるグラフデータを、グラフ生成部１２３は生成する。
グラフ生成部１２３は、生成したグラフデータを、出力部１２４に対して送るようになっている。
出力部１２４は、グラフデータに基づく画像についての画像データを、インターフェイス１１４を介してディスプレイ１０１に出力するものである。出力部１２４は、グラフデータに基づいてディスプレイ１０１に画像を表示させるための画像データを生成し、その画像データをディスプレイ１０１に出力する。その画像データを受取ったディスプレイ１０１には、グラフデータに対応した画像が表示されることになる。その画像の一例を図８に示す。図８において、横軸に時間、縦軸は瞳孔の大きさ（面積）に対応する。瞳孔の拡縮の様子が線グラフとして表現されている。これには限られないがこの実施形態では、瞳孔の拡縮の様子を線グラフとして表すようなグラフデータが、グラフ生成部１２３で生成されるものとする。横軸の１目盛りは１秒である。横軸において、網掛けされている時間帯がある。その時間帯は、刺激光光源３１ｂから刺激光が照射されている時間帯である。刺激光を眼球が受けると瞳孔は縮小し、その後徐々に元の大きさに近づいてくる。このグラフに基づいて被験者において交感神経と副交感神経のいずれが優勢かということや、被験者の心身の状態等を判定することができる。
なお、例えば、入力装置１０２からの入力に基づいて、二値動画像データに基づく二値動画像をディスプレイ１０１に表示することが可能である。その場合には、二値動画像データが二値化処理部１２２Ａから或いは画像処理部１２２から出力部１２４へと送られ、出力部１２４が二値動画像データに基づく動画像をディスプレイ１０１に表示させるための画像データを生成する。その画像データがインターフェイス１１４を介してディスプレイ１０１に出力されると、ディスプレイ１０１に二値動画像が表示されることになる。かかる説明から明らかなように、この実施形態でも、本願発明でも、二値動画像データの画像処理装置から他の装置（例えば、ディスプレイ）への出力は、行われても良いが必須ではない。
この被験者の心身の状態の判定システムは、判定システムと称しているものの、判定に必要なグラフをディスプレイ１０１に表示するにとどまる。例えば、コンピュータ装置１００に、そのグラフから被験者の心身の状態を人の手を借りずに判定するための機能を更に与えることも可能である。
【００３７】
＜変形例１＞
変形例１の被験者の心身の状態の判定システムは、概ね第１実施形態と同じである。
変形例１の判定システムも、第１実施形態の場合と同様に、眼球撮像装置１と、コンピュータ装置１００とを含んで構成されている。
変形例１の判定システムと、第１実施形態の場合における判定システムとで異なるのは、第１実施形態ではコンピュータ装置１００内に存在していた画像処理部１２２が、変形例１では、眼球撮像装置１内に存在するというものである。当然に、変形例１では、第１実施形態ではコンピュータ装置１００内にあった画像処理部１２２が省略される。
第１実施形態では、撮像素子１２が生成した動画像データから、回路１３が第１実施形態では６秒間分とされた必要な長さの動画像に対応した動画像データを生成し、それがコンピュータ装置１００に送られるようになっており、動画像データを受け取ったコンピュータ装置１００内の画像処理部１２２で動画像データに基いて二値動画像データが、またグラフ生成部１２３で二値動画像データに基いてグラフデータがそれぞれ生成されるようになっていた。
それに対して、変形例１では、撮像素子１２が生成した動画像データから、回路１３が第１実施形態では６秒間分の動画像に対応するものとされた動画像データを生成するとともに、これも眼球撮像装置１内に存在する画像処理部１２２で動画像データに基いて二値動画像データを生成する。つまり、変形例１では、二値動画像データの生成までの処理を眼球撮像装置１内で行う。そして、眼球撮像装置１で生成された二値動画像データを、眼球撮像装置１からコンピュータ装置１００へと、例えばケーブル１６を介して送る。コンピュータ装置１００内で、コンピュータ装置１００が受け取った二値動画像データはインターフェイス１１４を介してグラフ生成部１２３へと送られ、グラフ生成部１２３で二値動画像データに基づいてグラフデータが生成されることになる。以後の処理は、第１実施形態と同じである。
画像処理部１２２、グラフ生成部１２３の機能、二値動画像データ、グラフデータの内容は、第１実施形態と変形例１とで変更の必要がない。
なお、変形例１で眼球撮像装置１内に存在する画像処理部１２２は、回路１３内に存在しても良いし、回路１３の後段に設けられても構わない。画像処理部１２２は例えば、第１実施形態の場合と同様に、コンピュータプログラムによって生成された機能ブロックであっても良い。その場合、回路１３は、図４に示されたようなハードウェア構成を備えるものであっても良く、その場合には回路１３内に画像処理部１２２が生成されることになろう。
更に、グラフ生成部１２３もコンピュータ装置１００内ではなく、眼球撮像装置１内に設けることも可能である。この場合には、眼球撮像装置１から出力されるのはグラフデータになる。その場合、グラフデータは、コンピュータ装置１００を介して、或いはコンピュータ装置１００を介さずに直接、ディスプレイ１０１に送られることになろう。
【００３８】
＜変形例２＞
変形例２の被験者の心身の状態の判定システムは、概ね第１実施形態と同じである。
変形例２の判定システムも、第１実施形態の場合と同様に、眼球撮像装置１と、コンピュータ装置１００とを含んで構成されている。変形例２の眼球撮像装置１のハードウェア構成は、回路１３の後述する点を除いては、第１実施形態の場合と変わらない。変形例２のコンピュータ装置１００のハードウェア構成は、第１実施形態の場合と変わらない。
変形例２の判定システムと、第１実施形態の場合における判定システムとで異なるのは、第１実施形態では、二値化処理部１２２Ａが用いる特定閾値は１種類のみであったが、変形例２では、二値化処理部１２２Ａが用いる特定閾値は複数であるという点である。
より具体的にいうと、画像処理部１２２中の閾値決定部１２２Ｂ（第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２）及び二値化処理部１２２Ａの機能、及びそこで行われる処理の内容と、眼球撮像装置１で生成される動画像データの内容とが第１実施形態と変形例２とで異なる。
【００３９】
変形例２では眼球撮像装置１から、コンピュータ装置１００に出力される動画像データは、以下のようなものとされる。
上述したように、眼球撮像装置１では、６秒間分の動画像データが生成され、コンピュータ装置１００に出力される。出力の対象となる動画像データが撮像素子１２で生成される６秒間に着目すると、照明光光源３１ａは常時点灯しているものの、刺激光光源３１ｂは、０．５秒目から１秒目までの間だけ点灯する。したがって、撮像素子１２で６秒間の撮像が行われる間において、撮像の環境は、０から０．５秒までの間は刺激光光源３１ｂがＯＦＦ、０．５秒から１秒までの間は刺激光光源３１ｂがＯＮ、１〜６秒までは刺激光光源３１ｂがＯＦＦとなり、３つの状態を取るようになっている。この撮像の環境の変化は予定された通りの変化である。
変形例２では、眼球撮像装置１からコンピュータ装置１００に出力される動画像データには、上述した変化が眼球撮像装置１でどのタイミングで行われたかをコンピュータ装置１００で把握できるようにするために、言い換えれば、動画像データに多数含まれる静止画像データのうちのどの静止画像データに基づく静止画像が撮像素子１２で撮像されているときに上述した変化が生じたかをコンピュータ装置１００で把握できるようにするために、ある工夫がなされている。その工夫は、撮像の環境が変化する瞬間において撮像素子１２で撮像された静止画像に対して、所定のデータであるタイミングデータを埋め込むというものである。上述のように撮像の環境が３通りに変化するのであれば、撮像の環境の境目は、上述の６秒間の間に２回存在する。そのタイミングが訪れた瞬間に撮像素子１２が撮像を行った静止画像、或いはその瞬間に撮像素子１２が生成した２つの静止画像データに、タイミングデータが埋め込まれる。タイミングデータは、コンピュータ装置１００で画像処理を行うことにより、タイミングデータが埋め込まれたその静止画像を他の静止画像とは区別できるようなものとされる。それが可能な限りにおいて、タイミングデータはどのようなものであっても構わない。タイミングデータは、静止画像の全体或いは少なくとも一部に埋め込まれる。例えば、タイミングデータは、ある画像（照明光があることを示す電球のマーク等、或いは静止画像全体をブランク（真っ黒）とする等）や、文字や記号等とすることができる。これには限られないが、変形例２では、静止画像全体をブランクとする、つまりブランクのデータを静止画像全体に埋め込むことにより、タイミングデータを含む静止画像を他の静止画像と区別できるようにしている。
動画像データ中の特定の静止画像データに上述のタイミングデータを埋め込む処理は、例えば、回路１３で行うことができる。この機能を有するのであれば、変形例２の回路１３は第１実施形態の場合と異なる。回路１３の後段に動画像データにタイミングデータを埋め込む手段を設けても良い。
【００４０】
変形例２におけるコンピュータ装置１００内に生じる機能ブロックは、図５（Ａ）、（Ｂ）に示した通りであり、第１実施形態の場合と変わらない。変形例２における画像処理部１２２以外の機能ブロックの機能も、第１実施形態の場合と変わらない。
変形例２における画像処理部１２２の機能、より具体的には、閾値決定部１２２Ｂ（及びそれに含まれる第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２）と、二値化処理部１２２Ａとの機能、及びそれらで行われる処理について説明する。
変形例２の画像処理部１２２も、第１実施形態の場合と同様に、眼球撮像装置１から送られてきて、入力部１２１から受取った動画像データから二値動画像データを生成する機能を有している。
画像処理部１２２が動画像データを受取ると閾値決定部１２２Ｂは、第１実施形態の場合とは若干異なる方法で、第１実施形態の場合と同様に特定閾値を決定する。この場合の特定閾値の数は、上述した撮像の環境の変化の回数に依存し、複数である。この変形例２では、撮像の環境は上述の通り３通りであるから、閾値決定部１２２Ｂで生成される特定閾値は３つである。
画像処理部１２２が動画像データを受取ると、動画像データは閾値決定部１２２Ｂ内の第１処理部１２２Ｂ１に送られる。動画像データには上述のように多数の静止画像データが含まれているが、多数の静止画像データのうちの２つに基づく静止画像には、既に述べた通りタイミングデータが埋め込まれている。したがって、動画像データに含まれる多数の静止画像データは、タイミングデータが含まれるブラックの静止画像データを境として、３つの静止画像データの塊に区分される。これら区分のそれぞれは、それぞれ異なる撮像の環境下で撮像素子１２によって撮像されることにより生成された静止画像についての静止画像データであって、各塊に含まれる多数の静止画像データはそれぞれ、同一の撮像の環境下で撮像されることによって生成されたものである。変形例２における第１処理部１２２Ｂ１も第１実施形態における第１処理部１２２Ｂ１と同様に、静止画像データに基づく静止画像を、複数の互いに異なる仮閾値を閾値として二値化して、複数の仮閾値静止画像とする機能を有している。変形例２におけるおいては、上述の３つの静止画像データの塊のそれぞれに含まれる各１つの静止画像データから、複数の仮閾値静止画像をそれぞれ生成する。つまり、変形例２の第１処理部１２２Ｂ１は、都合３組の仮閾値静止画像の組を生成することになる。
例えば、第１処理部１２２Ｂ１は、動画像データの最初の静止画像データから、第１実施形態の場合と同様の処理を実行して、複数の、より詳細には２５６通りの仮閾値静止画像を生成する。次に、第１処理部１２２Ｂ１は、２番目以降の静止画像データを次々に調べ、ブランクとなっている、つまりタイミングデータが埋め込まれている最初の静止画像についての静止画像データ（これは、動画像データのうち最初から０．５秒目の位置にある）を見つけだす。そして、そのブランクとなっている最初の静止画像についての静止画像データの次の静止画像データから、２５６通りの仮閾値静止画像を生成する。次に、第１処理部１２２Ｂ１は、タイミングデータが埋め込まれている最初の静止画像についての静止画像データ以降の静止画像データを次々に調べ、ブランクとなっている２番目の静止画像についての静止画像データ（これは、動画像データのうち最初から０．５秒目の位置にある）を見つけだす。そして、そのブランクとなっている２番目の静止画像についての静止画像データの次の静止画像データから、２５６通りの仮閾値静止画像を生成する。このようにして、第１処理部１２２Ｂ１は、仮閾値静止画像の２５６個の組を３組生成することになる。第１処理部１２２Ｂ１は、仮閾値静止画像の２５６個の組、３組分のデータを第２処理部１２２Ｂ２へと送る。
第２処理部１２２Ｂ２は、第１実施形態の場合と同様の方法で、１つ目の仮閾値静止画像の組から、特定閾値を生成する。これを便宜上、第１特定閾値と称する。同様に、第２処理部１２２Ｂ２は、第１実施形態の場合と同様の方法で、２つ目と３つ目の仮閾値静止画像の組からそれぞれ、特定閾値を生成する。これを便宜上、第２特定閾値、及び第３特定閾値と称する。
【００４１】
第１特定閾値、第２特定閾値、第３特定閾値はそれぞれ、上述の３つの静止画像データの塊のうち、動画像データのうちの０秒から０．５秒の部分、０．５秒から１秒、１秒から６秒に対応する静止画像データを二値化するのに相応しいものとなる。
上述したように、第１偏光板３１、第２偏光板３２のはたらきにより、刺激光光源３１ｂは本来、撮像素子１２での撮像に寄与しない。しかしながら、そのような工夫によっても、刺激光光源３１ｂの有無に基づく撮像の環境の相違が、撮像素子１２が撮像した動画像データ中の静止画像データ或いは静止画像に多少の影響を与えるおそれがある。変形例２では、この変形例２では３つある撮像の環境毎に第１実施形態における特定閾値を決定する方法と同じ方法で異なる特定閾値を生成することで、撮像の環境に変化があったとしても、動画像データに基づく動画中の瞳孔をより一層正確に検出できるようにしている。
したがって、第１特定閾値を決定する場合において多数の仮閾値静止画像を生成する場合に使われる静止画像データは、最初の撮像の環境で撮像素子１２によって生成された静止画像データの中から選択される必要がある。変形例２では、最初の撮像の環境における最初の静止画像データに基づいて多数の仮閾値静止画像を生成することとしていたが、これは必須ではない。例えば、動画中の０．２５秒の時点における静止画像データや、最初のブランクの静止画像データの１つ手前の静止画像データに基づいて、多数の仮閾値静止画像を生成するようにしてもよい。第２特定閾値、第３特定閾値を決定する場合も同様である。
【００４２】
上述のようにして、第１特定閾値、第２特定閾値、第３特定閾値という３つの特定閾値が閾値決定部１２２Ｂで決定される。これら３つの特定閾値についてのデータは、閾値決定部１２２Ｂから二値化処理部１２２Ａへと送られる。
二値化処理部１２２Ａは、第１特定閾値を用いて、上述の３つの静止画像データの塊のうち、動画像データのうちの０秒から０．５秒の部分に対応する静止画像データを二値化して、二値静止画像データに変換する。同様に、二値化処理部１２２Ａは、第２特定閾値又は第３特定閾値を用いて、上述の３つの静止画像データの塊のうち、動画像データのうちの０．５秒から１秒の部分と、１秒から６秒に対応する静止画像データとを二値化して、二値静止画像データに変換する。ブランクとなっている静止画像データは変換の対象から外す。二値化処理部１２２Ａは、それら二値静止画像データを順番通りにすべて繋げることにより、二値動画像データとなる。ブランクとなっていた静止画像データに相当する二値静止画像データが存在しないので、その部分における静止画像は、二値動画像データに基づく二値動画像から抜け落ちることになるが、通常、動画像から１コマ程度の静止画像が抜け落ちたところで、動画像を目視する分には人間にはその静止画像の抜けを認識することができない。
二値化処理部１２２Ａは生成した動画像データをグラフ生成部１２３に送る。以下の処理は、第１実施形態と同じである。動画像データは、例えば、グラフ生成部１２３がグラフデータを生成するために、或いは、ディスプレイ１０１に、動画像データに基づく動画像を表示するために利用されることになる。
【００４３】
なお、二値化処理部１２２Ａが、例えば第１特定閾値を用いてどこからどこまでの静止画像データに基づく静止画像を二値化するかは、適当に決定することができる。例えば、第１実施形態の場合と同様に入力部１２１からの動画像データが、閾値決定部１２２Ｂと二値化処理部１２２Ａとの双方に行われるのであれば、二値化処理部１２２Ａは、第１処理部１２２Ｂ１と同様にブランクの静止画像データを探すことにより、動画像データを３つの塊に区分することができる。二値化処理部１２２Ａは、その３つの塊のそれぞれに含まれる静止画像データをそれぞれ、第１特定閾値、第２特定閾値、又は第３特定閾値を用いて二値化すれば良い。或いは、二値化処理部１２２Ａは、閾値決定部１２２Ｂから、閾値決定部１２２により既に３つに区分された動画像データと、区分された各動画像データと紐付けられた特定閾値とを閾値決定部１２２から受取るようにしてもよい。これによっても、上述したのと同様の結果を得ることが可能となる。
また、上述の説明では、閾値決定部１２２Ｂでの処理がすべて終わってから二値化処理部１２２Ａでの処理が行われるものとなっていた。もっともこれはこの限りではなく、閾値決定部１２２Ｂでの処理と二値化処理部１２２Ａでの処理とは並列して行われても構わない。例えば、第１特定閾値が決定されたのであれば、二値化処理部１２２Ａは第１特定閾値を用いての静止画像データの二値化の処理を開始することができ、それに並行して、閾値決定部１２２Ｂが第２特定閾値の決定を行うことが可能である。
【００４４】
＜変形例３＞
変形例３の被験者の心身の状態の判定システムは、概ね変形例２と同じである。
変形例３の判定システムも、変形例２の場合と同様に、眼球撮像装置１と、コンピュータ装置１００とを含んで構成されている。変形例３の眼球撮像装置１のハードウェア構成は、回路１３の後述する点を除いては、変形例２の場合と変わらない。というより、眼球撮像装置１に関していえば、変形例３におけるそれは第１実施形態におけるそれと変わらない。
変形例３の判定システムと、変形例２の判定システムとで異なるのは、動画像データに含まれる静止画像データの幾つかにタイミングデータを埋め込むという変形例２で行われていた工夫が変形例３では行われていないということである。それに基づいて、画像処理部１２２が行う処理が、変形例２と変形例３では若干異なることになっている。
【００４５】
変形例２では眼球撮像装置１から、コンピュータ装置１００に出力される動画像データは、第１実施形態の場合と同じである。
眼球撮像装置１では、６秒間分の動画像データが生成され、コンピュータ装置１００に出力される。変形例３の眼球撮像装置１でも、出力の対象となる動画像データが撮像素子１２で生成される６秒間の間に、第１実施形態、変形例２の場合と同様に、撮像の環境は２回変わり、３つの撮像の環境下で動画像データが生成されることになる。もっとも、変形例３の動画像データに含まれる静止画像データには、ブランクの静止画像データは存在しない。
【００４６】
変形例３におけるコンピュータ装置１００内に生じる機能ブロックは、変形例２の場合と同様に、図５（Ａ）、（Ｂ）に示した通りである。変形例３における画像処理部１２２以外の機能ブロックの機能も、変形例２の場合と変わらない。
変形例３における画像処理部１２２の機能、より具体的には、閾値決定部１２２Ｂ（及びそれに含まれる第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２）と、二値化処理部１２２Ａとの機能、及びそれらで行われる処理について説明する。
変形例３の画像処理部１２２も、変形例２の場合と同様に、眼球撮像装置１から送られてきて、入力部１２１から受取った動画像データから二値動画像データを生成する機能を有している。
画像処理部１２２が動画像データを受取ると閾値決定部１２２Ｂは、変形例２の場合とは若干異なる方法で、変形例２の場合と同様に、複数、より正確には３通りの特定閾値を決定する。
変形例３における画像処理部１２２は、眼球撮像装置１でどのようなタイミングで撮像の環境が変化するかを予め把握している。具体的には、例えば、閾値決定部１２２Ｂ、及び二値化処理部１２２Ａは、そのようなタイミングを特定するデータを保持している。具体的には、そのデータは、６秒間の動画像データのうち、０．５秒と、１秒を区切りとして、撮像の環境が変わるというデータである。
変形例２における閾値決定部１２２Ｂはそのようなデータを保持していなかったため、第１処理部１２２Ｂ１が、動画像データに含まれる多数の静止画像データの中からタイミングデータが埋め込まれているものを探して、撮像の環境が変化するタイミングを検出するようになっていた。これに対して、変形例３における閾値決定部１２２は、眼球撮像装置１でどのようなタイミングで撮像の環境が変化するかを示すデータを有しているので、そのような検出を行う必要がない。撮像の環境がどのようなタイミングで変化するのかというデータを用いて、変形例３の第１処理部１２２Ｂ１は、変形例２の場合と同様に、動画像データに含まれる多数の静止画像データを３つの塊に区分することができる。
そして変形例３の第１処理部１２２Ｂ１は、最初の撮像の環境で撮像素子１２によって生成された静止画像データの中から１つの静止画像データを適宜に選択し、それに基づいて、多数の多数の仮閾値静止画像を生成する。同様に、第１処理部１２２Ｂ１は、２つ目、及び３つ目の撮像の環境で撮像素子１２によって生成された静止画像データの中から１つの静止画像データを適宜に選択し、それに基づいて、多数の多数の仮閾値静止画像を生成する。このようにして、変形例２の場合と同様に、変形例３ｎ第１処理部１２２Ｂ１は、仮閾値静止画像の２５６個の組を３組生成する。第１処理部１２２Ｂ１は、仮閾値静止画像の２５６個の組、３組分のデータを第２処理部１２２Ｂ２へと送る。
第２処理部１２２Ｂ２は、変形例２の場合と同様の方法で、１つ目の仮閾値静止画像の組から、第１特定閾値を生成する。同様に、第２処理部１２２Ｂ２は、変形例２の場合と同様の方法で、２つ目と３つ目の仮閾値静止画像の組からそれぞれ、第２特定閾値及び第２特定閾値を生成する。
【００４７】
第１特定閾値、第２特定閾値、第３特定閾値についてのデータは、閾値決定部１２２Ｂから二値化処理部１２２Ａへと送られる。
以下の処理は、変形例２と変形例３で変わらない。二値化処理部１２２Ａは、第１特定閾値を用いて、上述の３つの静止画像データの塊のうち、動画像データのうちの０秒から０．５秒の部分に対応する静止画像データを二値化して、二値静止画像データに変換する。同様に、二値化処理部１２２Ａは、第２特定閾値又は第３特定閾値を用いて、上述の３つの静止画像データの塊のうち、動画像データのうちの０．５秒から１秒の部分と、１秒から６秒に対応する静止画像データとを二値化して、二値静止画像データに変換する。
二値化処理部１２２Ａは生成した動画像データをグラフ生成部１２３に送る。動画像データは、例えば、グラフ生成部１２３がグラフデータを生成するために、或いは、ディスプレイ１０１に、動画像データに基づく動画像を表示するために利用されることになる。
【００４８】
≪第２実施形態≫
第２実施形態の被験者の心身の状態の判定システムは、基本的に第１実施形態と同じである。
第２実施形態の判定システムも、第１実施形態の場合と同様に、眼球撮像装置１と、コンピュータ装置１００とを含んで構成されている。ただし、第２実施形態の判定システムは、図９に示したように、ネットワーク３００を介してコンピュータ装置１００と通信可能とされたサーバ２００を含んでいる。ネットワーク３００は例えばインターネットである。
【００４９】
第２実施形態における眼球撮像装置１は、第１実施形態における眼球撮像装置１とまったく同じものとすることができ、これには限られないが、この実施形態ではそうされている。つまり、第２実施形態の眼球撮像装置１が出力するのは、上述したような、これには限られないが６秒間分の動画像データである。
【００５０】
他方、第２実施形態におけるコンピュータ装置１００は、第１実施形態におけるコンピュータ装置１００とはその一部が明確に異なる。
まず、第２実施形態におけるコンピュータ装置１００は、通信の機能を有している。より詳細には、第２実施形態におけるコンピュータ装置１００は、例えばインターネットであるネットワーク３００を介して、サーバ２００と通信を行うことが可能となっている。
第２実施形態におけるコンピュータ装置１００のハードウェア構成は、第１実施形態で説明した図４に示したものと同じであるが、かかるハードウェアに含まれたインターフェイス１１４は、ネットワーク３００を介して外部と通信を行うための公知の手段である送受信機構（図示を省略）に接続されている。送受信機構の機能によって、コンピュータ装置１００は、ネットワーク３００を介してデータを送信することと、ネットワーク３００を介してデータを受信することとが可能になっている。かかるネットワーク３００を介してのデータの送受信は、有線で行われる場合もあるが無線で行われる場合もある。例えば、コンピュータ装置１００がスマートフォンやタブレットである場合には、かかる通信は無線で行われるのが通常であろう。それが可能な限り、送受信機構の構成は、公知或いは周知のものとすることができる。送受信機構がネットワーク３００から受取ったデータは、インターフェイス１１４により受取られるようになっており、インターフェイス１１４から送受信機構にわたされたデータは、送受信機構によって、ネットワーク３００を介してサーバ２００に送られるようになっている。
また、第２実施形態のコンピュータ装置１００内には第１実施形態の場合と同様に機能ブロックが生成されるが、その機能ブロックには、図１０に示したように画像処理部１２２が存在しない。この点でも、第２実施形態と第１実施形態のコンピュータ装置１００は異なる。
【００５１】
サーバ２００は、公知、或いは周知の或いは市販のサーバ装置で良い。そのハードウェア構成は極一般的なもので良く、例えば図４に示したようなものとすることができ、この実施形態ではそうされている。もっとも、サーバ２００は、ＨＤＤその他の大容量記録媒体を備えているのが通常であろう。
サーバ２００も、ネットワーク３００を介して通信を行うことが可能となっている。サーバ２００は、コンピュータ装置１００が備えるのと同様の公知或いは周知の送受信機構を備えており、それを介してネットワーク３００を介して、コンピュータ装置１００とデータの送受信を行えるようになっている。サーバ２００が備えるインターフェイスは、送受信機構（図示を省略）に接続されている。送受信機構の機能によって、サーバ２００は、ネットワーク３００を介してデータを送信することと、ネットワーク３００を介してデータを受信することとが可能になっている。送受信機構がネットワーク３００から受取ったデータは、インターフェイスにより受取られるようになっており、インターフェイスから送受信機構にわたされたデータは、送受信機構によって、ネットワーク３００を介して外部、コンピュータ装置１００に送られるようになっている。
サーバ２００内には、コンピュータプログラムを実行することにより、図１１に示されたような機能ブロックが生成される。第２実施形態においてサーバ２００内に生成される機能ブロックは、入力部２２１、画像処理部２２２、出力部２２４である。
入力部２２１は、ネットワーク３００を介して、サーバ２００の送受信機構がコンピュータ装置１００から後述するように受け取った動画像データを、インターフェイスを介して受取るものである。入力部２２１は受け取った動画像データを画像処理部２２２に送るようになっている。
画像処理部２２２は、第１実施形態における画像処理部１２２と同じ機能を持っており、第１実施形態の場合と同様に、受け取った動画像データから、二値動画像データを生成するようになっている。画像処理部２２２は動画像データを二値動画像データに変換するにあたり、第１実施形態の場合と同様に特定閾値を決定するようになっている。画像処理部２２２は、第１実施形態における画像処理部１２２と同様の機能を果たすことができるように、第１実施形態における二値化処理部１２２Ａと閾値決定部１２２Ｂに相当するものを持ち、また、その閾値決定部には第１実施形態における第１処理部１２２Ｂ１、及び第２処理部１２２Ｂ２に相当するものをもつ。画像処理部２２２は生成した二値動画像データを出力部２２４へ送るようになっている。
出力部２２４は、二値動画像データを、インターフェイスを介してサーバ２００の送受信機構に送るものである。それを受け取ったサーバ２００の送受信機構は、ネットワーク３００を介して、コンピュータ装置１００に二値動画像データを返信するようになっている。
【００５２】
第２実施形態の判定システムの使用方法、及び動作を説明する。
まず、眼球撮像装置１の使用方法と動作であるが、これは第１実施形態の場合と変わらない。眼球撮像装置１では、撮像素子１２が生成した動画像データに基づいて、第１実施形態では６秒間分とされた必要な長さの動画像に対応した動画像データを回路１３が生成するとともに、眼球撮像装置１は、生成されたその動画像データを例えばケーブル１６を介してコンピュータ装置１００に送る。
かかる動画像データは、インターフェイス１１４を介して入力部１２１へと送られ、入力部１２１から出力部１２４へと送られる。
出力部１２４は、動画像データを、インターフェイス１１４を介してコンピュータ装置１００の送受信機構に送る。コンピュータ装置１００の送受信機構は、ネットワーク３００を介して、サーバ２００に動画像データを送る。
【００５３】
コンピュータ装置１００から送られた動画像データは、サーバ２００の送受信機構によって受け取られる。サーバ２００の送受信機構は、動画像データをインターフェイスを介して、入力部２２１に送る。
入力部２２１は、受け取った動画像データを画像処理部２２２に送る。
画像処理部２２２は、受け取った動画像データを第１実施形態の画像処理部１２２が行ったのと同様に処理して、二値動画像データを生成する。画像処理部２２２は生成した二値動画像データを出力部２２４へ送る。
出力部２２４は、二値動画像データを、インターフェイスを介してサーバ２００の送受信機構に送る。それを受け取ったサーバ２００の送受信機構は、ネットワーク３００を介して、コンピュータ装置１００に二値動画像データを返信する。
【００５４】
コンピュータ装置１００は、その送受信機構により二値動画像データを受取る。
サーバ２００から送られた二値動画像データは、コンピュータ装置１００の送受信機構によって受け取られる。コンピュータ装置１００の送受信機構は、二値動画像データをインターフェイス１１４を介して、入力部１２１に送る。
入力部１２１は、受け取った二値動画像データをグラフ生成部１２３に送る。
以後の処理は第１実施形態と同じであり、コンピュータ装置１００のディスプレイ１０１に、グラフデータに応じた内容の画像が表示されることになる。
【００５５】
要するに、第２実施形態は、第１実施形態においてコンピュータ装置１００内に存在した画像処理部１２２を省略する代わりに、サーバ２００内に画像処理部１２２と同じ機能を持つ画像処理部２２２を設け、第１実施形態においてコンピュータ装置１００の画像処理部１２２で賄っていた動画像データを二値動画像データに変換する機能を、サーバ２００に賄わせるものとしたものである。
【００５６】
なお、第２実施形態におけるサーバ２００は、動画像データを二値動画像データにする機能のみならず、二値動画像データに基づいてグラフデータを生成する機能をも賄ってもよい。その場合には、第１実施形態ではコンピュータ装置１００内にあったグラフ生成部１２３が省略され、サーバ２００内にそのグラフ生成部１２３に相当するグラフ生成部が生成されることになろう。
【符号の説明】
【００５７】
１  眼球撮像装置
１０  把持部
１１  レンズ
１２  撮像素子
１３  回路
１６  ケーブル
１９  隔壁
２０  頭部
３１ａ  照明光光源
３１ｂ  刺激光光源
３２  第１偏光板
３３  第２偏光板
１００  コンピュータ装置
１２１  入力部
１２２  画像処理部
１２２Ａ  二値化処理部
１２２Ｂ  閾値決定部
１２２Ｂ１  第１処理部
１２２Ｂ２  第２処理部
１２３  グラフ生成部１２３
１２４  出力部
２００  サーバ
２２１  入力部
２２２  画像処理部
２２４  出力部
３００  ネットワーク
【図１】
2020089559.tif 000003
【図２】
2020089559.tif 000004
【図３】
2020089559.tif 000005
【図４】
2020089559.tif 000006
【図５（Ａ）】
2020089559.tif 000007
【図５（Ｂ）】
2020089559.tif 000008
【図６】
2020089559.tif 000009
【図７】
2020089559.tif 000010
【図８】
2020089559.tif 000011
【図９】
2020089559.tif 000012
【図１０】
2020089559.tif 000013
【図１１】
2020089559.tif 000014