(57)【要約】【課題】画像通信を用いた情報伝達においてより深い意思の疎通を行う装置を提供する。【解決手段】被検者Ｈの顔面を含む所定の領域の像を入力するカメラ１３と、被検者Ｈに光を照明する赤外線発光装置１２と、カメラ１３から出力されるカラー画像データ及び赤外線画像データを分離する赤外線／カラー切り替え装置１４と、画像データをパーソナルコンピュータに取り込む画像取込装置１５と、カラー出力データ格納するカラーデータ格納メモリ１６と、赤外線出力データ格納する赤外線データ格納メモリ１７と、赤外線画像データから被検者の瞳孔部分を抽出してデータを生成し、抽出されたデータとカラー画像データから合成画像を生成する画像合成装置１８と、Ｅｔｈｅｒカード２０を介して外部へデータを送信する画像出力装置１９と、Ｅｔｈｅｒカード２０を介して受信したデータを表示する液晶ディスプレー１０により構成される。【選択図】  図１
2006235745.tif 000002
【特許請求の範囲】
【請求項１】
被検者の顔面を含む所定の領域の像を入力する像入力手段と、前記被検者に光を照明する照明手段と、前記像入力手段から出力される画像データをカラー画像データと赤外線画像データに分離する画像データ分離手段と、前記赤外線画像データから被検者の瞳孔部分を抽出して瞳孔画像データを生成し、前記瞳孔画像データと前記カラー画像データから合成画像を生成する画像合成手段とを備えた視線画像処理装置。
【請求項２】
前記画像データ分離手段は、赤外線画像とカラー画像とを一定時間間隔で切り替える切替手段と、その時間間隔と同期して画像取込を行う画像取込手段とによって構成され、前記赤外線画像を取り込んだタイミングで前記赤外線画像データを生成し、前記カラー画像を取り込んだタイミングで前記カラー画像データを生成することを特徴とする請求項１に記載の視線画像処理装置。
【請求項３】
前記画像合成手段は、前記赤外線画像データを赤外線強度の強弱により２値化処理し、赤外線強度の高い部分を可視光強度の高い白色画像に変換し、赤外線強度の高くない部分を可視光強度の低い黒色画像に変換することで得た画像データを前記瞳孔画像データとすることを特徴とする請求項１または請求項２に記載の視線画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術を用い、画像通信における情報伝達の効率を上昇させるための視線画像処理装置に関する。
【背景技術】
【０００２】
画像通信を用いた情報伝達において、より深い意思の疎通を行うためには、従来から「眼球の動き」と「表情の変化によって表出する顔面の皺」等が重要な役割を果たすことが知られている。
被検者のカメラ入力データに対して、瞳等の特定部位を検出する仕組みについては、多数提案されている。たとえば被検者に装置を装着する接触型と被検者に装置を装着しない非接触型があるが、装置としては被検者に精神的及び肉体的苦痛を与えない非接触型が好ましい。非接触型で高速に特定部位を検出する装置としては、特許文献１に記載された人物状態検出装置がある。
【０００３】
【特許文献１】特開平７−２４９１９７号公報（第４頁〜第５頁）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像通信を用いた情報伝達においてより深い意思の疎通を行うためには、視線、すなわち眼球の動きを強調する必要がある。ところが、現存する装置では、精度面、複雑なアルゴリズムによる画像処理により遅延等の問題が発生する。
そこで本発明は、被検者の瞳孔部分の画像強調により深い意思の疎通が行え、さらに画像表示遅延のない画像通信を用いた情報伝達のできる視線画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前述した課題を解決するため、本発明の第１の視線画像処理装置は、被検者の顔面を含む所定の領域の像を入力する像入力手段と、前記被検者に光を照明する照明手段と、前記像入力手段から出力される画像データをカラー画像データと赤外線画像データに分離する画像データ分離手段と、前記赤外線画像データから被検者の瞳孔部分を抽出して瞳孔画像データを生成し、前記瞳孔画像データと前記カラー画像データから合成画像を生成する画像合成手段とを備えたものである。
また、本発明の第２の視線画像処理装置はさらに、前記画像データ分離手段は、赤外線画像とカラー画像とを一定時間間隔で切り替える切替手段と、その時間間隔と同期して画像取込を行う画像取込手段とによって構成され、前記赤外線画像を取り込んだタイミングで前記赤外線画像データを生成し、前記カラー画像を取り込んだタイミングで前記カラー画像データを生成するものである。
また、本発明の第３の視線画像処理装置はさらに、前記画像合成手段は、前記赤外線画像データを赤外線強度の強弱により２値化処理し、赤外線強度の高い部分を可視光強度の高い白色画像に変換し、赤外線強度の高くない部分を可視光強度の低い黒色画像に変換することで得た画像データを前記瞳孔画像データとするものである。
【発明の効果】
【０００６】
本発明の視線画像処理装置においては、像入力手段により被検者の顔面を含む所定の領域の像を入力し、像入力手段から出力される画像データを画像データ分離手段によりカラー画像データと赤外線画像データに分離し、赤外線画像データから被検者の瞳孔部分を抽出して瞳孔画像データを生成し、画像合成手段により瞳孔画像データとカラー画像データから合成画像を生成することにより、被検者の瞳孔部分の画像強調により深い意思の疎通を行うことができる。
【０００７】
前記画像データ分離手段を、赤外線画像とカラー画像とを一定時間間隔で切り替える切替手段と、その時間間隔と同期して画像取込を行う画像取込手段とによって構成し、赤外線画像を取り込んだタイミングで赤外線画像データを生成し、カラー画像を取り込んだタイミングでカラー画像データを生成することにより、画像表示遅延のない画像通信を用いた情報伝達を実現することができる。
前記画像合成手段は、赤外線画像データを赤外線強度の強弱により２値化処理し、赤外線強度の高い部分を可視光強度の高い白色画像に変換し、赤外線強度の高くない部分を可視光強度の低い黒色画像に変換することで得た画像データを前記瞳孔画像データとすることにより、コントラストの高い瞳孔画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の実施の形態に係る視線画像処理装置の構成を示すブロック図である。同図において、視線画像処理装置は、被検者Ｈを照明する照明手段としての赤外線発光装置１２と、被検者Ｈの顔面を含む所定の領域を撮影できる位置に設置された像入力手段としての赤外線／カラーＣＣＤカメラ（以下、単に「カメラ」という）１３と、カメラ１３の赤外線／カラーを切り替える赤外線／カラー切り替え装置１４と、カメラ１３の入力画像をパーソナルコンピュータ２１に取り込む画像取込装置１５と、カメラ１３のカラー出力データを一時的に保存するカラーデータ格納メモリ１６と、カメラ１３の赤外線出力データを一時的に保存する赤外線データ格納メモリ１７と、赤外線データ格納メモリ１７の保存画像データから瞳孔を抽出したデータとカラーデータ格納メモリ１６の保存画像データとを合成する画像合成装置１８と、画像合成装置１８で合成したデータをＥｔｈｅｒカード（正式にはＥｔｈｅｎｅｔカード）２０により外部へデータ送信する画像出力装置１９とを備えている。赤外線発光装置１２としては、例えば発光の中心波長が８６０ｎｍ、放射指向特性±２０°の赤外線発光ＬＥＤを用いることができる。赤外線発光装置１２と被検者Ｈの間には、ハーフミラー１１が配置されており、被検者Ｈは、ハーフミラー１１に反射された、Ｅｔｈｅｒカード２０より受信した映像データを表示する液晶ディスプレー１０の画像を見ることができる。
【０００９】
次に動作について説明する。図１において、赤外線発光装置１２の照明光は、ハーフミラー１１を通り半分の光で被検者Ｈの顔面を照射する。被検者Ｈの画像はハーフミラー１１を通り、半分の光がカメラ１３に到達し、赤外線／カラー切り替え装置１４で画像種別を切り替えて画像取込装置１５を介してパーソナルコンピュータ２１本体に被検者Ｈの画像を取り込む。赤外線発光装置１２の照明光の軸とカメラ１３による画像入力の軸は被検者Ｈからみて、ほぼ同軸あるいは所定角度以内（３度）に納まるようになっている（これを「同軸落射照明」という。）。図１における実施例では、所定角度以内（３度）としており、ハーフミラー１１がカメラ１３の光軸となす角は４５°で透過率は５０％である。次に画像取込装置１５を介してパーソナルコンピュータ２１に取り込まれた画像について説明する。
【００１０】
赤外線／カラーを切り替える赤外線／カラー切り替え装置１４と画像取込装置１５には、同期を取る仕組みが盛り込まれており、１／６０秒単位に、赤外線画像を取り込んだタイミングで赤外線画像データを生成し、カラー画像を取り込んだタイミングでカラー画像データを生成する仕組みである。このようなタイミングで赤外線画像データおよびカラー画像データを生成することで、画像表示遅延のない画像通信を用いた情報伝達を実現することができる。
【００１１】
画像取込装置１５により入力された被検者Ｈの赤外線撮影画像データは、赤外線データ格納メモリ１７に格納される。撮影画像データは、図６のようになる。図６において上記のような構成の同軸落射照明により、瞳孔３１は網膜で反射された光より、あたかも瞳孔３１が光っているように観察され、顔の表情や他の特徴点に比べ、著しく輝度が高く写る。これは網膜が入射光と同一方向の反射光を返す性質を持つからである。なお、図６において３２は虹彩、３３は強膜、３４は顔面表面を示す。画像取込器１５により入力された被検者Ｈのカラー撮影画像データは、カラーデータ格納メモリ１６に格納される。撮影画像データは、図３のようになる。本画像データは、通常のカメラで撮影した画像と差分がないデータである。
【００１２】
次に図２により撮影画像合成の仕組みを説明する。ステップＳ１にて画像取込装置１５を介して顔画像データを入力する。入力を行う周期は、１／６０秒とする。ステップＳ２にて入力された画像がカラー画像あるいは赤外線画像かを判断する。カラー画像の場合は、ステップＳ３にてカラーデータ格納メモリ１６にデータをコピーする。カラーデータ格納メモリ１６の画像データは、図３のようになる。赤外線画像の場合は、ステップＳ４にて赤外線データ格納メモリ１７にデータをコピーする。赤外線データ格納メモリ１７の画像データは、図６のようになる。瞳孔３１は、赤外線光の同軸落射照明により他の顔画像部分に比べ輝度が明るい。ステップＳ５にて赤外線データ格納メモリ１７内のデータに対して赤外線強度の強弱により２値化処理し、赤外線強度の高い部分を可視光強度の高い白色画像に変換し、赤外線強度の低い部分を可視光強度の低い黒色画像に変換する。この処理により、瞳孔３１部分のみが抽出された、コントラストの高い瞳孔画像データが生成される。その瞳孔画像データは、図４のようになる。ステップＳ６にて前記カラー画像と２値化処理後の瞳孔画像のデータ合成を行う。合成後のデータは、図５のようになる。ステップＳ７にて合成データを外部へ送信する。
外部からの受信データは、Ｅｔｈｅｒカード２０を介して液晶ディスプレー１０に表示される。
【産業上の利用可能性】
【００１３】
本発明に係る視線画像処理装置は、画像通信を行う装置であるためＴＶ会議装置としての運用のほか、医療分野、教育分野、コールセンター分野等への適用が可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る視線画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像合成アルゴリズムの処理フロー図である。
【図３】本発明の実施の形態に係るビデオカメラ映像の説明図である。
【図４】本発明の実施の形態に係る赤外線カメラ映像データの画像処理（２値化）後の映像の説明図である。
【図５】図３および図４の映像を構成した映像の説明図である。
【図６】本発明の実施の形態に係る赤外線カメラ映像の説明図である。
【符号の説明】
【００１５】
Ｈ  被検者
１０  液晶ディスプレー
１１  ハーフミラー
１２  赤外線発光装置（照明手段）
１３  赤外線／カラーＣＣＤカメラ（像入力手段）
１４  赤外線／カラー切り替え装置（切替手段）
１５  画像取込装置（画像取込手段）
１６  カラーデータ格納メモリ
１７  赤外線データ格納メモリ
１８  画像合成装置（画像合成手段）
１９  画像出力装置
２０  Ｅｔｈｅｒカード
２１  パーソナルコンピュータ
３１  瞳孔
３２  虹彩
３３  強膜
３４  顔面表面
【図１】
2006235745.tif 000003
【図２】
2006235745.tif 000004
【図３】
2006235745.tif 000005
【図４】
2006235745.tif 000006
【図５】
2006235745.tif 000007
【図６】
2006235745.tif 000008