(57)【特許請求の範囲】
【請求項１】
実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、使用者または被験者眼の像を受光する受光手段と、該受光手段で得られた眼球像信号を演算処理して使用者または被験者の視線情報を求める演算処理手段とを有する視線検出装置において、前記測光手段の出力に基づいて推定した使用者または被験者の瞳孔径と、前記受光手段の出力に基づいて推定した使用者または被験者の瞳孔径を比較して、より小さい瞳孔径を使用者または被験者眼の推定瞳孔径として設定する推定瞳孔径設定手段を有し、前記演算処理手段は設定された該推定瞳孔径に基づいて前記受光手段で得られた眼球像信号から偽の抽出データを排除する演算処理をすることを特徴とする視線検出装置。
【請求項２】
実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第１の瞳孔径推定手段と、使用者または被験者の眼球像を受光する受光手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第２の瞳孔径推定手段と、該第１の瞳孔径推定手段の推定結果と該第２の瞳孔径推定手段の推定結果を比較して、より小さい瞳孔径を使用者または被験者の推定瞳孔径として設定する設定手段と、該設定手段によって設定される該推定瞳孔径に基づいて、前記受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をして使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置。
【請求項３】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をすることで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置。
【請求項４】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をすることで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置。
【請求項５】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第１の瞳孔径推定手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第２の瞳孔径推定手段と、該第１の瞳孔径推定手段の推定結果と該第２の瞳孔径推定手段の推定結果を比較して、より小さい瞳孔径を使用者または被験者の推定瞳孔径として設定する推定瞳孔径設定手段と、該距離情報および該推定瞳孔径に基づいて、該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、前記受光手段によって得られた眼球像情報を瞳孔径演算手段の出力に基づいて偽の抽出データを排除する演算処理をして使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置。
【請求項６】
前記距離情報検出手段は一対の平行光束で使用者または被験者の眼球を照明する照明手段を有し、前記受光手段で受光した眼球像に生じる該照明手段の一対の反射像から使用者または被験者の眼球と受光手段との距離情報を求めることを特徴とする請求項３、４または５記載の視線検出装置。
【請求項７】
前記瞳孔径演算手段は前記距離情報から前記受光手段の受光面に結像する前記使用者または被験者の眼球の結像倍率を求め、前記受光手段の受光面に結像する該眼球の瞳孔径を演算することを特徴とする請求項６記載の視線検出装置。
【請求項８】
実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、使用者または被験者眼の像を受光する受光手段と、該受光手段で得られた眼球像信号を演算処理して使用者または被験者の視線情報を求める演算処理手段とを有する視線検出装置において、前記測光手段の出力に基づいて推定した使用者または被験者の瞳孔径と、前記受光手段の出力に基づいて推定した使用者または被験者の瞳孔径を比較して、より小さい瞳孔径を使用者または被験者眼の推定瞳孔径として設定する推定瞳孔径設定手段を有し、前記演算処理手段は設定された該推定瞳孔径に基づいて前記受光手段で得られた眼球像信号から偽の抽出データを排除する演算処理をすることを特徴とする視線検出装置を有する光学機器。
【請求項９】
実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第１の瞳孔径推定手段と、使用者または被験者の眼球像を受光する受光手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第２の瞳孔径推定手段と、該第１の瞳孔径推定手段の推定結果と該第２の瞳孔径推定手段の推定結果を比較して、より小さい瞳孔径を使用者または被験者の推定瞳孔径として設定する設定手段と、該設定手段によって設定される該推定瞳孔径に基づいて、前記受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をして使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置を有する光学機器。
【請求項１０】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をすることで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置を有する光学機器。
【請求項１１】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をすることで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置を有する光学機器。
【請求項１２】
使用者または被験者の眼球像を受光する受光面を有する受光手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第１の瞳孔径推定手段と、該受光手段の出力に基づいて使用者または被験者の瞳孔径を推定する第２の瞳孔径推定手段と、該第１の瞳孔径推定手段の推定結果と該第２の瞳孔径推定手段の推定結果を比較して、より小さい瞳孔径を使用者または被験者の推定瞳孔径として設定する推定瞳孔径設定手段と、該距離情報および該推定瞳孔径に基づいて、該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、前記受光手段によって得られた眼球像情報を瞳孔径演算手段の出力に基づいて偽の抽出データを排除する演算処理をして使用者または被験者の視線情報を求める演算処理手段とを有することを特徴とする視線検出装置を有する光学機器。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、使用者または被験者の視線情報を検出する視線検出装置に関し、特に明るさの情報を利用して、正確な視線検出を可能にする視線検出装置に関する。
【０００２】
【従来の技術】
従来より、ファインダーを覗く使用者または被験者の視線を検出してその視線情報に基づいて撮影レンズの自動焦点調節等の機能を制御するカメラが市販されている。
【０００３】
この種のカメラにおいて撮影者の視線情報は、撮影者の眼球を照明した照明光による角膜反射像の位置と、瞳孔の中心位置とのずれより検出される。視線情報の検出方法については特開平２−２６４６３３号公報に開示されている。
【０００４】
特開平２−２６４６３３号公報によると、瞳孔の中心位置は瞳孔と虹彩との境界を検出することによって求めているが、実際には光の強度差の大きいところを瞳孔と虹彩との境界とみなして検出を行っている。したがって、瞼と眼球との境界や強膜と虹彩との境界、あるいはまつげのある部分においても光の強度差が大きいところがあり偽の境界を検出してしまう場合があった。
【０００５】
そこで、本願出願人は特開平２−６５８３６号公報において外光の明るさから使用者または被験者の瞳孔径を推定してその瞳孔径から大きく外れている検出データを排除して瞳孔と虹彩との境界を効率的に抽出する方法を開示している。
【０００６】
さらに、本願出願人は特開平６−１４８５０７号公報において使用者または被験者の眼球の瞳孔径を予め設定しセンサー上での瞳孔と虹彩との境界が存在する範囲を設定して偽の検出データを排除する方法を開示している。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開平２−６５８３６号公報に開示されているようにファインダーを覗く使用者または被験者の瞳孔径を外光の明るさによって推定することができるが、推定した瞳孔径は眼球像の結像倍率が考慮されていないため、受光センサー上で、瞳孔が実際にどの程度の大きさになるか正確には推定できないという欠点があった。
【０００８】
また、使用者または被験者の瞳孔径をファインダーに入射する光量によって推定すると、例えば明るい屋外から暗い室内等を観察する場合には、ファインダーに入射する光量は少ないにもかかわらず使用者または被験者の眼球の瞳孔は周囲の明るさによって小さくなるため、推定した瞳孔径は実際の瞳孔径よりも大きくなってしまい、不要な検出データを正確に排除することができず、瞳孔と虹彩の境界を正確に検出することができないことがあった。
【０００９】
【課題を解決するための手段】
本願の請求項１に記載した発明によれば、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、使用者または被験者眼の像を受光する受光手段と、該受光手段で得られた眼球像信号を演算処理して使用者または被験者の視線情報を求める演算処理手段とを有する視線検出装置において、前記測光手段の出力に基づいて推定した使用者または被験者の瞳孔径と、前記受光手段の出力に基づいて推定した使用者または被験者の瞳孔径を比較して、より小さい瞳孔径を使用者または被験者眼の推定瞳孔径として設定する推定瞳孔径設定手段を有し、前記演算処理手段は設定された該推定瞳孔径に基づいて前記受光手段で得られた眼球像信号から偽の抽出データを排除する演算処理をすることによって、より正確に瞳孔径を推定することができるので、瞳孔と虹彩との境界を検出する際の不要な検出データを正確に排除することが可能になる。
【００１０】
また、本願の請求項３に記載した発明による視線検出装置は、使用者または被験者の眼球像を受光する受光面を有する受光手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報から偽の抽出データを排除する演算処理をすることで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴として、このような構成によって、受光手段の受光面に結像する瞳孔径を求めることができ、より正確に瞳孔径を推定することができるので、瞳孔と虹彩との境界を検出する際の不要な検出データを正確に排除することが可能になる。
【００１１】
【発明の実施の形態】
図１〜図５は本発明の実施の形態で、図１は視線検出装置付き光学機器であるところの一眼レフカメラの要部概略図である。
【００１２】
図中１は撮影レンズであり、便宜上２枚のレンズ１ａ、１ｂで示したが、実際は多数のレンズから構成されている。２は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。３はサブミラーで、主ミラー２を透過した光束をカメラボディの下方へ向けて反射する。４はシャッター、５は感光部材で、銀塩フィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子あるいはビディコン等の撮像管より成っている。
【００１３】
６は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ６ａ、反射ミラー６ｂ及び６ｃ、２次結像レンズ６ｄ、絞り６ｅ、複数のＣＣＤからなるラインセンサー６ｆ等から構成されている周知の位相差方式を採用している。同図の焦点検出装置６は、観察画面内の複数の領域を焦点検出可能なように構成されている。
【００１４】
７は撮影レンズ１の予定結像面に配置されたピント板、８はファインダー光路変更手段であるペンタダハプリズム、９、１０は観察画面内の被写体輝度を測定する為の結像レンズと測光センサーで、結像レンズ９はペンタダハプリズム８内の反射光路を介してピント板７と測光センサー１０を共役に関係付けている。
【００１５】
次にペンタダハプリズム８の射出面後方には、光分割手段であるダイクロイックミラー１６と接眼レンズ１１が配され、撮影者の眼１５によるピント板７の観察に使用される。光分割手段であるダイクロイックミラー１６は、可視光を透過し赤外光を反射する特性を有している。１２は受光レンズ、１４はＣＣＤ等の光電素子列を２次元的に配したイメージセンサーで受光レンズ１２に関して所定の位置にある撮影者の眼１５の虹彩近傍と共役になるように配置されている。
【００１６】
１３ａ〜１３ｄは各々撮影者の目１５の照明光源であるところの赤外発光ダイオード（ＩＲＥＤ）で、接眼レンズ１１の下方に配置されている。
【００１７】
３１は撮影レンズ１内に設けた絞り、３２は絞り駆動回路１０７を含む絞り駆動装置、３３はレンズ駆動用モーター、３４は駆動ギヤ等からなるレンズ駆動部材、３５はフォトカプラーでレンズ駆動部材３４に連動するパルス板３６の回転を検知してレンズ駆動回路１１０に伝えている。レンズ駆動回路１１０は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モーターを所定量駆動させ、撮影レンズ１の合焦レンズ１ａを合焦位置に移動させている。３７は公知のカメラとレンズとのインターフェイスとなるマウント接点である。
【００１８】
図２は本発明を実施したカメラの本体に内蔵された電気回路の要部ブロック図である。同図において、図１と同一のものは同一の番号をつけている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置（以下ＣＰＵ）１００には、視線検出回路１０１、測光回路１０２、焦点検出回路１０３、信号入力回路１０４、絞り駆動回路１０７、シャッター制御回路１０８、レンズ駆動回路１１０が接続されている。また、撮影レンズ内に配置された絞り駆動回路１０７とレンズ駆動回路１１０とは図１で示したマウント接点３７を介して信号の伝達がなされる。
【００１９】
ＣＰＵ１００には、記憶手段としてＥＥＰＲＯＭ１００ａが付随している。
【００２０】
視線検出回路１０１は、ＩＲＥＤ１３ａ〜１３ｄを点灯制御して撮影者の眼球１５を照明し、イメージセンサー１４からの眼球像の出力をＡ／Ｄ変換しこの像情報をＣＰＵ１００に送信する。ＣＰＵ１００は眼球像を画像処理して角膜反射像と虹彩と瞳孔の境界を抽出し、さらに角膜反射像と瞳孔の中心位置のずれから撮影者の視線情報を算出する。
【００２１】
測光回路１０２は、測光センサー１０からの出力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサーの輝度情報としてＣＰＵ１００に送っている。
【００２２】
ラインセンサー６ｆは画面内の複数の焦点検出領域に対応した公知のＣＣＤラインセンサーである。焦点検出回路１０３はこれらラインセンサー６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１００に送っている。
【００２３】
信号入力回路１０４は、不図示のシャッターレリーズボタンの第１ストローク（スイッチＳＷ−１）と第２ストローク（スイッチＳＷ−２）の信号入力を検知してＣＰＵ１００にその信号を送信している。
【００２４】
絞り駆動回路１０７は、撮影レンズ１の絞り３１が所定の大きさになるように絞り駆動装置３２を制御している。
【００２５】
シャッター制御回路１０８は通電するとシャッター幕を走行させて、感光部材に所定光量を露光させる。
【００２６】
ここで本発明の視線検出装置は、照明手段を構成するＩＲＥＤ１３ａ〜１３ｄ、ＩＲＥＤを駆動する視線検出回路１０１、受光手段を構成する接眼レンズ１１、ダイクロイックミラー１６、受光レンズ１２、イメージセンサー１４、イメージセンサー１４を制御する視線検出回路１０１、演算処理手段を構成する視線検出回路１０１及びＣＰＵ１００、記憶手段であるＥＥＰＲＯＭ１００ａ、測光手段を構成する結像レンズ９、測光センサー１０、測光センサーを制御する測光回路１０２とから構成されている。
【００２７】
次に、視線検出装置を具備した光学機器であるところのカメラの動作のフローチャートを図３に示す。本発明のカメラは、使用者または被験者の視線情報を用いて焦点検出領域の選択と測光値の重み付けが可能となっている。
【００２８】
撮影者がカメラを起動させると、ＣＰＵ１００は信号入力回路１０４を介して視線検出装置の動作状態を設定するための不図示のモード選択スイッチの設定状態を確認する（＃１００）。
【００２９】
モード選択スイッチが視線のキャリブレーションモードに設定されていれば（＃１００）、ＣＰＵ１００は撮影者の視線と注視目標を一致させるための視線のキャリブレーションを実行する（＃１０１）。視線のキャリブレーション方法については、特開平６−８６７５９号公報において詳細に説明されているので、ここでは説明を省略する。
【００３０】
またモード選択スイッチが通常の撮影モードに設定されていれば、ＣＰＵ１００は、視線のキャリブレーションを行うモード（ＣＡＬモード）に設定されていないことを認識し（＃１００）、さらに信号入力回路１０４を介してシャッターレリーズボタンの第１ストローク、スイッチＳＷ−１の状態を確認する（＃１０２）。スイッチＳＷ−１がＯＦＦ状態であれば、ＣＰＵ１００はスイッチＳＷ−１がＯＮされるまで待機する（＃１０２）。
【００３１】
撮影者によってスイッチＳＷ−１がＯＮされれば（＃１０２）、ＣＰＵ１００は先に検知したモード選択スイッチの設定状態を確認し（＃１０３）、撮影者の視線情報を用いずに制御手段を制御するモードに設定されていなければ、ＣＰＵ１００は記憶手段であるＥＥＰＲＯＭ１００ａから撮影者の視線のキャリブレーションデータを読み出す（＃１０５）。
【００３２】
さらにＣＰＵ１００は、視線検出回路１０１に信号を送って撮影者の眼球１５をＩＲＥＤ１３にて照明し、その反射光を接眼レンズ１１、ダイクロイックミラー１６、受光レンズ１２を介してイメージセンサー１４にて撮像させる。ＣＰＵ１００は、視線検出回路１０１を介してイメージセンサー１４より得られた眼球像を処理して角膜反射像及び虹彩と瞳孔の境界を抽出し、その角膜反射像と瞳孔の中心位置のずれから撮影者の視線情報を算出する（＃１０６）。視線情報の算出のフローは後述する。
【００３３】
さらにＣＰＵ１００は検出された撮影者の視線情報と視線のキャリブレーションデータによりピント板７上の注視点を算出する（＃１０７）。
【００３４】
ここで、撮影者の視線情報を自動焦点調節手段の制御に用いるモードに設定されていれば、ＣＰＵ１００は前記注視点座標より最寄りの焦点検出領域を選択する（＃１０９）。
【００３５】
引き続きＣＰＵ１００は焦点検出回路１０３に信号を送信して撮影者の視線情報に基づいて選択された焦点検出領域の焦点検出を実行する（＃１１０）。選択された焦点検出領域の焦点状態が合焦していなければ（＃１１１）、ＣＰＵ１００はレンズ駆動回路１１０に焦点調節信号を送信して撮影レンズ１レンズ駆動を行う（＃１２０）。焦点調節信号に対応したレンズ駆動が実行されると（＃１２０）再度焦点検出が実行され（＃１２１）。
【００３６】
選択された焦点検出領域の焦点状態が合焦していれば（＃１１１）、ファインダー内に合焦表示を行う（＃１１２）。ファインダー視野内に合焦表示が行われるため、撮影者は撮影レンズが所望の焦点検出領域において合焦していることが認識できる。
【００３７】
また、撮影者の視線情報を露出値の決定に用いるモードに設定されていれば（＃１１３）、ＣＰＵ１００は測光回路１０２に信号を送信して測光を行なう。このとき、撮影画面内の分割された領域の測光値に撮影者の視線情報に基づいた重み付けを行って露出値が決定する（＃１１４）。
【００３８】
引き続きスイッチＳＷ−１がＯＮされていれば（＃１１５）、シャッターレリーズボタンのスイッチＳＷ−２の状態が確認される（＃１１６）。スイッチＳＷ−２がＯＦＦ状態であれば（＃１１６）、再びスイッチＳＷ−１の状態の確認を行う（＃１１５）。スイッチＳＷ−１がＯＦＦ状態であれば（＃１１５）、そのまま初期状態に戻る。
【００３９】
また、スイッチＳＷ−２がＯＮされたならば（＃１１６）、ＣＰＵ１００は絞り駆動回路１０７に信号を送信して絞り３１を所定の開口に設定するとともに、シャッター制御回路１０８に信号を送信しシャッター幕を走行させて撮影を行う（＃１１７）。
【００４０】
カメラのシャッターレリーズ動作が終了すると（＃１１７）、初期状態に戻る。
【００４１】
一方、撮影者によってスイッチＳＷ−１がＯＮされれば（＃１０２）、ＣＰＵ１００は先に検知したモード選択スイッチの設定状態を確認し、撮影者の視線情報を用いて制御手段を制御するモードに設定されていなければ制御手段は独立して制御される（＃１０３）。
【００４２】
ＣＰＵ１００は焦点検出回路１０３に信号を送信して全ての焦点検出領域の焦点検出を実行する（＃１１８）。さらにＣＰＵ１００は、検出された全ての焦点検出領域の焦点検出情報を比較して、被写体距離がもっとも短い焦点検出領域を撮影レンズの焦点調節を行う領域と決定する（＃１１９）。
【００４３】
決定された焦点検出領域に対して合焦していれば（＃１１１）合焦表示を行う（＃１１２）。
【００４４】
また、露出値も撮影者の視線情報を用いずに決定される（＃１１３）。ＣＰＵ１００は測光回路１０２に信号を送信して測光を行なう。このとき、主被写体があると思われる領域が適正な露出量になるように評価を行って露出値が決定される（＃１２３）。
【００４５】
引き続きスイッチＳＷ−１がＯＮされていれば（＃１１５）、シャッターレリーズボタンのスイッチＳＷ−２の状態が確認される（＃１１６）。スイッチＳＷ−２がＯＦＦ状態であれば（＃１１６）、再びスイッチＳＷ−１の状態の確認を行う（＃１１５）。スイッチＳＷ−１がＯＦＦ状態であれば（＃１１５）、そのまま初期状態に戻る。
【００４６】
また、スイッチＳＷ−２がＯＮされたならば（＃１１６）、ＣＰＵ１００は絞り駆動回路１０７に信号を送信して絞り３１を所定の開口に設定するとともに、シャッター制御回路１０８に信号を送信しシャッター幕を走行させて撮影を行う（＃１１７）。
【００４７】
カメラのシャッターレリーズ動作が終了すると（＃１１７）、初期状態に戻る。
【００４８】
図４は視線情報の算出のフローで、以下同図を用いて説明する。
【００４９】
視線検出の実行が指示されると（＃１０６）、ＣＰＵ１００は測光手段である測光回路１０２に信号を送信して測光センサー１０の信号を読みだしてファインダー光学系に入射している光量を測定する（＃１３０）。記憶手段であるＥＥＰＲＯＭ１００ａにはファインダー光学系の測光値に対する使用者または被験者の瞳孔径の情報が記憶されているため、ＣＰＵ１００はＥＥＰＲＯＭ１００ａから測定されたファインダー光学系の測光値に対応する使用者または被験者の瞳孔径情報を読みだして瞳孔径ｒ１と推定する（＃１３１）。このとき、ファインダー光学系の測光値が明るければ瞳孔径ｒ１は小さい値となり、またファインダー光学系の測光値が暗ければ瞳孔径ｒ１は大きい値となる。
【００５０】
さらにＣＰＵ１００は、受光手段である視線検出回路１０１に信号を送信してイメージセンサーであるＣＣＤ１４を所定時間蓄積させ信号を出力させる（＃１３２）。記憶手段であるＥＥＰＲＯＭ１００ａにはイメージセンサー１４の出力に対する使用者または被験者の瞳孔径情報が記憶されているため、ＣＰＵ１００はＥＥＰＲＯＭ１００ａから測定されたイメージセンサー１４の光出力値に対応する使用者または被験者の瞳孔径情報を読みだして瞳孔径ｒ２と推定する（＃１３３）。このとき、使用者または被験者の前眼部が明るければ瞳孔径ｒ２は小さい値となり、また使用者または被験者の前眼部が暗ければ瞳孔径ｒ２は大きい値となる。受光手段を用いて使用者または被験者の前眼部の明るさを測定する際、照明手段によって使用者または被験者の眼球を照明しない方が望ましい。
【００５１】
ＣＰＵ１００は、ファインダー光学系に入射する光量に基づいて推定された瞳孔径ｒ１と、使用者または被験者の前眼部の明るさに基づいて推定された瞳孔径ｒ２とを比較してより小さい瞳孔径の方を最終的な設定値とする（＃１３４）。たとえば、使用者または被験者が暗い屋内から明るい屋外を観察している場合は、ｒ１＜ｒ２  となるため、瞳孔径はｒ１と設定される。逆に、太陽光下の明るい屋外から暗い室内等を観察する場合は、ｒ１＞ｒ２  となるため、瞳孔径はｒ２と設定される。このように、より小さい瞳孔径を最終的な設定値にすることで推定瞳孔径はより実際の瞳孔径に近づけることができる。したがって、どのような場合にも正確に不要なデータを排除することができる。
【００５２】
ファインダー光学系に入射する光量と使用者または被験者の前眼部の明るさに基づいて使用者または被験者の瞳孔径が設定されると（＃１３４）、ＣＰＵ１００は照明手段である視線検出回路１０１に信号を送信してＩＲＥＤ１３によって使用者または被験者の眼球を照明するとともに、受光手段であるイメージセンサー１４にて眼球からの反射光を受光する（＃１３５）。ＣＰＵ１００は、イメージセンサー１４にて撮像された眼球像を視線検出回路１０１を介してＡ／Ｄ変換して画像処理を行い、角膜反射像と瞳孔と虹彩の境界を抽出する（＃１３６）。
【００５３】
図５はイメージセンサー１４に形成される使用者または被験者の眼球像と画像処理結果を示したものである。同図において２個の黒丸（・）が角膜反射像である。角膜反射像は、光強度が強いためほぼ正確に検出される。また、図中  ×  と  □  で示したのが光の強度差が大きいために瞳孔と虹彩との境界として抽出されたところである。
【００５４】
さらにＣＰＵ１００は、２個の角膜反射像の間隔から使用者または被験者眼の受光手段に対する距離を求めて、その距離から使用者または被験者眼の結像倍率βを算出する（＃１３７）。結像倍率βは、２個の角膜反射像の間隔をΔＰとすると、
【００５５】
【外１】
0003559622.tif 000002
と表される。ただし、ａ、ｂ、ｃ、ｄは照明手段、受光手段の設定状態で決まる定数である。
【００５６】
先に設定された使用者または被験者眼の瞳孔径ｒと使用者または被験者眼の結像倍率βより、イメージセンサー１４上での瞳孔の大きさが求められる。さらに、２個の角膜反射像の位置とイメージセンサー１４上での瞳孔の大きさに基づいて瞳孔の存在範囲が設定される（＃１３８）。図５に示した眼球像の中で、瞳孔の存在範囲を示したのが点線である。
【００５７】
ＣＰＵ１００は瞳孔の存在範囲に基づいて、瞳孔と虹彩との境界に関する偽の抽出データを排除する（＃１３９）。このとき図５において、×印で示したまぶたと眼球との境界で抽出されたデータや強膜と虹彩との境界で抽出されたデータが排除される。さらにＣＰＵ１００は、瞳孔と虹彩との境界として抽出された残りのデータ（図５における□印のデータ）に基づいて瞳孔の中心位置を算出する（＃１４０）。
【００５８】
瞳孔の中心位置が求まると、角膜反射像との位置の差より使用者または被験者眼の回転角が算出される（＃１４１）。
【００５９】
本実施例において、瞳孔径に基づく瞳孔の存在範囲の設定は、使用者または被験者眼の回転を考慮して幾分大きめに設定されるのはいうまでもない。
【００６０】
また本実施例において、角膜反射像及び瞳孔と虹彩との境界を抽出後に瞳孔の存在範囲を設定して偽の抽出データを排除する方法を例示したが、先に角膜反射像を抽出して瞳孔の存在範囲を設定後、瞳孔と虹彩との境界とを抽出してもかまわない。
【００６１】
【発明の効果】
以上説明したように、本願の請求項１に記載した発明によれば、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、使用者または被験者眼の像を受光する受光手段と、該受光手段で得られた眼球像信号を演算処理して使用者または被験者の視線情報を求める演算処理手段とを有する視線検出装置において、前記測光手段の出力に基づいて推定された使用者または被験者の瞳孔径と、前記受光手段の出力に基づいて推定された使用者または被験者の瞳孔径の少なくともどちらか一方を利用して使用者または被験者眼の推定瞳孔径を設定する瞳孔径設定手段を有し、前記演算処理手段は設定された該推定瞳孔径に基づいて前記眼球像信号を演算処理することによって、より正確に瞳孔径を推定することができる。したがって、瞳孔と虹彩との境界を検出する際の不要な検出データをより正確に排除することが可能になり、短時間で正確に瞳孔形状を検出することができるので、視線検出の高速化、高精度化を図ることができる。
【００６２】
また、本願の請求項５に記載した発明による視線検出装置は、該使用者または被験者の眼球像を受光する受光面を有する受光手段と、実質的に使用者または被験者の眼球に入射する光量を測光する測光手段と、該測光手段の出力に基づいて該使用者または被験者の瞳孔径を推定する瞳孔径推定手段と、該使用者または被験者の眼球と受光手段の受光面との距離情報を求める距離情報検出手段と、該瞳孔径推定手段によって推定された該使用者または被験者の瞳孔径および該距離情報検出手段によって求めた距離情報から該受光手段の受光面に結像する該使用者または被験者の瞳孔径を演算する瞳孔径演算手段と、該瞳孔径演算手段の演算結果に基づいて、該受光手段によって得られた眼球像情報を演算処理することで使用者または被験者の視線情報を求める演算処理手段とを有することを特徴として、このような構成によって、受光手段の受光面上の推定瞳孔径を求めることができ、より正確に瞳孔径を推定することができる。したがって、瞳孔と虹彩との境界を検出する際の不要な検出データをより正確に排除することが可能になり、短時間で正確に瞳孔形状を検出することができるので、視線検出の高速化、高精度化を図ることができる。
【図面の簡単な説明】
【図１】一眼レフカメラの要部概略図
【図２】カメラの電気回路ブロック図
【図３】カメラの動作フロー説明図
【図４】視線算出フロー説明図
【図５】眼球像説明図
【符号の説明】
１  撮影レンズ
２  主ミラー
３  サブミラー
４  シャッター
５  フィルム
６  焦点検出装置
７  ピント板
８  ペンタダハプリズム
９  結像レンズ
１０  測光センサー
１１  接眼レンズ
１２  受光レンズ
１３  赤外発光ダイオード
１４  ＣＣＤ
１５  眼球
３２  絞り駆動装置
１００  ＣＰＵ
１０１  視線検出回路
１０２  測光回路
１０３  焦点検出回路
１０４  信号入力回路
１０７  絞り駆動回路
１０８  シャッター制御回路
１１０  レンズ駆動回路
【図１】
0003559622.tif 000003
【図２】
0003559622.tif 000004
【図３】
0003559622.tif 000005
【図４】
0003559622.tif 000006
【図５】
0003559622.tif 000007