【事件の表示】
　特許第３１９２４８３号「光学機器」の請求項１ないし３に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３１９２４８３号の請求項１ないし３に係る特許を維持する。
【理　由】
１．手続の経緯
　
　特許第３１９２４８３号の特許請求の範囲（請求項の数３）に記載された発明は、平成４年５月２２日に出願され、平成１３年５月２５日にその特許の設定登録がなされ、その後、特許異議の申立がなされ、取消理由が通知され、その指定期間内である平成１４年６月１８日に訂正請求がなされたものである。
　
　
２．訂正の適否についての判断
　
（１）訂正の内容
　特許権者が求めている訂正の内容は、以下のとおりの訂正事項である。
　
ア．訂正事項ａ
　特許請求の範囲の請求項１を、
「【請求項１】 画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出し、抽出した領域を表示する抽出手段と、該抽出手段により抽出され、表示された領域の中から少なくとも１つを外部操作により選択する領域選択手段とを有することを特徴とする光学機器。」
と訂正する。
　
イ．訂正事項ｂ
　本件明細書の【０００７】欄を、
「【課題を解決するための手段】 上記目的を達成するために、請求項１に記載した本発明は、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出し、抽出した領域を表示する抽出手段と、該抽出手段により抽出され、表示された領域の中から少なくとも１つを外部操作により選択する領域選択手段とを有することを特徴としている。また、請求項２に記載した本発明は、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出する抽出手段と、視線を検出する視線検出手段と、該視線検出手段の視線検出結果に基づいて、前記抽出手段により抽出された領域の中から少なくとも１つを選択する領域選択手段とを有することを特徴としている。また、請求項３に記載した本発明は、請求項１又は２記載の発明に加え、前記抽出手段は、対象物の大きさに相当する領域を抽出することを特徴としている。」
と訂正する。
　
ウ．訂正事項ｃ
　本件明細書の【００４３】欄を、
「【発明の効果】 以上説明したように、請求項１に記載した本発明によれば、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出し、抽出した領域を表示する抽出手段と、該抽出手段により抽出され、表示された領域の中から少なくとも１つを外部操作により選択する領域選択手段とを有することにより、前記抽出手段により抽出された領域が複数ある場合に、意図する領域を選択することができる。」
と訂正する。
　
　
（２）訂正の目的の適否、新規事項事項の有無及び拡張・変更の存否
　
ア．訂正事項ａについて
　訂正事項ａは、請求項１に係る発明を、本件明細書に記載のある抽出手段が抽出した領域の表示を行う点、及び領域の選択が抽出され表示された領域の中から外部操作によって行われる点について限定する訂正であるから、特許請求の範囲の減縮を目的とした明細書の訂正に該当し、新規事項の追加に該当せず、実質的に特許請求の範囲を拡張し又は変更するものでもない。
　
イ．訂正事項ｂ及びｃについて
　訂正事項ｂ及びｃは、特許請求の範囲の請求項１の記載との整合を図るために行われる訂正であるから、明りょうでない記載の釈明を目的とした明細書の訂正に該当し、新規事項の追加に該当せず、実質的に特許請求の範囲を拡張し又は変更するものでもない。
　
　
（３）むすび
　以上のとおりであるから、上記訂正は、特許法１２０条の４第３項において準用する平成６年法改正前の特許法１２６条１項ただし書き、及び２項の規定に適合するので、当該訂正を認める。
　
　
　
３．特許異議の申立てについての判断
　
（１）特許異議の申立ての理由についての概要
　申立人戸叶孝一は、本件請求項１に係る発明の特許は、以下の甲第１号証に記載された発明と同一であるから特許法２９条１項３号の規定に違反してなされたものであり、また本件請求項１ないし３に係る発明の特許は、以下の甲第１ないし２号証より容易に発明をすることができたものであるから、特許法２９条２項の規定に違反してなされたものであり取り消すべき旨主張している。
　甲第１号証：特開平１−２１８５１４号公報
　甲第２号証：特開平１−１９０１７７号公報
　
　
（２）本件発明
　上記２．で示したように上記訂正は認められるところとなったから、本件の請求項１，２，３に係る発明（以下それぞれ「本件発明１」，「本件発明２」，「本件発明３」という。）は、上記訂正に係る訂正明細書の特許請求の範囲の請求項１，２，３にそれぞれ記載された事項により特定される次に掲げるとおりのものである。
　
「【請求項１】上記２．（１）ア．のとおり。
　
【請求項２】 画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出する抽出手段と、視線を検出する視線検出手段と、該視線検出手段の視線検出結果に基づいて、前記抽出手段により抽出された領域の中から少なくとも１つを選択する領域選択手段とを有することを特徴とする光学機器。
　
【請求項３】 前記抽出手段は、対象物の大きさに相当する領域を抽出することを特徴とする請求項１又は２記載の光学機器。」
　
　
（３）刊行物に記載された発明
　特許異議申立人が証拠として提出した刊行物には、それぞれ、以下のような発明が記載されている。
　
ａ．刊行物１：特開平１−２１８５１４号公報（甲第１号証）
(a-1)「作業対象を撮像した画像情報に基づいて、前記作業対象の色に対応した第１領域を抽出する第１領域抽出手段と、前記第１領域の位置情報に基づいて、作業用ハンドを前記作業対象に向けて誘導する誘導手段とが設けられている作業機の誘導装置に関する」（１頁右下欄１７行ないし２頁左上欄２行)
(a-2)「その第１目的は、一つの第１領域内に複数個の作業対象が存在する場合には、その第１領域内において手前側に位置する作業対象ほど先にアプローチさせるように、それらに対するアプローチ順序を的確に決定できるようにすることにある。」（２頁左下欄８行ないし１３行）
(a-3)「尚、図中、（Ｓ１）は前記作業用ハンド（Ｈ）が向いた方向に位置する果実を撮像する撮像手段としてのカラー式のイメージセンサ、・・・・そして、前記作業用ハンド（Ｈ）を収穫対象果実が位置する方向に向けた状態で、前記照光装置（１５）にて照光しながら、前記イメージセンサ（Ｓ１）にて撮像処理し、撮像した画像情報に基づいて、収穫対象果実の色に対応する領域を抽出し、そして、その抽出した領域の画像上の位置に基づいて、前記作業用ハンド（Ｈ）のアプローチ方向を決定するのである。」（４頁右上欄１２行ないし左下欄１２行）
(a-4)「つまり、前記制御装置（１６）を利用して、作業対象果菜類としての前記果実（Ｆ）の色に対応した第１領域（Ｆ１）を抽出する第１領域抽出手段（１００）、前記第１領域（Ｆ１）内における明るさが設定値よりも大なる第２領域（Ｆ２）を抽出する第２領域抽出手段（１０２）、大きさが大なる第２領域（Ｆ２）に向けて先にアプローチさせるように、前記第２領域（Ｆ２）の大きさに基づいてアプローチ順序を決定するアプローチ順序決定手段（１０３）、前記第１領域（Ｆ１）内において明るさが最大となる第３領域（Ｆ３）を抽出する第３領域抽出手段（１０４）、及び、前記アプローチ順序決定手段（１０３）にて決定されたアプローチ順序に基づいて、収穫対象果実（Ｆ）に向けて前記作業用ハンド（Ｈ）を誘導する誘導手段（１０１）の夫々が構成されることになる。」（５頁左上欄１行ないし１６行）
　以上の(a-1)ないし(a-4)の記載からみて、本件発明との関連において刊行物１には「撮像手段としてカラー式のイメージセンサを備え、撮像した画像情報に基づいて、収穫対象果実の色に対応する第１領域を抽出し、さらに第１領域内で明るさが設定値よりも大なる第２領域を設定し、第２領域の大きさに基づいて収穫対象果実のアプローチ順序を決定する作業機の誘導装置」について記載されている。
　
ｂ．刊行物２：特開平１−１９０１７７号公報（甲第２号証）
(b-1)「視野枠内の所望の被写体に焦点調節を行うためのオートフォーカス装置に関する」（１頁左下欄１６行ないし１７行）
(b-2)「視線方向検出回路２０は、撮影者が電子ビューファインダ１５に表示された被写体を晩んでいるファインダ画枠上の位置を検出する回路で、ファインダ画枠上の視線方向のＸ、Ｙ座標を検出する。フォーカスエリア検出回路２１は、視線方向検出回路２０で検出されたファインダ画枠上のＸ、Ｙ座標を中心に所定範囲の領域を検出する回路で、ゲート回路１２を制御するとともに、電子ビューファインダ１５の画面にフォーカスエリアを表示する。」（２頁左下欄６行ないし１５行）
(b-3)「上記視線方向検出回路２０で視線方向Ｘ，Ｙが検出されると、第３図に示すように、電子ビューファインダ１５のファインダ画枠１５ａ内に上記視線方向Ｘ，Ｙを中心にしてＸ±β，Ｙ±αの範囲でフォ−カスエリア３３が表示される。なお、このときスイッチＳＷ２を閉成すれば、第４図に示すように、フォ一カスエリア３３は視線方向Ｘ，Ｙに関係なく、ファインダ画枠１５ａ内の中央付近の所定位置に復帰する。このように上記実施例は構成されているので、撮影者は電子ビューファインダ１５のファインダ画枠１５ａ内のピントを合わせたい被写体像を注目すると、撮影者の被写体像を見る目２５の視線方向が検出され、注目した部分が上記フォーカスエリア３３として表示される（第３図参照）。また同時に、このフォ−カスエリア３３のコントラストが最大になるようにレンズ駆動がなされる。」（３頁左上欄１８行ないし右上欄１４行）
　
　
（４）対比・判断
ａ．本件発明１について
　本件発明１と刊行物１に記載された発明とを対比すると、
本件発明１は、刊行物１に記載された発明が具備していない「抽出した領域を表示する抽出手段」及び、「抽出され表示された領域の中から少なくとも１つを外部操作により選択する外部領域選択手段」を有している点（相違点）で刊行物１に記載された発明と相違する。
　したがって、本件発明１は刊行物１に記載された発明と同一であるとはいえない。
　次に、上記相違点についてみると、刊行物２には、対象を表示し、これを見る撮影者の視線を検出することによって、表示された被写体像の中から対象をいわば外部操作によって選択する技術について記載されている。
　そこで、刊行物２に記載された上記技術の、刊行物１に記載された発明への適用の可否について検討する。刊行物１に記載された発明は、手前に位置する作業対象ほど先にアプローチさせるようにアプローチ手順を決定するためのものであり（上記（３）(a-2)参照）、いわば対象選択を自動的に行うことを目的としたものといえる。これに対して上記刊行物２に記載された技術は、意図する領域を自動ではなく視線により選択する技術である。したがって、選択の方法が基本的に異なることから、刊行物２に記載された技術を刊行物１に記載された発明に容易に適用できたとはいえない。また適用を示唆する記載も刊行物１及び２にはない。
　そして、本件発明１は、上記相違点に係る構成を有することにより、抽出された領域が複数ある場合に意図する領域を選択できるという格別な効果を奏することができるものである（明細書の【００４３】欄参照）から、本件発明１は刊行物１及び２から当業者が容易に発明をすることができたものとはいえない。
　なお、申立人が申立ての理由の中で引用している甲第３号証（特開昭６２−１０３６１６号公報）を検討しても、本件発明１を当業者が容易に発明できたとはいえない。
　
ｂ．本件発明２について
　本件発明２と刊行物１に記載の発明とを対比すると、
本件発明２は、刊行物１に記載された発明が具備していない「視線を検出する視線検出手段と、該視線検出手段の視線検出結果に基いて、前記抽出手段により抽出された領域の中から少なくとも１つを選択する領域選択手段」を有している点（相違点）で刊行物１に記載された発明と相違する。
　そこで上記相違点についてみると、刊行物２には、撮影者の視線を検出する手段を有し、視線の検出結果に基いて表示された被写体像の中から対象を選択する技術について記載されている。
　そこで、刊行物２に記載された上記技術の、刊行物１に記載された発明への適用の可否について検討すると、上記ａ．で既に検討したように、刊行物１に記載された発明は対象の選択をいわば自動的に行うことを目的としたものであるのに対し、上記刊行物２に記載された技術は、領域の選択を自動ではなく外部操作により行う技術であり、選択の方法が基本的に異なる。加えて、刊行物１及び２には、上述した刊行物２の技術の刊行物１の発明への適用を示唆する何らの記載もない。したがって、刊行物２に記載された技術を刊行物１に記載された発明に容易に適用できたとはいえない。
　そして、本件発明２は、上記相違点に係る構成を有することにより、抽出された領域が複数ある場合に意図する領域を選択できるという格別の効果を奏することができるものである（明細書の【００４４】欄参照）から、本件発明２は刊行物１及び２から当業者が容易に発明をすることができたものともいえない。
　なお、申立人が申立ての理由の中で引用している甲第３号証（特開昭６２−１０３６１６号公報）を検討しても、本件発明２を当業者が容易に発明できたとはいえない。
　
ｃ．本件発明３について
　本件発明３は、本件発明１又は本件発明２を直接引用して、その構成を更に限定したものであるから、上記「ａ．本件発明１について」又は「ｂ．本件発明２について」と同じ理由により、上記各刊行物から容易に発明をすることができたものともいえない。
　
　
（５）むすび
　以上のとおりであるから、特許異議申立ての理由及び証拠によっては、本件発明１ないし３に係る特許を取り消すことはできない。
　また、他に本件発明１ないし３に係る特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１４年７月３日（２００２．７．３）
【訂正の要旨】
訂正の要旨
▲１▼　訂正事項ａ
　特許請求の範囲の減縮を目的として、特許請求の範囲の請求項１中の「領域を抽出する」を「領域を抽出し、抽出した領域を表示する」に、そして、「抽出された領域」を「抽出され、表示された領域」に、それぞれ訂正する。
▲２▼　訂正事項ｂ
　特許請求の範囲の減縮を目的として、特許請求の範囲の請求項１中の「少なくとも１つを」の後に「外部操作により」を加入する。
▲３▼　訂正事項ｃ
　上記訂正事項ａ及びｂに伴い、特許請求の範囲の請求項１の記載と発明の詳細な説明の記載との整合を図るため、明りょうでない記載の釈明を目的として、本件明細書の【０００７】の請求項１に係る記載中及び【００４３】中の「領域を抽出する」を「領域を抽出し、抽出した領域を表示する」に訂正し、「抽出された領域」を「抽出され、表示された領域」に訂正し、また、「少なくとも１つを」の後に「外部操作により」を加入する。
（５４）【発明の名称】
光学機器
（５７）【特許請求の範囲】
　【請求項１】画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出
し、抽出した領域を表示する
抽出され、表示された
外部操作により
　【請求項２】画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出する抽出手段と、視線を検出する視線検出手段と、該視線検出手段の視線検出結果に基づいて、前記抽出手段により抽出された領域の中から少なくとも１つを選択する領域選択手段とを有することを特徴とする光学機器。
　【請求項３】前記抽出手段は、対象物の大きさに相当する領域を抽出することを特徴とする請求項１又は２記載の光学機器。
【発明の詳細な説明】
　【０００１】
　【産業上の利用分野】本発明は、画像信号に基づいて対象物の存在する領域を抽出する光学機器に関するものである。
　【０００２】
　【従来の技術】従来、種々の撮影制御に際して、撮影画面内に領域を設定することがなされている。例えば、オートフォーカスにおいては、合焦情報を検出する為の合焦検出領域を、また、撮影者の手振れ等による画像のブレ補正においては、画像の動きを検出するブレ検知領域を、それぞれ設定し、この設定した領域内の撮像信号に基づいて各々の撮影制御を行っていた。
　【０００３】また、被写体の合焦情報などに基づいて先の合焦検出領域を自動的に被写体に追尾させることを可能とするものも提案されている。
　【０００４】
　【発明が解決しようとする課題】しかしながら、上記従来例において、撮影制御に際して設定される領域は予め画面内に設定される構成となっており、必要に応じて撮影者が任意の位置に設定するといった事はできず、撮影の範囲が制限されてしまっていた。このため、合焦情報などの被写体の情報に基づいて抽出すべく被写体領域（範囲）を設定するものにおいては、合焦状態にあるか否かによりその領域を設定してしまうために、撮影者の意図する被写体と異なる被写体を選択、つまり意図しない被写体にピントが合ってしまうといった問題点があった。
　【０００５】また、撮影後に領域を設定して、画像の合成などを編集作業として行うような編集装置も多種提案されているが、このように画面内の意図した位置に領域を設定可能とするものにおいては、編集装置を別に準備する必要があることと、別に時間をかけて作業を行わなければならないこと、さらには撮影後の画像にのみしか領域設定した情報を使用することができないなどの問題があった。
　【０００６】本発明の目的は、上記の点に鑑み、抽出された領域が複数あった場合に、意図する領域を選択することのできる光学機器を提供することである。
　【０００７】
　【課題を解決するための手段】上記目的を達成するために、請求項１に記載した本発明は、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出
し、抽出した領域を表示する
抽出され、表示された
外部操作により
　【０００８】
　【０００９】
　【実施例】以下、本発明を図示の実施例に基づいて詳細に説明する。
　【００１０】図１は本発明の第１の実施例における撮影装置のブロック図であり、同図において、１は撮影レンズ、２はＣＣＤなどの撮像素子、３は撮像素子２よりの撮像信号から画面内における被写体の領域（範囲）を抽出（設定）する被写体抽出回路、４は前記被写体抽出回路３にて抽出された領域情報に基づきその被写体枠を生成する被写体枠生成回路、５は前記被写体枠生成回路３で生成された被写体枠を映像信号に合成し、合成画像をファインダに表示するファインダ制御回路、６は電子ビューファインダなどの表示装置、７はファインダを観察するためのファインダレンズ、８は撮影者の眼球の動きから撮影者の視線を検出する視線検出光学系、９は眼球の像を検出する検出器、１０はファインダ系の光路と視線検出系の光路を分離する光路分離ミラー、１１は視線の位置を抽出する視線抽出回路、１２は被写体抽出回路３からの領域情報と視線抽出回路１１からの視線情報に基づいて主要被写体を決定し、被写体情報の制御をする被写体情報制御回路、１３は撮像素子２からの撮像信号をテレビジョン規格に準じた映像信号に変換する映像信号変換回路、１４は撮影レンズ１の駆動を制御する撮影レンズ駆動回路、１５は撮像素子１の露光時間やシャッタスピードなどを制御する撮像素子駆動回路、１６は各回路における動作の同期をとるための信号を発生する同期信号発生回路である。
　【００１１】ここで、図２を用いて被写体抽出回路３での動作について説明する。
　【００１２】被写体抽出回路３は、撮像素子２から被写体像のエッヂ部分のボケ量に応じたボケ幅を検出し（図２（ａ）参照）、検出された合焦度に応じたエッヂのボケ幅の撮像画面上における分布を認識し（図２（ｂ）参照）、合焦状態にある分布から主要被写体の領域を設定する（図２（ｃ）参照）。
　【００１３】次に、上述した視線検出光学系８、イメージセンサ等の検出器９及び視線抽出回路１１等より成る視線検出装置による視線検出方法の基本原理について、図３により説明する。
　【００１４】図３において、１０４は観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、投光レンズ１０６の焦点面に配置されている。
　【００１５】光源１０４より発光した赤外光は投光レンズ１０６により平行光となり、ハーフミラー１０５で反射し、眼球の角膜１０１を照明する。この時、角膜１０１の表面で反射した赤外光の一部に基く角膜反射像ｄはハーフミラー１０５を透過し、図１の視線検出光学系８に相当する受光レンズ１０７により集光され、同じく図１の検出器９に相当するイメージセンサ１０９上の位置ｄ′に角膜反射像ｄを再結像する。
　【００１６】また、虹彩１０３の端部ａ，ｂからの光束はハーフミラー１０５、受光レンズ１０７を介してイメージセンサ１０９の上に導光され、その位置ａ′，ｂ′に該端部ａ，ｂの像を結像する。受光レンズ１０７の光軸▲１▼に対する眼球の光軸▲２▼の回転角θが小さい場合、虹彩１０３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩１０３の中心位置ｃの座標Ｚｃは
　　Ｚｃ≒（Ｚａ＋Ｚｂ）／２
と表される。
　【００１７】また、角膜反射像の発生位置ｄのＺ座標をＺｄ，角膜１０１の曲率中心Ｏと虹彩１０３の中心Ｃまでを距離ＯＣとすると、眼球光軸▲２▼の回転角θは
　　ＯＣ・ｓｉｎθ≒Ｚｃ−Ｚｄ　　　　　　　　　　　　　　…………（１）
の関係式を略満足する。このため、イメージセンサ１０９上に投影された各特異点（角膜反射像ｄ及び虹彩の端部ａ，ｂ）の位置を検出することにより、眼球光軸▲２▼の回転角θを求めることができる。この時（１）式は
　　β・ＯＣ・ｓｉｎθ≒｛（Ｚａ＋Ｚｂ）／２｝−Ｚｄ　　　…………（２）
と書き換えられる。但し、βは角膜反射像の発生位置ｄと受光レンズ７との距離Ｌと受光レンズ１０７とイメージセンサ１０９との距離Ｌｏで決る倍率で、通常ほぼ一定の値となっている。
　【００１８】上記のような原理により、観察者の被検眼の視線の方向（注視点）を検出することができる。
　【００１９】次に、本発明の第１の実施例における撮影装置に動作について、図４のフローチャート及び図５，図６に基づいて説明する。
　【００２０】ステップ１０１において、被写体抽出回路３により前述した様に撮像素子２から被写体情報が取り込まれ（図５（ａ）参照）、次のステップ１０２において、被写体数が１つかそれ以上であるかの判別が行われる。この結果、１つであれば被写体領域は既に確定であるのでステップ１０８へ進み、２つ以上であった場合には主要被写体を確定するためにステップ１０３へと進む。この実施例では、図５（ａ）に示す様に被写体数が３つの場合を想定しているので、ステップ１０２からステップ１０３へと進むことになる。ステップ１０３においては、例えばボケ幅に関する情報から被写体の領域の設定が行われ、この領域情報に基づいて被写体枠生成回路４にて該領域の枠にあたる画像が生成される（図５（ｂ）参照）。そして、ステップ１０４において、この画像（被写体枠）がファインダ制御回路５へ供給され、ここで該被写体枠と撮像信号とが合成され、この合成された画像が表示装置６に表示される。
　【００２１】この時、撮影者は前記電子ビューファインダ等の表示装置６上の像をファインダレンズ７を通して観察しているが、その際の撮影者の眼球の動きが前述の視線検出光学系８を通して検出器９で検出され、この検出された眼球の像に基づいて視線抽出回路１１にて視線の位置検出がなされており、ステップ１０５において、被写体抽出スイッチがＯＮされることによりステップ１０６へ進み、ここで前記視線抽出回路１１にて生成された視線情報が被写体情報制御回路１２へと供給される。そして、ステップ１０７において、被写体情報制御回路１２にて前記視線情報と被写体抽出回路３からの領域情報から主要な被写体が決定され（図５（ｃ）参照）、被写体領域が確定される。
　【００２２】前述した様に被写体情報制御回路１２にて被写体領域が確定した後はステップ１０８へ進み、主要の被写体情報を生成する。そして、次のステップ１０９において、この主要被写体情報に基づいて撮影レンズ駆動回路１４によって撮影レンズ１を駆動したり、撮像素子駆動回路１５によって撮像素子２の駆動を行う。
　【００２３】また、図６（ａ）に示す様に主被写体が抽出した位置より動いた場合には、被写体抽出回路３からの領域情報に基づき追従するように選択（図６（ｂ）参照）されると共に、追従して得られる主被写体情報に基づいて撮影レンズ駆動回路１４によって撮影レンズ１が駆動、又撮像素子駆動回路１５によって撮像素子２の駆動が、それぞれ継続される。
　【００２４】なお、２つ以上の被写体があった場合の選択は被写体抽出スイッチで行う様にしているが、この代りに、視線の注視している位置を計測し、その頻度の高い位置を撮影者の最も注視している位置と自動的に判断し、その位置を視線情報として、被写体情報制御回路１２が主被写体を自動的に決定するような構成であっても良い。また、被写体の抽出に使用する撮像信号の情報は、ボケ幅ではなく、輝度信号や、色信号でも良いし、これらを合せて使用しても良い。
　【００２５】（第２の実施例）図７は本発明の第２の実施例における撮影装置を示すブロック図であり、図１と同じ部分は同一符合を付してある。
　【００２６】図７において、１７は被写体枠を一時的に記憶するメモリである。
　【００２７】この第２の実施例では、被写体抽出を行う時に、撮影レンズ１のフォーカスレンズ群を駆動し、異なる被写体距離に位置する各被写体を画像信号より抽出し、それらを合せて表示した被写体枠から撮影者が主要な被写体を決定できるようにしたものである。
　【００２８】次に、本発明の第２の実施例における撮影装置に動作について、図８のフローチャート及び図９，図１０に基づいて説明する。
　【００２９】被写体を撮影者が抽出する状態になると、ステップ２０１において、撮影レンズ駆動回路１４を通して撮影レンズ１内のフォーカスレンズが無限遠位置にセットされ、次のステップ２０２において、被写体抽出回路３により撮像素子２から被写体情報が取り込まれ（図９（ａ）の左図参照）、次のステップ２０３において、第１の実施例と同様に例えばボケ幅に関する情報から被写体の領域の設定が行われ、この領域情報に基づいて被写体枠生成回路４にて該領域の枠にあたる画像が生成される（図９（ａ）の右図参照）。そして、ステップ２０４において、この画像（被写体枠）がメモリ１７に記憶される。次に、ズテップ２０５へ進み、ここでは先のフォーカスレンズが所定量至近側に駆動され、被写体距離が変更され、ステップ２０６にて所定回数同様の動作が繰り返し行われたか否かの判別が行われる。
　【００３０】所定回数行われていない場合には、ステップ２０１へ動作は戻り、同様の動作が繰り返し行われる。この実施例においては、図９に示すように（ａ）〜（ｄ）の５回行われる場合を想定しており、よって、各ループにおいて抽出された被写体枠は順次メモリ１７に合せて記憶されることになる。
　【００３１】所定回数フォーカスレンズが駆動され、所定回数分の被写体枠を生成したのち、ステップ２０７へと動作は進み、ここではメモリ１７に記憶されている被写体枠の合成が行われ、次のステップ２０８において、合成された被写体枠の画像はファインダ制御回路５に供給され、映像信号と合成されて表示装置６に表示される（図１０（ａ）参照）。
　【００３２】この時、撮影者は前記電子ビューファインダ等の表示装置６上の像をファインダレンズ７を通して観察しているが、その際の撮影者の眼球の動きが前述した様に視線検出光学系８を通して検出器９で検出され、この検出された眼球の像に基づいて視線抽出回路１１にて視線の位置検出がなされており、ステップ２０９において、被写体抽出スイッチがＯＮされることによりステップ２１０へ進み、ここで前記視線抽出回路１１にて生成された視線情報が被写体情報制御回路１２へと供給される。そして、ステップ２１１において、被写体情報制御回路１２にて前記視線情報と被写体抽出回路３からの領域情報から主要な被写体が決定され（図１０（ｂ）参照）、被写体領域が確定される。
　【００３３】前述した様に被写体情報制御回路１２にて被写体領域が確定した後はステップ２１２へ進み、主要の被写体情報を生成する。そして、次のステップ１０９において、この主要被写体情報に基づいて撮影レンズ駆動回路１４によって撮影レンズ１を駆動したり、撮像素子駆動回路１５によって撮像素子２の駆動を行う。
　【００３４】また、主被写体が抽出した位置より動いた場合には、被写体抽出回路３からの領域情報に基づき追従するように選択されると共に、追従して得られる主被写体情報に基づいて、撮影レンズ駆動回路１４によって撮影レンズ１の駆動が、又撮像素子駆動回路１５によって撮像素子２の駆動が、それぞれ継続される。
　【００３５】なお、第１の実施例と同様、複数の中より主被写体を選択する方法としては、視線の注視している位置を計測し、その頻度の高い位置を撮影者の最も注視している位置と自動的に判断し、その位置を視線情報として、被写体情報制御回路１２が主被写体を自動的に決定するような構成であっても良い。また、被写体を抽出するための撮像信号が、ボケ幅ではなく輝度信号や色信号による場合でも、フォーカスの合っている時がコントラストが良くなるので、同様な方法で被写体を抽出することができる。
　【００３６】（第３の実施例）図１１は本発明の第３の実施例における撮影装置を示すブロック図であり、図１及び図７と同じ部分は同一符合を付してある。
　【００３７】この第３の実施例では、画面上で撮影者の注視する部分の映像信号に基づいて被写体の領域を抽出するようにしたものであり、図１３を用いて図１２のフローチャートにしたがって動作説明を行う。
　【００３８】撮影者が被写体を抽出する状態になると、ステップ３０１において、被写体情報制御回路１２よりファインダ制御回路５に視線の位置を表示装置６へ表示するべく指示がなされ、これによりファインダ制御回路５の働きにより、視線抽出回路１１からの視線情報に基づいた位置にカーソルが合成されて表示装置６に表示される（図１３（ａ）→（ｂ）参照）。次のステップ３０２においては、被写体抽出スイッチがＯＮされているか否かの判別が行われ、ＯＮが判別されることによりステップ３０３へ進み、ここでは先の表示を停止する。次のステップ３０４においては、被写体抽出回路３により被写体抽出スイッチがＯＮになった時の視線情報が検出され、ステップ３０５においては、前記視線情報、つまり撮影者の注視する部分の映像信号に基づいて被写体の領域を抽出し、続くステップ３０６において、被写体の抽出が成功したか否かの判別がなされる。被写体の抽出が成功しなかった場合には、同様の動作を行うべくステップ３０１へ戻り、成功した場合はステップ３０７へと進む。
　【００３９】ステップ３０７においては、視線位置近傍の撮像信号に基づいて被写体領域が設定され、この領域情報が被写体情報制御回路１２へ供給され、次のステップ３０８において、被写体情報制御回路１２により領域情報に基づいて被写体領域情報が生成され（図１３（ｃ）参照）、撮影レンズ駆動回路１４や撮像素子駆動回路１５へ供給されてこれらが駆動される。
　【００４０】また、主被写体が抽出した位置より動いた場合には、被写体抽出回路３からの領域情報に基づき追従するように選択されると共に、追従して得られる主被写体情報に基づいて、撮影レンズ駆動回路１４によって撮影レンズ１の駆動が、又撮像素子駆動回路１５によって撮像素子２の駆動が、それぞれ継続される。
　【００４１】以上の各実施例によれば、画像情報より被写体が複数である場合にはそれぞれの領域を設定し、撮影者の視線情報に基づいてその領域中より主被写体の領域を選択するようにしているため、特別な操作をすることなく、撮影者の意図する被写体領域を、言換えれば撮影制御の対象と成るべく領域をリアルタイムで抽出することができ、よって、例えば従来のように意図しない被写体にピントがあったり、不適性露出となったりすることがなくる。
　【００４２】（変形例）以上の各実施例では、複数の被写体領域中より主被写体領域を選択するために、視線検知装置からの視線情報を用いているが、これに限定されるものではなく、外部よりダイアル操作等により画面内に表示したカーソル位置を可変して行うようにしても良い。
　【００４３】
　【発明の効果】以上説明したように、請求項１に記載した本発明によれば、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出
し、抽出した領域を表示する
抽出され、表示された
外部操作により
　【００４４】また、請求項２に記載した本発明によれば、画像信号を出力する画像センサと、前記画像信号に基づいて対象物の存在する領域を抽出する抽出手段と、視線を検出する視線検出手段と、該視線検出手段の視線検出結果に基づいて、前記抽出手段により抽出された領域の中から少なくとも１つを選択する領域選択手段とを有することにより、前記抽出手段により抽出された領域が複数ある場合に、意図する領域を選択することができる。
【図面の簡単な説明】
　【図１】本発明の第１の実施例における撮影装置のブロック図である。
　【図２】図１の被写体抽出回路における動作を説明するための図である。
　【図３】図１の視線検出装置における視線検知方法について説明するための図である。
　【図４】本発明の第１の実施例における撮影装置の主要部分の動作を示すフローチャートである。
　【図５】図４の動作説明を助けるための図である。
　【図６】同じく図４の動作説明を助けるための図である。
　【図７】本発明の第２の実施例における撮影装置のブロック図である。
　【図８】本発明の第２の実施例における撮影装置の主要部分の動作を示すフローチャートである。
　【図９】図８の動作説明を助けるための図である。
　【図１０】同じく図８の動作説明を助けるための図である。
　【図１１】本発明の第２の実施例における撮影装置のブロック図である。
　【図１２】本発明の第３の実施例における撮影装置の主要部分の動作を示すフローチャートである。
　【図１３】図１１の動作説明を助けるための図である。
　【符合の説明】
　１　　　撮影レンズ
　２　　　撮像素子
　３　　　被写体抽出回路
　４　　　被写体枠生成回路
　５　　　ファインダ制御回路
　８　　　視線検出光学系
　９　　　検出器
　１１　　視線抽出回路
　１２　　被写体情報制御回路
　１３　　映像信号変換回路
　１７　　メモリ