(57)【要約】【課題】遠隔地間で双方向に画像のやり取りを行うためのビデオ会議システムを構成する撮像装置において、最適なレンズ焦点位置を決定できるようにする。【解決手段】撮像手段と、前記撮像手段から得られた画像から、特定の被写体を認識する認識手段と、前記認識手段によって認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像手段の焦点を制御する制御手段とを設け、特定の不要な被写体である人物や動き等に左右されることを排除できるようにすることにより、最適なレンズ焦点位置を決定できる撮像装置を構成できるようにする。【選択図】  図１
2010114666.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段から得られた画像から、特定の被写体を認識する認識手段と、
前記認識手段によって認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像手段の焦点を制御する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記認識手段によって認識された特定の被写体の領域以外の領域は、前記特定の被写体の下方向以外の近傍領域であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段の焦点を、予め設定した複数の領域に分割された画像に基づいて制御する制御手段と、
前記予め設定した複数の領域に分割された画像の内、前記認識された特定の被写体に最も近い領域を、前記特定の被写体の領域以外の領域であると認識する認識手段と有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記予め設定した複数の領域に分割された画像の領域が複数存在する場合、前記認識手段によって認識された特定の被写体の領域以外の領域は、画像の上部に配置された画像の領域を優先して、前記撮像手段の焦点を制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記認識手段において認識された特定の被写体より遠いと判断する画像範囲に、前記撮像手段の焦点を制御することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記認識手段において認識された特定の被写体より遠いと判断する画像範囲の内、前記認識手段にて認識された特定の被写体に最も近い距離に、前記撮像手段の焦点を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像工程と、
前記撮像工程において得られた画像から、特定の被写体を認識する認識工程と、
前記認識工程において認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像工程の焦点位置を制御する制御工程とを有することを特徴とする撮像方法。
【請求項８】
前記認識工程において認識された特定の被写体の領域以外の領域は、前記特定の被写体の下方向以外の近傍領域であることを特徴とする請求項７に記載の撮像方法。
【請求項９】
前記撮像工程の焦点位置を、予め設定した複数の領域に分割された画像に基づいて制御する制御工程と、
前記予め設定した複数の領域に分割された画像の内、前記認識された特定の被写体に最も近い領域を、前記特定の被写体の領域以外の領域であると認識する認識工程と有することを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記制御工程においては、前記予め設定した複数の領域に分割された画像の領域が複数存在する場合、前記認識工程において認識された特定の被写体の領域以外の領域は、画像の上部に配置された画像の領域を優先して、前記撮像工程の焦点位置を制御することを特徴とする請求項９に記載の撮像方法。
【請求項１１】
前記制御工程においては、前記認識工程において認識された特定の被写体より遠いと判断する画像範囲に、前記撮像工程の焦点位置を制御することを特徴とする請求項７〜１０の何れか１項に記載の撮像方法。
【請求項１２】
前記制御工程においては、前記認識工程において認識された特定の被写体より遠いと判断する画像範囲の内、前記認識工程にて認識された特定の被写体に最も近い距離に、前記撮像工程の焦点位置を制御することを特徴とする請求項１１に記載の撮像方法。
【請求項１３】
撮像工程と、
前記撮像工程において得られた画像から、特定の被写体を認識する認識工程と、
前記認識工程において認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像工程の焦点位置を制御する制御工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に関し、特に、認識機能を用いた自動焦点調整機能を具備したカメラに用いて好適な技術に関する。
【背景技術】
【０００２】
動きのある被写体を検出し、検出した被写体位置に主レンズの焦点位置を合わせるように構成したカメラの提案がされている（例えば、特許文献１参照）。
また、被写体像を移動予測した結果に基づいてレンズの合焦位置を決定する提案がされている（例えば、特許文献２参照）。
また、被写体の動きに応じて測距する範囲を広げるように提案されている。（例えば、特許文献３参照）。
【０００３】
【特許文献１】特開平３−１４９５１２号公報
【特許文献２】特開平１１−２９５５８７号公報
【特許文献３】特開２００４−２１２５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記特許文献１において提案された従来技術では、被写体の動きを検出し、動きに応じてレンズの焦点を合わせているために、同一画面上で動きのない部分にのみ焦点を合わせたい場合に、自動で焦点を合わせることができなかった。
【０００５】
また、前記特許文献２において提案された従来技術では、被写体の動きを予測し、追跡している被写体にのみにしかレンズ焦点が合わないようにしているので、同一画面上で動きのない部分にのみ焦点を合わせたい場合に、自動で焦点を合わせることができなかった。
【０００６】
また、前記特許文献３において提案された従来技術では、被写体の動きに応じて測距する範囲を広げ、動いている被写体に焦点が合うよう構成されているため、同一画面上で動きのない部分に焦点を合わせたい場合、自動で焦点を合わせることができなかった。
【０００７】
例えば、遠隔地間で双方向に画像のやり取りを行うためのビデオ会議を実現する際のカメラ画像では、相手側において動体や人物と一緒の画像を見るのではなく、ホワイトボードや表示画面越しに表示された資料等を見たい場合が多い。このような際に、最適なレンズ焦点位置を決定することが難しいといった課題がある。
【０００８】
本発明は前述の問題点に鑑み、遠隔地間で双方向に画像のやり取りを行うためのビデオ会議システムを構成する撮像装置において、最適なレンズ焦点位置を決定できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、撮像手段と、前記撮像手段から得られた画像から、特定の被写体を認識する認識手段と、前記認識手段によって認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像手段の焦点を制御する制御手段とを有することを特徴とする。
【００１０】
本発明の撮像方法は、撮像工程と、前記撮像工程において得られた画像から、特定の被写体を認識する認識工程と、前記認識工程において認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像工程の焦点位置を制御する制御工程とを有することを特徴とする。
【００１１】
本発明のコンピュータプログラムは、撮像工程と、前記撮像工程において得られた画像から、特定の被写体を認識する認識工程と、前記認識工程において認識された特定の被写体の領域以外の領域の画像に基づいて、前記撮像工程の焦点位置を制御する制御工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、特定の不要な被写体である人物や動き等に左右されることを排除することが可能となる。これにより、最適なレンズ焦点位置を決定できる撮像装置を得ることができるので、遠隔地間で双方向に画像のやり取りを行うビデオ会議を行う際に、レンズ焦点位置をホワイトボードに設定することができる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
本発明の第１の実施形態を最もよく表す図は、図１〜図５である。
図１は、本発明の撮像装置の構成を表すブロック図である。図２〜図４は第１の実施形態に関わる画像の概要を説明する図である。図５は、動作手順を説明するフローチャートである。
【００１４】
図１において、１は、本実施形態の撮像装置１００の画像を入力するための主レンズ。２は撮像手段であるところの撮像素子である。撮像素子としては、一般的にＣＣＤやＣＭＯＳセンサー等が挙げられるが、どちらでも構わない。また、これらとは異なる撮像素子でもよい。
【００１５】
３はレンズの焦点位置を可変するためのレンズ駆動部である。４は、撮像素子２で得られた画像のアナログ信号をデジタル変換するためのＡ／Ｄコンバータである。５は、Ａ／Ｄコンバータ４においてデジタル化された画像情報を基に、撮像素子２に対する主レンズ１の焦点位置を決定するための焦点検出部である。この焦点検出部５において、焦点を合わせるエリア位置を決定することも行う。
【００１６】
６は、焦点検出部５で検出した焦点位置が合っているか否かを、焦点検出部５で決定したエリア画像の輝度情報を、コントラスト差の評価値として出力するコントラスト評価値処理部である。
【００１７】
７は、Ａ／Ｄコンバータ４においてＡ／Ｄ変換されたデジタル撮像データの現像処理を行なう画像処理部である。８は、撮像装置１００の各ブロックを制御するＣＰＵ８ａを含むコントローラである。９は、特定の被写体を認識し追尾するために必要な情報を処理する認識処理部である。本実施形態では、認識処理部９は、人物を認識して追尾するものである。
【００１８】
１０は、画像処理部７において画像処理されたデータを所定のフォーマットに応じて圧縮処理するためのエンコード処理部である。ここでの画像フォーマットとしては、ビデオ会議用に標準規格化されたＨ２６３フォーマットがあるが、この限りではなく、Ｈ．２６４／ＡＶＣ,ＪＰＥＧ,ＪＰＥＧ２０００,ＭＰＥＧ−２／４等の他の画像フォーマットでもよい。
【００１９】
１１は、各ブロックにおいて処理された動画像をネットワークＮＷ上に接続された表示装置１０１やデータ記憶装置１０２等へ配信するためのネットワーク通信部である。また、表示装置１０１やデータ記憶装置等と撮像装置１００の制御コマンドをやり取りするためのネットワーク通信を行う。本実施形態では、物理的な接続形態に限定はなく、有線接続、無線接続の場合もあるため、プロトコル的に接続可能であれば、物理的な形態にこだわるものではない。
【００２０】
前述したような構成において、図２に示すような画像を撮像している場合の例を示す。
図２は、ビデオ会議等で撮像される画像撮像画面の内容の一例を示している。図２の構成順に、図２−ａは、会議のプレゼンテーションをしている人物である。
【００２１】
図２−ｂは、特定の被写体で、本実施形態では人物が特定の被写体である。人物を認識した時の認識対象物の範囲に対応した表示枠である。ここでは、図でわかりやすく説明するために破線の枠にて記載しているが、実際は、認識対象の範囲を示すのみであるため、特に破線の枠を表示をしなくてもよい。
【００２２】
図２−ｃは、プレゼンテーションの資料を表示する物である。或いは、掲示する物である。或いは、手書きにより書き込み可能な板上の物を表している。本実施形態としては、会議等で頻繁に用いられる電子白板や白板（以下の説明においてホワイトボードとして説明する）にて説明するが、特にこれに限定する物ではない。他に対象となるような物として、表示装置１０１（プラズマディスプレイ、液晶表示装置、有機ＥＬ表示装置、等の表示手段）や、プロジェクターの投影にて表示されているスクリーンや、黒板や、掲示板でもよい。
【００２３】
図２−ｄは、図２−ｃのホワイトボードに書かれている文字情報である。図２−ｅは、図２−ｃのホワイトボードに書かれている図の一例を示している。このような画像において、遠隔でビデオ会議を実施する際に、ビデオ会議する上で重要な情報は、プレゼンテーションをしている人物よりも、図２−ｃのホワイトボードに記載している内容の方を注視したい場合が多い。
【００２４】
図３は、第１の実施形態において、焦点位置検出を行う際の測距するエリアを説明するための図である。図４は、第１の実施形態において、焦点位置検出を行う際に、特定の認識した被写体である人物の位置が変わった際の画像と測距エリアの変化を説明するための図である。
【００２５】
図２に示すような画像シーンの時、撮像装置１００がどのような制御動作をするかを、図５のフローチャートを参照しながら説明する。
ステップＳ１０１において動作が開始されると、最初に、本システムに電源が投入された状態から初期化を行なう。初期化の第１工程として、ステップＳ１０２でネットワークＮＷを介して送られてくるクライアントからの要求を待機する。
【００２６】
ここでのネットワークＮＷからのクライアントというのは、主にビデオ会議を今から実施するネットワークＮＷ越しに存在する相手のことである。クライアントからの要求が無い場合は、このステップＳ１０２の待機状態を維持する。ステップＳ１０２においてクライアント要求が来た場合、ステップＳ１０３へ進む。
【００２７】
ステップＳ１０３では、主レンズ１と撮像素子２との焦点位置をレンズ駆動部３を動作させて、予め設定してある初期位置に主レンズ１を移動させる。本実施形態として、通常ビデオ会議を行う際は、部屋の中で主被写体の存在する確率の高い位置は、約３〜５ｍ付近であるため、３ｍとして焦点が合う位置を初期位置に相当する位置に設定する。但し、この位置の限りではない。
【００２８】
次に、ステップＳ１０４に進み、予め設定してある形状認識を画像全体から行う。本実施形態の認識は、人物を認識する。人物を認識する方法に関しては、予め設定してある人物特有の大きさ、動作パターン等を基に、人物の認識を行う。図２に示す画像例では、図２−ａの人物を認識する。
【００２９】
次に、ステップＳ１０５において、ステップＳ１０４の形状認識した結果、人物パターンにマッチする映像があるか否かを判断する。この判断の結果、人物が存在すると判断した場合は、ステップＳ１０６へ進み、人物が存在しないと判断した場合は、ステップＳ１０８へ進む。
【００３０】
ステップＳ１０６においては、ステップＳ１０４で認識した人物パターンが、画像内に存在するエリアを設定する。図２に示す画像例では、図２−ｂの破線枠で囲っている範囲を設定する。この範囲の決定方法は、人物認識した形状が全て入っている範囲として設定する。その後、ステップＳ１０７に進む。
【００３１】
ステップＳ１０７においては、画像内の内、ステップＳ１０６で設定した範囲以外の人物が存在しないエリアとして設定する。ここで設定する範囲は、図３―ｆで示す斜線範囲の位置となる。その後、ステップＳ１０９に進む。
【００３２】
一方、ステップＳ１０５の判断の結果、人物が存在しないと判断した場合はステップＳ１０８に進む。ステップＳ１０８においては、画像内に人物が存在しない場合であるので、画面の中央部の範囲を選択する。その後、ステップＳ１０９に進む。
【００３３】
ステップＳ１０９においては、ステップＳ１０７または、ステップＳ１０８のいずれかで選択した画像範囲を測距するエリアとして設定する。
次に、ステップＳ１１０に進み、ステップＳ１０９で設定した画像の測距エリアにおいて、コントラスト評価値処理部６によって取得した評価値を、輝度のコントラスト差としてコントローラ８のＣＰＵ８ａに送信する。その後、ステップＳ１１１に進む。
【００３４】
ステップＳ１１１においては合焦位置の判断を行う。この判断は、ステップＳ１１０の評価値を基に、コントラスト差がピークとなる位置を合焦位置として行う。ステップＳ１１１の判断の結果、主レンズ１の焦点位置が合っていると判断した場合は、ステップＳ１１３へ進む。
【００３５】
ステップＳ１１３においては、主レンズ１と撮像素子２との間の焦点位置が合っている状態であるため、レンズ駆動部３はレンズの駆動を停止する。その後、ステップＳ１１４に進み、ＥＮＤ処理を行って終了状態となる。
【００３６】
一方、ステップＳ１１１の判断の結果、主レンズ１の焦点位置が合っていないと判断した場合は、ステップＳ１１２へ進む。ステップＳ１１２では、コントローラ８がレンズ駆動部３を制御し、主レンズ１の焦点位置を制御する。その後、ステップＳ１０４に戻り、ステップＳ１０４〜ステップＳ１１２の処理を、レンズが合焦する位置にセットされるまで繰り返し実行する。前述したフローチャート順に処理をした際の画像による概念を以下に説明する。
【００３７】
先ず、図２−ａの人物を特定の認識被写体として随時認識し、画像中の図２−ｂに相当するエリアを認識し続ける。その上で、その認識対象物体エリアではない範囲画像（図３−ｆの斜線部に相当するエリア）を測距するエリアに設定する。このようにすることで、本実施形態のようなシーンでは、邪魔となる被写体の人物ではない位置にレンズの焦点を合わせるようにする。
【００３８】
図２のような画像シーンでは、フォーカスを合わせたい位置、すなわちホワイトボード上にほとんどの測距エリアが対応する。また、特定認識被写体である人物（図２及び図３において符号ａ）が左から右に動いて、図４に示すような画像シーンになったとしても、図４−ａ'の人物を特定の認識被写体として随時認識する。そして、画像中の図４−ｂ'に占めすエリア内に相当するエリアを認識して追尾し続ける。
【００３９】
その上で、その認識対象物体エリアではない範囲画像中の図４−ｆ'の斜線部に相当するエリアを測距エリアに変更して設定することで、本実施形態のようなシーンでは、邪魔となる被写体の人物ではない位置にレンズの焦点を合わせることができる。
【００４０】
以上説明したように、本実施形態によれば、特定の被写体である人物を認識し、認識した被写体である人物が存在する範囲外の位置に測距エリアを設定することが可能となる。これにより、最適なレンズ焦点位置を決定することがで可能となり、例えば、ビデオ会議のホワイトボード等に記載されている情報に、レンズの焦点を合わせることができる。
【００４１】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。この実施形態の特徴を最もよく表す図は、図１、図６、図７である。
図１は、本実施形態の撮像装置１００の構成を表すブロック図であり、主要な構成は、第１の実施形態において説明した構成と同一である。
【００４２】
図６は、第２の実施形態上でのビデオ会議等の画像撮像画面の内容の一例を説明する図である。
図６において、図６−ａは、会議のプレゼンテーションをしている人物である。図６−ｂは、特定の被写体で、本実施形態では人物である。人物を認識した時の認識対象物の範囲に対応した表示枠である。ここでは、図でわかりやすく説明するために破線の枠にて記載しているが、実際は、認識対象の範囲を示すのみであるため、特に表示をしなくても可である。
【００４３】
図６−ｃは、プレゼンテーションの資料を表示する物である。或いは、掲示する物である。或いは、手書きにより書き込み可能な板上の物を表している。本実施形態としては、会議等で頻繁に用いられる電子白板や白板（以下の説明においてホワイトボードとして説明する。）にて説明するが、特にこれに限定する物ではない。
【００４４】
他に対象となるような物として、表示装置１０１（プラズマディスプレイ、液晶表示装置、有機ＥＬ表示装置、等の表示手段）や、プロジェクターの投影にて表示されているスクリーンや、黒板や、掲示板でもよい。本実施形態では、図６−ｉの線を境に、上部が壁、下部の点で描画している領域が床で、ホワイトボードが壁掛け型として設置しているようなシーンを撮像している画面例である。
【００４５】
図６−ｄは、図６−ｃのホワイトボードに書かれている文字情報。図６−ｅは、図６−ｃのホワイトボードに書かれている図の一例を示している。このような画像において、遠隔でビデオ会議を実施する際に、ビデオ会議する上で重要な情報は、プレゼンテーションをしている人物よりも、図６−ｃのホワイトボードに記載している内容の方を注視したい場合が多い。以上、説明したように図６は、本実施形態において、撮像手段である主レンズ１と、撮像素子２間の焦点位置制御を行う際に、測距する範囲を説明するための図である。
【００４６】
図７は、本実施形態に係わる動作手順を説明するフローチャートである。
以下、図７のフローチャートを参照しながら第２の実施形態の動作をに説明する。ステップＳ２０１からステップＳ２０７までの処理は、前述した第１の実施形態において説明した図５のステップＳ１０１からステップＳ１０７までの処理内容と同一の処理を実行する。
【００４７】
ステップＳ２０８は、ステップＳ２０７において設定した図３ーｆの斜線で示している人物が存在しないエリアの内、人物存在エリアである図３ーｂに示す破線で囲っている人物の存在するエリア枠から、予め設定した距離分までの範囲を設定する。すなわち、図６ーｇで、破線で囲っている部分の範囲を設定する。
【００４８】
次に、ステップＳ２０９に進み、ステップＳ２０８で設定した範囲の内、下方向以外の近傍領域の範囲を選択する。図６ーｈ'にて斜線部に相当する画像範囲を選択する。ステップＳ２１０に進んだ際の処理は、第１の実施形態記載の図５のステップＳ１０８と同一の処理を実行する。
【００４９】
ステップＳ２１１は、ステップＳ２０９において設定した範囲、またはステップＳ２１０において設定した範囲のいずれかを測距するエリアに設定する。ステップＳ２１２からステップＳ２１６までの処理は、第１の実施形態において説明した図５のステップＳ１１０からステップＳ１１４までの処理と同一な処理を実行する。
【００５０】
第２の実施形態は、図６−ｈ'の斜線エリアを測距エリアに設定する。これは、図６−ｂ範囲ではなく、且つ、図６−ｇの破線領域より小さい範囲である。図６のような画像シーンでは、人物が説明している際にホワイトボードの近くで、ホワイトボード上の図や文字を指しながら説明することが主である。
【００５１】
このような場合、人物の下方向に、ホワイトボートが存在する確率は、非常に少ない。すなわち、通常ビデオ会議でホワイトボードが存在する確率の高いエリアは、人物認識したその枠の左右方向と上方向である、人物が存在するエリアの近傍位置の範囲である。
人物が仮に、座った状態でビデオ会議等において説明する際に、下方向にホワイトボードが存在する確率は非常に少ない。
【００５２】
第１の実施形態において説明した図３―ｆに示すような人物存在エリアの以外の内、ホワイトボードの存在する確率が更に高いエリアである図６―ｈ'に示す認識した人物領域以外の範囲に設定することで、合焦する精度が向上する。
【００５３】
ここで、図６−ｂ及び図６−ｇは、ここの説明上でわかりやすくするために、破線の枠において記載しているが、実際は、認識対象の範囲を示すのみであるため、特に表示をしなくても可である。
【００５４】
以上説明したように、第２の実施形態においては、認識処理部９によって認識された被写体の領域以外の領域は、前記被写体の下方向以外の近傍領域であるようにした。これにより、特に特定の被写体が人物である際に、さらに精度の高いレンズ焦点位置をホワイトボードに設定することが可能となり、ビデオ会議に適した最適な測距を実現することが可能となる。
【００５５】
（第３の実施形態）
次に、第３の実施形態を説明する。第３の実施形態を最もよく表す図は、図１、図２、図８、図９、である。
図１は、第３の実施形態に係わる撮像装置１００の構成を表すブロック図であり、構成は、第１の実施形態において説明した構成と同一である。また、図２は、第１の実施形態において説明したビデオ会議等の画像撮像画面内容の例を示している。第１の実施形態で説明した通りである。
【００５６】
図８は、第３の実施形態において、主レンズ１と、撮像素子２の間の焦点位置制御を行う際に、測距する範囲を説明するための図である。
撮像装置１００の測距のための参照エリアが予め図８に記載してあるｊ１〜ｊ９までの９点のエリアが設定されているような場合の説明図である。図９は、本実施形態の動作手順を説明するフローチャートである。
【００５７】
以下、図９のフローチャートを参照しながら第３の実施形態を説明する。
図９において、ステップＳ３０１からステップＳ３０７までの処理は、第１の実施形態において説明した図５のステップＳ１０１からステップＳ１０７までの処理内容と同一である。
【００５８】
ステップＳ３０８は、図８のｊ１からｊ９において破線枠で示しているような、予め設定した測距するエリアが存在する物に対して、ステップＳ３０７で設定した人物の存在しないエリアに、予め測距する位置が存在するか否かを判断する。
【００５９】
図８のような例では、ｊ７、ｊ８、ｊ９がその範囲に相当する。図８の画像例のように存在する場合は、ステップＳ３０９へ進み、存在しない場合はステップＳ３１０へ進む。
ステップＳ３０９においては、ステップＳ３０８で判断した測距エリアの内、人物存在エリアに最も近い位置を測距エリアとして選択する。
【００６０】
図８の画像例では、ｊ７、ｊ８、ｊ９の内、人物存在エリアである図８−ｂの破線エリアに最も近いｊ７、ｊ８の２つを測距エリアとして選択する。この時、ｊ４、ｊ５、ｊ６が最も近いように見えるが、図８−ｂの破線エリア内と交わっている領域が存在するため、このエリアは、選択対象としない。
【００６１】
ステップＳ３１０は、ステップＳ３０５で人物形状ターンが画像中に存在しないと判断した際のステップで、測距するエリアは、画像の中央の一部の範囲に設定する。ステップＳ３１１は、ステップＳ３０９または、ステップＳ３１０のいずれかで設定した画像範囲を測距するエリアとして設定する。
【００６２】
ステップＳ３１２からステップＳ３１６までの処理は、第１の実施形態において説明した図５のステップＳ１１０からステップＳ１１４までの処理と同一な処理を実行する。図８において、図８−ｂの破線で示す枠と、ｊ１〜ｊ９までの測距点に対応した破線枠を画面上に表示するように記載してあるが、特に表示をしなくてもよく限定はしない。
【００６３】
以上説明したように、第３の実施形態においては、予め設定した複数の領域に分割された画像に基づいて、主レンズ１の焦点を制御する際に、認識処理部９によって認識された被写体の領域以外の領域は、以下のようにした。すなわち、予め設定した複数の領域に分割された画像の内、認識された被写体に最も近い領域であるようにした。これにより、測距エリアの設定に限定がある場合でも、最適なレンズ焦点位置をホワイトボードに設定することが可能となり、ビデオ会議に適した最適な測距を実現することが可能となる。
【００６４】
（第４の実施形態）
第４の実施形態を最もよく表す図は、図１、図２、図８、図１０である。図１は、第４の実施形態に係わる撮像装置の構成を表すブロック図であり、その構成は、第１の実施形態において説明した構成と同一である。図２は、第１の実施形態において説明したビデオ会議等の画像撮像画面内容の例を示しており、同一画像の表示例である。
【００６５】
図８は、第４の実施形態において、撮像手段である主レンズ１と、撮像素子２の間の焦点位置制御を行う際に、測距する範囲を説明するための図である。撮像装置の測距のための参照エリアが、図８に記載してあるｊ１〜ｊ９までの９点のエリアが予め設定されているような場合の説明図である。図１０は、本実施形態に係わる動作手順を説明するフローチャートである。以下、図１０のフローチャートを参照しながら本実施形態を説明する。
【００６６】
ステップＳ４０１からスタートし、ステップＳ４０１からステップＳ４０８まで処理は、第３の実施形態において説明した図９のステップＳ３０１からステップＳ３０８までの処理内容と同一である。
【００６７】
本実施形態においては、ステップＳ４０９で、人物の存在しないエリアに、予め測距する位置が複数存在するか否かを判断する。図８に示す画像例では、ｊ７、ｊ８、ｊ９の３つのエリアが存在する場合は、ステップＳ４１１へ進み、１つしか存在しない場合は、ステップＳ４１４へ進む。
【００６８】
ステップＳ４１０は、第３の実施形態において説明した図９のフローチャートのステップＳ３１０と同一の処理を実行する。ステップＳ４１１は、ステップＳ４１０で複数あると判断された測距エリアの内、図８ーｂに示す人物存在エリアとの画面内の距離差が有るか否かを判断する。
【００６９】
図８の画像例では、３つのエリアの内、ｊ７＝ｊ８＜ｊ９の関係にある例とした場合に、１つでも距離差が存在すると距離差有りと判断し、ステップＳ４１３へ進む。一方、図８のｊ９のエリアが元々存在しないような設定になっている場合は、距離差が無いと判断し、ステップＳ４１３へ進む。
【００７０】
ステップＳ４１２は、図８の画像例において、ｊ７、ｊ８、ｊ９の３つのエリアの内、ｊ７とｊ８がｂの人物存在領域と最も画像上の座標位置に対する距離差が無い場合のため、このｊ７、ｊ８のエリアを選択する。
【００７１】
ステップＳ４１３では、ステップＳ４１２または、ステップＳ４１１の処理を実行した結果より、人物存在エリアに最も近い位置関係にある測距エリアが複数存在する場合であり、その場合は、画面の上側に存在する測距エリアを優先し選択する。図８に示す画像例では、ｊ７を選択する。
【００７２】
ステップＳ４１４においては、ステップＳ４１３、またはステップＳ４１０のいずれかで設定した画像範囲を測距するエリアとして設定する。ステップＳ４１５からステップＳ４１９までの処理は、第１の実施形態において説明した図５のステップＳ１１０からステップＳ１１４までの処理と同一な処理を実行する。
【００７３】
第４の実施形態の位置に測距エリアを設定する理由として、第２の実施形態でも述べたように、ビデオ会議の場合、人物が説明している際にホワイトボードの近くで、ホワイトボード上の図や文字を指しながら説明することが主である。
【００７４】
すなわち、通常ビデオ会議でホワイトボードが存在する確率の高いエリアは、人物認識したその枠の左右方向と上方向である、人物が存在するエリアの近傍位置の範囲である。したがって、図８では、認識した特定の被写体である人物の存在するエリア（図８−ｂ）以外の位置且つ、画像の範囲で図７−ｂに最も近い場所にある測距エリア且つ、画面上側を優先選択しレンズの焦点位置を合わせる。図８において、図８−ｂの破線で示す枠と、ｊ１〜ｊ９までの測距点に対応した破線枠を画面上に表示するように記載してあるが、特に表示をしなくてもよく限定はしない。
【００７５】
第４の実施形態においては、予め設定した複数の領域に分割された画像領域が複数存在する場合、認識処理部９によって認識された被写体の領域以外の領域は、画像の上部に配置された画像の領域を優先し、主レンズ１の焦点を制御するようにした。これにより、最適なレンズ焦点位置をホワイトボードに設定することが可能となり、測距エリアの設定に限定がある場合でも、第３の実施の形態に対して更に精度のよい、ビデオ会議に更に適した最適な測距を実現することができる。
【００７６】
（第５の実施形態）
第５の実施形態を最もよく表す図は、図１、図１１、図１２、図１３であり、図１は本発明の撮像装置の構成を表すブロック図である。図１の構成は、第１の実施形態において説明した構成と同一構成である。図１１は、本発明の第５の実施形態を表すビデオ会議の画像画面表示内容と測距エリアを表す図である。
【００７７】
図１１のａ〜ｄは、第１の実施形態において説明した図２のａ〜ｄに対応している。図１１のｋは、特定の被写体であるところの人物の前にある物体を現している。ビデオ会議システムにおいては、机や椅子等会議室に存在する物体を現しているが、この限りではない。
【００７８】
図１１のＬ１、Ｌ２、Ｌ３、Ｌ４の破線枠で示す範囲が、複数の測距可能エリアの一例を示している。図１１では、４点に限定して説明するが、特に測距可能エリアの数と範囲には限定はない。従来の撮像装置では、中央部に配置しているのが一般的であるが、本実施形態の説明をしやすくするために、仮に図１１に示す範囲としている。
【００７９】
図１２は、図１１の画像例に示すＬ１〜Ｌ４の各エリア毎に対応した、レンズと撮像素子の間の焦点位置での各エリア毎のコントラスト評価値出力の関係を現す図である。図１３は、本実施形態の動作手順を説明するフローチャートである。以下、図１３のフローチャートを参照しながら第５の実施形態を説明する。
【００８０】
図１３において、ステップＳ５０１からステップＳ５０７までの処理は、第１の実施形態において説明した図５のフローチャートのステップＳ１０１からステップＳ１０７までの処理と同一の処理を実行する。
【００８１】
ステップＳ５０８においては、元々設定してある複数の測距エリア内、全ての測距エリアを選択する。本実施形態では、図１１のＬ１〜Ｌ４の４点全てのエリアを選択する。ステップＳ５０９は、全ての複数測距エリアにおいて、コントラスト評価値処理部６において、輝度のコントラスト差を評価値として出力し、コントローラ８のＣＰＵ８ａに送信する。
【００８２】
ステップＳ５１０は、全ての測距エリアで出力されるコントラスト評価値を基に、人物エリアであるＬ１の測距エリアと比較して、遠い位置にＬ２〜Ｌ３の測距エリアのいずれかが存在するか否かを判断する。この判断の結果、遠い位置に有ると判断すると、ステップＳ５１１へ進み、遠い位置に無いと判断するとステップＳ５１４へ進む。
【００８３】
ステップＳ５１１は、人物存在エリアに相当する測距エリアであるＬ１より遠い位置に複数測距エリアが存在するか否かを判断する。この判断の結果、複数存在する場合は、ステップＳ５１２へ進み、１つのみの場合は、ステップＳ５１３へ進む。
【００８４】
ステップＳ５１２においては、人物存在エリアである測距エリアの焦点位置より遠い位置で、且つ、遠い位置の中でも、最も人物エリアに近い位置に相当する測距エリアに測距するエリアを選択する。本実施形態においては、図１１のＬ３に相当する測距エリアを選択する。
【００８５】
ステップＳ５１２は、人物存在エリアより遠い測距エリアの位置が１つのみの場合であり、人物存在エリアより遠い位置に対応する測距エリアを選択する。次に、ステップＳ５１４においては、人物存在エリアを測距エリアとして選択する。
【００８６】
次に、ステップＳ５１５は、画像内に人物が存在しない場合であり、その時は、画面の中央部の範囲に設定する。ステップＳ５１６は、ステップＳ５１２、５１３、５１４、５１５のいずれかで設定した画像範囲を測距するエリアとして設定する。
【００８７】
ステップＳ５１７からステップＳ５２０までの処理は、第１の実施形態において説明した図５のステップＳ１１０からステップＳ１１４までの処理と同一な処理を実行する。
ステップＳ５０４からステップＳ５１８までの動作を、主レンズ１と撮像素子２間の焦点位置が合うまで繰り返し動作する。本実施形態では、図１１の画像例のような場合、Ｌ１〜Ｌ４までの予め測距できる範囲が設定されている場合の例である。
【００８８】
また、Ｌ１〜Ｌ４までの距離関係は、Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４の距離関係にある例である。この場合は、ステップＳ５１２で処理を通過した例であり、以下に説明する。
【００８９】
図１２に示す図１１の画像例に示すＬ１〜Ｌ４の各エリア毎に対応した、レンズと撮像素子の間の焦点位置での各エリア毎のコントラスト評価値出力の関係より、Ｌ１の範囲は図１１の画像例上、机等の障害物。Ｌ２の範囲は、人物存在領域。Ｌ３は、ホワイトボードの存在する領域。Ｌ４は会議室等の部屋の壁の領域である。
【００９０】
前述した各領域に対応した、レンズ焦点位置とコントラスト評価値の関係を現しており、各エリアにおいて、この評価値が最大となるレンズ焦点位置が、ピントが最も合っている位置である。但し、ステップＳ５１７で判断している合焦位置は、図１２の各Ｌ１からＬ４で、図１１のＬ１に対応したＷ１、図１１のＬ２に対応した図１２のＷ２、図１１のＬ３に対応した図１２のＷ３、図１１のＬ４に対応した図１２のＷ４の幅を持っている。
【００９１】
各エリアのＷ１からＷ４の範囲に入っていれば合焦位置としている。これは、画像の解像度とレンズ焦点距離に対応する錯乱円精度に依存するものである。前記において、Ｌ３は、ホワイトボードの存在する領域とした理由を下記に示す。
【００９２】
ステップ５０６で認識した人物存在エリア（図１１のｂ）以外の位置且つ、図１１のｂに対応したレンズ焦点位置（図１１及び図１２のＬ２）より遠い位置且つ、所定の距離以内に対応するレンズ焦点位置にホワイトボードの存在する確率が高くなる。そのエリアに対応するために、図１１及び、図１２のＬ３に設定する。
【００９３】
ステップ５１３の処理ステップにて、フローが流れる場合は、図１１または、図１２のＬ４に相当するエリアが存在せずに、図１１のｂの人物存在エリア外に測距エリアが１つしか存在しない場合である。その時は、人物領域エリアに対応した測距エリアであるＬ２より遠い、Ｌ３をホワイトボードの領域である確率が高いと判断した時である。図１１において、図１１−ｂの破線で示す枠と、Ｌ１〜Ｌ４までの測距点に対応した破線枠を画面上に表示するように記載してあるが、特に表示をしなくてもよく限定はしない。
【００９４】
以上説明したように、第５の実施形態によれば、認識した被写体の存在する範囲外において、測距エリアが遠いと判断した位置に焦点を合わせる。また、認識した被写体の存在する範囲外の位置に、測距エリアが遠いと判断した位置の中で、更に人物存在エリアに近い焦点位置にある測距エリアに合焦させるようにした。これにより、最適なレンズ焦点位置をホワイトボードに設定することができるようになり、ビデオ会議に最適な測距を実現することが可能となる。
【００９５】
（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００９６】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９７】
なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム（実施形態では図５、図７、図９、図１０、図１３に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９８】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１００】
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０２】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。
【０１０５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施形態を示し、撮像装置の構成例を説明するブロック図である。
【図２】本発明の実施形態を示し、撮像画像の一例を示す図である。
【図３】本発明の第１の実施形態を示し、撮像画像の一例を示す図である。
【図４】本発明の第１の実施形態を示し、撮像画像の別の一例を示す図である。
【図５】本発明の第１の実施形態を示し、撮像装置の制御手順一例を説明するフローチャートである。
【図６】本発明の第２の実施形態を示し、撮像画像の一例を示す図である。
【図７】本発明の第２の実施形態を示し、撮像装置の制御手順一例を説明するフローチャートである。
【図８】本発明の第３及び第４の実施形態を示し、撮像画像の一例を示す図である。
【図９】本発明の第３の実施形態を示し、撮像装置の制御手順一例を説明するフローチャートである。
【図１０】本発明の第４の実施形態を示し、撮像装置の制御手順一例を説明するフローチャートである。
【図１１】本発明の第５の実施形態を示し、撮像画像の一例を示す図である。
【図１２】本発明の第５の実施形態を示し、撮影中のコントラスト評価値とレンズ焦点位置との関係を示す図である。
【図１３】本発明の第５の実施形態を示し、撮像装置の制御手順一例を説明するフローチャートである。
【符号の説明】
【０１０７】
１  主レンズ
２  撮像素子
３  レンズ駆動部
４  Ａ／Ｄコンバータ
５  焦点検出部
６  コントラスト評価値処理部
７  画像処理部
８  コントローラ
８ａ  ＣＰＵ
９  認識処理部
１０  エンコード処理部
１１  ネットワーク通信部
１００  撮像装置
１０１  表示装置
１０２  データ記憶装置
ＮＷ  ネットワーク
【図１】
2010114666.tif 000003
【図２】
2010114666.tif 000004
【図３】
2010114666.tif 000005
【図４】
2010114666.tif 000006
【図５】
2010114666.tif 000007
【図６】
2010114666.tif 000008
【図７】
2010114666.tif 000009
【図８】
2010114666.tif 000010
【図９】
2010114666.tif 000011
【図１０】
2010114666.tif 000012
【図１１】
2010114666.tif 000013
【図１２】
2010114666.tif 000014
【図１３】
2010114666.tif 000015