(57)【要約】 【課題】本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる撮像装置を提供する。【解決手段】カメラユニット１を撮影対象人物を撮像する方向に向けて撮像し、その画像データを分析して人物を抽出するとともにその画面内の位置を求め、該人物が撮影フレームの所定の位置にくるようにカメラユニット１の方向等を制御し、該人物画像を見やすく映し出すことができる画像データを出力する。撮像画像データから人物を抽出できなかったときはカメラユニット１を元に戻す。カメラユニット１の方向等を変更している間は画像データの出力を停止させる。【選択図】図１
2005110160.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件を変更可能な撮像装置において、
撮像手段と、
前記撮像手段による撮影条件を変更するための撮影条件変更手段と、
音検知手段と、
前記音検知手段が検知する音情報に基づき前記撮影条件変更手段を制御する第１撮影条件制御手段と、
前記撮像手段で得られる画像データを分析する分析手段と、
前記分析手段の分析結果に基づき前記撮影条件変更手段を制御する第２撮影条件制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記分析手段は前記撮像手段で得られる画像データから人物を抽出するものでり、前記第２撮影条件制御手段は、抽出された人物を撮影フレームの所定位置に配置するように前記撮影条件変更手段を制御する請求項１記載の撮像装置。
【請求項３】
前記分析手段が前記画像データから人物を抽出した際、該抽出された人物が１名であるとき、前記第２撮影条件制御手段は、該抽出人物を撮影フレームの中央部に配置するように前記撮影条件変更手段を制御する請求項２記載の撮像装置。
【請求項４】
前記分析手段が前記画像データから人物を抽出した際、該抽出された人物が複数であるとき、前記第２撮影条件制御手段は、該抽出人物全員を撮影フレームの所定位置に配置するように前記撮影条件変更手段を制御する請求項２又は３記載の撮像装置。
【請求項５】
前記分析手段が前記画像データから人物を抽出できなかったとき、前記第２撮影条件制御手段は、人物抽出時の制御は行わず、前記第１撮影条件制御手段による制御をキャンセルする請求項２、３又は４記載の撮像装置。
【請求項６】
前記撮影条件変更手段が撮影条件を変更している間、前記撮像手段からの画像データの出力を停止させるデータ出力停止手段を備えている請求項１から５のいずれかに記載の撮像装置。
【請求項７】
撮影条件を変更可能な撮像装置において、
撮像手段と、
前記撮像手段による撮影条件を変更するための撮影条件変更手段と、
前記撮影条件変更手段が撮影条件を変更している間、前記撮像手段からの画像データの出力を停止させるデータ出力停止手段とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテレビ会議等において使用できる撮像装置に関する。
【背景技術】
【０００２】
テレビ会議システムを例にとると、例えば特開平１０−４２２６４号公報に開示されているように、マイクロフォンを用いてテレビ会議の主たる発言者を自動追尾撮影する機能を有するものが知られている。このシステムは、２台のマイクロフォンの受話レベルの差を参照して、会議室内の複数の出席者のうちの主たる発言者の存在方向を特定し、その方向にカメラを向けるものである。
【０００３】
また、特表２００２−５３４００９号公報には、本来の撮影前に会議室内を回動撮影し、テレビ会議参加者を検知して該参加者に対応するカメラパラメータ（撮像方向、ズーム等）をプリセットし、本来の撮影においては、該プリセットに基づいて音声トラッキング等の公知の手法で発言者等に焦点を合わせることが開示されている。
【０００４】
特開平７−３２２１１６号公報には、カメラを移動させる際には、カメラ移動に伴う無駄で、ぶれた不安定な画像が映し出されないように、予め記憶手段に記憶させておいた画像を映し出すことが開示されている。
【０００５】
【特許文献１】特開平１０−４２２６４号公報
【特許文献２】特表２００２−５３４００９号公報
【特許文献３】特開平７−３２２１１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特開平１０−４２２６４号公報に開示された方法では、マイクロフォン（以下、「マイク」と称することがある。）によって音声の方向を検出する分解能が高くないため、出席者とマイクとの距離が遠くなると検出した方向にズレが生じ、発言者が画面の隅や端に映ることがあり、そのような見ずらい画面を見ることを強いられることがあった。また、物音を音声と間違って誤検出した場合は画面に人物が映らないこともあり、意味の無い画面を見ることを強いられることがあった。さらに、遠隔地に伝送された画面には、発言をきっかけにカメラが発言者を追尾する間のぶれた画像が映し出され、違和感のある見ずらい画像が映し出されていた。
【０００７】
発言者が画面の隅や端に映ったり、単なる物音の誤検出によって画面に人物が映らないという点については、複数のマイクを用いて検出精度の向上を目指した機種も販売されている。それでも検出精度は十分とは言えず、発言者が画面の適当な位置に映らない、という問題は十分に解決されていない。誤検出の問題や追尾する間に不安定な画像が映し出されるのは従来と同様である。また、これらの機種はマイクを複数使うため大型でコスト高である。そのため現状では人間が遠隔操作で撮影する場合が多い。
【０００８】
また、発言者が画面の隅や端に映し出されるという問題解決のために、前記の特表２００２−５３４００９号公報に開示されているように、予めテレビ会議参加者に対応するカメラパラメータをプリセットする、という手法を採用することも考えられるが、この手法によると、本来の撮影に先立ってわざわざカメラパラメータをプリセットしなければならず、また、会議中に参加者が移動するとプリセットをし直す必要がある。
【０００９】
発言者を追尾する間に不安定な画像が映し出されるという問題解決のために、前記特開平７−３２２１１６号公報に開示されているように、カメラを移動させる際には、予め記憶手段に記憶させておいた画像を映し出す、という手法を採用することも考えられるが、本来必要でない余分な画像を映し出すことになり、それだけ撮像装置に無駄な負荷がかかってしまう。
【００１０】
そこで本発明は、先ず、本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる撮像装置を提供することを主たる課題とする。
また本発明は、前記主たる課題を解決できる小型で安価な撮像装置を提供することを課題とする。
また本発明は、前記主たる課題を解決できるとともに本来の撮影対象被写体画像を迅速に映し出すことができる画像データを出力できる撮像装置を提供することを課題とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため本発明は次の撮像装置を提供する。
（１）第１の撮像装置
撮影条件を変更可能な撮像装置において、
撮像手段と、
前記撮像手段による撮影条件を変更するための撮影条件変更手段と、
音検知手段と、
前記音検知手段が検知する音情報に基づき前記撮影条件変更手段を制御する第１撮影条件制御手段と、
前記撮像手段で得られる画像データを分析する分析手段と、
前記分析手段の分析結果に基づき前記撮影条件変更手段を制御する第２撮影条件制御手段とを有する撮像装置。
【００１２】
撮像手段としては、ＣＣＤ型固体撮像素子等の、被写体の結像をアナログ電気信号に変換する固体撮像素子を含むものを例示ができる。例えば固体撮像素子、被写体像を固体撮像素子上に結像させる光学系（撮影倍率変更機構が付設されたものも含む。）及び固体撮像素子からのアナログ電気信号をデジタル信号に変換するＡ／Ｄ変換部等を含む撮像手段を挙げることができる。
【００１３】
「撮影条件」とは、撮像手段による撮像方向〔いわゆるパン方向（左右方向等の横方向）及び（又は）チルト方向（上下方向）等〕、画角（広角撮影、望遠撮影）、望遠撮影時の撮影倍率等のうち１又は２以上である。このような撮影条件は、例えば被写体の自動追尾のために採用される。
【００１４】
撮影条件変更手段としては、代表例として撮像手段による撮像方向を制御するために撮像手段を上下、左右方向に回転駆動するいわゆるパン・チルト駆動部や、画角の切り替え〔広角（ズームアウト）・望遠（ズームイン）の切り替え〕或いはさらに望遠撮影時の倍率制御を行える撮影倍率変更機構（変倍機構）を含むものを挙げることができる。
【００１５】
音検知手段は、撮影対象被写体が発する音を検知するための手段であり、代表例としてマイクを挙げることができる。マイクは少なくとも二つあれば足りる。撮影対象被写体は、特に限定されないが、例えば、撮像装置をテレビ会議において参加者を追尾撮影するために使用した場合の該参加者を挙げることができる。
【００１６】
第１撮影条件制御手段は、音検知手段が検知する音情報に基づき撮影条件変更手段を制御するものであるが、代表例として、撮像手段による撮像方向を音検知手段が検知する音情報により存在位置が特定される被写体（例えばテレビ会議において発言している参加者）の方に向けるように撮影条件変更手段を制御するものを挙げることができる。
【００１７】
分析手段は、例えば、撮像手段からの画像データ中に撮影対象としている被写体が存在するか否か、その被写体は画面の何処に映しだされるように撮影されているか、その被写体の画面上の映し出したい位置からのずれ量等のうち１又は２以上を求めるために撮像手段からの画像データを分析するものである。
【００１８】
第２撮影条件制御手段は、分析手段の分析結果に基づき撮影条件変更手段を制御するものであるが、例えば、分析手段の分析結果が、撮影対象としている被写体の存在及びその被写体の画面上の映し出したい位置からのずれ量を示すものである場合、該被写体を画面の映し出したい位置に映し出せるように撮像手段の撮像方向を設定するように撮影条件変更手段を制御するものを挙げることができる。
【００１９】
いずれにしても、第１の撮像装置によると、音検知手段が検知する音情報に基づいて第１撮影条件制御手段により撮影条件変更手段が制御され、さらに、分析手段による撮像手段からの画像データの分析結果に基づき第２撮影条件制御手段により該撮影条件制御手段が制御される。このように撮影条件変更手段が第１、第２の撮影条件制御手段できめ細かく制御され、それにより撮像手段による撮影条件がきめ細かく調整されるので、それだけ本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる。
【００２０】
第１撮像装置は、例えば、音を発する撮影対象被写体（例えばテレビ会議における発言する出席者）を自動追尾撮影する場合に利用でき、その撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる。
【００２１】
また、前記音検知手段としては、例えば二つのマイクでも足りるので、それだけ撮像装置を小型化できるとともに安価に提供することができる。
【００２２】
前記分析手段としては、代表例として、前記撮像手段で得られる画像データから人物を抽出するものを挙げることができる。この場合の前記第２撮影条件制御手段として、抽出された人物を撮影フレームの所定位置に配置するように前記撮影条件変更手段を制御するものを例示できる。
【００２３】
分析手段及び第２撮影条件制御手段としてこのようなものを採用すると、第１撮像装置を例えばテレビ会議で使用した場合、発言する会議出席者を撮影フレームの所定位置に配置することができ、それだけ発言出席者を見やすく映し出すことができる。会議中に出席者が動いても、該出席者を追尾して適切なフレーミングで映しだすことが可能である。
【００２４】
かかる分析手段を採用する場合、該分析手段が前記画像データから人物を抽出した際、該抽出された人物が１名であるとき、第２撮影条件制御手段は、該抽出人物を撮影フレームの中央部に配置するように撮影条件変更手段を制御するものでもよい。
【００２５】
また、分析手段が前記画像データから人物を抽出した際、該抽出された人物が複数であるとき、第２撮影条件制御手段は、該抽出人物全員を撮影フレームの所定位置に配置するように撮影条件変更手段を制御するものでもよい。
【００２６】
いずれにしても、第１撮像装置を例えばテレビ会議に採用するような場合においては、無駄な画像データの出力や無駄な画像を映し出すことを無くすため、前記分析手段が前記画像データから人物を抽出できなかったとき、前記第２撮影条件制御手段は、人物抽出時の制御は行わず、第１撮影条件制御手段による制御をキャンセルするものとしてもよい。この場合、撮像手段による撮影条件は、第１撮影条件制御手段による制御前の条件、例えば制御前の会議室全体を撮影する撮像方向、或いはさらに制御前画角（例えば広角）に戻される。
【００２７】
（２）第２の撮像装置
撮影条件を変更可能な撮像装置において、
撮像手段と、
前記撮像手段による撮影条件を変更するための撮影条件変更手段と、
前記撮影条件変更手段が撮影条件を変更している間、前記撮像手段からの画像データの出力を停止させるデータ出力停止手段とを有する撮像装置。
【００２８】
第２撮像装置における撮像手段、撮影条件、撮影条件変更手段については第１撮像装置の場合と同様である。
【００２９】
第２の撮像装置によると、撮影条件変更手段が撮影条件を変更している間、撮像手段からの画像データの出力がデータ出力停止手段により停止されるので、ぶれた画像や不安定な画像等の違和感のある画像を映し出す画像データの出力が無くなり、本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる。
【００３０】
第２撮像装置も、例えば、撮影対象被写体（例えばテレビ会議における出席者）を自動追尾撮影する場合に採用でき、その撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる。
【００３１】
前記の第１の撮像装置においても、該第１撮像装置にける撮影条件変更手段が撮影条件を変更している間、撮像手段からの画像データの出力を停止させるデータ出力停止手段を設けてもよい。そうすることで、該撮影条件変更手段が撮影条件を変更している間、ぶれた画像や不安定な画像等の違和感のある画像を映し出す画像データの出力が無くなり、本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる。          
【００３２】
また、かかるデータ出力停止手段を備えた第１撮像装置、第２撮像装置によると、(1) 撮影対象被写体の自動追尾を行う間の画像データの伝送量を減らせる、(2) 違和感のある画像が映しだされることがないので、それだけ高速に撮像方向を変更できる、(3) 撮影対象被写体の自動追尾を行う間の画像圧縮処理を休止して、自動追尾のための画像処理の高速化が図れる等により、それだけ迅速に本来の撮影対象被写体画像を映し出すことができる画像データを出力できる。
撮影対象被写体の自動追尾を行う間の画像データの伝送量を減らせるので、マイクを併用している場合には、音声が途切れることを抑制できるという利点もある。
【発明の効果】
【００３３】
以上説明したように本発明によると、本来の撮影対象被写体画像を見やすく映し出すことができる画像データを出力できる撮像装置を提供することができる。
また本発明によると、かかる撮像装置であって、小型で安価な撮像装置を提供することができる。
また本発明によると、かかる撮像装置であって、本来の撮影対象被写体画像を迅速に映し出すことができる画像データを出力できる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００３４】
以下本発明の実施形態について図面を参照して説明する。
以下に説明する実施形態の撮像装置は、マイクロフォンで音声を検出した方向の画像から画像処理技術を用いて人物を検出し、人物を画面内の見やすいフレーミングになるようにカメラユニットを制御する。しかも、カメラユニットを音声の検出方向に向ける間と画像処理を行う間は画像データの送出を休止し、カメラユニット駆動の高速化と画像処理に集中することで、短時間で受信側の画面に安定した画面を映し出すことを可能にする。また、画面内に人物が検出されない場合は誤検出と判断してカメラユニットを元の方向に戻す。このようにして少数のマイクでの検出でありながら、安定した自動追尾画面を実現できる。
【００３５】
図１はかかる撮像装置を示すブロック図であり、図２は図１の撮像装置におけるカメラユニット及び左右のマイクの概略正面図である。
図１に示す撮像装置は、
カメラユニット１、
撮影倍率変更機構（変倍機構）２、
左右のマイクＲ、Ｌ、
撮像方向制御のためにカメラユニット１を上下、左右方向に回転駆動する上下左右回転駆動部３、
カメラユニット１による撮影条件（撮像方向、画角等）を変更するために変倍機構２及び回転駆動部３を制御し、また、後述するデータ出力停止（画像送信停止）を指示するための、マイクロコンピュータを主体とする制御部ＣＰＵ、及び
デジタル信号処理部ＤＳＰ等を含んでいる。
【００３６】
カメラユニット１は本例ではカラー撮像可能のＣＣＤ型固体撮像素子１１、素子１１に被写体を結像させる撮像レンズ部１２及び素子１１からの画像データ（アナログ電気信号）をデジタル信号に変換するＡ／Ｄ変換回路１３を含んでいる。
カメラユニット１は回転駆動部３を介してボックス１４に支持されており、制御部ＣＰＵからの指示に基づき回転駆動部３により撮像レンズ部１２を適宜上下左右に向けて任意の方向を撮影できる。
変倍機構２は撮像レンズ部１２に対して設けられており、ボックス１４に収容されている。変倍機構２も制御部ＣＰＵからの指示に基づき動作する。前記左右のマイクも該ボックスに付設されている（図２参照）。マイクＲ、Ｌは指向性のマイクであり、左右各方向からの音圧を検出できる。
【００３７】
この撮像装置によると次のようにして所望の画像データが出力される。
まず、カメラユニット１が回転を停止し画像を送出している場合の信号の流れについて説明する。
被写体はカメラユニット１のレンズ部１２を通って撮像素子１１上に結像し、素子１１において電気信号出力に変換される。電気信号はＡ／Ｄ変換回路１３でデジタル値に変換され、デジタル信号処理部ＤＳＰに入力される。
【００３８】
ＤＳＰは外付けのメモリ（ＲＯＭ）に書かれたプログラムに従って演算を行う。外付けのメモリ（ＲＡＭ）は画像を保存するメモリーである。ＤＳＰは入力されたデータをこのメモリーに一旦保存し、1 フレーム毎に図４の割り込み処理を行う。制御部ＣＰＵからの画像送信停止信号Ｈがハイ’Ｈ’でない場合は図３に示すタイマー割り込み処理に従って、割り込みマスクは無いので所定の処理を行う。すなわち、メモリーに記録されたＣＣＤのラスター出力をマトリックス演算して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを算出し、ＣＩＦなどの画像フォーマットに変換し、またメモリーに記録する。
【００３９】
信号処理部ＤＳＰは通常の場合、画像をよく知られているMtionJPEG やH.261 やH.263,MPEG4 などの規格にしたがって画像圧縮符号化処理を行う。処理部ＤＳＰで圧縮符号化された信号は対応するアドレスバスの信号と共にデータバスに順次出力され、汎用ＩＣのＬＡＮコントローラーに入力される。ＬＡＮコントローラーではバスに入力された信号を１００ＢＡＳＥ−Ｔ規格に対応した信号に変換する。この信号は汎用のＲＪ４５コネクタから受信側へ出力され、表示装置による表示、記録媒体への記録等に供される。
【００４０】
撮影方向を変えた場合は人物の顔を検出する画像処理を行うがこれについては後述する。次にこの撮像装置における音声方向検出とカメラユニット１の方向制御について図５のフローチャートを参照して説明する。図５は制御部ＣＰＵの音検出動作等を示すフローチャートである。
【００４１】
カメラユニット１は前記のとおり、レンズ部１２、撮像素子１１及びＡ／Ｄ変換回路１３を含んでおり、これらは一体的に回転可能になるように上下左右回転駆動部３に取り付けられている。上下左右回転駆動部３は制御部ＣＰＵから回転方向の指示を受けてカメラユニット１を回転駆動する。またレンズ部１２は制御部ＣＰＵからの指示を受けて変倍機構２で撮影倍率を変えることができる。
電源投入時、レンズ部１２の方向は、左右方向は真ん中、上下方向は４５度に下向きに初期設定され、レンズ部１２の倍率は最広角に初期設定される。
【００４２】
右用マイクＲと左用マイクＬの出力電圧はそれぞれＡ／Ｄ変換部（図１参照）にてＡ／Ｄ変換され、制御部ＣＰＵに入力される。制御部ＣＰＵでは右、左の音圧のデジタル値Ｖｒ、Ｖｌを複数回サンプリングし平均値を演算する。平均値の和Ｖｒ＋Ｖｌが一定以上値の場合、右、左のマイクの音圧のデジタル値の平均Ｖｒ、ＶｌからＴ＝（Ｖｒ−Ｖｌ）／（Ｖｒ＋Ｖｌ）を計算する。右、左のマイクの音圧が等しいときはＴ＝０であり、右のマイクのみ音圧が発生し左が０の時はＴ＝１、逆の場合はＴ＝−１である。
【００４３】
予め、このＴの値と音源方向との関係を実際のマイクの配置条件で実験的に求めてあり、Ｔに対応する角度値が制御部ＣＰＵに内蔵されたＲＯＭに格納されている。Ｔの値を入力することで撮影する左右方向角度θを得る。
【００４４】
撮影方向を頻繁に変えると見苦しい画面になるので現在のレンズ部の撮影左右方向角度αの値との差を計算し、その差が一定値以下の場合は撮影方向を変えない。電源投入直後、αは０度に初期化される。θ−αが例えば１０度以下の場合は撮影方向を変えない。
θ−αが一定値以上の場合、制御部ＣＰＵは上下左右回転駆動部３にθ−αに相当する角度を左右回転させる信号パルスを送る。制御部ＣＰＵは信号パルスを送ると同時に上下左右回転駆動部３がカメラユニット１を所定回転完了させるのに相当する間、映像信号の処理を行う信号処理部ＤＳＰに対する画像送信停止信号Ｈをハイ’Ｈ’にして画像データ出力を停止させる。
【００４５】
この停止信号’Ｈ’を受けてカメラユニット１が回転する所定の時間、信号処理部ＤＳＰは画像圧縮符号化処理を停止する。その間画像データの送出は行われないのでカメラユニット１の回転を非常に高速にしても画像データ受信側において画面が見苦しくなることがない。カメラユニット１の回転が停止すると信号処理部ＤＳＰに対する画像送信停止信号Ｈをロー’Ｌ’にして画像データ出力を許可する。また、αの値をθの値に更新する。      
【００４６】
次にカメラユニット１の現在の方向からはずれた位置にいる人が発言し、一定以上の音圧が発生した場合について説明する。
一定以上の音圧が発生し、その方向が現在のカメラユニット１の方向（換言すればカメラユニットのレンズ部１２の方向）と所定値以上異なる場合は前述したようにカメラユニット１が回転しその音圧方向に追尾する。音声検知前にカメラユニット１のズーム位置が望遠になっていた場合は追尾する間に最広角になるようにズームアウトする。
【００４７】
所定の方向にカメラユニット１が向くと、画角内に人物を検出する画像処理を行う。音圧による位置検出は５°〜１０°の誤差があり画面内の人物の位置が適切とは限らない。この処理を行う間も信号処理部ＤＳＰは画像圧縮符号化処理を停止しているので画像の送出は行われない。
【００４８】
次に人物検出の画像処理の内容を説明する。図６は信号処理部ＤＳＰの人物検出動作及び撮像画面内の人物位置から適切なフレーミングを計算する動作を示すフローチャートである。
【００４９】
カメラユニット１のＣＣＤ出力は前述のようにメモリー内に所定のフォーマットに変換されフレーム毎に更新されて保存されている。ここでは輝度信号Ｙと色差信号Ｃｂ、Ｃｒに変換されるものとする。ここではＣＣＤ型固体撮像素子１１の有効画素数を６４０×４８０とし、画面内の画素位置に対応するＹＣｂ、ＹＣｒの値がメモリー内に格納されているものとする。
【００５０】
画面内の人物の位置を演算するため本例では撮像画面内のエリアを５×５に分割する。画素数、分割数が多くなれば精度が増すことは言うまでもない。
ここでは各ブロックに図７に示すように各行列の位置に応じて番号を付ける。
次に人物を抽出するため画面内の肌色部分を抽出する。実験的に求められている肌色に相当する色差範囲ａ、ｂ、ｃ、ｄの範囲内の画素を次式に従って抽出する（図８参照）。                a ＜Ｃｂ−Ｙ＜b     c ＜Ｃｒ−Ｙ＜d 
これは一例であり肌色の色差範囲を絞り込んで抽出することももちろん可能である。
【００５１】
１例として図９に示す撮影画面から肌色部分を抽出すると図１０のような画像になる。  そこで、次に全画面を５×５に分割した各ブロック毎の各エリアの肌色画素の数を積算し、各ブロックの総画素に対する比を求め、比の多い順に並べる。
本例では、
B(1,-1) ＝88％、B(1,0)＝85％、B(2,-1) ＝55％、B(2,0)＝45％、
B(0,-1) ＝30％、B(0,-2) ＝22％、B(1,1)＝18％、B(0,0)＝10％、
のようになる。
なお所定の割合以下のブロックはノイズとみなし抽出しない。
【００５２】
所定の割合以上のブロックがない場合は、話者がいないものと判断し信号処理部ＤＳＰから制御部ＣＰＵに話者無し信号を送出する。制御部ＣＰＵはカメラユニット１を元の方向に戻すように上下左右回転駆動部３に指令を出す。また制御部ＣＰＵはカメラユニット１の方向を戻す所定の時間経過後、信号処理部ＤＳＰに画像送信再開の指令を出し、音声発生を検知する前に撮像していた方向の画面送信を再開する。
このようにノイズ等による音発生があっても、必ずその方何に人物がいるかどうかを確かめてから画像送信を始めるので受信側において無意味な画面を見せられることが無い。      
【００５３】
所定の割合以上のブロックがある場合は、次に各ブロックの位置を調べ隣接するブロックをグループ化（Ｇ１、Ｇ２・・・Ｇｋ）し、各グループの重心位置（Ｘavk ，Ｙavk ）を求める。
【００５４】
重心位置は次のように求めることができる。
グループ内の各ブロックＢ（Ｘ，Ｙ）の行列値Ｘ，Ｙに肌色の割合Ｈ％を掛けて積和し、肌色割合の総和％で割って重心位置（Ｘavk ，Ｙavk ）を求める。そして、各グループの重心位置からさらに重心位置の平均値（Ｘav ,Ｙav）を求める。本例では、肌色のブロックはすべて隣接しているので同一のグループと見なすので、重心位置（Ｘavk ，Ｙavk)は平均値（Ｘav ,Ｙav）である。その結果、この例ではＸav＝１．４、Ｙav＝−０．５が得られた。
【００５５】
話者一人を撮影する場合、話者が画面の中心になるのが画面のフレーミングとして自然であり、画面中心のＢ（０，０）に話者の顔の重心が来るのが望ましい。
この例では重心がＢ（１．４，−０．５）にあり、話者の顔が画面中心より少し右下にズレていることを意味している。信号処理部ＤＳＰはこのズレ量からカメラユニット１（換言すればユニット１のレンズ部）の上下（チルト）、左右（パン）方向の回転角を求め、その結果を制御部ＣＰＵに伝送する。
【００５６】
図１１は制御部ＣＰＵの、フレーミングのためにカメラユニット１を回転させる動作を示すフローチャートである。すなわち、制御部ＣＰＵは信号処理部ＤＳＰからパンチルト回転角情報を受け取ると、信号処理部ＤＳＰに対する画像送信停止信号Ｈをハイ’Ｈ’にして画像データ出力を停止させ、上下左右回転駆動部３に回転の指令を出す。その結果、図１２に示すように、画面中心に話者を撮影することができる。その後、画像送信停止信号Ｈをロー’Ｌ’にして画像データ出力を許可する。
【００５７】
なお、この場合は人物が一人なのでアップにして撮影することもできる。具体的には抽出された肌色ブロックが一つのグループであり、ＤＳＰで演算した肌色部の割合が小さい場合、肌色部の割合の情報をもとに所定の割合まで話者をズームアップする倍率を求め、変倍機構２にズーム倍率を指定して撮影することもできる。
【００５８】
撮像画面に例えば図１３に示すように複数の人物がいる場合、隣接する肌色のブロックから構成されるグループは複数になる。このような場合、誰が話者か特定できないので、この３人を画面内に適切にフレーミングすることが望ましい。
【００５９】
その手順としては、各グループ毎に前述の１人の場合と同じ手順により重心を求める。  各グループの重心位置が求まればさらにその重心位置の平均値をＤＳＰで求め、制御部ＣＰＵはその重心が所定の位置になるようにカメラユニット１を回転させる。
目標とする重心位置は一人の場合と同じよう画面の中心にしても良いし、別の位置にすることもできる。ただし話者を特定できないためズームアップはできない。
【００６０】
このようにして画面のフレーミングを最適化する。その処理を行っている間の画像は送出されないので遠隔地で画面を見ていると画面の切り替わりに遅れはあるが、切り替わった画面は適切にフレーミングされた見やすい画面になっている。図１５は適切にフレーミングされた見やすい画面の例を示している。
【００６１】
なお、人物の抽出はカメラユニットに設けた赤外線センサから得られる画像から行ってもよい。また、適切な画面配置になるにようにする人物の検出は、会議出席者を追尾撮影する場合を例にとると、会議出席者の身につけさせた、位置情報を赤外線や電波で発信する装置や、特別なマークを付けた名札等にて行ってもよい。
【産業上の利用可能性】
【００６２】
本発明に係る撮像装置は被写体撮影が要求される様々の分野で利用でき、例えば、撮影対象被写体（例えばテレビ会議における出席者）を自動追尾撮影する場合に利用して、被写体像を見やすく映し出すことを可能にする。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置におけるカメラユニット及び左右のマイクの概略正面図である。
【図３】デジタル信号処理部ＤＳＰの割り込み処理ルーチンを示すフローチャートである。
【図４】デジタル信号処理部ＤＳＰによるフレーム毎の割り込みによる画像圧縮符号化処理ルーチンを示すフローチャートである。
【図５】制御部ＣＰＵの音検出等の処理ルーチンを示すフローチャートである。
【図６】信号処理部ＤＳＰの人物検出及び適切フレーミング計算の処理ルーチンを示すフローチャートである。
【図７】撮像画面内エリアの分割ブロック例を示す図である。
【図８】肌色相当色差範囲内の画素の抽出例を示す図である。
【図９】撮影画面の１例を示す図である。
【図１０】図９に示す撮影画面から肌色部分を抽出した画像例を示す図である。
【図１１】制御部ＣＰＵの、フレーミングのためのカメラユニット回転処理ルーチンを示すフローチャートである。
【図１２】図９の撮像画面からフレーミング補正を行った画面例を示す図である。
【図１３】複数の人物がいる撮像画面例を示す図である。
【図１４】図１３に示す撮影画面から肌色部分を抽出した画像例を示す図である。
【図１５】図１３の撮像画面からフレーミング補正を行った画面例を示す図である。
【符号の説明】
【００６４】
１  カメラユニット
１１  固体撮像素子
１２  レンズ部
１３  Ａ／Ｄ変換回路
１４  ボックス
２    変倍機構
３  上下左右回転駆動部
Ｒ  右用マイク
Ｌ  左用マイク
ＣＰＵ  制御部
ＤＳＰ  デジタル信号処理部
【図１】
2005110160.tif 000003
【図２】
2005110160.tif 000004
【図３】
2005110160.tif 000005
【図４】
2005110160.tif 000006
【図５】
2005110160.tif 000007
【図６】
2005110160.tif 000008
【図７】
2005110160.tif 000009
【図８】
2005110160.tif 000010
【図９】
2005110160.tif 000011
【図１０】
2005110160.tif 000012
【図１１】
2005110160.tif 000013
【図１２】
2005110160.tif 000014
【図１３】
2005110160.tif 000015
【図１４】
2005110160.tif 000016
【図１５】
2005110160.tif 000017