(57)【要約】【課題】テレビジョンカメラから得られた画像により、次に撮影する撮影カメラの方向を算出して被撮影者に提示するテレビジョンカメラシステムを提供する。【解決手段】被撮影者を撮影する複数のテレビジョンカメラ１０３〜１０５と、これらのテレビジョンカメラに取り付けられた位置検出センサ１０３ｃ〜１０５ｃ及び補助表示装置１０３ｂ〜１０５ｂと、各テレビジョンカメラ１０３〜１０５を切り替えるスイッチャー２０８と、画像処理装置２１１と、を有して構成されるテレビジョンカメラシステム２００において、画像処理装置２１１は、スイッチャー２０８によりテレビジョンカメラが切り替えられたときに、被撮影者の顔を検出して当該被撮影者の目線の方向を判断し、この目線の方向に位置するテレビジョンカメラから見た、切り替えられたテレビジョンカメラの方向を補助表示装置１０３ｂ〜１０５ｂに表示する。【選択図】図１
2010028501.tif 000002
【特許請求の範囲】
【請求項１】
被撮影者を撮影する複数のテレビジョンカメラと、
前記複数のテレビジョンカメラに取り付けられ、当該複数のテレビジョンカメラの各々の位置を検出する位置検出センサと、
前記複数のテレビジョンカメラに取り付けられ、前記複数のテレビジョンカメラの内で次に撮影を行うテレビジョンカメラを表示して前記被撮影者に提示する表示部と、
前記複数のテレビジョンカメラの中から１台を選択して切り替えるスイッチャーと、
前記表示部の表示を制御する画像処理装置と、を有し、
前記画像処理装置は、
前記スイッチャーにより前記複数のテレビジョンカメラの中のいずれか一台から、残りの前記テレビジョンカメラのうちの一台に切り替えられたときに、
前記テレビジョンカメラの各々で撮影した画像から前記被撮影者の顔を検出して当該被撮影者の目線の方向を判断し、
前記位置検出センサから前記複数のテレビジョンカメラの各々の位置を取得し、当該位置に基づいて、前記目線の方向に位置する前記テレビジョンカメラから見た、切り替えられた前記テレビジョンカメラの方向を算出し、
前記目線の方向に位置する前記テレビジョンカメラの前記表示部に、前記切り替えられたテレビジョンカメラの方向を表示するように構成されたテレビジョンカメラシステム。
【請求項２】
複数の前記被撮影者の顔を含む画像データを記憶する画像検出パラメータ記憶部を有し、
前記画像処理装置は、前記テレビジョンカメラが撮影した前記画像から検出された前記被撮影者の前記顔が、前記画像検出パラメータ記憶部に記憶された複数の前記画像データのいずれかと一致するか否かを判断し、一致する場合に、前記表示部に前記切り替えられたテレビジョンカメラの方向を表示するように構成された請求項１に記載のテレビジョンカメラシステム。
【請求項３】
前記画像処理装置は、前記画像検出パラメータ記憶部に記憶された複数の前記画像データから１の前記画像データを指定して、当該指定された画像データと一致する前記被撮影者の前記顔が、前記テレビジョンカメラで撮影した前記画像に含まれていた場合に、前記表示部に前記切り替えられたテレビジョンカメラの方向を表示するように構成された請求項１または２に記載のテレビジョンカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョンカメラシステムに関する。
【背景技術】
【０００２】
スタジオでの収録の際に、アナウンサー等の被撮影者に、この被撮影者自身の映像がオンエア中であることを知らせるための工夫や、どのテレビジョンカメラで撮影されているかを知らせるための工夫がなされている。そして、従来は、被撮影者のカメラ目線を得るために、人間であるアシスタント等が、被撮影者に指示を出すことが行われていた。このように、人間が指示を出す場合には、撮影しているテレビジョンカメラの方向を誤って指示してしまい、被撮影者が、撮影しているカメラにスムーズに目線を合わせることができなかったり、指示を出している本人が、オンエア中の画像に写ってしまったりするなどの問題があった。そこで、被撮影者に対し、注意を喚起する表示を簡単な方法で、確実にこの被撮影者に知らせる装置を提供する工夫がなされてきている（例えば、特許文献１参照）。
【特許文献１】特開２００４−０４４４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方式では常に人手が介在するため、被撮影者への指示操作を、臨機応変に対応するためには習熟が必要であるという課題があった。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、複数のテレビジョンカメラから得られた画像に基づいて、被撮影者の目線を、次に撮影するテレビジョンカメラの方向に素早く向けることができるように支援するための指示を表示することができるテレビジョンカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、本発明に係るテレビジョンカメラシステムは、被撮影者を撮影する複数のテレビジョンカメラと、これらの複数のテレビジョンカメラに取り付けられ、当該複数のテレビジョンカメラの各々の位置を検出する位置検出センサと、複数のテレビジョンカメラに取り付けられ、複数のテレビジョンカメラの内で次に撮影を行うテレビジョンカメラを表示して被撮影者に提示する表示部と、複数のテレビジョンカメラの中から１台を選択して切り替えるスイッチャーと、表示部の表示を制御する画像処理装置と、を有して構成される。そして、画像処理装置は、スイッチャーにより複数のテレビジョンカメラの中のいずれか一台から、残りのテレビジョンカメラのうちの一台に切り替えられたときに、テレビジョンカメラの各々で撮影した画像から被撮影者の顔を検出して当該被撮影者の目線の方向を判断し、位置検出センサから複数のテレビジョンカメラの各々の位置を取得し、当該位置に基づいて、目線の方向に位置するテレビジョンカメラから見た、切り替えられたテレビジョンカメラの方向を算出し、目線の方向に位置するテレビジョンカメラの表示部に、算出された切り替えられたテレビジョンカメラの方向を表示するように構成される。
【０００６】
このようなテレビジョンカメラシステムは、複数の被撮影者の顔を含む画像データを記憶する画像検出パラメータ記憶部を有し、画像処理装置は、テレビジョンカメラが撮影した画像から検出された被撮影者の顔が、画像検出パラメータ記憶部に記憶された複数の画像データのいずれかと一致するか否かを判断し、一致する場合に、表示部に切り替えられたテレビジョンカメラの方向を表示するように構成されることが好ましい。
【０００７】
また、このようなテレビジョンカメラシステムにおいて、画像処理装置は、画像検出パラメータ記憶部に記憶された複数の画像データから１の画像データを指定して、当該指定された画像データと一致する被撮影者の顔が、テレビジョンカメラで撮影した画像に含まれていた場合に、表示部に切り替えられたテレビジョンカメラの方向を表示するように構成されることが好ましい。
【発明の効果】
【０００８】
本発明に係るテレビジョンカメラシステムを以上のように構成すると、例えば、スタジオでの収録において出演者等の被撮影者が、現在撮影していないテレビジョンカメラを注視している場合に現在撮影しているテレビジョンカメラの方向を、表示部により表示して被撮像者に提示することにより、被撮影者が当該テレビジョンカメラを素早く認知できるよう支援でき、この被撮影者のカメラ目線を得やすくすることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好ましい実施形態について図面を参照して説明する。ます、図１〜図３を用いて、本実施形態におけるテレビジョンカメラシステム２００の構成について説明する。なお、本実施形態において、このテレビジョンカメラシステム２００は、スタジオ内におけるテレビジョンカメラ（以下、図面上では、単にカメラともいう）に用いたシステムの構成として説明する。まず、図１に示すように、スタジオ内には、複数のテレビジョンカメラが設置されており（ここでは、標準テレビジョンカメラが３台設置された例を示している）、出演者である被撮影者１０１、１０２が、３台のテレビジョンカメラ１０３〜１０５で撮影されている。３台のテレビジョンカメラは、それぞれ、テレビジョンカメラＡ１０３、テレビジョンカメラＢ１０４、及び、テレビジョンカメラＣ１０５で構成され、これらは、スタジオ内において、互いにある程度の距離を開けて、被撮影者１０１，１０２を撮影し易い位置に配置されている。テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５は、各々、スタジオ内において予め決められた所定の位置を原点と定め、その原点からの位置を絶対位置として検出する位置検出センサ１０３ｃ〜１０５ｃを備えており、この位置検出センサ１０３ｃ〜１０５ｃで検出された位置が、後述するシステム制御部に通知されるようになっている。例えば、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の各々の台座に、位置検出センサ１０３ｃ〜１０５ｃとしてロータリーエンコーダが内蔵されており、スタジオ内の所定の位置を原点として、これを最初の位置として記憶しておき、天井から見た場合のテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の位置をＸ，Ｙ座標で管理することにより、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の絶対位置を検出可能に構成されている。そして、このようにして検出した各テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の絶対位置が、後述するシステム制御部に通知されるようになっている。
【００１０】
図２に示すテレビジョンカメラシステム２００において、ＣＣＵ入力Ａ２０２、ＣＣＵ入力Ｂ２０３、及び、ＣＣＵ入力Ｃ２０４は、図１のテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５と接続されており、これらのＣＣＵ入力Ａ２０２、ＣＣＵ入力Ｂ２０３、及び、ＣＣＵ入力Ｃ２０４はテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の映像出力である。このＣＣＵ入力Ａ２０２〜ＣＣＵ入力Ｃ２０４の各々は、ＣＣＵ（カメラコントロールユニット）２０５、２０６，２０７に接続されており、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５からのＲＧＢ信号に対して各種補正処理を行う機能、及び、カメラヘッドエンド調整をリモートで行う機能を備えている。
【００１１】
スイッチャー２０８は、オペレータの操作により、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５が撮影した映像を逐次切り替えて、番組制作の演出を行うためのものである。このスイッチャー２０８からの出力信号であるスイッチャー出力２０９は、ディレクタが画像に効果を入れたり、カメラスイッチングを行ったりした映像の映像プログラム出力信号であり、ＶＴＲなどの機器へ接続されると同時に画像処理装置２１１へも出力されるように構成されている。
【００１２】
タリー出力２１０は、スイッチャー２０８において現在選択されている映像系統を示す信号として画像処理装置２１１に出力される。この画像処理装置２１１は、ＣＣＵ２０５〜ＣＣＵ２０７の出力から得られた映像信号に対して画像処理を実施し、被写体の顔検出を行うと共に、直前に利用していたテレビジョンカメラと次に使用するテレビジョンカメラとの相対位置を計算し、その計算結果をタリー制御信号２１４として、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５に取り付けられた表示部であるタリーランプ１０３ａ〜１０５ａおよび補助表示装置１０３ｂ〜１０５ｂへ出力するように構成されている。
【００１３】
コントロールパネル２１２は、画像処理装置２１１を操作して、必要に応じてタリーランプ点灯の許可や、禁止の切り替えを行うことができ、また、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５毎の補助表序装置１０３ｂ〜１０５ｂの操作を手動で行うために用意されているものである。また、操作モニタ２１３は、コントロールパネル２１２の操作結果と画像処理装置２１１の現在状態などの情報の表示を行うことができるように構成されている。
【００１４】
このテレビジョンカメラシステム２００における画像処理部２１１は、図３に示すような構成を有しており、図１で示したテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５で撮影された映像（画像ともいう）は、それぞれ映像入力信号４０１，４０２，４０３として、Ａカメラ映像入力処理部４１１、Ｂカメラ映像入力処理部４１２、及び、Ｃカメラ映像入力処理部４１３に入力される。また、プログラム出力映像入力処理部４１４には、プログラム及び各機器からの映像出力信号４０４が入力される。Ａカメラ映像入力処理部４１１、Ｂカメラ映像入力処理部４１２、Ｃカメラ映像入力処理部４１３、及び、プログラム出力映像入力処理部４１４は、後述する各処理に適した形式へ映像信号を変換するように構成されている。例えば、アナログビデオ入力信号である場合は、Ａ／Ｄ変換などによりデジタル符号化を行い、後段処理におけるデータフォーマットに適した形式へと変換される。
【００１５】
Ａカメラ顔検出部４２１、Ｂカメラ顔検出部４２２、Ｃカメラ顔検出部４２３、及び、プログラム出力顔検出部４２４は、それぞれ後述する顔検出処理を行い、その前処理側に位置するＡカメラ映像入力処理部４１１、Ｂカメラ映像入力処理部４１２、Ｃカメラ映像入力処理部４１３、及び、プログラム出力映像入力処理部４１４から入力された映像信号の情報を検出する処理を行うようになっている。ここで、画像処理を行い、画像から顔を検出する方法には、多くの方法が提案されており、本実施形態では、特に限定されないが、例えば、図３に示すように、画像検出パラメータテーブルを記憶する画像検出パラメータ記憶部４２５と、その他のパラメータテーブルを記憶するその他パラメータ記憶部４３５と、に顔検出のためのパラメータを記憶し、後述するシステム制御部４１５で行う各処理や、その他処理部で行う処理によりこのパラメータを参照して、所定の検出処理方法により画像から顔検出を行うことができる。
【００１６】
図４及び図５には、顔検出方法の一例を示すためのパラメータテーブルの内容が示されており、画像検出パラメータテーブル４２５には、データ名カラム４２５ａの各データ名に対応して、その内容が内容カラム４２５ｂに記憶されている。この内容カラム４２５ｂには、例えば、検出された人物の顔の数（顔検出数）、検出された画像中における人物毎の顔の位置を示しているレクタングル対角座標（検出Ｘ位置（１）、検出Ｙ位置（１）など）、視線が撮像方向に向いているかの情報（検出顔の「カメラ目線」有無）、すでに登録された人物の顔検出の有無（登録者の有無）が記憶されている。そして、これらに対応して、型カラム４２５ｃに各内容に対応したデータの型の情報が記憶されている。さらに、その他のパラメータテーブル４３５には、該システムの設置時に設定するパラメータやカメラスイッチングに伴う変化が反映された値を示すデータが記憶されるようになっており、パラメータ名カラム４３５ａ、設定値カラム４３５ｂ、及び、データ型カラム４３５ｃから構成されている。
【００１７】
システム制御部４１５は、このテレビジョンカメラシステム２００の制御全体を司り、スイッチャー選択タリー入力信号４０５、各映像入力処理部４１１〜４１４、各顔検出部４２１〜４２４、カメラタリー出力／補助表示出力制御部４２６、操作モニタ制御部４１６、及び、操作パネルＩ／Ｆ４０６を制御する。また、スイッチャー選択タリー入力信号４０５は、スイッチャー２０８が選択している入力プログラムに対応したタリー出力を得るように構成されている。また、カメラタリー出力／補助表示出力制御部４２６は、スイッチャー選択タリー入力信号４０５からのバイパスと、システム制御部４１５によって決定された内容に従った補助表示出力を行い、テレビジョンカメラＡ１０３、テレビジョンカメラＢ１０４、及び、テレビジョンカメラＣ１０５の各々へのタリー出力／補助表示出力信号４０７、４１７、４２７を得るように構成されている。なお、タリー出力／補助表示出力信号４０７、４１７、４２７に基づいて、テレビジョンカメラＡ１０３、テレビジョンカメラＢ１０４、テレビジョンカメラＣ１０５の各々に備わる補助表示装置１０３ｂ〜１０５ｂ（図８参照）の表示を変更させるが、この補助表示装置１０３ｂ〜１０５ｂの表示の変更は、フレーム毎に検出された結果に基づいて変更されると、頻繁に表示が変更されることとなり、視覚上フリッカとして現れたアシスト表示としては、不安定な状態となってしまうことから、一定時間以下の周期変化に対して、不感として、前の状態を保持した出力となるように設定されている。また、操作モニタ制御部４１６は、オペレータが操作するディスプレイの制御を行うように構成されている。ディスプレイには、現在、追尾している顔の状態や、各カメラの状態が表示され、また、追尾モードの入／切や追尾対象人物の登録等の処理をインタラクティブに行い、操作モニタ出力４３７の映像信号としてディスプレイに出力される。さらに、操作パネルインターフェース４０６は、操作モニタ制御部４１６とのインタラクティブ操作に対応した操作スイッチ群である。
【００１８】
システム制御部４１５に入力される信号としては、さらにテレビジョンカメラＡ１０３、テレビジョンカメラＢ１０４、及び、テレビジョンカメラＣ１０５に各々搭載されたロータリーエンコーダ等の位置検出センサ１０３ａ〜１０５ａにより検出された位置情報の信号である位置入力信号４４１、４４２、４４３がある。ここで、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の初期位置は、別途テレビジョンカメラ側で調整が行われ、システム制御部４１５は、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の位置を、スタジオ内において設定された原点からの絶対位置として常に保持するように構成されている。
【００１９】
本実施の形態のテレビジョンカメラシステム２００の構成等は、以上のようになっており、次にこのテレビジョンカメラシステム２００における処理手順を図６〜図１１を用いて説明した後に、詳細な処理ついては、図１２〜図１５を用いて説明する。
【００２０】
（画像撮影システム処理）
図６及び図７は本テレビジョンカメラシステム２００における処理手順を示したフローチャートであり、このテレビジョンカメラシステム２００が開始されると、ステップＳ１００で、初期化が行われる。つまり、画像処理装置２１１のシステム制御部４１５は、システムの動作に必要な初期設定を行う。次に、ステップＳ１０１で映像信号が存在するか否かが確認される。つまり、現在、システム制御部４１５は、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５で、被撮影者１０１，１０２（図１参照）の撮影が開始されているかの判断を行う。このステップＳ１０１で、入力された映像信号が無いなど異常が検知されるとステップＳ１０２でエラー通知がされ、操作モニタ制御部４１６を介して、操作モニタ２１３にエラーが表示される。一方、映像信号が入力されていると判断されると、ステップＳ１０３に進み、現在選択されているテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の状態が、スイッチャー２０８を介して、タリー出力信号２１０として、画像処理装置２１１に出力される。例えば、図８は、各テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５に備わるタリーランプ１０３ａ〜１０５ａ及び補助表示装置１０３ｂ〜１０５ｂを示している。ここでは、テレビジョンカメラＡ１０３のタリーランプ１０３ａが、点灯している状態であり、スイッチャー２０８において選択されているテレビジョンカメラがテレビジョンカメラＡ１０３であることを示している。ここで、画像処理装置２１１のシステム制御部４１５が取得する内容は、現在のカメラ台数、カメラの位置、及び、スイッチャー２０８によって選択されているタリー信号の状態である。
【００２１】
次に、ステップＳ１０４に進み、後述する顔検出処理（図１２参照）が行われる。この顔検出処理の工程は、各カメラの画像から人物の顔を検出する処理であり、各テレビジョンカメラ１０３〜１０５が撮影した被撮影者の画像を同時に処理する構成となっている。つまり、上述したように、画像処理部２１１には、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５からの各画像が入力される映像入力処理部４１１〜４１３と、その画像の入力信号を使って各々の顔検出を行う顔検出部４２１〜４２３とによって、同時に顔検出処理を行うことができる構成となっている。そして、ステップＳ１０５で人物の顔が検出されたか否かが判断され、検出された場合には、次のステップＳ１０６に進み、検出された顔の特徴量を取得する。一方、人物の顔が検出されなかった場合には、ステップＳ１１５で、後述する未検出タイマ処理が行われる（図１４）。ステップＳ１０６で検出された顔の特徴量が取得されると、図４の画像検出パラメータテーブル４２５が参照され、その特徴量から顔位置が判明するので、次のステップＳ１０７に進み、操作モニタ２１３に顔位置の表示を行う。さらに、ステップＳ１０８に進み、図４の画像検出パラメータテーブル４２５を参照して、検出された顔が、登録されている人物のデータであるかを判断する。
【００２２】
ステップＳ１０８で、登録された人物のデータと一致しない場合、つまり、登録されていない人物である場合には、ステップＳ１１２に進み、オペレータにより、操作モニタ２１３を介して、当該検出された顔の人物の登録を指示しているか否かが判断され、当該検出された顔の人物の登録を指示していると判断されると、ステップＳ１１３に進む。ステップＳ１１３では、後述するように、検出された任意の人物の選択処理の工程が行われる（図１３参照）。次に、ステップＳ１１４に進み、選択された顔情報を登録し、ステップＳ１０１に戻り、上述の処理を続行するようになっている。ステップＳ１１４で登録した顔情報は、画像検出パラメータ記憶部（画像検出パラメータテーブル）４２５に登録され、以後、この登録された人物の顔データも使用することができるようになる。このように、任意の人物の顔情報の登録等ができるので、被撮影者１０１，１０２が変更された場合においても、この画像撮影システム２００は容易に対応することが可能である。
【００２３】
また、ステップＳ１１２で、オペレータにより、操作モニタ２１３を介して、当該検出された顔の人物の登録を指示していないと判断されると、また、上述のように、ステップＳ１０５において、人物の顔が検出されていないと判断されると、ステップＳ１１５に進み、後述する未検出タイマ処理の工程が行われ、次いで、ステップＳ１１６に進み未検出タイマが０か否かが判断され、０でない場合はステップＳ１０１に戻る。ここで、ステップ１１２で、登録が指示されていない場合に、ステップＳ１１５に進み、未検出タイマ処理が行われるのは、ステップＳ１１２で登録処理の指示がなかった場合、未検出期間が一定時間までは補助表示装置１０３ｂ〜１０５ｂの状態を保持するためである。これは、頻繁に補助表示装置１０３ｂ〜１０５ｂの状態が変化すると、被撮影者となる人物が混乱をきたすことになるので、被撮影者となる人物の混乱となる要因を減らす目的で実行されるものである。未検出待機時間の計時は未検出タイマを用いる。未検出タイマの処理概要は後述する。そして、未検出タイマ処理が開始され、未検出タイマの確認処理が行われ、未検出タイマが０に到達すると（ステップＳ１１６）、ステップＳ１１７に進み補助表示装置１０３ｂ〜１０５ｂの状態をクリアして、ステップＳ１１８に進み、補助表示装置１０３ｂ〜１０５ｂの表示状態を更新して、ステップＳ１０１に戻るようになっている。
【００２４】
一方、ステップＳ１０８で、登録された人物のデータと一致した場合、つまり、検出された顔が登録された人物である場合には、ステップＳ１０９に進む。ステップＳ１０９では、検出された人物の顔が、選択されているテレビジョンカメラ、ここではテレビジョンカメラＡ１０３（図８参照）に向いているか否かが判断される。つまり、ここでは、顔が検出された人物の目線が、選択されたカメラに向けられているか否が判断されるようになっている。目線が、選択されたカメラに向いていないと判断されると、ステップＳ１１０に進み、補助表示装置１０３ｂ〜１０５ｂの状態のクリアを行い、さらに、ステップＳ１１１において補助表示装置１０３ｂ〜１０５ｂの表示状態を更新する。つまり、補助表示装置１０３ｂ〜１０５ｂ上のアシスト表示は停止する。ここで、補助表示装置１０３ｂ〜１０５ｂのアシスト表示とは、例えば、図９で表示するように、テレビジョンカメラＡ１０３の補助表示装置１０３ｂに表示されている矢印などの方向表示である。この方向表示は、次に選択されるテレビジョンカメラＣ１０５のタリーランプ１０５ａが点灯されている状態において、その前に選択されていたテレビジョンカメラＡ１０３の位置からテレビジョンカメラＣ１０５の配置されている位置の方向を指し示すような表示となっている。ステップＳ１１１で、補助表示装置１０３ｂ〜１０５ｂの表示状態が更新されると、ステップＳ１０１に戻り、引き続き以上の処理が行われる。
【００２５】
また、一方、上述のステップＳ１０９で、検出された人物の顔が、選択されているテレビジョンカメラ（ここではテレビジョンカメラＡ１０３（図８参照））に向いていない、つまり、選択されたテレビジョンカメラへ、被撮影者１０１，１０２の視線が向けられていないと検出されると、図７のステップＳ１１９に進む。ステップＳ１１９では、直前に選択されていたカメラが存在するか否かが判断される。つまり、システム制御部４１５は、直前にスイッチャー２０８で選択されたテレビジョンカメラが存在するか否かを確認する。そして、直前に選択されていたカメラが存在していたと判断されると、ステップＳ１２０に進み、直前に選択されていたテレビジョンカメラに向いているか否か、つまり、直前に選択されていたテレビジョンカメラからの映像に、まだ、被撮影者１０１，１０２の目線が向いているか否かが判断される。
【００２６】
ステップＳ１２０で、被撮影者１０１，１０２が直前に選択されていたテレビジョンカメラに向いていると判断されると、ステップＳ１２３に進み、対象人物（被撮影者１０１，１０２）が向いているテレビジョンカメラと選択されたカメラの相対位置の計算処理が行われる（図１５参照）。具体的な処理の方法については、後述するが、ここでは、対象人物が向いているテレビジョンカメラに対し、現在、スイッチャー２０８で選択されているテレビジョンカメラの方向が演算される。この方向を演算するにあたり、各テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５の台座部分に備えられているロータリーエンコーダ等の位置検出センサ１０３ｃ〜１０５ｃが、スタジオ内に設定された所定の位置を原点として、各テレビジョンカメラの位置を検出した結果が利用される。そして、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５は、自己の位置から他のテレビジョンカメラが配置されている位置の方向を表示することができる。これらの配置の管理や、位置検出センサの結果は、システム制御部４１５で、管理されている。そして、システム制御部４１５は、各テレビジョンカメラ１０３〜１０５の位置情報等に基づき、対象人物が向いているテレビジョンカメラと選択されたカメラの相対位置を演算によって、求めることができるようになっている。そして、次にステップＳ１２４に進み、補助表示装置１０３ｂ〜１０５ｂの表示と操作モニタ２１３上の表示を更新して、ステップＳ１０１の処理工程に戻り、上述の工程を行うようになっている。
【００２７】
一方、ステップＳ１１９で、直前に選択されたテレビジョンカメラが存在しないと判断された場合と、ステップＳ１２０で、直前に選択されたテレビジョンカメラに対象者（被撮影者１０１，１０２）の顔が向いていないと判断された場合には、ステップＳ１２１に進む。ステップＳ１２１では、対象者（被撮影者１０１，１０２）の顔が、それ以外のテレビジョンカメラに向いているか否かが判断される。つまり、スイッチャー２０８で選択されたテレビジョンカメラ以外のカメラからの画像に、被撮影者１０１、１０２の顔が表示されているか否かが検出される。上述したように、各テレビジョンカメラ１０３〜１０５からの画像のデータの信号は、各カメラ顔検出部４２１〜４２３に入力され処理される。そして、これらは、同時に行われているので、ステップＳ１２１の判断も各画像から自動で容易に判断することができるようになっている。
【００２８】
そして、他のテレビジョンカメラに顔が向いていると判断されると、ステップＳ１２２に進み、追尾モードであるか否かを判断する。追尾モードとは、追尾対象である被撮影者１０１，１０２に、順次撮影されるテレビジョンカメラの情報を表示して、被撮影者１０１，１０２の目線を、オンエアされている画像を撮影しているテレビジョンカメラに合わせさせるようにすることである。従って、追尾モードである場合には、ステップＳ１２３に進み、被撮影者１０１，１０２の顔が向いているカメラとスイッチャー２１８が選択したテレビジョンカメラとの相対位置を計算し、現在、被撮影者１０１，１０２の視線が検出されているカメラの補助装置の状態と操作モニタの表示を更新する（ステップＳ１２４）。例えば、図９のように、追尾対象者である被撮影者１０１，１０２が、テレビジョンカメラＡ１０３に顔を向けているとして、スイッチャー２１８が選択したテレビジョンカメラがテレビジョンカメラＣ１０５であった場合を説明する。スイッチャー２１８で選択されたテレビジョンカメラＣ１０５のタリーランプ１０５ａが点灯し、テレビジョンカメラＡ１０３の補助表示装置１０３ｂに矢印が表示される。この時、補助表示装置１０３ｂの矢印は、テレビジョンカメラＣ１０５の方向を指し示すように設定される。このように、表示すれば、被撮影者１０１，１０２は、その補助表示装置１０３ｂの表示に従って、目線を合わせるべきテレビジョンカメラＣ１０５の位置を容易に把握することができる。そして、このとき、同じ方向にあるテレビジョンカメラＢ１０４のタリーランプ１０４ａは点灯していないので、被撮影者１０１，１０２は、スムーズにテレビジョンカメラＣ１０５を捉えることができるようになっている。
【００２９】
また、ステップＳ１２２で追尾モードでないと判断された場合には、ステップＳ１２４に進み、補助表示の表示には、特に表示せず、単にそれ以外のテレビジョンカメラに被撮影者１０１，１０２の顔が検出されたことだけを示すように、操作モニタ２１３の表示を更新する。
【００３０】
一方、ステップＳ１２１で、被撮影者１０１，１０２がそれ以外のテレビジョンカメラにも向いていないと判断されると、ステップＳ１２５に進む。つまり、テレビジョンカメラ１０３〜１０５の撮影した画像を分析した結果、対象者である被撮影者１０１，１０２の顔が得られなかった場合である。ステップＳ１２５では、ステップＳ１２２と同様、追尾モードであるか否かが判断される。追尾モードでない場合は、上述したステップＳ１２４に進む。追尾モードである場合には、ステップＳ１２６に進み、検出された任意の人物の選択処理の工程が実行される。このステップＳ１２６の処理は、上述したステップＳ１１３と同様であり、検出された任意の人物の選択処理工程として、詳細は、後述する（図１３参照）。そして、ステップＳ１２７に進み、選択された顔情報を登録し、ステップＳ１２８で操作モニタ２１３に顔位置を表示して、ステップＳ１０１に戻り、上述の工程を繰り返すようになっている。なお、上述したステップＳ１０２で、エラーが通知された場合には、本実施形態のテレビジョンカメラシステム２００が、終了されるようになっていてもよい。
【００３１】
ここで、本実施形態のテレビジョンカメラシステム２００のテレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５のタリーランプ１０３ａ〜１０５ａと表示部の一例である補助表示装置１０３ｂ〜１０５ｂの表示について、図１０及び図１１を使用して補足する。図１０は、直前に選択されていたテレビジョンカメラがテレビジョンカメラＡ１０３であり、テレビジョンカメラＣ１０５が現在、スイッチャー２０８により、スイッチングされ、タリーランプ１０５ａが点灯している例を示している。この時、追尾対象者は、直前に選択されたテレビジョンカメラＡ１０３に目線が向けられているので、テレビジョンカメラＡ１０３のタリーランプ１０３ａを消灯して、補助表示装置１０３ｂにテレビジョンカメラＣ１０５の配置されている方向を表示する。また、この時、テレビジョンカメラＢ１０４の補助表示装置１０４ｂにテレビジョンカメラＣ１０５の方向を示す表示をするようにすれば、追尾対象者は、素早くテレビジョンカメラＣ１０５を捉えることができる。図１４はテレビジョンカメラＣ１０５またはテレビジョンカメラＡ１０３が直前にスイッチャー２０８で選択されており、現在は、テレビジョンカメラＢ１０４が選択されており、タリーランプ１０４ａが点灯している状態における表示例である。この例によれば、テレビジョンカメラＣ１０５の補助表示装置１０５ｂおよびテレビジョンカメラＡ１０３の補助表示装置１０３ｂには、選択されたテレビジョンカメラＢ１０４の方向を示す表示がされている。従って、追尾対象者は、テレビジョンカメラＣ１０５でもなく、テレビジョンカメラＡ１０３でもないということが、テレビジョンカメラＢ１０４以外を向いた場合に、容易に判別できようになっている。以上が、本実形態のテレビジョンカメラシステム２００の概略である。次に、テレビジョンカメラシステム２００の各処理について、図１２〜図１５を用いて個別に説明する。
【００３２】
（顔検出処理）
上述のステップＳ１１４の顔検出処理について、図１２を参照して、説明する。ステップＳ１１４で顔検出処理が開始されると、検出パラメータの初期化が実行される（ステップＳ２００）。ここで、これらの顔検出処理は、各テレビジョンカメラ１０３〜１０５の各カメラ顔検出部４２１〜４２３が、各テレビジョンカメラ１０３〜１０５で撮影された画像に対して顔検出処理が実行される（ステップＳ２０１）。この顔検出処理は、既存の画像処理技術を使用して行うことができる。次に、画面内に人物の顔が存在するか否かが判断される（ステップＳ２０２）。そして、人物の顔が存在したと判断されると、ステップＳ２０３に進み、人物の顔位置、サイズ、個数が取得され、ステップＳ２０４で、検出された人物の中に登録と一致する顔が検出されたかが判断される。この判断を行うに際には、図４の顔検出パラメータテーブル４２５が参照される。そして、一致する場合は、ステップＳ２０６に進み、変数ｆａｃｅ＿ｐｅｒｓｏｎにＴｒｕｅが設定され、一致しない場合には、ステップＳ２０５に進み、変数ｆａｃｅ＿ｐｅｒｓｏｎにＦａｌｓｅが設定され、終了する。一方、ステップＳ２０２で人物の顔が存在しないと判断されると、ステップＳ２０７に進み、変数ｆａｃｅ＿ｎｕｍに０が設定されて処理が終了する。以上が、顔検出処理の工程となる。
【００３３】
（任意の人物の選択処理）
次に、上述のステップＳ１１３とステップＳ１２６の処理について図１３を参照して説明する。ステップＳ１１３またはステップＳ１２６で、処理が開始されると、ステップＳ３００で、初期化が行われ、次に各カメラでの顔検出結果を取得し（ステップＳ３１０）、さらに、ステップＳ３０２で、操作モニタ２１３の画面上に検出装置の枠を表示させ、検出された顔を囲むように配置する。そして、ステップＳ３０３で、枠で囲まれた顔を登録するか解除するかの選択が行われ、次いで、ステップＳ３０４で、追尾モードの使用若しくは不使用が選択されると、処理が終了する。以上が、人の人物の選択処理の工程となる。
【００３４】
（未検出タイマ処理）
ここでは、ステップＳ１１５の未検出タイマ処理の工程について、図１４を参照して説明する。ステップＳ１１５で、未検出タイマの処理が開始されると、ステップＳ４００で、変数ｄｅｔ＿ｅｘｐｉｒｅに設定された値が０か否かが判断され、０であると判断されると、ステップＳ４０４に進み、未検出タイマを停止して、変数ｄｅｔ＿ｅｘｐｉｒｅに１を設定して（ステップＳ４０５）終了する。ステップＳ４００で０でないと判断されると、ステップＳ４０１に進み、未検出タイマが動作しているか否かが判断される。動作していると判断されると、ステップＳ４０３に進み、動作していないと判断されると、ステップＳ４０２に進み、未検出タイマが起動される。そして、ステップＳ４０３にすすみ、変数ｄｅｔ＿ｅｘｐｉｒｅの値をデクリメントして、終了する。以上が、未検出タイマの処理工程である。
【００３５】
（相対位置計算処理）
次に、ステップＳ１２３の対象人物が向いているカメラと選択されたカメラの相対位置の計算処理の工程ついて、図１５を参照して説明する。ステップＳ１２３の処理が開始されると、ステップＳ５００で各テレビジョンカメラ位置が取得され、次にステップＳ５０１に進み、選択されているテレビジョンカメラからの位置Ｘが正の値（＞０）であるか否かが判断される。この位置は、所定の位置を原点として、テレビジョンカメラが設置されている室内の上空から見た場合のＸＹ平面の座標として検出されている（ここでは、被撮影者の正面に対して左右方向をＸ軸としている場合について説明する）。そして位置Ｘが正（＞０）の場合は、選択されているテレビジョンカメラから、対象人物が向いているテレビジョンカメラの相対的位置が右であると判断する（ステップＳ５０３）。また、ステップＳ５０１で位置Ｘが正（＞０）でない場合は、ステップＳ５０２に進み、位置Ｘが負（＜０）であるか否かが判断され、位置Ｘが負（＜０）の場合は、相対位置が左であると判断し（ステップＳ５０２）、終了する。以上が、相対位置計算処理の工程となっている。
【００３６】
本実施形態のテレビジョンカメラシステム２００は、以上の各処理工程を有して構成されている。以上のように、構成されているので、テレビジョンカメラＡ１０３〜テレビジョンカメラＣ１０５で、被撮影者１０１，１０２の撮影を行う場合には、被撮影者１０１，１０２の顔情報が登録されており、その登録された情報に基づいて、撮影された画像から、被撮影者１０１，１０２の顔の向きや目線を判断できるようになっている。そのため、被撮影者１０１，１０２へ次に使用されるテレビジョンカメラの方向の指示が即座に行うことができ、また、この指示は、人を介すことなく、画像処理技術を使って自動で行うことができるので、このテレビジョンカメラシステム２００によれば、確実に指示を出すことができる。
【００３７】
以上は、典型的な例の一つであって必ずしも実施方法を限定するものではない。例えば、同等の効果が得られる手段があるならばタリーランプの形状や補助表示装置の表示は矢印による方向指示のみならず、文字や相当する図形などでも機能を持たせることができる。例えば、プロンプタを併用して補助表示を実現してもよい。また、本実施形態において検出追尾対象人物は同時に１名のみであるが、操作パネル上のインターフェースや画像処理部での処理能力向上、補助表示装置への表示情報増加手段を追加すれば複数人物に対して同様の指示も可能であることは言うまでもない。
【図面の簡単な説明】
【００３８】
【図１】本発明に係るテレビジョンカメラシステムにおいて、スタジオにおけるテレビジョンカメラと被撮像者との関係を説明するための説明図である。
【図２】上記テレビジョンカメラシステムの全体構成を示すブロック図である。
【図３】画像処理装置の内部構成を示すブロック図である。
【図４】画像検出パラメータ記憶部に記憶されている画像検出パラメータテーブルのデータ構造図である。
【図５】その他パラメータ記憶部に記憶されているその他パラメータテーブルのデータ構造図である。
【図６】テレビジョンカメラシステムの処理のうち、前半側の処理を示すフローチャートである。
【図７】テレビジョンカメラシステムの処理のうち、後半側の処理を示すフローチャートである。
【図８】テレビジョンカメラに搭載されているタリーランプおよび補助表示装置の動作例を示す説明図であって、テレビジョンカメラＡが選択されている場合である。
【図９】テレビジョンカメラに搭載されているタリーランプおよび補助表示装置の動作例を示す説明図であって、テレビジョンカメラＣに切り替わった場合である。
【図１０】テレビジョンカメラに搭載されているタリーランプおよび補助表示装置の他の動作例を示す図である。
【図１１】テレビジョンカメラに搭載されているタリーランプおよび補助表示装置の他の動作例を示す図である。
【図１２】各テレビジョンカメラの画像から人物の顔を検出する顔検出処理のフローチャートである。
【図１３】検出された任意の人物を選択する選択処理のフローチャートである。
【図１４】未検出タイマ処理のフローチャートである。
【図１５】対象人物が向いているカメラと選択されているカメラとの相対位置計算処理のフローチャートある。
【符号の説明】
【００３９】
１０３〜１０５  テレビジョンカメラＡ〜Ｃ
１０３ａ〜１０５ａ  タリーランプ（表示部）
１０３ｂ〜１０５ｂ  補助表示装置（表示部）
１０３ｃ〜１０５ｃ  位置検出センサ
２００  テレビジョンカメラシステム
２０８  スイッチャー    ２１１  画像処理装置
【図１】
2010028501.tif 000003
【図２】
2010028501.tif 000004
【図３】
2010028501.tif 000005
【図４】
2010028501.tif 000006
【図５】
2010028501.tif 000007
【図６】
2010028501.tif 000008
【図７】
2010028501.tif 000009
【図８】
2010028501.tif 000010
【図９】
2010028501.tif 000011
【図１０】
2010028501.tif 000012
【図１１】
2010028501.tif 000013
【図１２】
2010028501.tif 000014
【図１３】
2010028501.tif 000015
【図１４】
2010028501.tif 000016
【図１５】
2010028501.tif 000017