(57)【特許請求の範囲】
【請求項１】
画像及び音声を入力し送受信するテレビ会議システムにおける発言者を識別するテレビ会議システムの発言者識別装置において、入力音声から音源方向を検出し当該音源の特徴を記憶する第１記憶手段と、新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とを比較する音源特徴比較手段を備えた音源の方向検出手段と、入力画像内から人物を検出する人間検出手段と、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出した場合、検出した人物の画像位置を記憶する第２記憶手段と、表示されているモニタ画面上の発言者の画像周辺に前以って定められているマーカを表示するマーキング手段とを具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記第２記憶手段に記憶された前記人物の前記画像位置を読み出して、テレビ会議における発言者として前記マーキング手段により発言者を示すマーカをマーキング表示させることを特徴とするテレビ会議システムの発言者識別装置。
【請求項２】
前記音源特徴比較手段が、前記第１記憶手段に記憶された前記音源の特徴のうち、前記新たに入力された音源の方向にある音源の特徴を読み出し、前記音源特徴比較手段によって新たに入力された音源の特徴とを比較して一致していないことが検出された場合において、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出した場合には、前記新たに入力された音源の特徴を前記第１記憶手段に記憶し直すと共に、前記人間検出手段にて検出された該人物の画像位置を前記第２記憶手段に記憶させることを特徴とする請求項１に記載のテレビ会議システムの発言者識別装置。
【請求項３】
前記音源特徴比較手段が、前記第１記憶手段に記憶された前記音源の特徴のうち、前記新たに入力された音源の方向にある音源の特徴を読み出し、前記音源特徴比較手段によって新たに入力された音源の特徴とを比較して一致していないことが検出された場合において、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出しなかった場合には、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとすることを特徴とする請求項１又は２に記載のテレビ会議システムの発言者識別装置。
【請求項４】
前記第２記憶手段が、前記人間検出手段が具備している顔輪郭抽出手段により入力画像の中の人物の顔の輪郭及び／又は目乃至鼻乃至口の輪郭に関する顔特徴を抽出して記憶する顔特徴記憶手段を更に具備し、前記人間検出手段が、該顔特徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手段により入力画像の中から新たに抽出された顔特徴とを比較する顔特徴比較手段を更に具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手段によって新たに抽出された顔特徴とを比較して、一致していることが検出された場合には、前記第２記憶手段に記憶された人物の前記画像位置を読み出して、モニタ画面に表示された前記人物の画像周辺に前記マーキング手段により発言者を示す前記マーカをマーキング表示させることを特徴とする請求項１乃至３のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項５】
前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と前記人間検出手段の顔輪郭抽出手段によって新たに抽出された顔特徴とを比較して、一致していないことが検出された場合、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとすることを特徴とする請求項４に記載のテレビ会議システムの発言者識別装置。
【請求項６】
前記人間検出手段が、検出された人物の唇が動いていることを検出する唇検出手段を具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記唇検出手段によって前記音源の特徴が一致している方向にいる人物の唇が動いていることが検出された場合には、前記第２記憶手段に記憶された人物の前記画像位置を読み出して、モニタ画面に表示された前記人物の画像周辺に前記マーキング手段により発言者を示す前記マーカをマーキング表示させることを特徴とする請求項１乃至５のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項７】
前記唇検出手段によって前記音源の特徴が一致している方向にいる人物の唇が動いていることが検出されない場合、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとすることを特徴とする請求項６に記載のテレビ会議システムの発言者識別装置。
【請求項８】
前記人間検出手段が、入力画像内の人物を検出し、前記マーキング手段が、前記人間検出手段によって検出された人物それぞれに対して、モニタ画面に表示された該人物の画像周辺に色分け及び／又は形状分けされたマーカのマーキング表示を行なうことを特徴とする請求項１乃至７のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項９】
前記人間検出手段が、入力画像内の人物を検出する際に、検出された検出時刻を記憶する検出時刻記憶手段を更に具備し、該検出時刻記憶手段に記憶された前記検出時刻を、検出された前記人物の参加時刻として、モニタ画面に表示することを特徴とする請求項１乃至８のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項１０】
前記人間検出手段が、入力画像内から検出された１人以上の人物の画像位置を記憶することができる記憶手段を１つ以上具備し、更に、前記人間検出手段が、前以って設定された一定周期毎に、前記入力画像内のすべての人物の検出を行ない、各人物の検出結果の画像位置をそれぞれ求める際に、前記検出結果の人物の画像位置のそれぞれと前記記憶手段に記憶された１人以上の人物の画像位置との比較を行なう位置比較手段を更に具備し、前記位置比較手段にて、前記記憶手段に記憶された人物の画像位置のいずれかが、前記検出結果の人物の画像位置のいずれにも一致していない場合には、一致していない前記記憶手段に記憶された画像位置の人物が退席したものとして、該人物が検出されなくなった時刻を退席時刻として記憶する退席時刻記憶手段と、更に、前記位置比較手段にて、前記検出結果の人物の画像位置のいずれかが、前記記憶手段に記憶された人物の画像位置のいずれにも一致していない場合には、一致していない前記検出結果の画像位置の人物が新たに参加したものとして、該人物が新たに検出された時刻を参加時刻として記憶する参加時刻記憶手段と、を更に具備し、前記退席時刻記憶手段に記憶されている前記退席時刻を、更に、前記参加時刻記憶手段に記憶されている前記参加時刻を、モニタ画面に表示することを特徴とする請求項１乃至８のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項１１】
前記方向検出手段が、入力音声の音源を検出した時刻を音源検出時刻として記憶する音源検出記憶手段を更に具備し、前記音源検出記憶手段に記憶されている前記音源検出時刻をモニタ画面に表示することを特徴とする請求項１乃至１０のいずれかに記載のテレビ会議システムの発言者識別装置。
【請求項１２】
請求項１乃至１１のいずれかのテレビ会議の発言者識別装置を備えていることを特徴とするテレビ会議システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムに関する。特に、複数の参加者によりテレビ会議を行なっている際に、発言者を識別可能なマーカ（目印）を付与してモニタ画面にマーキング表示する機能を有するテレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムに関する。
【０００２】
【従来の技術】
テレビ会議を行なう際に、発言者を識別し、マーカ（目印）のマーキング表示を行なうテレビ会議システムの従来技術としては、例えば、特開平８−３７６５５号公報「話者識別表示機能を有するテレビ会議システム」において開示されているように、音声の入力方向のみを識別して、発言者が存在している方向を決定し、マーキング表示を行なうものがある。
即ち、特開平８−３７６５５号公報に開示されている技術においては、複数の参加者によりテレビ会議を行なっている際に、音の発生方向を検出する音声方向検出器即ち方向検出手段からの音声方向のデータに基づいて、モニタ画面上の位置（座標）を求めて、該テレビ会議において発言している発言者（話者）の位置にカメラ装置が自動的に移動し、更に、モニタ画面に、該発言者が写し出された際には、該発言者が識別できるようなマーカ（目印）を付与するように構成されているものであり、テレビ会議で発言している参加者を容易に識別することが可能であるとしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の発言者識別表示機能を有するテレビ会議システムにあっては、テレビ会議の参加者の発言そのものを識別することを可能としているものではなく、何らかの音即ち物音が発生している場合に、該物音の発生方向のみに基づいて、マーカ（目印）を付与してしまう構成となっている。したがって、テレビ会議の参加者の発言以外の音声や物音が発生した場合であっても、発言者識別のマーカ（目印）表示がなされてしまうという問題がある。例えば、くしゃみやペンを落とした音、あるいは、マイクに物をぶつけた音など、参加者の発言以外の物音によっても、マーカ（目印）のマーキング表示が行なわれてしまうため、モニタ画面上に、テレビ会議にて真に必要とする発言者を示す位置とは異なる位置にマーキング表示が行なわれたり、あるいは、あらぬ方向にカメラ装置の向きが移動してしまったりして、テレビ会議参加者にとっては、モニタ画面が非常に見難くなったり、紛らわしく感じられる場合が生じてしまう。
【０００４】
本発明は、かかる課題を解決するためになされたものであり、画像及び音声を入力し送受信するテレビ会議システムにおいて、例えば、入力音声から音源方向を検出する方向検出手段と、入力画像から人物を検出する人間検出手段とを具備し、更に、前記人間検出手段にて検出された人物の画像周辺に前以って定められている所定のマーカ（目印）を表示するマーキング手段を具備し、前記方向検出手段によって得られた音源方向において、前記人間検出手段により人物が検出された場合に、始めて、テレビ会議における発言者による発声音声であると判定して、前記マーキング手段により、表示されているモニタ画面上の該人物の画像周辺に発言者を示す所定のマーカをマーキング表示させることを可能とするテレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムを提供せんとするものである。
【０００５】
【課題を解決するための手段】
本発明に係るテレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムは、以下の具体的な技術手段により構成されている。
【０００６】
第１の技術手段は、画像及び音声を入力し送受信するテレビ会議システムにおける発言者を識別するテレビ会議システムの発言者識別装置において、入力音声から音源方向を検出し当該音源の特徴を記憶する第１記憶手段と、新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とを比較する音源特徴比較手段を備えた音源の方向検出手段と、入力画像内から人物を検出する人間検出手段と、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出した場合、検出した人物の画像位置を記憶する第２記憶手段と、表示されているモニタ画面上の発言者の画像周辺に前以って定められているマーカを表示するマーキング手段とを具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記第２記憶手段に記憶された前記人物の前記画像位置を読み出して、テレビ会議における発言者として前記マーキング手段により発言者を示すマーカをマーキング表示させることを特徴とするものである。
【００１３】
第２の技術手段は、前記第１の技術手段において、前記音源特徴比較手段が、前記第１記憶手段に記憶された前記音源の特徴のうち、前記新たに入力された音源の方向にある音源の特徴を読み出し、前記音源特徴比較手段によって新たに入力された音源の特徴とを比較して一致していないことが検出された場合において、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出した場合には、前記新たに入力された音源の特徴を前記第１記憶手段に記憶し直すと共に、前記人間検出手段にて検出された該人物の画像位置を前記第２記憶手段に記憶させるテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００１４】
第３の技術手段は、前記第１又は第２の技術手段において、前記音源特徴比較手段が、前記第１記憶手段に記憶された前記音源の特徴のうち、前記新たに入力された音源の方向にある音源の特徴を読み出し、前記音源特徴比較手段によって新たに入力された音源の特徴とを比較して一致していないことが検出された場合において、前記方向検出手段によって得られた音源方向に前記人間検出手段にて人物を検出しなかった場合には、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとするテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００１５】
第４の技術手段は、前記第１乃至第３のいずれかの技術手段において、前記第２記憶手段が、前記人間検出手段が具備している顔輪郭抽出手段により入力画像の中の人物の顔の輪郭及び／又は目乃至鼻乃至口の輪郭に関する顔特徴を抽出して記憶する顔特徴記憶手段を更に具備し、前記人間検出手段が、該顔特徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手段により入力画像の中から新たに抽出された顔特徴とを比較する顔特徴比較手段を更に具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手段によって新たに抽出された顔特徴とを比較して、一致していることが検出された場合には、前記第２記憶手段に記憶された人物の前記画像位置を読み出して、モニタ画面に表示された前記人物の画像周辺に前記マーキング手段により発言者を示す前記マーカをマーキング表示させるテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００１６】
第５の技術手段は、前記第４の技術手段において、前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と前記人間検出手段の顔輪郭抽出手段によって新たに抽出された顔特徴とを比較して、一致していないことが検出された場合、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとするテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００１７】
第６の技術手段は、前記第１乃至第５のいずれかの技術手段において、前記人間検出手段が、検出された人物の唇が動いていることを検出する唇検出手段を具備し、前記音源特徴比較手段によって新たに入力された音源の特徴と前記第１記憶手段に記憶された前記音源の特徴とが一致していることが検出された場合、前記唇検出手段によって前記音源の特徴が一致している方向にいる人物の唇が動いていることが検出された場合には、前記第２記憶手段に記憶された人物の前記画像位置を読み出して、モニタ画面に表示された前記人物の画像周辺に前記マーキング手段により発言者を示す前記マーカをマーキング表示させるテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００１８】
第７の技術手段は、前記第６の技術手段において、前記唇検出手段によって前記音源の特徴が一致している方向にいる人物の唇が動いていることが検出されない場合、前記マーキング手段による発言者を示す前記マーカのマーキング表示を元の状態のままとするテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００２２】
第８の技術手段は、前記第１乃至第７のいずれかの技術手段において、前記人間検出手段が、入力画像内の人物を検出し、前記マーキング手段が、前記人間検出手段によって検出された人物それぞれに対して、モニタ画面に表示された該人物の画像周辺に色分け及び／又は形状分けされたマーカのマーキング表示を行なうテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００２４】
第９の技術手段は、前記第１乃至第８のいずれかの技術手段において、前記人間検出手段が、入力画像内の人物を検出する際に、検出された検出時刻を記憶する検出時刻記憶手段を更に具備し、該検出時刻記憶手段に記憶された前記検出時刻を、検出された前記人物の参加時刻として、モニタ画面に表示するテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００２５】
第１０の技術手段は、前記第１乃至第９のいずれかの技術手段において、前記人間検出手段が、入力画像内から検出された１人以上の人物の画像位置を記憶することができる記憶手段を１つ以上具備し、更に、前記人間検出手段が、前以って設定された一定周期毎に、前記入力画像内のすべての人物の検出を行ない、各人物の検出結果の画像位置をそれぞれ求める際に、前記検出結果の人物の画像位置のそれぞれと前記記憶手段に記憶された１人以上の人物の画像位置との比較を行なう位置比較手段を更に具備し、前記位置比較手段にて、前記記憶手段に記憶された人物の画像位置のいずれかが、前記検出結果の人物の画像位置のいずれにも一致していない場合には、一致していない前記記憶手段に記憶された画像位置の人物が退席したものとして、該人物が検出されなくなった時刻を退席時刻として記憶する退席時刻記憶手段と、更に、前記位置比較手段にて、前記検出結果の人物の画像位置のいずれかが、前記記憶手段に記憶された人物の画像位置のいずれにも一致していない場合には、一致していない前記検出結果の画像位置の人物が新たに参加したものとして、該人物が新たに検出された時刻を参加時刻として記憶する参加時刻記憶手段と、を更に具備し、前記退席時刻記憶手段に記憶されている前記退席時刻を、更に、前記参加時刻記憶手段に記憶されている前記参加時刻を、モニタ画面に表示するテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００２６】
第１１の技術手段は、前記第１乃至第１０のいずれかの技術手段において、前記方向検出手段が、入力音声の音源を検出した時刻を音源検出時刻として記憶する音源検出記憶手段を更に具備し、前記音源検出記憶手段に記憶されている前記音源検出時刻をモニタ画面に表示するテレビ会議システムの発言者識別装置とすることを特徴とするものである。
【００３１】
第１２の技術手段は、前記第１乃至第１１の技術手段のいずれかのテレビ会議システムの発言者識別装置を備えているテレビ会議システムとすることを特徴とするものである。
【００３２】
【発明の実施の形態】
本発明に係るテレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムの実施形態の一例について、以下に図面を参照しながら説明する。
図１は、本発明に係る発言者識別装置を具備したテレビ会議システムの構成の一例を示すブロック構成図である。
【００３３】
図１に示すように、本発明に係る発言者識別装置を具備したテレビ会議システムは、入力音声から音源方向を検出する方向検出部２と、入力画像内から人物を検出する人間検出部３とを具備し、更に、モニタ画面に表示させる各種のＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯＭ６と、該ＣＧＲＯＭ６からのＣＧ情報を、モニタ画面に重畳させて表示させるためのスーパインポーズ発生回路４とを、識別用マーカを表示させるためのマーキング手段として具備している。
図１に基づいて、本発明に係るテレビ会議システムの動作について説明する。
【００３４】
まず、入力された音声は、音声入力部１より電気信号からなる音声信号に変換され、方向検出部２と音声コーデック７とに送られる。
方向検出部２においては、該音声信号に基づいて発言者の位置が、モニタ画面上の位置情報として検出され、カメラ制御部８および人間検出部３に対して、該位置情報が与えられる。
【００３５】
カメラ制御部８は、発言者の前記位置情報に基づいて、少なくとも水平方向に可動可能なカメラ装置９の旋回動作やズーミング動作を行なわせることにより、音声の発生源（即ち、テレビ会議における発言者の位置）が、モニタ画面の中央に位置するように制御したり、あるいは、ズーミングにより拡大表示するように制御したりして、カメラ装置９の位置制御あるいはズーム制御を行なう。
【００３６】
ここで、カメラ制御部８は、方向検出部２により検出された音声の発声方向（音源方向）にカメラ装置９の位置を向けるように旋回制御させたり、ズーム制御をさせたりする際に、方向検出部２により検出された音源方向に人間検出部３が人物を検出できなかった場合、及び／又は、例えば、テレビ会議の参加者の音声（音源）の特徴と一致していない特徴の発声音声である場合などのごとく、発言者を特定することができなかった場合（即ち、発言者を示すマーカを新たにマーキング表示すべき状態を検出できなかった場合）には、動作前の元のカメラ装置９の位置に戻すことも可能である。
【００３７】
あるいは、前述のごとく、カメラ装置９はズーム手段を具備しており、カメラ制御部８は、ユーザの指示により、又は、方向検出部２により検出された音源方向に、カメラ装置９の位置を向けると共に、自動的にカメラ装置９のズーミングを行なわせるように制御することも可能であり、また、方向検出部２により検出された音源方向に人間検出部３が人物を検出できなかった場合、及び／又は、発言者を特定することができなかった場合（即ち、発言者を示すマーカを新たにマーキング表示すべき状態を検出できなかった場合）には、動作前の元のカメラ装置９の位置に戻すと共にカメラ装置９のズーミング状態を動作前の状態に戻すことも可能である。
【００３８】
撮像装置としてのカメラ装置９においては、撮像された映像情報を、映像信号として電気信号に変換する。変換された該映像信号はビデオデコーダ１０によってデジタル処理され、人間検出部３に映像データとして送られる。
人間検出部３においては、方向検出部２から入力される前記位置情報とビデオデコーダ１０から入力される前記映像データとに基づいて、前記映像データにおける前記位置情報が示す位置に、人物の撮像画像データが存在しているか否かの検出を行なう。
【００３９】
前記位置情報が示す位置に、人物の撮像画像データが存在していることが検出された場合にあっては、マーキング手段を提供するスーパインポーズ発生回路４において、各種のＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯＭ６から、発言者を示すマーカ（目印）として予め定められているマーカデータを読み出し、前記映像データ上における前記位置情報と発言者である人物の撮像画像データとから演算されたマーカ表示位置（即ち、発言者の人物の画像周辺位置）に、読み出された発言者を示す前記マーカデータを前記映像データ上に重ね合わされた合成映像データが作成される。
【００４０】
作成された合成映像データは、画像コーデック５によって圧縮符号化処理された符号化画像データとされ、一方、音声入力部１からの音声信号が、音声コーデック７にて圧縮符号化された符号化音声データとされ、該符号化画像データと該符号化音声データとが、多重化回路部１１にて多重化されて、通信回線１２を通して、相手端末に送られる。
【００４１】
ここで、マーキング手段であるスーパインポーズ発生回路４にて作成された前記合成映像データ（即ち、カメラ装置９で撮像され、ビデオデコーダ１０でデジタル処理が施された映像データと、発言者を示すマーカデータとが合成された合成映像データ）が更に画像コーデック５により圧縮符号化された状態の前記符号化画像データが、受信側の相手端末における画像コーデックにより復号化されて、テレビ会議システムにおけるモニタ画面に画面表示されている画像の一例の概念図を、図２に示す。図２において、１０１は、テレビ会議の参加者のうち、発言者を示し、１０２は、テレビ会議の参加者で現在発言していない人物を示し、１００は、発言者であることを示すマーカ（図２においては、矢印形状のマーク）である。
【００４２】
人間検出部３は、カメラ装置９からの映像情報がビデオデコーダ１０によりデジタル処理が施された映像データの中から色情報を用いて人間の顔の色を抽出することにより、顔領域を特定（抽出）して、映像データの中に含まれている人物を検出することができる顔抽出手段３ａを備えている。
また、該人間検出部３は、カメラ装置９からの映像情報がビデオデコーダ１０によりデジタル処理が施された映像データの中から、人物の顔の輪郭や目乃至鼻乃至口といった個々の特徴を有する輪郭を抽出することによって、映像データの中に含まれている人物を検出することができる顔輪郭抽出手段３ｂも備えている。
【００４３】
更には、後述するように、該人間検出部３は、カメラ装置９からの映像情報がビデオデコーダ１０によりデジタル処理が施された映像データの中から、人物の唇が動いているか否かを検出することができる唇検出手段３ｃも備えている。かかる唇検出手段３ｃにより、参加者の人物の唇が動いていることが検出された場合、方向検出部２の結果如何によらず、あるいは、方向検出部２によって得られた音源方向に人間検出部３にて人物を検出した場合であって、かつ、前記唇検出手段３ｃにて該人物の唇が動いていることが検出された場合には、該人物が発言していると見なして、モニタ画面上の発言者である該人物の画像周辺に、発言者を示すマーカをマーキング表示させることとしても良いし、更に、方向検出部２により検出された音源方向に一致する方向にいる人物の唇が動いていることが、唇検出手段３ｃにより検出された場合であって、更に、方向検出部２にて発声音声（音源）の特徴とテレビ会議参加者の発声音声（音源）の特徴とが一致する場合において、発言者を示すマーカをモニタ画面にマーキング表示させることとしても構わない。
【００４４】
また、図１に示す方向検出部２と人間検出部３とは、図３のような構成にすることも可能である。
ここに、図３は、本発明に係る発言者識別装置を具備したテレビ会議システムを構成する方向検出部と人間検出部との他の構成例を示すブロック構成図である。即ち、図３に示すごとく、方向検出制御部２′は、図１に示す方向検出部２以外に、更に、入力音声（音源）の特徴を抽出する音源特徴抽出部２１と、抽出された入力音声（音源）の特徴を特徴データとして記憶する第一の記憶手段である第１記憶メモリ２２と、方向検出部２を介して入力されて、音源特徴抽出部２１により抽出された音源の特徴と第１記憶メモリ２２に記憶されているすべての前記特徴データとを比較照合する音源特徴比較部２３とを備えている。
【００４５】
一方、人間検出制御部３′は、図１に示す人間検出部３以外に、更に、人間検出部３において、ビデオデコーダ１０からの映像データの中に人物が検出された場合の人物の画像位置を記憶するための第二の記憶手段を提供する第２記憶メモリ３２と、方向検出部２が示す音声の発声方向（音源方向）の位置に相当する第２記憶メモリ３２における映像データの画像位置を算出する演算を行なう位置演算部３１とを備えている。
【００４６】
図３に示す方向検出制御部２′と人間検出制御部３′とにおいては、まず、テレビ会議が始まるに先立って、第１記憶メモリ２２と第２記憶メモリ３２とに、それぞれ、テレビ会議の各参加者の発声音声（音源）の特徴を示す特徴データと各参加者の画像位置とを予め登録する。
ここで、発言者の発声音声が、音声入力部１より電気信号の音声信号に変換されて、方向検出制御部２′に入力され、図１と同一の機能を果たす方向検出部２を介して、音源特徴抽出部２１に送られる。音源特徴抽出部２１においては、発言者の音声信号（音源）の特徴を抽出し、第１記憶メモリ２２に特徴データとして格納する。
【００４７】
一方、図１と同一の人物検出機能を果たす人間検出部３においては、方向検出制御部２′から入力される発声音声方向（音源方向）の位置に相当するビデオデコーダ１０の映像データ内の画像位置に人物の映像を検出した場合には、該人物の画像位置を第２記憶メモリ３２に格納する。
【００４８】
第１記憶メモリ２２と第２記憶メモリ３２とに、テレビ会議参加者に関する音声（音源）の特徴と人物の画像位置とを予め設定した後、テレビ会議が始まると、音源特徴比較部２３においては、音源特徴抽出部２１から送られてくる新たな発声音声（音源）の特徴と、第１記憶メモリ２２に記憶されているすべての音声の特徴データとを比較照合し、記憶されているすべての音声の前記特徴データの中に、新たな前記発声音声（音源）の特徴と一致する音声が存在していることが検出された場合には、本テレビ会議の参加者の発言と判断し、位置演算部３１を介して該人物の画像位置を第２記憶メモリ３２から読み出して、モニタ画面上における該発言者の人物の画像周辺に、発言者であることを示すマーカを、スーパインポーズ発生回路４を介して画面表示する。
【００４９】
かくのごとく、発声音声である音源の特徴に基づいて、テレビ会議の参加者の発言と判断される場合にあっては、図１に示す人間検出部３と同一の機能を果たす図３における人間検出部３は、何ら動作をする必要はなく、人間検出部３は起動されることがないものとすることができる。
【００５０】
一方、もし、音源特徴抽出部２１から送られてくる前記発声音声（音源）の特徴が、第１記憶メモリ２２に記憶されているすべての音声の特徴データと一致していないことが音源特徴比較部２３において判明した場合には、図１に示す人間検出部３と同一の機能を果たす図３における人間検出部３が起動されて、該人間検出部３において、ビデオデコーダ１０からの映像データの中から人物検出を行なう。即ち、該人間検出部３において、位置演算部３１を介して得られた前記発声音声方向（音源方向）の位置に、人物の映像が存在しているか否かが判別されることにより、該発声音声（音源）が、本テレビ会議の参加者の発言であるか否かを判定する。
【００５１】
人間検出部３において、前記発声音声方向（音源方向）の位置に人物が存在していないと判定された場合には、該発声音声（音源）が、本テレビ会議には無関係の雑音と見なして、何ら処理を行なうことなく、元の状態のままとし、一方、該発声音声方向（音源方向）の位置に人物が存在していると判定された場合には、発言者が位置を移動して発言しているものと見なして、位置演算部３１を介して算出されている参加者の画像位置情報を、新たに第２記憶メモリ３２に登録すると共に、第１記憶メモリ２２にも、該発声音声（音源）の特徴データを再登録する。
【００５２】
従来の技術においては、新たな音声が発生された際には、発言者を示すマーカ（目印）をモニタ画面にマーキング表示させたり、カメラ装置を旋回させて、該音声の発生元である発言者がモニタ画面内に収まるように撮像せんとしている。しかしながら、発言者以外の何らかの物音が発生した場合においても、全く同様に、発言者を示すマーカ（目印）がモニタ画面にマーキング表示されたり、あるいは、カメラ装置が物音の発生方向に旋回されてしまっていた。
【００５３】
本発明に係る発言者識別手段を備えたテレビ会議システムにおいては、人間検出部３にて人物が検出されなかった場合には、発言者を示すマーカを新たにマーキング表示させることも行なわれないし、更に、図１に示すカメラ制御部８を制御して、カメラ装置９の位置やズーミング状態が、元の状態に戻るように復帰指令を送出している。即ち、たとえ、カメラ装置９の位置が一旦音源方向に旋回されたとしても、図示はしていないが、カメラ制御部８が旋回制御される前の位置情報やズーミング情報が、例えば、図３に示す第２記憶メモリ３２に保存されていることにより、カメラ装置９の位置やズーミング状態を元の状態に戻す復帰指令の送出が可能とされている。而して、たとえ、参加者の発言以外の物音に反応して、カメラ装置９が旋回してしまった場合であっても、発言者を示すマーカ（目印）の位置、あるいは、カメラ装置９の位置を、元の位置に戻すことができる。
【００５４】
また、第２記憶メモリ３２が、人間検出部３が具備している顔輪郭抽出手段３ｂにより人物の顔の輪郭及び目乃至鼻乃至口の輪郭に関する個々の人物の顔特徴を抽出して記憶する顔特徴記憶手段を更に具備している場合においては、人間検出部３が、該顔特徴記憶手段に記憶された前記顔特徴と顔輪郭抽出手段３ｂにより映像データの中から新たに抽出された顔特徴とを比較する顔特徴比較手段を更に具備し、音源特徴比較部２３によって新たに入力された音源の特徴と第１記憶メモリ２２に記憶された前記特徴データ（音源の特徴）とが一致していることが検出された場合、前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と人間検出部３の顔輪郭抽出手段３ｂによって新たに抽出された顔特徴とを比較して、一致していることが検出された場合には、第２記憶メモリ３２に記憶された人物の画像位置を読み出して、該画像位置の前記人物の画像周辺に発言者を示すマーカをマーキング表示させたり、カメラ装置９を前記人物の位置に旋回させたり、ズーミングして拡大表示させることも可能である。
【００５５】
ここで、前記顔特徴比較手段において、前記顔特徴記憶手段に記憶された前記顔特徴と顔輪郭抽出手段３ｂによって新たに抽出された顔特徴とを比較して、一致していないことが検出された場合、発言者を示す前記マーカのマーキング表示やカメラ装置９の位置やズーミング状態を元の状態のままとすることとする。
【００５６】
更に、図１に示す方向検出部２は、図４のような構成にすることも可能である。ここに、図４は、本発明に係る発言者識別装置を具備したテレビ会議システムを構成する方向検出部の更なる他の構成例を示すブロック構成図である。
即ち、図４に示すように、方向検出制御部２″は、図１に示す方向検出部２以外に、更に、所定の音声レベルを上回る発声音声（音源）を検出する音声レベル検出部２４と、かかる所定の音声レベルを上回る発声音声が予め設定されている所定継続時間以上に亘って継続していることを検出する時間検出手段を提供するタイマ部２５とを備えている。
【００５７】
図４において、入力された発声音声は、音声入力部１において、音声信号に変換されて、方向検出制御部２″に入力され、音声レベル検出部２４において発声音声の音声レベルが測定される。参加者からの発言として、該発声音声が前記所定の音声レベル以上の音声信号であることが検出された場合には、タイマ部２５のタイマが起動されて、経過時間の計数が開始され、予め設定されている前記所定継続時間が経過した場合には、所定の継続時間以上に亘って、入力音声（音源）が継続している状態にあり、タイマ部２５からの出力信号を、方向検出部２に対して送出する。
【００５８】
ここで、予め設定されている前記所定継続時間が経過する前に、参加者からの発言が終了して、音声レベル検出部２４において、前記所定の音声レベル以上の発声音声が検出されなくなると、タイマ部２５はタイマの計数を停止され、タイマ部２５からの出力信号は発生しなくなる。
図１と同様の機能を果たす方向検出部２は、タイマ部２５からの出力信号が入力されている場合にあって、始めて、入力された発声音声（音源）が、本テレビ会議の参加者の発言に基づく音声信号であるか否かを判断する動作が起動されることになる。
【００５９】
例えば、くしゃみのような短い時間の音声情報は発言ではないので、図１に示すカメラ装置９を、短い時間の該音声情報の位置に旋回させたり、あるいは、モニタ画面上に該音声情報の位置を発言者を示すようにマーキング表示させることは無駄である。本発明における実施例に示すように、かかる短い時間の音声情報の場合においては、タイマ部２５からの出力信号は出力されることはなく、而して、方向検出部２としては、発声音声方向（音源方向）の位置を示す位置情報を検出する動作が起動されずに、カメラ装置９の旋回などの制御動作や、あるいは、人間検出部３における人物検出動作も起動されない状態に設定されている。
【００６０】
また、図４においては、かかる短い時間の音声情報の場合に、方向検出部２が起動されないことにより、人間検出部３も起動されない旨を説明しているが、かかる場合に限らず、直接、タイマ部２５から人間検出部３へも出力信号が供給されていて、かかる短い時間の音声情報の場合には、方向検出部２を介することなく、直接、人間検出部３を起動させない状態とすることも可能である。
【００６１】
なお、以上に説明のごとく、図４においては、タイマ部２５を起動させる条件として、予め定められている所定の音声レベル以上のレベルにある発声音声がある場合を条件としているが、かかる所定の音声レベル以上のレベルにある発声音声であるか否かの如何に関わらず、識別可能な何らかの音声が継続して、所定継続時間以上に亘っていることが検出された場合であっても構わない。
【００６２】
また、前述のごとく、図３に示す人間検出部３は、方向検出部２からの発声音声方向（音源方向）の位置が示す映像データ上の位置に存在する人物の有無を検出するだけではなく、テレビ会議に先立って、予め、テレビ会議への参加者全員の画像位置の検出を行ない、図３に示す第２記憶メモリ３２に登録しておくようにすることが可能とされている。而して、例えば、図５に示すように、参加者のうち、発言者と非発言者とのマーカの表示を色分けしたり、あるいは、形状分けしたりして、変化させて、モニタ画面上にマーキング表示を行なわせることも可能である。
【００６３】
ここに、図５は、テレビ会議参加者のうち、発言者用と非発言者用のマーカのマーキング表示を行なう場合のモニタ画面表示の一例を示す概念図である。図５においては、発言者１０５が発言していることを示す発言者マーカ１０３は、非発言者１０６を示す非発言者マーカ１０４とは、例えば、異なる色を用いてマーキング表示している一例を示している。
【００６４】
即ち、テレビ会議参加者のうち、発言者１０５が発言を行なった場合、方向検出部２にて、発言者１０５の音源方向を示す位置情報が検出され、予め記憶メモリ３２に記憶されている画像位置と比較して、該音源方向に人物の存在を確認することによって、発言者１０５を識別し、発言していない非発言者１０６を示す非発言者マーカ１０４とは異なる色の発言者マーカ１０３によって表示している。
【００６５】
而して、たとえ、テレビ会議の参加者全員をモニタ画面に画面表示している状態であっても、モニタ画面の参加者各自毎に即ち人物の画像周辺位置に、参加者全員に対してそれぞれ色違いの発言者マーカ１０３と非発言者マーカ１０４とのマーキング表示を行ない、発言者か否かを容易に識別可能とすることができる。ここに、マーキング表示する前記マーカとしては、発言者と非発言者との識別用のみに限るものではない。例えば、テレビ会議の司会者と一般参加者とオブザーバとを容易に識別可能とするように、色分け及び／又は形状分け及び／又は模様分けすることとしても良く、テレビ会議の実施に有用な如何なる識別情報でも、モニタ画面に重畳表示されるマーカにより提供することが可能である。
【００６６】
また、人間検出部３を構成する人間検出制御部３′は、音声が入力された時だけ、人物検出動作を行なうのではなく、常時、定期的に、人間検出部３にて人物の検出動作を行なうこともできる。而して、ビデオデコーダ１０からの映像データの中の各画像位置で、人物を最初に検出した時刻を、図示していない時計回路から読み出し、検出された該人物の検出時刻を、テレビ会議への参加時刻として、図３に示す第２記憶メモリ３２の検出時刻記憶部に記憶させると共に、スーパインポーズ発生回路４により、該検出時刻記憶部から読み出した前記検出時刻を重ね合わせて画面表示させることにより、モニタ画面には、人物の検出結果として、該人物がテレビ会議に参加した参加時刻を表示することができる。
【００６７】
あるいは、人間検出部３を構成する人間検出制御部３′は、ビデオデコーダ１０からの映像データ即ち入力画像内から検出される人物の画像位置を１人以上記憶することができる１つ以上の第２記憶メモリ３２を具備し、更に、予め設定されている一定周期毎に、定期的に、前記入力画像内のすべての人物の検出を行ない、各人物の検出結果の画像位置をそれぞれ求める際に、前記検出結果の人物の画像位置のそれぞれと、第２記憶メモリ３２に記憶された１人以上の人物の画像位置とを比較する位置検出手段を更に具備しており、該位置検出手段にて、前記検出結果の人物の画像位置のいずれかが、第２記憶メモリ３２に記憶された人物の画像位置のいずれにも一致していない場合には、前記検出結果の画像位置の人物が新たにテレビ会議に参加したものと見なし、人間検出部３により前記検出結果の画像位置の人物が新たに検出された時刻を参加時刻として、図３に示す第２記憶メモリ３２の参加時刻記憶部に記憶させると共に、該参加時刻記憶部に記憶された前記参加時刻を、モニタ画面に表示させることとしても良い。
【００６８】
例えば、図６は、あるテレビ会議の参加状況を示すモニタ画面表示の一例を示す概念図である。図６（Ａ）において、１０９及び１１０は、９：００にテレビ会議に参加した参加者を示すものであり、それぞれの人物が検出された検出時刻即ち参加時刻を、モニタ画面上の映像データに重ね合わせて、該参加者の人物画像位置の画像周辺に、参加時刻表示１０７及び１０８が表示されている。
【００６９】
例えば、図６（Ｂ）は、図６（Ａ）から、しばらく時間が経過したテレビ会議の参加状況を示しており、モニタ画面に参加時刻表示１１１が新たに追加されて表示されているように、参加者１１２が９：３０にテレビ会議に参加したことがわかる。
かかる参加時刻の表示は、図３に示す第２記憶メモリ３２の前記検出時刻記憶部又は前記参加時刻記憶部に記憶させることにより、モニタ画面には、テレビ会議が終了するまで、該人物の参加時刻を引き続き表示させることができる。
【００７０】
また、人間検出制御部３′は、ビデオデコーダ１０からの映像データ即ち入力画像内から検出される人物の画像位置を１人以上記憶することができる１つ以上の第２記憶メモリ３２を具備し、更に、予め設定されている一定周期毎に、定期的に、前記入力画像内のすべての人物の検出を行ない、各人物の検出結果の画像位置をそれぞれ求める際に、前記検出結果の人物の画像位置のそれぞれと、第２記憶メモリ３２に記憶された１人以上の人物の画像位置とを比較する位置検出手段を更に具備しており、該位置検出手段にて、第２記憶メモリ３２に記憶された人物の画像位置のいずれかが、前記検出結果の画像位置のいずれにも一致していない場合には、第２記憶メモリ３２に記憶された一致していない画像位置の人物が退席したものと見なし、人間検出部３により該人物が検出されなくなった時刻を退席時刻として、図３に示す第２記憶メモリ３２の退席時刻記憶部に記憶させると共に、該退席時刻記憶部に記憶された前記退席時刻を、モニタ画面に表示させることができる。
【００７１】
即ち、今まで人物検出がされていた画像位置即ち画像領域において人間検出部３による人物の検出がされなくなった場合、図示していない時計回路より人物が検出されなくなった時刻を読み出し、スーパインポーズ発生回路４により重ね合わせ表示させてモニタ画面に表示させていることになる。
而して、モニタ画面には、人物が検出されなくなった時刻を、該参加者が退席した退席時刻として、該参加者を示していた人物の画像位置の画像周辺に画面表示することができる。
また、かかる人物が検出されなくなった退席時刻は、図３に示す第２記憶メモリ３２の前記退席時刻記憶部に記憶させることにより、モニタ画面には、テレビ会議が終了するまで、該人物の退席時刻を引き続き表示させることができる。
【００７２】
更に、人間検出部３は、発言者の発声音声方向（音源方向）による位置情報とカメラ装置９からの映像情報に基づく映像データとにより、音声を発声した発言者の人物を検出した場合、図示していない時計回路より時刻を読み出し、スーパインポーズ発生回路４より読み出された時刻を重ね合わせて表示することもできる。即ち、方向検出制御部２′が、入力音声の音源を検出した時刻を音源検出時刻として、図３に示す第１記憶メモリ２２の音源検出記憶部に記憶すると共に、モニタ画面には、該音源検出記憶部に記憶されている前記音源検出時刻を、各参加者の人物画像位置の画像周辺に表示させることができる。
而して、参加者各々が発言した発言時刻を、モニタ画面に表示することができる。
【００７３】
また、人間検出部３は、人物の顔の色や顔の輪郭などによる人物検出機能と共に、前述のごとく、人物の唇が動いていることを検出する唇検出手段３ｃを更に付与させることも可能としている。
【００７４】
かかる場合においては、前述のごとく、発声音声が音声入力部１に入力された場合、まず、人間検出部３の人物検出機能により、発声音声方向（音源方向）の位置にいる人物が検出される。その後、唇検出手段３ｃにより、検出された人物の唇が動いているか否かが検出される。唇が動いていることが検出できれば、入力された発声音声方向（音源方向）にいる当該人物の発言による発声音声であると判断し、カメラ装置９の旋回動作やズーム動作、更には、および発言者を示すマーカのマーキング表示を行なう。逆に、唇検出手段３ｃにより、検出された人物の唇が動いていないことが検出された場合は、入力された発声音声は、入力された発声音声方向（音源方向）にいる当該人物の発言による発声音声ではないと判断し、カメラ装置９の旋回動作やズーム動作及び発言者を示すマーカのマーキング表示を行なわない。
【００７５】
更には、図３に示すごとく、方向検出制御部２′が、音源特徴抽出部２１により抽出された音源の特徴を記憶する第１記憶メモリ２２と、新たに入力された音源の特徴と第１記憶メモリ２２に記憶された前記音源の特徴とを比較する音源特徴比較部２３とを具備していて、人間検出制御部３′が、検出された人物の画像位置を記憶する第２記憶メモリ３２を具備している場合において、人間検出制御部３′が、更に、検出された人物の唇が動いていることを検出する唇検出手段３ｃを具備している場合にあっては、音源特徴比較部２３によって新たに入力された音源の特徴と第１記憶メモリ２２に記憶された前記音源の特徴とが一致していることが検出された場合で、かつ、前記音源の特徴の一致が検出された方向にいる人物の唇が動いていることが、唇検出手段３ｃによって検出された場合に、始めて、第２記憶メモリ３２に記憶された人物の前記画像位置を読み出して、該画像位置の前記人物の画像周辺に発言者を示す前記マーカをマーキング表示させたり、カメラ装置９の位置を発言者の方向に向けさせたり、ズーミングさせることも可能である。
【００７６】
かかる場合において、前記音源の特徴が一致している方向にいる人物の唇が動いていることが、唇検出手段３ｃによって検出されない場合にあっては、ごく短時間の発言であったものと見なして、発言者を示す前記マーカをマーキング表示させる位置やカメラ装置９の位置を、元の状態のままとすることも可能である。
【００７７】
【発明の効果】
以上に説明したごとく、本発明に係るテレビ会議システムの発言者識別装置及び該発言者識別装置を備えたテレビ会議システムによれば、例えば、くしゃみや物を落とした音、マイクに物をぶつけた音など参加者の発言以外の音の発生によって、誤って、該発言以外の音の発生方向にカメラ装置が旋回してしまったり、発言者を示すマーカをマーキング表示させたりすることを防止することが可能であり、発言している参加者を常に正確にモニタ画面に表示することが可能となり、而して、快適にテレビ会議を行なうことが可能なテレビ会議システムを提供することができる。
【００７８】
更には、たとえ、テレビ会議の参加者全員をモニタ画面に画面表示した場合であっても、発言者や非発言者を識別可能なマーカを重畳させて画面表示させたり、あるいは、テレビ会議の司会者や一般の参加者あるいはオブザーバなどの識別が視覚的に容易なマーカを重畳させて画面表示させることも可能であり、而して、スムースにテレビ会議を行うことが可能なテレビ会議システムを提供することができる。
【００７９】
更には、テレビ会議の参加者が会議に参加した参加時刻、退席した退席時刻、発言した発言時刻などのテレビ会議の会議経過時刻を表示することが可能なテレビ会議システムを提供することができる。
【図面の簡単な説明】
【図１】本発明に係る発言者識別装置を具備したテレビ会議システムの構成の一例を示すブロック構成図である。
【図２】本発明に係る発言者識別装置を具備したテレビ会議システムにおいて、モニタ画面に画面表示された画像の一例を示す概念図である。
【図３】本発明に係る発言者識別装置を具備したテレビ会議システムを構成する方向検出部と人間検出部との他の構成例を示すブロック構成図である。
【図４】本発明に係る発言者識別装置を具備したテレビ会議システムを構成する方向検出部の更なる他の構成例を示すブロック構成図である。
【図５】テレビ会議参加者のうち、発言者用と非発言者用のマーカのマーキング表示を行なう場合のモニタ画面表示の一例を示す概念図である。
【図６】あるテレビ会議の参加状況を示すモニタ画面表示の一例を示す概念図である。
【符号の説明】
１…音声入力部、２…方向検出部、２′，２″…方向検出制御部、３…人間検出部、３′…人間検出制御部、３ａ…顔抽出手段、３ｂ…顔輪郭抽出手段、３ｃ…唇検出手段、４…スーパインポーズ発生回路、５…画像コーデック、６…ＣＧＲＯＭ、７…音声コーデック、８…カメラ制御部、９…カメラ装置、１０…ビデオデコーダ、１１…多重化回路部、１２…通信回線、１３…記憶メモリ、２１…音源特徴抽出部、２２…第１記憶メモリ、２３…音源特徴比較部、２４…音声レベル検出部、２５…タイマ部、３１…位置演算部、３２…第２記憶メモリ、１００…マーカ、１０１…発言者、１０２…参加者、１０３…発言者マーカ、１０４…非発言者マーカ、１０５…発言者、１０６…非発言者、１０７，１０８…参加時刻表示、１０９，１１０…参加者、１１１…参加時刻表示、１１２…参加者。
【図１】
0004212274.tif 000002
【図２】
0004212274.tif 000003
【図３】
0004212274.tif 000004
【図４】
0004212274.tif 000005
【図５】
0004212274.tif 000006
【図６】
0004212274.tif 000007