(57)【要約】【課題】会議参加者に不快感を与えることなく、会議参加者の顔を認識する。【解決手段】半天球カメラ４は、テレビ会議参加者５を含む被写体を撮像する。テレビ会議システム主制御デバイス２は、撮像された映像の歪曲を補正した後、テレビ会議参加者５の顔を検出する。検出された顔の特徴量を抽出し、抽出された特徴量を基に当該顔の氏名などの個人データを生成する。テレビ会議システム表示デバイス１は、撮像された映像と共に、個人データが付加された顔認識表示情報を、スクリーン６に投射する。【選択図】図１
2014175866.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、前記撮像された映像を投射する投射手段を備えたテレビ会議システムにおいて、前記撮像手段は半天球カメラであり、前記半天球カメラにより撮像された被写体の映像から顔を検知する顔検知手段と、前記検知された顔を認識する顔認識手段を備えることを特徴とするテレビ会議システム。
【請求項２】
前記顔検知手段により検知された顔領域を、前記被写体の映像から切り取り、前記切り取られた顔領域の映像を、投射映像へ合成することを特徴とする請求項１記載のテレビ会議システム。
【請求項３】
前記顔認識手段の認識結果に基づいて、個人同定を表現するコンピューター・グラフィックスを生成し、前記コンピューター・グラフィックスを投射映像へ合成することを特徴とする請求項１記載のテレビ会議システム。
【請求項４】
被写体を撮像する半天球カメラと、前記撮像された映像を投射する投射手段と、前記投射映像から顔を検知する顔検知手段と、前記検知された顔を認識する顔認識手段を備えることを特徴とするテレビ会議システム。
【請求項５】
前記合成する映像として、前記半天球カメラの映像または前記投射映像の何れかを選択する手段を備えることを特徴とする請求項１または４記載のテレビ会議システム。
【請求項６】
前記投射映像として、前記半天球カメラの映像を選択する手段を備えることを特徴とする請求項１または４記載のテレビ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議参加者の顔を認識するテレビ会議システムに関する。
【背景技術】
【０００２】
従来、テレビ会議システムにおいて、顔認識技術により付帯データを認識箇所に表示させ、遠隔地の複数の会議参加者に対して発言者が誰であるかを通知する技術がある。
【０００３】
例えば、特許文献１では、テレビ会議に出席している参加者に対応して適切なカメラパラメータのプリセットを自動的に決定できるテレビ会議システムにおいて、カメラはテレビ会議の空間をズームアウトまたは回動撮影し、参加者の顔部に基づいて参加者を検出し、参加者が検出されると、その参加者に対応するカメラパラメータのプリセットを計算して、参加者の中心がカメラの視野の中心になるようにする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した技術では、顔の認識率を向上させるために（顔認識技術を基盤としたサービスを提供するために）、カメラをパンさせ、映像フレームを発言者に合わせていたが、カメラのパン動作により会議参加者に不快感を与えるという問題があった。
【０００５】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、会議参加者に不快感を与えることなく、会議参加者の顔を認識するテレビ会議システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、被写体を撮像する撮像手段と、前記撮像された映像を投射する投射手段を備えたテレビ会議システムにおいて、前記撮像手段は半天球カメラであり、前記半天球カメラにより撮像された被写体の映像から顔を検知する顔検知手段と、前記検知された顔を認識する顔認識手段を備えることを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明によれば、会議参加者に不快感を与えることなく、会議参加者の顔を認識することができ、また、それを基盤としたサービスを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例のテレビ会議システムの構成を示す。
【図２】本発明の半天球カメラを利用したテレビ会議システム主制御デバイスの処理フローチャートを示す。
【図３】図２の処理フローチャート内で展開される画像データと処理イメージを示す。
【図４】テレビ会議システム主制御デバイス内の画像処理・認識部の構成例を示す。
【図５】図２のステップＳ２における基本補正処理のデータフローを示す。
【図６】ステップＳ３における歪曲補正・合成処理のデータフローを示す。
【図７】ステップＳ５における顔検知処理のデータフローを示す。
【図８】ステップＳ７における検知領域編集拡大処理のデータフローを示す。
【図９】ステップＳ８における顔特徴量抽出処理のデータフローを示す。
【図１０】ステップ９における顔特徴量同定処理、ステップＳ１０における付帯情報生成処理、ステップＳ１１における顔認識表示情報生成処理のデータフローを示す。
【図１１】ステップＳ１２における顔認識表示情報合成処理のデータフローを示す。
【図１２】ステップＳ１３における表示デバイス出力のデータフローを示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１０】
図１は、本発明の実施例のテレビ会議システムの構成を示す。図１において、１は、テレビ会議システム表示デバイス（例えば、プロジェクター）、２は、テレビ会議システム主制御デバイス（例えば、ユニファイド・コミュニケーション・システム・デバイス）、３は、会議室上の机、４は、テレビ会議参加者を含む被写体を撮像する半天球カメラ、５（Ａ〜Ｆ）は、テレビ会議参加者、６は、スクリーンである。本発明のテレビ会議システムでは、半天球カメラ４で撮像されたテレビ会議参加者５を含む被写体の映像が選択されているとき、テレビ会議システム表示デバイス（プロジェクター）１によりスクリーン６に投射される。
【００１１】
図２は、本発明の半天球カメラを利用したテレビ会議システム主制御デバイスの処理フローチャートを示す。なお、図２の処理は、ハードウエア処理、ソフトウエア処理、クラウド処理、およびそれら処理の組み合わせにより実現される。
【００１２】
ステップＳ１において、フレーム先頭待機は、表示デバイス１に出力すべき有効画像データフレームの送信開始を待機する。
【００１３】
ステップＳ２において、基本補正処理は、有効画像データフレームに対し、センサーの特性を補正する処理（黒レベル補正、シェーディング補正、ベイヤー変換等）を実施する。
【００１４】
ステップＳ３において、歪曲補正・合成処理は、ステップＳ１処理後の画像データに対し、半天球カメラ４のレンズ特性に応じた歪画像補正（平面化）を行う。半天球カメラ・レンズが２つ以上ある場合は、２レンズの歪画像補正及び繋ぎ目補正・合成処理を行う。
【００１５】
ステップＳ４において、処理フレーム判定は、一定フレーム毎に、顔認識処理を行う場合に、顔認識処理を行うフレームであるか否かを判定する。また、判定がＹＥＳの場合はステップＳ５〜Ｓ１１の処理、及び、ステップＳ１２〜Ｓ１３の処理は並列に実行され、判定がＮＯの場合は、ステップＳ１２〜Ｓ１３の処理が単独で実行される。
【００１６】
ステップＳ５において、顔検知処理は、ステップＳ３の処理後の画像データに対し、予め容易された検知用パターンとの照合により顔を検知し、ステップＳ３の処理後の画像中の顔検知位置座標・矩形サイズ情報を生成する。
【００１７】
ステップＳ６において、顔検知判定は、ステップＳ５の処理にて顔を検知したか（顔検知位置座標・矩形サイズ情報を生成したか）否かの判定を行う。
【００１８】
ステップＳ７において、検知領域編集拡大処理は、ステップＳ５により生成した顔検知位置座標・矩形サイズ情報に基づき、ステップＳ４の処理後の画像データから検知位置の画像の切り取り・拡大処理を実施する。
【００１９】
ステップＳ８において、顔特徴量抽出処理は、ステップＳ７の処理後の画像データに対して顔を同定するために必要な特徴量抽出を行い、特徴量データの生成を行う。
【００２０】
ステップＳ９において、顔特徴量同定処理は、ステップＳ８により生成された特徴量データと、予め用意された各個人の顔の特徴量データを照合し、個人の特定を行う。
【００２１】
ステップＳ１０において、付帯情報生成処理は、氏名等、ステップＳ９により特定した個人に付帯するデータを検索・生成する。
【００２２】
ステップＳ１１において、顔認識表示情報生成処理は、ステップＳ１０により生成された氏名等の個人付帯データを、表示デバイス上に表現するための画像データ（個人付帯表現画像データ（コンピューター・グラフィックス））を生成する。
【００２３】
ステップＳ１２において、顔認識表示情報合成処理は、ステップＳ３〜Ｓ７の何れかの処理時点の画像データと、ステップＳ１１により生成した個人付帯表現画像データを合成する。
【００２４】
ステップＳ１３において、表示デバイス出力は、ステップＳ１２の処理後の画像データを、後段の処理ブロックへ送信する。
【００２５】
図３は、図２の処理フローチャート内で展開される画像データと処理イメージを示す。図３（ａ）は、図１において、半天球カメラ４に魚眼レンズが２つ搭載されている場合に、半天球カメラ４からテレビ会議システム主制御デバイス２に対し転送され、ステップＳ２において基本補正処理が施された後の画像データ例である。実際には、テレビ会議システム表示デバイス１や、テレビ会議システム主制御デバイス２の画像も記録されているが、以降の説明の便宜上、これらの表示は省略している。
【００２６】
図３（ｂ）は、図３（ａ）の画像データに対し、ステップＳ３において歪曲補正・合成処理を施した後の画像データである。図３（ｃ）は、図３（ｂ）の画像データに対する、ステップＳ５における顔検知処理イメージである。矩形の枠で囲んだ部分が検知領域を表し、ステップＳ５における顔検知処理時点にて検知領域の顔検知位置座標・矩形サイズ情報が生成される。
【００２７】
図３（ｄ）は、ステップＳ７における検知領域編集拡大処理後の画像データである。図３（ｅ）は、ステップＳ１２における顔認識表示情報合成処理後の画像データである。
【００２８】
図４は、テレビ会議システム主制御デバイス内の画像処理・認識部の構成例を示す。図４において、１００は、画像処理・認識処理を実行するＬＳＩである。１０１は、半天球カメラ４から受信する画像データに対し、ステップＳ１におけるフレーム先頭待機、ステップＳ２における基本補正処理を実施し、補正後のデータをメモリ２００へ転送する処理ブロック（ＩＣＴＬ）である。ＩＣＴＬ１０１のＳＩＦは、半天球カメラ映像の受信Ｉ／Ｆであり、ＩＣＴＬ１０１のＩＳＰは、ステップＳ２における基本補正処理部であり、ＩＣＴＬ１０１のＷＤＭＡは、ＩＳＰにて補正後の画像データをメモリ（ＭＥＭ）２００へＤＭＡ（ダイレクト・メモリ・アクセス）転送する。図５は、ステップＳ２における基本補正処理のデータフローを示す。
【００２９】
１０２は、メモリ２００に蓄積された画像データに対してステップＳ３における歪曲補正・合成処理を実施するブロック（ＡＦＮ）である。ＡＦＮ１０２のＰ−ＳＲＡＭは、歪曲補正用パラメータを保持するメモリであり、ＡＦＮ１０２のＩ−ＳＲＡＭは、歪曲補正・合成処理対象の画像データを一時保持するメモリであり、ＡＦＮ１０２のＡＦＮ＿ＣＯＲＥは、Ｐ−ＳＲＡＭに格納されている歪曲補正・合成処理用パラメータを参照し、Ｉ−ＳＲＡＭに格納されている画像データに対して歪曲補正・合成処理を実施する。ＡＦＮ１０２のＲＤＭＡは、メモリ２００から歪曲補正・合成処理用パラメータをＰ−ＳＲＡＭへＤＭＡ転送する機能、及び、歪曲補正・合成処理対象データをメモリ２００からＩ−ＳＲＡＭへＤＭＡ転送する機能を担う。ＡＦＮ１０２のＷＤＭＡは、ＡＦＮ＿ＣＯＲＥの処理データをメモリ２００へＤＭＡ転送する。図６は、ステップＳ３における歪曲補正・合成処理のデータフローを示す。
【００３０】
１０３は、ステップＳ５における顔検知処理を実施する処理ブロック（ＦＤ）である。ＦＤ１０３のＰ−ＳＲＡＭは、顔探索用パターンが格納されたメモリであり、ＦＤ１０３のＩ−ＳＲＡＭは、顔検知対象画像を一時保存するメモリである。ＦＤ１０３のＣ−ＳＲＡＭは、顔を検知した結果により生成される、検知位置座標・矩形サイズ情報を格納するメモリであり、ＦＤ１０３のＲＤ＿ＣＯＲＥは、Ｐ−ＳＲＡＭに格納された顔探索用パターンを参照し、Ｉ−ＳＲＡＭを介してメモリ２００に格納された画像データに対し顔検知処理を施し、顔を検知した場合、検知位置座標・矩形サイズ情報をＣ−ＳＲＡＭへ格納する。ＦＤ１０３のＲＤＭＡは、顔検知対象データをメモリ２００からＩ−ＳＲＡＭへＤＭＡ転送する。ＦＤ１０３のＷＤＭＡは、Ｃ−ＳＲＡＭに格納された検知位置座標・矩形サイズ情報をメモリ２００へＤＭＡ転送する。図７は、ステップＳ５における顔検知処理のデータフローを示す。
【００３１】
１０４は、ステップＳ７における検知領域編集拡大処理を実施するブロック（ＰＦＣＥ）である。ＰＦＣＥ１０４のＩ−ＳＲＡＭは、検知領域編集拡大処理対象の画像データを一時保持するメモリである。ＰＦＣＥ１０４のＲＤ＿ＣＯＲＥは、メモリ２００上に格納された検知位置座標・矩形サイズ情報を元に、Ｉ−ＳＲＡＭに対し拡大・編集処理を実施する。ＰＦＣＥ１０４のＲＤＭＡは、メモリ２００に格納された検知位置座標・矩形サイズ情報を取得する機能、及び、メモリ２００に格納された拡大・編集処理の対象データをＩ−ＳＲＡＭにＤＭＡ転送する機能を担う。ＰＦＣＥ１０４のＷＤＭＡは、ＲＤ＿ＣＯＲＥにて処理されたデータをメモリ２００へＤＭＡ転送する。図８は、ステップＳ７における検知領域編集拡大処理のデータフローを示す。
【００３２】
１０５は、ステップＳ８における顔特徴量抽出処理を実施するブロック（ＦＣＥ）である。ＦＣＥ１０５のＣ−ＳＲＡＭは、顔特徴量データを格納するメモリである。ＦＣＥ１０５のＦＣＥ＿ＣＯＲＥは、メモリ２００に格納された画像データに対して顔特徴量抽出処理を行い、Ｃ−ＳＲＡＭへ抽出した顔特徴量データ格納する。ＦＣＥ１０５のＲＤＭＡは、顔特徴量抽出対象データをメモリ２００からＦＣＥ＿ＣＯＲＥへＤＭＡ転送する。ＦＣＥ１０５のＷＤＭＡは、Ｃ−ＳＲＡＭに格納された顔特徴量データをメモリ２００へＤＭＡ転送する。図９は、ステップＳ８における顔特徴量抽出処理のデータフローを示す。
【００３３】
１０６は、ＩＣＴＬ１０１〜ＯＣＴＬ１０７の各ＤＭＡマスタのメモリ２００に対するアクセス要求の調停・管理、及び、ＣＰＵ１０９によるＩＣＴＬ１０１〜ＯＣＴＬ１０７に対するレジスタアクセスの調停・管理を行うブロック（ＢＭＴＸ）である。
【００３４】
１０７は、ステップＳ１３において表示デバイス出力を行うブロック（ＯＣＴＬ）である。ＯＣＴＬ１０７のＲＤＭＡは、メモリ２００に格納された画像データを、ＯＩＦを介してＬＳＩ１００外部の表示デバイスへＤＭＡ転送する。ＯＣＴＬ１０７のＯＩＦは、表示デバイス出力Ｉ／Ｆである。
【００３５】
１０８は、テレビ会議システム種制御デバイス２から受信する画像データに対し、ステップＳ１におけるフレーム先頭待機、ステップＳ２における基本補正処理を実施し、補正後のデータをメモリ２００へ転送する処理ブロック（ＭＩＣＴＬ）である。
【００３６】
１０９は、ＩＣＴＬ１０１〜ＯＣＴＬ１０７に対するレジスタアクセス、Ｃｌｏｕｄ端末１１０とのやりとり、ステップＳ１１における顔認識表示情報生成処理、ステップＳ１２における顔認識表示情報合成処理等、種々の制御を行うＣＰＵである。２００は、画像データ等を格納するメインメモリである。１１０は、ステップＳ９における顔特徴量同定処理、ステップＳ１０における付帯情報生成処理を行うクラウド処理端末である。図１０は、ステップ９における顔特徴量同定処理、ステップＳ１０における付帯情報生成処理、ステップＳ１１における顔認識表示情報生成処理のデータフローを示す。図１１は、ステップＳ１２における顔認識表示情報合成処理のデータフローを示し、図１２は、ステップＳ１３における表示デバイス出力のデータフローを示す。
【００３７】
本発明は上記した実施例に限定されず、例えば、スクリーンに投射された投射映像から顔を検知し、検知された顔を認識するようにしてもよい。また、合成する映像として、半天球カメラの映像または投射映像の何れかを選択するようにしてもよい。
【００３８】
以上説明したように、本発明では、顔認識に用いるカメラとして、半天球以上の視野角を持つカメラ（半天球カメラ）を使用し、カメラのパン動作をなくしている。これにより、会議参加者に不快感を与えることなく、会議参加者の顔認識と、それを基盤としたサービスを提供することができる。
【符号の説明】
【００３９】
１  テレビ会議システム表示デバイス
２  テレビ会議システム主制御デバイス
３  会議室上の机
４  半天球カメラ
５  テレビ会議参加者
６  スクリーン
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特表２００２−５３４００９号公報
【図２】
2014175866.tif 000003
【図４】
2014175866.tif 000004
【図５】
2014175866.tif 000005
【図６】
2014175866.tif 000006
【図７】
2014175866.tif 000007
【図８】
2014175866.tif 000008
【図９】
2014175866.tif 000009
【図１０】
2014175866.tif 000010
【図１１】
2014175866.tif 000011
【図１２】
2014175866.tif 000012
【図１】
2014175866.tif 000013
【図３】
2014175866.tif 000014