(57)【要約】【課題】利用者が注目した方向にいる人の反応を測定する。【解決手段】反応測定システム１は、可視カメラ４で撮影された画像から利用者が注目した注目方向を取得し、取得した注目方向に位置する観衆３の利用者に対する反応を、赤外線カメラ６を用いて測定する。【選択図】図１
2019121105.tif 000002
【特許請求の範囲】
【請求項１】
利用者が注目した注目方向を取得する取得手段と、
前記取得手段で取得した注目方向に位置する測定対象者の前記利用者に対する反応を測定する測定装置を制御する制御手段と、
を備えた制御装置。
【請求項２】
前記利用者は観衆に向かって発言する発表者であり、
前記取得手段は、前記発表者が話しかけた方向を前記利用者の注目方向として取得し、
前記制御手段は、前記取得手段で取得した前記発表者が話しかけた方向に位置する観衆の前記発表者の発言に対する反応を測定するように前記測定装置を制御する
請求項１記載の制御装置。
【請求項３】
前記取得手段は、前記利用者が相対している方向を前記利用者の注目方向として取得する
請求項２記載の制御装置。
【請求項４】
前記制御手段は、前記利用者が相対する方向の変化にあわせて、前記測定装置で反応が測定される前記測定対象者が変わるように前記測定装置を制御する
請求項３記載の制御装置。
【請求項５】
前記取得手段は、予め定めた期間における前記利用者が相対している方向に関する統計量から前記利用者の注目方向を取得し、
前記制御手段は、前記利用者の注目方向に位置する前記測定対象者の前記利用者に対する反応を測定するように前記測定装置を制御する
請求項３記載の制御装置。
【請求項６】
前記取得手段は、前記予め定めた期間において前記利用者が相対した累積時間が最も長い方向を前記利用者の注目方向として取得する
請求項５記載の制御装置。
【請求項７】
前記取得手段は、前記予め定めた期間において前記利用者が相対した累積回数が最も多い方向を前記利用者の注目方向として取得する
請求項５記載の制御装置。
【請求項８】
前記取得手段は、前記予め定めた期間において、前記利用者が相対した方向の平均を前記利用者の注目方向として取得する
請求項５記載の制御装置。
【請求項９】
前記取得手段は、前記利用者の顔又は体が向いている方向を、前記利用者が相対している方向として取得する
請求項３〜請求項８の何れか１項に記載の制御装置。
【請求項１０】
前記取得手段は、マイクで収集した前記利用者が発した音声の伝播方向を前記利用者が話しかけた方向として取得する
請求項２記載の制御装置。
【請求項１１】
前記マイクが複数備えられ、
前記取得手段は、各々の前記マイクで収集された音声のそれぞれの強度分布から、前記利用者が発した音声の伝播方向を取得する
請求項１０記載の制御装置。
【請求項１２】
前記制御手段は、前記利用者の発言に対する前記測定対象者の反応を示す反応情報が、前記利用者から見える位置に設置された表示装置に表示されるように前記表示装置を制御する
請求項２〜請求項１１の何れか１項に記載の制御装置。
【請求項１３】
前記反応情報が、前記利用者の発言に対する前記測定対象者の関心度合いを表す情報である
請求項１２記載の制御装置。
【請求項１４】
前記制御手段は、前記利用者の発言に対する前記測定対象者の関心度合いが、前記測定対象者の位置と対応付けられて表示されるように前記表示装置を制御する
請求項１３記載の制御装置。
【請求項１５】
コンピュータを、請求項１〜請求項１４の何れか１項に記載の制御装置の各手段として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、及び制御プログラムに関する。
【背景技術】
【０００２】
特許文献１には、所定の空間の天井部に設けられ前記空間を撮影する撮像部と、所定位置の温度を検出する温度センサと、前記温度センサを所定の方向に向ける駆動機構と、前記撮像部で取得される画像データ、前記温度センサで検出される検出温度が入力されると共に、前記駆動機構を制御する主制御部と、前記主制御部の制御に基づいて所定の通信を行う通信部とから、なることを特徴とする転倒検知システムが開示されている。
【０００３】
特許文献２には、生体の身辺に生じる事象もしくは生体自身に生じる事象の状態量を検出対象とする第２のセンサと、前記事象の異常状態を誘発する原因事象の状態量を検出する第１のセンサと、前記第１のセンサが検出する事象の状態量が前記異常状態の発生とみなすための所定の条件を満たしたことをトリガとして、前記第２のセンサによる当該センサが検出対象とする事象の状態量の検出を開始させる検出開始手段とを備えることを特徴とするセンシングシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５２０７０４０号公報
【特許文献２】特許第４５７５１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来から、画像を撮影するカメラ及び動きを検出するセンサ等の測定装置を用いて、例えば感情といった人の内面状態の測定を行う手法の開発が進められている。
【０００６】
しかしながら、従来の測定手法は、例えば部屋又は会場といった予め定めた範囲内に存在する全体の人々に対する内面状態の測定を行うため、測定装置の台数及び向きが予め調整されている。したがって、従来の測定手法では、部屋又は会場内の特定の方向にいる人だけの内面状態を測定したり、内面状態の測定対象者を選択するため測定装置の向きを内面状態の測定中に調整したりすることが困難である。
【０００７】
本発明は、利用者が注目した方向にいる人の反応を測定することができる制御装置、及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の制御装置の発明は、利用者が注目した注目方向を取得する取得手段と、前記取得手段で取得した注目方向に位置する測定対象者の前記利用者に対する反応を測定する測定装置を制御する制御手段と、を備える。
【０００９】
請求項２記載の発明は、前記利用者は観衆に向かって発言する発表者であり、前記取得手段は、前記発表者が話しかけた方向を前記利用者の注目方向として取得し、前記制御手段は、前記取得手段で取得した前記発表者が話しかけた方向に位置する観衆の前記発表者の発言に対する反応を測定するように前記測定装置を制御する。
【００１０】
請求項３記載の発明は、前記取得手段は、前記利用者が相対している方向を前記利用者の注目方向として取得する。
【００１１】
請求項４記載の発明は、前記制御手段は、前記利用者が相対する方向の変化にあわせて、前記測定装置で反応が測定される前記測定対象者が変わるように前記測定装置を制御する。
【００１２】
請求項５記載の発明は、前記取得手段は、予め定めた期間における前記利用者が相対している方向に関する統計量から前記利用者の注目方向を取得し、前記制御手段は、前記利用者の注目方向に位置する前記測定対象者の前記利用者に対する反応を測定するように前記測定装置を制御する。
【００１３】
請求項６記載の発明は、前記取得手段は、前記予め定めた期間において前記利用者が相対した累積時間が最も長い方向を前記利用者の注目方向として取得する。
【００１４】
請求項７記載の発明は、前記取得手段は、前記予め定めた期間において前記利用者が相対した累積回数が最も多い方向を前記利用者の注目方向として取得する。
【００１５】
請求項８記載の発明は、前記取得手段は、前記予め定めた期間において、前記利用者が相対した方向の平均を前記利用者の注目方向として取得する。
【００１６】
請求項９記載の発明は、前記取得手段は、前記利用者の顔又は体が向いている方向を、前記利用者が相対している方向として取得する。
【００１７】
請求項１０記載の発明は、前記取得手段は、マイクで収集した前記利用者が発した音声の伝播方向を前記利用者が話しかけた方向として取得する。
【００１８】
請求項１１記載の発明は、前記マイクが複数備えられ、前記取得手段は、各々の前記マイクで収集された音声のそれぞれの強度分布から、前記利用者が発した音声の伝播方向を取得する。
【００１９】
請求項１２記載の発明は、前記制御手段は、前記利用者の発言に対する前記測定対象者の反応を示す反応情報が、前記利用者から見える位置に設置された表示装置に表示されるように前記表示装置を制御する。
【００２０】
請求項１３記載の発明は、前記反応情報が、前記利用者の発言に対する前記測定対象者の関心度合いを表す情報である。
【００２１】
請求項１４記載の発明は、前記制御手段は、前記利用者の発言に対する前記測定対象者の関心度合いが、前記測定対象者の位置と対応付けられて表示されるように前記表示装置を制御する。
【００２２】
請求項１５記載の制御プログラムの発明は、コンピュータを、請求項１〜請求項１４の何れか１項に記載の制御装置の各手段として機能させる。
【発明の効果】
【００２３】
請求項１、１５記載の発明によれば、利用者が注目した方向にいる人の反応を測定することができる、という効果を有する。
【００２４】
請求項２記載の発明によれば、観衆全体の中から、利用者が話しかけた方向にいる観衆だけの反応を測定することができる、という効果を有する。
【００２５】
請求項３記載の発明によれば、利用者を撮影した画像から利用者の注目方向を取得することができる、という効果を有する。
【００２６】
請求項４記載の発明によれば、各々の時点における利用者の向きにあわせて測定対象者を選択することができる、という効果を有する。
【００２７】
請求項５記載の発明によれば、利用者が意図せず注目方向と異なる方向を向いた場合であっても、各々の時点における利用者の向きにあわせて測定対象者を選択する場合と比較して、測定対象者の選択範囲が変化することを抑制することができる、という効果を有する。
【００２８】
請求項６記載の発明によれば、利用者が相対した方向毎の累積時間から利用者の注目方向を取得することができる、という効果を有する。
【００２９】
請求項７記載の発明によれば、利用者が相対した方向毎の累積回数から利用者の注目方向を取得することができる、という効果を有する。
【００３０】
請求項８記載の発明によれば、複数の方向で利用者が相対した累積回数又は累積時間が同じになった場合であっても、利用者の注目方向を取得することができる、という効果を有する。
【００３１】
請求項９記載の発明によれば、利用者の顔と体の向きが異なっている場合であっても、利用者が相対している方向を取得することができる、という効果を有する。
【００３２】
請求項１０記載の発明によれば、収集した音声から利用者が話しかけた方向を取得することができる、という効果を有する。
【００３３】
請求項１１記載の発明によれば、１つのマイクを用いて利用者が話しかけた方向を取得する場合と比較して、利用者が話しかけた方向を精度よく取得することができる、という効果を有する。
【００３４】
請求項１２記載の発明によれば、利用者は、測定対象者の反応情報を確認しながら注目方向を選択することができる、という効果を有する。
【００３５】
請求項１３記載の発明によれば、利用者は、測定対象者が関心を持つ発言を把握しながら話をすることができる、という効果を有する。
【００３６】
請求項１４記載の発明によれば、利用者は、どこにどのような発言に関心を持つ測定対象者がいるかを把握しながら話をすることができる、という効果を有する。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態に係る反応測定システムの構成例を示す図である。
【図２】第１実施形態に係る制御装置に係る電気系統の要部構成例を示す図である。
【図３】第１実施形態に係る制御処理の流れの一例を示すフローチャートである。
【図４】第１実施形態に係る制御処理の流れの変形例を示すフローチャートである。
【図５】第２実施形態に係る反応測定システムの構成例を示す図である。
【図６】第２実施形態に係る制御装置に係る電気系統の要部構成例を示す図である。
【図７】第２実施形態に係る制御処理の流れの一例を示すフローチャートである。
【図８】第２実施形態に係る制御処理の流れの変形例を示すフローチャートである。
【発明を実施するための形態】
【００３８】
以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には全図面を通して同じ符合を付与し、重複する説明を省略する。
【００３９】
＜第１実施形態＞
図１は、本実施の形態に係る反応測定システム１の一例を示す構成図である。反応測定システム１は、反応測定システム１を利用する利用者が注目した注目方向に位置する人（以降、「測定対象者」という）の感情といった内面状態、すなわち、反応を測定するシステムである。
【００４０】
例えば、図１に示すように、発表者２が観衆３に向かってプレゼンテーションを行う場合、発表者２は反応測定システム１を利用することで、発表者２が注目した注目方向に位置する観衆３の反応が得られる。すなわち、発表者２は、反応測定システム１を利用する利用者の一例であり、観衆３は、反応の測定対象である測定対象者の一例である。
【００４１】
反応測定システム１は、例えば可視カメラ４、制御装置５、赤外線カメラ６、及び表示装置７を含む。
【００４２】
可視カメラ４は、人の目に見える光によって表される物体の画像を撮影するカメラであり、発表者２を撮影する位置に取り付けられている。この場合、可視カメラ４で撮影された画像に観衆３も含まれてよいが、少なくとも発表者２が含まれるものとする。可視カメラ４の設置方法に制約はなく、発表者２を含む画像が得られるのであれば、取り付け金具等で予め定めた位置に固定されていても、発表者２を撮影する撮影者が手に持って撮影してもよい。可視カメラ４で撮影された画像は制御装置５に送信される。
【００４３】
なお、複数の可視カメラ４で発表者２を撮影してもよいが、可視カメラ４の台数が増加するに従い反応測定システム１のコストが増加するため、１台の可視カメラ４で発表者２を撮影することが好ましい。
【００４４】
制御装置５は、可視カメラ４で撮影された画像を受信し、受信した画像から発表者２が注目している注目方向を取得する。そして、制御装置５は、取得した発表者２の注目方向に位置する観衆３の反応を測定するため、赤外線カメラ６の撮影方向が発表者２の注目方向に近づくように赤外線カメラ６の撮影方向を制御する。
【００４５】
赤外線カメラ６は、制御装置５の制御に従って撮影方向が変えられるように、例えば壁、天井、床、又は台等の予め定めた場所に取り付けられており、制御装置５によって指示された方向に位置する観衆３の赤外線画像を撮影する。
【００４６】
赤外線画像からは、顔といった衣服等で覆われていない観衆３の部位の温度が得られる。したがって、非特許文献１に示すような、人の内面状態を顔の温度から測定する公知の手法を用いることで、制御装置５は、赤外線カメラ６で撮影された赤外線画像から、発表者２が注目した注目方向に位置する観衆３の反応を得る。
【００４７】
［非特許文献１］：Zhilei Liu, Shangfei Wang. "Emotion Recognition Using Hidden Markov Models from Facial Temperature Sequence" Affective Computing and Intelligent Interaction(ACII), Lecture Notes in Computer Science(LNCS), vol6975, pp.240-247, 2011
【００４８】
なお、反応測定システム１では、観衆３の反応を測定する測定装置の一例として赤外線カメラ６を用いているが、観衆３の反応を測定する装置であれば、赤外線カメラ６に代わってどのような装置を用いてもよい。
【００４９】
人の内面状態は、例えば顔の表情、仕草、及び姿勢にも表れることが知られている。したがって、赤外線カメラ６の代わりに、観衆３の顔の表情を撮影する可視カメラや、キネクト（登録商標）のように赤外線を用いて人の動きを検知する三次元センサを用いて、観衆３の反応を測定するようにしてもよい。又は、赤外線カメラ６と、可視カメラ及び三次元センサの少なくとも１つを組み合わせて、観衆３の反応を測定するようにしてもよい。
【００５０】
なお、複数の赤外線カメラ６で観衆３を撮影してもよいが、赤外線カメラ６の台数が増加するに従い反応測定システム１のコストが増加するため、１台の赤外線カメラ６で観衆３を撮影することが好ましい。
【００５１】
表示装置７は制御装置５と接続され、制御装置５で測定された観衆３の反応を示す反応情報を表示する。表示装置７を発表者２の視界の範囲内に設置することで、プレゼンテーションを行う発表者２に、発表者２が注目した方向に位置する観衆３の反応が表示されることになる。
【００５２】
上述した反応測定システム１の制御装置５は、例えばコンピュータを用いて構成される。図２は、コンピュータ１０を用いて構成された制御装置５における電気系統の要部構成例を示す図である。
【００５３】
コンピュータ１０は、本実施の形態に係る取得手段及び制御手段として機能するＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、不揮発性メモリ１４、及び入出力インターフェース（Ｉ／Ｏ）１５を備える。そして、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４、及びＩ／Ｏ１５がバス１６を介して各々接続されている。なお、コンピュータ１０で用いられるオペレーションシステムに制限はない。
【００５４】
不揮発性メモリ１４は、不揮発性メモリ１４に供給される電力を遮断しても記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクであってもよい。
【００５５】
Ｉ／Ｏ１５には、例えば可視カメラ４、赤外線カメラ６、表示装置７、及び通信装置８が接続される。
【００５６】
通信装置８は、例えばインターネット等の通信回線と制御装置５を接続する通信プロトコルを備え、通信回線に接続される他の外部装置と制御装置５との間でデータ通信を行う。
【００５７】
なお、Ｉ／Ｏ１５には図２に示した装置の他、例えばユーザの指示を受け付けてＣＰＵ１１に通知する入力ユニットといった他の装置が接続されてもよい。入力ユニットには、例えばボタン、タッチパネル、キーボード、及びマウス等が含まれる。また、必ずしもＩ／Ｏ１５に可視カメラ４、赤外線カメラ６、表示装置７、及び通信装置８が接続される必要もなく、例えば表示装置７及び通信装置８は必要に応じて接続すればよい。
【００５８】
次に、図３を用いて、反応測定システム１における制御装置５の動作について説明する。
【００５９】
図３は、制御装置５が起動した後、又は図示しない入力ユニットを介してユーザから動作開始の指示を受け付けた場合に、ＣＰＵ１１によって実行される制御処理の流れの一例を示すフローチャートである。
【００６０】
制御処理を規定する制御プログラムは、例えば制御装置５のＲＯＭ１２に予め記憶されている。制御装置５のＣＰＵ１１は、ＲＯＭ１２に記憶される制御プログラムを読み込み、制御処理を実行する。
【００６１】
まず、ステップＳ１０において、ＣＰＵ１１は、発表者２を撮影した画像を可視カメラ４から受信したか否かを判定する。画像を受信していない場合にはステップＳ１０の処理を繰り返し実行して、画像の受信状況を監視する。一方、可視カメラ４から画像を受信した場合にはステップＳ２０に移行する。
【００６２】
ステップＳ２０において、ＣＰＵ１１は、ステップＳ１０で受信した画像から発表者２が相対している方向の方向角を取得し、取得した方向角をＲＡＭ１３に記憶する。具体的には、ＣＰＵ１１は、例えば顔のパターン認識、又は顔の特徴ベクトルを用いた公知の画像認識手法を用いて、画像から発表者２の顔を抽出し、抽出した顔の向きと予め定めた方向（基準方向）とが成す角度（方向角）を、発表者２が相対している方向として取得し、ＲＡＭ１３に記憶する。
【００６３】
発表者２が特定の位置にいる観衆３に話しかける場合、発表者２は当該観衆３の方に顔を向け発言する傾向が見られることから、抽出した顔の向きは、発表者２が相対している方向として捉えられる。
【００６４】
なお、発表者２が相対している方向は必ずしも発表者２の顔の向きで決定する必要はなく、例えば発表者２の体の向き、発表者の首の向き、又は発表者２の視線の方向で決定してもよい。ここでは一例として、発表者２の顔の向きを発表者２が相対している方向として説明を行う。
【００６５】
ステップＳ３０において、ＣＰＵ１１は、例えばステップＳ３０の実行開始時刻から予め定めた期間（以降、「判定期間」という）だけ過去に遡った間に取得した、発表者２が相対しているそれぞれの方向に対して統計処理を行い、得られた統計量から発表者２の注目方向を取得する。
【００６６】
判定期間とは、当該期間に可視カメラ４から得られる画像によって取得された発表者２の注目方向の統計量が、発表者２の実際の注目方向に近づくように、反応測定システム１の実機による実験や反応測定システム１の設計仕様に基づくコンピュータシミュレーション等により予め設定された期間である。設定された判定期間の長さは、例えば不揮発性メモリ１４に記憶されており、ＣＰＵ１１は不揮発性メモリ１４を参照することで判定期間を取得する。
【００６７】
ここでは一例として、判定期間の開始時刻をステップＳ３０の実行開始時刻としたが、例えばステップＳ１０で可視カメラ４から画像を受信した時刻であってもよい。
【００６８】
判定期間に取得された、発表者２が相対しているそれぞれの方向に対する統計量としては、例えば発表者２が相対する方向の平均が用いられる。具体的には、発表者２が相対する方向における方向角の平均値を発表者２の注目方向とする。
【００６９】
なお、発表者２の注目方向は発表者２が相対する方向の方向角の平均値だけでなく、他の統計量を用いて取得してもよい。例えば、ＣＰＵ１１は、発表者２が相対している時間を方向毎に取得し、判定期間において発表者２が相対した累積時間が最も長い方向の方向角を発表者２の注目方向としてもよい。また、ＣＰＵ１１は、発表者２が相対している回数を方向毎に取得し、判定期間において発表者２が相対した累積回数が最も多い方向の方向角を発表者２の注目方向としてもよい。
【００７０】
更に、判定期間において発表者２が相対した方向の方向角の平均値、発表者２が相対した累積時間が最も長い方向の方向角、及び発表者２が相対した累積回数が最も多い方向の方向角といった、複数の統計処理によって得られた少なくとも２つの方向角の平均値を、判定期間における発表者２の注目方向としてもよい。
【００７１】
反応測定システム１を利用する利用者は、複数用意された、判定期間における発表者２の注目方向の算出方法の中から、何れの算出方法を用いて発表者２の注目方向を取得するか予め選択する。利用者が選択した算出方法は、例えば不揮発性メモリ１４に記憶される。ＣＰＵ１１は、不揮発性メモリ１４に記憶された算出方法を参照し、判定期間における発表者２の注目方向を取得する。
【００７２】
なお、ＣＰＵ１１は、ステップＳ２０で発表者２が相対している方向の方向角を取得する度に、ＲＡＭ１３に記憶されている発表者２の方向角のうち、判定期間に含まれない古い方向角が存在するか否かを判定する。判定期間より古い方向角が存在する場合には、ＣＰＵ１１は当該方向角を消去してから、判定期間における発表者２の注目方向を算出し、ＲＡＭ１３の残容量が不足しないようにする。この場合、ＲＡＭ１３に記憶されている各々の方向角を用いれば、必然的に判定期間における発表者２の注目方向が算出されることになり、ＲＡＭ１３に記憶されている方向角が判定期間内の方向角か否か１つ１つ判定することなく判定期間における発表者２の注目方向が得られることになる。
【００７３】
ステップＳ４０において、ＣＰＵ１１は、赤外線カメラ６がステップＳ３０で取得した発表者２の注目方向の画像を撮影するように、赤外線カメラ６の撮影方向を制御する。
【００７４】
具体的には、赤外線カメラ６にパン角、チルト角、及びズーム率といった撮影方向に関する属性値を変更する機能が予め備えられている場合、ＣＰＵ１１は、これらの属性値の少なくとも１つを変更する変更指示を赤外線カメラ６に送信して、発表者２の注目方向の画像を撮影するように、赤外線カメラ６の撮影方向を制御する。また、赤外線カメラ６自体に撮影方向に関する属性値を変更する機能が予め備えられていない場合であっても、赤外線カメラ６がパン角及びチルト角の変更機能を有する図示しない雲台に取り付けられている場合、ＣＰＵ１１は、これらの属性値の少なくとも１つを変更する変更指示を図示しない雲台に送信して、発表者２の注目方向の画像を撮影するように、赤外線カメラ６の撮影方向を制御する。
【００７５】
ステップＳ５０において、ＣＰＵ１１は、ステップＳ４０で撮影方向を制御した赤外線カメラ６に対して撮影指示を送信し、発表者２が注目する注目方向に位置する観衆３の赤外線画像を撮影する。ＣＰＵ１１は、撮影した観衆３の赤外線画像をＲＡＭ１３に記憶する。
【００７６】
ステップＳ６０において、ＣＰＵ１１は、例えば上述した「非特許文献１」の内容に従って、観衆３の顔の温度から、発表者２が注目した観衆３の反応を測定する。ＣＰＵ１１は、測定した反応を反応情報として例えばＲＡＭ１３に記憶する。
【００７７】
ステップＳ６０で測定する観衆３の反応の種類に制約はなく、制御装置５は一例として、発表者２の発言に対する興味の程度を表す関心度合いを測定する。関心度合いに関しては、関心度合いが高くなる程、観衆３の体温が上昇する現象を利用することで測定される。したがって、体温を予め複数の区分に分類しておき、ＣＰＵ１１は、撮影した観衆３の赤外線画像における観衆３に対応する領域毎に、観衆３の体温が属する区分を対応付ける。具体的には、例えば体温が高い方の区分から順に“Ａ区分”、“Ｂ区分”、・・・と分類しておき、観衆３に対応する領域毎に、観衆３の体温に対応した区分を対応付ける。
【００７８】
観衆３に対応する領域毎に対応付けられた区分は、赤外線画像で撮影された観衆３の発表者２に対する関心度合いを示す反応情報の一例である。
【００７９】
反応測定システム１では、発表者２が注目した方向に位置する観衆３だけの反応を測定することから、観衆３全体の反応を測定する場合と比較して、赤外線カメラ６等の観衆３の反応を測定する測定装置の台数が減少することになる。
【００８０】
ステップＳ７０において、ＣＰＵ１１は、発表者２に対する観衆３の反応情報が表示装置７に表示されるように表示装置７を制御する。一例として、ＣＰＵ１１は、どこにどの程度の関心度合いを有する観衆３がいるのかが発表者２に伝わるように、観衆３の位置と、当該観衆３における関心度合いを示す反応情報とを対応付けた画面を表示装置７に表示する。具体的には、ＣＰＵ１１は、例えば座席表のように観衆３の位置がわかる見取り図を観衆３の関心度合いに応じて色分けした画面を、表示装置７に表示させる。
【００８１】
したがって、発表者２は表示装置７に表示される画面を見ることで、注目した観衆３の反応を確認しながらプレゼンテーションを進められることになる。すなわち、観衆３の反応がよくなければ観衆３の反応が上昇する話に話題を変えたりする等、プレゼンテーションの質の向上に役立てられる。
【００８２】
反応測定システム１では、観衆３の反応を発表者２に通知する通知手段として表示装置７を用いたが、表示装置７以外の装置を用いて発表者２に通知してもよい。例えば、発表者２の耳に装着したイヤーモニタを通じて、発表者２に対する観衆３の反応を音声で通知してもよい。
【００８３】
ステップＳ８０において、ＣＰＵ１１は、入力ユニットを介して制御処理の終了指示を受け付けたか否かを判定する。終了指示を受け付けていない場合にはステップＳ１０に移行し、可視カメラ４からの新たな画像の受信を監視する。すなわち、終了指示を受け付けるまで、ステップＳ１０〜Ｓ８０の処理を繰り返し実行することで、発表者２が注目した方向に位置する観衆３の反応が測定される。一方、終了指示を受け付けた場合には、図３に示した制御処理を終了する。
【００８４】
このように本実施の形態に係る反応測定システム１によれば、発表者２を撮影した画像から発表者２が相対している方向を取得し、取得した方向に位置する観衆３の反応を測定する。
【００８５】
なお、図３に示した制御処理では、判定期間に取得された発表者２の相対する方向の各々を統計処理して得られた方向を発表者２の注目方向としたが、各時点において発表者２が相対している方向を発表者２の注目方向としてもよい。
【００８６】
図４は、この場合にＣＰＵ１１によって実行される制御処理の流れの一例を示すフローチャートである。
【００８７】
図４に示すフローチャートが図３に示したフローチャートと異なる点は、ステップＳ３０が削除された点であり、他の処理は図３と同じである。
【００８８】
図４に示すフローチャートのステップＳ２０において、ＣＰＵ１１は、ステップＳ１０で受信した画像から発表者２が相対している方向の方向角を取得すると、ステップＳ４０を実行する。
【００８９】
ステップＳ４０において、ＣＰＵ１１は、ステップＳ２０で取得した発表者２が相対している方向の画像を撮影するように、赤外線カメラ６の撮影方向を制御する。すなわち、ＣＰＵ１１は、発表者２の過去の向きを考慮せずに、ステップＳ１０で直前に受信した画像から得られる発表者２の向きのみを用いて発表者２の注目方向を取得し、取得した注目方向に赤外線カメラ６の撮影方向をあわせる。
【００９０】
これにより赤外線カメラ６の撮影方向が、発表者２が相対している現在の方向にリアルタイムに追従することになる。
【００９１】
したがって、図４の制御処理を実行することで、発表者２が相対する方向の変化にあわせて、反応の測定対象となる観衆３が変化する。
【００９２】
＜第２実施形態＞
上述した第１実施形態に係る反応測定システム１では、発表者２を撮影した画像から発表者２が相対する方向を取得した。しかしながら、発表者２が相対する方向を取得する方法はこれに限られない。
【００９３】
第２実施形態では、発表者２が発した音声の伝播方向から発表者２が相対する方向を取得する反応測定システム１Ａについて説明する。
【００９４】
図５は、本実施の形態に係る反応測定システム１Ａの一例を示す構成図である。図５に示すように、反応測定システム１Ａは、例えばマイク９、制御装置５Ａ、赤外線カメラ６、及び表示装置７を含む。
【００９５】
反応測定システム１Ａでは、図１に示した反応測定システム１の可視カメラ４の代わりにマイク９が用いられ、制御装置５が制御装置５Ａに置き換えられる。
【００９６】
マイク９は発表者２の音声を収集する装置であり、例えば取り付け金具等で予め定めた位置に固定されるが、ピンマイクのように発表者２の衣服に取り付けられたマイク９であってもよい。
【００９７】
また、反応測定システム１Ａに含まれるマイク９の本数に制約はなく、１本であっても複数であってもよい。図５に示す例では、２本のマイク９で発表者２の音声を収集している。
【００９８】
マイク９は観衆３の声を収集してもよいが、できるだけ発表者２の声のみが収集されるように、無指向性マイクよりも指向性マイクを用いる方が好ましい。
【００９９】
制御装置５Ａは、各々のマイク９で収集された音声を受信し、受信した音声の伝播方向を特定し、当該音声の伝播方向を発表者２が話しかけた方向として取得する。そして、制御装置５Ａは、発表者２が話しかけた方向を発表者２の注目方向として捉え、発表者２の注目方向に位置する観衆３の反応を測定するため、赤外線カメラ６の撮影方向が発表者２の注目方向に近づくように赤外線カメラ６の撮影方向を制御する。
【０１００】
上述した反応測定システム１Ａの制御装置５Ａは、例えばコンピュータを用いて構成される。図６は、コンピュータ１０を用いて構成された制御装置５Ａにおける電気系統の要部構成例を示す図である。
【０１０１】
図６に示す構成例が図２に示した制御装置５の構成例と異なる点は、可視カメラ４の代わりにマイク９がＩ／Ｏ１５に接続された点であり、他の構成は制御装置５と同じである。制御装置５と同様に、Ｉ／Ｏ１５には例えば入力ユニットのように、図６に示した装置とは異なる装置が接続されてもよい。また、必ずしもＩ／Ｏ１５にマイク９、赤外線カメラ６、表示装置７、及び通信装置８が接続される必要もなく、例えば表示装置７及び通信装置８は必要に応じて接続すればよい。
【０１０２】
次に、図７を用いて、反応測定システム１Ａにおける制御装置５Ａの動作について説明する。
【０１０３】
図７は、制御装置５Ａが起動した後、又は図示しない入力ユニットを介してユーザから動作開始の指示を受け付けた場合に、ＣＰＵ１１によって実行される制御処理の流れの一例を示すフローチャートである。
【０１０４】
制御処理を規定する制御プログラムは、例えば制御装置５ＡのＲＯＭ１２に予め記憶されている。制御装置５ＡのＣＰＵ１１は、ＲＯＭ１２に記憶される制御プログラムを読み込み、制御処理を実行する。
【０１０５】
図７に示すフローチャートが、図４に示した制御装置５における制御処理のフローチャートと異なる点は、ステップＳ１０及びＳ２０がそれぞれステップＳ１０Ａ及びＳ２０Ａに置き換えられた点であり、その他の処理は図４に示したフローチャートと同じである。したがって、以降ではステップＳ１０Ａ及びＳ２０Ａの処理について説明する。
【０１０６】
ステップＳ１０Ａにおいて、ＣＰＵ１１は、各々のマイク９から音声を受信したか否かを判定する。音声を受信していない場合にはステップＳ１０Ａの処理を繰り返し実行して、音声の受信状況を監視する。一方、各々のマイク９から音声を受信した場合にはステップＳ２０Ａに移行する。
【０１０７】
マイク９は、発表者２の音声を収集するように集音方向が設定されているため、受信した音声は発表者２が発した音声であるとみなされる。
【０１０８】
ステップＳ２０Ａにおいて、ＣＰＵ１１は、ステップＳ１０Ａで各々のマイク９から受信した発表者２が発した音声の強度分布を用いて、発表者２が発した音声の伝播方向を取得する。
【０１０９】
ここで「音声の強度分布」とは、マイク９の位置から、マイク９の位置を中心にして仮想的に設定した球の表面に向かう方向毎に、マイク９が受信した音声の大きさを示す分布であり、例えば受信した音声データから得られる。すなわち、音声の強度分布は、音声の大きさを仮想的に設定した球の中心からの距離で表し、音声の方向を仮想的に設定した球の中心から球の表面に向かう線（中心線）の方向で表す。
【０１１０】
ＣＰＵ１１は、各々のマイク９から得られた音声の強度分布毎に音声の大きさが最も大きくなる方向の中心線を特定し、発表者２の位置からそれぞれの中心線の交点に向かう方向を発表者２が発した音声の伝播方向として取得する。なお、発表者２の位置情報は、例えば発表者２が所持するＧＰＳ(Global Positioning System)ユニットから取得すればよい。また、発表者２の位置が変化しないとみなせる状況では、発表者２の位置情報を予め不揮発性メモリ１４に記憶しておけばよい。
【０１１１】
なお、マイク９が１本の場合には、マイク９の位置から音声の大きさが最も大きくなる方向を発表者２が発した音声の伝播方向とすればよい。
【０１１２】
発表者２が発した音声の伝播方向は、発表者２が相対する方向とみなされる。
【０１１３】
この後、ＣＰＵ１１は、既に説明したステップＳ３０以降の処理を実行して、判定期間において発表者２が注目した方向に赤外線カメラ６の撮影方向をあわせ、発表者２が注目する方向に位置する観衆３の反応を測定して、測定結果を表示装置７に表示する。
【０１１４】
このように本実施の形態に係る反応測定システム１Ａによれば、発表者２が発した音声から発表者２が相対している方向を取得し、取得した方向に位置する観衆３の反応を測定する。
【０１１５】
なお、図７に示した制御処理では、判定期間に取得された発表者２の相対する方向の各々を統計処理して得られた方向を発表者２の注目方向としたが、各時点において発表者２が相対している方向を発表者２の注目方向として扱ってもよい。
【０１１６】
図８は、この場合にＣＰＵ１１によって実行される制御処理の流れの一例を示すフローチャートである。
【０１１７】
図８に示すフローチャートが図７に示したフローチャートと異なる点は、ステップＳ３０が削除された点であり、他の処理は図７と同じである。
【０１１８】
図８に示すフローチャートのステップＳ２０Ａにおいて、ＣＰＵ１１は、ステップＳ１０Ａで受信した音声から発表者２が相対している方向の方向角を取得すると、ステップＳ４０を実行する。
【０１１９】
ステップＳ４０において、ＣＰＵ１１は、ステップＳ２０Ａで取得した発表者２が相対している方向の画像を撮影するように、赤外線カメラ６の撮影方向を制御する。すなわち、ＣＰＵ１１は、発表者２の過去の向きを考慮せずに、ステップＳ１０Ａで直前に受信した音声から得られる発表者２の向きのみを用いて発表者２の注目方向を取得し、取得した注目方向に赤外線カメラ６の撮影方向をあわせる。
【０１２０】
これにより赤外線カメラ６の撮影方向が、発表者２が相対している現在の方向にリアルタイムに追従することになる。
【０１２１】
したがって、図８の制御処理を実行することで、発表者２が相対する方向の変化にあわせて、反応の測定対象となる観衆３が変化する。
【０１２２】
上述した反応測定システム１Ａでは、発表者２が話しかけた方向から反応の測定対象者となる観衆３が選択されたが、反応の測定対象者となる観衆３の選択方法はこれに限られない。例えば、観衆３の声を収集するマイク９を別に設け、当該マイク９で取得した音声の強度分布から質問等を行うために声を発した観衆３の位置を特定し、特定した観衆３の方向に赤外線カメラ６の撮影方向をあわせて、当該観衆３の反応を測定してもよい。
【０１２３】
以上、各実施の形態を用いて本発明について説明したが、本発明は各実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で各実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。
【０１２４】
また、各実施の形態では、反応測定システム１、１Ａをプレゼンテーションにおける観衆３の反応の測定に用いたが、反応測定システム１、１Ａの適用範囲はプレゼンテーションに限られない。
【０１２５】
例えば、工場又は会社の視察を行う場合に、視察メンバーが注目した方向を可視カメラ４の画像から取得し、視察メンバーが注目した方向に位置する人の反応を測定するようにしてもよい。また、学校において、先生が注目した方向に位置する生徒の反応を測定し、授業内容の理解度の把握に用いてもよい。このように、反応測定システム１、１Ａは、利用者が注目した方向にいる人の反応を測定したい場面で適用される。
【０１２６】
また、各実施の形態では、一例として制御処理をソフトウエアで実現する形態について説明したが、図３、図４、図７、及び図８に示したフローチャートと同等の処理を、例えばＡＳＩＣ（Application Specific Integrated Circuit）に実装し、ハードウエアで処理させるようにしてもよい。この場合、制御処理の高速化が図られる。
【０１２７】
また、上述した各実施の形態では、制御プログラムがＲＯＭ１２にインストールされている形態を説明したが、これに限定されるものではない。本発明に係る制御プログラムは、コンピュータ読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る制御プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、又はＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る制御プログラムを、ＵＳＢメモリ及びフラッシュメモリ等の半導体メモリに記録した形態で提供してもよい。更に、制御装置５、５Ａはインターネット等の通信回線を介して、通信回線に接続された外部装置から本発明に係る制御プログラムを取得するようにしてもよい。
【符号の説明】
【０１２８】
１（１Ａ）・・・反応測定システム
２・・・発表者
３・・・観衆
４・・・可視カメラ
５（５Ａ）・・・制御装置
６・・・赤外線カメラ
７・・・表示装置
８・・・通信装置
９・・・マイク
１０・・・コンピュータ
１１・・・ＣＰＵ
１２・・・ＲＯＭ
１３・・・ＲＡＭ
１４・・・不揮発性メモリ
【図１】
2019121105.tif 000003
【図２】
2019121105.tif 000004
【図３】
2019121105.tif 000005
【図４】
2019121105.tif 000006
【図５】
2019121105.tif 000007
【図６】
2019121105.tif 000008
【図７】
2019121105.tif 000009
【図８】
2019121105.tif 000010