(57)【要約】【課題】オーディションを観に来た来場者が、オーディション出場者にどの程度関心をもったかを自動的に測定する。【解決手段】時刻ｔ１、ｔ２、ｔ３、ｔ４における出場者Ｐ，Ｑの舞台上の位置を検出する。同時に、時刻ｔ１、ｔ２、ｔ３、ｔ４における来場者席の場景を撮影する。撮影された画像から来場者Ａ、Ｂの顔を検出し、それぞれの時刻ｔ１、ｔ２、ｔ３、ｔ４における顔の向きを識別する。出場者Ｐ，Ｑの位置と、来場者Ａ，Ｂの位置および顔の向きとの関係から、時刻ｔ１、ｔ２、ｔ３、ｔ４に、来場者Ａ，Ｂが出場者Ｐ，Ｑの方を向いていたか否かを判定することにより、来場者Ａ，Ｂが出場者Ｐ，Ｑを観た回数を計測する。来場者Ａ，Ｂが出場者Ｐ，Ｑの方を向いた回数に基づいて、来場者Ａ，Ｂが出場者Ｐ，Ｑに向ける関心の度合いを示す値を算出し、出力する。【選択図】図６
2007102343.tif 000002
【特許請求の範囲】
【請求項１】
移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する装置であって、
前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する情報収集手段と、
前記情報収集手段により収集した各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する顔向き識別手段と、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する計数手段と、
前記計数手段により計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出し出力する関心度算出手段とを備えた関心度測定装置。
【請求項２】
前記情報収集手段により複数の対象に係る対象位置情報を収集し、
前記計数手段により、前記回数を、来場者ごと、対象ごとに計数し、
前記関心度算出手段が、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項１記載の関心度測定装置。
【請求項３】
移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する方法であって、
前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集し、
収集した各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別し、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数し、
計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出することにより前記関心度を測定する関心度測定方法。
【請求項４】
複数の対象に係る対象位置情報を収集し、
前記回数を、来場者ごと、対象ごとに計数し、
来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項３記載の関心度測定方法。
【請求項５】
移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する際に、前記関心の度合いを算出するプログラムであって、コンピュータに、
所定の記憶媒体から、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを読み込む情報読取処理と、
読み込んだ各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する顔向き識別処理と、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する計数処理と、
前記計数処理において計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出する関心度算出処理とを実行させる関心度算出プログラム。
【請求項６】
前記情報読込処理において複数の対象に係る対象位置情報を読み込み、
前記計数処理において、前記回数を、来場者ごと、対象ごとに計数し、
前記関心度算出処理において、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項５記載の関心度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば公開オーディションなどで、出場者に対する観客の関心の度合いを調査するのに用いられる関心度測定装置および方法並びに関心度算出プログラムに関する。
【背景技術】
【０００２】
マーケティング調査の方法として、店内カメラで店内にいる顧客の顔を撮影し、顔から抽出される情報に基づいて顧客の特徴、顧客が滞在している位置、滞在時間および滞在時の顔の向きを判別し、顧客が店内に展示されているどの商品に関心を示したかを調べる方法が提案されている（例えば、特許文献１、２）。
【特許文献１】特開２０００−２００３５７号公報
【特許文献２】特開２００４−３４８６１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記方法は、展示商品など動かない対象に対する顧客の関心度を調べる方法としては有用であるが、動く対象に対する顧客の関心度を調べることはできない。
【０００４】
歌手、俳優などの公開オーディションでは、オーディションを観にきた来場者の反応が、オーディションの選考に反映されることがある。このため、舞台上を動き回る各出場者への来場者の関心度を自動測定することへのニーズは、少なからず存在すると考えられる。本発明は、このようなニーズに応えることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の装置は、移動可能な対象が存在する場所において、その場所への来場者が前記対象に向ける関心の度合いを測定する装置であって、以下に説明する情報収集手段、顔向き識別手段、計数手段および関心度算出手段を備える。
【０００６】
情報収集手段は、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する手段である。情報収集手段は、対象が複数ある場合には、そのそれぞれについて対象位置情報を収集する。
【０００７】
来場者の撮影画像は動画として撮影されたものから該当する時刻のフレームを抜き出してもよいし、位置計測が行なわれた時刻のみ静止画撮影を行なって得た画像でもよい。また、収集するとは、そのような情報を本発明の装置自らにより生成する場合と、そのような情報を他の装置あるいは記録媒体から取り込む場合の両方を含む。すなわち、対象の位置を計測する手段や来場者を含む場景を撮影する手段は、本発明の装置自身が備えていてもよいし、他の装置が備える手段を利用してもよい。
【０００８】
顔向き識別手段は、情報収集手段により収集した各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する手段である。顔情報は顔の向きを識別する際に用いられる情報で、例えば顔の位置、顔の特徴などを示す情報である。顔の向きを識別する技術としては、公知のあらゆる技術を用いることができる。
【０００９】
計数手段は、対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する手段である。計数手段は、対象が複数ある場合には、前記回数を、来場者ごと、対象ごとに計数する。
【００１０】
関心度算出手段は、計数手段により計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出し出力する手段である。但し、「算出し出力する」には、計数結果を関心の度合いを示す値として、そのまま出力する場合も含まれる。関心度算出手段は、対象が複数ある場合には、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出する。
【００１１】
本発明の関心度測定方法は、移動可能な対象が存在する場所において、以下に示す手順により、該場所への来場者が前記対象に向ける関心の度合いを測定する方法である。まず、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する。そして、収集した各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する。続いて、前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する。そして、計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出することにより前記関心度を測定する。
【００１２】
また、本発明の関心度算出プログラムは、移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する際に、前記関心の度合いを示す値を算出するプログラムであり、コンピュータに以下に説明する情報読取処理、顔向き識別処理、計数処理および関心度算出処理を実行させる。
【００１３】
情報読取処理は、所定の記憶媒体から、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを読み込む処理である。所定の記憶媒体は、コンピュータのメモリや内蔵ディスク、コンピュータに接続された外部ディスク、ＤＶＤなどの記録メディアのいずれでもよい。
【００１４】
顔向き識別処理は、読み込んだ各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する処理である。また、計数処理は、対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する処理である。関心度算出処理は、計数処理において計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出する処理である。
【００１５】
上記本発明の装置、方法あるいはプログラムの処理によれば、関心度の算出に各時刻における対象の位置を示す情報が利用されるため、対象が動いている場合でも、その対象に対する来場者の関心度を正確に算出することができる。また、関心度は来場者の顔の向きに基づいて算出されるため、顔の向きを識別できる程度の顔情報を抽出できれば、表情や個人を識別できなくてもよい。このため、装置に大きな負荷をかけることなく、低コストで手軽に関心度の測定を行なうことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、公開オーディションの会場で、オーディションを観にきた来場者たちの、各出場者に対する関心度を測定するシステムである。
【００１７】
図１に、上記システムの概略構成を示す。図に示すように、このシステムは、オーディション会場に設置された位置測定用カメラ１および来場者撮影用カメラ２と、オーディション会場がある建屋内のコンピュータルームなどに設置されたサーバコンピュータ３とを備える。サーバコンピュータ３にはモニタ４が接続されている。また、位置測定用カメラ１、来場者撮影用カメラ２およびサーバコンピュータ３は、ローカルエリアネットワーク５を介して相互に通信可能な状態になっている。
【００１８】
位置測定用カメラ１は、オーディション会場の天井中央に下向きに固定されて据えつけられたカメラで、会場全体を上方から所定の時間間隔で撮影する。本実施形態では、位置測定用カメラ１は３秒おきに撮影を行ない、会場全体が写った静止画像を取得する。
【００１９】
来場者撮影用カメラ２は、天井の、舞台よりの所定位置に据えつけられた回転可能な構造のカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。来場者撮影用カメラ２の回転角度、撮影倍率は、関心度調査のターゲットとなる来場者の顔を撮影できる角度、倍率に設定されている。サンプリング調査を行なう場合には例えば来場者席の最前列の来場者のみが撮影されるように設定し、全来場者を対象とした正確な調査を行なう場合には全来場者が撮影されるように設定する。来場者撮影用カメラ２もまた、所定の時間間隔で撮影を行なう。本実施形態では、来場者撮影用カメラ２は３秒おきに撮影を行なう。
【００２０】
位置測定用カメラ１による撮影と、来場者撮影用カメラ２による撮影は同期して行なわれる。本実施形態では、図示されない同期クロックから撮影タイミングを指示する信号が発信され、位置測定用カメラ１、来場者撮影用カメラ２が、それぞれその信号を受信したタイミングで撮影を行なうことにより撮影の同期をとる。同期クロックは、サーバコンピュータ３の一機能として、もしくは専用装置として提供される。なお、本実施形態では、前述のとおり各カメラは３秒おきに撮影を行なうが、両カメラの同期がとれていれば、撮影間隔は必ずしも一定でなくてもよい。
【００２１】
次に、図２を参照して、サーバコンピュータ３の構成について説明する。サーバコンピュータ３は、通信制御部３１、位置検出部３２、顔向き識別部３３、計数部３４および関心度算出部３５を備える。サーバコンピュータ３は、汎用のコンピュータに、本発明の機能を実現するためのプログラムを組み込んだものである。
【００２２】
通信制御部３１は、汎用コンピュータに備えられた通信機能を使って、サーバコンピュータ３と、位置測定用カメラ１、来場者撮影用カメラ２との間のローカルエリアネットワーク３を介した通信を制御する。位置検出部３２、顔向き識別部３３、計数部３４および関心度算出部３５は、後述する各処理を規定した要素プログラムをサーバコンピュータ３にインストールし、動作させることにより実現される処理部である。本実施形態では、サーバコンピュータ３は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に実行される。
【００２３】
位置検出部３２は、位置測定用カメラ１から３秒おきに転送される画像を受信し、その画像に含まれる出場者の位置を検出する。前述のとおり受信する画像は出場者を上方から捉えた画像であり、位置検出部３２は画像に含まれる出場者の頭を識別することにより出場者の位置を検出する。本実施形態では、検出を容易にするために各出場者に、マーカを頭頂部に付けることを義務付けている。マーカは出場者ごとに色が異なり、位置検出部３２は、マーカの色を識別することにより出場者を識別することができる。画像処理による出場者の位置検出には、他のあらゆる公知技術を用いることができる。さらに言えば、出場者の位置検出は、画像を用いず、位置センサを利用して実現してもよい。
【００２４】
位置検出部３２は、検出した各出場者の位置について、図３に示すように、検出された位置を示す位置座標に、その位置に出場者がいた時刻（すなわち画像の撮影時刻）の情報と、検出された出場者を区別するための出場者識別子とを付した出場者位置データ６を生成し、サーバコンピュータ３のメモリに記憶する。本実施形態では、出場者識別子は、マーカ色を示すコードとする。位置検出部３２は画像を受信する度に上記処理を実行するので、サーバコンピュータ３のメモリには、先に記憶されたデータと出場者識別子が同じで時刻と位置座標の情報が異なる出場者位置データ６が順次蓄積されることになる。
【００２５】
続いて、顔向き識別部３３について説明する。顔向き識別部３３は、来場者撮影用カメラ２から３秒おきに転送される画像を受信し、その画像に含まれる来場者の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、調査対象数が多く、多数の顔を検出する必要がある場合には、例えば所定の大きさの肌色領域であれば顔と判断する方法など、比較的シンプルな検出方法を採用することが好ましい。
【００２６】
顔向き識別部３３は、次に、検出した顔に、来場者を区別するための来場者識別子を割り当てる。来場者識別子は、その来場者が座っている来場者席の番号などとする。本実施形態では、来場者撮影用カメラ２の据付位置と向きは固定されており、また会場における各来場者席の位置座標は予めわかっている。このため、カメラの位置、向きおよび設定した撮影倍率から、顔を検出した来場者が座っている来場者席の番号が求まる。これにより異なる画像から検出された同じ来場者の顔に対し、常に同じ来場者識別子を割り当てることができる。
【００２７】
続いて顔向き識別部３３は、検出した顔ごとに顔の向きの判別に利用できる所定の特徴を抽出する。例えば、検出した顔から目や耳をさらに検出し、右目と左目の距離や、耳の位置などを示す特徴量を算出する。特徴量抽出に基づく顔向きの判別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用することができる。
【００２８】
顔向き識別部３３は、検出した個々の顔について、図４に示すように、判別した顔の向きを表す単位ベクトル（以下、顔向きベクトルと称する）に、画像の撮影時刻の情報と前述の来場者識別子を付した来場者向きデータ７を生成し、サーバコンピュータ内のメモリに記憶する。顔向き識別部３３は画像を受信する度に上記処理を実行するので、サーバコンピュータ３のメモリには、先に記憶したデータと来場者識別子が同じで時刻と顔向きベクトルの情報が異なる来場者向きデータ７が順次蓄積されることになる。
【００２９】
次に、計数部３４について説明する。計数部３４は、位置検出部３２がメモリに記憶した出場者位置データ６と、顔向き識別部３３がメモリに記憶した来場者向きデータ７と、予めメモリ内に記憶されている来場者席の位置座標データとを利用して、各時刻に、各来場者がいずれかの出場者の方を向いていたか否かを判定する。また、計数部３４は、来場者ごと出場者ごとのカウンタを備え、判定結果に基づいてカウンタの値をカウントアップする。本実施形態では、来場者ごとに３２ビットの領域が割り当てられ、４つの８ビットカウンタとして用いられる。これにより４名の出場者に対する関心度を同時に測定することができる。カウンタのビット数を大きくすれば、より多くの出場者に対する関心度を同時に測定することもできる。
【００３０】
図５は、上記判定およびカウントアップの手順について説明するための図である。計数部３４は、まず来場者向きデータ７の来場者識別子を参照し、その来場者識別子により特定される座席の座標値（Ｘａ、Ｙａ）をメモリから読み出す。続いて、出場者位置データ６の位置座標（Ｘｐ，Ｙｐ）を参照する。そして、これらの座標値に基づいて、来場者席からみた出場者の方向を表す単位ベクトル（図のベクトルｖ１）を算出する。続いて、計数部３４は、来場者向きデータ７の顔向きベクトル（図のベクトルｖ２）を参照する。そして、ベクトルｖ１とベクトルｖ２の向きのずれ（図の角度θ）を算出し、角度θの絶対値が所定値以下であれば、その来場者はその出場者の方を向いていたと判定する。そして、その来場者のカウンタ領域の、その出場者のカウンタの値をカウントアップする。一方、角度θの絶対値が所定値より大きければその来場者はその出場者の方を向いていなかったと判定する。この場合は、カウントアップは行なわない。この処理は、調査対象の来場者がＮ人、出場者がＭ人、撮影時刻が異なる画像がＬ画像ある場合に、Ｎ×Ｍ×Ｌ回繰り返される。
【００３１】
図６は、出場者の動きと来場者の顔向きと上記カウンタの値の関係について説明するための図である。図左上の折れ線は出場者Ｐの時刻ｔ１、ｔ２、ｔ３、ｔ４における位置を示す座標点を線で結んだものである。同様に、図右上の折れ線は出場者Ｑの時刻ｔ１、ｔ２、ｔ３、ｔ４における位置を示す座標点を線で結んだものである。また、図左下には来場者Ａの時刻ｔ１、ｔ２、ｔ３、ｔ４における顔向きベクトルが、図右下には来場者Ｂの時刻ｔ１、ｔ２、ｔ３、ｔ４における顔向きベクトルが示されている。さらに、上記判定処理において、来場者が出場者の方を向いていたと判定された場合を、出場者位置と来場者位置とを点線で結ぶことにより表現している。この例では、来場者Ａ出場者Ｐカウンタの値は１、来場者Ａ出場者Ｑカウンタの値は１、来場者Ｂ出場者Ｐカウンタの値は０、来場者Ｂ出場者Ｑカウンタの値は４となる。
【００３２】
関心度算出部３５は、上記カウンタの値を用いて、各来場者が各出場者に向ける関心の度合いを示す値（関心度）を算出する。本実施形態では、関心の度合いを示す値を、カウンタ値／判定回数×１００（％）で表す。例えば、図６の例では、来場者Ａの出場者Ｐに対する関心度は１／４×１００で２５％、来場者Ａの出場者Ｑに対する関心度は２５％、来場者Ｂの出場者Ｐに対する関心度は０％、来場者Ｂの出場者Ｑに対する関心度は１００％となる。なお、便宜上、４つの時刻ｔ１、ｔ２、ｔ３、ｔ４を例示して説明したが、実際には、３秒おきに収集されたより多くのデータを利用して関心度が算出される。
【００３３】
続いて、関心度算出部３５は、は、算出した関心度を、モニタ４に出力する。この際、公知の自動集計技術やグラフ自動生成技術を利用して、表示画面をみやすく整えてもよい。例えば、来場者席を色分けして表示する。具体的には、各来場者席の色を、その席に座っている来場者が最も高い関心を示した出場者の色に塗りつぶした座席表を表示する。あるいは、所定の出場者に対して５０％以上の関心を示した来場者数の時間変位をグラフ表示する。関心度算出部３５は、このほかにも、調査の目的にあわせて種々の集計を行い、集計結果を画面表示に適した形に修正して出力する。
【００３４】
以上に説明したように、本実施形態のシステムによれば、出場者が動いているときでも、来場者が出場者を観た回数が自動的にカウントされ、カウント結果に基づいて関心度が算出される。また出場者が複数いる場合には、出場者別にカウントが行なわれ、関心度が算出され、個々の出場者が来場者の関心をどれだけ集めたかを正確に計測することができる。
【００３５】
なお、上記実施形態では、関心度の算出に、顔の向きのみを利用しているが、顔の他の特徴を合わせて利用してもよい。例えば、顔情報の１つとして目と瞳孔の大きさの比率を示す特徴量を抽出し、比率が大きい場合、すなわち瞳孔が大きく開いている場合には、その来場者が出場者に対し特に高い関心を示しているものと判断し、関心度算出処理において、算出値に瞳孔にかかるポイントを加算するなどしてもよい。
【００３６】
また、上記実施形態は人物に対する関心度を測定するものであるが、本発明は、人間以外の生物、動く玩具、動く機械（例えばロボット）など、移動し得るあらゆる対象の関心度測定に適用可能であり、種々の分野において効果を発揮することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態におけるシステムの概略構成を示す図
【図２】サーバコンピュータの構成を示す図
【図３】出場者位置データを示す図
【図４】来場者向きデータを示す図
【図５】判定およびカウントアップの手順について説明するための図
【図６】出場者の動きと来場者の顔向きと上記カウンタの値の関係について説明するための図
【符号の説明】
【００３８】
３  サーバコンピュータ、  ５  ローカルエリアネットワーク
６  出場者位置データ、  ７  来場者向きデータ
【図１】
2007102343.tif 000003
【図２】
2007102343.tif 000004
【図３】
2007102343.tif 000005
【図４】
2007102343.tif 000006
【図５】
2007102343.tif 000007
【図６】
2007102343.tif 000008