(57)【要約】【課題】催しの有効性や出席者の参加状態の評価、分析を容易に行うことができるようにする。【解決手段】本発明の画像データ処理装置によれば、画像撮影装置２により入力される画像データから、本体１により時間帯毎に各出席者の顔貌データ、画像データを抽出して表情評価、動作評価を行って、これらの評価に基づいて出席者別に時間帯毎の参加度評価を行い、出席者別参加度評価情報Ｆ５を生成する。また、各出席者の出席者別参加度評価情報Ｆ５から会場全体の時間帯毎の参加率評価を計算し、会場全体参加度評価情報Ｆ６を生成する。また、本体１は、表示部や印刷部により出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６に基づいて進学塾講師評価表等の評価表を出力する。【選択図】  図４
2004272529.tif 000002
【特許請求の範囲】
【請求項１】
催しに出席した出席者の様子を撮影する撮影手段と、
前記撮影装置により撮影された画像データから出席者の画像を抽出し、抽出された画像に基づいて出席者の参加状態に対する評価を行う出席者評価手段と、
前記出席者評価手段による評価結果を出力する出力手段と、
を備えたことを特徴とする画像データ処理装置。
【請求項２】
前記撮影手段は、催しに出席した複数の出席者の様子を撮影し、
前記出席者評価手段は、撮影された画像データから各出席者の顔画像を抽出し、抽出された顔画像に基づいて、各出席者の参加状態に対する評価を行うことを特徴とする請求項１に記載の画像データ処理装置。
【請求項３】
個人を特定するための情報を顔画像と対応付けて記憶する記憶手段を備え、
前記出席者評価手段は、前記抽出された顔画像と前記記憶手段に記憶された顔画像とを照合し、近似した場合に、個人を特定して参加状態に対する評価を行うことを特徴とする請求項２に記載の画像データ処理装置。
【請求項４】
前記出席者評価手段は、前記出席者の眼球の動きに基づいて、出席者の参加状態に対する評価を行うことを特徴とする請求項１〜３の何れか一項に記載の画像データ処理装置。
【請求項５】
前記出席者評価手段は、前記出席者の動作に基づいて、出席者の参加状態に対する評価を行うことを特徴とする請求項１〜４の何れか一項に記載の画像データ処理装置。
【請求項６】
前記出席者評価手段は、前記撮影手段により撮影された画像データに基づいて、時間帯別に出席者の参加状態に対する評価を行うことを特徴とする請求項１〜５の何れか一項に記載の画像データ処理装置。
【請求項７】
前記撮影手段により撮影された画像データに基づいて、時間帯別に出席者の位置情報を取得する位置情報取得手段を備えたことを特徴とする請求項１〜６の何れか一項に記載の画像データ処理装置。
【請求項８】
前記出席者評価手段による評価結果に基づいて、前記催しに対する評価を行う催し評価手段を備え、
前記出力手段は、前記催し評価手段による評価結果を出力することを特徴とする請求項１〜７の何れか一項に記載の画像データ処理装置。
【請求項９】
コンピュータに、
催しに出席した出席者の様子を撮影装置に撮影させる機能と、
前記撮影された画像データから出席者の画像を抽出し、抽出された画像に基づいて出席者の参加状態に対する評価を行う機能と、
前記評価の結果を出力装置に出力させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、催しに出席した出席者の様子を撮影した画像データに基づいて、出席者の参加状態や催しに対する評価を行う画像データ処理装置及びプログラムに関する。
【０００２】
【従来の技術】
従来、特定の場所や区域の様子を監視するため、監視区域の様子をカメラで撮影し、管理室のモニタに表示する監視システムが利用されている。例えば、特許文献１には、人のいる部分を目立たせ、更に人のいる部分でも人の動きのない部分の色を落とし、色の濃さという相対的な識別によって監視しなければならない部分を一目で把握することができるようにする監視システムが開示されている。
【０００３】
【特許文献１】
特開平１０−１３６３４３号公報
【０００４】
【発明が解決しようとする課題】
監視システムは、特許文献１のように、監視区域内の事象の発生等を知らせる目的の他、例えば進学塾等において、経営者が講師の授業内容や教室内の雰囲気を把握する目的としても利用されている。
【０００５】
しかしながら、従来の監視システムは監視場所の様子を表示するのみであるので、例えば、進学塾における授業内容等、その場所で行われている催しの有効性を客観的に評価して分析することは困難であった。また、表示された画像から催しの各出席者の参加意欲や集中度を評価して分析することは困難であった。
【０００６】
本発明の課題は、催しの有効性や出席者の参加状態の評価、分析を容易に行うことができるようにすることである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
催しに出席した出席者の様子を撮影する撮影手段と、
前記撮影装置により撮影された画像データから出席者の画像を抽出し、抽出された画像に基づいて出席者の参加状態に対する評価を行う出席者評価手段と、
前記出席者評価手段による評価結果を出力する出力手段と、
を備えたことを特徴としている。
【０００８】
請求項９に記載の発明は、
コンピュータに、
催しに出席した出席者の様子を撮影装置に撮影させる機能と、
前記撮影された画像データから出席者の画像を抽出し、抽出された画像に基づいて出席者の参加状態に対する評価を行う機能と、
前記評価の結果を出力装置に出力させる機能と、
を実現させるためのプログラムであることを特徴としている。
【０００９】
請求項１、９に記載の発明によれば、催しに出席した出席者の様子を撮影し、撮影された画像データから出席者の画像を抽出し、抽出された画像に基づいて出席者の参加状態に対する評価を行い、その評価結果を出力する。従って、催しの出席者の参加状態を容易に評価することができるとともに、その出席者の参加状態から催しの有効性を評価することができる。
【００１０】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
まず、構成を説明する。
図１に、本発明に係る画像データ処理装置１００の構成を示す。この画像データ処理装置１００は、ある会場において行われる催しに出席した出席者の様子を撮影し、撮影した画像から出席者の参加状態の評価を行って、各出席者の参加状態（参加意欲の有無又は強さ、集中度等）、催しの有効性、その実行者のパフォーマンス等を評価する装置である。催しは、ある場所に人を集めて、集まった出席者が見たり聞いたりするものであればよく、例えば、講演会、学校・塾・予備校等の授業、プレゼンテーション、舞台、発表会、映画、コンサート、セミナー、会議等が含まれる。
【００１１】
図１に示すように、画像データ処理装置１００は、会場全体を撮影する画像撮影装置２と、画像撮影装置２により撮影された画像データを取り込んで各出席者や催しの評価を行う本体１とが画像撮影装置接続部１４を介して接続されて構成されている。画像撮影装置２は会場の各出席者の動作を撮影できればよく、１つの会場に複数設置する構成としてもよいし、画像撮影装置２として球面体カメラ等を利用して、１つの会場に１つ設置する構成としてもよい。画像撮影装置２は、動画を撮影するものとして説明するが、静止画を撮影するものであってもよい。
【００１２】
図２は、本体１の機能的構成を示すブロック図である。図２に示すように、本体１は、ＣＰＵ１１、入力部１２、表示部１３、画像撮影装置接続部１４、ＲＡＭ１５、記録部１６、印刷部１７、通信部１８等により構成され、各部はバス１９により接続されている。
【００１３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１は、記録部１６に記憶されているシステムプログラムを読み出し、ＲＡＭ１５内に形成されたワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ１１は、記録部１６に記憶されている各種処理プログラムを読み出してワークエリアに展開し、後述する出席者情報生成処理、表情評価処理、動作評価処理、進学塾講師評価表出力処理を始めとする各種処理を実行し、それらの処理結果をＲＡＭ１５のワークメモリに記憶する。そして、ワークエリアに格納した処理結果を記録部１６内の指定の保存先に保存させる。
【００１４】
入力部１２は、文字／英数字入力キー、カーソルキー、及び各種機能キー等を備えたキーボードと、ポインティングデバイスであるマウスと、を備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号としてＣＰＵ１１に出力する。
【００１５】
表示部１３は、出力手段であり、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等により構成され、ＣＰＵ１１から入力される表示信号の指示に従って、表示画面上に、画像撮影装置２から入力される画像データ、出席者別の参加度評価情報、会場全体の参加度評価情報、進学塾講師評価表等を表示する。
【００１６】
画像撮影装置接続部１４は、本体１に画像撮影装置２を接続するためのインターフェースである。
【００１７】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１５は、ＣＰＵ１１により実行されるシステムプログラム、各種処理プログラム、各処理において処理中のデータ、処理結果などを一時的に記憶するワークエリアを形成する。
【００１８】
記録部１６は、本体１に対応するシステムプログラム、各種処理プログラム、各種データ等が予め記憶されており、この記録部１６は、磁気的、光学的記録媒体、若しくは半導体メモリなどＣＰＵ１１で読取り可能な記録媒体を含んだ構成である。この記録媒体はＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード等の可搬型の媒体やハードディスク等の固定的な媒体を含む。また、記録媒体に格納するプログラム、データ等の一部若しくは全部をサーバやクライアントからＷＡＮ、ＬＡＮなどの通信ネットワークを介して受信する構成にしてもよく、更に、記録媒体は通信ネットワーク上に構築されたサーバやクライアントの記録媒体であってもよい。
【００１９】
本実施の形態において、記録部１６は、図２に示すように、事前登録情報Ｆ２０、位置定義情報Ｆ２１を格納している。
事前登録情報Ｆ２０は、評価対象となる催しの出席者集団が予め決まっている場合、その集団に属する各会員（集団が会社であれば社員、学校であれば生徒等）の情報が格納されているファイルである。図３（ａ）に、事前登録情報Ｆ２０に格納される事前登録情報レコードＲ２０の構造を示す。図３（ａ）に示すように、事前登録情報レコードＲ２０は、個人を特定するために一意的に割り当てられた識別コードである登録ＮＯ．と、顔貌画像データ、氏名、性別、年齢等により構成されている。
【００２０】
位置定義情報Ｆ２１は、会場において出席者が存在する可能性がある位置（例えば、教室が会場の場合は座席位置）の定義情報が格納されているファイルである。図３（ｂ）に、位置定義情報Ｆ２１に格納される位置定義レコードＲ２１の構造を示す。図３（ｂ）に示すように、位置定義情報レコードＲ２１は、位置管理名称（位置Ｘ、位置Ｙ）及び予め定められた原点からの距離（Ｘ距離、Ｙ距離；物理位置）により構成されている。例えば、図３（ｃ）において、会場平面図における原点にあたる位置からたて４ｍ、よこ２．５ｍ毎に座席が配置されているとすると、位置Ａを定義するレコードＲ２１は、図３（ｄ）に示すように、（位置Ｘ、位置Ｙ、Ｘ距離、Ｙ距離＝２、３、５、１２）となる。なお、出席者が存在する位置が自由の場合、例えば、座席が移動可能な会場や座席なしの会場の場合は、想定される出席者存在密度（混雑度）に併せて位置定義を行う。
【００２１】
また、記録部１６は、後述する講師評価テーブルＴ１（図１３参照）を記憶する。
【００２２】
印刷部１７は、出力手段として、ドットインパクト方式、熱転写方式、レーザ方式、インクジェット方式等の各種印刷方式により紙等の印刷記録媒体に印刷を行う。
【００２３】
通信部１８は、ネットワークインターフェースカード、モデム、ＴＡ（Ｔｅｒｍｉｎａｌ  Ａｄａｐｔｅｒ）等により構成され、通信ネットワークワーク上の外部機器と各種情報の送受信を行う。例えば、通信部１８は、ＣＰＵ１１からの指示に応じて、生成された出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６等を通信ネットワークに接続されたＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やプリンタ等へ送信する。
【００２４】
次に、画像データ処理装置１００の動作について説明する。
図４に、画像データ処理装置１００における参加度評価データ作成手順を示す。
【００２５】
まず、撮影手段としての画像撮影装置２により会場全体が撮影され、本体１に入力される。本体１においては、ＣＰＵ１１と記録部１６に記憶されているプログラムの協働によるソフトウエア処理により、出席者評価手段、催し評価手段、位置情報取得手段として、以下の処理が実行される。
【００２６】
まず、会場画像取込処理により、画像撮影装置２より入力された会場画像データから所定時間毎に画像データが取り込まれ、撮影された日時が付加され、図５のＲ１に示す構造のレコードＲ１が生成され（Ｍ１）、記録部１６に会場画像トランザクションＦ１として順次格納される。
【００２７】
次に、出席者情報生成処理が実行される（Ｍ２）。図６に、ＣＰＵ１１により実行される出席者情報生成処理を示す。
会場画像トランザクションＦ１に格納された先頭のレコードＲ１が読み込まれ（ステップＳ１）、ＲＡＭ１５の位置ポインタが初期化され、Ｘ＝１、Ｙ＝１が格納される（ステップＳ２）。次いで、位置ポインタの顔貌抽出処理が実行される（ステップＳ３）。
【００２８】
図７に、位置ポインタの顔貌抽出処理を示す。まず、記録部１６に記憶されている位置定義情報Ｆ２１を参照することにより、位置ポインタに相当する物理位置（Ｘ距離、Ｙ距離）が確定される（ステップＳ１０１）。次いで、物理位置（Ｘ距離、Ｙ距離）に対応する画像が、レコードＲ１の会場画像から抽出される（ステップＳ１０２）。そして、抽出された画像に含まれる出席者の顔貌画像が抽出され（ステップＳ１０３）、図６のステップＳ４に移行する。確定された物理位置に人が存在しない場合は、抽出結果は空となる。
【００２９】
図６のステップＳ４においては、出席者情報処理が実行される。
図８に、出席者情報処理を示す。位置ポインタの顔貌抽出処理において顔貌画像が抽出されず、空の場合（ステップＳ１１０；ＹＥＳ）、本処理は終了し、図６のステップＳ５に移行する。顔貌画像が空でなく（ステップＳ１１０；ＮＯ）、今回の出席者情報生成処理において初めて出席者情報処理が行われ、まだ記録部１６に出席者顔貌情報Ｆ２２が生成されていない場合（ステップＳ１１１；ＮＯ）、処理はステップＳ１１４に移行し、出席者顔貌情報Ｆ２２が生成され、当該顔貌画像のシリアルＮＯ．が決定されて顔貌画像とともにＲ２２として登録される。出席者顔貌情報Ｆ２２が既存の場合（ステップＳ１１１；ＹＥＳ）、出席者顔貌情報Ｆ２２に当該抽出された顔貌画像と近似した顔貌画像が存在するかの照合が行われる（ステップＳ１１２）。出席者顔貌情報Ｆ２２に当該顔貌画像と近似した顔貌画像が存在しない場合（ステップＳ１１３；ＮＯ）、当該顔貌画像のシリアルＮＯ．が決定され、顔貌画像と対応付けてＲ２２が生成され、出席者顔貌情報Ｆ２２に新規のレコードとして追加登録される（ステップＳ１１４）。図９（ａ）にレコードＲ２２の構造を示す。
【００３０】
次いで、事前登録情報Ｆ２０に当該顔貌画像と近似する顔貌画像が存在するかの照合が行われ、存在した場合は、該当する登録ＮＯ．が読み出される（ステップＳ１１５）。そして、出席者情報Ｆ２３に新規のＲ２３が追加され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）が登録される（ステップＳ１１６）。なお、今回の出席者情報生成処理において初めて出席者情報処理が行われ、まだ記録部１６に出席者情報Ｆ２３が生成されていない場合、出席者情報Ｆ２３が生成され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）からなるＲ２３が登録され記録部１６に保存される。図９（ｂ）にレコードＲ２３の構造を示す。
【００３１】
一方、ステップＳ１１３において、位置ポインタの顔貌抽出処理で抽出された顔貌画像と近似した画像が出席者顔貌情報Ｆ２２に存在した場合、近似した画像の画像のシリアルＮＯ．が取得され（ステップＳ１１７）、出席者情報Ｆ２３において、取得されたシリアルＮＯ．を含むレコードＲ２３が選択される（ステップＳ１１８）。複数のＲ２３が存在する場合は、シリアルＮＯ．の新しいレコードＲ２３が選択される。次いで、選択されたレコードＲ２３の位置Ｘ，Ｙと位置ポインタとの比較が行われ（ステップＳ１１９）、比較の結果、一致しない場合、即ち、その顔貌の人物の位置が移動していた場合（ステップＳ１２０；ＹＥＳ）、出席者情報Ｆ２３に新規のＲ２３が追加され、シリアルＮＯ．、登録ＮＯ．、位置Ｘ、Ｙ（＝位置ポインタ）、開始日時（＝Ｒ１の日時）が登録され（ステップＳ１２２）、処理は図６のステップＳ５に移行する。比較の結果、一致した場合、即ち、その顔貌の人物の位置が移動していない場合（ステップＳ１２０；ＮＯ）、レコードＲ２３の終了日時がレコードＲ１の日時で更新され（ステップＳ１２１）、処理は図６のステップＳ５に移行する。
【００３２】
図６のステップＳ５においては、上述した位置ポインタの顔貌抽出処理、出席者情報処理の終了後、位置ポインタがＸ＝ｎ、Ｙ＝ｍ、即ち最終ポインタか否かが判断され、最終ポインタでない場合（ステップＳ５；ＮＯ）、位置ポインタが次ポインタに進められ（ステップＳ６）、そのポインタについて上述した位置ポインタの顔貌抽出処理、出席者情報処理が実行される。最終ポインタである場合は、会場画像トランザクションＦ１に処理していないレコードＲ１が残っているか否かが判断され、残っている場合は（ステップＳ７；ＹＥＳ）、処理はステップＳ１に戻り、ステップＳ１〜Ｓ７が繰り返し実行される。会場画像トランザクションＦ１に処理していないレコードＲ１が残っていない場合は（ステップＳ７；ＮＯ）、本処理は終了する。
【００３３】
上記出席者情報生成処理により、出席者情報Ｆ２３が生成される。なお、座席の移動などで出席者の存在位置に変化が生じた場合、出席者が途中退席した後、再度出席した場合は、一人の出席者（一つのシリアルＮＯ．）に対して複数のレコードＲ２３が生成される。
【００３４】
図４の出席者情報生成処理（Ｍ２）で出席者情報Ｆ２３が生成された後、会場画像トランザクションＦ１と出席者情報Ｆ２３を入力として表情評価処理（Ｍ３）、動作評価処理（Ｍ４）が実行される。
【００３５】
図１０に、ＣＰＵ１１により実行される表情評価処理の一例を示す。なお、当該表情評価処理は、シリアルＮＯ．、即ち出席者毎に実行される処理であり、結果として生成される出席者別表情評価情報Ｆ３は、出席者数分生成される。
まず、評価対象の時間帯が所定の単位時間の時間帯に区切られ、各時間帯にシリアルの時間帯ＮＯ．が設定される（ステップＳ１０）。次いで、出席者情報Ｆ２３から、シリアルＮＯ．順に、シリアルＮＯ．毎のレコードＲ２３が読み出され（ステップＳ１１）、時間帯ＮＯ．毎にステップＳ１２〜１５の処理が実行される。
【００３６】
ステップＳ１２において、読み出されたレコードＲ２３の開始日時と終了日時に基づいて時間帯ＮＯ．に対応するレコードＲ２３が選択され、出席者の位置が抽出される。続いて会場画像トランザクションＦ１から日時に基づいて時間帯ＮＯ．に対応するレコードＲ１が読み出され、ステップＳ１２で抽出された出席者の位置に該当する画像データが抽出される（ステップＳ１３）。抽出された画像データから、出席者の顔貌データが抽出され、抽出された顔貌データから眼球の動きが予め設定された基準レベル以上か否かが判定されることにより意識レベルが決定され（ステップＳ１４）、これを評価１とする。そして、時間帯ＮＯ．と評価１がレコードＲ３に登録され、シリアルＮＯ．毎に出席者別表情評価情報Ｆ３が生成されてレコードＲ３が格納される（ステップＳ１５）。時間帯ＮＯ．が最終でない場合は（ステップＳ１６；ＮＯ）、次の時間帯ＮＯ．に移行し（ステップＳ１７）、ステップＳ１２〜Ｓ１７が繰り返し実行される。時間帯ＮＯ．が最終である場合は、最終のシリアルＮＯ．であるかが判断され、最終のシリアルＮＯ．でなければ次のシリアルＮＯ．に移行してステップＳ１１〜１８が繰り返し実行される。最終のシリアルＮＯ．の処理が終了すると、本処理は終了する。
【００３７】
図１１（ａ）に、出席者別表情評価レコードＲ３のレコード構造を示す。ステップＳ１４における意識レベルの判定は、図１１（ａ）に示すように、本実施の形態においては、意識レベルは良好（眼球に適切な動きがある、即ち眼球の動きが予め設定された基準レベル以上である）と不良（眼球に動きが少ない、即ち眼球の動きが予め設定された基準レベルに満たない）の２段階で評価される。結果（評価１）は、意識レベル良好の場合は０、意識レベル不良の場合は１が格納される。また、出席者の姿勢により眼球の画像が得られない場合は、意識レベルは不明と判定され、結果（評価１）は２が格納される。なお、眼球の動きの判定は、２段階に限らず、より細分化するようにしてもよい。
【００３８】
次に、ＣＰＵ１１により実行される動作評価処理について説明する。なお、動作評価処理の処理手順は、図１０で説明した表情評価処理とほぼ同じであり、図１４で判定する評価と出力レコードが異なるのみであるので、相違点のみ説明する。
【００３９】
動作評価処理においては、図１０のステップＳ１３で抽出された画像データからまず顔貌データが抽出され、眼球測定が不可能である場合に、画像データから予め設定された基準に基づいて動作を判定することにより動作レベルが決定される。この結果を評価２とする。そして、時間帯ＮＯ．と評価２がレコードＲ４に登録され、シリアルＮＯ．毎に出席者別動作評価情報Ｆ４が生成されてレコードＲ４が格納される。
【００４０】
図１１（ｂ）に、出席者別動作評価レコードＲ４のレコード構造を示す。動作レベルの判定は、図１１（ｂ）に示すように、本実施の形態においては、動作レベルは良好（許容される動作：筆記動作、キーボード動作等）と不良（うつむく、横を向く等、許容される動作以外の動作）の２段階で評価される。例えば、許容される動作の画像データを記録部１６に記憶しておき、抽出された画像データが近似しているか否かにより動作レベルが良好か不良かが判断される。結果（評価２）は、意識レベル良好の場合は１、意識レベル不良の場合は２が格納される。また、意識レベルが測定可能である場合は、結果（評価２）に０が優先して格納される。このように意識レベルが測定可能である場合に動作レベルの結果を格納しないのは、後述する参加度評価処理１、２等において、動作レベルに対して意識レベル優先を優先するためである。なお、動作レベルの判定は２段階に限らず、より細分化するようにしてもよい。
【００４１】
出席者別表情評価情報Ｆ３と出席者別動作評価情報Ｆ４が作成されると、この２つの情報を入力として参加度評価１処理（図４のＭ５）が実行され、出席者毎に各時間帯の参加度評価が行われて出席者別参加度評価情報Ｆ５が生成される。参加度評価により、各出席者の出席者別表情評価情報Ｆ３と出席者別動作評価情報Ｆ４から時間帯ＮＯ．が同一のレコードＲ２３とレコードＲ２４が読み出され、評価１、評価２に格納されている数値から、図１１（ｃ）に示す表のルールに基づいて、出席者がその時間帯に実質的に催しに参加していたか、参加していなかったかが評価され、結果は評価３として、時間帯ＮＯ．と対応付けられレコードＲ５に登録され、出席者別参加度評価情報Ｆ５に格納される。即ち、参加度評価は、各出席者の時間帯別の参加状態を評価するものである。表の０は参加、１は不参加である。表の黒塗り部分の組み合わせは存在しない。例えば、評価２が「０」、即ち意識レベルが測定可能であるときは、評価１が「２」、即ち意識レベル不明となることはない。また、評価２が「１」又は「２」、即ち動作レベルの良好、不良が判定されている場合は、評価１が「０」又は「１」、即ち意識レベルが測定されている、ということはない。図１１（ｄ）に出席者別参加度評価情報Ｆ５に格納されるレコードＲ５の構成を示す。なお、出席者別参加度評価情報Ｆ５には、ヘッダ情報として、出席者のシリアルＮＯ．、登録ＮＯ．及び氏名、性別、年齢等の個人情報が格納される。
【００４２】
出席者別参加度評価情報Ｆ５が生成されると、各出席者の出席者別参加度評価情報Ｆ５を入力として、参加度評価２処理（図４のＭ６）が実行され、会場全体の参加度評価が行われて会場別参加度評価情報Ｆ６が生成される。会場全体の参加度評価の結果は、催しに対する出席者の実質的な参加率を示すものであり、催しに対する評価である。具体的には、時間帯毎に各出席者の評価３が集計され、参加率が計算され、時間帯ＮＯ．とともにレコードＲ６に登録され、会場者別参加度評価情報Ｆ６に格納される。図１１（ｅ）に会場全体参加度評価情報Ｆ６に格納される会場全体参加度評価レコードＲ６の構成を示す。会場全体参加度評価情報Ｆ６には、ヘッダ情報として、日付と評価対象時間が格納される。
【００４３】
以上説明した手順により、出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６が生成される。出席者別参加度評価情報Ｆ５は、出席者の参加状態を個別に評価するために利用することができ、会場全体参加度評価情報Ｆ６は、催しや催しの実行者を評価するために利用することができる。
【００４４】
以下、会場全体参加度評価情報Ｆ６を活用する例として、塾講師の授業評価について説明する。
図１２に、ＣＰＵ１１により実行される進学塾講師評価表出力処理を示す。
【００４５】
入力部１２からの指示により進学塾講師評価表の出力が指示されると、表示部１３に進学塾講師評価表のタイトル行（講師名、授業（科目、月日、時限）、参加率％（平均、最高、最低）からなるフィールド）が出力される（ステップＳ２０）。次に、講師名、授業（科目、月日、時限）が出力される（ステップＳ２１）。続いて、月日、時限に対応する会場全体参加度評価情報Ｆ６の全てのレコード（レコード１からｎ）が読み込まれ、各レコードの参加率が比較されて参加率の最高及び最低が決定され、参加率％の最高、最低フィールドに出力される（ステップＳ２２）。また、レコード１からｎの参加率の平均が、下記の式により計算されて参加率％の平均フィールドに出力される（ステップＳ２３）。
2004272529.tif 000003
【００４６】
次いで、出力された平均、最高、最低の参加率が、記録部１６に記憶されている講師評価テーブルＴ１を参照することにより評価され、ランクが決定され、ランク記号（◎、○、△、×）が評価フィールドに出力される（ステップＳ２４）。図１３に、講師評価テーブルＴ１の一例を示す。評価は、講師評価テーブルＴ１のランクＮＯ．１から順にＡＮＤ条件で行われ、ランクＮＯ．３までに該当しない場合にランクＮＯ．４とされる。評価が出力された後、他の講師や時間について評価を行う場合は（ステップＳ２５；ＮＯ）、ステップＳ２１〜Ｓ２５が繰り返し実行される。評価を終了する場合は（ステップＳ２５；ＹＥＳ）、本処理は終了する。
【００４７】
なお、Ｔ１は変更可能であり、評価基準値の変更、ランクの追加・削除、評価項目の追加・削除、評価記号の変更等は随時可能である。また、評価結果は、表示部１３に出力するだけでなく、印刷部１７から出力することが望ましい。また、通信ネットワークを介してプリンタやＰＣ等の外部機器に出力し、印刷したり加工したりすることができる。
【００４８】
図１４に、上述した進学塾講師評価表出力処理により出力される進学塾講師評価表の一例を示す。このように、講師の各時間帯の授業に対する生徒の実質的な参加率及びその評価が表として出力されることにより、塾経営者の塾講師の評価や、生徒及び父兄の講師選択の参考資料として活用することができる。
【００４９】
塾講師の授業において生成される会場全体参加度評価情報Ｆ６は、その他、下記のようにして利用することもできる。
・画像撮影装置２から本体１に会場画像データが入力されたらただちに上述した手順で会場全体参加度評価情報Ｆ６を生成し、リアルタイムで講師に伝達する。即ち、画像データ処理装置１００は、伝達手段として、参加率の値、参加率を評価した記号、参加率を示す色等を表示する表示装置（モニタ、ランプ等）備えるようにし、講師の見えるところに設置する。これにより、講師はリアルタイムに参加率を把握可能となり、参加率アップを目的とした授業内容の調整等が可能となる。
【００５０】
・Ｆ６を利用し、時間帯による参加率の変化を表やグラフにして授業を行った講師に提供する。他の講師の時間帯による参加率の変化との比較や、同一講師による他の複数授業の時間帯による参加率の変化との比較を表、グラフ等にして提供すると、より効果的な情報となる。このようにして講師が授業内容と参加率の関係を知ることにより、授業の改善に役立てることができる。
【００５１】
また、塾講師の授業において生成される出席者別参加度評価情報Ｆ５を活用することもできる。例えば、ある生徒の時間帯ごとの実質的な参加／不参加を表やグラフにして表示部１３に出力して、ある生徒の授業参加状態を講師が把握したり、印刷部１７により出力して生徒の父兄に提供したりすることができる。その授業における生徒全体の参加率変化と比較して表やグラフにし、その授業の時間帯ごとの授業評価も併せて提供するようにすると、より効果的な情報とすることができる。このように、出席者別参加度評価情報Ｆ５により、生徒の参加度を把握して、以降の生徒の指導に活用することができる。更に、出席者別参加度評価情報Ｆ５の位置情報の変化から、生徒の入退室、移動等についても時系列で分析することができる。
【００５２】
以上説明したように、画像データ処理装置１００によれば、画像撮影装置２により入力される会場画像データから、時間帯毎に各出席者の顔貌データ、画像データを抽出して表情評価、動作評価を行って、これらの評価に基づいて出席者別に時間帯毎の参加度評価を行い、出席者別参加度情報Ｆ５を生成する。また、各出席者の出席者別参加度評価情報Ｆ５から会場全体の時間帯毎の参加率評価を計算し、会場全体参加度評価情報Ｆ６を生成する。生成された各出席者の出席者別参加度評価情報Ｆ５、会場全体参加度評価情報Ｆ６は、加工して表示したり印刷物として出力したりすることで、催しの実行者や各出席者の評価情報を提供することができる。
【００５３】
従って、従来の出席者数や出席率による評価と比べて、催しの内容に立脚してその有効性の評価を行うことができる。また、時間帯毎に評価を分析することができるので、パフォーマンスの手法等の研究に役立てることができる。また、催しの実行者のみならず、各出席者を特定して参加状態、集中度を評価することができる。出席者の入退室、移動等についても時系列で分析することができる。
【００５４】
なお、上記実施の形態における記述内容は、本実施の形態における好適な一例であり、これに限定されるものではない。また、画像データ処理装置１００の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５５】
【発明の効果】
本発明によれば、催しの有効性や出席者の参加状態の評価、分析を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像データ処理装置１００の全体構成を示す図である。
【図２】図１の本体１の機能的構成を示すブロック図である。
【図３】（ａ）は、図２の事前登録情報Ｆ２０に格納されるレコードＲ２０のレコード構造を示す図、（ｂ）は、図２の位置定義情報Ｆ２１に格納されるレコードＲ２１のレコード構造を示す図、（ｃ）は会場平面図における位置Ａの位置定義方法の一例を説明する図、（ｄ）はＲ２１の一例として、（ｃ）の位置Ａの定義情報を登録したＲ２１を示す図である。
【図４】図１の画像データ処理装置１００の参加度評価データ作成手順を模式的に示す図である。
【図５】図４の会場画像トランザクションＦ１に格納されるレコードＲ１の構造を示す図である。
【図６】図２のＣＰＵ１１により実行される出席者情報生成処理を示すフローチャートである。
【図７】図２のＣＰＵ１１により実行される位置ポインタの顔貌抽出処理を示すフローチャートである。
【図８】図２のＣＰＵ１１により実行される出席者情報処理を示すフローチャートである。
【図９】（ａ）は、図４の出席者顔貌情報Ｆ２２に格納されるレコードＲ２２の構造を示す図、（ｂ）は、図４の出席者情報Ｆ２３に格納されるレコードＲ２３の構造を示す図である。
【図１０】図２のＣＰＵ１１により実行される表情評価処理を示すフローチャートである。
【図１１】（ａ）は、図４の出席者別表情評価情報Ｆ３に格納されるレコードＲ３の構造を示す図、（ｂ）は、図４の出席者別動作評価情報Ｆ４に格納されるレコードＲ４の構造を示す図、（ｃ）は出席者別参加度評価の評価テーブル、（ｄ）は図４の出席者別参加度評価情報Ｆ５に格納されるレコードＲ５の構造を示す図、（ｅ）は図４の会場全体参加度評価情報Ｆ６に格納されるレコードＲ６の構造を示す図である。
【図１２】図２のＣＰＵ１１により実行される進学塾講師評価表出力処理を示すフローチャートである。
【図１３】図２の記録部１６に格納される講師評価テーブルＴ１の一例を示す図である。
【図１４】図１２の進学塾講師評価表出力処理により出力される進学塾講師評価表の一例を示す図である。
【符号の説明】
１００    画像データ処理装置
１    本体
１１    ＣＰＵ
１２    入力部
１３    表示部
１４    画像撮影装置接続部
１５    ＲＡＭ
１６    記録部
１７    印刷部
１８    通信部
１９    バス
２    画像撮影装置
【図１】
2004272529.tif 000004
【図２】
2004272529.tif 000005
【図３】
2004272529.tif 000006
【図４】
2004272529.tif 000007
【図５】
2004272529.tif 000008
【図６】
2004272529.tif 000009
【図７】
2004272529.tif 000010
【図８】
2004272529.tif 000011
【図９】
2004272529.tif 000012
【図１０】
2004272529.tif 000013
【図１１】
2004272529.tif 000014
【図１２】
2004272529.tif 000015
【図１３】
2004272529.tif 000016
【図１４】
2004272529.tif 000017