(57)【特許請求の範囲】
【請求項１】
講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、
前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行い、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目についての分析結果を示す情報であり、顔の表情、顔の向き、視線方向、およびまばたきを示す情報を取得する顔分析部と、
前記顔の表情、顔の向き、視線方向、およびまばたきを示す情報を用いて、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別に、顔の数を集計する統計分析部と、
前記顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別の顔の集計結果を用いて、前記講義の評価を行う講義評価部と、
前記講義評価部の評価結果を出力する出力部とを備えた顔分析装置であって、
講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部と、
前記講師情報の変化の検出を行う変化検出部と、
前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部と、
前記関連統計分析部の統計分析の結果を用いて、前記講義の評価を行う関連講義評価部とを更に備え、
前記顔分析部は、前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果であり、顔の表情の分析項目についての分析結果を示す情報を取得し、
前記出力部は、前記関連講義評価部の評価結果を出力する顔分析装置。
【請求項２】
前記統計分析部は、
顔の表情のうち、笑い、怒り、または悲しみの顔の出現回数を集計し、
前記講義評価部は、
前記笑い、怒り、または悲しみの顔の出現回数を用いて、前記講義の評価を行う請求項１記載の顔分析装置。
【請求項３】
前記出力部は、前記関連統計分析部の統計分析の結果をも出力する請求項１または請求項２記載の顔分析装置。
【請求項４】
前記変化検出部は、
講師情報に含まれる講師音声情報のレベルが、予め指定された閾値以上である１以上の時点を検出し、
前記関連統計分析部は、
前記変化検出部が検出した１以上の時点の直後の受講生画像からそれぞれ検出された、笑っている顔の数を集計し、
前記関連講義評価部は、
前記笑っている顔の集計数が、予め指定した閾値以上である場合に、関心が持続する講義であることを示す評価結果を取得する請求項１から請求項３いずれか一項に記載の顔分析装置。
【請求項５】
前記顔分析部は、時系列に沿った受講生の顔の分析結果を取得し、
前記出力部は、前記顔分析部の顔の分析結果を時系列に沿って出力する請求項１から請求項４いずれか一項に記載の顔分析装置。
【請求項６】
前記出力部が出力する一の時点の顔の分析結果に対する指定を受け付ける指定受付部を更に備え、
前記出力部は、当該指定受付部が指定を受け付けた分析結果に対応する時点の受講生画像を出力する請求項５記載の顔分析装置。
【請求項７】
前記出力部は、前記受講生画像を出力する際に、受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を出力する請求項６記載の顔分析装置。
【請求項８】
講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部と、顔分析部と、統計分析部と、講義評価部と、出力部と、変化検出部と、関連統計分析部と、関連講義評価部とを用いて行われる顔分析方法であって、
前記顔分析部が、前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行い、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目についての分析結果を示す情報であり、顔の表情、顔の向き、視線方向、およびまばたきを示す情報を取得する顔分析ステップと、
前記統計分析部が、前記顔の表情、顔の向き、視線方向、およびまばたきを示す情報を用いて、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別に、顔の数を集計する統計分析ステップと、
前記講義評価部が、前記顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別の顔の集計結果を用いて、前記講義の評価を行う講義評価ステップと、
前記出力部が、前記講義評価ステップにおける評価結果を出力する出力ステップとを備えた顔分析方法であって、
前記変化検出部が、前記講師情報の変化の検出を行う変化検出ステップと、
前記関連統計分析部が、前記変化検出ステップにおいて変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析ステップと、
前記関連講義評価部が、前記関連統計分析ステップにおける統計分析の結果を用いて、前記講義の評価を行う関連講義評価ステップとを更に備え、
前記顔分析ステップは、前記変化検出ステップにおいて変化を検出した時点直後に取得された受講生画像に対する顔の分析結果であり、顔の表情の分析項目についての分析結果を示す情報を取得し、
前記出力ステップにおいて、前記関連講義評価ステップにおける評価結果を出力する顔分析方法。
【請求項９】
講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部とにアクセス可能なコンピュータを、
前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行い、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目についての分析結果を示す情報であり、顔の表情、顔の向き、視線方向、およびまばたきを示す情報を取得する顔分析部と、
前記顔の表情、顔の向き、視線方向、およびまばたきを示す情報を用いて、顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別に、顔の数を集計する統計分析部と、
前記顔の表情、顔の向き、視線方向、およびまばたきを含む分析項目別の顔の集計結果を用いて、前記講義の評価を行う講義評価部と、
前記講義評価部の評価結果を出力する出力部として機能させるためのプログラムであって、
コンピュータを、
前記講師情報の変化の検出を行う変化検出部と、
前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部と、
前記関連統計分析部の統計分析の結果を用いて、前記講義の評価を行う関連講義評価部としてさらに機能させ、
前記顔分析部は、前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果であり、顔の表情の分析項目についての分析結果を示す情報を取得し、
前記出力部は、前記関連講義評価部の評価結果を出力するものとして、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講義中の１以上の受講生の顔を認識し、講義中の顔を分析する顔分析装置等に関するものである。
【背景技術】
【０００２】
従来、教室を入退室する生徒及び指導者（講師）から発信される個人識別情報を受信し、これを入退室情報として入退室情報データベースに蓄積する入退室情報データベースサーバと、入退室情報データベースから、生徒と指導者（講師）が各１名ずつとなっている教室情報を取得する人数確認プログラムを有するＷｅｂサーバと、人数確認プログラムによって該当教室が存在した場合に、該当教室を管理する管理者へ電子メールを送信するメールサーバと、を備えたことを特徴とする教室管理システムが知られていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２９１１７号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、講義中における受講生（例えば生徒）等の受講状況等を客観的に適切に分析することができず、この結果、講義に関する適切な分析を行うことができない、という課題があった。
【課題を解決するための手段】
【０００５】
本発明の顔分析装置は、講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部と、顔分析部による分析結果に関連する情報を出力する出力部とを備えた顔分析装置である。
【０００６】
かかる構成により、受講生画像から認識した講義中の１以上の受講生の顔を分析して、講義に関する適切な分析を行うことができる。また、受講生画像から、受講生の顔を自動認識して分析を行うため、分析の際に受講生の顔等を見る必要がなく、受講生のプライバシーを確保することができる。
【０００７】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部を更に備え、出力部は、統計分析の結果を出力する顔分析装置である。
【０００８】
かかる構成により、講義中の１以上の受講生の顔の分析結果についての統計分析結果を出力することができる。
【０００９】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部と、統計分析部の統計分析の結果を用いて、講義の評価を行う講義評価部を更に備え、出力部は、講義評価部の評価結果を出力する顔分析装置である。
【００１０】
かかる構成により、統計分析結果を利用して、講義に対する評価結果を出力することができる。
【００１１】
また、本発明の顔分析装置は、前記顔分析装置において、講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部と、講師情報の変化の検出を行う変化検出部とを更に備え、顔分析部は、変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果を取得し、出力部は、変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果に関連する情報を出力する顔分析装置である。
【００１２】
かかる構成により、講師情報の変化を更に利用して、講義に関するより適切な分析を行うことができる。
【００１３】
また、本発明の顔分析装置は、前記顔分析装置において、変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部を更に備え、出力部は、関連統計分析部の統計分析の結果を出力する顔分析装置である。
【００１４】
かかる構成により、講師情報に変化が生じた場合の１以上の受講生の顔の分析結果についての統計分析結果を出力することができる。
【００１５】
また、本発明の顔分析装置は、前記顔分析装置において、変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部と、関連統計分析部の統計分析の結果を用いて、講義の評価を行う関連講義評価部を更に備え、出力部は、関連講義評価部の評価結果を出力する顔分析装置である。
【００１６】
かかる構成により、講師情報に変化が生じた場合の顔の分析結果についての統計分析の結果を利用して、講義に対するより適切な評価結果を出力することができる。
【００１７】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部は、時系列に沿った受講生の顔の分析結果を取得し、出力部は、顔分析部の顔の分析結果を時系列に沿って出力する顔分析装置である。
【００１８】
かかる構成により、顔の分析結果を時系列順に出力することができる。
【００１９】
また、本発明の顔分析装置は、前記顔分析装置において、出力部が出力する一の時点の顔の分析結果に対する指定を受け付ける指定受付部を更に備え、出力部は、指定受付部が指定を受け付けた分析結果に対応する時点の受講生画像を出力する顔分析装置である。
【００２０】
かかる構成により、指定された分析結果に対応する受講生画像を容易に出力することができる。
【００２１】
また、本発明の顔分析装置は、前記顔分析装置において、前記出力部は、前記受講生画像を出力する際に、受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を出力する顔分析装置である。
【００２２】
かかる構成により、表示される受講生画像から、受講生を特定できないようにして、受講生のプライバシーを保護することができる。
【発明の効果】
【００２３】
本発明による顔分析装置等によれば、講義に関する適切な分析を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１における顔分析装置のブロック図
【図２】同動作について説明するフローチャート
【図３】同受講生画像のフレーム画像の一部を模式的に示す図
【図４】同顔が認識された状態のフレーム画像を示す模式図
【図５】同顔分析結果管理表を示す図
【図６】同統計分析結果管理表を示す図
【図７】同表示例を示す図
【図８】同表示例を示す図
【図９】同表示例を示す図
【図１０】本発明の実施の形態２における顔分析装置のブロック図
【図１１】同動作について説明するフローチャート
【図１２】同講師情報の一部を示す図
【図１３】同変化時分析結果管理表を示す図
【図１４】同統計分析結果管理表を示す図
【図１５】本発明の各実施の形態におけるコンピュータシステムの外観の一例を示す図
【図１６】同コンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００２５】
以下、顔分析装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２６】
（実施の形態１）
図１は、本実施の形態における顔分析装置１のブロック図である。
【００２７】
顔分析装置１は、第一撮影部１１、受講生画像格納部１２、顔分析部１３、統計分析部１４、講義評価部１５、指定受付部１６、出力部１７を備える。
【００２８】
第一撮影部１１は、講義中の１以上の受講生の顔を撮影して、講義中の１以上の受講生の顔の画像を取得する。１以上の受講生の顔の画像とは、例えば、少なくとも１以上の受講生の顔が含まれている画像を意味する。第一撮影部１１は、複数の受講生の顔を含む画像を取得することが好ましい。第一撮影部１１は、例えば、１以上の受講生の正面側から撮影を行って動画像を取得する。講義とは、例えば、小中学校や、高等学校、大学、塾、予備校等における授業等も含む概念である。受講生は、例えば、講義を受講している生徒である。受講生は、受講者と考えても良い。また、受講生は、講義に参加しているものであれば、講義を受講する申込みや資格の有無等は問わない。第一撮影部１１は、動画像を撮影する。なお、予め指定された一定または不定のタイミングで連続して撮影された複数の静止画像も、ここでは動画像と考えて良い。かかることは、以下においても同様である。第一撮影部１１は、撮影した動画像を、例えば、受講生画像格納部１２に蓄積する。第一撮影部１１は、時系列と対応付けられた動画像を取得する。例えば、いわゆるタイムコードと対応付けられたフレーム画像で構成される動画像を取得する。フレーム画像は、動画像を構成する各静止画像と考えてよい。第一撮影部１１は、例えばカメラで実現可能である。
【００２９】
受講生画像格納部１２には、受講生画像が格納される。受講生画像は、講義中における１以上の受講生の顔を撮影した動画像である。例えば、受講生画像格納部１２には、第一撮影部１１が撮影した受講生画像が格納される。受講生画像は、複数の受講生の顔を撮影した画像であることが好ましい。受講生画像は、複数の受講生を、複数のエリアに分けてそれぞれ撮影した複数の動画像で構成されていても良い。受講生画像を構成する２以上のフレーム画像や静止画像は、例えば、通常、時系列と対応付けられている。例えば、受講生画像を構成する各フレーム画像や静止画像には、例えば、撮影時刻を示すタイムコード等が対応付けられている。受講生画像のファイル形式や圧縮方式等は問わない。また、画像のサイズや縦横比等は問わない。例えば、受講生画像は、ＭＰＥＧ２やＭＰＥＧ４、モーションＪＰＥＧ、ＡＶＣＨＤ、ＤＶ形式等の形式の動画像である。なお、ここでの時刻は、標準時刻等の絶対的な時刻であっても良いし、撮影開始からの経過時間等の相対的な時刻であっても良い。かかることは以下においても同様である。なお、ここでの格納は一時記憶も含む概念である。受講生画像格納部１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部においても同様である。
【００３０】
顔分析部１３は、受講生画像格納部１２に格納されている受講生画像から１以上の受講生の顔を認識して、認識した顔に対する分析を行う。例えば、顔分析部１３は、例えば、受講生画像から認識した各受講生の顔を分析して、各顔の表情や、向き、視線方向、まばたき（まばたきをしている、目をつぶっている、または、目を開いている等）等の分析項目についての分析結果を示す情報を取得する。ここで取得される分析結果は、例えば、各分析項目別の特徴量を示す値であると考えても良い。この値は、数値であっても良いし、分析結果を示す文字列等であっても良い。顔の分析結果とは、例えば、分析により得られた顔の表情や、向き、視線、まばたきを示す情報であっても良い。顔の表情とは、例えば、笑いや、怒り、悲しみ等の表情である。顔分析部１３は、例えば、受講生画像の一の時点（例えば時刻）の以前または以後に連続したフレーム画像について、それぞれ１以上の顔を検出し、ほぼ同じ場所に検出された顔の画像同士をフレーム画像間で比較することで、一の時点（例えば時刻）についての受講生の顔の表情やまばたきの状況を示す情報を取得してもよい。また、受講生画像の一の時点（例えば時刻）のフレーム画像について、それぞれ１以上の顔を検出し、その顔の画像を分析することで、顔の向きや、視線等を示す情報を取得してもよい。動画像から、顔を認識する処理や、認識した顔を分析して、顔の表情や、向き、視線、まばたきを示す情報を取得する処理は、顔検出技術や、顔表情認識技術等として公知の技術であるので、ここでは詳細な説明は省略する。例えば、次の非特許文献等を参考にされたい（"Sony Japan|技術情報 Sony's Technology｜技術・テーマから見る｜顔画像認識"、［online］、［平成２３年８月２３日検索］、インターネット<URL：http://www.sony.co.jp/SonyInfo/technology/technology/theme/sface_01.html>）。
【００３１】
顔分析部１３は、例えば、受講生画像を用いて、１以上の時点、好ましくは複数の時点（例えば時刻）における受講生の顔の分析結果を取得する。なお、ここでの時点、とは、受講生画像の一の時点のフレーム画像を意味すると考えて良い。かかることは以下においても同様である。例えば、顔分析部１３は、受講生画像を構成する複数の時点のフレーム画像について、それぞれ１以上の受講生の顔を認識し、認識された受講生の顔のそれぞれについて、各フレーム画像ごとに分析結果を取得する。各時点のフレーム画像についての顔の分析結果を取得する際には、各フレームの前または後のフレーム画像を適宜利用してもよい。かかることは以下においても同様である。複数の時点は、例えば、受講生画像が撮影された時間内の、予め指定された時間間隔を隔てた複数の時刻や、ユーザにより指定された複数の時刻やフレーム画像である。例えば、顔分析部１３は、動画である受講生画像についてｎ秒（ｎは１以上の整数）ごとに順次分析結果を取得しても良い。
【００３２】
統計分析部１４は、顔分析部１３が取得した分析結果を用いて、予め指定された統計分析を行う。統計分析部１４は、どのような統計分析を行っても良い。統計分析部１４は、例えば、受講生画像の１以上の各時点ごとに個別に統計分析を行っても良いし、一の講義に対応する受講生画像全体あるいはその一部に対して総合的な統計分析を行っても良い。、また、統計分析部１４は、例えば、顔分析部１３が取得した分析項目別の分析結果について、統計分析を行っても良いし、顔分析部１３が取得した分析項目別の分析結果を利用して、総合的な分析結果を取得して、この総合的な分析結果について統計分析を行っても良い。
【００３３】
例えば、統計分析部１４は、顔分析部１３が動画像の１以上の各時点ごとに取得した分析結果のそれぞれに対して、分析項目別に（例えば、表情別、向き別、視線方向別、まばたきの状況別に）検出された顔の数の集計を行い、その集計結果あるいはその集計結果の検出された顔全体に対する比率等と、各時点を特定する情報（例えば、各時点に対応する時刻や、講義開始からの経過時間やフレーム番号等）とを対応付けた情報を、統計分析結果として取得しても良い。なお、顔の数の集計結果等は、適宜、正規化しても良い。かかることは以下においても同様である。
【００３４】
また、統計分析部１４は、例えば、一の講義において得られた受講生画像の１以上の各時点において、分析項目別に検出された顔を、一の講義（あるいは、その一部）について集計した値、あるいは、この集計した値の検出された顔の数に対する比率を、統計分析結果として取得しても良い。あるいは、受講生画像の１以上の各時点（例えば各時点のフレーム画像）について認識した複数の顔のそれぞれについての分析項目別の分析結果（例えば、表情や顔の向きや視線方向等）を、予め用意された変換表や変換式等を用いて数値に変換し、この数値の平均値や分散や標準偏差等を、各時点について、あるいは、一の講義（あるいは、その一部）について取得しても良い。この数値としては、顔分析の際に用いられる数値を用いても良い。
【００３５】
また、統計分析部１４は、各時点について取得した分析結果の分析項目別の顔の数の集計結果やその比率から、集計結果や比率が高い時点を示す情報（例えば時刻や講義開始からの経過時間等）を統計分析結果として取得しても良い。
【００３６】
また、統計分析部１４は、統計分析結果として、例えば、顔分析部１３が認識した各受講生の顔別に、顔の分析結果を複数の時点にわたって取り出したり、これを時系列に沿って配列したりしてもよい。複数の時点にわたる受講生の顔の分析結果とは、例えば、一の講義について撮影された受講生画像の異なる時点（時刻）において、それぞれ取得した分析結果である。例えば、受講生画像から、２以上の時点（好ましくは複数の時点）において１以上の受講生についての顔の分析結果を取得し、この分析結果を受講生別に時系列に沿って配列したものを取得してもよい。この際、顔分析部１３は、各分析結果を、各分析結果を取得した時点を示す情報（例えば、時刻の情報や、フレーム番号等の情報等）と対応付けた情報を取得するようにしても良い。
【００３７】
また、統計分析部１４は、顔分析部１３が、受講者画像の複数の時点について取得した分析結果について、顔分析部１３が認識した顔ごとに、各分析項目別の分析結果の出現回数を集計して、集計結果と、認識した顔を識別する情報（例えば、認識した顔に割り当てられる識別情報）等とを対応付けた情報を統計結果として取得しても良い。これにより、受講者画像に認識された各受講者の顔の時系列の分析結果の変化を示す統計結果を取得することができる。
【００３８】
また、顔分析部１３は、分析項目別の分析結果の値を多変量として、クラスタ分析や多変量解析を行っても良い。
【００３９】
また、統計分析部１４は、例えば、顔ごとの分析項目の検出結果を数値に変換したものを加算した値、あるいは分析項目別に重み付けして加算した値を、認識された顔ごとの総合的な分析結果である特徴量として取得し、この特徴量を用いて平均値や分散や偏差値等を取得しても良い。
【００４０】
なお、顔分析部１３が取得した分析結果とは、後述する出力部１７が図示しない記憶媒体等に蓄積した顔分析部１３が取得した分析結果であっても良い。
【００４１】
講義評価部１５は、統計分析部１４の統計分析の結果を用いて、講義の評価を行う。ここで行う講義の評価とは、例えば、講義に関連する評価である。講義評価部１５が行う講義の評価は、例えば、講義の進め方や講義の内容に対する評価である。また、講義を受ける受講生に対する評価であっても良いし、講義を行う講師に対する評価であっても良い。例えば、講義の良い悪いを判断する評価や、講義が適切であるか否かを判断する評価や、講義の良さや適切さを、数値や指標で示すことである。あるいは、講義が分かりやすいか否かや、講義がおもしろいか否かや、講義の内容に集中しやすいか否か等の評価であっても良い。
【００４２】
講義評価部１５は、例えば、一の講義全体について統計分析部１４により取得された統計分析の結果を用いて講義の評価を行う。例えば、一の講義全体についての統計分析結果（例えば、一の講義全体において集計された分析項目別の顔の検出数）が、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された評価結果を取得する。なお、条件を満たさない場合も、満たさない場合のために予め用意された評価結果を取得してもよい。この条件は、例えば、分析項目別に用意された、予め指定された分析項目の値が閾値を超える、あるいは閾値を超えないという条件である。あるいは、この条件は、複数の分類項目別に個別に用意された条件を全て満たす、あるいは満たさない、あるいはその一部だけを満たす等の条件であっても良い。
【００４３】
また、講義評価部１５は、例えば、受講生画像の各時点について、統計分析部１４により取得された統計分析の結果が、予め指定された条件を満たすか否かを判断して、講義の評価を行ってもよい。例えば、受講生画像の各時点について統計分析部１４が取得した各分析項目別の顔の検出数（あるいはこれを正規化した値）が、分析項目別に予め指定された閾値を超えるか否かを判断し、１以上の検出数が閾値を超える場合に、条件を満たすと判断して、この条件に対応付けられた評価結果を取得しても良い。
【００４４】
また、講義評価部１５は、上記のように取得した一の講義の受講生画像の各時点についての講義の評価結果を用いて、一の講義の評価結果を取得しても良い。例えば、一の講義の受講生画像の複数の時点についてそれぞれ取得した講義の評価結果の全て、あるいは一部が、予め指定された条件を満たす場合に、この条件に対応付けられた評価結果を、一の講義の評価結果として取得しても良い。例えば、複数の時点についてそれぞれ取得した講義の評価結果のなかに、予め指定された閾値以上の数の、予め指定された評価結果（例えば、生徒の興味が保たれているという評価結果）が含まれている場合、条件を満たすと判断して、この条件に対応付けられた「良質な講義」という評価結果を取得しても良い。あるいは、複数の講義の評価結果を用いて、複数の講義全体の評価結果を取得しても良い。
【００４５】
どのような受講生画像についての統計分析の結果を、講義の評価に用いるかは、講義の評価目的等により適宜変更するようにしてよい。一の講義を評価する場合、評価に用いられる統計分析の結果は、例えば、一の講義において撮影された受講者画像から統計分析部１４が取得した統計分析の結果である。また、一のテーマや、一の科目、一の学年、一のクラス等に対して行われた講義を評価する場合、例えば、一のテーマや、一の科目、一の学年、一のクラス等について行われた１以上（好ましくは複数）の講義において撮影された受講者画像から統計分析部１４が取得した統計分析の結果が評価に用いられる。また、一の講師の講義の評価を行う場合、例えば、一の講師によって行われた１以上（好ましくは複数）の講義において撮影された受講者画像から統計分析部１４が取得した統計分析の結果が評価に用いられる。
【００４６】
なお、講義評価部１５が講義の評価に用いる統計分析部１４の統計分析の結果は、講述する出力部１７が図示しない記憶媒体等に蓄積した統計分析部１４が取得した統計分析結果であっても良い。
【００４７】
指定受付部１６は、顔分析部１３が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、後述する出力部１７が出力する一の時点の顔の分析結果に対する指定を受け付ける。例えば、指定受付部１６は、出力部１７が時系列に沿って出力した顔の分析結果の１以上の指定を受け付ける。ここでの出力は、表示や図示しない記憶媒体への蓄積等である。分析結果の指定とは、分析結果の識別情報や、分析結果を示す画像等に対する指定であっても良い。ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指定のための入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指定受付部１６は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００４８】
出力部１７は、顔分析部１３による分析結果に関連する情報を出力する。顔分析部１３による分析結果に関連する情報は、例えば、顔分析部１３が取得した分析結果の情報である。また、この分析結果の情報と、分析結果の取得対象となったフレーム画像等の取得された時点（例えば、時刻）の情報とを対応付けて有する情報であってもよい。また、顔分析部１３による分析結果に関連する情報は、例えば、顔分析部１３が取得した分析結果を用いて取得された情報であってもよい。例えば、出力部１７は、顔分析部１３による分析結果に関連する情報として、統計分析部１４が取得した統計分析の結果を出力する。また、出力部１７は、顔分析部１３による分析結果に関連する情報として、講義評価部１５の評価結果を出力する。
【００４９】
また、出力部１７は、顔分析部１３が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、顔分析部１３の顔の分析結果を時系列に沿って出力するようにしてもよい。分析結果を時系列に沿って出力するということは、例えば、分析結果を時系列順に並べて出力することである。例えば、分析結果の取得対象となる受講生画像の時点の順番にあわせて、分析結果を配列して出力しても良い。あるいは、分析結果を時刻と対応付けて出力することも、時系列順の並びを容易に把握することができ、時系列順の並び替えも容易であることから、時系列に沿った出力と考えても良い。例えば、出力部１７は、分析結果と、この分析結果の取得対象となる受講生画像の時点を識別する情報（例えば、分析結果の取得対象となる受講生画像のフレーム画像と対応付けられた時刻の情報や、フレーム画像の識別情報等）とを、対応付けて出力してもよい。また、特に出力が表示である場合、各分析結果の識別情報や、分析結果と対応付けられたリンクボタン等を、時間軸と対応付けて表示することも、分析結果を時系列に沿って出力することと考えても良い。
【００５０】
また、出力部１７は、顔分析部１３が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、指定受付部１６が指定を受け付けた分析結果に対応する時点の受講生画像を出力する。例えば、出力部１７は、指定受付部１６が指定を受け付けた分析結果に対応する時点（例えば時刻）と対応付けられたフレーム画像を、受講生画像格納部１２から読み出して出力する。あるいは、指定受付部１６が指定を受け付けた分析結果に対応する時点の前後の期間の動画像を受講生画像から読み出して、指定を受け付けた分析結果に対応する時点の受講生画像として出力しても良い。なお、受講生画像（例えば、フレーム画像）を出力する際には、受講生画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を、出力するようにしても良い。顔の部分を、受講生が識別できなくなるような表示態様にするということは、例えば、受講生画像の受講生の顔の部分に、単色の画像や、予め用意されているアイコン等の画像や、パターン画像等の、受講生の個々の顔とは無関係な画像を表示することや、受講生の顔の部分をマスク処理して顔を非表示とすることや、受講生の顔の部分の画像に対してモザイク処理やぼかし処理を行うことである。なお、受講生画像に含まれる受講生の顔の部分は、例えば、顔分析部１３が、顔の分析を行う際に受講生画像について認識した顔の領域を示す情報（例えば、顔の輪郭の画素の座標や、顔を構成する画素の座標）を用いて検出しても良いし、出力部１７が受講生画像を出力する際に、顔分析部１３が、顔の分析を行う際の処理と同様に、受講生画像内の顔を認識することで検出しても良い。このようにすることで、受講生画像内の各受講生の顔が見分けられないようにして、受講生のプライバシーを保護することが可能となる。
【００５１】
ここでの出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。また、ここで述べる出力とは、一時記憶も含む概念である。出力部１７は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。なお、かかることは、以下の出力部においても同様である。
【００５２】
次に、顔分析装置１の動作について図２のフローチャートを用いて説明する。なお、ここでは、予め、一の講義について撮影された受講生画像が、予め受講生画像格納部１２に格納されているものとする。この受講生画像は、ここでは、一のファイルを構成する動画像であるとする。受講生画像の各フレーム画像には、タイムコードが対応付けられているものとする。
【００５３】
（ステップＳ２０１）顔分析装置１は、図示しない受付部等を介して、受講生画像格納部１２に格納されている一の受講生画像を分析する指示を受け付けたか否かを判断する。指示を受け付けた場合、ステップＳ２０２に進み、受け付けていない場合、ステップＳ２０１に戻る。
【００５４】
（ステップＳ２０２）顔分析部１３は、カウンターｎに１を代入する。
【００５５】
（ステップＳ２０３）顔分析部１３は、受講生画像内に、分析対象となるｎ番目の時刻と対応付けられたフレーム画像が、分析対象となる受講生画像に存在するか否かを判断する。ここでのフレーム画像は連続したフレーム画像でなくてよい。例えば、撮影開始から５秒間隔で顔分析を順次行う場合、撮影開始からｎ×５秒後のタイムコードと対応付けられたフレーム画像が存在するか否かを判断する。フレーム画像がある場合、ステップＳ２０４に進み、ない場合、ステップＳ２１０に進む。
【００５６】
（ステップＳ２０４）顔分析部１３は、ｎ番目の時刻と対応付けられたフレーム画像について、１以上の顔を順次認識する。顔分析部１３は、例えば、認識した１以上の顔の輪郭を示す情報に対して、それぞれ、顔の識別情報を付与して、図示しない記憶媒体等に一時記憶する。
【００５７】
（ステップＳ２０５）顔分析部１３は、ステップＳ２０４で認識した各顔について分析を行う。例えば、ステップＳ２０４で認識した各顔ごとに、予め指定された分析項目についての分析を行い、分析結果を示す情報を取得する。顔の分析を行う際には、例えば、ｎ番目の時刻と対応付けられたフレーム画像の前または後のフレーム画像を利用してもよい。
【００５８】
（ステップＳ２０６）顔分析部１３は、各顔の識別情報と、各顔についての分析結果と、分析態様となったフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。これにより、分析結果が時系列に沿って出力（ここでは、特に蓄積）される。この蓄積は、出力部１７が行うようにしても良い。なお、顔分析部１３は、ｎ番目の時刻と対応付けられたフレーム画像について、顔を検出する処理を行い、一の顔を検出するごとに、その顔についてステップＳ２０５に示すような分析を行い、その分析結果を蓄積する処理を、新たな顔が検出できなくなるまで繰り返し行うようにしても良い。
【００５９】
（ステップＳ２０７）統計分析部１４は、ｎ番目の時刻と対応付けられたフレーム画像に対する顔分析部１３の分析結果を用いて、統計分析を行う。例えば、ステップＳ２０６で取得した各顔の分析結果について、分析結果が同じである顔の数を集計する。例えば、この集計値が、統計分析結果である。例えば、分析結果が同じものとは、例えば、分析項目と、その分析項目について得られた分析値が同じものである。なお、一の顔に関して複数の分析結果が得られている場合、一部の分析結果が同じものを優先的に集計するようにしても良い。あるいは、この一の顔を、それぞれの分析結果の集計において重複してカウントしても良い。なお、ここでは、フレーム画像ごとに統計分析を行うが、複数のフレーム画像に対する顔分析部１３の分析結果を用いて、ステップＳ２１０の直前等に、複数のフレーム画像についてそれぞれ上記と同様の統計分析を行っても良い。
【００６０】
（ステップＳ２０８）統計分析部１４は、ステップＳ２０７で取得した統計分析結果を、ｎ番目の時刻と対応付けて図示しない記憶媒体等に蓄積する。この蓄積は、出力部１７が行うようにしても良い。
【００６１】
（ステップＳ２０９）顔分析部１３は、カウンターｎの値を１インクリメントする。そして、ステップＳ２０３に戻る。
【００６２】
（ステップＳ２１０）講義評価部１５は、ステップＳ２０８で蓄積された統計分析結果を用いて、上述した一の受講生画像に対応する講義の評価を行う。例えば、ステップＳ２０８で蓄積された統計分析結果の中に、予め指定された条件を満たす統計分析結果が存在する場合、この条件に予め対応付けられた講義の評価を示す情報を取得する。例えば、各時刻に対応した統計分析結果が、横を向いている受講生の顔の集計数であり、予め指定された条件が、横を向いている受講生の顔の数が予め指定された数以上の統計分析結果が、予め指定された数以上検出されるという条件であり、この条件に対応した講義の評価が、「集中力が保たれていない」という評価であるとすると、ステップＳ２０８で蓄積された統計分析結果が、この条件を満たす場合、「集中力が保たれていない」という講義の評価結果が得られる。なお、ここでは、異なる複数の評価を行っても良い。なお、横を向いている受講生の顔の数が予め指定された数以上の統計分析結果を集計する処理を、統計分析部１４が行うようにしても良い。
【００６３】
（ステップＳ２１１）講義評価部１５は、評価結果を、講義の識別情報や、受講生画像等と対応付けて、図示しない記憶媒体等に蓄積する。この蓄積は、出力部１７が行うようにしても良い。
【００６４】
（ステップＳ２１２）出力部１７は、ステップＳ２０８で蓄積した統計分析結果と、ステップＳ２１１で蓄積した評価結果とを表示する。
【００６５】
（ステップＳ２１３）出力部１７は、ステップＳ２０６で蓄積した顔分析部１３が取得した分析結果を表示するか否かを判断する。例えば、図示しない受付部等を介して、分析結果を表示する指示を受け付けたか否かを判断する。分析結果を表示する場合、ステップＳ２１４に進み、表示しない場合、ステップＳ２１９に進む。
【００６６】
（ステップＳ２１４）出力部１７は、ステップＳ２０６で蓄積した分析結果を表示する。
【００６７】
（ステップＳ２１５）指定受付部１６は、図示しない受付部等を介して、一の分析結果の指定を受け付けたか否かを判断する。ここでの一の分析結果とは、例えば、一の時刻に対応付けられた分析結果である。受け付けた場合、ステップＳ２１６に進み、受け付けていない場合、ステップＳ２２０に進む。
【００６８】
（ステップＳ２１６）出力部１７は、ステップＳ２１５で指定された分析結果に対応する時刻と同じ時刻のフレーム画像を受講生画像から取得する。
【００６９】
（ステップＳ２１７）出力部１７は、ステップＳ２１６で取得したフレーム画像を表示する。なお、出力部１７は、受講生画像のステップＳ２１６で取得したフレーム画像以降のフレーム画像を連続再生するようにしても良い。つまり、ステップＳ２１６で取得したフレーム画像から動画像を再生してもよい。なお、動画像を再生する場合等においては、ステップＳ２１６で出力部１７が取得するフレーム画像は、ステップＳ２１５で指定された分析結果に対応する時刻の１フレーム前または１フレーム後のフレーム画像であっても良いし、ステップＳ２１５で指定された分析結果に対応する時刻に対して、予め指定され時刻を隔てた前後の時刻のフレーム画像であってもよい。また、一のフレーム画像あるいは連続したフレーム画像を出力する際には、各フレーム画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様としたフレーム画像を、出力するようにしても良い。
【００７０】
（ステップＳ２１８）出力部１７は、フレーム画像の表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップＳ２１５に戻り、表示を終了しない場合、ステップＳ２１８に戻る。
【００７１】
（ステップＳ２１９）出力部１７は、評価結果と統計分析の結果との表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップＳ２１２に戻り、表示を終了しない場合、ステップＳ２１５に戻る。
【００７２】
（ステップＳ２２０）出力部１７は、顔分析部１３が取得した分析結果の表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップＳ２０１に戻り、表示を終了しない場合、ステップＳ２１３に戻る。
【００７３】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７４】
以下、本実施の形態における顔分析装置１の具体的な動作について一例を示して説明する。
【００７５】
図３は、受講生画像格納部１２に格納されている受講生画像を構成するフレーム画像の一部を模式的に示す図である。この受講生画像は、一の講義に参加している受講生全体を、講師側から第一撮影部１１を用いて撮影した動画像であるとする。この受講生画像は、一のファイルで構成されるものとする。ここでは、説明のため、各フレーム画像の下部に、各フレーム画像に対応付けられたタイムコードを示している。タイムコードは、各フレーム画像が撮影された時刻を「時：分：秒．フレーム」で表している。
【００７６】
ユーザが、マウスやキーボード等の図示しない入力デバイス等を操作して、図３に示した受講生画像の分析を行う指示を顔分析装置１に与えたとする。なお、ここでは、予め１秒間隔のフレーム画像に対して、顔分析の処理を行うことが予め設定されているものとする。
【００７７】
顔分析部１３は、まず、受講生画像の最初のフレーム画像（撮影開始時のフレーム画像）であるタイムコード「１０：３０：００：０１」と対応付けられたフレーム画像を読み出す。そして、読み出したフレーム画像内において、顔を認識する処理を行う。
【００７８】
図４は、顔分析部１３によって顔が認識された状態のフレーム画像を示す模式図である。図において、点線で囲んだ領域４０１〜４３０が、それぞれ認識された顔の領域であるとする。なお、この図で示す顔の表情や向き、視線方向やまばたきの状況等は、模式的なものであって、必ずしも顔の表情や向き、視線方向やまばたきの状況等を正確に示したものでないものとする。かかることは以下においても同様である。
【００７９】
顔認識処理によって、図４に示すように、フレーム画像内に複数の顔が認識される。顔分析部１３は、認識した顔の領域４０１〜４３０の輪郭を示す情報に、それぞれ顔を識別するための識別情報である顔ＩＤを対応付けて、図示しない記憶媒体等に蓄積する。輪郭を示す情報は、例えば、フレーム画像内における輪郭を構成する画素の座標群であるとする。ここでは、例えば、領域４０１〜４３０には、それぞれ顔ＩＤとして「ＩＤ４０１」〜「ＩＤ４３０」が対応付けられるものとする。
【００８０】
顔分析部１３は、上記で認識した各顔について、順次、分析を行う。まず、顔ＩＤが「ＩＤ４０１」の顔（即ち、領域４０１の顔）についての分析を行う。ここでは、例えば、顔の表情が笑っている顔であるか否かの分析項目と、視線方向が正面（講師側）を向いているか否かの分析項目と、顔の方向が正面（講師側）を向いているか否かの分析項目と、まばたきの有無の分析項目とについてそれぞれ分析を行う。なお、これらの分析処理は公知の技術であるので、具体的な説明は省略する。なお、各分析においては、必要に応じて、分析対象となっているフレーム画像の前または後の１以上のフレーム画像を受講生画像から読み出して、読み出したフレーム画像の領域４０１内の画像またはその周辺の画像を利用してもよい。
【００８１】
顔分析部１３は、顔ＩＤが「ＩＤ４０１」の顔についての分析結果を、タイムコード「１０：３０：１０：０１」と、顔ＩＤ「ＩＤ４０１」と対応付けて、図示しない記憶媒体に蓄積する。
【００８２】
顔分析部１３は、顔ＩＤが「ＩＤ４０２」〜「ＩＤ４３０」である顔についても同様の処理を行う。
【００８３】
図５は、顔分析部１３が取得して図示しない記憶媒体に蓄積した、顔分析の分析結果を示す情報を管理する顔分析結果管理表である。顔分析結果管理表は、「時刻」、「顔ＩＤ」、「表情」、「視線方向」、「顔方向」、および「まばたき」という項目を有している。「時刻」は、受講生画像の分析対象となるフレーム画像の時刻であり、ここでは、フレーム画像のタイムコードである。「顔ＩＤ」は、上述した顔ＩＤである。「表情」は、受講生の顔の表情の分析結果であり、ここでは、値「スマイル」は、顔が笑っていることを示し、空欄は、顔が笑っていないことを示す。「視線方向」は、受講生の顔の視線方向の分析結果であり、ここでは、値「正面」は、視線方向が正面を向いていることを示し、空欄は正面を向いていないことを示す。「顔方向」は受講生の顔の方向の分析結果であり、値「正面」は、顔が正面を向いていることを示し、空欄は正面を向いていないことを示す。「まばたき」は、受講生が目を閉じているか否かの分析結果であり、値「閉」は、目を閉じている状態であることを示し、空欄は、目が開いていることを示す。
【００８４】
統計分析部１４は、図５に示したような、タイムコード「１０：３０：００：０１」と対応付けられたフレーム画像に対する顔分析部１３による顔の分析結果を用いて、統計分析を行う。ここでは、統計分析部１４は、タイムコードが「１０：３０：００：０１」であるフレーム画像について、「表情」が「スマイル」である顔の数、「視線方向」が「正面」である顔の数、「顔方向」が「正面」である顔の数、および「まばたき」が「閉」である顔の数の集計をそれぞれ行う。つまり、分析項目別に集計を行う。そして、これらの集計結果を、認識した顔の総数「３０」で除算して、各分析項目別の顔が出現する比率を取得する。なお、比率を算出する代わりに、分散等を算出しても良い。そして、統計分析部１４は、取得した分析項目別の比率を、統計分析結果として、タイムコード「１０：３０：００：０１」と対応付けて図示しない記憶媒体に蓄積する。
【００８５】
顔分析部１３は、更に、上記で読み出したフレーム画像の１秒経過後の時刻に対応するタイムコード「１０：３０：０１：０１」が対応付けられたフレーム画像を読み出して、上記と同様に、顔を認識する処理を行い、認識した顔について、上記と同様の分析を行い、分析結果を図示しない記憶媒体に追記する。これにより、「時刻」が「１０：３０：０１：０１」と対応付けられた分析結果のレコードが、図５に示した顔分析結果管理表に追加される。なお、ここでは、例として、認識した顔のうちの、直前に認識した顔とほぼ同じ位置にある顔に対しては、直前に認識した顔と同じ顔ＩＤを割り当てる。ほぼ同じ位置にある顔とは、例えば、領域に含まれる画素の座標が所定数以上（例えば、半分以上）一致する顔である。
【００８６】
更に、この分析結果を用いて、統計分析部１４は、上記と同様に分析項目別に統計分析を行い、統計分析結果を蓄積する。
【００８７】
顔分析部１３および統計分析部１４は、さらに、上記の処理を受講生画像内に一秒後のフレーム画像がなくなるまで、順次繰り返す。
【００８８】
図６は、統計分析部１４が取得して蓄積した統計分析結果を管理する統計分析結果管理表を示す図である。統計分析結果管理表は、「時刻」、「表情（スマイル）」、「視線（正面）    顔方向（正面）」、「まばたき（閉）」という項目を有している。「時刻」分析対象となるフレーム画像の時刻であり、ここでは、フレーム画像のタイムコードである。「表情（スマイル）」は、顔の分析結果のうちの、分析項目「表情」の値が「スマイル」である顔の比率（％）、「視線（正面）」は、顔の分析結果のうちの、分析項目「視線方向」の値が「正面」である顔の比率（％）、「顔方向（正面）」は、顔の分析結果のうちの、分析項目「顔方向」の値が「正面」である顔の比率（％）、「まばたき（閉）」は、顔の分析結果のうちの、分析項目「まばたき」の値が「閉」である顔の比率（％）である。
【００８９】
次に、講義評価部１５は、統計分析部１４が取得した統計分析結果を用いて、受講生画像に対応する講義の評価を行う。ここでは、例えば、講義の評価を行うための条件として、『「視線（正面）」の比率が、「７０％以上」である時刻が、顔分析を行った時刻のうちの「８０％」を超える』という条件が、予め図示しない記憶媒体に格納されており、この条件を満たした場合の講義の評価を示す値として「集中度の高い講義」という値が、この条件と対応付けて図示しない記憶媒体に格納されているとする。ここでの時刻は、分析対象となった各フレーム画像と考えても良いし、図６に示した統計分析結果管理表の各レコードと考えても良い。
【００９０】
講義評価部１５は、まず、上記の条件を読み出す。次に、図６に示した統計分析結果管理表において、「視線（正面）」の比率が、「７０％以上」であるレコードの数をカウントする。例えば、カウント数が「１７５２」であったとする。また、講義評価部１５は、図６に示した統計分析結果管理表の総レコード数を取得する。例えば、総レコード数は、「２３８６」であったとする。講義評価部１５は、視線（正面）」の比率が、「７０％以上」であるレコードのカウント数「１７５２」を、総レコード数「２３８２」で除算して、「視線（正面）」の比率「７３．６（％）」を取得する。そして、取得した比率が「７０％以上」であるか否かを判断する。ここでは７０％以上であるので、「集中度の高い講義」という評価結果を取得する。なお、７０％未満の場合、「集中度が高くない講義」という評価結果を取得するようにしても良い。取得した評価結果は、例えば、受講生画像のファイル名等と対応付けて、図示しない記憶媒体等に蓄積する。
【００９１】
出力部１７は、統計分析部１４が取得した統計分析結果と、講義評価部１５が取得した評価結果をモニタ等に表示する。
【００９２】
図７は、統計分析結果と講義の評価結果との表示例を示す図である。なお、統計分析結果または講義の評価結果がモニタの表示領域に入りきらない場合は、スクロールバー等を示して、このスクロールバーの操作によって入りきらない部分が適宜表示されるようにしても良い。かかることは、以下においても同様である。
【００９３】
ここで、図示しない受付部等を介して、顔分析部１３が取得した顔の分析結果を表示する指示を受け付けたとすると、出力部１７は、図５に示した顔分析結果管理表で管理されている顔分析部１３が取得した時系列に沿った顔の分析結果を、モニタ等に表示する。例えば、出力部１７は、分析結果を時系列に沿って並べて表示する。
【００９４】
図８は、顔の分析結果の表示例を示す図である。なお、この顔の分析結果の表示画面において、各分析結果の「時刻」の文字列には、ここでは、一例として、各分析結果に対する指定を受け付けたか否かを判定するための判定領域等（図示せず）が設けられているものとする。
【００９５】
次に、ユーザが、マウス等の入力デバイス等を操作して、図８に示した画面において、一の時刻「１０：３０：０２．０１」の文字列上を押したとすると、指定受付部１６は、この時刻に対応した顔の分析結果に対する指定を受け付ける。そして、指定受付部１６がこの指定を受け付けると、出力部１７は、この分析結果に対応する時点の受講生画像を、受講生画像格納部１２から読み出す。ここでは、指定を受け付けた分析結果の時刻「１０：３０：０２．０１」と同じ時刻に対応付けられたフレーム画像を、受講生画像から読み出す。そして、出力部１７は、読み出したフレーム画像をモニタに表示する。なお、フレーム画像を出力する際に、出力部１７は、フレーム画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様としたフレーム画像を出力するようにしてもよい。このようにすることで、受講生の顔が見分けられないようにして、受講生のプライバシーを保護することが可能となる。なお、出力部１７は、例えば、顔分析部１３が、フレーム画像に対して、顔認識処理において図４に示すように認識して図示しない記憶媒体に蓄積した各顔の領域４０１〜４３０の輪郭を示す情報を読み出して、表示態様を変更する対象となるフレーム画像内の顔の部分を検出する。あるいは、顔分析部１３が、出力部１７が出力するフレーム画像に対して、新たに検出した顔の部分を、出力部１７が、表示態様の変更対象としてもよい。
【００９６】
図９は、指定受付部１６が指定を受け付けた顔の分析結果に対応するフレーム画像の表示例を示す図である。
【００９７】
以上、本実施の形態によれば、講義中の１以上の受講生の顔を自動認識して分析したり、この分析結果を統計分析したり、この統計分析の結果から、講義の評価等を行うことができ、講義に関する適切な分析を行うことができる。
【００９８】
なお、上記実施の形態においては、統計分析部１４は、各フレーム画像について、顔の分析結果の統計分析を行うようにしたが、各顔についての、時系列に沿った表情や、視線方向や、顔方向や、まばたき等の分析結果の変化を示す情報を、統計分析の結果を示す情報として取得しても良い。また、このような時系列に沿った分析結果が、数値等の変化で示されるものである場合、更に、フーリエ変換等を行ったものを統計分析の結果として取得しても良い。これにより、各顔に対応した受講生の受講時の状況を、周波数成分等の数値として表すことが可能となる。また、一の顔について検出した上記のようなまばたきの情報が、「閉」であると分析されたフレーム画像が、予め指定された時間以上（例えば一分以上）連続した場合に、この顔に対応する受講生が、居眠りをしていたと判断するようにしても良い。予め指定された時間は、例えば、通常のまばたきにおいてまぶたが閉じられると考えられる最大の時間以上の時間である。
【００９９】
（実施の形態２）
本実施の形態２にかかる顔分析装置２は、上記実施の形態１の顔分析装置１において、講義中の講師の画像や、講師の音声情報を、受講生の顔の分析や、顔の分析結果の統計分析や、講義の評価等に利用するようにしたものである。
【０１００】
図１０は、本実施の形態における顔分析装置２のブロック図である。
【０１０１】
顔分析装置２は、第一撮影部１１、受講生画像格納部１２、第二撮影部２１、音声取得部２２、講師情報格納部２３、変化検出部２４、顔分析部２５、関連統計分析部２６、関連講義評価部２７、出力部２８を備える。
【０１０２】
第一撮影部１１、受講生画像格納部１２については、上記実施の形態１と同様であるので、ここでは詳細な説明を省略する。
【０１０３】
第二撮影部２１は、講義中の講師を撮影して、講義中の講師の動画像を取得する。講師とは講義を行う者である。講師は、通常は一人であるが、複数人であっても良い。講師を撮影するということは、例えば、講師の動きが分かるような動画像を取得することである。例えば、第二撮影部２１は、講師の全体や、上半身を撮影した動画像を取得する。第二撮影部２１や、第二撮影部２１が取得する動画像は、撮影対象が異なる点を除けば、上述した第一撮影部１１と同様の構成を有するものであり、ここでは詳細な説明は省略する。第二撮影部２１は、例えば、取得した動画像を、後述する講師情報として、あるいはその一部として、講師情報格納部２３に蓄積する。
【０１０４】
音声取得部２２は、講義中の講師の音声の情報（例えば、講師の発する音声の情報）を取得する。音声取得部２２は、例えば、音声を、音声が取得されたタイミング（例えば時刻）と対応付けた情報を取得する。音声取得部２２は、例えば、取得した音声情報を、後述する講師情報の一部として、講師情報格納部２３に蓄積する。講師音声情報のファイル形式や圧縮方式等は、問わない。なお、音声取得部２２または第二撮影部２１のいずれかが、音声取得部２２が取得した音声と、第二撮影部２１が取得した動画像と、同期がとれるよう対応付けた講師情報を、講師情報格納部２３に蓄積するようにしても良い。音声取得部２２は、例えば、マイクにより実現される。なお、第二撮影部２１と音声取得部２２は、一のビデオカメラの撮影部（カメラ部）と、音声取得部（マイク）であっても良い。
【０１０５】
講師情報格納部２３には、講師情報が格納される。講師情報は、講師画像または講師音声情報の少なくとも一方を含む情報である。講師画像は、講義中の講師を撮影した動画像である。例えば、第二撮影部２１が取得した動画像である。講師音声画像は、講義中の講師の音声の情報である。例えば、音声取得部２２が取得した講師の音声の情報である。講師画像は、撮影対象が異なる点を除けば、受講生画像と同様の情報である。講師音声画像は、例えば、時系列と対応付けられた情報である。例えば、講師画像が、タイムコード等と対応付けられており、講師音声情報がこの講師画像と同期付けられて講師情報格納部２３に格納されていても良い。なお、ここでの格納は、一時記憶も含む概念である。
【０１０６】
変化検出部２４は、講師情報の変化の検出を行う。例えば、変化検出部２４は、講師情報から、予め指定されている所定の変化を検出する。変化検出部２４は、変化が検出された時点を特定する情報（例えば、変化が検出された時刻）を検出結果として取得するようにしても良い。講師情報の変換の検出は、講師情報に含まれる講師画像の変化の検出、または、講師情報に含まれる講師音声情報の変化の検出のいずれか、またはその両方である。変化検出部２４は、例えば、予め指定された条件を満たす変化を検出する。予め指定されている条件とは、変化の検出対象が講師画像である場合、例えば、動きの有無や、予め指定されている動きの大きさ以上の動きである。また、変化の検出対象が講師音声情報である場合、予め指定されている条件とは、例えば、予め指定されたレベル以上の音声出力である。変化検出部２４は、検出した変化の内容（例えば種別等）を示す情報や、変化量を示す情報を検出結果として取得しても良い。
【０１０７】
変化検出部２４は、例えば、講師情報に含まれる講師画像について、フレーム画像の画素の比較等を行うことで動きベクトル検出を行って、動きの有無や、予め指定されている閾値以上の動きベクトルの検出を行う。予め指定されている閾値以上の動き（例えば、閾値以上の距離の変化）が検出された場合、動きが検出されたと判断する。また、講師情報に含まれる講師画像について、顔分析部２５と同様に、講師の顔を検出したり、講師の手等を検出して、検出した部分の動きベクトル検出等を行うことで、動きの有無や、予め指定されている閾値以上の動きの検出を行う。
【０１０８】
また、変化検出部２４は、例えば、講師情報に含まれる講師音声情報における音声のレベルの変化によって、講師情報の変化を検出する。例えば、変化検出部２４は、講師音声情報に、予め指定された閾値以上のレベルの出力を検出した場合に、講師情報の変化を検出したと判断する。また、講師音声情報のＳＮ比の値が、閾値以上となった場合に、講師情報の変化を検出しても良い。また、講師音声情報の発声速度を検出し、その発声速度が、予め指定された閾値を超える場合に、講師情報の変化を検出しても良い。発声速度を検出する技術は、例えば、特願平７−３０７８９７号公報等に開示されている。
【０１０９】
顔分析部２５は、受講生画像から受講生の顔を認識して、この認識した顔に対する分析を行う。この実施の形態においては、特に、顔分析部２３は、変化検出部２４が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果を取得する。ここでの直後については、上記実施の形態１において説明した直後と同様の意味である。顔分析部２５が、受講生画像に対して行う顔の認識処理や分析処理等については、上記実施の形態１の顔分析装置１３と同様であるが、顔分析部２５は、受講生画像（具体的にはフレーム画像）が、後述する変化検出部２４が講師情報に変化を検出した時点直後に取得された受講生画像（フレーム画像）について、１以上の受講生の顔の分析結果を取得する点が、上記実施の形態１の顔分析部１３とは異なる。なお、変化を検出した時点直後に取得された受講生画像（フレーム画像）について受講生の顔の分析結果を取得するということは、顔分析部２５が、後述する変化検出部２４が講師情報に変化を検出した時点直後に取得された受講生画像に対して顔に対する分析を行って分析結果を取得することであっても良いし、顔分析部２５が、受講生画像の異なる複数の時点（時刻）において取得した顔の分析結果の中から、講師情報に変化を検出した時点の直後に取得された分析結果を取得すること、もしくはこれに相当する処理を行うことであっても良い。変化を検出した時点直後とは、例えば、変化を検出した時点（例えば、時刻）から、予め指定された時間だけ経過した時点である。予め指定された時間やフレーム数を隔てた時点と考えても良い。この経過時間は、講師の動きの変化や音声の変化と、それに応じた受講生の表情等の変化との間のタイムラグを考慮するためのものである。この経過時間は、例えば、５秒以下の時間である。この経過時間は、例えば、予め、実験結果等に基づいて取得してもよい。ただし、変化を検出した時点の時刻であっても良いし、変化を検出した時点の次の時刻（例えば、次のフレーム画像）と考えても良い。変化を検出した時点直後とは、変化を検出した以降の、変化を検出した時点の周辺の時刻と考えても良い。かかることは、以下においても同様である。なお、ここでの時間は、フレーム数と考えても良い。また、変化を検出した時点直後は、変化を検出した時点直後の予め指定された長さの期間と考えても良い。顔分析部２５は、例えば、変化検出部２４が講師情報に変化を検出した時刻から、予め指定された秒数だけ経過した時刻のフレーム画像について行われた顔に対する分析結果を取得する。なお、分析の際には、その前後のフレーム画像等を適宜利用して良い。
【０１１０】
関連統計分析部２６は、変化検出部２４が変化を検出した時点直後に取得された受講生画像に対する顔分析部２５の分析結果を用いて、予め指定された統計分析を行う。予め指定された統計分析は、どのような統計分析であってもよい。例えば、関連統計分析部２６が行う予め指定された統計分析は、統計分析部１４が行う統計分析と同様の統計分析であって、統計分析に用いられる分析結果を、変化検出部２４が変化を検出した時点直後に取得された受講生画像に対して顔分析部２５が取得した分析結果としたものである。また、予め指定された統計分析は、変化検出部２４が検出した変化の対象を示す情報や、変化の内容を示す情報と、顔分析部２５の分析結果とを関連付けた統計分析であってもよい。変化の対象とは、変化検出部２４が変化を検出した対象であり、例えば、講師画像や講師音声情報である。また、変化の内容を示す情報とは、変化検出部２４が検出した変化の内容を示す情報であり、例えば、講師が手を挙げたという変化を示す情報や、講師が横に動いたという変化等を示す情報である。また、講師音声情報が、予め指定されたレベル以上の音声となったという変化等を示す情報でもよい。変化が検出された複数の時点のそれぞれの直後に取得された受講生画像のフレーム画像に対する顔分析部２５の分析結果を、上記の統計分析部１４と同様に分析項目別に集計したものを、更に、変化検出部２４が検出した変化の対象や変化の内容別に集計したものであってもよい。
【０１１１】
関連講義評価部２７は、関連統計分析部２６の統計分析の結果を用いて、講義の評価を行う。ここで行う講義の評価とは、例えば、講義に関連する評価である。関連講義評価部２７が行う評価は、講義評価部１５が行う評価と同様に、例えば、講義の進め方や講義の内容に対する評価である。
【０１１２】
関連講義評価部２７は、例えば、関連統計分析部２６が取得する統計分析の結果（以下、関連統計分析結果と称す）に含まれる、関連統計分析部２６が行った統計分析の結果から講義の評価結果を取得しても良いし、関連統計分析結果に含まれる変化検出部２４が検出した変化の内容と、関連統計分析部２６が行った統計分析の結果との組合せから、講義の評価結果を取得してもよい。
【０１１３】
関連講義評価部２７は、例えば、一の講義を撮影した受講生画像から関連統計分析部２６が取得した関連統計分析結果が、例えば、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された講義の評価結果を取得する。なお、条件を満たさない場合も、満たさない場合のために予め用意された評価結果を取得してもよい。この条件は、例えば、予め指定された分析項目の値が、分析項目別に用意された閾値を超える、あるいは閾値を超えないという条件である。あるいは、この条件は、複数の分類項目別に個別に用意された条件を全て満たす、あるいは満たさない、あるいはその一部だけを満たす等の条件であっても良い
【０１１４】
関連講義評価部２７は、例えば、関連統計分析結果に含まれる変化検出部２４が検出した変化の内容と、関連統計分析部２６が行った統計分析の結果との組合せが、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された講義の評価結果を取得する。例えば、講師情報に含まれる講師音声情報のレベルが、予め指定された閾値以上である１以上の時点の直後の受講生画像からそれぞれ検出した、笑っている顔の数を集計し、この集計数が、予め指定した閾値以上である場合、講師のしゃべった言葉に対して、笑っている受講生が多いと考えられることから、予めこの条件と対応付けられた「関心が持続する講義」という評価結果を取得しても良い。この場合は、例えば、講師の喋った言葉に対して、笑っている受講生が多いと考えられることから、受講生が講義を関心を持って聴講していると考えられるからである。
【０１１５】
また、関連講義評価部２７は、例えば、変化検出部２４が変化を検出した各時点の受講生画像について、関連統計分析部２６により取得された統計分析の結果を用いて講義の評価を行ってもよい。例えば、関連講義評価部２７は、講師情報に予め指定された変化が検出された各時点について関連統計分析部２６が取得した１以上の分析項目別の顔の検出数（あるいはこれを正規化した値）が、分析項目別に予め指定された閾値を超えるか否かを判断し、超えた場合に、条件を満たすと判断して、この条件に対応付けられた評価結果を取得しても良い。
【０１１６】
また、関連講義評価部２７は、上記のように取得した一の講義の受講生画像の各時点についての講義の評価結果を用いて、一の講義の評価結果を取得しても良い。例えば、一の講義の受講生画像の複数の時点についてそれぞれ取得した講義の評価結果の全て、あるいは一部が、予め指定された条件を満たす場合に、この条件に対応付けられた評価結果を、一の講義の評価結果として取得しても良い。例えば、複数の時点についてそれぞれ取得した講義の評価結果のなかに、予め指定された閾値以上の数の、予め指定された評価結果（例えば、生徒の興味が保たれているという評価結果）が含まれている場合、条件を満たすと判断して、この条件に対応付けられた「良質な講義」という評価結果を取得しても良い。あるいは、複数の講義の評価結果を用いて、複数の講義全体の評価結果を取得しても良い。
【０１１７】
関連講義評価部２７が、どのような受講生画像についての統計分析の結果を、講義の評価に用いるかは、講義評価部１５と同様に、講義の評価目的等により適宜変更するようにしてよい。
【０１１８】
なお、関連講義評価部２７が講義の評価に用いる関連統計分析部２６の統計分析の結果は、関連統計分析部２６が取得して、後述する出力部２８が図示しない記憶媒体等に蓄積した統計分析の結果であっても良い。
【０１１９】
出力部２８は、顔分析部２５による分析結果に関連する情報を出力する。本実施の形態においては、特に、出力部２８は、変化検出部２４が変化を検出した時点直後に取得された受講生画像に対する顔分析部２５による分析結果に関連する情報を出力する。ここでの分析結果に関連する情報は、例えば、変化検出部２４が変化を検出した時点直後の受講生画像に対して顔分析部２５が取得した分析結果の情報である。また、変化検出部２４が変化を検出した時点直後の受講生画像に対して顔分析部２５が取得した分析結果の情報と、この分析結果の情報に対応する変化検出部２４が検出した講師情報の変化の内容等を示す情報、または、この分析結果の取得対象となったフレーム画像等の取得された時点（例えば、時刻）の情報の少なくとも一方とを有する情報であっても良い。また、ここでの顔分析部２５による分析結果に関連する情報は、変化検出部２４が変化を検出した時点直後に顔分析部２５が取得した分析結果を用いて取得された情報であっても良い。例えば、出力部２８は、ここでの分析結果に関連する情報として、関連統計分析部２６が取得した統計分析の結果を出力してもよい。また、出力部２８は、顔分析部２５による分析結果に関連する情報として、関連講義評価部２７が取得した評価結果を出力してもよい。
【０１２０】
また、出力部２８は、分析結果に関連する情報として、変化検出部２４が検出した講師情報の変化の内容等を示す情報を更に出力しても良い。
【０１２１】
また、出力部２８は、上記実施の形態１の出力部１７と同様に、顔分析部２５が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、顔分析部２５の顔の分析結果を時系列に沿って出力するようにしてもよい。
【０１２２】
次に、顔分析装置２の動作について図１１のフローチャートを用いて説明する。なお、ここでは、予め、一の講義について撮影された受講生画像と、講師画像および講師音声情報を有する講師情報とが、予め受講生画像格納部１２と、講師情報格納部２３にそれぞれ格納されているものとする。受講生画像および講師画像の各フレーム画像には、タイムコードが対応付けられているものとする。また、講師情報においては、講師画像と、講師音声画像とは同期付けられているものとする。
【０１２３】
（ステップＳ１１０１）顔分析装置２は、図示しない受付部等を介して、受講生画像格納部１２に格納されている一の受講生画像を分析する指示を受け付けたか否かを判断する。指示を受け付けた場合、ステップＳ１１０２に進み、受け付けていない場合、ステップＳ１１０１に戻る。
【０１２４】
（ステップＳ１１０２）変化検出部１７は、講師画像から変化の箇所を検出する処理を行う。例えば、講師画像の先頭のフレーム画像から順番に変化の箇所の検出を行う。
【０１２５】
（ステップＳ１１０３）変化検出部１７は、一の変化の箇所が検出されたか否かを判断する。検出された場合、ステップＳ１１０４に進み、検出されなかった場合、ステップＳ１１０５に進む。
【０１２６】
（ステップＳ１１０４）変化検出部１７は、検出した変化の内容と変化が検出されたフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。そして、ステップＳ１１０２に戻る。
【０１２７】
（ステップＳ１１０５）変化検出部１７は、講師画像に、変化の検出処理が行われていない残りのフレーム画像があるか否かを判断する。ある場合、ステップＳ１１０２に戻り、ない場合、ステップＳ１１０６に進む。
【０１２８】
（ステップＳ１１０６）変化検出部１７は、講師音声情報から変化の箇所を検出する。例えば、講師音声情報の先頭から、予め指定されたレベル以上の出力の箇所を変換箇所として検出する処理を行う。
【０１２９】
（ステップＳ１１０７）変化検出部１７は、講師音声情報に変化の箇所が検出されたか否かを判断する。変化の箇所が検出された場合、ステップＳ１１０８に進み、検出されなかった場合、ステップＳ１１０９に進む。
【０１３０】
（ステップＳ１１０８）変化検出部１７は、変化の内容を示す情報（例えば閾値を超えるレベルの音声が検出されたこと）を示す情報と、変化が検出された時刻とを対応付けて、図示しない記憶媒体等に蓄積する。
【０１３１】
（ステップＳ１１０９）変化検出部１７は、変化の検出が行われていない残りの講師音声情報があるか否かを判断する。残りがある場合、ステップＳ１１０６に戻り、残りがない場合、ステップＳ１１１０に進む。
【０１３２】
（ステップＳ１１１０）顔分析部２５は、カウンターｍに１を代入する。
【０１３３】
（ステップＳ１１１１）顔分析部２５は、ステップＳ１１０４およびステップＳ１１０８で蓄積された変化が検出された時刻の中に、ｍ番目の時刻があるか否かを判断する。ｍ番目の時刻がある場合、ステップＳ１１１２に進み、ない場合、ステップＳ１１１８に進む。
【０１３４】
（ステップＳ１１１２）顔分析部２５は、ｍ番目の時刻に対応する受講生画像のフレーム画像について、１以上の顔を順次認識する。顔分析部２５は、例えば、認識した１以上の顔の輪郭を示す情報に対して、それぞれ、顔の識別情報を付与して、図示しない記憶媒体等に一時記憶する。
【０１３５】
（ステップＳ１１１３）顔分析部２５は、ステップＳ１１１２で認識した各顔について分析を行う。例えば、ステップＳ１１１２で認識した各顔ごとに、予め指定された分析項目についての分析を行い、分析結果を示す情報を取得する。顔の分析を行う際には、例えば、ｍ番目の時刻と対応付けられたフレーム画像の前または後のフレーム画像を利用してもよい。
【０１３６】
（ステップＳ１１１４）顔分析部２５は、各顔の識別情報と、各顔についての分析結果と、分析態様となったフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。これにより、分析結果が時系列に沿って出力（ここでは、特に蓄積）される。この蓄積は、出力部２８が行うようにしても良い。なお、顔分析部２５は、ｎ番目の時刻と対応付けられたフレーム画像について、顔を検出する処理を行い、一の顔を検出するごとに、その顔についてステップＳ１１１３に示すような分析を行い、その分析結果を蓄積する処理を、新たな顔が検出できなくなるまで繰り返し行うようにしても良い。
【０１３７】
（ステップＳ１１１５）関連統計分析部２６は、ｍ番目の時刻と対応付けられたフレーム画像に対する顔分析部２５の分析結果を用いて、統計分析を行う。例えば、ステップＳ１１１３で取得した各顔の分析結果について、分析結果が同じである顔の数を集計する。例えば、この集計値と、このフレーム画像に対応する時刻と対応付けられて蓄積されている変化の内容を示す情報とを対応付けた情報が、ここでは、統計分析結果の一例である。例えば、分析結果が同じものとは、例えば、分析項目と、その分析項目について得られた分析値が同じものである。なお、一の顔に関して複数の分析結果が得られている場合、一部の分析結果が同じものを優先的に集計するようにしても良い。
【０１３８】
（ステップＳ１１１６）統計分析部２０は、ステップＳ１１０７で取得した統計分析の結果である関連統計分析結果を、ｍ番目の時刻と対応付けて図示しない記憶媒体等に蓄積する。この蓄積は、出力部２８が行うようにしても良い。
【０１３９】
（ステップＳ１１１７）顔分析部２５は、カウンターｍの値を１インクリメントする。そして、ステップＳ１１１１に戻る。
【０１４０】
（ステップＳ１１１８）関連講義評価部２７は、ステップＳ１１１６で蓄積された関連統計分析結果を用いて、講義の評価を行う。例えば、ステップＳ１１１６で蓄積された関連統計分析結果の中に、予め指定された条件を満たす統計分析結果が存在する場合、この条件に予め対応付けられた講義の評価を示す情報を取得する。例えば、講師情報に変化が検出された時刻に対応して得られた各関連統計分析結果が、笑っている受講生の顔の集計数と、講師情報について検出された変化の内容とを対応付けた情報であり、予め指定された条件が、講師情報について検出された変化が、講師音声情報が、予め指定されたレベル以上であって、笑っている受講生の顔の数が予め指定された数以上である統計分析結果が、予め指定された数以上検出されるという条件であり、この条件に対応した講義の評価が、「楽しい講義」という評価であるとすると、ステップＳ１１０８で蓄積された統計分析結果が、この条件を満たす場合、「楽しい講義」という講義の評価結果が得られる。なお、ここは、異なる複数の評価を行っても良い。
【０１４１】
（ステップＳ１１１９）講義評価部２１は、ステップＳ１１１８で取得した評価結果を、講義の識別情報や、受講生画像等と対応付けて、図示しない記憶媒体等に蓄積する。この蓄積は、出力部２８が行うようにしても良い。
【０１４２】
（ステップＳ１１２０）出力部２８は、ステップＳ１１１６で蓄積した統計分析結果と、ステップＳ１１１９で蓄積した評価結果とを表示する。
【０１４３】
（ステップＳ１１１９）出力部２８は、評価結果と統計分析の結果との表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップＳ１１０１に戻り、表示を終了しない場合、ステップＳ１１２１に戻る。
【０１４４】
なお、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１４５】
以下、本実施の形態における顔分析装置２の具体的な動作について説明する。
受講生画像格納部１２には、上記実施の形態１の具体例において図３を用いて説明したものと同様の、受講生画像が格納されているものとする。
【０１４６】
図１２は、講師情報格納部２３に格納されている講師情報である講師画像１２１と講師音声情報１２２との一部を示す図である。この講師画像１２１および講師音声情報１２２は、図３に示した受講生画像を撮影する際に、第二撮影部２１および音声取得部２２によりそれぞれ取得された講師の動画像と音声情報である。ここでは、講師画像１２１の各フレーム画像の下にはタイムコードを示している。また、講師画像１２１と講師音声情報１２２とは、同期付けられているものとする。
【０１４７】
ユーザが、マウスやキーボード等の図示しない入力デバイス等を操作して、図３に示した受講生画像の分析を行う指示を顔分析装置２に与えたとする。
【０１４８】
変化検出部２４は、講師情報格納部２３に格納されている講師画像と、講師音声情報とをそれぞれ先頭から読み出し、それぞれについて変化の検出を行う。ここでは、例えば、講師画像については、フレーム画像を順次読み出して、前後のフレーム画像等の差分等を用いて動き検出を行う。そして、講師画像内に予め指定された動き以上の物体の動き（例えば、距離等）が検出されたか否かの判断を行う。予め指定された動き以上の物体の動きが検出された場合、変化検出部２４は、変化が検出されたと判断する。また、講師音声情報については、予め指定されたレベル以上の音声情報があるか否かを講師音声情報の先頭から順番に判断し、ある場合に変化が検出されたと判断する。
【０１４９】
顔分析部２５は、変化検出部２４が、講師画像または講師音声情報の少なくとも一方に変化を検出すると、その変化が検出された部分の講師画像のフレーム画像、または更新音声情報に対応付けられたタイムコードを講師情報から読み出す。そして、読み出したタイムコードが示す時刻に対して、予め指定された時間を加算した時刻に対応付けられたフレーム画像を、図３に示した受講生画像から読み出し、この受講生画像について、上記実施の形態１の具体例と同様に、顔の認識や、認識した各顔についての分析を行う。予め指定された時間は、例えば、受講生の顔の変化等が、講師の動作や講師の発する音声に起因するものであるか否かを判断するのに適した時間であることが好ましく、ここでは、例えば、１〜５秒程度に予め設定される。なお、時間を加算するのは、講師の動作や音声に変化が生じてから、受講生の顔等に変化や反応が生じるまでにタイムラグがあるからである。ここでは、例えば、予め指定された時間を加算した時刻が「１０：３５：３８．２１」であったとする。
【０１５０】
そして、変化検出部２４が検出した変化の対象を示す情報と、顔分析部２５の各顔についての分析結果と、顔の分析の対象となったフレーム画像のタイムコード「１０：３５：３８．２１」とを対応付けて、図示しない記憶媒体等に蓄積する。変化の対象を示す情報は、ここでは、例えば、変化検出部２４が検出した変化が、講師画像についての変化であるか、講師音声情報についての変化であるかを示す情報であるとする。
【０１５１】
図１３は、変化検出部２４が蓄積した顔の分析結果等を管理する変化時分析結果管理表である。この変化時分析結果管理表は、上記実施の形態１の具体例において図５に示した顔分析結果管理表において、変化検出部２４が検出した変化の内容を示す情報である「変化対象」という項目を追加したものである。「変化対象」の値のうち、「講師画像」は、変化検出部２４が検出した変化が講師画像についての変化であることを示し、「講師音声情報」は、変化検出部２４が検出した変化が講師画像についての変化であることを示す。
【０１５２】
次に、関連統計分析部２６は、顔分析部２５の分析結果を統計分析する。ここでは、図１３に示すような、タイムコードが「１０：３５：３８．２１」であるフレーム画像と、「変化対象」の値である「講師画像」と対応付けられた分析結果について統計分析を行う。具体的には、タイムコードが「１０：３５：３８．２１」であるフレーム画像についての分析結果において、「表情」が「スマイル」である顔の数、「視線方向」が「正面」である顔の数、「顔方向」が「正面」である顔の数、および「まばたき」が「閉」である顔の数の集計をそれぞれ行う。つまり、分析項目別に集計を行う。そして、これらの集計結果を、認識した顔の総数「３０」で除算して、各分析項目別の顔が出現する比率を取得する。なお、比率を算出する代わりに、分散等を算出しても良い。そして、関連統計分析部２６は、取得した分析項目別の比率を、統計分析結果として、タイムコード「１０：３５：３８．２１」、及び「変化対象」の値である「講師画像」と対応付けて図示しない記憶媒体に蓄積する。なお、統計分析の対象となる分析結果が、「講師画像」という「変化対象」と対応付けられたものである場合、統計分析結果は、「講師音声情報」という「変化対象」と対応付けられて蓄積される。
【０１５３】
変化検出部２４は、その後も、残りの講師画像及び講師音声情報について、変化を検出する処理を繰り返し、顔分析部２５は、変化が検出されるごとに、変化が検出された時刻に対して予め指定された時刻を加算した時刻に対応する受講生画像のフレーム画像について顔の分析を行い、関連統計分析部２６は、統計分析を行う。
【０１５４】
図１４は、関連統計分析部２６が蓄積した統計分析の結果を管理する統計分析結果管理表を示す図である。関連統計分析結果管理表は、図６に示した統計分析結果管理表において、図１３に示したような「変化対象」という項目を追加したものである。
【０１５５】
次に、関連講義評価部２７は、図１４に示すような、関連統計分析部２６が取得した統計分析結果を用いて、受講生画像に対応する講義の評価を行う。ここでは、例えば、講義の評価を行うための条件として、『「変化対象」が「講師音声情報」であり、かつ、「表情（スマイル）」の比率が「６０％以上」である時刻の数が、「４０」を超える」』という条件が、予め図示しない記憶媒体に格納されており、この条件を満たした場合の講義の評価を示す値として「講師の話に集中している講義」という値が、この条件と対応付けて図示しない記憶媒体に格納されているとする。ここでの時刻は、分析対象となった各フレーム画像と考えても良いし、図１４に示した関連統計分析結果管理表の各レコードと考えても良い。
【０１５６】
関連講義評価部２７は、上記の条件を読み出す。次に、図１４に示した関連統計分析結果管理表において、「変化対象」が「講師音声情報」であり、かつ、「表情（スマイル）」の比率が、「６０％以上」であるレコードの数をカウントする。例えば、カウント数が「５２」であったとする。そして、取得したカウント数が「４０以上」であるか否かを判断する。ここでは４０以上であるので、「講師の話に集中している講義」という評価結果を取得する。なお、４０未満の場合、「講師の話に集中していない講義」という評価結果を取得するようにしても良い。取得した評価結果は、例えば、受講生画像のファイル名等と対応付けて、図示しない記憶媒体等に蓄積する。
【０１５７】
出力部２８は、関連統計分析部２６が取得した統計分析結果と、関連講義評価部２７が取得した評価結果を、図７と同様に、モニタ等に表示する。
【０１５８】
また、出力部２８は、顔分析部２５が取得した顔の分析結果を表示する指示を受け付けた場合、図１３に示した変化時分析結果管理表で管理されている顔分析部２５が取得した顔の分析結果を、図８に示すように、時系列に沿わせてモニタ等に表示する。例えば、出力部１７は、分析結果を時系列に沿って並べて表示する。
【０１５９】
なお、上記実施の形態１と同様に、出力部２８が出力する一の時点の顔の分析結果に対する指定を受け付けるようにし、指定を受け付けた場合に、指定された分析結果に対応するフレーム画像を、上記実施の形態１の具体例と同様に、出力部２８が受講生画像から読み出して表示するようにしてもよい。
【０１６０】
以上、本実施の形態によれば、講師情報の分析結果と、講義中の受講生の顔の分析結果とを利用して、講義に関する分析を適切に行うことができる。
【０１６１】
なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１６２】
また、上記各実施の形態では、顔分析装置がスタンドアロンである場合について説明したが、顔分析装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【０１６３】
また、上記各実施の形態において、顔分析部１３、統計分析部１４、講義評価部１５、変化検出部２４、顔分析部２５、関連統計分析部２６、関連講義評価部２７等の各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより構成され、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０１６４】
なお、上記各実施の形態における顔分析装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、講義中における１以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部にアクセス可能なコンピュータを、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部と、顔分析部による分析結果に関連する情報を出力する出力部として機能させるためのプログラムである。
【０１６５】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
【０１６６】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１６７】
図１５は、上記プログラムを実行して、上記実施の形態による顔分析装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０１６８】
図１５において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０１６９】
図１６は、コンピュータシステム９００の内部構成を示す図である。図１６において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１７０】
コンピュータシステム９００に、上記実施の形態による顔分析装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０１７１】
プログラムは、コンピュータ９０１に、上記実施の形態による顔分析装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０１７２】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１７３】
以上のように、本発明にかかる顔分析装置は、講義に関する分析を行う装置として適しており、特に、受講生の顔を撮影した画像等を用いて講義に関する分析を行う装置等として有用である。
【符号の説明】
【０１７４】
１、２  顔分析装置
１１  第一撮影部
１２  受講生画像格納部
１３、２５  顔分析部
１４  統計分析部
１５  講義評価部
１６  指定受付部
１７、２８  出力部
２１  第二撮影部
２２  音声取得部
２３  講師情報格納部
２４  変化検出部
２６  関連統計分析部
２７  関連講義評価部
１２１  講師画像
１２２  講師音声情報
【図１】
0005441071.tif 000002
【図２】
0005441071.tif 000003
【図３】
0005441071.tif 000004
【図４】
0005441071.tif 000005
【図５】
0005441071.tif 000006
【図６】
0005441071.tif 000007
【図７】
0005441071.tif 000008
【図８】
0005441071.tif 000009
【図９】
0005441071.tif 000010
【図１０】
0005441071.tif 000011
【図１１】
0005441071.tif 000012
【図１２】
0005441071.tif 000013
【図１３】
0005441071.tif 000014
【図１４】
0005441071.tif 000015
【図１５】
0005441071.tif 000016
【図１６】
0005441071.tif 000017