(57)【要約】【課題】画像に含まれる人物の状態を効率よく解析できるようにする。【解決手段】画像処理プログラムは、同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、処理をコンピュータに実行させる。【選択図】図３
2018106539.tif 000002
【特許請求の範囲】
【請求項１】
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において顔を検出した数を出力することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記顔の有無に応じた結果を出力する際、特定した前記画像領域における顔の有無が、１フレーム前の画像の当該画像領域における顔の有無と異なる数を出力することを特徴とする請求項１に記載の画像処理プログラム。
【請求項４】
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において、１フレーム前の画像において顔を検出せず、処理対象のフレームの画像において顔を検出した数を出力することを特徴とする請求項３に記載の画像処理プログラム。
【請求項５】
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において、１フレーム前の画像において顔を検出し、処理対象のフレームの画像において顔を検出しない数を出力することを特徴とする請求項３に記載の画像処理プログラム。
【請求項６】
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【請求項７】
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出する抽出部と、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定する特定部と、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する出力部と
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
多数の受講者が受講する講義や講演、講習（以下、講義等と称す）において、各受講者を講義等に集中させるために、どのような講義内容や講義テクニックが有効かを把握することは、講義等を提供する者（以下、講師等）にとって重要である。そして、講義内容や講義テクニックと各受講者の状態との相関を把握するためには、まず、受講中の各受講者の状態を定量的に解析することが求められる。
【０００３】
これに対して、例えば、講義等を撮影した画像を処理し、各受講者の状態を解析する技術が提案されている。具体的には、多数の受講者を含む情景を撮影し、撮影により得られた画像に含まれる人物の顔の傾きを解析することで、人物の状態（例えば、頷き状態、居眠り状態等）を定量的に算出する画像処理システムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９７６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記画像処理システムを用いて、画像に含まれる人物の状態を解析するためには、撮影された画像において人物の詳細な顔情報（例えば、眉の位置、顔の輪郭等）を算出する必要がある。このため、多数の受講者が受講する講義等に適用しようとすると、高性能な撮像装置を多数設置する必要が生じ、コストがかかるといった問題がある。
【０００６】
このようなことから、講義等を撮影した画像に含まれる人物の状態を、簡易な画像処理システムを用いて（つまり、効率よく）解析できるようにすることが求められている。
【０００７】
一つの側面では、画像に含まれる人物の状態を効率よく解析できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、画像処理プログラムは、
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、
処理をコンピュータに実行させる。
【発明の効果】
【０００９】
画像に含まれる人物の状態を効率よく解析することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムのシステム構成の一例を示す図である。
【図２】画像処理装置のハードウェア構成の一例を示す図である。
【図３】画像処理装置の画像処理部の機能構成を示す図である。
【図４】顔候補検出部の処理の具体例を示す図である。
【図５】検出結果情報の一例を示す図である。
【図６】第１の絞り込み部の処理の具体例を示す図である。
【図７】第２の絞り込み部の処理の具体例を示す図である。
【図８】検出件数時系列データ生成部の処理の具体例を示す図である。
【図９】変化件数時系列データ生成部の処理の具体例を示す第１の図である。
【図１０】変化件数時系列データ生成部の処理の具体例を示す第２の図である。
【図１１】画像処理装置による画像処理の第１のフローチャートである。
【図１２】画像処理装置による画像処理の第２のフローチャートである。
【図１３】顔検出件数の時系列データの他の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
＜画像処理システムのシステム構成＞
はじめに、画像処理システム全体のシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。
【００１３】
図１に示すように、画像処理システム１００は、撮像装置１１０、動画像データ格納装置１２０、画像処理装置１３０を有する。動画像データ格納装置１２０と画像処理装置１３０とはネットワーク１４０を介して接続される。
【００１４】
撮像装置１１０は、例えば、大学の講義室等のように、多数の受講者が講義等を受講する空間において、受講者側に向けて設置され、受講者が着座する範囲を撮影範囲として撮影する。また、撮像装置１１０は、撮影することで得た動画像データを、動画像データ格納装置１２０に送信する。
【００１５】
動画像データ格納装置１２０は、撮像装置１１０より送信された動画像データを格納する。また、動画像データ格納装置１２０は、画像処理装置１３０からの要求に応じて、ネットワーク１４０を介して、動画像データを画像処理装置１３０に送信する。
【００１６】
画像処理装置１３０には、画像処理プログラムがインストールされている。画像処理装置１３０は、当該画像処理プログラムを実行することで、画像処理部１３１として機能する。
【００１７】
画像処理部１３１は、動画像データをフレーム単位で処理することで、各フレームの画像データより、受講者の顔の候補（顔候補データと称す）を検出し、顔候補データのサイズ及び顔候補データが存在する位置を抽出する。また、画像処理部１３１は、検出した顔候補データを、抽出したサイズ及び位置に基づいて絞り込み、画像データごとに、顔を上げている受講者の数を示す「顔検出件数」を算出する。受講者が顔を上げている状態は、受講者が講義等に集中している状態である。したがって、顔検出件数を算出することで、各受講者が講義等に集中している状態であるか否かを解析することができる。
【００１８】
画像処理部１３１は、画像データごとに算出した顔検出件数を、各画像データが撮影されたタイミングを示す時刻情報と対応付けて、時系列データとして解析結果格納部１３２に格納する。
【００１９】
更に、画像処理部１３１は、画像データごとの顔検出の結果に基づき、受講者の顔の上げ下げの頻度を示す「変化件数」を算出し、時刻情報と対応付けて、時系列データとして解析結果格納部１３２に格納する。受講者が頻繁に顔を上げ下げしている状態は、受講者がメモをとりながら講義等を受講している状態であり、講義等に集中している状態である。したがって、変化件数を算出することで、各受講者が講義等に集中している状態であるか否かを解析することができる。
【００２０】
このように、画像処理装置１３０は、画像に含まれる人物の状態を解析するために、顔検出件数と変化件数とを算出する。つまり、画像処理装置１３０の場合、人物の顔の検出を行う一方で、人物の詳細な顔情報の算出までは行わない。このため、画像処理システムとして、高性能な撮像装置を設置する必要がなく、また、撮像装置の設置台数を削減することができる。
【００２１】
つまり、簡易な画像処理システムがあれば足り、画像に含まれる人物の状態を、効率よく解析することができる。
【００２２】
＜画像処理装置のハードウェア構成＞
次に、画像処理装置１３０のハードウェア構成について説明する。図２は、画像処理装置のハードウェア構成の一例を示す図である。図２に示すように、画像処理装置１３０は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【００２３】
また、画像処理装置１３０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、画像処理装置１３０の各部は、バス２０９を介して相互に接続されている。
【００２４】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、画像処理プログラム等）を実行するデバイスである。
【００２５】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する。
【００２６】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する主記憶デバイスとして機能する。
【００２７】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。解析結果格納部１３２は、補助記憶装置２０４において実現される。
【００２８】
表示装置２０５は、画像処理装置１３０における画像処理の結果を示す情報（例えば、後述する顔検出件数時系列データ、変化件数時系列データ等の、時刻情報と対応付けられた“顔の有無に応じた結果を示す情報”）を表示する表示デバイスである。操作装置２０６は、画像処理装置１３０の管理者が画像処理装置１３０に対して各種指示を入力するための入力デバイスである。
【００２９】
Ｉ／Ｆ装置２０７は、ネットワーク１４０に接続し、動画像データ格納装置１２０と通信を行うための通信デバイスである。
【００３０】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３１】
なお、補助記憶装置２０４に格納される各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。
【００３２】
＜画像処理装置の機能構成＞
次に、画像処理装置１３０の画像処理部１３１の機能構成について説明する。図３は、画像処理装置の画像処理部の機能構成の一例を示す図である。
【００３３】
図３に示すように、画像処理装置１３０の画像処理部１３１は、動画像データ取得部３０１、顔候補検出部３０２、第１の絞り込み部３０３、第２の絞り込み部３０４を有する。また、画像処理装置１３０の画像処理部１３１は、検出件数時系列データ生成部３０５、変化件数時系列データ生成部３０６、表示制御部３０７を有する。
【００３４】
動画像データ取得部３０１は、動画像データ格納装置１２０より動画像データを取得し、フレーム単位の画像データを顔候補検出部３０２に通知する。
【００３５】
顔候補検出部３０２は抽出部の一例である。顔候補検出部３０２は、動画像データ取得部３０１より、フレーム単位の画像データを受信し、受信した画像データを処理することで、受講者（画像に含まれる人物）の顔候補データを検出する。顔候補検出部３０２は、受講者の顔候補データを矩形領域として検出し、検出した矩形領域が存在する位置（ｘ座標、ｙ座標）及び検出した矩形領域のサイズ（横幅、高さ）を抽出する。また、顔候補検出部３０２は、抽出した位置及びサイズ（横幅、高さ）を、検出結果情報として、解析結果格納部１３２に格納する。
【００３６】
第１の絞り込み部３０３は、解析結果格納部１３２に検出結果情報が新たに格納されると、当該検出結果情報に含まれる各顔候補データのサイズ（横幅、高さ）が、所定の条件を満たすか否かを判定する。第１の絞り込み部３０３は、所定の条件を満たさないと判定した顔候補データを、誤検出した顔候補データと判定し、検出結果情報から削除する。
【００３７】
第２の絞り込み部３０４は特定部の一例である。第２の絞り込み部３０４は、第１の絞り込み部３０３により、所定の条件を満たさないと判定された顔候補データが削除された検出結果情報について、残りの顔候補データを、位置（ｘ座標、ｙ座標）に基づき、予め定められた各画像領域に分類する。また、第２の絞り込み部３０４は、各画像領域に分類された顔候補データの数を集計し、集計結果を集計結果情報として、解析結果格納部１３２に格納する。また、第２の絞り込み部３０４は、集計結果情報において、所定数以下の画像領域に分類された顔候補データの数を減算することで顔検出件数を算出する。
【００３８】
検出件数時系列データ生成部３０５は、第２の絞り込み部３０４により、各画像データについて算出された顔検出件数を、各画像データを撮影したタイミングを示す時刻情報と対応付けることで顔検出件数の時系列データを生成し、解析結果格納部１３２に格納する。
【００３９】
変化件数時系列データ生成部３０６は、各画像データの集計結果情報同士を比較し、各画像領域について、それぞれの画像領域に分類された顔候補データの数の差分（絶対値）を算出し、差分情報として、解析結果格納部１３２に格納する。
【００４０】
なお、差分（絶対値）を算出するのは、受講者が顔を上げている状態から下げている状態へと変化した数と、受講者が顔を下げている状態から上げている状態へと変化した数の両方をカウントするためである。
【００４１】
また、変化件数時系列データ生成部３０６は、差分情報に基づいて各画像領域について算出した差分（絶対値）を集計することで、当該画像データにおける変化件数を算出する。更に、変化件数時系列データ生成部３０６は、各画像データについて算出した変化件数を、時刻情報と対応付けることで、変化件数の時系列データを生成し、解析結果格納部１３２に格納する。
【００４２】
表示制御部３０７は出力部の一例である。表示制御部３０７は、解析結果格納部１３２に格納された、顔検出件数の時系列データと変化件数の時系列データとを、時刻情報と対応付けられた“顔の有無に応じた結果を示す情報”として、表示装置２０５に出力する。これにより、表示装置２０５には、顔検出件数の時系列データと変化件数の時系列データとが表示される。
【００４３】
＜画像処理装置の画像処理部に含まれる各部の処理の具体例＞
次に、画像処理装置１３０の画像処理部１３１に含まれる各部（ここでは、顔候補検出部３０２、第１の絞り込み部３０３、第２の絞り込み部３０４、検出件数時系列データ生成部３０５、変化件数時系列データ生成部３０６）の処理の具体例について説明する。
【００４４】
（１）顔候補検出部の処理の具体例
図４は、顔候補検出部の処理の具体例を示す図である。このうち、図４（ａ）は、動画像データ取得部３０１により取得される動画像データの一例を示している。図４（ａ）に示すように、動画像データ４００には、時刻ｔ０〜ｔｎまでの各タイミングで撮像装置１１０が撮影することで得た画像データ４００＿０〜４００＿ｎが含まれる。顔候補検出部３０２は、動画像データ４００に含まれる画像データ４００＿０〜４００＿ｎそれぞれを、順次、動画像データ取得部３０１から受信し、顔候補データを検出する処理を行う。
【００４５】
図４（ｂ）は、顔候補検出部３０２が、動画像データ取得部３０１から受信した、画像データ４００＿０を示している。図４（ｂ）に示すように、顔候補検出部３０２は、画像データ４００＿０の左上頂点を原点、横方向をｘ軸、縦方向をｙ軸と規定して、各画素の座標を特定することで顔候補データを検出する処理を行う。
【００４６】
図４（ｃ）は、画像データ４００＿０より、顔候補検出部３０２が検出した顔候補データの一例を示している。顔候補検出部３０２は、画像データ４００＿０より顔候補データを矩形領域として検出し、検出した各顔候補データに対して識別子（ＩＤ（Identifier））を付与する。また、顔候補検出部３０２は、各顔候補データが存在する位置（矩形領域の左上頂点の座標）、高さ（矩形領域のｙ方向の長さ）、横幅（矩形領域のｘ方向の長さ）を抽出する。更に、顔候補検出部３０２は、検出した顔候補データの数（顔候補検出件数）を算出する。
【００４７】
図４（ｃ）の例は、顔候補データ４１０＿１に識別子（ＩＤ）として、“Ｆ００１”が付与され、座標＝（ｘ１，ｙ１）、高さ＝ｈ１、横幅＝ｗ１が抽出されたことを示している。画像データ４００＿０の場合、顔候補検出部３０２により、顔候補データ４１０＿１〜４１０＿ｍ０までのｍ０個の顔候補データが検出されている。
【００４８】
なお、図４（ｃ）に示す顔候補データのうち、矩形領域の中に受講者の顔が含まれていない顔候補データ（例えば、顔候補データ４１０＿３、４１０＿４）は、受講者の顔でない領域を、受講者の顔と誤って検出したことを示している。
【００４９】
顔候補検出部３０２は、検出した各顔候補データについて抽出した情報（座標、高さ、横幅）を、各顔候補データの識別子（ＩＤ）と対応付けて、検出結果情報として解析結果格納部１３２に格納する。更に、顔候補検出部３０２は、検出した各顔候補データの顔候補データの数（顔候補検出件数）を、検出結果情報として解析結果格納部１３２に格納する。
【００５０】
図５は、検出結果情報の一例を示す図である。図５に示すように、検出結果情報５００は、情報の項目として、“識別子（ＩＤ）”、“横起点（ｘ）”、“縦起点（ｙ）”、“横幅（ｗ）”、“高さ（ｈ）”、“顔候補検出件数”を含む。
【００５１】
“識別子（ＩＤ）”には、顔候補データに付与された識別子が格納される。“横起点（ｘ）”には、顔候補データのｘ座標（矩形領域の左上頂点のｘ座標）が格納される。“縦起点（ｙ）”には、顔候補データのｙ座標（矩形領域の左上頂点のｙ座標）が格納される。
【００５２】
“横幅（ｗ）”には、顔候補データの横幅（矩形領域のｘ方向の長さ）が格納される。“高さ（ｈ）”には、顔候補データの高さ（矩形領域のｙ方向の長さ）が格納される。“顔候補検出件数”には、検出された顔候補データの数が格納される。
【００５３】
なお、図５では、時刻ｔ０の画像データ４００＿０において検出された顔候補データについて抽出した情報を、検出結果情報５００として格納した様子を示している。しかしながら、顔候補検出部３０２が格納する検出結果情報は図５に示す検出結果情報５００に限られない。顔候補検出部３０２は、時刻ｔ１の画像データ４００＿１〜時刻ｔｎの画像データ４００＿ｍ０においてそれぞれ検出した顔候補データについて抽出した情報についても、同様に、検出結果情報として、順次、解析結果格納部１３２に格納するものとする。
【００５４】
（２）第１の絞り込み部の処理の具体例
図６は、第１の絞り込み部の処理の具体例を示す図である。上述したとおり、第１の絞り込み部３０３は、所定の条件を満たさないと判定した顔候補データについて抽出した情報を、識別子（ＩＤ）とともに検出結果情報から削除する。
【００５５】
具体的には、第１の絞り込み部３０３は、横幅（ｗ）の上限値及び下限値、高さ（ｈ）の上限値及び下限値を予め保持しており、各顔候補データの横幅（ｗ）、高さ（ｈ）が、それぞれの上限値から下限値の範囲に含まれているか否かを判定する。
【００５６】
第１の絞り込み部３０３は、横幅（ｗ）または高さの少なくともいずれか一方が、それぞれの上限値から下限値の範囲に含まれていないと判定した場合、所定の条件を満たさないと判定する。また、第１の絞り込み部３０３は、当該顔候補データについて抽出した情報を、識別子（ＩＤ）とともに検出結果情報から削除する。
【００５７】
図６（ａ）の検出結果情報５００において、ハッチングした領域に格納された横幅（ｗ）、高さ（ｈ）は、第１の絞り込み部３０３により、横幅（ｗ）及び高さ（ｈ）それぞれの上限値から下限値の範囲に含まれていないと判定されたことを示している。
【００５８】
この場合、第１の絞り込み部３０３は、識別子（ＩＤ）＝“Ｆ００３”、“Ｆ００４”の顔候補データについて抽出した情報を、当該識別子（ＩＤ）とともに検出結果情報５００から削除する。
【００５９】
図６（ｂ）は、第１の絞り込み部３０３により、所定の条件を満たさないと判定された顔候補データについて抽出した情報が削除された、削除後の検出結果情報６００を示している。図６（ｂ）の例では、少なくとも、識別子（ＩＤ）＝“Ｆ００３”、“Ｆ００４”の顔候補データについて抽出した情報が識別子とともに検出結果情報６００から削除されている。また、図６（ｂ）の例では、所定の条件を満たさないと判定された顔候補データについて抽出した情報が検出結果情報６００から削除されたことで、“顔候補検出件数”がｍ０からｍ０’へと変化している。
【００６０】
（３）第２の絞り込み部の処理の具体例
図７は、第２の絞り込み部の処理の具体例を示す図である。上述したとおり、第２の絞り込み部３０４は、所定の条件を満たさないと判定された顔候補データについて抽出した情報が削除された後の残りの顔候補データを、各顔候補データが存在する位置に基づき、予め定められた各画像領域に分類する。また、第２の絞り込み部３０４は、各画像領域に分類された顔候補データの数を集計し、所定数以下の画像領域に分類された顔候補データの数を減算することで、顔検出件数を算出する。
【００６１】
図７（ａ）は、第２の絞り込み部３０４により処理される検出結果情報６００である。また、図７（ｂ）は、画像データ４００＿０を複数の画像領域に区分し、検出結果情報６００に含まれる各顔候補データを、位置に基づきいずれかの画像領域に分類し、各画像領域に分類された顔候補データの数を集計した集計結果情報７００を示している。
【００６２】
図７（ｂ）の例は、画像データ４００＿０を予め定められた１２個の画像領域に区分したことを示している。また、図７（ｂ）の例は、１２個の画像領域のうち、ｘ座標＝０〜Ｘ１、ｙ座標＝０〜Ｙ１により特定される画像領域に、Ｐ０１１個の顔候補データが分類されたことを示している。なお、図７（ｂ）の例では、検出結果情報６００に含まれる顔候補データ（識別子（ＩＤ）＝“Ｆ００１”）が、ｘ座標＝０〜Ｘ１、ｙ座標＝０〜Ｙ１により特定される画像領域に分類されている（矢印７０１参照）。
【００６３】
また、図７（ｂ）の例は、ｘ座標＝０〜Ｘ１、ｙ座標＝Ｙ１〜Ｙ２により特定される画像領域に、Ｐ０１２個の顔候補データが分類されたことを示している。なお、図７（ｂ）の例では、検出結果情報６００に含まれる顔候補データ（識別子（ＩＤ）＝“Ｆ００２”）が、ｘ座標＝０〜Ｘ１、ｙ座標＝Ｙ１〜Ｙ２により特定される画像領域に分類されている（矢印７０２参照）。
【００６４】
以下、同様に、第２の絞り込み部３０４は、検出結果情報６００に含まれる全ての顔候補データを、顔候補データが存在する位置に基づき、いずれかの画像領域に分類し、各画像領域に分類した顔候補データの数を集計する（Ｐ０１１〜Ｐ０３４）。
【００６５】
図７（ｃ）は、第２の絞り込み部３０４により、画像領域ごとに集計した顔候補データの数が、所定数以下であるか否かが判定された様子を示している。図７（ｃ）の場合、ｘ座標＝Ｘ１〜Ｘ２、ｙ座標＝Ｙ３〜Ｙ４により特定される画像領域に分類された顔候補データの数（Ｐ０２４個）が、所定数以下となっている。
【００６６】
この場合、第２の絞り込み部３０４は、ｘ座標＝Ｘ１〜Ｘ２、ｙ座標＝Ｙ３〜Ｙ４により特定される画像領域に分類された顔候補データの数（Ｐ０２４個）を、顔候補検出件数（＝“ｍ’０”）から減算することで、顔検出件数（Ｃ０）を算出する。
【００６７】
図７（ｃ）の集計結果情報７１０は、第２の絞り込み部３０４が、画像データ４００＿０の顔検出件数（Ｃ０）として、“ｍ’０−Ｐ０２４”を算出したことを示している。
【００６８】
（４）検出件数時系列データ生成部の処理の具体例
図８は、検出件数時系列データ生成部の処理の具体例を示す図である。上述したとおり、検出件数時系列データ生成部３０５は、第２の絞り込み部３０４により、各画像データについて算出された顔検出件数を、時刻情報と対応付ける。
【００６９】
図８（ａ）は、検出件数時系列データ生成部３０５が、第２の絞り込み部３０４により、各画像データ４００＿０〜４００＿ｎについて算出された顔検出件数Ｃ０〜Ｃｎを、時刻情報と対応付けた様子を示している。また、図８（ｂ）は、顔検出件数の時系列データを示すグラフである。図８（ｂ）において、横軸は時刻ｔ０からの経過時間を表し、縦軸はそれぞれの経過時間における顔検出件数を表している。
【００７０】
検出件数時系列データ生成部３０５は、生成した時系列データを、解析結果格納部１３２に格納する。
【００７１】
（５）変化件数時系列データ生成部の処理の具体例
図９は、変化件数時系列データ生成部の処理の具体例を示す第１の図である。上述したとおり、変化件数時系列データ生成部３０６は、各画像データの集計結果情報について、１フレーム前の画像データの集計結果情報との、画像領域ごとの差分（絶対値）を算出する。また、変化件数時系列データ生成部３０６は、画像領域ごとの差分（絶対値）を集計することで、変化件数を算出する。
【００７２】
図９（ａ）、（ｂ）は、それぞれ画像データ４００＿０の集計結果情報７１０及び画像データ４００＿１の集計結果情報９１０を示している。また、図９（ｃ）は、集計結果情報７１０及び集計結果情報９１０に基づいて算出された、画像データ４００＿１についての差分情報９２０を示している。図９（ｃ）の例では、ｘ座標＝０〜Ｘ１、ｙ座標＝０〜Ｙ１により特定される画像領域について、差分（絶対値）としてΔＰ０＿１１１が算出されたことを示している。
【００７３】
なお、ΔＰ０＿１１１は、集計結果情報７１０において当該画像領域において集計された顔候補データの数（Ｐ０１１）と、集計結果情報９１０において当該画像領域において集計された顔候補データの数（Ｐ１１１）との差分（絶対値）を算出することで得られる。
【００７４】
以下、同様に、変化件数時系列データ生成部３０６は、各画像領域について差分（絶対値）を算出することで、図９（ｃ）に示すように、ΔＰ０＿１１１〜ΔＰ０＿１３４を算出し、差分情報９２０として解析結果格納部１３２に格納する。また、変化件数時系列データ生成部３０６は、算出したΔＰ０＿１１１〜ΔＰ０＿１３４を集計することで、画像データ４００＿１の変化件数（Ｄ１）を算出し、差分情報９２０として解析結果格納部１３２に格納する。
【００７５】
図１０は、変化件数時系列データ生成部の処理の具体例を示す第２の図である。上述したとおり、変化件数時系列データ生成部３０６は、各画像データ（ただし、時刻ｔ０の画像データは除く）について算出した変化件数（Ｄ１〜Ｄｎ）を時刻情報と対応付ける。
【００７６】
図１０（ａ）は、各画像データ４００＿１〜４００＿ｎについて算出した変化件数Ｄ１〜Ｄｎを、時刻情報と対応付けた様子を示している。また、図１０（ｂ）は、変化件数の時系列データを示すグラフである。図１０（ｂ）において横軸は時刻ｔ１からの経過時間を表し、縦軸はそれぞれの経過時間における変化件数を表している。
【００７７】
変化件数時系列データ生成部３０６は、生成した時系列データを、解析結果格納部１３２に格納する。
【００７８】
＜画像処理の流れ＞
次に、画像処理装置１３０の画像処理部１３１による画像処理の流れについて説明する。図１１及び図１２は、画像処理装置による画像処理の第１及び第２のフローチャートである。画像処理装置１３０の管理者により、画像処理プログラムが起動され、処理対象とする動画像データが指定されることで、図１１及び図１２に示す画像処理が実行される。
【００７９】
ステップＳ１１０１において、動画像データ取得部３０１は、指定された動画像データを、動画像データ格納装置１２０から取得する。
【００８０】
ステップＳ１１０２において、顔候補検出部３０２は、動画像データに含まれる、フレーム単位の画像データをカウントするカウンタｉに“０”を入力する。
【００８１】
ステップＳ１１０３において、顔候補検出部３０２は、動画像データの中から、ｉ番目の画像データを読み出す。
【００８２】
ステップＳ１１０４において、顔候補検出部３０２は、ｉ番目の画像データについて顔候補データを検出し、検出した顔候補データについて抽出した情報を、検出結果情報として解析結果格納部１３２に格納する。また、検出した顔候補データの数（顔候補検出件数）を、検出結果情報として解析結果格納部１３２に格納する。
【００８３】
ステップＳ１１０５において、第１の絞り込み部３０３は、ｉ番目の画像データより検出された顔候補データをカウントするカウンタｊに“１”を入力する。
【００８４】
ステップＳ１１０６において、第１の絞り込み部３０３は、ｊ番目の顔候補データのサイズ（横幅、高さ）が、所定の条件を満たすか否かを判定する。ステップＳ１１０６において所定の条件を満たすと判定した場合には（ステップＳ１１０６においてＹｅｓの場合には）、ステップＳ１１０８に進む。
【００８５】
一方、ステップＳ１１０６において所定の条件を満たさないと判定した場合には（ステップＳ１１０６においてＮｏの場合には）、ステップＳ１１０７に進む。ステップＳ１１０７において、第１の絞り込み部３０３は、ｊ番目の顔候補データについて抽出した情報を、検出結果情報から削除するとともに、顔候補検出件数を変更する。
【００８６】
ステップＳ１１０８において、第１の絞り込み部３０３は、検出結果情報に格納された全ての顔候補データについて判定を行ったか否かを判定する。ステップＳ１１０８において、判定を行っていない顔候補データがあると判定した場合には（ステップＳ１１０８においてＮｏの場合には）、ステップＳ１１０９に進む。
【００８７】
ステップＳ１１０９において、第１の絞り込み部３０３は、カウンタｊをインクリメントし、ステップＳ１１０６に戻る。
【００８８】
一方、ステップＳ１１０８において、全ての顔候補データについて判定を行ったと判定した場合には（ステップＳ１１０８においてＹｅｓの場合には）、図１２のステップＳ１２０１に進む。
【００８９】
ステップＳ１２０１において、第２の絞り込み部３０４は、検出結果情報に含まれる顔候補データを、位置に基づき予め定められた各画像領域に分類し、各画像領域における顔候補データの数を集計する。また、第２の絞り込み部３０４は、ｉ番目の画像データについての集計結果を集計結果情報として、解析結果格納部１３２に格納する。
【００９０】
ステップＳ１２０２において、第２の絞り込み部３０４は、集計結果情報において、顔候補データの数が所定数以下の画像領域を判定する。
【００９１】
ステップＳ１２０３において、第２の絞り込み部３０４は、所定数以下の画像領域に含まれる顔候補データの数を顔候補検出件数から減算し、ｉ番目の画像データにおける顔検出件数を算出する。また、第２の絞り込み部３０４は、算出した顔検出件数をｉ番目の画像データについての集計結果情報として、解析結果格納部１３２に格納する。
【００９２】
ステップＳ１２０４において、変化件数時系列データ生成部３０６は、（ｉ−１）番目の画像データについての集計結果情報を、解析結果格納部１３２から読み出す。
【００９３】
ステップＳ１２０５において、変化件数時系列データ生成部３０６は、（ｉ−１）番目の画像データについての集計結果情報と、ｉ番目の画像データについての集計結果情報とを用いて、ｉ番目の画像データにおける変化件数を算出する。また、変化件数時系列データ生成部３０６は、算出した変化件数をｉ番目の画像データについての差分情報として、解析結果格納部１３２に格納する。
【００９４】
ステップＳ１２０６において、顔候補検出部３０２は、動画像データに含まれる全ての画像データについて処理を行ったか否かを判定する。ステップＳ１２０６において、処理を行っていない画像データがあると判定した場合には（ステップＳ１２０６においてＮｏの場合には）、ステップＳ１２０７に進む。ステップＳ１２０７において、顔候補検出部３０２は、カウンタｉをインクリメントし、図１１のステップＳ１１０３に戻る。
【００９５】
一方、ステップＳ１２０６において、全ての画像データについて処理を行ったと判定した場合には（ステップＳ１２０６においてＹｅｓの場合には）、ステップＳ１２０８に進む。
【００９６】
ステップＳ１２０８において、検出件数時系列データ生成部３０５は、各画像データの時刻情報に、各画像データについて算出した顔検出件数を対応付けて、顔検出件数の時系列データを生成する。また、検出件数時系列データ生成部３０５は、生成した顔検出件数の時系列データを、解析結果格納部１３２に格納する。
【００９７】
ステップＳ１２０９において、変化件数時系列データ生成部３０６は、各画像データの時刻情報に、各画像データについて算出した変化件数を対応付けて、変化件数の時系列データを生成する。また、変化件数時系列データ生成部３０６は、生成した変化件数の時系列データを、解析結果格納部１３２に格納する。
【００９８】
以上の説明から明らかなように、第１の実施形態における画像処理装置１３０は、画像に含まれる人物の状態を解析するために、顔検出件数と変化件数とを算出する。このように、第１の実施形態における画像処理装置１３０では、人物の状態を解析するにあたり、人物の顔の検出を行う一方で、人物の詳細な顔情報（例えば、眉の位置、顔の輪郭等）の算出までは行わない。このため、画像処理システムとして高性能な撮像装置を設置する必要がなく、また、撮像装置の設置台数を削減することができる。
【００９９】
つまり、簡易な画像処理システムがあれば足り、画像に含まれる人物の状態を効率よく解析することが可能となる。
【０１００】
［第２の実施形態］
上記第１の実施形態では、各画像データについて算出された顔検出件数及び変化件数を時刻情報と対応付ける場合について説明したが、時刻情報と対応付けるデータは、顔検出件数及び変化件数に限定されない。
【０１０１】
例えば、受講者の状態に影響を与える要因を時刻情報と対応付けるようにしてもよい。これにより、受講者の状態に影響を与える要因を解析することが可能になるからである。
【０１０２】
図１３は、顔検出件数の時系列データの他の一例を示す図である。このうち、図１３（ａ）は、顔検出件数に加えて、講義内容を時刻情報と対応付けた様子を示している。図１３（ａ）によれば、受講者の状態と講義内容との間に相関があるのか否かを解析することができる。また、相関がある場合には、受講者の集中状態を高める講義内容はいずれの講義内容であるのかを特定することができる。
【０１０３】
図１３（ｂ）は、顔検出件数に加えて、講師等が板書する文字の大きさを時刻情報と対応付けた様子を示している。図１３（ｂ）によれば、受講者の状態と講師等が板書する文字の大きさとの間に相関があるのか否かを解析することができる。また、相関がある場合には、受講者の集中状態を高める適切な文字の大きさを特定することができる。
【０１０４】
図１３（ｃ）は、顔検出件数に加えて、講師等の立ち位置を時刻情報と対応付けた様子を示している。図１３（ｃ）によれば、受講者の状態と講師等の立ち位置との間に相関があるのか否かを解析することができる。また、相関がある場合には、受講者の集中状態を高める適切な立ち位置を特定することができる。
【０１０５】
［その他の実施形態］
上記各実施形態では、顔候補検出部３０２による顔候補データの検出方法について特に言及しなかったが、顔候補検出部３０２による顔候補データの検出方法は任意の検出方法を用いることができる。
【０１０６】
また、上記各実施形態では、第１の絞り込み部３０３が、横幅（ｗ）の上限値及び下限値、高さ（ｈ）の上限値及び下限値を１種類保持しているものとして説明した。しかしながら、第１の絞り込み部３０３が保持する上限値、下限値は１種類に限定されない。例えば、撮像装置１１０の設置位置からの距離（画像データ上の位置）に応じて、複数種類の上限値、下限値を保持しておき、顔候補データが存在する位置によって、異なる上限値、下限値を読み出して判定するようにしてもよい。
【０１０７】
また、上記各実施形態では、第１の絞り込み部３０３が、横幅（ｗ）、高さ（ｈ）それぞれに、上限値及び下限値を保持しているものとして説明した。しかしながら、第１の絞り込み部３０３が保持する上限値、下限値はこれに限定されない。例えば、横幅（ｗ）×高さ（ｈ）の面積の上限値、下限値を保持していてもよい。
【０１０８】
また、上記各実施形態では、各画像データの時刻情報と対応付けることで、顔検出件数の時系列データ及び変化件数の時系列データを生成するものとして説明した。つまり、顔検出件数及び変化件数のプロット周期が、各画像データのフレーム周期（例えば、３００ｍｓｅｃ）と等しくなるように時系列データを生成するものとして説明した。
【０１０９】
しかしながら、顔検出件数及び変化件数のプロット周期が、各画像データのフレーム周期と等しくなるように時系列データを生成する必要はなく、各画像データのフレーム周期よりも長くなるように時系列データを生成してもよい（例えば、１秒）。また、顔検出件数及び変化件数のプロット周期は、例えば、講義の形式（板書中心の講義形式なのか、講義中心の講義形式なのか）によって、変更するようにしてもよい。
【０１１０】
また、上記各実施形態では、第２の絞り込み部３０４が顔候補データを分類する際に用いる画像領域を、所定の形状及び大きさに区切るものとして説明したが、画像領域は、講義等が行われる空間の構造等に応じた形状、大きさに区切るようにしてもよい。
【０１１１】
なお、画像領域の大きさが大きすぎると、顔を上げている状態から下げている状態へと変化した受講者の数と、顔を下げている状態から上げている状態へと変化した受講者の数とが相殺され、変化件数の算出精度が低下することになる。このため、画像領域は適切な大きさに区切ることが求められる。
【０１１２】
また、上記各実施形態では、第２の絞り込み部３０４が各画像領域において算出した差分（絶対値）を集計することで変化件数を算出し、当該変化件数に基づいて、変化件数時系列データを生成するものとして説明した。しかしながら、第２の絞り込み部３０４が算出する変化件数は、これに限定されない。
【０１１３】
例えば、第２の絞り込み部３０４が、各画像領域において算出した差分のうち、符号がプラスとなる値を集計して変化件数を算出し、変化件数時系列データを生成してもよい。これにより、顔を下げた状態から上げた状態へと変化した受講者の数の時系列データを算出することができる。
【０１１４】
あるいは、第２の絞り込み部３０４が、各画像領域において算出した差分のうち、符号がマイナスとなる値を集計して変化件数を算出し、変化件数時系列データを生成してもよい。これにより、顔を上げた状態から下げた状態へと変化した受講者の数の時系列データを算出することができる。
【０１１５】
また、上記各実施形態では、第１の絞り込み部３０３が処理を行った後に、第２の絞り込み部３０４が処理を行うものとして説明したが、第１の絞り込み部３０３と第２の絞り込み部３０４の処理の順序は逆であってもよい。
【０１１６】
また、上記各実施形態では、画像処理装置１３０をネットワーク１４０を介して動画像データ格納装置１２０に接続するものとして説明したが、画像処理装置１３０として携帯可能な端末を用いる場合には、動画像データ格納装置１２０に直接接続してもよい。あるいは、撮像装置１１０に着脱可能な記録媒体を装着して動画像データを格納し、動画像データが格納された当該記録媒体を画像処理装置１３０に装着することで、画像処理装置１３０が動画像データを取得してもよい。
【０１１７】
また、上記各実施形態では、画像処理システム１００として、１組の撮像装置１１０及び動画像データ格納装置１２０が含まれる場合について説明したが、撮像装置１１０及び動画像データ格納装置１２０は、画像処理システム１００に複数組含まれていてもよい。
【０１１８】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記２）
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において顔を検出した数を出力することを特徴とする付記１に記載の画像処理プログラム。
（付記３）
前記顔の有無に応じた結果を出力する際、特定した前記画像領域における顔の有無が、１フレーム前の画像の当該画像領域における顔の有無と異なる数を出力することを特徴とする付記１に記載の画像処理プログラム。
（付記４）
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において、１フレーム前の画像において顔を検出せず、処理対象のフレームの画像において顔を検出した数を出力することを特徴とする付記３に記載の画像処理プログラム。
（付記５）
前記顔の有無に応じた結果を出力する際、特定した前記画像領域において、１フレーム前の画像において顔を検出し、処理対象のフレームの画像において顔を検出しない数を出力することを特徴とする付記３に記載の画像処理プログラム。
（付記６）
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出し、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定し、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
（付記７）
同一の撮影範囲を異なるタイミングで撮影することで得た複数の画像それぞれから、顔が存在する位置を抽出する抽出部と、
抽出した前記顔が存在する位置に基づいて、前記複数の画像それぞれについて、画像領域を特定する特定部と、
特定した前記画像領域における、顔の有無に応じた結果を、前記複数の画像それぞれを撮影したタイミングを示す情報と対応付けて出力する出力部と
を有することを特徴とする画像処理装置。
【０１１９】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１２０】
１００                    ：画像処理システム
１１０                    ：撮像装置
１２０                    ：動画像データ格納装置
１３０                    ：画像処理装置
１３１                    ：画像処理部
１３２                    ：解析結果格納部
３０１                    ：動画像データ取得部
３０２                    ：顔候補検出部
３０３                    ：第１の絞り込み部
３０４                    ：第２の絞り込み部
３０５                    ：検出件数時系列データ生成部
３０６                    ：変化件数時系列データ生成部
３０７                    ：表示制御部
５００、６００            ：検出結果情報
７００、７１０、９１０    ：集計結果情報
９２０                    ：差分情報
【図１】
2018106539.tif 000003
【図２】
2018106539.tif 000004
【図３】
2018106539.tif 000005
【図４】
2018106539.tif 000006
【図５】
2018106539.tif 000007
【図６】
2018106539.tif 000008
【図７】
2018106539.tif 000009
【図８】
2018106539.tif 000010
【図９】
2018106539.tif 000011
【図１０】
2018106539.tif 000012
【図１１】
2018106539.tif 000013
【図１２】
2018106539.tif 000014
【図１３】
2018106539.tif 000015