(57)【要約】【課題】  投影手段により投影された画像を含む録画データのうち特定の人物に対応する部分を容易に再生できるようにする。【解決手段】  人物の顔の特徴量の変化に基づいて、プレゼンテータが交代したり、プレゼンテータが特定の動作をしたりしたことを検知すると、プレゼンテーション状況把握用の録画データの、当該検知したタイミングに対応する部分にチャプタを挿入する。また、チャプタの付加情報（メタデータ）として、プレゼンテータの顔特徴量・位置・名前や動作を記憶する。【選択図】  図２
2016134750.tif 000002
【特許請求の範囲】
【請求項１】
投影手段により投影された画像を含む領域を記録した結果から、人物の特徴量を検知する人物検知手段と、
前記人物検知手段により検知された人物の特徴量に変化が生じたか否かと、前記投影手段により投影された画像に変化が生じたか否かと、の少なくとも何れか一方を判定する判定手段と、
前記投影手段により投影された画像を含む領域の撮像画像に基づく第１の画像の録画データにおける、前記判定手段により前記変化が生じたと判定されたタイミングに対応する部分にチャプタを挿入する挿入手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記人物検知手段は、前記投影手段により投影された画像を含む領域の撮像画像に基づく第２の画像から、人物の特徴量を検知することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記チャプタに対する付加情報として、前記人物検知手段により検知された前記人物の特徴量を含む情報を記録する記録手段をさらに有することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記付加情報は、前記人物の特徴量と、前記人物の特徴量の位置と、前記人物の名前と、前記人物の特定の動作とのうち、少なくとも何れか１つを含むことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
人物の特徴量と人物の名前とが相互に関連付けられた情報と、前記人物検知手段により検知された人物の特徴量とに基づいて、当該人物の名前を特定する特定手段をさらに有することを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記人物検知手段により検知された人物の特徴量に基づいて、前記人物の特定の動作を検知する動き検知手段をさらに有することを特徴とする請求項４または５に記載の映像処理装置。
【請求項７】
前記判定手段は、前記人物検知手段により検知された前記人物の特徴量が前記人物検知手段により検知されなくなり、且つ、当該人物の特徴量と異なる人物の特徴量が前記人物検知手段により新たに検知されたか否かを判定することを特徴とする請求項１〜６の何れか１項に記載の映像処理装置。
【請求項８】
前記人物検知手段は、複数の前記人物の特徴量を検知すると、当該複数の人物の中から所定の条件を満たす人物を検知し、
前記判定手段は、前記所定の条件を満たす人物が、前記複数の人物のうちの別の人物、または、前記複数の人物ではない別の人物に変更されたか否かを判定することを特徴とする請求項１〜７の何れか１項に記載の映像処理装置。
【請求項９】
前記人物検知手段により検知された人物の特徴量を含む情報を、前記投影手段により投影された画像を含む領域の撮像画像に基づく第２の画像のフレーム番号ごとに記憶する記憶手段をさらに有し、
前記第１の画像を得るための撮像画像を撮像する撮像手段と、前記第２の画像を得るための撮像画像を撮像する撮像手段は同じ撮像手段であることを特徴とする請求項１〜７の何れか１項に記載の映像処理装置。
【請求項１０】
前記人物検知手段により検知された人物の特徴量を含む情報を、前記投影手段により投影された画像を含む領域の撮像画像に基づく第２の画像のフレームを取得した時刻ごとに記憶する記憶手段をさらに有し、
前記第１の画像を得るための撮像画像を撮像する撮像手段と、前記第２の画像を得るための撮像画像を撮像する撮像手段は異なる撮像手段であることを特徴とする請求項１〜８の何れか１項に記載の映像処理装置。
【請求項１１】
投影手段により投影された画像を含む領域を記録した結果から、人物の特徴量を検知する人物検知工程と、
前記人物検知工程により検知された人物の特徴量に変化が生じたか否かと、前記投影手段により投影された画像に変化が生じたか否かと、の少なくとも何れか一方を判定する判定工程と、
前記投影手段により投影された画像を含む領域の撮像画像に基づく第１の画像の録画データにおける、前記判定工程により前記変化が生じたと判定されたタイミングに対応する部分にチャプタを挿入する挿入工程と、
を有することを特徴とする映像処理方法。
【請求項１２】
請求項１〜１０の何れか１項に記載の映像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、およびプログラムに関し、特に、投影手段により投影された画像を含む録画データのうち特定の人物に対応する部分を再生するために用いて好適なものである。
【背景技術】
【０００２】
従来から、プレゼンテーションや会議の際にプロジェクタにより投影された画像を録画することが行われている。
近年、ビデオカメラの画角が大きくなっている。このような画角の変化に応じて、プロジェクタにより投影された画像だけでなく、プレゼンテータを含めた画像を比較的簡単に撮像することができるようになった。また、電子文書での会議やプレゼンテーションが一般的になり、プレゼンテータが入れ替わり立ち代わり同じプロジェクタを使ってプレゼンテーションをすることが多くなった。
【０００３】
このようなプレゼンテーションの様子を録画して再生する技術として特許文献１に記載の技術がある。特許文献１には、以下の技術が開示されている。
プロジェクタから投影されたプレゼンテーション用の画像が表示された時刻を記録する。このプレゼンテーション用の画像に対してプレゼンテータが指示した位置を検出し、当該検出した位置と時刻とを相互に関連付けて記録する。さらに、プレゼンテーション用の画像に対してプレゼンテータが指示した位置を示すマーク画像を、プレゼンテーション用の画像と同様の電子データに基づいて形成された画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３７４５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、プレゼンテータの動きを検出することに留まる。したがって、例えば、プレゼンテーションの録画データのうち、特定のプレゼンテータに対応する部分を抜き出すことは容易ではない。
【０００６】
本発明は、このような問題点に鑑みてなされたものであり、投影手段により投影された画像を含む録画データのうち特定の人物に対応する部分を容易に再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像処理装置は、投影手段により投影された画像を含む領域を記録した結果から、人物の特徴量を検知する人物検知手段と、前記人物検知手段により検知された人物の特徴量に変化が生じたか否かと、前記投影手段により投影された画像に変化が生じたか否かと、の少なくとも何れか一方を判定する判定手段と、前記投影手段により投影された画像を含む領域の撮像画像に基づく第１の画像の録画データにおける、前記判定手段により前記変化が生じたと判定されたタイミングに対応する部分にチャプタを挿入する挿入手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、投影手段により投影された画像を含む録画データのうち特定の人物に対応する部分を容易に再生できるようになる。
【図面の簡単な説明】
【０００９】
【図１】プロジェクタのハードウェアの構成の第１の例を示す図である。
【図２】プロジェクタの機能的な構成の第１の例を示す図である。
【図３】画像解析データの内容の第１の例を示す図である。
【図４】プロジェクタの処理の第１の例を示すフローチャートである。
【図５】録画データに挿入されるチャプタとそのメタデータを示す図である。
【図６】プロジェクタの機能的な構成の第２の例を示す図である。
【図７】プロジェクタの処理の第２の例を示すフローチャートである。
【図８】画像解析データの内容の第２の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、プロジェクタ１００のハードウェアの概略構成の一例を示す図である。
ＣＰＵ１０１は、プロジェクタ１００の全体を制御するためのコントローラである。ＣＰＵ１０１は、ＲＯＭ１０２に格納されているブートプログラムによりＯＳ（Operating System）を起動し、ＯＳ上で各種のプログラムを実行する。このプログラムには、後述するフローチャートに従う処理を実行するプログラムが含まれる。ＣＰＵ１０１は、データバス等のバス１０３によって、プロジェクタ１００を構成する各部と通信可能に接続される。
【００１１】
ＲＡＭ１０４は、ＣＰＵ１０１の主メモリやワークエリア等として機能する。また、ＲＡＭ１０４は、画像処理の際の一時記憶領域としても使用される。さらに、ＲＡＭ１０４は、各種のデータを一時的に記憶する。
【００１２】
操作部１０５は、プロジェクタ１００に対する各種の指示を行うためにユーザが操作するためのユーザインターフェースである。操作部Ｉ／Ｆ１０６は、操作部１０５を介してユーザから指示されたコマンドやデータを入力する。
【００１３】
画像処理部１０７は、プレゼンテーション用に予め生成された電子データに対して、プロジェクタ１００により投影面に投影（プロジェクション）するための公知の各種の処理を行い、投影用の画像信号を生成する。また、画像処理部１０７は、プロジェクタ１００により撮像された画像信号に対して、公知の各種の処理を行う。
【００１４】
駆動部１０８は、ランプ１０９、液晶パネル１１０、およびレンズ１１１を駆動する。
液晶パネル１１０は、Ｒ／Ｇ／Ｂのカラーフィルタを有する。このカラーフィルタは、ランプ１０９より投影された光を、プロジェクタ１００により投影するための画像信号のＲＧＢに対応するように透過・遮断する。レンズ１１１は、液晶パネル１１０を通過したＲＧＢの各色の画像を、スクリーン等の投影面へ結像させる。また、レンズ１１１は、投影する画像の大きさを変化させる。このようにして、プレゼンテーションに使用される画像が投影面に投影される。
【００１５】
駆動部１１２は、レンズ１１３および撮像部１１４を駆動する。
撮像部１１４は、撮像素子および絞り等、画像（動画像および静止画像）を撮像するための公知の各種の部品を有する。本実施形態では、例えば、前述した投影面の領域と当該投影面の周囲の領域の画像が、レンズ１１３を介して撮像素子に結像される。
【００１６】
Ａ／Ｄ変換器１１５は、撮像素子で生成されたアナログの画像信号をデジタルの画像信号に変換する。このようにして得られたデジタルの画像信号が、前述したプロジェクタ１００により撮像された画像信号として画像処理部１０７に入力される。
外部入出力Ｉ／Ｆ１１６は、ネットワークやケーブルを介してプロジェクタ１００と相互に接続される外部装置や、可搬型の記憶媒体とのデータのやり取りを行うためのインターフェースである。
【００１７】
図２は、プロジェクタ１００の機能的な構成の一例を示す図である。図２では、プレゼンテータ２１１がスクリーン２１２に向かって右側にある演台に立ってプレゼンテーションを行っている様子をプロジェクタ１００の構成と共に示す。プレゼンテーションに際しては、プロジェクタ１００によりプレゼンテーション用の画像がスクリーン２１２に投影される。さらに、録画画角２１３の範囲内の画像がプロジェクタ１００により撮像（録画）される。録画画角２１３には、例えば、スクリーン２１２の領域と、その周囲の領域であって、プレゼンテーションに際しプレゼンテータ２１１が位置すると想定される領域とが含まれるようにする。
【００１８】
プロジェクション部２０１は、プロジェクタ１００からスクリーン２１２に画像を投影するためのものである。
画像撮像部２０２は、録画画角２１３の範囲内の領域を撮像することにより撮像画像を得る。本実施形態では、画像撮像部２０２は、この撮像画像から、人物関連特徴情報を解析するための解析用の画像データ（第２の画像）と、プレゼンテーションの状況をユーザが把握するためのプレゼンテーション状況把握用の録画データ（第１の画像）とを生成する。尚、本実施形態におけるプレゼンテーション状況把握用の録画データは、動画エンコード方式（ＭＰＥＧ等）で圧縮されて記録される。
【００１９】
記憶部２０３は、画像撮像部２０２で生成された解析用の画像データおよびプレゼンテーション状況把握用の録画データを記憶する。また、記憶部２０３は、解析用の画像データの解析結果を示す画像解析データを記憶する。図３は、画像解析データの内容を記憶するテーブル３００の一例を示す図である。記憶部２０３は、画像解析データ以外に、後述する人物検知部２０５や人物変更検知部２０６で使用される顔特徴量データベースを記憶する。さらに、記憶部２０３は、プロジェクタ１００の各種情報を記憶する。
【００２０】
顔特徴量データベースには顔の特徴量が登録される。顔特徴量データベースに登録される顔の特徴量は、例えば、顔部品の大きさ、位置関係を数値で表したものである。
顔特徴量データベースの作成方法の一例を説明する。顔特徴量データベースは、プロジェクタ１００で作成しても、プロジェクタ１００以外の装置（例えば、ＰＣ（Personal Computer）等の情報処理装置）で生成してもよい。尚、プロジェクタ１００以外の装置で顔特徴量データベースを作成した場合、プロジェクタ１００（記憶部２０３）に顔特徴量データベースを記憶する処理、または、プロジェクタ１００が顔特徴量データベースをアクセスする処理が必要になる。以下の説明では、顔特徴量データベースを作成する装置を必要に応じてデータベース作成装置と称する。
【００２１】
データベース作成装置が顔特徴量データベースを作成する方法の一例を以下に説明する。
まず、データベース作成装置は、顔の瞳、鼻孔、および口端等の複数の特徴点を画像から抽出し、当該複数の特徴点の当該画像における位置（座標）を個人の顔の特徴量として抽出する。そして、データベース作成装置は、顔特徴量データベースに個人の顔の特徴量を顔の向き毎に複数登録する。データベース作成装置は、このような個人の顔の特徴量の登録を、プレゼンテータとして予定されている人物、または、過去にプレゼンテーションを行った人物のそれぞれについて行う。顔特徴量データベースに登録された人物は、例えば、人物の氏名、年齢、性別、髪型等をキーとして、特定されるようにする。
プロジェクタ１００は、個人毎に登録された複数の個人の顔の特徴量と、解析用の画像データから抽出した顔の特徴量とのマッチングを取ることで、特定の個人であることの確率を算出し、個人の同定を行う。
【００２２】
資料データ入力部２０４は、プロジェクタ１００に備わる映像入力端子から、視聴者に向けて提示する資料の電子データを受信する。
人物検知部２０５は、記憶部２０３に記憶された解析用の画像データを解析し、その解析の結果から、人物の特徴量として、顔や人体等の特徴量を含む人物関連特徴情報を抽出する。前述したように本実施形態では、人物検知部２０５は、人物の特徴量として顔の特徴量を検知する場合を例に挙げて説明する。顔の特徴量を抽出する方法として、最初に画像中の顔を検出し、検出した顔の特徴量を抽出する方法と、最初に画像中の人体の検出を行い、当該人体の検出結果を用いて顔の検出・顔の特徴量の抽出を行う手法とがある。何れの方法を採用してもよいが、本実施形態では、最初に画像中の顔を検出し、検出した顔の特徴量を抽出する手法を用いる場合を例に挙げて説明する。尚、何れの方法も公知の技術で実現することができる。
【００２３】
人物変更検知部２０６は、人物検知部２０５によって抽出された人物関連特徴情報を利用して、人物関連特徴情報の変化するタイミングを検出することで、プレゼンテータ２１１が交代したことを検知する。
モーション検知部２０７は、記憶部２０３に記憶された解析用の画像データを解析して、人物検知部２０５で検知された人物の動きを検知する。人物の動き検知は、例えば、動きベクトルを用いた公知の技術で実現することができる。
【００２４】
チャプタ記録部２０８は、記憶部２０３に記憶されたプレゼンテーション状況把握用の録画データにチャプタを記録する。また、チャプタ記録部２０８は、各チャプタに付加するデータとして、各種のメタデータを記録する。
外部出力部２０９は、記憶部２０３に記憶されたプレゼンテーション状況把握用の録画データと共に、チャプタ記録部２０８により記録された各種のメタデータを外部に出力する。
【００２５】
入力データ切替検知部２１０は、資料データ入力部２０４での映像入力端子の切替の検出と、資料データ入力部２０４で受信した電子データの切替の検出とを行う。
本実施形態において、資料データ入力部２０４での映像入力端子の切替は、映像入力端子自体が、プロジェクタ１００に搭載されているボタンの操作、もしくは、リモコン操作で切り替えられることを想定する。
【００２６】
また、資料データ入力部２０４で受信した電子データの切替の検出は、資料としての電子文書のページ送りの検知を想定している。資料としての電子文書のページ送りは、例えば、映像入力端子を介してプロジェクタ１００と通信可能に接続された情報処理装置（ＰＣ等）におけるページ送り操作により電子文書がページ更新されることを指す。
【００２７】
前述したように本実施形態では、図２に示すように、プレゼンテータ２１１が、スクリーン２１２に向かって右側の演台に立ってプレゼンテーションを行う場合の事例を示す。
資料データ入力部２０４から入力された資料の電子データに基づく画像は、プロジェクション部２０１から投影され、スクリーン２１２に表示される。
【００２８】
画像撮像部２０２は、演台に立って視聴者に向けてプレゼンテーションを行うプレゼンテータ２１１を含む録画画角２１３の範囲の画像を撮像する。前述したように、本実施形態では、画像撮像部２０２は、撮像した画像から、解析用の画像データと、プレゼンテーション状況把握用の録画データとを生成する。尚、本実施形態においては、画像撮像部２０２は、所定のフレームレートにて連続で画像データを撮像する。画像撮像部２０２は、当該画像データの全部または一部を複製して解析用の画像データを生成する。さらに画像撮像部２０２は、画像データの全部または一部を用いて、プレゼンテーション状況把握用の録画データを生成する。
【００２９】
図２に示すようにしてプレゼンテータ２１１が演台に立ち、視聴者に向けてプレゼンテーションを開始した場合に、プロジェクタ１００は、以下の図４に示すフローチャートの処理を実行する。
ステップＳ４０１において、画像撮像部２０２は、動画像を記録する。すなわち、画像撮像部２０２は、録画画角２１３の範囲の動画像を撮像する。そして、画像撮像部２０２は、撮像した動画像から、解析用の画像データと、プレゼンテーション状況把握用の録画データ（音声を含む）とを生成し、記憶部２０３に一時的に記憶する。
【００３０】
次に、ステップＳ４０２において、画像撮像部２０２は、プロジェクション部２０１から投影される画像のサイズの情報を元に、解析用の画像データを、投影範囲内の領域と投影範囲外の領域とで分割した場合の領域情報を生成する。領域情報は、解析用の画像データの投影範囲内と撮影範囲外を示す情報である。画像撮像部２０２は、解析用の画像データと共に、領域情報を、定期的に記憶部２０３に記憶する。ここでいう定期的とは、例えば、所定のフレームレート（例えば、２ｆｐｓ）の単位を指す。
【００３１】
本実施形態では、図３に示すテーブル３００が記憶部２０３に記憶される。領域情報は、画像解析データの一つとしてテーブル３００に記憶される。図３の左から２列目のように、定期的に撮像された解析用の画像データのフレーム番号ごとに、領域情報の一つとして、投影範囲の左上の位置と右下の位置の座標情報が記憶される。プロジェクタ１００は、このフレーム番号を使って、定期的に撮像されて記憶部２０３に記憶された個々の解析用の画像データを、参照することができる。尚、図３において、領域情報は、（左上のｘ座標，左上のｙ座標，右下のｘ座標，右下のｙ座標）で表わされる。
【００３２】
次に、ステップＳ４０３において、人物検知部２０５は、記憶部２０３に記憶された解析用の画像データに対し、顔検出を実施する。そして、人物検知部２０５は、図３の左から３列目のように、解析用の画像データにおける顔の有無を、テーブル３００において、当該解析用の画像データのフレーム番号に対応する欄に記憶する。
【００３３】
次に、ステップＳ４０４において、人物検知部２０５は、ステップＳ４０３で検知した顔の特徴量と位置を導出する。そして、人物検知部２０５は、図３の左から４列目および５列目のように、解析用の画像データから導出した顔の特徴量と位置を、画像解析データの一つとして、テーブル３００において、当該解析用の画像データのフレーム番号に対応する欄に記憶する。顔の特徴量は、図３の左から４列目に記憶され、顔の位置は、図３の左から５列目に記憶される。
【００３４】
本実施形態では、プレゼンテータ２１１は、ほぼ演台の位置に立っていることを想定する。このため、人物検知部２０５は、ステップＳ４０２の領域分割で得られる投影範囲外の領域で顔を検知する。つまり、ステップＳ４０２の領域分割で得られる投影範囲外で検知される顔がプレゼンテータ２１１の顔であるとする。しかし、プレゼンテータ２１１は、時として演台から離れ、スクリーン２１２上の画像を自分の手もしくは指棒で指す動作をすることがある。この動作を検出するために、プロジェクタ１００は、以下の処理を実行する。
【００３５】
ステップＳ４０５において、モーション検知部２０７は、ステップＳ４０４で導出された顔の特徴量を有する人物の手や指等の動きの検知を開始する。
次に、ステップＳ４０６において、人物検知部２０５は、ステップＳ４０４で導出された顔の特徴量を、顔特徴量データベースに登録されている顔の特徴量と照合する。そして、人物検知部２０５は、ステップＳ４０４で導出された顔の特徴量を有する個人が顔特徴量データベースに登録済みであるか否かを判定する。
【００３６】
すなわち、人物検知部２０５は、ステップＳ４０４で導出された顔の特徴量と、顔特徴量データベースに登録されている顔の特徴量とのマッチングを実施する。そして、人物検知部２０５は、そのマッチングの値が閾値以上（マッチングの度合いが閾値以上）である場合に、ステップＳ４０４で導出された顔の特徴量を有する個人は登録済みであるか否かを判定し、そうでない場合に、登録済みでないと判定する。
【００３７】
この判定の結果、ステップＳ４０４で導出された顔の特徴量を有する個人が登録済みである場合には、ステップＳ４０７に進む。一方、ステップＳ４０４で導出された顔の特徴量を有する個人が登録済みでない場合には、ステップＳ４０７、Ｓ４０８を省略して後述するステップＳ４０９に進む。
【００３８】
ステップＳ４０７に進むと、人物検知部２０５は、顔特徴量データベースに登録されている顔の特徴量と関連付けられている人物名を参照し、ステップＳ４０４で導出された顔の特徴量を有する人物名を特定する。
次に、ステップＳ４０８において、人物検知部２０５は、ステップＳ４０７で特定された人物名を、ステップＳ４０４で導出された顔の特徴量と一組みにし、顔特徴量データとする。人物検知部２０５は、この人物名を、画像解析データの一つとしてテーブル３００に記憶する。この場合の画像解析データは、例えば、図３の３レコード目（フレーム番号0000001e）の左から６列目に相当し、名前の項目に人物名が記憶される。そして、ステップＳ４０９に進む。
【００３９】
一方、ステップＳ４０６からステップＳ４０９に直接進む場合の画像解析データ（名前）は、例えば、図３の２レコード目（フレーム番号0000000f）の左から６列目に相当し、空欄となる。
【００４０】
ステップＳ４０９に進むと、プロジェクタ１００は、プレゼンテータの交代、または、プレゼンテーションのためにスクリーン２１２に投影される画像（電子文書）のページの切り替えがあったか否かを判定する。プレゼンテータの交代は、人物変更検知部２０６により、人物関連特徴情報である顔の特徴量の変化が検知されることを意味する。また、電子文書のページの切り替えは、入力データ切替検知部２１０により検知される。
【００４１】
この判定の結果、プレゼンテータの交代、または、電子文書のページの切り替えがあった場合には、ステップＳ４１０に進む。一方、プレゼンテータの交代、および、電子文書のページの切り替えがなかった場合には、後述するステップＳ４１４に進む。
ここで、人物関連特徴情報である顔の特徴量の変化について説明する。
例えば、人物検知部２０５は、ステップＳ４０２で領域分割された投影範囲外の演台の位置の顔を、一度、検知できなくなったとする。この場合、顔の特徴量自体が未定となる。その後、人物検知部２０５は、再度顔を検知し、当該顔の特徴量が、前回まで検知していた顔の特徴量と異なった（マッチングが良好で無かった）とする。人物変更検知部２０６は、例えば、このような場合に、プレゼンテータの変化を検知するものとする。
【００４２】
この場合のテーブル３００（画像解析データ）の変化は、図３の１２レコード目（フレーム番号0001a5c2）から１５レコード目（フレーム番号0001a5ef）のようになる。
図３の１２レコード目（フレーム番号0001a5c2）から１３レコード目（フレーム番号0001a5d1）の変化は、人物検知部２０５で一度顔が検知されなくなり、それに伴って顔の特徴量が未定となることを示す。
【００４３】
その後、図３の１３レコード目（フレーム番号0001a5d1）から１４レコード目（フレーム番号0001a5e0）では、人物検知部２０５により、顔が検知されて、顔の特徴量として顔特徴量001c20が導出される。しかし、顔特徴量001c20は、顔特徴量データベースとのマッチングが良好でなく、人物検知部２０５により、人物名（名前）は特定されない。
【００４４】
そして、図３の１４レコード目（フレーム番号0001a5e0）から１５レコード目（フレーム番号0001a5ef）で、人物検知部２０５により、顔が検知されて、顔の特徴量として顔特徴量001c21が導出される。この顔特徴量001c21は、顔特徴量データベースとのマッチングの結果が良好であり、人物検知部２０５により、人物名（名前）が特定される。
【００４５】
ここで、図３の１２レコード目（フレーム番号0001a5c2）と、１５レコード目（フレーム番号0001a5ef）とでは、顔の特徴量同士のマッチングが良好ではない。このことから、人物変更検知部２０６は、顔の特徴量の変化を検知し、プレゼンテータの交代があったと判定する。
本実施形態では、一連の画像解析データの変化により、プレゼンテータが交代したとみなす。
【００４６】
以上のようにしてステップＳ４０９において、プレゼンテータの交代があったと判定されると、ステップＳ４１０に進む。ステップＳ４１０に進むと、チャプタ記録部２０８は、次の処理を行う。すなわち、チャプタ記録部２０８は、記憶部２０３に一時的に記憶されたプレゼンテーション状況把握用の録画データの、ステップＳ４０９で顔の特徴量の変化が検知された時刻に対応する部分に、チャプタを挿入して記憶部２０３に記憶する。
【００４７】
尚、本実施形態では、チャプタの挿入は、一連の画像解析データの変化の中で、顔の特徴量が変化した最後のフレーム（図３のフレーム番号0001a5efのフレーム）で行われるものとする。しかし、これに限ることはない。例えば、顔の特徴量が変化した全てのフレームで、チャプタの挿入を行ってもよいし、顔が検知されなくなったフレーム（図３のフレーム番号0001a5d1のフレーム）で行ってもよい。
【００４８】
プレゼンテーション状況把握用の録画データへのチャプタの挿入の方法の一例を説明する。
チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、ステップＳ４０９で顔の特徴量の最後の変化が検知されたフレーム（図３のフレーム番号0001a5efのフレーム）とその前後のフレームを部分的にデコードする。これにより、プレゼンテーション状況把握用の録画データのこれらのフレームのデータは、ＲＡＷデータに変換される。
【００４９】
次に、チャプタ記録部２０８は、ステップＳ４０９で顔の特徴量の最後の変化が検知されたフレーム（図３のフレーム番号0001a5ef）で、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
次に、チャプタ記録部２０８は、チャプタの付加情報であるメタデータとして、顔の特徴量と、当該顔の特徴量の位置と、当該顔の人物の名前とを含む顔特徴量データを画像解析データから読み出す。
【００５０】
次に、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）に挿入したチャプタデータのメタデータとして、読み出した顔特徴量データ（顔の特徴量＋位置＋名前）を、当該ＲＡＷデータに追記録する。
最後に、チャプタ記録部２０８は、ＲＡＷデータに変換した部分のデータを、ＲＡＷデータに変換していない部分に連結して、再エンコードする。これにより、チャプタ記録部２０８は、チャプタと、顔特徴量データ（顔の特徴量＋位置＋名前）とを加えたプレゼンテーション状況把握用の録画データを生成する。
【００５１】
また、前述したように、ステップＳ４０９において、電子文書のページの切り替えがあったと判定された場合にも、ステップＳ４１０に進む。
図５は、プレゼンテーション状況把握用の録画データに挿入されるチャプタと、当該チャプタのメタデータの一例を概念的に示す図である。図５では、ステップＳ４１０の処理の結果として得られるチャプタの一例としてチャプタＡを示す。一方、後述するステップＳ４１５の処理の結果として得られるチャプタの一例としてチャプタＢを示す。
【００５２】
ステップＳ４１０でチャプタが挿入された後のプレゼンテーション状況把握用の録画データは、図５のチャプタＡで示される部分のようになる。すなわち、プレゼンテーション状況把握用の録画データにチャプタが挿入され、その付加情報（メタデータ）として、交代後のプレゼンテータの顔特徴量データ（顔の特徴量＋位置＋名前）が保存される。尚、チャプタＡのメタデータとしての名前は、ステップＳ４０７で人物名が特定された場合に保存される。
【００５３】
図４の説明に戻り、以上のようにしてステップＳ４１０の処理が終わると、ステップＳ４１１に進む。ステップＳ４１１に進むと、チャプタ記録部２０８は、動画像を保存する。すなわち、チャプタ記録部２０８は、チャプタが挿入されたプレゼンテーション状況把握用の録画データを、当該チャプタのメタデータと共に保存する。このとき、外部出力部２０９は、チャプタが挿入されたプレゼンテーション状況把握用の録画データを、当該チャプタのメタデータと共に外部の記憶装置（図示せず）に出力（保存）してもよい。
【００５４】
次に、ステップＳ４１２において、プロジェクタ１００は、撮像を終了するか否かを判定する。すなわち、プロジェクタ１００は、プロジェクタ１００に対するユーザの操作に基づいて、撮像終了指示があったか否かを判定する。この判定の結果、撮像を終了しない場合には、ステップＳ４０２に戻り、前述した処理を繰り返し実行する。
【００５５】
一方、撮像を終了する場合には、ステップＳ４１３に進む。ステップＳ４１３に進むと、外部出力部２０９は、チャプタが挿入されたプレゼンテーション状況把握用の録画データを、当該チャプタのメタデータと共に外部の記憶装置（図示せず）に出力（保存）する。そして、図４のフローチャートによる処理を終了する。
【００５６】
前述したように、ステップＳ４０９において、プレゼンテータの交代、および、電子文書のページの切り替えがないと判定された場合には、ステップＳ４１４に進む。
ステップＳ４１４に進むと、モーション検知部２０７は、記憶部２０３に記憶された解析用の画像データを解析して、人物検知部２０５で検知された人物の特定の動作を検知したか否かを判定する。尚、本実施形態での特定の動作としては、例えば、投影範囲外から投影範囲内への人物関連特徴情報（顔の特徴量）の位置の移動や、投影範囲内で人物が指でスクリーン２１２（投影された画像）を指し示す動作等がある。投影範囲は、ステップＳ４０２で記憶された領域情報により得られる。
【００５７】
この判定の結果、人物の特定の動作が検知されなかった場合には、ステップＳ４０２に戻り、前述した処理を繰り返し実行する。
一方、人物の特定の動作が検知された場合には、ステップＳ４１５に進む。
ステップＳ４１５に進むと、まず、チャプタ記録部２０８は、特定の動作の開始と終了の両方のタイミングに対応するフレーム番号の画像解析データに、特定の動作の内容を示す特定動作情報を追加し記憶部２０３に記憶する。
【００５８】
特定の動作の開始と終了のタイミングに対応するフレーム番号の画像解析データは、図３の７レコード目（フレーム番号00008ca0）と９レコード目（フレーム番号00008d18）の画像解析データである。特定の動作の開始のタイミングに対応するフレーム番号の特定動作情報の項目に「投影内移動開始」が記憶される。一方、特定の動作の終了のタイミングに対応するフレーム番号の特定動作情報の項目に「投影内移動終了」が記憶される。尚、図３では、特定の動作が、投影範囲外から投影範囲内への人物関連特徴情報（顔の特徴量）の位置の移動である場合を例に挙げて示す。
【００５９】
そして、チャプタ記録部２０８は、記憶部２０３に一時的に記憶されたプレゼンテーション状況把握用の録画データの、特定の動作の開始と終了の両方のタイミングに対応する部分に、チャプタを挿入して記憶部２０３に記憶する。
【００６０】
プレゼンテーション状況把握用の録画データへのチャプタの挿入の方法の一例を説明する。
チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、特定の動作が開始するタイミングに対応するフレーム（図３のフレーム番号00008ca0のフレーム）とその前後のフレームを部分的にデコードする。これにより、特定の動作が開始するタイミングに対応するフレームのデータが、ＲＡＷデータに変換される。
【００６１】
また、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、特定の動作が終了するタイミングに対応するフレーム（図３のフレーム番号00008d18のフレーム）とその前後のフレームを部分的にデコードする。これにより、特定の動作が終了するタイミングに対応するフレームのデータが、ＲＡＷデータに変換される。
【００６２】
次に、チャプタ記録部２０８は、特定の動作が開始するタイミングに対応するフレーム（図３のフレーム番号00008ca0のフレーム）で、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
【００６３】
また、チャプタ記録部２０８は、特定の動作が終了するタイミングに対応するフレーム（図３のフレーム番号00008d18のフレーム）で、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
【００６４】
次に、チャプタ記録部２０８は、チャプタの付加情報であるメタデータとして、顔特徴量データと、特定動作情報とを、画像解析データ（テーブル３００）から読み出す。
次に、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）に挿入したチャプタデータのメタデータとして、読み出した顔特徴量データと特定動作情報とを、当該ＲＡＷデータに追記録する。
追記録されるデータは、図３のフレーム番号00008ca0、00008d18の顔特徴量データ（顔の特徴量＋位置＋名前）と特定動作情報である。
【００６５】
最後に、チャプタ記録部２０８は、ＲＡＷデータに変換した部分のデータを、ＲＡＷデータに変換していない部分に連結して、再エンコードする。これにより、チャプタ記録部２０８は、チャプタと、顔特徴量データ（顔の特徴量＋位置＋名前）と、特定動作情報とを加えたプレゼンテーション状況把握用の録画データを生成する。
【００６６】
前述したように、ステップＳ４１５でチャプタが挿入された後のプレゼンテーション状況把握用の録画データは、図５のチャプタＢで示される部分のようになる。すなわち、プレゼンテーション状況把握用の録画データにチャプタが挿入され、その付加情報（メタデータ）として、顔特徴量データ（顔特徴量＋位置＋名前）と特定動作情報（投影内移動開始または投影内移動終了）が保存される。尚、チャプタＢのメタデータとしての名前は、ステップＳ４０７で人物名が特定された場合に保存される。
以上のようにしてステップＳ４１５の処理が終了すると、前述したステップＳ４０２の処理に戻る。
【００６７】
以上のようにして、チャプタが挿入されたプレゼンテーション状況把握用の録画データが、当該チャプタのメタデータが付加された状態で、外部の記憶装置された後、当該録画データは、再生装置で再生される。この再生装置は、各チャプタをユーザに選択させるための情報として、例えば、チャプタのメタデータを示す情報を表示装置に表示する。前述したように、メタデータには、顔特徴量データ（顔特徴量＋位置＋名前）や特定動作情報が含まれる。再生装置のユーザは、再生装置のユーザインターフェース（例えばリモコン）を操作して、表示された情報の中から、例えば、所望のプレゼンテータが示されるチャプタや、所望の動作を行っているプレゼンテータが示されるチャプタを選択する。再生装置は、選択されたチャプタを、プレゼンテーション状況把握用の録画データから検索し、検索したチャプタの次の部分から、プレゼンテーション状況把握用の録画データを再生する。
【００６８】
以上のように本実施形態では、人物の顔の特徴量の変化に基づいて、プレゼンテータが交代したり、プレゼンテータが特定の動作をしたりしたことを検知する。すると、プレゼンテーション状況把握用の録画データの、当該検知したタイミングに対応する部分にチャプタを挿入する。また、チャプタの付加情報（メタデータ）として、プレゼンテータの顔特徴量・位置・名前や動作を記憶する。したがって、ユーザは、プレゼンテーション状況把握用の録画データを再生する際に、プレゼンテータを基点としてチャプタを選択することができる。よって、例えば、或るプレゼンテータに着目したスキップ再生を容易に行うことができる。さらに、プレゼンテータの特定の動作に着目したスキップ再生も容易に行うことができる。
【００６９】
（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、一人のプレゼンテータ２１１がプレゼンテーションを行う様子を録画する場合を想定した。これに対し、本実施形態では、二人のプレゼンテータがスクリーンの両端にある２つの演台にそれぞれ立って交互にプレゼンテーション（説明）を行う様子を録画する場合を想定する。そこで、本実施形態では、これら二人のプレゼンテータのうち、説明を行うプレゼンテータが一方のプレゼンテータから他方のプレゼンテータに交代されたタイミングに対応するフレームの先頭にチャプタを挿入する。このように、本実施形態は、第１の実施形態に対し、このようなチャプタの挿入を行うための構成および処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７０】
図６は、プロジェクタ６００の機能的な構成の一例を示す図である。図６では、プレゼンテータ６１１ａ、６１１ｂが、それぞれ、スクリーン２１２に向かって右側、左側にある演台に立ってプレゼンテーションを行っている様子を示す。プレゼンテーションに際しては、プロジェクタ６００によりプレゼンテーション用の画像がスクリーン２１２に投影される。さらに、録画画角２１３の範囲内の画像がプロジェクタ６００により撮像（録画）される。録画画角２１３は、スクリーン２１２の領域と、その周囲の領域であって、プレゼンテーションに際しプレゼンテータ６１１ａ、６１１ｂが位置すると想定される領域とが含まれるようにする。
【００７１】
ビデオカメラ６２０は、プロジェクタ６００の外部の録画機器である。ビデオカメラ６２０は、プロジェクタ６００から投影された内容とその周りの様子のビデオ映像（撮像画像）を、音声と共に記録（録画・録音）する。本実施形態では、このようにしてビデオカメラ６２０で記録されるデータが、プレゼンテーション状況把握用の録画データとなる。尚、ビデオカメラ６２０のハードウェアの構成は、例えば、図１において、画像の投影するための部分（駆動部１０８、ランプ１０９、液晶パネル１１０、およびレンズ１１１）を除くことにより実現される。
【００７２】
主プレゼンテータ検知部６０１は、第１の実施形態の入力データ切替検知部２１０の代わりに設けられる。主プレゼンテータ検知部６０１は、人物検知部２０５で検知された複数の人物間で、主たるプレゼンテータが入れ替わったか否かを検知する。主たるプレゼンテータとは、説明を行っているプレゼンテータのことである。演台に立っているプレゼンテータのうち、主たるプレゼンテータ以外のプレゼンテータが従たるプレゼンテータとなる。尚、以下の説明では、主たるプレゼンテータを必要に応じて主プレゼンテータと称する。また、従たるプレゼンテータを必要に応じて従プレゼンテータと称する。
【００７３】
外部録画入力部６０２は、ビデオカメラ６２０からのプレゼンテーション状況把握用の録画データを入力する。
時刻計時部６０４は、時刻情報をカウントする。
計時記録部６０３は、時刻計時部６０４からの計時情報を元に、それぞれの人物関連特徴情報の変化があったときの時刻を記録する。本実施形態でも、第１の実施形態と同様に、人の顔の特徴量が人物関連特徴情報である場合を例に挙げて説明する。
【００７４】
前述したように本実施形態では、図６に示すように、二人のプレゼンテータ６１１ａ、６１１ｂが、スクリーン２１２の両端にある２つの演台に立って、交互に説明するプレゼンテーションを録画する場合の事例を示す。
【００７５】
資料データ入力部２０４から入力された資料の電子データに基づく画像は、プロジェクション部２０１から投影され、スクリーン２１２に表示される。
画像撮像部２０２は、演台に立って交代で視聴者に向けてプレゼンテーションを行うプレゼンテータ６１１ａ、６１１ｂを含む録画画角２１３の範囲の画像を撮像する。本実施形態では、画像撮像部２０２は、撮像した画像から、解析用の画像データのみを生成する。また、図６に示す例では、当初、右の演台に居るプレゼンテータ６１１ａが主プレゼンテータであるものとする。
【００７６】
図６に示すようにしてプレゼンテータ６１１ａ、６１１ｂが演台に立ち、視聴者に向けてプレゼンテーションを開始すると、プロジェクタ６００は、以下の図７のフローチャートの処理を実行する。
プレゼンテーションが開始されると、ステップＳ７０１において、ビデオカメラ６２０は、ビデオ映像の録画を開始する。このビデオ映像は、外部録画入力部６０２により入力され、記憶部２０３に一時的に記憶される。また、画像撮像部２０２は、録画画角２１３の範囲の動画像の撮像を開始する。この動画像から、解析用の画像データが得られる。
【００７７】
次に、ステップＳ７０２において、画像撮像部２０２は、解析用の画像データを、プロジェクション部２０１から投影される画像のサイズの情報を元に、投影範囲内の領域と投影範囲外の領域とで分割した場合の領域情報を生成する。第１の実施形態で説明したように、領域情報は、解析用の画像データの投影範囲内と撮影範囲外を示す情報である。画像撮像部２０２は、解析用の画像データと共に、領域情報を、定期的に記憶部２０３に記憶する。ここでいう定期的とは、例えば、所定のフレームレート（例えば、２ｆｐｓ）の単位を指す。
【００７８】
本実施形態では、図８に示すテーブル８００が記憶部２０３に記憶される。領域情報は、画像解析データの一つとしてテーブル８００に記憶される。図８の左から２列目のように、定期的に撮像された解析用の画像データのフレーム時刻ごとに、領域情報の一つとして、投影範囲の左上の位置と右下の位置の座標情報が記憶される。フレーム時刻とは、フレームが得られた時刻である。第１の実施形態と異なり、フレーム番号ではなくフレーム時刻単位で画像解析データを管理する理由は、外部のビデオカメラ６２０で記憶されたプレゼンテーション状況把握用の録画データとの同期をとるためである。また、本実施形態では、プロジェクタ６００は、フレーム時刻を使って、定期的に撮像されて記憶部２０３に記憶された個々の解析用の画像データを参照することができる。
【００７９】
次に、ステップＳ７０３において、人物検知部２０５は、記憶部２０３に記憶された解析用の画像データに対し、顔検出を実施する。そして、人物検知部２０５は、図８の左から３列目のように、解析用の画像データにおける顔の有無を、テーブル８００において、当該解析用の画像データのフレーム時刻に対応する欄に記憶する。
【００８０】
次に、ステップＳ７０４において、人物検知部２０５は、ステップＳ７０３で検知した顔の特徴量と位置を導出する。そして、人物検知部２０５は、図８の左から４列目および５列目のように、解析用の画像データから導出した顔の特徴量と位置を、画像解析データの一つとして、テーブル８００において、当該解析用の画像データのフレーム時刻に対応する欄に記憶する。顔の特徴量は、図８の左から４列目に記憶され、顔の位置は、図８の左から５列目に記憶される。尚、顔の位置は、解析用の画像データにおける位置であっても、スクリーン２１２における位置であってもよい。
【００８１】
本実施形態でも第１の実施形態と同様に、プレゼンテータ６１１ａ、６１１ｂは、ほぼ演台の位置に立っていることを想定する。このため、人物検知部２０５は、ステップＳ７０２の領域分割で得られる投影範囲外の領域で顔を検知する。つまり、ステップＳ７０２の領域分割で得られる投影範囲外で検知される顔がプレゼンテータ２１１の顔であるとする。
【００８２】
ここで、本実施形態では、人物検知部２０５により、複数の顔が検知（図６に示す例では２つの顔が検知）されることがある。このように、人物検知部２０５により、複数の顔が検知（図６に示す例では２つの顔が検知）された場合には、以下の処理が実行される。
ステップＳ７０５において、主プレゼンテータ検知部６０１は、主プレゼンテータを決定する。すなわち、主プレゼンテータ検知部６０１は、記憶部２０３に記憶された解析用の画像データを解析して、複数の顔における口元の動きをそれぞれ検知する。そして、主プレゼンテータ検知部６０１は、口元の動きが最も大きい顔の人物を主プレゼンテータとし、その他のプレゼンテータを従プレゼンテータとする。
【００８３】
前述したように、図６に示す例では、当初の主プレゼンテータは、プレゼンテータ６１１ａである。主プレゼンテータ検知部６０１は、図８の左から６列目のように、解析用の画像データから導出した主たるプレゼンテータを特定する情報としての主従フラグを、テーブル８００において、当該解析用の画像データのフレーム時刻に対応する欄に記憶する。
【００８４】
図６に示す例では、二人のプレゼンテータ６１１ａ、６１１ｂがスクリーン２１２に向かって右側、左側にある演台に立ってプレゼンテーションを行っている様子を示す。そこで、図６に示す例では、スクリーン２１２に向かって右側に立っているプレゼンテータ６１１ａが主プレゼンテータである場合、主プレゼンテータ検知部６０１は、当該欄に「Ｒ」を記憶する。一方、スクリーン２１２に向かって左側に立っているプレゼンテータ６１１ｂが主プレゼンテータである場合、主プレゼンテータ検知部６０１は、当該欄に「Ｌ」を記憶する。
【００８５】
また、プレゼンテータ６１１ａ、６１１ｂは、時として演台から離れ、スクリーン２１２上の画像を自分の手もしくは指棒で指す動作をすることがある。この動作を検出するために、プロジェクタ６００は、以下の処理を実行する。
ステップＳ７０６において、モーション検知部２０７は、主プレゼンテータおよび従プレゼンテータのそれぞれについて、ステップＳ７０４で導出された顔の特徴量を有する人物の手や指等の動きの検知を開始する。
【００８６】
ステップＳ７０７において、人物検知部２０５は、主プレゼンテータおよび従プレゼンテータのそれぞれについて、ステップＳ７０４で導出された顔の特徴量を、顔特徴量データベースに登録されている顔特徴量と照合する。そして、人物検知部２０５は、ステップＳ７０４で導出された顔の特徴量を有する個人が顔特徴量データベースに登録済みであるか否かを判定する。
【００８７】
すなわち、人物検知部２０５は、ステップＳ７０４で導出された顔の特徴量と、顔特徴量データベースに登録されている顔の特徴量とのマッチングを実施する。そして、人物検知部２０５は、そのマッチングの値が閾値以上（マッチングの度合いが閾値以上）である場合に、ステップＳ７０４で導出された顔の特徴量を有する個人は登録済みであるか否かを判定し、そうでない場合に、登録済みでないと判定する。
【００８８】
尚、顔特徴量データベースは、第１の実施形態で説明したように、予め、プレゼンテータとして予定されている人物、または、過去にプレゼンテーションを行った人物のそれぞれの画像解析データ等が登録されるデータベースである。
【００８９】
以上の判定の結果、ステップＳ７０４で導出された顔の特徴量を有する個人が登録済みである場合には、ステップＳ７０８に進む。一方、ステップＳ７０４で導出された顔の特徴量を有する個人が登録済みでない場合には、ステップＳ７０８、Ｓ７０９を省略して後述するステップＳ７１０に進む。
【００９０】
ステップＳ７０８に進むと、人物検知部２０５は、顔特徴量データベースに登録されている顔の特徴量と関連付けられている人物名を参照し、ステップＳ７０４で導出された顔の特徴量を有する人物名を特定する。
次に、ステップＳ７０９において、人物検知部２０５は、ステップＳ７０８で特定された人物名を、ステップＳ７０４で導出された顔の特徴量と一組みにし、顔特徴量データとする。人物検知部２０５は、この人物名を、画像解析データの一つとしてテーブル８００に記憶する。この場合の画像解析データは、例えば、図８の３レコード目（フレーム時刻524AF56C）の左から７列目に相当し、名前の項目に人物名が記憶される。そして、ステップＳ７１０に進む。
【００９１】
一方、ステップＳ７０７からステップＳ７１０に直接進む場合の画像解析データ（名前）は、例えば、図８の２レコード目（フレーム時刻524AF55D）の左から７列目に相当し、名前の項目が空欄となる。
【００９２】
ステップＳ７１０に進むと、主プレゼンテータ検知部６０１は、主プレゼンテータの新たな別のプレゼンテータへの交代、または、プレゼンテータの主従関係の交代があったか否かを判定する。
主プレゼンテータの新たな別のプレゼンテータへの交代とは、主プレゼンテータが、演台に立っていなかった別のプレゼンテータに交代することを指す。図６に示す例では、主プレゼンテータが、プレゼンテータ６１１ａから、プレゼンテータ６１１ｂ以外の新たな別のプレゼンテータに交代された場合に、主プレゼンテータの新たな別のプレゼンテータへの交代があったことになる。
【００９３】
主プレゼンテータの新たな別のプレゼンテータへの交代の有無の判定は、例えば、第１の実施形態の図４のステップＳ４０９におけるプレゼンテータの交代の有無の判定と同じ方法で行われる。すなわち、主プレゼンテータ検知部６０１は、投影範囲外の演台の位置の顔が検知されなくなった後、顔が検知され、当該顔の特徴量が、前回まで検知されていた顔の特徴量と異なる場合に主プレゼンテータの別のプレゼンテータへの交代があったと判定する。
【００９４】
プレゼンテータの主従関係の交代とは、主プレゼンテータが、演台に立っている別のプレゼンテータに交代することを指す。図６に示す例では、主プレゼンテータが、プレゼンテータ６１１ａから、プレゼンテータ６１１ｂに交代された場合に、プレゼンテータの主従関係の交代があったことになる。
主プレゼンテータ検知部６０１は、例えば、口元の動きが最も大きい顔の人物が、現在の主プレゼンテータと異なるプレゼンテータになった場合に、主プレゼンテータの別のプレゼンテータへの交代があったと判定する。
【００９５】
以上の判定の結果、主プレゼンテータの新たな別のプレゼンテータへの交代、または、プレゼンテータの主従関係の交代があった場合には、ステップＳ７１１に進む。一方、主プレゼンテータの新たな別のプレゼンテータへの交代、および、プレゼンテータの主従関係の交代がなかった場合には、後述するステップＳ７１５に進む。
【００９６】
ステップＳ７１１に進むと、チャプタ記録部２０８は、計時記録部６０３に、時刻計時部６０４で計時されている時刻情報を取得させ、当該取得された時刻情報に示される時刻を主プレゼンテータが交代した時刻とする。そして、チャプタ記録部２０８は、テーブル８００（記憶部２０３の画像解析データ）の、当該時刻に対応する主従フラグ（図８の左から６列目を参照）を変更して保存する。
【００９７】
また、チャプタ記録部２０８は、記憶部２０３に一時的に記憶されたプレゼンテーション状況把握用の録画データの、主プレゼンテータが変更された時刻に対応する部分に、チャプタを挿入して記憶部２０３に記憶する。
プレゼンテーション状況把握用の録画データへのチャプタの挿入の方法の一例を説明する。
チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、主従フラグが変更されたフレーム時刻（図８のフレーム時刻524C9B2E）のフレームとその前後のフレームを部分的にデコードする。これにより、プレゼンテーション状況把握用の録画データのこれらのフレームのデータは、ＲＡＷデータに変換される。
【００９８】
次に、チャプタ記録部２０８は、主従フラグが変更されたフレーム時刻（図８のフレーム時刻524C9B2E）のフレームで、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
【００９９】
次に、チャプタ記録部２０８は、チャプタの付加情報であるメタデータとして、主プレゼンテータの顔特徴量データ（顔の特徴量＋位置＋名前）を画像解析データから読み出す。
次に、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）に挿入したチャプタデータのメタデータとして、読み出した顔特徴量データ（顔の特徴量＋位置＋名前）を、当該ＲＡＷデータに追記録する。
最後に、チャプタ記録部２０８は、ＲＡＷデータに変換した部分のデータを、ＲＡＷデータに変換していない部分に連結して、再エンコードする。これにより、チャプタ記録部２０８は、チャプタと、主プレゼンテータの顔特徴量データ（顔の特徴量＋位置＋名前）とを加えたプレゼンテーション状況把握用の録画データを生成する。
【０１００】
プレゼンテータの主従関係の交代があった場合に用いられる記憶部２０３の画像解析データは、図８の１２レコード目（フレーム時刻524C9B2E）になる前のデータである。そのため、図５のチャプタＡの付加情報（メタデータ）として保存されるデータは、主プレゼンテータであったＲ（プレゼンテータ６１１ａ）のデータ（顔特徴量＝001c19R、位置＝(1881，635)、名前＝田中一郎）となる。
【０１０１】
主プレゼンテータの新たな別のプレゼンテータへの交代があった場合の記憶部２０３の画像解析データの変化は、図８の１６レコード目（フレーム時刻524CA227）から１９レコード目（フレーム時刻524CA254）までのようになる。
図８の１６レコード目（フレーム時刻524CA227）から１７レコード目（フレーム時刻524CA236）の変化は、一度、顔が検知されなくなり、それに伴って、各プレゼンテータの顔の特徴量が未定となる。その後、図８の１７レコード目（フレーム時刻524CA236）から１８レコード目（フレーム時刻524CA245）では、顔の検知が無しの状態から有りの状態になり、顔の特徴量（顔特徴量002a31L、顔特徴量002a31R）が導出される。
【０１０２】
しかし、この顔の特徴量（顔特徴量002a31L、顔特徴量002a31R）は、顔特徴量データベースとのマッチングが良好で無く、名前は特定されない。したがって、１８レコード目（フレーム時刻524CA245）では、名前が未定となる。
そして、図８の１８レコード目（フレーム時刻524CA245）から１９レコード目（フレーム時刻524CA254）で、顔が検知されて、顔の特徴量（顔特徴量002a32L、顔特徴量002a32R）が導出される。この顔の特徴量（顔特徴量002a32L、顔特徴量002a32R）は、顔特徴量データベースとのマッチングが良好であり、名前が特定される。
【０１０３】
図８の１６フレーム目（フレーム時刻524CA227）と、１９フレーム目（フレーム時刻524CA254）とでは、顔の特徴量同士のマッチングが良好でない。このことから、主プレゼンテータ検知部６０１は、顔の特徴量の変化を検知し、主プレゼンテータの交代があったと判定する。
本実施形態では、一連の画像解析データの変化により、プレゼンテータが交代したとみなす。
尚、本実施形態では、主プレゼンテータの交代が起きた場合のチャプタの挿入は、一連の画像解析データの変化の中で、顔の特徴量が変化した最後の時刻（図８のフレーム時刻524CA254）で行われるものとする。しかし、これに限ることはない。例えば、顔の特徴量が変化した全ての時刻でチャプタの挿入を行ってもよいし、顔が検知されなくなった時刻（図８のフレーム時刻524CA236）で行ってもよい。
【０１０４】
図７の説明に戻り、以上のようにしてステップＳ７１１の処理が終わると、ステップＳ７１２に進む。ステップＳ７１２に進むと、チャプタ記録部２０８は、クリップ動画像を保存する。すなわち、チャプタ記録部２０８は、チャプタが挿入されたプレゼンテーション状況把握用の録画データ（動画データ）をクリップ動画像のデータとして作成する。そして、チャプタ記録部２０８は、作成したクリップ動画像のデータを、各チャプタのメタデータと共に保存する。このとき、外部出力部２０９は、作成したクリップ動画像のデータを、各チャプタのメタデータと共に外部の記憶装置（図示せず）に出力（保存）してもよい。
【０１０５】
次に、ステップＳ７１３において、プロジェクタ６００は、撮像を終了するか否かを判定する。すなわち、プロジェクタ６００は、プロジェクタ６００に対するユーザの操作に基づいて、撮像終了指示があったか否かを判定する。この判定の結果、撮像を終了しない場合には、ステップＳ７０２に戻り、前述した処理を繰り返し実行する。
【０１０６】
一方、撮像を終了する場合には、ステップＳ７１４に進む。ステップＳ７１４に進むと、外部出力部２０９は、クリップ動画像のデータを、チャプタが挿入されたプレゼンテーション状況把握用の録画データを、各チャプタのメタデータと共に外部の記憶装置（図示せず）に出力（保存）する。そして、図７のフローチャートによる処理を終了する。
【０１０７】
前述したように、ステップＳ７１０において、主プレゼンテータの新たな別のプレゼンテータへの交代、および、プレゼンテータの主従関係の交代がないと判定された場合には、ステップＳ７１５に進む。
ステップＳ７１５に進むと、モーション検知部２０７は、記憶部２０３に記憶された解析用の画像データを解析して、人物検知部２０５で検知された人物の特定の動作を検知したか否かを判定する。尚、本実施形態での特定の動作としては、例えば、投影範囲外から投影範囲内への人物関連特徴情報（顔の特徴量）の位置の移動や、投影範囲内で人物が指でスクリーン２１２（投影された画像）を指し示す動作等がある。投影範囲は、ステップＳ７０２で記憶された領域情報により得られる。
【０１０８】
この判定の結果、人物の特定の動作が検知されなかった場合には、ステップＳ７０２に戻り、前述した処理を繰り返し実行する。
一方、人物の特定の動作が検知された場合には、ステップＳ７１６に進む。
ステップＳ７１６に進むと、まず、チャプタ記録部２０８は、特定の動作の開始の時刻を、時刻計時部６０４から取得することを計時記録部６０３に指示する。チャプタ記録部２０８は、テーブル８００（記憶部２０３の画像解析データ）において、取得された時刻に対応する特定動作情報を変更して保存する。
【０１０９】
また、チャプタ記録部２０８は、特定の動作の終了の時刻を、時刻計時部６０４から取得することを計時記録部６０３に指示する。チャプタ記録部２０８は、テーブル８００（記憶部２０３の画像解析データ）において、取得された時刻に対応する特定動作情報を変更して保存する。
【０１１０】
特定の動作の開始と終了のタイミングに対応するフレーム時刻の画像解析データは、図８の７レコード目（フレーム時刻524B81EE）と９レコード目（フレーム時刻524B8266）の画像解析データである。特定の動作の開始のタイミングに対応するフレーム時刻の特定動作情報の項目に「投影内移動開始」が記憶される。一方、特定の動作の終了のタイミングに対応するフレーム時刻の特定動作情報の項目に「投影内移動終了」が記憶される。尚、図８では、特定の動作が、投影範囲外から投影範囲内への人物関連特徴情報（顔の特徴量）の位置の移動である場合を例に挙げて示す。
【０１１１】
そして、チャプタ記録部２０８は、記憶部２０３に一時的に記憶されたプレゼンテーション状況把握用の録画データの、特定の動作の開始と終了の両方のタイミングに対応する部分に、チャプタを挿入して記憶部２０３に記憶する。
【０１１２】
プレゼンテーション状況把握用の録画データへのチャプタの挿入の方法の一例を説明する。
チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、特定の動作が開始するタイミングに対応するフレーム（図８のフレーム時刻524B81EEのフレーム）とその前後のフレームを部分的にデコードする。これにより、特定の動作が開始するタイミングに対応するフレームのデータが、ＲＡＷデータに変換される。
【０１１３】
また、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データの、特定の動作が終了するタイミングに対応するフレーム（図８のフレーム時刻524B8266のフレーム）とその前後のフレームを部分的にデコードする。これにより、特定の動作が終了するタイミングに対応するフレームのデータが、ＲＡＷデータに変換される。
【０１１４】
次に、チャプタ記録部２０８は、特定の動作が開始するタイミングに対応するフレーム（図８のフレーム時刻524B81EEのフレーム）で、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
【０１１５】
また、チャプタ記録部２０８は、特定の動作が終了するタイミングに対応するフレーム（図８のフレーム時刻524B8266のフレーム）で、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）をカットする。このとき、チャプタ記録部２０８は、例えば、当該フレームの先頭でカットする。ただし、チャプタ記録部２０８は、当該フレームの最後でカットしてもよい。そして、チャプタ記録部２０８は、カットした部分にチャプタデータを挿入する。
【０１１６】
次に、チャプタ記録部２０８は、チャプタの付加情報であるメタデータとして、主プレゼンテータの顔特徴量データと、特定動作情報とを、画像解析データ（テーブル８００）から読み出す。
次に、チャプタ記録部２０８は、プレゼンテーション状況把握用の録画データ（ＲＡＷデータ）に挿入したチャプタデータのメタデータとして、読み出した顔特徴量データと特定動作情報とを、当該ＲＡＷデータに追記録する。
【０１１７】
追記録されるデータは、図８のフレーム時刻524B81EE、524B8266の顔特徴量データ（顔の特徴量＋位置＋名前）と特定動作情報である。
最後に、チャプタ記録部２０８は、ＲＡＷデータに変換した部分のデータを、ＲＡＷデータに変換していない部分に連結して、再エンコードする。これにより、チャプタ記録部２０８は、チャプタと、顔特徴量データ（顔の特徴量＋位置＋名前）と、特定動作情報とを加えたプレゼンテーション状況把握用の録画データを生成する。
【０１１８】
ステップＳ７１６でチャプタが挿入された後のプレゼンテーション状況把握用の録画データは、図５のチャプタＢで示される部分のようになる。すなわち、当該プレゼンテーション状況把握用の録画データにチャプタが挿入され、その付加情報（メタデータ）として、顔特徴量データ（顔特徴量＋位置＋名前）と特定動作情報（投影内移動開始または投影内移動終了）が保存される。尚、チャプタＢのメタデータとしての名前は、ステップＳ７０８で人物名が特定された場合に保存される。
以上のようにしてステップＳ７１６の処理が終了すると、前述したステップＳ７０２の処理に戻る。
【０１１９】
以上のように本実施形態では、人物の顔の特徴量の変化に基づいて、主プレゼンテータが交代したことを検知すると、プレゼンテーション状況把握用の録画データの、当該検知したタイミングに対応する部分にチャプタを挿入する。したがって、第１の実施形態で説明した効果に加え、同時に複数人のプレゼンテータがプレゼンテーションを行う場合であっても、プレゼンテーション状況把握用の録画データにおいて、プレゼンテータを基点としてチャプタを選択することができる。
【０１２０】
（変形例）
前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【０１２１】
例えば、前述した第１および第２の実施形態では、顔の検知、顔の認証等、顔の特徴量を用いる場合を例に挙げて説明した。しかしながら、必ずしも、顔の特徴量を用いる必要はなく、人物の特徴量を検知できればよい。例えば、人物の特徴量として、顔に加えてまたは代えて、髪型、服装（ネクタイ）、立ち方、および歩容の少なくとも１つの特徴量を用いることができる。また、これらに加えてまたは代えて、画像ではなく、発音の相違による話者の特徴量等を人物の特徴量として用いてもよい。
【０１２２】
また、第１および第２の実施形態では、プレゼンテータの特定の動作が、時として演台から離れ、スクリーン２１２上の画像を自分の手もしくは指棒で指す動作である場合を例に挙げて説明した。しかしながら、プレゼンテータの特定の動作は、このような動作に限定されるものではない。例えば、プレゼンテータが、プロジェクタ１００、６００や視聴者を指で指す動作や、会場設営員と耳打ちをする動作や、プレゼンテータが物を持って視聴者に見せる動作を特定の動作としもよい。さらに、プレゼンテータが物を持って振る動作や、プロジェクタ１００、６００のリモコンを操作する動作や、物を投げる動作や、飲み物を飲む動作を特定の動作としてもよい。また、プレゼンテータが、手を挙げる動作を特定の動作としてもよい。
【０１２３】
また、第１および第２の実施形態では、画像撮像部２０２（カメラ）がプロジェクタ１００、６００に内蔵される場合を例に挙げて説明した。しかしながら、画像撮像部２０２（カメラ）がプロジェクタ１００、６００に内蔵されていなくてもよい。第１の実施形態の構成でこのようにした場合、画像撮像部２０２に加え、例えば、記憶部２０３、人物検知部２０５、人物変更検知部２０６、モーション検知部２０７、チャプタ記録部２０８、および外部出力部２０９を映像処理装置としてカメラに含めてもよい。また、第２の実施形態の構成でこのようにした場合、例えば、これらに加えて、主プレゼンテータ検知部６０１、計時記録部６０３、および時刻計時部６０４を映像処理装置としてカメラに含めてもよい。また、ビデオカメラ６２０にこれらの構成を含めてもよい。
【０１２４】
また、前述した再生装置としての機能をプロジェクタ１００が有してもよい。この場合、プロジェクタ１００は、チャプタが挿入されたプレゼンテーション状況把握用の録画データを外部に出力しなくてもよい。第１の実施形態の構成において、例えば、記憶部２０３、人物検知部２０５、人物変更検知部２０６、モーション検知部２０７、チャプタ記録部２０８、および外部出力部２０９を映像処理装置として再生装置に含めてもよい。また、第２の実施形態の構成において、例えば、これらに加えて、主プレゼンテータ検知部６０１、計時記録部６０３、および時刻計時部６０４を映像処理装置として再生装置に含めてもよい。
【０１２５】
また、第２の実施形態では、ビデオカメラ６２０を用いる場合を例に挙げて説明した。しかしながら、動画像を撮像する機器であれば、必ずしもビデオカメラを用いる必要はない。例えば、ＵＳＢカメラ、Ｗｅｂカメラ、ネットワークカメラ等の監視カメラをビデオカメラ６２０の代わりに用いてもよい。
また、第２の実施形態では、口元の動きが最も大きい顔の人物を主プレゼンテータとし、その他のプレゼンテータを従プレゼンテータとする場合を例に挙げて説明した。しかしながら、所定の条件を満たす人物を主プレゼンテータとし、その他のプレゼンテータを従プレゼンテータとしていれば、必ずしもこのようにする必要はない。例えば、手の動きが最も大きい人物を主プレゼンテータとし、その他のプレゼンテータを従プレゼンテータとしてもよい。
【０１２６】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【０１２７】
１００、６００：プロジェクタ、２１１、６１１：プレゼンテータ、２１２：スクリーン、２１３：録画画角
【図１】
2016134750.tif 000003
【図２】
2016134750.tif 000004
【図３】
2016134750.tif 000005
【図４】
2016134750.tif 000006
【図５】
2016134750.tif 000007
【図６】
2016134750.tif 000008
【図７】
2016134750.tif 000009
【図８】
2016134750.tif 000010