(57)【要約】【課題】講義映像を極力少ないデータ量で再構成し，再生の際に，視聴者に退屈な印象を与えることのない講義映像コンテンツを生成する。【解決手段】講師とスライド部分が表示されている講義映像から，音声データ抽出／保存手段１２０により，音声データを抽出して保存し，スライド領域検出／抽出手段１３０により，同一のスライドが表示されているＮ個のスライド区間からＮ個の代表スライド画像を抽出して保存し，講師領域検出／抽出手段１４０により，Ｍ個の講師動画像を抽出して保存し，メタデータ生成／保存手段１５０により，音声データの出力，代表スライド画像と講師動画像の重畳表示に必要なメタデータを生成して保存する。【選択図】図１
2012109820.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ撮影された講師とスライド部分が表示されている講義映像から講義映像コンテンツを作成する講義映像コンテンツ処理装置であって，
前記講義映像から音声データを抽出して記憶装置に保存する手段と，
前記スライドが表示されている画像領域を抽出した映像の各フレームに対しスライド画像の代表値を算出する手段と，
前記スライド画像の代表値のフレーム間の変化を算出する手段と，
前記スライド画像の代表値のフレーム間の変化からスライドの切り替わる時間軸上のフレーム位置を検出し，スライドの切り替わりと次のスライドの切り替わりとの間の同一のスライドが表示されている時間的区間を算出する手段と，
前記同一のスライドが表示されている時間的区間内のスライド画像から前記時間的区間の代表スライド画像を決定して記憶装置に保存手段と，
前記講師が表示されている画像領域を抽出した映像の各フレームに対し講師画像の代表値を算出する手段と，
前記講師画像の代表値のフレーム間の変化を算出する手段と，
前記講師画像の代表値のフレーム間の変化の絶対値が所定の値よりも小さい区間を検出する手段と，
前記検出された区間の中から所定の数のＭ個の区間を選出して，Ｍ個の講師動画像として記憶装置に保存する手段と，
前記同一のスライドが表示されている時間的区間の，初期フレームからの相対位置または相対時刻，前記同一のスライドが表示されているＮ個の時間的区間の代表スライド画像の記憶装置における保存場所情報，前記所定の数の講師動画像の記憶装置における保存場所情報，前記音声データの記憶装置における保存場所情報をメタデータとして記憶装置に保存する手段とを備え，
前記記憶装置に保存した音声データ，Ｎ個の代表スライド画像，Ｍ個の講師動画像およびメタデータを作成された講義映像コンテンツとする
ことを特徴とする講義映像コンテンツ処理装置。
【請求項２】
請求項１記載の講義映像コンテンツ処理装置によって作成された講義映像コンテンツを再生する講義映像コンテンツ処理装置であって，
前記講義映像コンテンツを構成するメタデータを読み込むとともに，読み込んだメタデータに従って，音声データ，Ｎ個の代表スライド画像およびＭ個の講師動画像を読み込む手段と，
再生開始から終了まで，先頭からの相対的な再生時刻および前記講義映像コンテンツの再生タイミングを管理する手段と，
再生開始から終了まで前記音声データを再生する手段と，
前記メタデータに記載されている，同一のスライドが表示されるＮ個の時間的区間に応じて，各時間的区間に対応する代表スライド画像を再生する手段と，
前記Ｍ個の講師動画像から再生する動画像を所定の順序またはランダムな順序で決定する手段と，
前記再生が決定された講師動画像を前記代表スライド画像に重畳して前記Ｎ個の時間的区間が終了するまで再生する手段とを備える
ことを特徴とする講義映像コンテンツ処理装置。
【請求項３】
コンピュータを，請求項１または請求項２記載の講義映像コンテンツ処理装置が備える手段として機能させるための講義映像コンテンツ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，撮影された講義映像から，スライドが表示されている部分の画像領域と講師が表示されている部分の画像領域を組み合わせ，講義映像コンテンツ（スライドショー）を作成する講義映像コンテンツ処理装置に関するものである。
【背景技術】
【０００２】
一般的な黒板を用いた通常教室での講義に関して，重要な情報を少ないデータ量で提示するコンテンツを自動生成する方法として，非特許文献１に開示されているように，黒板全体が撮影できるように複数のカメラを設置し，それらのカメラ映像を統合することで黒板映像を合成するとともに，講師の領域を抽出して講師映像を生成し，黒板映像の文字や図形をベクトル化することでデータ圧縮して，圧縮した黒板映像と講師映像を同期再生する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】米川輝，立花綱治，相田達也，若原裕範，岩月正見，「通常教室における講義のデジタルコンテンツ自動作成システムの試作」，メディア教育研究，Vol.1 ，No.2，pp.83-90，2005年。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書においては，講演会や大学の講義などで主に用いられているプレゼンテーションツールを用いて，パーソナルコンピュータ上で動作しているスライドを投影しながら行われる講演や講義を，ビデオカメラ等で撮影した映像を「講義映像」と称する。
【０００５】
「講義映像」は，以下の要素を含むものとする。
・前記スライドが投影されているスクリーンの全部または一部が１台のカメラで撮影されていること
・講演者／講師の全身または一部が撮影されていること
・講演者／講師の音声が含まれていること
本発明では，上記の条件を満たす講義映像を編集／再構成し，より視聴者が視聴しやすい映像を作成することを想定しており，そのために，スライドの内容が光学的に投影されているスクリーン部分（以下，スライド領域と呼ぶ）を画像処理により抽出し，元の講義映像からスライド領域を切り出して，投影による歪みを修正した上で，元の音声データを含めて新たな映像とし，さらに，元の講義映像から講師（主に顔部分）が撮影されている領域（以下，講師領域と呼ぶ）を画像処理により抽出して，前記スライド領域に重畳し，再構成された映像とすることを考えている。
【０００６】
背景技術で述べた非特許文献１に記載されているような方法は，本発明で想定しているプロジェクタを用いてあらかじめ用意した資料を講師が提示しながら講演し，それを１台のカメラで撮影するようなケースには適用することが困難である。
【０００７】
講師映像を重畳する理由は，後にこの講義映像を閲覧したり参照したいような場合，スライド領域だけでは講師の表情が見えないために視聴者に重要なポイントが伝わりにくく，退屈な印象を与えるという問題を解決するためである。
【０００８】
しかし，スクリーン領域の映像に講師部分の映像を単純に重畳する方法では，例えば９０分の講義映像を再構成すると，スライドの変化がない場合でも同一のフレームを９０分のビデオデータとして保持する必要があり，データ量が大きくなる（冗長になる）という問題がある。
【０００９】
また，一般には，撮影の最中に，講師が後ろ向きになったりスライド領域内に講師が入り込むこともあり，そのような不要と考えられる映像も再構成されてしまうという問題がある。
【００１０】
このような問題を避けるために，再構成後のコンテンツをビデオデータとするのではなく，静止画像を一定時間表示するスライドショーとすることが考えられる。しかし，講師映像も同様にスライドショーにすると，コンテンツ全体として，変化のない退屈な印象を与えるという問題が依然残るため，講師部分はデータ量を抑えながらも，極力動きがあった方がよい。
【００１１】
本発明が解決しようとする課題は，講義映像を再構成する際の冗長性を排し，極力少ないデータ量で映像を再構成し，さらに講師映像部分が動きのあるような動画コンテンツを生成する講義映像コンテンツ処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明が対象としている講義映像は，講師が板書したり講話のみ行われるような講義を撮影したものではなく，パーソナルコンピュータから出力されるスライド画像を，講義開始から講義終了までスクリーンに光学的に投影しているような講義の状況において，スライドの投影領域および講師を撮影したものである。
【００１３】
例えば，大学等での講義を撮影した講義映像を編集し，スライド部分と講師の映像とを合わせた映像を新たに作成する際，音声はそのままで，映像部分のデータ量を削減するためにスライドが変化した部分だけ表示するようにスライドショーを作成する。その際，スライド変化だけであると視聴者の注意を引きにくいため，講師の顔などが動く映像も同時に映るようにする。本発明は，このようなスライドショーコンテンツを撮影ビデオのみからユーザの手入力を必要とすることなく生成する。
【００１４】
すなわち，本発明は，同一内容のスライドが撮影されている連続したフレームの中から，同一内容のスライドが表示されている区間の時間を算出し，前記区間内でもっともスライドが明瞭に映っている代表スライド画像を区間の数（Ｎ個）だけ選択し，また，前記区間あるいは他の区間からもっとも講師の顔などの動きが明瞭に映っているＭ個の講師動画像を選び出して，Ｎ枚の代表スライド画像をそれぞれの時間的区間に従って順に再生する際に，Ｍ個の講師動画像から選択した講師動画像を重畳して表示する。
【００１５】
詳しくは，本発明は，前述した課題を解決するため，あらかじめ撮影された，講師とスライド部分が表示されている講義映像から，スライドが表示されている部分の画像領域を抽出した映像と，講師が表示されている部分の画像領域を抽出した映像と，前記講義映像の音声データとを組み合わせ，講義映像コンテンツを作成する装置であって，前記音声データを抽出し保存する手段と，前記スライドが表示されている画像領域を抽出した映像の各フレームに対しスライド画像の代表値を算出する手段と，前記講師が表示されている画像領域を抽出した映像の各フレームに対し講師画像の代表値を算出する手段と，前記スライド画像の代表値のフレーム間の変化を算出する手段と，前記スライド画像の代表値のフレーム間の変化からスライドの切り替わる時間軸上のフレーム位置を検出し，スライドの切り替わりと次のスライドの切り替わりとの間の同一のスライドが表示されている時間的区間を算出する手段と，前記同一のスライドが表示されている時間的区間内のスライド画像から前記時間的区間の代表スライド画像を決定して保存する手段と，前記講師画像の代表値のフレーム間の変化を算出する手段と，前記講師画像の代表値のフレーム間の変化の絶対値が所定の値よりも小さい区間を検出する手段と，前記検出された区間の中から，所定の数のＭ個を選出して，Ｍ個の講師動画像として保存する手段と，前記同一のスライドが表示されている時間的区間の初期フレームからの相対位置または相対時刻，前記同一のスライドが表示されているＮ個の時間的区間の代表スライド画像のファイル名および保存位置，前記所定の数の講師動画像のファイル名および保存位置，講義映像の音声データのファイル名および保存位置をメタデータとして保存する手段とを備えることを特徴とする。
【００１６】
また，本発明は，前記手段によって保存されたメタデータ，音声データ，Ｎ個の代表スライド画像，Ｍ個の講師動画像を読み込む手段と，再生開始から終了まで，先頭からの相対時刻および前記データの再生タイミングを管理する手段と，再生開始から終了まで音声データを再生する手段と，前記メタデータに記載されている，同一のスライドが表示されるＮ個の時間的区間に応じて，各時間的区間中はその時間的区間に対応する代表スライド画像を再生する手段と，Ｍ個の講師動画像から再生する動画像を決定する手段と，Ｍ個の講師動画像を前記スライド画像に重畳して画像部分のみを再生し，全スライド区間終了時に講師動画像が再生中であっても終了させる手段とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明は，講義映像の全てをビデオ映像で視聴するよりも少ないデータ量で，視聴者に退屈な印象を与えることのないコンテンツの再生が可能になるという効果がある。
【図面の簡単な説明】
【００１８】
【図１】講義映像からの再構成例を示す図である。
【図２】典型的な講義映像の構造の例を示す図である。
【図３】動画コンテンツ再生例を示す図である。
【図４】再構成データ決定のための代表値の変化例を示す図である。
【図５】再構成のためのデータ例を示す図である。
【図６】メタデータ例を示す図である。
【図７】講義映像コンテンツを作成する講義映像コンテンツ処理装置の構成例を示す図である。
【図８】講義映像コンテンツ作成処理のフローチャートである。
【図９】代表スライド画像決定・代表講師画像決定処理のフローチャートである。
【図１０】講義映像コンテンツを作成する講義映像コンテンツ処理装置の構成例を示す図である。
【図１１】講義映像コンテンツ作成処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下，図面を用いながら，本発明の実施形態について説明する。
【００２０】
図１に，本発明が対象としている講義映像についての再構成例を示す。図１（Ａ）に示すように，講師とスライド画像が撮影された講義映像から，スライド領域と講師領域とを切り出し，図１（Ｂ）に示すように，スライド領域と講師領域とを重畳して再構成映像とする。以下に説明するように，スライド領域については同一内容のスライドが表示されている間は１枚の静止画像として表示し，講師領域については，動きのある講師の映像を表示する。
【００２１】
このような講義映像は，同一内容のスライドが表示されている時間区分（以下，スライド区間またはスライドの表示区間，あるいは単に区間と呼ぶ）を構成単位として，最初のスライドが表示される前や最後のスライドが表示された後の不要な撮影部分（以下，不要部分と呼ぶ）を除き，図２の例に示すような構造をしている。
【００２２】
したがって，講義映像から図１（Ｂ）に示す例のような再構成映像を作成する場合，各スライド区間において１枚のスライド画像を抽出し，各スライド区間の持続時間にわたって前記１枚のスライド画像を表示し続けるようなスライドショーにより再生すれば，各スライド区間の持続時間における再構成映像のデータ量を減らすことができる。
【００２３】
本明細書では，スライドショーや動画像単体，あるいはスライドショーや動画像その他の複数のメディアを用いることによる再構成映像を動画コンテンツと呼ぶことにする。
【００２４】
本実施形態において，動画コンテンツの再生は，図３の例に示すようになる。すなわち，講義の音声は（不要部分を除き）全てをそのまま再生し，スライド画像はスライド区間の間，同一の画像を表示する。動画コンテンツの再生時間は，スライド区間の合計値に等しく，さらに，音声データの再生時間に等しい。
【００２５】
講師部分は，極力データ量を減らしながらも，講師が動いているという印象を視聴者に与えるため，元の講義映像の講師領域部分を抽出したものを時間軸方向に並べた中からさらに一部区間を抽出した「講師動画像」を再生する。その際，音声データは含んでいてもよいが，本発明では必要としないので，含まなくてもよい。前記講師動画像はある指定された長さ（フレーム数）のものを複数（Ｍ個）用意しておき，そのＭ個の動画像を，例えば時間軸方向にランダムな順序で順次再生してもよい。また，その際，講師動画像の再生時間の合計が，動画コンテンツの再生時間を上回ることがあるが，その際には，動画コンテンツの再生時間の終了をもって，最後に再生する講師動画像も（途中で）終了すればよい。
【００２６】
なお，スライド領域や講師領域は，元の講義映像から矩形領域を切り抜き，ホモグラフィ変換により長方形領域に射影してそれぞれスライド領域の画像，講師領域の画像とすることで決める。スライド領域は，講義映像中の比較的明るい部分を抽出する。固定カメラを仮定すれば，スライドが投影されているスクリーン領域は，ほぼ映像の各フレームの同じ位置にある。そのため，初期フレームあるいは任意のフレームにて初期のスライド投影位置を指定することにより，全フレームにわたって同一位置のスライド領域を取得できる。
【００２７】
具体的には，スライドが投影されているスクリーン領域は，視認性向上のため枠を付けることが多いため，画像から直線検出を行い，矩形の候補を求めたり，あるいは，スライド投影部は一般に周辺に比べ明るい（輝度値が高い）ため，元の画像から閾値処理して明るい部分を求めて前記矩形候補ともっとも合致する矩形をスライド領域としてもよい。この矩形は一般的には長方形とならず，長方形を射影変換した形状をしていることが多いため，前記矩形をさらに射影変換（ホモグラフィ変換）することで長方形に変換する。
【００２８】
また，講師領域については同様に初期位置を指定しても，講師が動くことがあるため，顔領域の検出（すでに知られている技術を用いてよい；例えば，オープンソースソフトウェアであるＯｐｅｎＣＶには顔領域を検出するライブラリが含まれている）や，講師が動く場合には背景領域との色や輝度値の差分情報を用いたり，あるいは講師領域内の色ヒストグラムのフレーム間での比較により，講師領域を全フレームにわたって抽出してもよい。
【００２９】
講師領域とスライド領域が重複する場合には，それぞれの切り出した領域の，元の映像に対する座標を比較することで検出することができる。通常，できるだけスライド領域から講師が離れて（聴講する生徒からスライドが見えるように）講義する場合が多いと推定されるため，重複する時間の講義全体に対する時間的割合は少ないと想定している。
【００３０】
検出された講師領域とスライド領域が重複する区間のスライド領域は，下記のスライド領域の代表値を決める処理から除外してもよい。
【００３１】
図４は，再構成データ決定のための代表値の変化例を示す図である。図４を用いて，講義映像コンテンツを構成するためのデータをどのように決定するかを説明する。
【００３２】
全フレームにわたるスライド領域に対し，各フレームごとにスライド画像に対する代表値を１つ決める。その際，例えば処理量を減らすため，前記スライド領域の画像サイズを縮小し，代表値として縮小画像の輝度の（画像における）平均値を用いてもよく，また，前記輝度の画像における平均値の，フレームにわたる平均値に対する比で表したものを用いてもよい。
【００３３】
いずれにしても，前記スライド領域の代表値は，同一のスライド区間においては大きな変化はなく，図４に示すように，スライドが切り替わるフレームにおいて大きな変化（例えば色ヒストグラムの変化や画像の差分）が生じると考えられる。したがって，この変化の値（の絶対値）がある閾値を超えるところでスライドの切り替えと判定でき，また，そのようにして検出したスライド区間内において，代表値の変化の最も小さいフレームを，前記スライド区間を代表するスライド画像として決めてもよい。スライド区間がＮ個あるとすると，代表スライド画像はＮ枚あることになり，そのＮ枚の代表スライド画像をファイルとして保存する。
【００３４】
なお，前記の通り，講師領域がスライド領域に重複すると，スライドが切り替わっていないにもかかわらず，画像上の変化があるために切り替わりがあると判定されてしまうことがあるため，あらかじめ重複する画像を除外しておいてもよい。
【００３５】
講師動画像については，同様に，各フレームにおける講師領域画像の代表値の変化を全フレームにわたって計算し，変化（の絶対値）が所定の閾値未満の連続するフレームを１つの講師動画像とする。講師領域画像の代表値としては，スライド画像の代表値と同様に，領域内の画素値の統計量を用いることができ，例えば講師領域の明るさ（輝度値）の平均値や中間値，あるいは講師領域を小ブロックに分割し，各ブロックの明るさの平均値の分散を用いるようなこともできる。
【００３６】
このような講師動画像が，全フレームにわたってＭ個あるとすると，このＭができるだけ少ない方が，再構成する動画コンテンツのデータ量を減らすことができる。よって，Ｍ＞Ｎとなるような場合には，Ｍの中からＮ以下の個数を適当に選択し，その個数を改めてＭとしてもよいし，あらかじめ設定された所定の数となるように前記Ｍ個の中から適当に選択し，その個数を改めてＭとしてもよい。また，Ｍ個の講師動画像のそれぞれが最大で何フレームから構成されるかについても，所定の設定値をあらかじめ指定してもよい。このようなＭ個の講師映像をファイルとして保存する。注意すべくは，あるスライド区間に対応する講師動画像は，そのスライド区間に対応する部分から選択する必要がないということである。
【００３７】
一方，本実施形態においては，音声データは不要部分を除き，全フレームにわたってそのまま用いるため，講義映像から必要に応じて不要部分を除いた後，単に音声データをそのままファイルとして保存する。なお，音声データの不要部分の除去に伴い，スライド区間の長さを調整するようにしてもよい。
【００３８】
以上のデータの抽出例を図５に示す。再構成のためのデータとして，図５に示すように，Ｎ個のスライド画像，Ｍ個の講師動画像，および，不要部分が除去された音声データが，ファイルとして保存される。
【００３９】
また，保存した以上のファイル，および，スライド区間の開始時刻／終了時刻，当該スライド区間の代表スライド画像ファイル名といった情報を，図６の例に示すようなメタデータとしてファイル出力する。
【００４０】
図７は，本発明の第１の実施形態に係る講義映像コンテンツ処理装置の構成例を示す図である。図７に示す講義映像コンテンツ処理装置１００は，講義映像コンテンツを作成して，保存する装置である。
【００４１】
講義映像読み込み手段１１０は，あらかじめ撮影された講師とスライド部分が表示されている講義映像を読み込む手段である。音声データ抽出／保存手段１２０は，講義映像から音声データを抽出し，音声ファイル１６１として保存する手段である。
【００４２】
スライド領域検出／抽出手段１３０は，スライド領域解析手段１３１，スライド区分検出手段１３２，スライド画像決定／保存手段１３３を備え，講義映像からスライド領域を検出し，保存する手段である。スライド領域解析手段１３１は，スライド画像を解析し，スライド画像の代表値を計算する手段である。スライド区分検出手段１３２は，スライドの切り替え位置を検出し，スライド区分を決定する手段である。スライド画像決定／保存手段１３３は，代表となるスライド画像を選択し，代表スライド画像ファイル１６２として保存する手段である。
【００４３】
講師領域検出／抽出手段１４０は，講師領域解析手段１４１，講師動画像決定／保存手段１４２を備え，講義映像から講師領域を検出し抽出する手段である。講師領域解析手段１４１は，講師領域を解析し，講師領域の代表値を計算する手段である。講師動画像決定／保存手段１４２は，講師領域の代表値から代表講師動画像を決定し，代表講師動画像ファイル１６３として保存する手段である。
【００４４】
メタデータ生成／保存手段１５０は，図６に示すようなメタデータを生成し，メタデータファイル１６４として保存する手段である。
【００４５】
図８は，講義映像コンテンツ処理装置１００の処理のフローチャートである。講義映像コンテンツ処理装置１００は，以下に説明する処理によって講義映像コンテンツを作成し，保存する。
【００４６】
まず，講義映像読み込み手段１１０が，講義映像コンテンツの作成対象となる撮影された講義映像を読み込む（ステップＳ１０）。また，講義映像に関する基本情報を取得する（ステップＳ１１）。この基本情報とは，例えば講義映像の長さや画像のサイズ，ファイルフォーマットといったコンピュータで講義映像を解析するために必要な情報であり，例えばファイルを読み込むことにより得られるものである。次に，読み込んだ講義映像について，前後の不要な映像を除去するなどの前処理を行う（ステップＳ１２）。例えば，この前処理では，講義映像コンテンツ作成者であるユーザが手作業で，映像の始めの部分や終わりの部分の不要な映像部分を除外する処理であり，一般に用いられている映像編集ツールを用いて実行することができる。また，映像中にスライド画像が存在するか否かなどによって，自動で不要な映像部分を除外することもできる。
【００４７】
続いて，音声データ抽出／保存手段１２０は，読み込んだ講義映像に付随する音声データを抽出し，音声データだけを別ファイルとして音声ファイル１６１に格納し保存する（ステップＳ１３）。
【００４８】
次に，講義映像コンテンツを生成するための初期パラメータを，講義映像コンテンツ作成者からの入力または事前に定義された設定ファイルからの入力などにより，受け入れる（ステップＳ１４）。初期パラメータの受け入れとしては，例えばスライド領域の初期位置の指定を受け入れる処理（ステップＳ１５），講師領域の初期位置の指定を受け入れる処理（ステップＳ１６），講師動画像数の指定を受け入れる処理（ステップＳ１７），講師動画像の長さの指定を受け入れる処理（ステップＳ１８）を行う。
【００４９】
続いて，スライド領域検出／抽出手段１３０および講師領域検出／抽出手段１４０による代表スライド画像決定・代表講師画像決定処理を実行する（ステップＳ１９）。この処理の詳細については，図９に従って後述する。
【００５０】
講師動画像決定／保存手段１４２は，ステップＳ１９で決定された代表講師動画像を代表講師動画像ファイル１６３に格納し保存する（ステップＳ２０）。続いて，メタデータ生成／保存手段１５０は，図６に示すようなメタデータを生成し，メタデータファイル１６４に保存する（ステップＳ２１）。
【００５１】
図９は，図８のステップＳ１９における代表スライド画像決定・代表講師画像決定処理の詳細を示している。講義映像の全フレームについて，以下の処理を実行する（ステップＳ３０）。まず，スライド領域解析手段１３１は，スライド領域を検出し，その位置情報を記憶する（ステップＳ３１）。次に，スライド領域の代表値を検出し，記憶する（ステップＳ３２）。スライド区分検出手段１３２は，スライド領域の代表値からスライド切替フレームを検出し，記憶する（ステップＳ３３）。
【００５２】
スライド画像決定／保存手段１３３は，スライド切替フレームから次のスライド切替フレームまでの各スライド区間において，以下の処理を行う（ステップＳ３４）。まず，スライド領域代表値の変化を計算する（ステップＳ３５）。その代表値の変化から代表スライド画像を決定し，決定した代表スライド画像を代表スライド画像ファイル１６２に保存する（ステップＳ３６）。
【００５３】
一方，講師領域検出／抽出手段１４０は，次の処理を行う。まず，講師領域解析手段１４１は，講義映像から講師領域を検出し，その位置情報を記憶する（ステップＳ３７）。次に，講師領域の代表値を検出し，記憶する（ステップＳ３８）。検出した講師領域の代表値の変化を計算し（ステップＳ３９），その変化から代表講師動画像区間を決定する（ステップＳ４０）。代表講師動画像区間内の動画像が代表講師動画像となる。
【００５４】
図１０は，図７に示す講義映像コンテンツ処理装置１００によって作成された講義映像コンテンツを再生する第２の実施形態に係る講義映像コンテンツ処理装置の構成例を示している。ここでは，ＣＰＵとメモリを有するコンピュータによって構成される講義映像コンテンツ処理装置２００にデータを読み込み，ディスプレイ装置等で再生することを想定しているが，同等の機能を有する装置であれば特にこれに限定されるものではない。
【００５５】
メタデータ読み込み手段２１０は，メタデータファイル１６４からメタデータを読み込む手段である。音声データ，代表スライド画像，講師動画像読み込み手段２２０は，メタデータ記載の情報をもとに，音声データ，Ｎ個の代表スライド画像，Ｍ個の講師動画像を読み込む手段である。再生時間管理手段２３０は，読み込んだ代表スライド画像，音声データ，講師動画像を再生するタイミングを，メタデータ記載のスライド区間に応じて管理する手段である。音声データ再生手段２４０は，音声データを再生する手段である。代表スライド画像再生手段２５０は，代表スライド画像を再生時間管理手段２３０で管理するタイミングに応じて順次表示する手段である。講師動画像再生順序決定手段２６０は，Ｍ個の講師動画像の再生する順序を決定する手段である。例えば読み込んだ順に再生し，Ｍ個の動画像の再生が完了したが，まだ動画コンテンツの終了時刻に至っていない際には，改めて読み込んだ順に再生してもよいし，ランダムな順序で再生してもよい。講師動画像重畳再生手段２７０は，講師動画像を代表スライド画像の一部に重畳して表示する手段である。
【００５６】
図１１は，講義映像コンテンツ処理装置２００の処理のフローチャートである。講義映像コンテンツ処理装置２００は，以下に説明する処理によって講義映像コンテンツを再生する。
【００５７】
まず，メタデータ読み込み手段２１０が，メタデータファイル１６４に格納されたメタデータを読み込む（ステップＳ５０）。メタデータファイル１６４に記載の情報の配置はあらかじめ定められているものとする。音声データ，代表スライド画像，講師動画像読み込み手段２２０は，メタデータファイル１６４に記載の情報により，音声ファイル１６１，代表スライド画像ファイル１６２，代表講師動画像ファイル１６３から，音声データ，Ｎ個の代表スライド画像，Ｍ個の代表講師動画像を読み込み，記憶領域に保存する（ステップＳ５１）。
【００５８】
次に，再生時間管理手段２３０は，メタデータに記載されているスライド区間情報により，再生対象の講義映像コンテンツの時間的長さ（全再生時間），各スライド区間の時間的長さを設定する（ステップＳ５２）。
【００５９】
次に，例えばユーザからの再生開始指示入力等により講義映像コンテンツの再生を開始する（ステップＳ５３）。音声データは，音声データ再生手段２４０により講義映像コンテンツの再生開始と同時に再生を開始し，講義映像コンテンツの再生終了まで終了しない（ステップＳ５４）。
【００６０】
代表スライド画像は，代表スライド画像再生手段２５０により，各スライド区間の開始から終了まで，対応する代表スライド画像を表示し続ける。スライド区間が終了したら，全スライド区間が終了したかどうかを判定し，終了していれば全体の再生終了（ステップＳ６２）に処理を移し，終了していなければ次のスライド区間に遷移し，対応する代表スライド画像を表示し続ける。これを繰り返す（ステップＳ５５〜Ｓ５７）。
【００６１】
代表講師動画像は，まず，講師動画像再生順序決定手段２６０により最初に再生する動画像を１つ選択するが，ランダムに選択させてもよい（ステップＳ５８）。講師動画像重畳再生手段２７０によって，代表講師動画像の各フレームをその時点で表示されている代表スライド画像に重畳して表示し（ステップＳ５９），各フレームごとに，全スライド区間が終了しているかどうかを判定する（ステップＳ６０）。
【００６２】
なお，明らかに，全スライド区間終了までの残り時間が，再生する代表講師動画像の再生時間よりも長い場合には，処理の軽減のためにこの判定をスキップしてもよい。したがって，再生する代表講師動画像を選定する際に，全スライド区間終了までの残り時間と当該代表講師動画像の再生時間とを比較し，前者が長ければ前記判定処理をスキップするようなフラグを付与してもよい。
【００６３】
前記判定の結果，全スライド区間が終了していなければ（または前記フラグにより処理をスキップした場合には）次の判定処理に移り，全スライド区間が終了していれば，講義映像コンテンツの再生終了処理（ステップＳ６２）に移る。
【００６４】
前記判定により，全スライド区間が終了していない場合，当該代表講師動画像の最終フレームかどうかを判定し，最終フレームであれば次の代表講師動画像の選択処理に移り，そうでなければ，当該動画像の次のフレームの重畳表示を行う（ステップＳ５８〜Ｓ６１）。
【００６５】
全スライド区間終了のタイミングにおいて，当該講義映像コンテンツの再生終了となり，講義映像コンテンツの再生に使用したメモリを解放し，処理を終了する（ステップＳ６２）。
【００６６】
以上の講義映像コンテンツ処理装置が行う処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００６７】
１００，２００  講義映像コンテンツ処理装置
１１０  講義映像読み込み手段
１２０  音声データ抽出／保存手段
１３０  スライド領域検出／抽出手段
１３１  スライド領域解析手段
１３２  スライド区分検出手段
１３３  スライド画像決定／保存手段
１４０  講師領域検出／抽出手段
１４１  講師領域解析手段
１４２  講師動画像決定／保存手段
１５０  メタデータ生成／保存手段
１６１  音声ファイル
１６２  代表スライド画像ファイル
１６３  代表講師動画像ファイル
２１０  メタデータ読み込み手段
２２０  音声データ，代表スライド画像，講師動画像読み込み手段
２３０  再生時間管理手段
２４０  音声データ再生手段
２５０  代表スライド画像再生手段
２６０  講師動画像再生順序決定手段
２７０  講師動画像重畳再生手段
【図１】
2012109820.tif 000003
【図２】
2012109820.tif 000004
【図３】
2012109820.tif 000005
【図４】
2012109820.tif 000006
【図５】
2012109820.tif 000007
【図６】
2012109820.tif 000008
【図７】
2012109820.tif 000009
【図８】
2012109820.tif 000010
【図９】
2012109820.tif 000011
【図１０】
2012109820.tif 000012
【図１１】
2012109820.tif 000013