(57)【要約】【課題】会議において参加者の注目を集めた内容に絞って再生する会議記録システムを提供する。【解決手段】会議内容を記録する会議記録装置１０１と、記録された会議内容を再生する情報処理装置１２１とを備える会議記録システムを設ける。会議記録装置１０１が、会議での映像／音声に関する会議データを取得し、会議データに基づいて、会議参加者が注目した情報を示す注目情報を作成し、会議データを注目情報と対応付けて記録する。そして、情報処理装置１２１が、会議記録装置１０１から会議データを取得し、会議データを、会議データに対応する注目情報にしたがって再生する。【選択図】図１
2014204411.tif 000002
【特許請求の範囲】
【請求項１】
会議内容を記録する会議記録装置と、前記記録された会議内容を再生する情報処理装置とを備えるシステムであって、
前記会議記録装置は、
会議での映像／音声に関する会議データを取得する取得手段と、
前記取得された会議データに基づいて、会議参加者が注目したシーンに関する注目情報を作成する作成手段と、
前記会議データを前記注目情報と対応付けて記録する記録手段とを備え、
前記情報処理装置は、
前記会議記録装置から前記記録された会議データを取得する取得手段と、
前記取得された会議データを、当該会議データに対応する注目情報にしたがって再生する再生手段とを備える
ことを特徴とする会議記録システム。
【請求項２】
前記会議記録装置が備える作成手段は、
前記取得された会議データに含まれる映像から前記会議参加者の視認領域を抽出し、
前記抽出された視認領域が重なる時間が規定時間以上続いたかを判断し、
前記視認領域が重なる時間が規定時間以上続いた場合に、前記視認領域が重なる時間分の前記視認領域に対応する映像に関する情報を前記注目情報として生成する
ことを特徴とする請求項１に記載の会議記録システム。
【請求項３】
前記会議記録装置が備える作成手段は、
前記会議データに含まれる映像のフレームにおける前記会議参加者の視認領域が重なる重複領域を取得し、
隣り合うフレーム同士で前記重複領域が重なることが規定フレーム数以上連続するかを判断し、
隣り合うフレーム同士で前記重複領域が重なることが規定フレーム数以上連続する場合に、前記視認領域が重なる時間が規定時間以上続いたと判断する
ことを特徴とする請求項２に記載の会議記録システム。
【請求項４】
前記会議記録装置が備える作成手段は、
前記重複領域が重なることが前記規定フレーム数以上連続する場合に、当該連続するフレームにおける前記視認領域の論理和演算により得られる領域である注目領域の座標情報と、当該連続するフレームの数に対応する時間情報とを、前記注目情報に設定する
ことを特徴とする請求項３に記載の会議記録システム。
【請求項５】
前記情報処理装置が備える再生手段は、前記会議データに対応する注目情報に設定された前記注目領域の座標情報と前記時間情報とに基づいて、当該注目領域を当該時間情報が示す時間分、動画再生する
ことを特徴とする請求項４に記載の会議記録システム。
【請求項６】
前記情報処理装置が備える再生手段は、前記会議データのリストを画面表示し、
前記リストから選択された会議データに対応する注目情報に設定された注目領域について動画再生する
ことを特徴とする請求項５に記載の会議記録システム。
【請求項７】
前記会議記録装置が備える作成手段は、さらに、
前記注目情報に設定された前記注目領域からオブジェクトを抽出し、
前記抽出したオブジェクトの種類を示す種別情報を前記注目情報に設定し、
前記情報処理装置が備える前記再生手段は、前記取得された会議データに対応する注目情報に設定されている種別情報が示すオブジェクトの種別に応じて、当該会議データの再生方法を切り換える
ことを特徴とする請求項４乃至６のいずれか１項に記載の会議記録システム。
【請求項８】
前記会議記録装置が備える作成手段は、
前記注目情報に設定された前記注目領域から抽出したオブジェクトがスライドである場合に、前記注目情報に設定された注目領域の座標情報を前記スライドの領域の座標情報に更新するとともに、前記注目情報に設定された時間情報を１フレーム分の時間情報に更新し、
前記情報処理装置が備える前記再生手段は、前記更新後の時間情報にしたがって、前記スライドを静止画再生する
ことを特徴とする請求項７に記載の会議記録システム。
【請求項９】
前記会議記録装置が備える作成手段は、
前記注目情報に設定された前記注目領域から抽出したオブジェクトが人物である場合に、前記注目情報に設定された時間情報が含まれる発生区間を前記会議データから抽出し、
前記抽出された発生区間が前記注目情報に設定された時間情報が示す時間より長い場合に、当該注目情報に設定された時間情報を当該発生区間で更新し、
前記情報処理装置が備える前記再生手段は、前記更新後の時間情報が示す時間分、前記注目領域を動画再生する
ことを特徴とする請求項７に記載の会議記録システム。
【請求項１０】
前記会議記録装置が備える作成手段は、前記会議を全方位カメラを用いた撮影により得られた前記会議データを取得する
ことを特徴とする請求項１乃至９のいずれか１項に記載の会議記録システム。
【請求項１１】
会議での映像／音声に関する会議データを取得する取得手段と、
前記取得された会議データに基づいて、会議参加者が注目した情報を示す注目情報を作成する作成手段と、
前記会議データを前記注目情報と対応付けて記録する記録手段とを備え、
前記記録された会議データは、当該会議データに対応する注目情報にしたがって再生される
ことを特徴とする会議記録装置。
【請求項１２】
会議内容を記録する会議記録装置と、前記記録された会議内容を再生する情報処理装置とを備えるシステムにおける会議記録再生方法であって、
前記会議記録装置が、会議での映像／音声に関する会議データを取得する工程と、
前記会議記録装置が、前記取得された会議データに基づいて、会議参加者が注目した情報を示す注目情報を作成する工程と、
前記会議記録装置が、前記会議データを前記注目情報と対応付けて記録する工程と、
前記情報処理装置が、前記会議記録装置から前記記録された会議データを取得する工程と、
前記情報処理装置が、前記取得された会議データを、当該会議データに対応する注目情報にしたがって再生する工程とを有する
ことを特徴とする会議記録再生方法。
【請求項１３】
請求項１２に記載の会議記録再生方法をコンピュータに実行させる
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議記録システム、会議記録装置、会議記録再生方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
ビデオカメラ等を用いて動画・音声データを記録し、タイムライン形式で再生することで、会議の内容全体を時系列に振り返ることを支援する会議記録システムが提案されている。
【０００３】
特許文献１は、会議中の発言者と発言者の視認領域を検出し、動画と共に視認していた領域の画像を合わせて表示するシステムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１２４１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
会議記録システムでは、会議全体の内容を時系列に沿って振り返ることを可能にするとともに、会議中に参加者の注目を集めた内容を効率良く短時間で振り返ることを可能にすることが望まれている。
【０００６】
例えば、ブレインストーミング等を行うアイデア出し会議では、全発言を振り返る必要はなく、参加者の注目を集めたアイデアを選択的に振り返りたい場合がある。このような場合、従来技術では、全時間分の動画を閲覧したり、アイデアの発言者などを思い出し、発言者名での検索と再生を繰り返したりして、所望の内容を見つける必要がある。したがって、従来技術では、会議にて注目の高かった内容を振り返る際に時間が掛かる。
【０００７】
また、最近では、会議を記録する際に全方位ビデオカメラを使用する場合がある。全方位ビデオカメラでは、出力動画を透視投影変換処理してパノラマ動画として記録する。したがって、会議記録システムが全方位ビデオカメラを用いて記録したパノラマ動作を再生すると、会議内容を振り返る時に確認する範囲が非常に広くなるので、注目を集めた内容を見つけ出すことに時間が掛かる。
【０００８】
本発明は、上記の課題の少なくとも一つを解決するためになされたものである。本発明は、会議において参加者の注目を集めた内容に絞って再生する仕組みの提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態の会議記録システムは、会議内容を記録する会議記録装置と、前記記録された会議内容を再生する情報処理装置とを備えるシステムである。前記会議記録装置は、会議での映像／音声に関する会議データを取得する取得手段と、前記取得された会議データに基づいて、会議参加者が注目した情報を示す注目情報を作成する作成手段と、前記会議データを前記注目情報と対応付けて記録する記録手段とを備える。前記情報処理装置は、前記会議記録装置から前記記録された会議データを取得する取得手段と、前記取得された会議データを、当該会議データに対応する注目情報にしたがって再生する再生手段とを備える。
【発明の効果】
【００１０】
本発明の会議記録システムによれば、会議において参加者の注目を集めた内容に絞って再生することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の会議記録システムの構成例を示す図である。
【図２】会議記録装置の構成例を示す図である。
【図３】会議データの取得を説明する図である。
【図４】会議記録装置の動作処理の例を説明するフローチャートである。
【図５】注目領域の算出処理の例を説明する図である。
【図６】サーバの構成例を示す図である。
【図７】サーバの動作処理の一例を示す図である。
【図８】会議記録データの構成例を示す図である。
【図９】情報処理装置の構成例を示す図である。
【図１０】会議記録データの取得処理と提供処理とを説明する図である。
【図１１】会議記録データの再生処理の例を説明するフローチャートである。
【図１２】会議記録データの再生に関わる画面構成例である。
【図１３】オブジェクト抽出処理の例を説明する図である。
【図１４】パノラマ画像からのスライドと人の検出を説明する図である。
【図１５】注目情報の構成の一例を示す図である。
【図１６】会議記録データの再生処理を説明するフローチャートである。
【図１７】情報処理装置の画面表示例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本実施形態の会議記録システムの構成例を示す図である。図１に示す会議記録システムは、会議記録装置１０１、サーバ１３１、情報処理装置１２１を備える。本実施形態の会議記録再生方法は、図１に示す会議記録システムによって実現される。会議記録装置１０１とサーバ１３１と情報処理装置１２１とは、ネットワーク１４１を介して通信する。この例では、ネットワーク１４１は、ＬＡＮ（Local Area Network）である。
【００１３】
会議記録装置１０１は、会議を記録する。具体的には、会議記録装置１０１は、ビデオカメラを用いて会議を撮影することで映像／音声を取得し、当該映像／音声に関するデータを会議データとして記録する。もちろん、会議記録装置１０１が、外部装置から会議データを受信して記録するようにしてもよい。
【００１４】
会議記録装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録するが、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。
【００１５】
サーバ１３１は、会議記録装置１０１が記録した会議データを会議記録装置１０１から取得して蓄積する。情報処理装置１２１は、サーバ１３１から、上記蓄積された会議データを取得して、再生する。情報処理装置１２１は、スマートフォン等の携帯端末やパーソナルコンピュータ等である。
【００１６】
会議記録装置１０１、サーバ１３１、情報処理装置１２１は、それぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ、ハードディスク、ネットワークＩ／Ｆ等）を有している。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅの略称である。
【００１７】
図２は、会議記録装置の構成例を示す図である。会議記録装置１０１は、ＣＰＵ１０３、メモリ１０４、ビデオカメラ１０５、動画音声処理部１０６、視認領域抽出部１０７、注目情報処理部１０８、ＨＤＤ１０９、通信処理部１１０、ネットワークＩ／Ｆ１１１を備える。ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。会議記録装置１０１が備える各処理部は、システムバス１０２で相互に接続される。
【００１８】
ＣＰＵ１０３は、会議記録装置１０１全体を制御する。メモリ１０４には会議記録装置１０１の制御プログラム（コンピュータプログラム）が格納される。ＣＰＵ１０３がこの制御プログラムを実行する。ビデオカメラ１０５は、会議における参加者の言動等を記録する。
【００１９】
図３（Ａ）は、本実施形態における会議を示す。この会議には、会議参加者２１１乃至２１５が参加している。会議室の机の上に会議記録装置１０１が設置されている。本実施形態では、ビデオカメラ１０５として全方位ビデオカメラを使用する。
【００２０】
動画音声処理部１０６は、ビデオカメラ１０５で撮影することで取得した会議データ（動画／音声データ）に含まれる映像から、参加者の視認領域の抽出を行うよう視認領域抽出部１０７に指示する。視認領域抽出部１０７は、動画音声処理部１０６から受けた指示にしたがって、参加者の視認領域を抽出する。視認領域抽出部１０７は、例えば、参加者の瞳の位置、及び、顔の向きに基づいて予測することで、視認領域を抽出する。視認領域の抽出方法として、下記の参考文献は、全方位カメラにて被写体の視線を推定し、視認領域を出力する技術を開示している。
参考文献：特開２０１２−１２４７６７号公報
【００２１】
図３（Ｂ）は、全方位ビデオカメラによる撮影で取得される全方位画面を示す。動画音声処理部１０６は、全方位画像２１０に対し透視投影変換を行い、図３（Ｃ）に示すパノラマ画像２３０を生成する。図３（Ａ），（Ｂ）中の符号２２４は、会議参加者２１４の視認領域を示す。符号２２１は、会議参加者２１１の視認領域を示す。符号２２２は、会議参加者２１２の視認領域を示す。符号２２５は、会議参加者２１５の視認領域を示す。
【００２２】
注目情報処理部１０８は、会議参加者の視認領域の重なりを検知する。図３（Ｃ）中の符号２４０は、視認領域が重なった領域（重複領域）を示す。重複領域２４０は、左上原点の２次元の座標値（ｘ，ｙ）と、領域の幅と高さ（ｗ，ｈ）を持ち、場所の特定とサイズ計算が可能である。
【００２３】
注目情報処理部１０８は、重複領域の検知結果に基づいて、注目情報を作成する。注目情報は、会議参加者の注目を集めたシーンに関する情報である。具体的には、注目情報は、少なくとも、注目領域と、注目を集めた時間（注目時間）とを含む。注目領域は、会議参加者の注目を集めた領域である。注目領域は、会議データにおいて、視認領域の重なりが検出されたフレーム同士の重なりが連続する場合に、当該連続するフレーム間での視認領域の論理和演算により得られる（ＯＲ領域である）。注目時間は、会議データにおいて、視認領域の重なりが検出されるフレームの連続数に対応する。
【００２４】
注目情報処理部１０８は、注目情報を示すタグセットＩＤを会議データと対応付けてＨＤＤ１０９に保存する。当該保存されるデータを、以下では、会議記録データと記述する。通信処理部１１０は、ネットワークＩ／Ｆ１１１を介して、サーバ１３１に会議記録データを送信する。
【００２５】
図４は、会議記録装置の動作処理の例を説明するフローチャートである。
まず、会議記録装置１０１が、処理の開始指示を受け付けて、会議の属性情報を設定する（ステップＳ３０１）。具体的には、ＣＰＵ１０３が、会議の日時、場所、会議参加者を会議記録データに保存する。
【００２６】
次に、動画音声処理部１０６が、ビデオカメラ１０５による会議データの撮影処理を開始する。視認領域抽出部１０７が、会議データに含まれる動画のフレーム単位に、各参加者の視認領域の抽出を行う（ステップＳ３０２）。続いて、動画音声処理部１０６が、全方位画像２１０（図３（Ｂ））に対して透視投影変換を行い、図３（Ｃ）に示すパノラマ画像２３０を生成する。
【００２７】
次に、注目情報処理部１０８が、パノラマ画像２３０の現在フレームにおいて、各会議参加者の視認領域の当たり判定を行う（ステップＳ３０４）。視認領域の当たり判定とは、パノラマ画像２３０における各会議参加者の視認領域が、互いに重なるかを判断することである。
【００２８】
図３（Ａ）に示すように、会議参加者が５人（２１１乃至２１５）である会議を記録する場合を例にとって説明する。ステップＳ３０４の当たり判定は、全参加者の内、規定の割合以上の参加者が同じ箇所を見ているかを判断するために行う。規定の割合を６０％とすると、当たり判定では、全参加者５人の６０％にあたる３人が同時に同じ箇所を見ているかが判断される。なお、上記規定の割合は、変更可能である。
【００２９】
図５（Ａ）は、Ｎ番目のフレームにおける視認領域の重なりを説明する図である。会議参加者３人が同じ箇所を見ているものとする。３人の会議参加者の視認領域は、矩形で示す３つの視認領域２２１、２２２、２２５である。重複領域４０１は、上記３つの視認領域が重なる領域である。
【００３０】
図４のステップＳ３０４での当たり判定では、注目情報処理部１０８は、重複領域４０１が規定サイズ（Ｘピクセル）以上であるかを判定する。視認領域２２１乃至２２５は、左上原点の２次元の座標値（ｘ，ｙ）と、領域の幅と高さ（ｗ，ｈ）を持つため、これらの値より、重複領域の座標値（ｘ，ｙ）と領域の幅と高さ（ｗ，ｈ）を計算可能である。
【００３１】
重複領域４０１が規定サイズ未満である場合、注目情報処理部１０８は、会議参加者の視認領域が互いに重ならないと判断して、処理がステップＳ３１２に進む。重複領域４０１が規定サイズ以上である場合、注目情報処理部１０８は、会議参加者の視認領域が互いに重なると判断して、処理がステップＳ３０５に進む。
【００３２】
次に、注目情報処理部１０８が、前フレームについての当たり判定によってフラグがＯＮとなっているかを判定する（ステップＳ３０５）。このフラグは、フレームにおいて会議参加者の視認領域が互いに重なるか否かを示す。フラグがＯＮであることは、会議参加者の視認領域が互いに重なることを示す。フラグがＯＦＦであることは、会議参加者の視認領域が互いに重ならないことを示す。
【００３３】
フラグがＯＮとなっていない場合は、処理がステップＳ３０６に進む。そして、注目情報処理部１０８が、フラグをＯＮに設定して（ステップＳ３０６）、処理がステップＳ３１３に進む。フラグがＯＮとなっている場合は、処理がステップＳ３０７に進む。そして、注目情報処理部１０８が、連続フレーム間での視認領域の当たり判定を行う（ステップＳ３０７）。具体的には、前フレーム（ｉ−１番目のフレーム）での重複領域と現行フレーム（ｉ番目のフレーム）での重複領域とが互いに重なるかを判定する。
【００３４】
図５（Ｂ）は、ステップＳ３０７における当たり判定を説明する図である。領域４０１は、前フレーム（ｉ−１番目のフレーム）で視認領域が重なる重複領域である。領域４０２は、現行フレーム（ｉ番目のフレーム）で視認領域が重なる重複領域である。領域４１１は、領域４０１と領域４０２とが重なる重複領域である。注目情報処理部１０８は、領域４１１のサイズを算出する。算出したサイズが規定サイズ（Ｙピクセル）以上である場合、連続フレーム間での視認領域の当たり判定で真と判定する。そして、注目情報処理部１０８が、カウンタ値を１加算（インクリメント）し、ステップＳ３０９に進む。カウンタ値は、ステップＳ３０７での当たり判定において、連続で真と判定されたフレーム数を表す。
【００３５】
次に、注目情報処理部１０８が、カウンタ値がＭ以上かを判定する（ステップＳ３０９）。Ｍの値は予め決められている。カウンタ値がＭ未満である場合は、処理がステップＳ３１２に進む。そして、注目情報処理部１０８が、フラグをＯＦＦにし、カウンタ値を０とする（ステップＳ３１２）。そして、処理がステップＳ３１３に進む。
【００３６】
カウンタ値がＭ以上である場合は、処理がステップＳ３１０に進む。そして、注目情報処理部１０８が、会議データ（動画）にタグセットＩＤを対応付けて会議記録データとして記録する（ステップＳ３１０）。タグセットＩＤは、注目情報を示す。注目情報は、前述した注目領域の座標情報を含む。注目領域は、ステップＳ３０７，Ｓ３０９での判定処理で真となった連続フレームにおける、会議参加者の視認領域の合計領域である。注目領域は、会議参加者の視認領域の論理和演算により得られる。
【００３７】
図５（Ｃ）は、注目領域の例を説明する図である。この例では、カウンタ値がＭであって、連続してＭ回、隣り合うフレームの重複領域が重なったものとする。図中の網かけを施した部分が、ｋ−１番目とｋ番目のフレーム間での重複領域であり、図５（Ｂ）の領域４１１と同じである。点線の矩形で囲った部分が、ｋ−１番目とｋ番目のフレーム間で重複領域を持つ視認領域の合計領域である。つまり、この点線の矩形で囲った部分の領域が、注目領域である。
【００３８】
注目情報処理部１０８は、注目領域の座標情報を注目情報に設定して記録する。具体的には、合計領域の座標（ｘ，ｙ）と幅（ｈ）、高さ（ｗ）を、図８を参照して後述する会議記録データの領域５１３に設定する。また、注目情報処理部１０８は、図４のＳ３０７での判定が真となってから偽となるまでのフレーム数を時間５１４に設定する。
【００３９】
図４に戻って、注目情報処理部１０８が、注目情報に評価値を設定する（ステップＳ３１１）。評価値は、注目領域の注目度を示す。例えば、ステップＳ３０７，Ｓ３０９での判定処理で、連続Ｍフレーム真となった場合を想定する。注目情報処理部１０８は、例えば、当該Ｍフレームに含まれる各々のフレームにおける重複領域のサイズにＭを乗算することで、評価値を算出する。評価値の算出方法は、ここで示すものに限定されない。注目情報処理部１０８は、図８（Ｂ）に示す注目情報の評価値５１５に評価値を設定する。
【００４０】
次に、ＣＰＵ１０３が、会議記録の終了指示を受け付けたかを判定する（ステップＳ３１３）。会議記録の終了指示を受け付けていない場合は、処理がステップＳ３１４に進む。そして、ＣＰＵ１０３が、次のフレームを処理対象にして（ステップＳ３１４）、ステップＳ３０２に戻る。会議記録の終了指示を受け付けた場合は、処理がステップＳ３１５に進む。そして、ＣＰＵ１０３が、通信処理部１１０を介して、会議記録データをサーバ１３１へ送信する（ステップＳ３１５）。
【００４１】
図４を参照して説明したことから、注目情報処理部１０８は、視認領域が重なる時間が規定時間以上（Ｍフレームに相当する時間以上）続いたかを判断する（Ｓ３０４，Ｓ３０５，Ｓ３０７）。このために、注目情報処理部１０８は、隣り合うフレーム同士で重複領域が重なることが規定フレーム数以上連続するかを判断する。そして、隣り合うフレーム同士で重複領域が重なることが規定フレーム数以上連続する場合に、注目情報処理部１０８は、視認領域が重なる時間が規定時間以上続いたと判断する。そして、注目情報処理部１０８は、視認領域が重なる時間分の視認領域に対応する映像に関する情報（注目領域の座標情報、時間、評価値）を注目情報として生成する。
【００４２】
図６は、サーバの構成例を示す図である。サーバ１３１は、ＣＰＵ１３３、メモリ１３４、ＨＤＤ１３５、テーブル処理部１３６、ネットワークＩ／Ｆ１３７、通信処理部１３８を備える。サーバ１３１が備える各処理部は、システムバス１３２で相互に接続される。
【００４３】
ＣＰＵ１３３は、サーバ１３１全体を制御する。メモリ１３４にはサーバ１３１の制御プログラム（コンピュータプログラム）が格納される。ＣＰＵ１０３がこの制御プログラムを実行する。テーブル処理部１３６は、ＨＤＤ１３５内に記憶された会議記録管理テーブルへの読み出しや書き出しを行う。この例では、テーブル処理部１３６は、会議記録装置１０１から受信した会議記録データを会議記録管理テーブルに記憶して管理する。通信処理部１３８は、ネットワークＩ／Ｆ１３７を介してＬＡＮ１４１に接続し、会議記録装置１０１や情報処理装置１２１とのデータ送受信を行い、テーブル処理部１３６を介して、会議記録管理テーブルへのデータアクセスを行う。
【００４４】
なお、本実施形態では、通信プロトコルとして、ＨＴＴＰ（Hyper Text Transfer Protocol）を用いる。また、データフォーマットとして、ＪＳＯＮなど一般的なデータフォーマットを用いる。ＪＳＯＮは、ＪａｖａＳｃｒｉｐｔ（登録商標）  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎの略称である。
【００４５】
図７は、サーバの動作処理の一例を示す図である。まず、サーバ１３１の通信処理部１３８が、ＬＡＮ１４１に接続された会議記録装置１０１から、会議記録データを受信する（ステップＳ７０１）。この会議記録データは、図４のステップＳ３１５にて、会議記録装置１０１が送信したものである。そして、テーブル処理部１３６が、受信した会議記録データを、ＨＤＤ１３５内の会議記録管理テーブルに保存する（ステップＳ７０２）。
【００４６】
図８は、会議記録管理テーブルに保存される会議記録データの構成例を示す図である。図８（Ａ）は、会議記録データの構成を示す。図８（Ｂ）は、注目情報５１１の構成を示す。注目情報は、タグセットＩＤ５０８，５１２によって会議記録データ５０１に対応付けられて会議記録管理テーブルに保存されている。
【００４７】
会議記録データ５０１は、会議記録データＩＤ５０２、日時５０３、時間５０４、場所５０５、参加者５０６、データ５０７、タグセットＩＤ５０８といったデータ項目を有する。
【００４８】
会議記録データＩＤ５０２は、会議記録データを一意に識別する識別子である。日時５０３は、会議の日時である。時間５０４は、会議の時間である。場所５０５は、会議の場所である。参加者５０６は、会議参加者である。会議記録装置１０１が、図４のステップＳ３０１において、会議の日時、時間、場所、参加者を設定する。
【００４９】
データ５０７は、ビデオカメラ１０５で記録された会議の動画データである。会議記録装置１０１が、図４のステップＳ３１０において、動画データを設定する。タグセットＩＤ５０８は、注目情報を一意に識別する識別子である。会議記録データ１つに対し、タグセットＩＤは複数設定が可能である。
【００５０】
注目情報５１１は、タグセットＩＤ５１２、領域５１３、時間５１４、評価値５１５といったデータ項目を有する。タグセットＩＤ５１２は、会議記録データ５０１のタグセットＩＤ５０８に対応する。領域５１３は、注目領域である。この例では、注目領域は、左上原点の座標値（ｘ，ｙ）と、領域の幅・高さ（ｗ，ｈ）という座標情報を有する。会議記録装置１０１は、図４のステップＳ３１０において領域５１３を設定する。時間５１４は、注目情報の時間、すなわち視認領域の当たり判定で真と判定された連続フレームの数に対応する時間情報である。会議記録装置１０１は、図４のステップＳ３１０において、時間５１４を設定する。評価値５１５は、注目情報の評価値である。会議記録装置１０１は、図４のステップＳ３１１において、評価値５１５を設定する。
【００５１】
図９は、情報処理装置の構成例を示す図である。情報処理装置１２１は、ＣＰＵ１２３、メモリ１２４、ＨＤＤ１２５、再生処理部１２６、通信処理部１２７、ネットワークＩ／Ｆ１２８、ディスプレイ１２９、表示処理部１３０を備える。情報処理装置１２１が備える各処理部は、システムバス１２２で相互に接続される。
【００５２】
ＣＰＵ１２３は、情報処理装置１２１全体を制御する。メモリ１２４には情報処理装置１２１の制御プログラム（コンピュータプログラム）が格納される。ＣＰＵ１２３がこの制御プログラムを実行する。
【００５３】
通信処理部１２７は、ネットワークＩ／Ｆ１２８を介してＬＡＮ１４１に接続し、サーバ１３１から会議記録データを受信する。通信処理部１２７は、受信した会議記録データをＨＤＤ１２５に保存する。再生処理部１２６は、ＨＤＤ１２５に保存した会議記録データを読み出す。また、再生処理部１２６は、会議記録データが有するタグセットＩＤが示す注目情報に応じて再生処理を行う。具体的には、再生処理部１２６は、表示処理部１３０を介して、ディスプレイ１２９に会議記録データの動画を再生する。
【００５４】
図１０は、会議記録データの取得処理と、会議記録データの提供処理とを説明する図である。図１０（Ａ）は、会議記録データの取得処理を示す。
【００５５】
まず、情報処理装置１２１の通信処理部１２７が、会議記録データの取得要求をサーバ１３１に送信する（ステップＳ１００１）。会議記録データの取得要求には、ユーザのアカウント情報や時刻情報が含まれる。例えば、ユーザのアカウント情報が会議参加者２１１のものである場合、通信処理部１２７は、会議参加者２１１が参加した会議の会議記録データの取得要求を行う。アカウント情報の入力については、図１２を参照して後述する。
【００５６】
時刻情報は、情報処理装置１２１が未取得の会議記録情報を取得要求するために使用する。情報処理装置１２１が最後に取得要求した時刻情報をメモリ１２４に記憶しておき、その時刻情報を使用し取得要求を行い、以前受信した会議記録データは受信せずに、前回の取得要求を行った時刻より新しい会議記録データのみを取得要求する。この取得要求に対するサーバの処理については、図１０（Ｂ）を参照して後述する。
【００５７】
次に、通信処理部１２７が、サーバ１３１から、取得要求に該当する会議記録データを受信して、ＨＤＤ１２５に保存する（ステップＳ１００２）。そして、表示処理部１３０が、会議記録データを表示する（ステップＳ１００３）。会議記録データの表示画面については、図１２を参照して後述する。
【００５８】
図１０（Ｂ）は、情報処理装置からの取得要求に応じたサーバが実行する、会議記録データの提供処理を示す。
【００５９】
まず、サーバ１３１の通信処理部１３８が、会議記録データの取得要求を情報処理装置１２１から受信する（ステップＳ１０１１）。テーブル処理部１３６が、取得要求に含まれるアカウント情報や時刻情報を用いて、会議記録管理テーブルから条件に該当する会議記録データを検索する（ステップＳ１０１２）。
【００６０】
次に、テーブル処理部１３６が、会議記録データの検索結果に基づいて、会議記録管理テーブル５０１に該当する会議記録データがあったかを判断する（ステップＳ１０１３）。
【００６１】
会議記録管理テーブル５０１に該当する会議記録データがあった場合は、処理がステップＳ１０１４に進む。会議記録管理テーブル５０１に該当する会議記録データがなかった場合は、処理がステップＳ１０１５に進む。
【００６２】
ステップＳ１０１４において、通信処理部１３８が、検索により得られた会議記録データを情報処理装置１２１に送信する。また、ステップＳ１０１３において、通信処理部１３８が、取得要求（図１０（Ａ）のＳ１００１）に該当する会議記録データが保存されていないことを情報処理装置１２１に通知する。
【００６３】
図１１は、情報処理装置による会議記録データの再生処理の例を説明するフローチャートである。また、図１２は、情報処理装置における、会議記録データの再生に関わる画面構成例である。図１２（Ａ）に示すように、情報処理装置１２１における会議記録データの再生には専用アプリケーションを使用する。
【００６４】
専用アプリケーションがユーザの指示より起動された場合、情報処理装置１２１は、図１２（Ａ）に示す画面をディスプレイ１２９に表示し、アカウント名とパスワードの入力を受け付ける（ステップＳ１１０１）。情報処理装置１２１は、入力を受け付けたアカウント名とパスワードとを用いて、認証処理を実行する。この認証処理は会議記録データを使用するために必要となる。
【００６５】
次に、情報処理装置１２１が、認証が成功したかを判断する（ステップＳ１１０２）。認証が失敗した場合は、情報処理装置１２１は以降の表示処理を行わない。認証が成功した場合、再生処理部１２６が、ＨＤＤ１２５に保存されている会議記録データの一覧（リスト）を、表示処理部１３０を介してディスプレイ１２９に表示する（ステップＳ１１０３）。再生処理部１２６が、会議記録データに対応付けられている注目情報内の評価値５１５（図８（Ｂ））が高い会議記録データを優先してリストの上位に表示するようにしてもよい。
【００６６】
図１２（Ｂ）は、会議記録データの一覧の表示画面を示す。この例では、会議記録データの一覧には、会議場所、参加者名、日時など、会議参加者が参加した会議を一意に識別可能な情報が表示される。
【００６７】
図１１に戻って、情報処理装置１２１のユーザは、会議記録データの一覧から再生したい会議記録データを選択する。これにより、情報処理装置１２１が、当該会議記録データの選択指示を受け付ける（ステップＳ１１０４）。
【００６８】
再生処理部１２６が、受け付けられた選択指示にしたがって、会議記録データをディスプレイ１２９に表示する（ステップＳ１１０５）。
【００６９】
図１２（Ｃ）は、図１１のステップＳ１１０５において表示される画面を示す。再生処理部１２６は、表示欄６２１に会議の属性情報として会議の場所、参加者、時刻などを表示する。また、再生処理部１２６は、表示欄６２２に、会議記録データに含まれる動画を表示する。ユーザは、表示欄６２２にタッチ等することで、当該動画の再生指示を行うことができる。
【００７０】
次に、ステップ１１０６にて、再生処理部１２６は、図１２（Ｃ）中の表示欄６２２に表示された動画の再生指示を受け付けたかを判断する。再生処理部１２６が動画の再生指示を受け付けた場合は、処理がステップＳ１１０７に進む。再生処理部１２６が動画の再生指示を受け付けていない場合は、処理がステップＳ１１０６に戻る。
【００７１】
ステップ１１０７において、再生処理部１２６が、会議記録データに対応付けられた注目情報にしたがって動画を再生する（ステップＳ１１０７）。具体的には、再生処理部１２６は、再生指示を受け付けた動画に対応するタグセットＩＤ５０８，５１２（図８（Ａ），（Ｂ））に紐付けられた注目情報５１１を取得する。そして、再生処理部１２６は、取得した注目情報に含まれる注目領域５１３について時間５１４に設定された時間分、動画再生する。
【００７２】
本実施例の会議記録システムは、会議を記録する時に各参加者の視認領域を抽出し、複数の視認領域が重なったことを検知し、それが一定時間以上継続した場合に、重なった視認領域及び時間の動画部分に注目情報タグを付与し記録する。これにより、会議後に、会議参加者が注目した会議内容に絞って再生し、会議内容を短時間で振り返ることが可能となる。
【００７３】
（実施例２）
実施例２の会議記録システムは、会議記録データに対応する注目情報にオブジェクト情報を付与し、当該オブジェクト情報に応じて動画再生を行う。オブジェクト情報は、注目情報に含まれるオブジェクトの種類を示す種別情報である。実施例２の会議記録システムは、実施例１の会議記録システムとは、会議記録データを記録する時に、オブジェクト情報を付与し記録することと、当該種別情報が示すオブジェクトに応じて再生方法を切り替えることのみが異なる。したがって、実施例１と同様の部分に関しては同一番号を付けて省略し、異なる部分のみを以下に説明する。
【００７４】
図１３は、会議記録装置が実行するオブジェクト抽出処理の例を説明する図である。
この例では、オブジェクト抽出処理は、図４のステップＳ３１０とステップＳ３１１の間に実行される。本実施例では、抽出対象のオブジェクトは、スライドと、人と、その他とする。スライドは、プロジェクタなどで資料を投影するスライドを指す。
【００７５】
図１５は、実施例２における注目情報の構成の一例を示す図である。注目情報９１１は、タグセットＩＤ５１２乃至評価値５１５に加え、オブジェクト種類９１６を有する。オブジェクト種類９１６は、オブジェクト情報である。
【００７６】
図１３に戻って、会議記録装置１０１の注目情報処理部１０８は、図４のステップＳ３１０の処理において記録した会議記録データに対応付けられている注目情報にスライド識別子があるかを判定する（ステップＳ１３０１）。具体的には、注目情報処理部１０８は、注目情報に含まれる注目領域がスライド識別子を含むかを判定する。スライド識別子は、スライドの範囲（スライド領域）を識別する識別情報である。スライド識別子は、例えば、スライドに埋め込んだマーカ等である。
【００７７】
注目情報にスライド識別子がない場合は、処理がステップＳ１３０５に進む。注目情報にスライド識別子がある場合は、処理がステップＳ１３０２に進む。そして、注目情報処理部１０８が、スライド識別子に基づいて、注目情報の元動画であるパノラマ画像２３０からスライド領域を抽出する（ステップＳ１３０２）。
【００７８】
図１４（Ａ）は、パノラマ画像からのスライド領域の抽出処理を説明する図である。パノラマ画像２３０内の太線の枠で囲まれた領域８０１が、注目情報に含まれる注目領域である。注目情報処理部１０８は、注目領域８０１にスライド識別子８０３が含まれている場合に、スライド識別子８０３を使用し、パノラマ画像２３０からスライド領域８０２を抽出する。
【００７９】
図１３に戻って、注目情報処理部１０８が、注目情報が有するオブジェクト種類９１６に“スライド”を記録する（ステップＳ１３０３）。続いて、注目情報処理部１０８が、注目情報に含まれる注目領域５１３の座標情報を、抽出したスライド領域の座標情報で更新し記録する（ステップＳ１３０４）。
【００８０】
次に、注目情報処理部１０８が、注目情報に含まれる時間５１４を、１フレーム分の時間に更新して記録する（ステップＳ１３０５）。これは、注目情報に含まれるオブジェクトがスライドである場合は、注目情報を動画ではなく静止画像として再生できるようにするためである。
【００８１】
次に、注目情報処理部１０８が、注目情報に対して動体検出処理を実行する（ステップＳ１３０６）。そして、注目情報処理部１０８が、動体検出処理の結果に基づいて、注目領域内に人がいるか、つまり注目領域内のオブジェクトが人であるかを判定する（ステップＳ１３０７）。注目領域内に人がいない場合は、処理がステップＳ１３１２に進む。注目領域内に人がいる場合は、処理がステップＳ１３０８に進む。そして、注目情報処理部１０８が、注目情報に含まれるオブジェクト種類９１６に“人”を記録する。
【００８２】
図１４（Ｂ）は、パノラマ画像からの人の検出を説明する図である。注目情報処理部１０８は、パノラマ画像２３０内の注目領域８０４に人がいることを検出すると、オブジェクト種類９１６に“人”を記録する。
【００８３】
図１３に戻って、注目情報処理部１０８が、動画音声処理部１０６に指示して、会議記録データを解析し、注目情報の時間５１４が含まれる発声区間を抽出する（ステップＳ１３０９）。
【００８４】
次に、注目情報処理部１０８が、発声区間が注目情報の時間５１４より長いかを判定する（ステップＳ１３１０）。発声区間が注目情報の時間５１４より長い場合は、処理がステップＳ１３１１に進む。そして、注目情報処理部１０８が、注目情報の時間５１４を発声区間で上書きして記録する（ステップＳ１３１１）。これは、注目領域内に人がいる場合は発言中である可能性が高く、発声区間を途中で区切り、内容理解が阻害されることを防ぐためである。ステップＳ１３１０の判定処理で、注目情報時間より発声区間が短い場合は、注目情報時間５１４は更新しない。
【００８５】
ステップＳ１３１２において、注目情報処理部１０８が、ステップＳ１３０１の判定処理でスライド識別子が抽出されたかを判定する（ステップＳ１３１２）。スライド識別子が抽出された場合は、処理を終了する。スライド識別子が抽出されなかった場合は、処理がステップＳ１３１３に進む。そして、注目情報処理部１０８が、注目情報に含まれる領域５１３と時間５１４を変更せず、オブジェクト種類９１６に”その他”を記録する。
【００８６】
図１３乃至図１５を参照して説明した処理により、会議記録データに対応付けられている注目情報に何が写っているのかを記録することが可能となる。
【００８７】
図１６は、実施例２における会議記録データの再生処理を説明するフローチャートである。情報処理装置１２１は、会議記録データをサーバ１１１から取得し、オブジェクト種類９１６に応じて会議記録データの再生方法を切り替える。まず、情報処理装置１２１の再生処理部１２６が、会議記録データを一覧表示する（ステップＳ１５０１）。例えば、再生処理部１２６は、図１２（Ｂ）に示す画面を表示する。
【００８８】
次に、再生処理部１２６が、会議記録データの選択指示を受け付けたかを判断する（ステップＳ１５０２）。会議記録データの選択指示を受け付けていない場合は、処理がステップＳ１５０２に戻る。会議記録データの選択指示を受け付けた場合は、処理がステップＳ１５０３に進む。
【００８９】
次に、再生処理部１２６が、選択された会議記録データに対応付けられる注目情報のオブジェクト種類９１６を判断する（ステップＳ１５０３）。オブジェクト種類９１６に“スライド”が指定されている場合は、処理がステップＳ１５０４に進む。そして、再生処理部１２６が、注目情報に含まれる領域情報９１３に従い、スライド画像を表示（静止画再生）する（ステップＳ１５０４）。
【００９０】
図１７は、情報処理装置の画面表示例を示す図である。再生処理部１２６は、領域１７０３に、スライド画像を表示する。
【００９１】
図１６に戻って、注目情報のオブジェクト種類９１６に“人”又は“その他”が指定されている場合は、再生処理部１２６は、注目情報に含まれる領域情報９１３と時間５１４に従い、動画を再生する（ステップＳ１５０５）。具体的には、再生処理部１２６は、図１７中の領域１７０４において、時間５１４に設定されている時間分、動画を再生する。オブジェクト種類が人である場合には、時間５１４に設定されている時間は、図１３のステップＳ１３１１の処理による更新後の時間である。したがって、この場合には、再生処理部１２６は、注目情報の時間として設定されている発生区間の分の時間だけ動画を再生する。
【００９２】
本実施例の会議記録システムによれば、会議において注目を集めた領域に対応するオブジェクト種類に応じて適切な再生時間で動画再生を行うことが可能となる。
【００９３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９４】
１０１  会議記録装置
１２１  情報処理装置
１３１  サーバ
【図１】
2014204411.tif 000003
【図２】
2014204411.tif 000004
【図３】
2014204411.tif 000005
【図４】
2014204411.tif 000006
【図５】
2014204411.tif 000007
【図６】
2014204411.tif 000008
【図７】
2014204411.tif 000009
【図８】
2014204411.tif 000010
【図９】
2014204411.tif 000011
【図１０】
2014204411.tif 000012
【図１１】
2014204411.tif 000013
【図１２】
2014204411.tif 000014
【図１３】
2014204411.tif 000015
【図１４】
2014204411.tif 000016
【図１５】
2014204411.tif 000017
【図１６】
2014204411.tif 000018
【図１７】
2014204411.tif 000019