(57)【要約】【課題】発話者と発話内容を画像で提示するシステムにおいて、画像における無駄なスペースをできるだけ少なくする。【解決手段】レイアウト作成の要求を受信するレイアウト作成要求受信手段１０１と、レイアウト作成要求受信手段１０１によって受信したレイアウトを作成するための情報を取得する情報取得手段１０２と、情報取得手段１０２で取得した情報から、発話量に応じて、画像一枚当たりに対応する発話範囲を決定する発話範囲決定手段１０３と、発話範囲決定手段１０３で決定した発話範囲にある発話の発話者を判定し、発話範囲と、判定した発話者が同時に写っている画像とを対応させた表を作成する画像発話文対応表作成手段１０４と、画像発話文対応表作成手段１０４が作成した画像発話文対応表に応じてレイアウトを作成するレイアウト手段１０５と、レイアウト手段１０５で作成したレイアウトを送信するレイアウト送信手段と、を具備する。【選択図】  図１
2010171794.tif 000002
【特許請求の範囲】
【請求項１】
レイアウト作成の要求を受信するレイアウト作成要求受信手段と、
前記レイアウト作成要求受信手段によって受信したレイアウトを作成するための情報を取得する情報取得手段と、
前記情報取得手段で取得した情報から、発話量に応じて、画像一枚当たりに対応する発話範囲を決定する発話範囲決定手段と、
前記発話範囲決定手段で決定した発話範囲にある発話の発話者を判定し、発話範囲と、判定した発話者が同時に写っている画像とを対応させた表を作成する画像発話文対応表作成手段と、
前記画像発話文対応表作成手段が作成した画像発話文対応表に応じてレイアウトを作成するレイアウト手段と、
前記レイアウト手段で作成したレイアウトを送信するレイアウト送信手段と、を具備することを特徴とするレイアウト作成装置。
【請求項２】
前記発話範囲決定手段は、画像一枚当たりに対応する発話量の最大値をあらかじめ固定しておくことができることを特徴とする請求項１に記載のレイアウト作成装置。
【請求項３】
前記発話範囲決定手段は、画像一枚当たりに対応する発話量の最大値をユーザが設定したものとすることができることを特徴とする請求項１に記載のレイアウト作成装置。
【請求項４】
前記発話範囲決定手段は、画像一枚当たりに対応する発話量の値を、範囲で指定することができることを特徴とする請求項２又は３に記載のレイアウト作成装置。
【請求項５】
前記発話範囲決定手段で決定した発話範囲にある発話の発話者が写っている画像がない場合には、各発話者の画像を合成する合成手段を有することを特徴とする請求項１に記載のレイアウト作成装置。
【請求項６】
レイアウト作成の要求を受信するレイアウト作成要求受信工程と、
前記レイアウト作成要求受信工程で受信したレイアウトを作成するための情報を取得する情報取得工程と、
前記情報取得工程で取得した情報から、発話量に応じて、画像一枚当たりに対応する発話範囲を決定する発話範囲決定工程と、
前記発話範囲決定工程で決定した発話範囲にある発話の発話者を判定し、発話範囲と、判定した発話者が同時に写っている画像とを対応させた表を作成する画像発話文対応表作成工程と、
前記画像発話文対応表作成工程が作成した画像発話文対応表に応じてレイアウトを作成するレイアウト工程と、
前記レイアウト工程で作成したレイアウトを送信するレイアウト送信工程と、を具備することを特徴とするレイアウト作成方法。
【請求項７】
請求項６に記載の方法の各工程をコンピュータにて実施させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人物の対話内容をドキュメント化する際の、発話者画像と発話内容を好適に組み合わせて配置するレイアウト作成装置等に関する。
【背景技術】
【０００２】
近年、高度な映像技術や音声技術を導入したデジタル機器が多く開発され、打ち合せ時の映像と音声から議事録を作成するシステムが開発されている。また、インターネットが高速化したため、ネットワークとこれらのデジタル機器を組み合わせて、遠隔地にいる複数人での打ち合せ模様を記録するシステムも普及してきた。
【０００３】
このように、複数の発話者がお互いの意見を交換した内容を記録する方法としては、誰が何を発言したかを発話者の画像と発話内容を組み合わせることで、対話の模様を視覚的に把握しやすくなっている。
【０００４】
例えば、会議の議事録作成においては、会議室にカメラとマイクを設置し、会議中に撮影/録音することで、発話者それぞれの参加者画像と音声を蓄積する。音声は音声認識によりテキスト化した上で、時系列の発話したユーザの画像と音声認識をした発話文を並べてドキュメント化する手法がある（特許文献１参照）。
【０００５】
また、インターネットを経由したネットワーク会議システムでは、遠隔地にいる参加者の画像一覧がディスプレイの上部に表示され、発話が発生した時に発話内容がディスプレイ上にテキスト文で表示する手法がある（特許文献２参照）。
【０００６】
【特許文献１】特開２００５−１９７８６７号公報
【特許文献２】特開２００１−３５０７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような発話者と発話内容を提示するシステムでは、瞬時に誰が何を話したかが分りやすくレイアウトされていることが求められている。
【０００８】
しかしながら、特許文献１では、一人の発話者画像に対しての発話文を対応させてレイアウトするため、発話者の発話量が少ない場合では、画像に対する発話文章が少なく、無駄なスペースが発生してしまう。
【０００９】
また特許文献２では、文章の上部などの一定領域に発話者画像を配置すると同時に各発話者画像にはＩＤが付与されているものである。各発話文にはその発話文を発話した発話者のＩＤが付けられているため、発話文を読みながら発話者の画像を見るためには、文章領域と離れた画像領域を参照する必要がある。よって、参加人数が多い場合には視点の移動が多く発生するために人物検索のコストがかかり効率よく参照することができなかった。本発明は、上記問題を解決するためのもので、画像一枚に最適なテキスト量をレイアウトするものである。
【００１０】
すなわち、画像一枚に対応するテキストが複数の発話者による発話の集合である場合には、画像にその複数の発話者を同時に表示することで、無駄なスペースをできるだけ少なくすることができる。よって、発話した発話者を確認しながら参照する場合でも効率よく参照できるようなレイアウトを作成するレイアウト作成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のレイアウト装置は、レイアウト作成の要求を受信するレイアウト作成要求受信手段と、前記レイアウト作成要求受信手段によって受信したレイアウトを作成するための情報を取得する情報取得手段と、前記情報取得手段で取得した情報から、発話量に応じて、画像一枚当たりに対応する発話範囲を決定する発話範囲決定手段と、前記発話範囲決定手段で決定した発話範囲にある発話の発話者を判定し、発話範囲と、判定した発話者が同時に写っている画像とを対応させた表を作成する画像発話文対応表作成手段と、前記画像発話文対応表作成手段が作成した画像発話文対応表に応じてレイアウトを作成するレイアウト手段と、前記レイアウト手段で作成したレイアウトを送信するレイアウト送信手段と、を具備することを特徴とする。
また、本発明のレイアウト作成方法は、レイアウト作成の要求を受信するレイアウト作成要求受信工程と、前記レイアウト作成要求受信工程で受信したレイアウトを作成するための情報を取得する情報取得工程と、前記情報取得工程で取得した情報から、発話量に応じて、画像一枚当たりに対応する発話範囲を決定する発話範囲決定工程と、前記発話範囲決定工程で決定した発話範囲にある発話の発話者を判定し、発話範囲と、判定した発話者が同時に写っている画像とを対応させた表を作成する画像発話文対応表作成工程と、前記画像発話文対応表作成工程が作成した画像発話文対応表に応じてレイアウトを作成するレイアウト工程と、前記レイアウト工程で作成したレイアウトを送信するレイアウト送信工程と、を具備することを特徴とする。
また、本発明のプログラムは、上記に記載の方法の各工程をコンピュータにて実施させるプログラムである。
【発明の効果】
【００１２】
本発明によれば、さまざまな組み合わせの発話者同士で発生する、不特定な長さの発話内容を、発話量に応じて、前または後に発話した人物が同時に写っている画像を利用することで、ドキュメント内の無駄なスペースをなくすることが可能となる。また、発話文のすぐ隣に発話者画像を並べることで、ドキュメントを読む人が発話者文を発言した人物を特定する際の視点移動が少なく、読む時間の効率アップを実現することができるようになる。
【発明を実施するための最良の形態】
【００１３】
本発明を好適に実施する形態を図１〜図１１を用いて説明する。本実施形態は、会議の模様を音声認識機能付きネットワークカメラで収録した上で、本発明のレイアウト作成装置で議事録を作成し、表示装置にて作成した議事録を表示するものである。
【００１４】
図１は、請求項１にかかる本発明のレイアウト作成装置の構成を示す図である。レイアウト作成装置１００は、レイアウト作成要求受信手段１０１、情報取得手段１０２、発話範囲決定手段１０３、画像発話文対応表作成手段１０４、レイアウト手段１０５、レイアウト送信手段１０６から構成される。
【００１５】
図２は、本実施形態を示すシステム構成図である。図２に示すように表示装置５００は、ユーザからの表示要求を受け付ける表示要求受信手段５０１と、表示要求が起きた時にレイアウト作成装置１００にレイアウトの作成を依頼するレイアウト作成要求送信手段５０２とを備える。また、作成されたレイアウトを受信するレイアウト受信手段５０３と、受信したレイアウトに沿って表示をする表示手段５０４とを備える。
【００１６】
また、音声認識付きネットワークカメラ３００は、リクエストを受け付けるリクエスト受信手段３０１と、リクエストの内容により必要な情報を取得する情報取得手段３０２とを備える。また、ネットワークカメラで撮影された画像が記憶されている画像情報記憶手段３０３と、音声認識された音声情報が記憶されている音声情報記憶手段３０４と、情報取得手段３０２が取得した情報を返すレスポンス送信手段３０５とを備える。
【００１７】
また、レイアウト作成装置１００は、図１に示した構成に加え、画像合成手段１０７を備える構成となっている。
【００１８】
図３は、本実施形態の一連の流れを説明するステップ図である。以下に図３に示すステップの流れを説明する。
【００１９】
Ｓｔｅｐ１において、音声認識機能付きネットワークカメラ３００は会議の模様を収録する。Ｓｔｅｐ２において、ユーザが表示装置５００にて議事録の表示を要求する。Ｓｔｅｐ３において、レイアウト作成装置１００は議事録のレイアウトを作成する。Ｓｔｅｐ４において、表示装置５００は作成されたレイアウトに従って議事録を表示する。
【００２０】
図４は、図３のＳｔｅｐ１で収録される会議における、音声認識機能付きネットワークカメラ３００と会議の参加者である発話者の各位置の一例を示した図である。
【００２１】
この図において、発話者は６０１から６０５まで５名おり、中央の机を中心にして座っているものとする。また、音声認識機能付きネットワークカメラ３００は、全方位に回転可能なものとし、図４に示すように参加者の中央に設置することで発話者全員の方向へカメラを向けることができるものとする。なお、他の音声認識機能付きネットワークカメラ３００の設置例としては、各発話者に１台ずつ設置しても良い。また、ネットワークカメラに音声認識機能が備わっていない場合には、音声を収録して音声認識を行う装置で代用しても良い。このように発話者全員の顔の撮影と、音声の収録が可能な状況を整えておく。
【００２２】
図５は、図３のステップ図におけるＳｔｅｐ１の流れを詳細に説明したステップ図である。以下に図５に示すステップの流れを説明する。なお、以下の説明では、Ｓｔｅｐ１−１とＳｔｅｐ１−４の流れは平行に処理するものである。
【００２３】
Ｓｔｅｐ１−１では、音声認識機能付きネットワークカメラ３００は参加者を撮影する。この例ではまず図４の発話者６０１から時計回りに発話者６０５まで撮影をする。
【００２４】
Ｓｔｅｐ１−２では、音声認識機能付きネットワークカメラ３００は撮影した画像を記憶する。撮影した発話者の画像を画像情報記憶手段３０３にて記憶する。この時、各発話者単体の画像と、可能であれば隣合わせの発話者同士が移った画像も記憶する。
【００２５】
Ｓｔｅｐ１−３では、音声認識機能付きネットワークカメラ３００は、参加者全員の画像を撮影/記憶した時点で参加者の撮影を停止する。
【００２６】
一方、Ｓｔｅｐ１−４では、音声認識機能付きネットワークカメラ３００は音声を収録する。
【００２７】
Ｓｔｅｐ１−５では、音声認識機能付きネットワークカメラ３００は収録した音声を音声認識し、発言した発話者と判定をした結果を音声情報記憶手段にて記憶する。
【００２８】
Ｓｔｅｐ１−６では、音声認識機能付きネットワークカメラ３００は会議が終了した時点で音声の収録を停止する。
【００２９】
図６は、図５で記憶した参加者画像を示した図である。ここで下記の表１に示す発話者画像対応データ１にＳｔｅｐ１−２で記憶した、各画像と画像に写っている発話者の一覧を示す。図６は、表１の内容と対応している。
【００３０】
【表１】
2010171794.tif 000003
【００３１】
この例では、Ｓｔｅｐ１では一回転分の画像のみを記憶しているが、各発話者の画像枚数は特には定めないものとする。発話した時点で発話者の方向を検知し、撮影を行う方法でも良い。
【００３２】
また、下記の表２に示す発話者の発話文データ２を示す。表２は、Ｓｔｅｐ１−５で記憶した音声データと対応している。ここでは一部を示す。
【００３３】
【表２】
2010171794.tif 000004
【００３４】
この実施形態では、表１と表２に示すデータが準備されているとする。
【００３５】
図７は、図３のＳｔｅｐ２の流れを詳細に示したステップ図である。Ｓｔｅｐ２では、ユーザが表示装置に会議の議事録を表示するように要求を出す。ここで表示装置はパソコンのディスプレイや携帯端末のディスプレイを想定しており、要求を出すためのデバイスはキーボードを想定している。以下に図７に示すステップの流れを説明する。
【００３６】
Ｓｔｅｐ２−１では、ユーザが表示装置５００に議事録表示を要求する。
【００３７】
Ｓｔｅｐ２−２では、表示要求受信手段５０１は表示要求を受信し、レイアウト作成要求送信手段５０２にレイアウトの作成を要求する。
【００３８】
Ｓｔｅｐ２−３では、レイアウト作成要求送信手段５０２はレイアウト作成の要求を受信し、レイアウト作成装置１００にレイアウトの作成を要求する。
【００３９】
図８は、図３のＳｔｅｐ３の流れを詳細に示したステップ図である。以下に図８に示すステップの流れを説明する。
【００４０】
Ｓｔｅｐ３−１では、レイアウト作成要求受信手段１０１は、レイアウト作成要求送信手段５０２からレイアウトの作成要求を受信する。
【００４１】
Ｓｔｅｐ３−２では、情報取得手段１０２はレイアウト作成に必要な情報を音声認識機能付きネットワークカメラ３００から取得する。ここで、Ｓｔｅｐ３−２の詳細なステップの流れを図９に示す。
【００４２】
以下に図９に示すステップの流れを説明する。
【００４３】
Ｓｔｅｐ３−２−１では、情報取得手段１０２はリクエスト受信手段３０１にレイアウトに必要な情報を要求する。
【００４４】
Ｓｔｅｐ３−２−２では、リクエスト受信手段３０１は情報の要求を受信し、情報取得手段３０２に情報の取得を要求する。
【００４５】
Ｓｔｅｐ３−２−３では、情報取得手段３０２は画像情報記憶手段３０３と音声情報記憶手段３０４から情報を取得し、レスポンス送信手段３０５に送信する。ここで、情報取得手段３０２が取得する情報は、以下のとおりである。
【００４６】
・表１に示す発話者画像対応データ１
・図６に示す各画像６２１〜６２７
・表２に示す発話データ２
【００４７】
Ｓｔｅｐ３−２−４では、レスポンス送信手段３０５はＳｔｅｐ３−２−３で送信された情報を受信し、情報取得手段１０２へ送信する。以上がＳｔｅｐ３−２の詳細である。
【００４８】
再び図８のステップ図へ戻って説明を続ける。
【００４９】
Ｓｔｅｐ３−３では、情報取得手段１０２はＳｔｅｐ３−２で取得した情報を画像発話文対応表作成手段１０４へ送信する。
【００５０】
Ｓｔｅｐ３−４では、画像発話文対応表作成手段１０４はＳｔｅｐ３−３で送信された情報を受信する。
【００５１】
Ｓｔｅｐ３−５では、画像発話文対応表作成手段１０４は、Ｓｔｅｐ３−４で受信した情報と発話範囲決定手段１０３から画像発話文対応表を作成する。ここで、Ｓｔｅｐ３−５の詳細なステップの流れを図１０に示す。
【００５２】
以下に図１０に示すステップの流れを具体的に説明する。
【００５３】
Ｓｔｅｐ３−５−１では、音声データ２のインデックスｏｉを「ｏｉ＝１・・・（１）」とし、画像発話文対応表のインデックスｉｎｄｅｘを、「ｉｎｄｅｘ＝１・・・（２）」とする。
【００５４】
Ｓｔｅｐ３−５−２では、発話範囲決定手段１０３は、ｉｎｄｅｘ番目の発話数を決定する。決定したｉｎｄｅｘ番目の発話数は、「発話数：ｃ」とする。ここで、発話範囲決定手段１０３が発話数を決定する詳細なステップの流れを図１１に示す。
【００５５】
以下に図１１に示すステップの流れを具体的に説明する。
【００５６】
Ｓｔｅｐ３−５−２−１では、まず初期値を設定する。画像一枚当たりに並べる発話文のテキスト量（発話量）の最大値をＰＭとする。これは例えば５００文字など、システムで固定する方法とユーザが指定する方法が考えられる。この実施形態では以下のようにする。
【００５７】
ＰＭ＝１５０・・・（３）
ｉｎｄｅｘ番目の発話数：ｃ＝１・・・（４）
発話データ２のインデックス：ｏｉ、今、（１）より、ｏｉ＝１・・・（５）
ｉｎｄｅｘ番目の発話文テキスト量の総量：ｔｅｘｔ＿ａｍｏｕｎｔ＝０・・・（６）
【００５８】
Ｓｔｅｐ３−５−２−２では、発話データ２から、「ｏｉ＋ｃ−１」番目の発話者と発話文を取得する。
【００５９】
今、（５）より、ｏｉは１、（４）より、ｃは１である。よって、「ｏｉ＋ｃ−１＝１＋１−１＝１・・・（７）」となる。
【００６０】
また、音声データ２のインデックスが１番目の発話文は、「では今から昨日行われた東京での○○公演について報告をます。６０２さんに資料を配ってもらいます。」である。従って、１番目の発話文のテキスト量：ｍ＝４７・・・（８）となる。
【００６１】
Ｓｔｅｐ３−５−２−３では、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ」を行う。今、（６）より ｔｅｘｔ＿ａｍｏｕｎｔは０、（８）より、ｍは４７である。そのため、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ＝０＋４７＝４７・・・（９）」となる。
【００６２】
Ｓｔｅｐ３−５−２−４では、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭ、ではない場合にはＳｔｅｐ３−５−２−６へ進み、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭの場合にはＳｔｅｐ３−５−２−５へ進む。
【００６３】
今、（９）より、ｔｅｘｔ＿ａｍｏｕｎｔは４７、（３）より、ＰＭは１５０であるので、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭ、が成立するのでＳｔｅｐ３−５−２−５へ進む。
【００６４】
Ｓｔｅｐ３−５−２−５では、「ｃ＝ｃ＋１」を行う。今、（４）より、ｃは１であるので、「ｃ＝ｃ＋１＝１＋１＝２・・・（１０）」、である。
【００６５】
Ｓｔｅｐ３−５−２−７では、発話データ２にインデックスが「ｏｉ＋ｃ−１」番目のデータが存在する場合には、Ｓｔｅｐ３−５−２−２へ進み、そうでない場合にはＳｔｅｐ３−５−２−６へ進む。今、（７）より、ｏｉは１、（１０）より、ｃは２であるので、「ｏｉ＋ｃ−１＝１＋２−１＝２」となる。発話データ２から、インデックスが２のデータは存在するのでＳｔｅｐ３−５−２−２へ進む。
【００６６】
Ｓｔｅｐ３−５−２−２では、発話データ２から。「ｏｉ＋ｃ−１」番目の発話者と発話文を取得する。今、（７）よりｏｉは１、（１０）より、ｃは２である。そのため、「ｏｉ＋ｃ−１＝１＋２−１＝２」となる。
【００６７】
また、音声データ２のインデックス２番目の発話文は、「これは昨日の講演会の資料です。一枚目と二枚目はアジェンダで、講話の内容は三枚目からになります。最後のページは私の感想です。」である。従って、２番目の発話文のテキスト量：「ｍ＝６１・・・（１１）」である。
【００６８】
Ｓｔｅｐ３−５−２−３では、今、（９）より、ｔｅｘｔ＿ａｍｏｕｎｔは４７である。よって、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋」に値を代入して、「ｔｅｘｔ＿ａｍｏｕｎｔ＝４７＋６１＝１０８・・・（１２）」となる。
【００６９】
Ｓｔｅｐ３−５−２−４では、今、（１２）より、ｔｅｘｔ＿ａｍｏｕｎｔは１０８、（３）よりＰＭは１５０であるので、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭが成立するのでＳｔｅｐ３−５−２−５へ進む。
【００７０】
Ｓｔｅｐ３−５−２−５では、今、（１０）より、ｃは２であるので、「ｃ＝ｃ＋１＝ ３・・・（１３）」となる。
【００７１】
Ｓｔｅｐ３−５−２−７では、今、（７）より、ｏｉは１、（１３）より、ｃは３であるで、「ｏｉ＋ｃ−１＝３」となる。ここで、発話データ２から、インデックスが３のデータは存在するのでＳｔｅｐ３−５−２−２へ進む。
【００７２】
Ｓｔｅｐ３−５−２−２では、発話データ２から、ｏｉ＋ｃ−１番目の発話者と発話文を取得する。今、（７）より、ｏｉは１、（１３）より、ｃは３である。よって、「ｏｉ＋ｃ−１＝３」、となる。
【００７３】
また、音声データ２のインデックス３番目の発話文は、「みなさんざっと目を通して下さい。」である。従って、３番目の発話文のテキスト量：「ｍ＝１６・・・（１４）」、である。
【００７４】
Ｓｔｅｐ３−５−２−３では、今、（１２）より、ｔｅｘｔ＿ａｍｏｕｎｔは１０８である。ここで、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ」に値を代入して、「ｔｅｘｔ＿ａｍｏｕｎｔ＝１０８＋１６＝１２４・・・（１５）」となる。
【００７５】
Ｓｔｅｐ３−５−２−４では、今、（１５）より、ｔｅｘｔ＿ａｍｏｕｎｔは１２４、（３）］よりＰＭは１５０であるので、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭが成立するのでＳｔｅｐ３−５−２−５へ進む。
【００７６】
Ｓｔｅｐ３−５−２−５では、今、（１３）より、ｃは３であるので、「ｃ＝ｃ＋１＝４・・・（１６）」となる。
【００７７】
Ｓｔｅｐ３−５−２−７では、今、（７）より、ｏｉは１、（１６）より、ｃは４である。よって、「ｏｉ＋ｃ−１＝１＋４−１＝４」となる。
【００７８】
また、発話データ２から、インデックスが４のデータは存在するのでＳｔｅｐ３−５−２−２へ進む。
【００７９】
Ｓｔｅｐ３−５−２−２では、発話データ２から、ｏｉ＋ｃ−１番目の発話者と発話文を取得する。今、（７）より、ｏｉは１、（１６）より、ｃは４である。よって、「ｏｉ＋ｃ−１＝１＋４−１＝４」となる。
【００８０】
また、音声データ２のインデックス４番目の発話文は、「５ページ目の内容に興味があります。詳しく教えて下さい。」である。従って、４番目の発話文のテキスト量：ｍは「ｍ＝２７・・・（１７）」となる。
【００８１】
Ｓｔｅｐ３−５−２−３では、今、（１５）より、ｔｅｘｔ＿ａｍｏｕｎｔは１２４である。よって、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ」に値を代入して、「ｔｅｘｔ＿ａｍｏｕｎｔ＝１２４＋２７＝１５１・・・（１８）」となる。
【００８２】
Ｓｔｅｐ３−５−２−４では、今、（１８）より、ｔｅｘｔ＿ａｍｏｕｎｔは１５１、（３）より、ＰＭは１５０である。ここでは、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭが成立しないのでＳｔｅｐ３−５−２−６へ進む。
【００８３】
Ｓｔｅｐ３−５−２−６では、ｃ＝ｃ−１を実行する。今、（１６）より、ｃは４であるので、「ｃ＝ｃ−１＝３・・・（１９）」となる。
以上がＳｔｅｐ３−５−２の詳細である。
【００８４】
再び図１０のステップ図へ戻って説明を続ける。
【００８５】
Ｓｔｅｐ３−５−３では、発話データ２から、ｏｉ番目から、「ｏｉ＋ｃ−１」番目の発話者の集合を取得し、ｐ｛  ｝とする。今、（７）から、ｏｉは１、（１９）から、ｃは３である。したがって、「ｏｉ＋ｃ−１＝１＋３−１＝３」となる。
【００８６】
また、発話データ２から、１番目から３番目までの発話者を取得する。下記の表３は、発話者データ２の抜粋である。
【００８７】
【表３】
2010171794.tif 000005
【００８８】
表３より、「ｐ｛  ｝＝｛６０１、６０２｝・・・（２０）」となる。
【００８９】
Ｓｔｅｐ３−５−４では、ｐ｛  ｝が一緒に写っている画像が存在する場合はＳｔｅｐ３−５−６へ進み、存在しない場合にはＳｔｅｐ３−５−５へ進む。
【００９０】
今、（２０）より ｐ｛  ｝＝｛６０１、６０２｝である。下記の表４は、発話者画像対応データ１の抜粋である。
【００９１】
【表４】
2010171794.tif 000006
【００９２】
これより、発話者６０１と６０２が一緒に写っている画像６２２が存在するため、Ｓｔｅｐ３−５−６へ進む。
【００９３】
Ｓｔｅｐ３−５−６では、画像発話文対応表（下記表５）のｉｎｄｅｘ番目の発話文開始番号にｏｉを、発話文数にｃを、画像データに画像を挿入する。今、（７）より、ｏｉは１、（２）より、ｉｎｄｅｘは１、（１９）より、ｃは３、Ｓｔｅｐ３−５−４から画像は画像６２２である。
【００９４】
以上より、画像発話文対応表は以下のようになる。
【００９５】
【表５】
2010171794.tif 000007
【００９６】
Ｓｔｅｐ３−５−７では、ｏｉ＋ｃ−１が画発話データ２のインデックスの最終番号に等しい場合はＳｔｅｐ３−５を終了してＳｔｅｐ４へ進み、そうでない場合にはＳｔｅｐ３−５−８へ進む。
【００９７】
今、（７）より、ｏｉは１、（１９）より、ｃは３である。よって、ｏｉ＋ｃ−１＝１＋３−１＝３である。また、発話データ２のインデックスの最終番号は５である。以上よりＳｔｅｐ３−５−８へ進む。
【００９８】
Ｓｔｅｐ３−５−８では、ｏｉ＝ｏｉ＋ｃ、ｉｎｄｅｘ＝ｉｎｄｅｘ＋１を実行する。今、（７）より、ｏｉは１、（２）よりｉｎｄｅｘは１、（１９）より、ｃは３である。したがって、ｏｉ＝ｏｉ＋ｃ＝１＋３＝４・・・（２１）、ｉｎｄｅｘ＝ｉｎｄｅｘ＋１＝１＋１＝２・・・（２２）である。
【００９９】
そして、Ｓｔｅｐ３−５−２では、発話範囲決定手段１０３は、ｉｎｄｅｘ 番目の発話数を決定する。決定したｉｎｄｅｘ番目の発話数はｃとする。今、（２２）より、ｉｎｄｅｘは２である
【０１００】
Ｓｔｅｐ３−５−２−１では、初期値を設定する。すなわち、下記である。
【０１０１】
ＰＭ＝１５０・・・（２３）
ｉｎｄｅｘ番目の発話数：ｃ＝１・・・（２４）
発話データ２のインデックス：ｏｉ
【０１０２】
今、（２１）より、「ｏｉ＝４・・・（２５）」である。また、ｉｎｄｅｘ番目の発話文テキスト量の総量は、「ｔｅｘｔ＿ａｍｏｕｎｔ＝０・・・（２６）」である。
【０１０３】
Ｓｔｅｐ３−５−２−２では、発話データ２から、ｏｉ＋ｃ−１番目の発話者と発話文を取得する。今、（２５）より、ｏｉは４、（２４）より、ｃは１である。したがって、ｏｉ＋ｃ−１＝４である。
【０１０４】
また、音声データ２のインデックスが４番目の発話文は「５ページ目の内容に興味があります。詳しく教えて下さい。」である。よって、発話文のテキスト量：「ｍ＝２７・・・（２７）」である。
【０１０５】
Ｓｔｅｐ３−５−２−３では、今、（２６）より、ｔｅｘｔ＿ａｍｏｕｎｔは０である。ここで、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ」に値を代入して、「ｔｅｘｔ＿ａｍｏｕｎｔ＝０＋２７＝２７・・・（２８）」、となる。
【０１０６】
Ｓｔｅｐ３−５−２−４では、今、（２８）より、ｔｅｘｔ＿ａｍｏｕｎｔは２７、（２３）より、ＰＭは１５０であるので、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭが成立するのでＳｔｅｐ３−５−２−５へ進む。
【０１０７】
Ｓｔｅｐ３−５−２−５では、今、（２４）より、ｃは１である。よって、「ｃ＝２・・・（２９）」である。
【０１０８】
Ｓｔｅｐ３−５−２−７では、発話データ２にインデックスが、ｏｉ＋ｃ−１番目のデータが存在する場合にはＳｔｅｐ３−５−２−２へ進み、そうでない場合にはＳｔｅｐ３−５−２−６へ進む。
【０１０９】
今、（２１）より、ｏｉは４、（２９）より、ｃは２であるで、ｏｉ＋ｃ−１は５となる。発話データ２から、インデックスが５のデータは存在するのでＳｔｅｐ３−５−２−２へ進む。
【０１１０】
Ｓｔｅｐ３−５−２−２では、発話データ２から、ｏｉ＋ｃ−１番目の発話者と発話文を取得する。今、（２１）より、ｏｉは４、（２９）より、ｃは２である。よって、ｏｉ＋ｃ−１＝５となる。
【０１１１】
音声データ２のインデックス５番目の発話文は、「それに関しては私が聞いてきましたので説明します。まずは５ページ目の図を見て下さい。この図にあるように、年々××の値は上昇を続けています。そこで△△が問題となっています。」である。したがって、５番目の発話文のテキスト量：「ｍ＝８４・・・（３０）」である。
【０１１２】
Ｓｔｅｐ３−５−２−３では、（２８）より、ｔｅｘｔ＿ａｍｏｕｎｔは２７である。ここで、「ｔｅｘｔ＿ａｍｏｕｎｔ＝ｔｅｘｔ＿ａｍｏｕｎｔ＋ｍ」に値を代入して、「ｔｅｘｔ＿ａｍｏｕｎｔ＝２７＋８４＝１１１・・・（３１）」、となる。
【０１１３】
Ｓｔｅｐ３−５−２−４では、ここで、（３１）より、ｔｅｘｔ＿ａｍｏｕｎｔは１１１、（２３）より、ＰＭは１５０であるので、ｔｅｘｔ＿ａｍｏｕｎｔ＜ＰＭが成立するのでＳｔｅｐ３−５−２−５へ進む。
【０１１４】
Ｓｔｅｐ３−５−２−５では、ｃ＝ｃ＋１とし、Ｓｔｅｐ３−５−２−２へ進む。今、（２９）より、ｃは２である。したがって、「ｃ＝３・・・（３２）」となる。
【０１１５】
Ｓｔｅｐ３−５−２−７では、今、（２１）より、ｏｉは４、（３２）より、ｃは３であるで、ｏｉ＋ｃ−１は６となる。発話データ２から、インデックスが５のデータは存在しないので、Ｓｔｅｐ３−５−２−６へ進む。
【０１１６】
Ｓｔｅｐ３−５−２−６では、（３２）より、ｃは３である。ここで、ｃ＝ｃ−１を実行して、ｃ＝２・・・（３３）、となる。
【０１１７】
そして、Ｓｔｅｐ３−５−３では、発話データ２から、ｏｉ番目から、ｏｉ＋ｃ−１番目の発話者の集合を取得し、ｐ｛  ｝とする。（２１）より、ｏｉは４、（３３）より、ｃは２であるので、４番目から５番目の発話者を取得する。発話データ２から、ｐ｛
｝＝｛発話者６０４、発話者６０３]である。
【０１１８】
Ｓｔｅｐ３−５−４では、今、ｐ｛  ｝＝｛６０４、６０３｝である。発話者画像対応データ１に発話者６０４と６０３が一緒に（同時に）写っている写真が存在しないので、Ｓｔｅｐ３−５−５へ進む。
【０１１９】
Ｓｔｅｐ３−５−５では、画像を作成する。発話者画像対応データ１から、発話者６０４が写っている画像は画像６２５、発話者６０３が写っている画像は画像６２４である。画像６２５と画像６２４の顔を抽出し、それらを一つの画像内に合成して画像６３０を作成する。
【０１２０】
図１２はこのステップで作成した画像６３０である。
【０１２１】
Ｓｔｅｐ３−５−６では、今、（２２）より、ｉｎｄｅｘは２、（２１）より、ｏｉは４、（３３）から、ｃは２、Ｓｔｅｐ３−５−５から画像は画像６３０である。以上の項目を画像発話文対応表に追加すると、以下の表６のようになる。
【０１２２】
【表６】
2010171794.tif 000008
【０１２３】
Ｓｔｅｐ３−５−７では、今、（２１）より、ｏｉは４、（３３）より、ｃは２であるので、ｏｉ＋ｃ−１は５である。また、発話データ２のインデックスの最終番号は５である。以上よりＳｔｅｐ３−５は終了してＳｔｅｐ３−６へ進む。
【０１２４】
ここでステップ図は図８へ戻る。Ｓｔｅｐ３−６では、画像発話文対応表作成手段１０４は、Ｓｔｅｐ３−３で作成した画像発話文対応表をレイアウト手段１０５に送信する。
【０１２５】
Ｓｔｅｐ３−７では、レイアウト手段１０５は画像発話文対応表からレイアウトを作成し、レイアウト送信手段１０６に送信する。ここでＳｔｅｐ３−７の詳細なステップの流れを図１３に示す。
【０１２６】
Ｓｔｅｐ３−８では、レイアウト送信手段１０６はＳｔｅｐ３−５で作成されたレイアウトを受信し、レイアウト受信手段５０３へ送信する。ここでステップ図は図３へ戻る。
【０１２７】
そしてＳｔｅｐ４では、表示装置５００は作成されたレイアウトに従って議事録を表示する。Ｓｔｅｐ４の詳細なステップの流れを図１５に示す。
【０１２８】
以下に図１３に示すステップの流れを具体的に説明する。
【０１２９】
Ｓｔｅｐ３−７−１では、レイアウト手段１０５は画像発話文対応表作成手段１０４から画像発話文対応表を受信する。
【０１３０】
Ｓｔｅｐ３−７−２では、「ｉ＝１・・・（５０）」とする。
【０１３１】
Ｓｔｅｐ３−７−３では、画像発話文対応表からｉ番目の画像を取得しドキュメントに
画像をレイアウトする。今、（５０）より、ｉは１である。画像発話文対応表の１番目の
画像は画像６２２である。これをドキュメントにレイアウトしたものは、図１４の（Ａ）のようになる。ここでは、画像内に発話者の氏名を挿入している。
【０１３２】
Ｓｔｅｐ３−７−４では、画像発話文対応表からｉ番目の発話文開始番号ｓと発話文数
ｎを取得する。今、画像発話文対応表の一番目のデータから、ｓとｎは以下の通りである。
【０１３３】
ｓ＝１・・・（５１）
ｎ＝３・・・（５２）
【０１３４】
Ｓｔｅｐ３−７−５では、ｋ＝０・・・（５３）、とする。
【０１３５】
Ｓｔｅｐ３−７−６では、発話データ２からインデックスｓ＋ｋ番目の発話者と発話文を取得しドキュメントにレイアウトする。今、（５１）と（５３）から、ｓ＋ｋは１である。発話データ２から１番目の発話者と発話文を取得しドキュメントにレイアウトした結果を図１４の（Ｂ）に示す。
【０１３６】
Ｓｔｅｐ３−７−７では、今、（５３）より、ｋは０、（５２）より、ｎは３である。よって、ｋ＋１＜ｎあるので、Ｓｔｅｐ３−７−８へ進む。
【０１３７】
Ｓｔｅｐ３−７−８では、「ｋ＝ｋ＋１＝１・・・（５４）」となる。
【０１３８】
Ｓｔｅｐ３−７−６では、今、（５１）より ｓ は１、（５４）より ｋ は１である。ｓ＋ｋは２となり、発話データ２からインデックス２番目の発話者と発話文を取得しドキュメントにレイアウトする。レイアウトした結果を図１４の（Ｃ）に示す。
【０１３９】
Ｓｔｅｐ３−７−７では、今、（５４）より、ｋは１、（５２）より、ｎは３である。ｋ＋１＜ｎであるので、Ｓｔｅｐ３−７−８へ進む。
【０１４０】
Ｓｔｅｐ３−７−８では、（５４）より、ｋは１である。よって、ｋ＝ｋ＋１＝１＋１＝２・・・（５５）、となる。
【０１４１】
Ｓｔｅｐ３−７−６では、今、（５１）より、ｓは１、（５５）より、ｋは２である。ｓ＋ｋは３となり、発話データ２からインデックス３番目の発話者と発話文を取得しドキュメントにレイアウトする。レイアウトした結果を図１４の（Ｄ）に示す。
【０１４２】
Ｓｔｅｐ３−７−７では、今、（５５）より、ｋは２、（５２）より、ｎは３である。ｋ＋１＜ｎは成立しないので、Ｓｔｅｐ３−７−９へ進む。
【０１４３】
Ｓｔｅｐ３−７−９では、ｉが画像発話文対応表のインデックスの最終番号に等しい場
合はＳｔｅｐ３−８へ進み、そうではない場合はＳｔｅｐ３−７−１０へ進む。（２０）より、ｉは１、画像発話文対応表のインデックスの最終番号は２であるため、Ｓｔｅｐ３
−７−１０へ進む。
【０１４４】
Ｓｔｅｐ３−７−１０では、（５０）より、ｉは１であるので、「ｉ＝ｉ＋１＝２・・
・（５６）」である。
【０１４５】
そして、Ｓｔｅｐ３−７−３では、画像発話文対応表から２番目の画像を取得しドキュメントに画像をレイアウトする。
【０１４６】
Ｓｔｅｐ３−７−４では、画像発話文対応表から２番目の発話文開始番号ｓと発話文数ｎを取得する。ここで、ｓ＝４・・・（５７）、ｎ＝２・・・（５８）、となる。
【０１４７】
Ｓｔｅｐ３−７−５では、「ｋ＝０・・・（５９）」となる。
【０１４８】
Ｓｔｅｐ３−７−６では、発話データ２からインデックス４番目の発話者と発話文を取得しドキュメントにレイアウトする。
【０１４９】
Ｓｔｅｐ３−７−７では、ｋ＋１＝１＜２であるので、Ｓｔｅｐ３−７−８へ進む。
【０１５０】
Ｓｔｅｐ３−７−８では、ｋ＝ｋ＋１＝１となる。
【０１５１】
Ｓｔｅｐ３−７−６では、発話データ２からインデックス５番目の発話者と発話文を取得しドキュメントにレイアウトする。
【０１５２】
Ｓｔｅｐ３−７−７では、１＋１＜２が成立しないのでＳｔｅｐ３−７−９へ進む。
【０１５３】
Ｓｔｅｐ３−７−９では、今（５６）より、ｉは２であり、画像発話文対応表のインデ
ックスの最終番号に等しいのでＳｔｅｐ３−８へ進む。
【０１５４】
以上でレイアウト手段１０５の処理は終了となる。ここまでで作成されたレイアウトは図１４のようになる。
【０１５５】
ここで図８のステップ図に戻る。Ｓｔｅｐ３−８では、レイアウト送信手段１０６はＳｔｅｐ３−７で作成されたレイアウトを受信し、レイアウト受信手段５０３へ送信する。ここで図３のステップ図へ戻る。
【０１５６】
Ｓｔｅｐ４では、表示装置５００は作成されたレイアウトに従って議事録を表示する。Ｓｔｅｐ４の詳細なステップの流れを図１５に示す。以下に図１５に示すステップの流れを説明する。
【０１５７】
Ｓｔｅｐ４−１では、レイアウト受信手段５０３はレイアウトを受信し、表示手段５０４へ送信する。
【０１５８】
Ｓｔｅｐ４−２では、表示手段５０４は受信したレイアウトを表示する。この時、表示装置には図１６で示すレイアウトで議事録が表示されている。
【０１５９】
この実施形態では、表示装置から議事録のレイアウト作成要求が起きた時点でレイアウト作成装置へ要求が送信されることでレイアウト作成が実行されるが、以下に示す実施例も挙げられる。会議が終了した時点で、音声認識機能付きネットワークカメラはレイアウト作成装置へレイアウト作成を要求し、レイアウト装置はレイアウトを作成する。その後、ユーザは表示装置にて、すでに作成済みのレイアウトをレイアウト作成装置から受信して議事録を表示する。
【０１６０】
さらに以下に示す実施例も挙げられる。会議が終了した時点で、ユーザがレイアウト作成装置にレイアウト作成を要求し、レイアウトが作成される。レイアウトの作成が終了した時点でユーザにレイアウト作成終了通知が届く。ユーザは表示手段で議事録の表示を要求し、表示装置は作成されたレイアウトで議事録を表示する。
【０１６１】
なお、本発明はコンピュータにインストールしたプログラムによっても実現できることは当然である。
【図面の簡単な説明】
【０１６２】
【図１】請求項１にかかる本発明のレイアウト作成装置の構成を示す図である。
【図２】本実施形態を示すシステム構成図である。
【図３】本実施形態の一連の流れを説明するステップ図である。
【図４】図３のＳｔｅｐ１で収録される会議における、音声認識機能付きネットワークカメラ３００と会議の参加者である発話者の各位置の一例を示した図である。
【図５】図３のステップ図におけるＳｔｅｐ１の流れを詳細に説明したステップ図である。
【図６】図５のステップで記憶した参加者画像を示した図である。
【図７】図３のＳｔｅｐ２の流れを詳細に示したステップ図である。
【図８】図３のＳｔｅｐ３の流れを詳細に示したステップ図である。
【図９】図８のＳｔｅｐ３−２の詳細なステップの流れを示したステップ図である。
【図１０】図８のＳｔｅｐ３−５の詳細なステップの流れを示したステップ図である。
【図１１】発話範囲決定手段が発話数を決定する詳細なステップの流れ示したステップ図である。
【図１２】図１０のＳｔｅｐ３−５−５で作成した画像を示した図である。
【図１３】図８のＳｔｅｐ３−７の詳細なステップの流れを示した図である。
【図１４】本実施形態に係るレイアウト作成装置により作成された画像を示した図である。
【図１５】図４のＳｔｅｐ４の詳細なステップの流れを示したステップ図である。
【図１６】本実施形態に係るレイアウト作成装置により作成された議事録の表示例を示した図である。
【符号の説明】
【０１６３】
１００  レイアウト作成装置
１０１  レイアウト作成要求受信手段
１０２  情報取得手段
１０３  発話範囲決定手段
１０４  レイアウト送信手段
１０５  レイアウト手段
１０６  画像発話文対応表作成手段
１０７  画像合成手段
３００  音声認識機能付きネットワークカメラ
３０１  リクエスト受信手段
３０２  情報取得手段
３０３  画像情報記憶手段
３０４  音声情報記憶手段
３０５  レスポンス送信手段
５００  表示装置
５０１  表示要求受信手段
５０２  レイアウト作成要求送信手段
５０３  レイアウト受信手段
５０４  表示手段
【図１】
2010171794.tif 000009
【図２】
2010171794.tif 000010
【図３】
2010171794.tif 000011
【図４】
2010171794.tif 000012
【図５】
2010171794.tif 000013
【図６】
2010171794.tif 000014
【図７】
2010171794.tif 000015
【図８】
2010171794.tif 000016
【図９】
2010171794.tif 000017
【図１０】
2010171794.tif 000018
【図１１】
2010171794.tif 000019
【図１２】
2010171794.tif 000020
【図１３】
2010171794.tif 000021
【図１４】
2010171794.tif 000022
【図１５】
2010171794.tif 000023
【図１６】
2010171794.tif 000024