(57)【特許請求の範囲】
【請求項１】
電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、
前記画像が表示された時刻を記録する表示時刻記録手段と、
前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、
プレゼンテータを示すプレゼンテータ画像を作成するプレゼンテータ画像作成手段と、
前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって検出された位置関係とに基づいて前記電子データに基づいて形成された画像と合成するプレゼンテータ合成手段と、
を備えることを特徴とするプレゼンテーション用記録再生装置。
【請求項２】
電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、
前記画像が表示された時刻を記録する表示時刻記録手段と、
プレゼンテータの動作を示す動作画像を作成する動作画像作成手段と、
前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、
前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成する動作画像合成手段と、
を備えることを特徴とするプレゼンテーション用記録再生装置。
【請求項３】
電子データに基づく画像を表示して行われるプレゼンテーションにおいて、前記画像が表示された時刻を記録する表示時刻記録手段を有し、プレゼンテータの動作にかかるプレゼンテータ情報を前記表示時刻記録手段によって記録された時刻に基づいて時系列に記録するプレゼンテータ記録手段と、該プレゼンテータ情報に基づいて画像を作成する情報画像作成手段と、該情報画像作成手段によって作成された画像と前記電子データに基づいて作成された画像とを合成して表示するプレゼンテーション再生手段とを備えるプレゼンテーション記録再生装置であって、
前記情報画像作成手段によって作成される画像の種別を選択するための画像種別選択手段を備え、
前記画像種別選択手段によって前記画像の指し示された位置を示すマーク画像が選択された場合、前記プレゼンテータ記録手段が、前記画像の指し示された指示位置を検出すると共に前記表示時刻記録手段によって記録された時間と対応付けて記録し、前記情報画像作成手段が、記録された指示位置をマークによって表示するマーク画像を作成し、前記プレゼンテーション再生手段が、前記マーク画像を前記電子データに基づいて形成された画像と合成し、
前記画像種別選択手段によってプレゼンテータを示すプレゼンテータ画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータを示すプレゼンテータ画像を作成し、前記プレゼンテーション再生手段が前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された位置関係とに基づいて前記電子データに基づいて形成された画像と合成し、
前記画像種別選択手段によってプレゼンテータの動作を示す動作画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータの動作を示す動作画像を作成し、前記プレゼンテーション再生手段が前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成することを特徴とするプレゼンテーション用記録再生装置。
【請求項４】
さらに、前記電子データに基づいて作成された画像に合成される画像の大きさおよび合成位置の少なくとも一方を変更するレイアウト変更手段を備えることを特徴とする請求項１〜３のいずれか一つに記載のプレゼンテーション用記録再生装置。
【請求項５】
電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、
前記画像が表示された時刻を記録する表示時刻記録手段と、
プレゼンテーションの状況を映像として記録するプレゼンテーション映像記録手段と、
前記プレゼンテーション映像記録手段によって記録された映像における前記画像の表示位置を検出する表示位置検出手段と、
前記表示時刻記録手段によって記録された時刻に基づいて、前記電子データに基づいて作成された画像を前記表示位置検出手段によって検出された表示位置に合成する画像合成手段と、
を備えることを特徴とするプレゼンテーション用記録再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、プレゼンテーションの状況を記録し、再生するプレゼンテーション用記録再生装置に関する。
【０００２】
【従来の技術】
現在、講演会や会議といったプレゼンテーションにおいて、コンピュータを用いて電子データに基づく画像を形成し、プロジェクタに表示することが行われている。また、プレゼンテーションの際、プレゼンテーションの内容をビデオカメラやテープレコーダで映像、あるいは音声として記録し、後日再生することも行われている。
【０００３】
しかし、ビデオカメラには、記録された映像から表示されている画像を読み取るのに充分な解像度を持たないものもある。プレゼンテーション記録の再生時、プレゼンテーション中に表示された画像を明瞭に表示できる従来の装置として、例えば、特開平１０−５５３９１号公報に記載された情報再生装置および資料提示装置がある。
【０００４】
特開平１０−５５３９１号公報に記載された情報再生装置および資料提示装置は、プレゼンテーション時に提示された資料を電子データに基づく文章（電子文書）として格納する。そして、再生時にプレゼンテーション時と同様のタイミングで表示させている。このような構成によれば、資料を、プレゼンテーション時と同様のタイミング、および状態で表示することができる。
【０００５】
【発明が解決しようとする課題】
ところで、プレゼンテータは、一般的に表示された画像のうちの現在説明している箇所を指し示しながらプレゼンテーションを進行させる。また、プレゼンテータは、画像に対する立ち位置によって画像のうちの説明されている箇所を聴衆に示したり、身振りや手振りを交えて説明することもある。特開平１０−５５３９１号公報に記載された発明は、画像を明瞭に表示できるものの、プレゼンテータが指し示した画像の位置やプレゼンテータの動作を記録することはできず、プレゼンテーションの状況をより正確に再現するために改善の余地があるものといえる。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、プレゼンテーションで提示された画像を明瞭に表示でき、しかもプレゼンテータによってなされた動作を示す情報をも画像に付加できてプレゼンテーションの状況を理解しやすい状態で再現できるプレゼンテーション用記録再生装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記した課題を解決し、目的を達成するため、請求項１に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、プレゼンテータを示すプレゼンテータ画像を作成するプレゼンテータ画像作成手段と、前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって検出された位置関係とに基づいて前記電子データに基づいて形成された画像と合成するプレゼンテータ合成手段と、を備えることを特徴とする。
【００１０】
この請求項１に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係と、プレゼンテータの画像とを抽出する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、プレゼンテータ画像とを画像とプレゼンテータとの相対的な位置関係に基づいて合成することができる。
【００１１】
請求項２に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、プレゼンテータの動作を示す動作画像を作成する動作画像作成手段と、前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成する動作画像合成手段と、を備えることを特徴とする。
【００１２】
この請求項２に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係を抽出し、プレゼンテータの動作を示す動作画像を作成する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、動作画像とを画像とプレゼンテータとの相対的な位置関係に基づいて合成することができる。
【００１３】
請求項３に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションにおいて、前記画像が表示された時刻を記録する表示時刻記録手段を有し、プレゼンテータの動作にかかるプレゼンテータ情報を前記表示時刻記録手段によって記録された時刻に基づいて時系列に記録するプレゼンテータ記録手段と、該プレゼンテータ情報に基づいて画像を作成する情報画像作成手段と、該情報画像作成手段によって作成された画像と前記電子データに基づいて作成された画像とを合成して表示するプレゼンテーション再生手段とを備えるプレゼンテーション記録再生装置であって、前記情報画像作成手段によって作成される画像の種別を選択するための画像種別選択手段を備え、前記画像種別選択手段によって前記画像の指し示された位置を示すマーク画像が選択された場合、前記プレゼンテータ記録手段が、前記画像の指し示された指示位置を検出すると共に前記表示時刻記録手段によって記録された時間と対応付けて記録し、前記情報画像作成手段が、記録された指示位置をマークによって表示するマーク画像を作成し、前記プレゼンテーション再生手段が、前記マーク画像を前記電子データに基づいて形成された画像と合成し、前記画像種別選択手段によってプレゼンテータを示すプレゼンテータ画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータを示すプレゼンテータ画像を作成し、前記プレゼンテーション再生手段が前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された位置関係とに基づいて前記電子データに基づいて形成された画像と合成し、前記画像種別選択手段によってプレゼンテータの動作を示す動作画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータの動作を示す動作画像を作成し、前記プレゼンテーション再生手段が前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成することを特徴とする。
【００１４】
この請求項３に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係を抽出する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、マーク画像、プレゼンテータ画像、動作画像のうちの選択された画像とを合成することができる。
【００１５】
請求項４に記載の発明にかかるプレゼンテーション用記録再生装置は、さらに、前記電子データに基づいて作成された画像に合成される画像の大きさおよび合成位置の少なくとも一方を変更するレイアウト変更手段を備えることを特徴とする。
【００１６】
この請求項４に記載の発明によれば、電子データに基づいて作成された画像に合成される画像の大きさおよび合成位置の少なくとも一方を変更することができる。
【００１７】
請求項５に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、プレゼンテーションの状況を映像として記録するプレゼンテーション映像記録手段と、前記プレゼンテーション映像記録手段によって記録された映像における前記画像の表示位置を検出する表示位置検出手段と、前記表示時刻記録手段によって記録された時刻に基づいて、前記電子データに基づいて作成された画像を前記表示位置検出手段によって検出された表示位置に合成する画像合成手段と、を備えることを特徴とする。
【００１８】
この請求項５に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中にプレゼンテーションの状況を映像として記録し、記録された映像における画像の表示位置を検出する。また、画像の表示時刻に基づいて、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像を検出された表示位置に合成することができる。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるプレゼンテーション用記録再生装置の好適な実施の形態を詳細に説明する。
（実施の形態１）
図１は、実施の形態１のプレゼンテーション用記録再生装置（以下、単に記録再生装置と記す）の構成を説明するためのブロック図であって、プレゼンテータＰが、資料表示部１０９で資料となる画像を表示しながらプレゼンテーションを行っている状態を示している。資料表示部１０９は、電子的なデータ（以下、単にデータと記す）に基づいて画像を形成するパーソナルコンピュータ（以下、パソコンと記す）、形成された画像を表示するプロジェクタとで構成されている。
【００２０】
なお、本発明の実施の形態では、表示された画像がプレゼンテーションにおいて資料となる文書であることから、以降、電子文書という。また、プレゼンテーション中に資料表示部１０９に表示される電子文書を電子文書Ｉaと記す。
【００２１】
図示した記録再生装置は、データに基づいて形成された電子文書Ｉaを表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用の記録再生装置である。そして、資料表示部１０９によって電子文書Ｉaが表示された時刻を記録するための計時部１０１および時刻記録部１０２、プレゼンテータＰによって電子文書Ｉaが指し示された位置を検出する指示位置検出部１０４、検出された指示位置を時刻記録部１０２によって記録された時間と対応付けて記録する指示位置記録部１０５を備えている。また、実施の形態１の記録再生装置は、ビデオカメラ１０３を備え、プレゼンテーションの状況を映像および音声によって記録している。
【００２２】
さらに、実施の形態１の記録再生装置は、記録された指示位置にマークを表示すると共に、電子文書Ｉaを形成したデータによって形成された電子文書とマークとを合成する指示位置合成部１０６を備えている。指示位置合成部１０６で合成された画像は、再生表示部１０７によって再生し、表示することができる。
【００２３】
なお、資料表示部１０９によって表示された電子文書Ｉaと、再生時に合成されて再生表示部１０７で表示される電子文書とは同一のデータに基づいて形成されている。本発明の実施の形態では、説明の便宜上、資料表示部１０９によってプレゼンテーション中に表示された電子文書を電子文書Ｉaと記す。そして、後述するように、合成された後に再生表示部１０７で再生、表示される電子文書を電子文書Ｉbと記して両者を区別するものとする。
【００２４】
上記した構成は、以下のように動作する。すなわち、ビデオカメラ１０３は、プレゼンテーションの開始と同時にプレゼンテーションの状況を映像および音声によって記録する。また、計時部１０１が、プレゼンテーションの開始と同時に計時を開始し、時刻を時刻記録部１０２に入力する。
【００２５】
プレゼンテーションは、複数の電子文書を表示して行われることが多い。このような場合、プレゼンテータＰが、プレゼンテーションの進行に合わせて表示される電子文書Ｉaを切り換える。複数の電子文書Ｉaのうちのそれぞれが表示されたタイミングは、資料表示部１０９から時刻記録部１０２に入力する。時刻記録部１０２は、計時部１０１の計時時間に基づいて電子文書Ｉaの各々が表示された時刻を記録する。
【００２６】
このとき、指示位置検出部１０４は、プレゼンテータＰによって指し示された電子文書Ｉaの位置（指示位置）を検出している。指示位置検出部１０４の具体的な構成は、例えばプロジェクタをタッチパネル式のものにし、タッチパネルのプロジェクタに備えられる座標入力装置としてもよい。また、指先の形状のパターンを記憶し、このパターンの動きを追跡するものでもよい。
【００２７】
さらに、プレゼンテータＰがレーザポインタで電子文書Ｉaを指し示す場合、指示位置検出部１０４を、例えばビデオカメラで電子文書Ｉaを撮影すると共にプロジェクタを制御して一瞬電子文書Ｉaの表示を中断する構成とする。電子文書Ｉaの表示が中断されると、プロジェクタの表示画面にレーザポインタによって指示された点だけが見えるため、指示位置を検出することができる。
【００２８】
指示位置は、指示位置記録部１０５によって記録される。また、計時部１０１は、指示位置記録部１０５に計時時間を出力している。指示位置記録部１０５は、計時部１０１が出力した計時時間を入力し、計時時間に基づいて指示位置を時系列に記録する。以上の動作により、プレゼンテーションで表示されるすべての電子文書Ｉaの表示時刻と指示位置とが時系列に記録される。
【００２９】
次に、記録されたプレゼンテーションに関する情報を再生する動作を説明する。指示位置合成部１０６は、電子文書Ｉaの形成に使用されたデータＤIを資料表示部１０９から入力する。また、時刻記録部１０２に記録された電子文書Ｉaの各々の表示時刻と、指示位置記録部１０５において時刻に対応して記録された指示位置とを入力する。そして、データＤIに基づいて形成された電子文書と、指示位置に挿入されたマークとを合成する。
【００３０】
図２(ａ)、(ｂ)は、データＤIに基づいて形成された電子文書Ｉbにマークとしてポインタ２０１を合成した例を示す図である。(ａ)は、電子文書の指示位置ａを示す図であって、(ｂ)は、(ａ)に示した指示位置にポインタ２０１を合成した状態を示す図である。合成されたポインタ２０１および電子文書Ｉbは、図３のように再生表示部１０７で表示される。
【００３１】
上述した実施の形態１によれば、記録されたプレゼンテーションの情報を再生する際、プレゼンテーションに用いられた電子文書ばかりでなく、プレゼンテータによって指し示された位置を聴衆に示すことができる。このため、聴衆の理解を助けることができる。また、ポインタの位置を時系列に記録したことにより、電子文書Ｉbにおいて、ポインタ２０１は、プレゼンテーション時と同様に時刻によって移動する、あるいは電子文書上から消去される。このため、プレゼンテーションの記録をより正確に再現することができる。
【００３２】
（実施の形態２）
図４は、本発明の実施の形態２を説明するための図である。図中、実施の形態１で説明した構成と同様の構成については同様の符号を付して説明を略すものとする。
【００３３】
図４に示した実施の形態２の記録再生装置は、実施の形態１の記録再生装置と同様に、電子文書Ｉaを表示する資料表示部１０９、計時部１０１で計時された時刻に基づいて電子文書Ｉaの表示時刻を記録する時刻記録部１０２を備えている。資料表示部１０９において電子文書Ｉaを形成したデータＤI、時刻記録部１０２に記録された電子文書の表示時刻は、話者合成部４０３に入力する。
【００３４】
また、実施の形態２においても、ビデオカメラ１０３を用いてプレゼンテーションの状況を映像として記録するものとする。ビデオカメラ１０３には計時部１０１によって計時された時刻が入力されていて、映像は時刻と共に記録される。
【００３５】
また、実施の形態２の記録再生装置は、資料表示部１０９に表示されている電子文書ＩaとプレゼンテータＰとの相対的な位置関係を検出する相対位置検出部４０２と、プレゼンテータＰを示す画像であるプレゼンテータ画像Ｐ’を作成する話者切り出し部４０１を備えている。相対位置検出部４０２は、計時部１０１が計時した時間を入力し、プレゼンテータＰと電子文書Ｉaとの相対的な位置関係を時刻と対応付けて検出し、相対位置情報を作成する。
【００３６】
以下、話者切り出し部４０１、相対位置検出部４０２の動作をより詳細に説明する。実施の形態２は、話者切り出し部４０１を、映像ＤV中の複数の点を測距できる測距センサとして構成する。図５(ａ)、(ｂ)は、測距センサが映像からプレゼンテータ画像を切り出す方法を説明するための図である。
【００３７】
実施の形態２の記録再生装置は、ビデオカメラ１０３（実施の形態１のビデオカメラ１０３とは別の専用のビデオカメラであってもよい）で記録された映像ＤVを話者切り出し部４０１に入力する。話者切り出し部４０１の測距センサは、図５(ａ)に示す映像において、先ず像の濃淡で撮影対象物の位置（手前が白（淡）、奥が黒(濃)）を表現する。この結果、(ａ)に示す映像は、(ｂ)に示す映像となる。
【００３８】
濃淡で表現された映像において、奥にあるものが背景で、手前にプレゼンテータＰがいることが多い。このため、測距センサで構成された相対位置検出部４０２は、濃淡の適当なしきい値を定めることによって対象物の映像における奥と手前とを判断する。そして、手前にあると判断された領域にある画像をプレゼンテータ画像Ｐ’とし、計時部１０１から入力した時刻と対応付けて話者合成部４０３に出力する。
【００３９】
一方、相対位置検出部４０２は、電子文書Ｉaの位置を、映像ＤVの中から特定の色を検出するなどの方法によって抽出する。また、話者切り出し部４０１と同様に測距センサなどを用いてプレゼンテータＰの位置を検出する。そして、検出されたプレゼンテータＰの位置と電子文書Ｉaとの相対的な位置を検出し、計時部１０１によって入力された時刻に基づき相対位置情報として時系列に記録する。この際、電子文書ＩaとプレゼンテータＰとのサイズ比が、相対位置情報と共に記録される。
【００４０】
なお、上述した構成は、話者切り出し部４０１と相対位置検出部４０２とで測距センサを共用し、一方で検出されたプレゼンテータＰの位置を他方に出力することもできる。
【００４１】
話者合成部４０３は、話者切り出し部４０１から入力したプレゼンテータ画像Ｐ’を、相対位置検出部４０２から入力した相対位置情報に基づいてデータＤIと合成する。この合成は、時刻記録部１０２によって記録された電子文書Ｉaの表示時刻と、プレゼンテータ画像Ｐ’と共に記録されている時刻、相対位置情報と共に記録されている時刻とを同期させながら実行される。合成されたプレゼンテータ画像Ｐ’および電子文書Ｉbは、再生表示部１０７に出力され、再生される。
【００４２】
図６(ａ)〜(ｃ)は、以上述べた処理によって表示される画像を説明するための図である。図６(ａ)は、ビデオカメラ１０３によって記録された映像を示している。また、(ｂ)は、再生時に再生表示部１０７で表示される電子文書Ｉbを示す。(ｃ)は、(ａ)に示す映像から切り出されたプレゼンテータ画像Ｐ’を、相対位置情報に基づいて(ｂ)の電子文書Ｉbに合成した画像を示す図である。図７は、図６(ｃ)に示した画像を再生表示部１０７に表示した状態を示す図である。
【００４３】
以上述べた実施の形態２のように、(ｂ)に示す電子文書Ｉbにプレゼンテータ画像Ｐ’を合成することにより、再生時にデータに基づく画像を明瞭に表示できるばかりでなく、プレゼンテータの情報をも聴衆に与えることができる。また、プレゼンテータ画像Ｐ’の合成を、表示時刻と相対位置情報とに基づいて実行することにより、高い臨場感を持ってプレゼンテーションの状況を再生することができる。
【００４４】
また、実施の形態２の記録再生装置は、以上述べた構成に限定されるものではない。すなわち、以上述べた構成は、自動的に電子文書ＩaとプレゼンテータＰとの相対的な位置を検出する構成としている。しかし、相対位置検出部４０２は、電子文書ＩaとプレゼンテータＰとの相対的な位置を手動で検出する構成であってもよい。
【００４５】
また、実施の形態２の記録再生装置は、話者切り出し部４０１を測距センサとして構成している。しかし、話者切り出し部４０１は、測距センサを用いる構成に限定されるものでなく、例えば、オプティカルフローを用いて電子文書ＩaとプレゼンテータＰとの相対的な位置関係を求めるものであってもよい。
【００４６】
図８は、話者切り出し部４０１にオプティカルフローを用いる場合を説明するための図である。オプティカルフローは、撮影の対象物が動く部分がフローF（矢印）で表現され、動きがない部分にはフローFが表れない。オプティカルフローを用いた場合、話者切り出し部４０１は、フローFが検出された部分をプレゼンテータとして切り出す。
【００４７】
さらに、実施の形態２は、電子文書Ｉbに合成される画像の大きさおよび合成位置の少なくとも一方を変更する構成を付加することもできる。図９は、実施の形態２の他の構成例を説明するための図である。図９に示した記録再生装置は、資料表示部１０９、計時部１０１、ビデオカメラ１０３、話者切り出し部４０１、相対位置検出部４０２、話者合成部４０３、再生表示部１０７、位置大きさ修正部９０３を備えている。そして、さらに、電子文書Ｉbに合成されるプレゼンテータ画像Ｐ’の大きさおよび合成位置の少なくとも一方を変更する位置大きさ修正部９０３を備えている。
【００４８】
プレゼンテータＰは、資料表示部１０９に表示された電子文書Ｉaを指し示しながらプレゼンテーションを進行させる。ビデオカメラ１０３は、プレゼンテーションの状況を、映像DVと音声とによって記録する。
【００４９】
話者切り出し部４０１は、ビデオカメラ１０３によって記録された映像DVからプレゼンテータ画像Ｐ’を切り出し、相対位置検出部４０２が映像DVから電子文書ＩaとプレゼンテータＰとの相対的な位置を相対位置情報として検出する。プレゼンテータ画像Ｐ’、相対位置情報は、話者合成部４０３に出力される。
【００５０】
また、図９の構成では、資料表示部１０９において電子文書Ｉaが表示された時刻も話者切り出し部４０１で記録され、話者合成部４０３に出力される。話者合成部４０３は、電子文書Ｉaが資料表示部１０９で表示された時刻や相対位置情報に基づいて電子文書Ｉbにプレゼンテータ画像Ｐ’を合成する。
【００５１】
さらに、図９に示した構成は、図７に示した画像においてプレゼンテータ画像Ｐ’と電子文書Ｉbとの位置関係がずれている場合、オペレータが、位置大きさ修正部９０３を使って修正することができる。位置大きさ修正部９０３は、例えば、資料表示部１０９を構成するコンピュータのマウスやキーボードといったインターフェースとして構成される。
【００５２】
図９に示した構成によれば、電子文書Ｉbとプレゼンテータ画像Ｐ’との位置関係、あるいはプレゼンテータ画像Ｐ’の大きさといったレイアウトをプレゼンテーションの記録を再生しながら調整することができる。このため、より好みや状況に即した状態でプレゼンテーションを再現することができる。
【００５３】
なお、図９に示した実施の形態２の記録再生装置は、電子文書Ｉbに合成される画像をプレゼンテータ画像Ｐ’に限定するものではない。例えば、前述した実施の形態１のマーク画像および後述する動作画像のいずれを電子文書Ｉbに合成する場合にも適用できる。
【００５４】
（実施の形態３）
次に、本発明の実施の形態３の記録再生装置を説明する。図１０に示した実施の形態３の記録再生装置は、実施の形態１の記録再生装置と同様に、電子文書Ｉaを表示する資料表示部１０９、計時部１０１で計時された時刻に基づいて電子文書Ｉaの表示時刻を記録する時刻記録部１０２を備えている。
【００５５】
また、実施の形態３の記録再生装置は、プレゼンテーションの状況を映像DVと音声とによって記録するビデオカメラ１０３、記録された映像DVから電子文書ＩaとプレゼンテータＰとの相対的な位置を検出する相対位置検出部４０２を備えている。相対位置検出部４０２によって検出された相対位置は、計時部１０１によって計時された時刻に基づいて時系列に記録され、相対位置情報となる。
【００５６】
さらに、実施の形態３の記録再生装置は、プレゼンテータＰの動作を示す動作画像を作成する話者動作認識部１００１および話者映像作成部１００２、作成された動作画像を、時刻記録部１０２によって記録された時刻と相対位置情報とに基づいて電子文書Ｉbと合成する画像合成部１００３とを備えている。
【００５７】
話者動作認識部１００１において、プレゼンテータＰは、実施の形態２で述べた測距センサやオプティカルフローを用いる方法によって検出される。また、プレゼンテータＰの腕の状態や指の状態は、例えば腕や指の動作を基本的なテンプレートに照合し、動作を特定するテンプレートマッチングによって認識できる。話者映像作成部１００２は、話者動作認識部１００１から認識結果を入力し、認識されたプレゼンテータＰの動作を表すアニメーション像を作成する。
【００５８】
すなわち、話者映像作成部１００２は、例えば、「プレゼンテータＰの位置：５００」、「左腕：１００度」、「右腕：−１０度」、「右前腕：９５度」、「手のひら：９０度」といった認識結果に基づいて図１１に示す像を作成する。話者動作認識部１００１は、プレゼンテータＰの動作を時系列で順次認識し、認識結果を話者映像作成部１００２に出力する。話者映像作成部１００２は、順次入力されてくる認識結果に基づいて図１１のような像を順次作成する。順次作成された像は、時系列に記録されてプレゼンテータＰの連続した動作を表すアニメーション像となる。
【００５９】
なお、実施の形態３においてなされる動作の認識方法は、上述したプレゼンテータＰの動作を基本的なテンプレートに照合する方法に限定されるものではない。
【００６０】
画像合成部１００３は、プレゼンテーションの記録の再生時、話者映像作成部１００２によって作成されたアニメーション像を入力する。また、相対位置検出部４０２によって検出された相対位置情報、資料表示部１０９で表示された電子文書Ｉaを形成したデータＤIを入力する。そして、アニメーション像、相対位置情報、データＤIを、各々に記録された時刻に基づいて同期をとりながら合成する。合成された電子文書Ｉaとアニメーション像は、再生表示部１０７において再生される。
【００６１】
図１２は、実施の形態３の記録再生装置の再生の状態を説明するための図である。実施の形態３によれば、再生時に表示される電子文書Ｉbに対し、プレゼンテータＰの動作を示すアニメーション像Ａを合成することができる。このため、再生時に画像を明瞭に表示できるばかりでなく、プレゼンテータＰの動作をも再現することができ、プレゼンテーション時の情報が再生時に欠落することを抑えることができる。
【００６２】
また、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいてアニメーション像の合成位置を決定することができる。このため、プレゼンテーション再生時の臨場感をいっそう高めることができる。
【００６３】
（実施の形態４）
実施の形態４の記録再生装置は、電子文書Ｉbに合成して表示されるもの（合成表示物）を複数の種類作成でき、再生時にはこのうちから任意に選択された合成表示物を電子文書Ｉbと合成して表示する構成である。なお、実施の形態４の記録再生装置は、合成表示物として、電子文書Ｉa上の指示位置に表示されるポインタ、プレゼンテータ画像Ｐ’、プレゼンテータの動作を表すアニメーション像Ａの３種類のうちの少なくとも一つを電子文書Ｉbと合成できる構成とする。
【００６４】
図１３は、実施の形態４の記録再生装置の構成を示すブロック図である。図１３に示した記録再生装置は、前述した実施の形態１〜３の記録再生装置と同様の構成を含んでいる。図１３において、前述した構成と同様の構成については同様の符号を付し、説明を省くものとする。
【００６５】
実施の形態３の記録再生装置は、プレゼンテーションの際、データに基づく電子文書Ｉaを表示する資料表示部１０９、資料表示部１０９において電子文書Ｉaが表示された時刻を計時部１０１によって計時された時間に基づいて記録する時刻記録部１０２、プレゼンテーションの状況を映像DVと音声とによって記録するビデオカメラ１０３とを備えている。
【００６６】
さらに、記録再生装置は、ポインタを電子文書Ｉa上の指示位置に合成するための指示位置検出部１０４、指示位置記録部１０５、指示位置合成部１０６と、プレゼンテータ画像Ｐ’と電子文書Ｉaとを、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいて合成するための話者切り出し部４０１、相対位置検出部４０２、話者合成部４０３と、プレゼンテータＰの動作を示すアニメーション像を作成し、アニメーション像Ａと電子文書Ｉaとを、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいて合成するための話者動作認識部１００１、話者映像作成部１００２、画像合成部１００３と、電子文書Ｉbと合成される合成表示物としてポインタ、プレゼンテータ画像Ｐ’、アニメーション像Ａの少なくとも一つを選択するための選択部１３０１を備えている。
【００６７】
プレゼンテーションの記録の再生時、オペレータが選択部１３０１を用いてポインタ、プレゼンテータ画像Ｐ’、アニメーション像Ａの少なくとも一つを選択する。このとき、選択された合成表示物を作成して電子文書Ｉbと合成する構成が動作し、選択された合成表示物を電子文書Ｉbに合成する。合成された合成表示物と電子文書Ｉbとは、再生表示部１０７に出力されて表示される。
【００６８】
以上述べた実施の形態４によれば、プレゼンテーションの記録の再生時、好みや再生時の状況、さらには再生すべきプレゼンテーションの内容に合わせて電子文書Ｉbに合成される合成表示物を選択することができる。このため、プレゼンテーションや記録の再生時の状況に柔軟に対応し、より正確、あるいは理解しやすくプレゼンテーションを再現することができる。
【００６９】
（実施の形態５）
図１４は、本発明の実施の形態５を説明するための図である。図中、実施の形態１で説明した構成と同様の構成については同様の符号を付して説明を略すものとする。
【００７０】
図１４に示した実施の形態５の記録再生装置は、プレゼンテーション中に電子文書Ｉaを表示する資料表示部１０９、資料表示部１０９によって画像を表示しながら行われるプレゼンテーションの状況を映像と音声とによって記録するビデオカメラ１０３、ビデオカメラ１０３によって撮影された映像DVにおける電子文書Ｉaの表示位置を検出する位置検出部１４０１、電子文書Ｉaを形成したデータＤIに基づいて作成された電子文書を、位置検出部１４０１によって検出された電子文書Ｉaの表示位置に合成する電子文書合成部１４０２を備えている。
【００７１】
以上述べた構成は、以下のように動作する。すなわち、プレゼンテーションの開始と共に、ビデオカメラ１０３がプレゼンテーションの状況を記録する。このとき、ビデオカメラ１０３は、電子文書ＩaやプレゼンテータＰばかりでなく、電子文書Ｉa、プレゼンテータＰの周囲の状況をも映像と音声とによって記録する。
【００７２】
ビデオカメラ１０３によって記録された映像ＤVは、電子文書合成部１４０２と位置検出部１４０１とに入力する。位置検出部１４０１は、映像ＤVから色などに基づく情報を抽出し、この情報から電子文書Ｉaが表示されている領域（表示領域）を検出する。また、資料表示部１０９には計時部１０１が計時した計時時間が入力している。資料表示部１０９は、計時時間に基づいて電子文書Ｉaが表示された時刻を記録する。
【００７３】
表示領域を示す情報は、位置検出部１４０１から出力されて電子文書Ｉaの表示時刻と共に電子文書合成部１４０２に入力する。また、資料表示部１０９からは、電子文書Ｉaを形成したデータＤIが電子文書合成部１４０２に入力する。電子文書合成部１４０２は、表示領域を示す情報と表示時刻とに基づいて映像ＤVから電子文書Ｉaの表示領域を検出し、検出された表示領域にデータＤIによって形成された画像を貼りつける。
【００７４】
なお、上記した処理では、データＤIによって形成された画像を貼りつけたことによって映像中のプレゼンテータＰの像が消えることがある。この不具合を防ぐため、実施の形態５の記録再生装置は、予めプレゼンテータＰの位置を検出しておき、プレゼンテータＰと重なる表示領域を除去した部分に画像を貼りつけるようにしてもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータの表情や立ち位置といった状態を再現することができる。このため、プレゼンテーションの状況をより理解しやすい状態で再現でき、また、プレゼンテーションの再生時の臨場感を高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７７】
請求項２に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータの動作や立ち位置を再現することができる。このため、プレゼンテーションの状況をより理解しやすい状態で再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７８】
請求項３に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータによって指し示された点、プレゼンテータの状態、さらにはプレゼンテータの動作や立ち位置の少なくとも一つを選択して再現することができる。このため、プレゼンテーションの状況をより理解しやすく、かつ好みに応じて再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７９】
請求項４に記載の発明は、合成される画像の大きさおよび合成位置の少なくとも一方を変更することができ、プレゼンテーションの再現状態を好みや位置ずれなどに応じて修正でき、より操作性の高いプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００８０】
請求項５に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータ以外のプレゼンテーションの状況も併せて再現することができる。このため、プレゼンテーションの状況をより理解しやすく再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図２】実施の形態１において、電子文書にポインタを合成した例を示す図である。
【図３】図２に示した像が再生表示部で再生、表示された状態を示す図である。
【図４】実施の形態２のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図５】測距センサが映像からプレゼンテータ画像を切り出す方法を説明するための図である。
【図６】実施の形態２の処理によって表示される画像を説明するための図である。
【図７】図６（ｃ）示した像が再生表示部で再生、表示された状態を示す図である。
【図８】オプティカルフローによってプレゼンテータの画像を切り出すことを示す図である。
【図９】実施の形態２の他の構成例を説明するための図である。
【図１０】本発明の実施の形態３のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図１１】話者映像作成部によって作成される像を説明するための図である。
【図１２】実施の形態３の記録再生装置の再生の状態を説明するための図である。
【図１３】本発明の実施の形態４のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図１４】本発明の実施の形態５のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【符号の説明】
１０１  計時部
１０２  時刻記録部
１０３  ビデオカメラ
１０４  指示位置検出部
１０５  指示位置記録部
１０６  指示位置合成部
１０７  再生表示部
１０９  資料表示部
２０１  ポインタ
４０１  話者切り出し部
４０２  相対位置検出部
４０３  話者合成部
９０３  修正部
１００１  話者動作認識部
１００２  話者映像作成部
１００３  画像合成部
１３０１  選択部
１４０１  位置検出部
１４０２  電子文書合成部
Ａ  アニメーション像
ＤI  データ
ＤV  映像
Ｉa  電子文書
Ｉb  電子文書
Ｐ  プレゼンテータ
Ｐ’  プレゼンテータ画像
【図１】
0004253446.tif 000002
【図２】
0004253446.tif 000003
【図３】
0004253446.tif 000004
【図４】
0004253446.tif 000005
【図５】
0004253446.tif 000006
【図６】
0004253446.tif 000007
【図７】
0004253446.tif 000008
【図８】
0004253446.tif 000009
【図９】
0004253446.tif 000010
【図１０】
0004253446.tif 000011
【図１１】
0004253446.tif 000012
【図１２】
0004253446.tif 000013
【図１３】
0004253446.tif 000014
【図１４】
0004253446.tif 000015