(57)【要約】【課題】プレゼンテーションなどで要点になった内容を従来よりも簡単に参加者などが確認できるようにする。【解決手段】画像形成装置１に、ポインタ位置判別部１０５と資料画面表示処理部１０８とを設ける。ポインタ位置判別部１０５は、プロジェクタによってスクリーンに表示された資料に対して指されたポインタおよびその資料におけるそのポインタの位置を検知する。資料画面表示処理部１０８は、検知されたポインタの位置を選択するための選択肢をタッチパネルに表示させ、さらに、選択肢が選択されるごとに、選択された選択肢に係るポインタの位置を指すようにアイコンを配置した状態で、この位置でポインタが検知された資料をタッチパネルに表示させる。【選択図】図３
2010261989.tif 000002
【特許請求の範囲】
【請求項１】
第一の表示装置に選択的に表示された画像を確認するための支援を行う画像処理装置であって、
前記第一の表示装置によって表示された前記画像に対して指されたポインタおよび当該画像における当該ポインタの位置を検知するポインタ検知手段と、
検知された前記ポインタの位置を選択するための選択肢を第二の表示装置に表示させる選択肢表示処理手段と、
前記選択肢が選択されるごとに、当該選択された選択肢に係る前記ポインタの位置を指すように目印を配置した状態で、当該位置で前記ポインタが検知された前記画像を前記第二の表示装置に表示させる画像再表示処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像再表示処理手段は、前記画像として第一の資料を表示させ、次に前記画像として第二の資料を表示させた後、前記画像として当該第一の資料を再度表示させる場合は、当該第二の資料の存在を伝えるための第二の目印とともに表示する、
請求項２記載の画像処理装置。
【請求項３】
前記画像再表示処理手段は、前記第二の目印が選択されると前記画像として前記第二の資料を表示させる、
請求項２記載の画像処理装置。
【請求項４】
前記画像を前記第一の表示装置に表示させて行われるプレゼンテーションを録音した音声を記憶する音声記憶手段と、
前記目印が選択されたときに、当該目印の位置が前記ポインタによって指された際の音声を再生する音声再生手段と、を有する、
請求項１ないし請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記画像再表示処理手段は、前記目印として、当該目印の位置が前記ポインタによって指された際に録音された音声の内容を表すテキストを含む目印を配置する、
請求項１ないし請求項４のいずれかに記載の画像処理装置。
【請求項６】
第一の表示装置に選択的に表示された画像を確認するための支援を行う表示履歴確認支援方法であって、
前記第一の表示装置によって表示された前記画像に対して指されたポインタおよび当該画像における当該ポインタの位置をコンピュータに検知させ、
検知された前記ポインタの位置を選択するための選択肢を第二の表示装置に表示させ、
前記選択肢が選択されるごとに、当該選択された選択肢に係る前記ポインタの位置を指すように目印を配置した状態で、当該位置で前記ポインタが検知された前記画像を前記第二の表示装置に表示させる、
ことを特徴とする表示履歴確認支援方法。
【請求項７】
第一の表示装置に選択的に表示された画像を確認するための支援を行うコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記第一の表示装置によって表示された前記画像に対して指されたポインタおよび当該画像における当該ポインタの位置を検知する処理と、
検知された前記ポインタの位置を選択するための選択肢を第二の表示装置に表示させる処理と、
前記選択肢が選択されるごとに、当該選択された選択肢に係る前記ポインタの位置を指すように目印を配置した状態で、当該位置で前記ポインタが検知された前記画像を前記第二の表示装置に表示させる処理と、
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書類などの画像をプロジェクタなどに提供する技術に関する。
【背景技術】
【０００２】
近年、コピー、ネットワークプリンティング、スキャン、ファックス、およびファイルサーバなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は、「ＭＦＰ（Multi Function Peripherals）」または「複合機」などと呼ばれることもある。画像形成装置は、企業、役所、または教育機関など様々な組織に設置され使用される。
【０００３】
また、パーソナルコンピュータで表示される画面をスクリーンなどに投影する機能を備えたプロジェクタが普及している。近年、プロジェクタには、ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphics Interchange Format）、またはＴＩＦＦ（Tagged Image File Format）などのフォーマットの画像データを使用して画像を出力する機能が備わるようになった。これにより、パーソナルコンピュータがなくても画像を投影できるようになった。
【０００４】
上記の画像形成装置およびプロジェクタを用いれば、画像形成装置で管理されている画像データをプロジェクタへ配信し、プロジェクタによってスクリーンに画像を表示することができる。特に、会議室に備えられているプロジェクタへ画像データを送信すれば、プレゼンテーションなどの資料として画像を容易に出席者に見せることができ、進行役は、プレゼンテーションなどを行いやすい。
【０００５】
また、スクリーンに表示される画像つまり資料の特定の部分を指し棒またはレーザポインタを使って指し示すことによって、出席者の、プレゼンテーションの内容に対する理解を促進することができる。
【０００６】
特許文献１〜４には、プレゼンテーションなどのための画像を取り扱うシステムおよび装置が開示されている。
【０００７】
特許文献１に記載されるプレゼンテーションシステムは、ノートＰＣから出力したプレゼンテーション用画像データをプロジェクタによりスクリーンに投影表示させた状態で、カメラ部により撮影された投影範囲の画像データからプレゼン画像上でのレーザポインタによるポインタ照射位置を検出する。そして、ポインタ照射位置に対応するプレゼン画像上のテキスト部分やイメージ部分をポインタ指示すべき目標部分として抽出し、この目標部分にピッタリと沿わせたアンダーライン画像を合成して投影表示させたり、該目標部分を囲む囲みライン画像ＱＣを合成して投影表示させたりする。
【０００８】
特許文献２に記載される投影装置は、投影中にスクリーンを撮像部により撮像する。画像認識部により、撮像した画像からレーザーポインターにより指定された部分の位置情報を取得する。また、文字認識部において、撮像した画像について指定部分に存在する文字を認識し、その文字サイズを取得する。制御部によって、投影中の画像のサイズ（縦横方向の画素サイズ）に対する相対的な比率が、予め決められている適切な比率となるような拡大倍率を演算し、投影倍率を演算した拡大倍率に変更する。レーザーポインターにより任意の部分を指定するだけで、指定された部分が、その部分に存在する文字が見やすい大きさに拡大された状態で投影される。
【０００９】
特許文献３に記載されるプレゼンテーション用データ処理装置は、分配器と、表示データをスクリーンに表示する表示手段と、スクリーンの表示画像を撮影する第１の撮影手段と、プレゼンターを撮影する第２の撮影手段と、表示データ取り込み手段と、表示画像内において表示部分抽出手段と、表示部分の座標系を設定する座標系設定手段と、指示箇所の座標位置を算出する指示箇所座標算出手段と、表示データ内に指示箇所を合成するプレゼンテーション用データ合成手段と、プレゼンターの画像とプレゼンテーション用データの合成画像を一画面に合成する画面合成手段とを有している。
【００１０】
特許文献４に記載されるシステムは、画像形式のプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像におけるポインタの位置情報に基づいて、このプレゼンテーション資料に含まれる情報毎の重要度を求め、この重要度に応じてこのプレゼンテーション資料中の各キーワードに対する検索の適合度を設定し、この検索の適合度をプレゼンテーション資料中の情報の検索に利用する検索手段を含むポインタの位置情報を利用する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００８−２７０８０号公報
【特許文献２】特開２００８−１７０７４２号公報
【特許文献３】特開２００７−２３３６４７号公報
【特許文献４】特開２００６−２２８０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、プレゼンテーションにおいて、資料をすべての部分を使わず飛び飛びで説明が行われることがある。参加者にとって、このような説明で進行したプレゼンテーションの内容を後から思い出すには、どの部分が使われたのかを容易に知ることができると、便利である。
【００１３】
しかし、従来の技術では、プレゼンテーションでの話者の音声を録音しまたはスクリーンを撮影して録画し、それを再生して確認しなければならない。いわゆる倍速再生で確認したとしても、不便である。
【００１４】
本発明は、このような問題点に鑑み、プレゼンテーションなどで要点になった内容を従来よりも簡単に参加者などが確認できるようにすることを、目的とする。
【課題を解決するための手段】
【００１５】
本発明の一形態に係る画像処理装置は、第一の表示装置に選択的に表示された画像を確認するための支援を行う画像処理装置であって、前記第一の表示装置によって表示された前記画像に対して指されたポインタおよび当該画像における当該ポインタの位置を検知するポインタ検知手段と、検知された前記ポインタの位置を選択するための選択肢を第二の表示装置に表示させる選択肢表示処理手段と、前記選択肢が選択されるごとに、当該選択された選択肢に係る前記ポインタの位置を指すように目印を配置した状態で、当該位置で前記ポインタが検知された前記画像を前記第二の表示装置に表示させる画像再表示処理手段と、を有する。
【００１６】
好ましくは、前記画像再表示処理手段は、前記画像として第一の資料を表示させ、次に前記画像として第二の資料を表示させた後、前記画像として当該第一の資料を再度表示させる場合は、当該第二の資料の存在を伝えるための第二の目印とともに表示する。
【００１７】
または、前記画像再表示処理手段は、前記第二の目印が選択されると前記画像として前記第二の資料を表示させる。
【００１８】
または、前記画像を前記第一の表示装置に表示させて行われるプレゼンテーションを録音した音声を記憶する音声記憶手段と、前記目印が選択されたときに、当該目印の位置が前記ポインタによって指された際の音声を再生する音声再生手段と、を有する。
【００１９】
または、前記画像再表示処理手段は、前記目印として、当該目印の位置が前記ポインタによって指された際に録音された音声の内容を表すテキストを含む目印を配置する。
【発明の効果】
【００２０】
本発明によると、ユーザは、プレゼンテーションなどで要点になった内容を従来よりも簡単に確認することができる。
【図面の簡単な説明】
【００２１】
【図１】組織ネットワークシステムの全体的な構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】操作パネルの例を示す図である。
【図４】画像形成装置の機能的構成の例を示す図である。
【図５】プレゼンテーションシステムの各装置の配置の例を示す図である。
【図６】プロジェクタのハードウェア構成の例を示す図である。
【図７】プロジェクタの機能的構成の例を示す図である。
【図８】表示切換履歴データの例を示す図である。
【図９】ポインタ位置判別処理の流れの例を説明するフローチャートである。
【図１０】ポインタテーブルの例を示す図である。
【図１１】資料ブラウザ画面の例を示す図である。
【図１２】資料ブラウザ画面の例を示す図である。
【図１３】資料ブラウザ画面の例を示す図である。
【図１４】画像形成装置の全体的な処理の流れの例を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
図１は組織ネットワークシステムＳＹの全体的な構成の例を示す図、図２は画像形成装置１のハードウェア構成の例を示す図、図３は操作パネル１０ｈの例を示す図、図４は画像形成装置１の機能的構成の例を示す図、図５はプレゼンテーションシステム２の各装置の配置の例を示す図、図６はプロジェクタ２１のハードウェア構成の例を示す図、図７はプロジェクタ２１の機能的構成の例を示す図である。
【００２３】
組織ネットワークシステムＳＹは、図１に示すように、画像形成装置１、プレゼンテーションシステム２、パーソナルコンピュータ３、および通信回線４などによって構成される。
【００２４】
組織ネットワークシステムＳＹは、企業、役所、または学校などの組織に設けられており、組織のメンバ同士が情報を交換するためなどに用いられる。以下、ある企業に設けられている組織ネットワークシステムＳＹを例に説明する。
【００２５】
その企業の社員であるユーザは、会議などにおいてプレゼンテーションを行う際に、画像形成装置１に保存されている画像データを後述のプロジェクタ２１へ送信し、プロジェクタ２１によって画像を投影することができる。さらに、プレゼンテーションの中で行われた説明を録音するなどして進行のログを作成し、プレゼンテーション後に参照することができる。
【００２６】
画像形成装置１、プレゼンテーションシステム２を構成する各装置（後述するプロジェクタ２１、ビデオカメラ２２、および録音装置２３）、およびパーソナルコンピュータ３は、通信回線４を介して互いに通信を行うことができる。通信回線４として、いわゆるＬＡＮ（Local Area Network）回線、公衆回線、またはインターネットなどが用いられる。
【００２７】
画像形成装置１は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる装置であって、コピー、ネットワークプリンティング（ＰＣプリント）、ファックス、スキャナ、ボックス、およびファイル送信などの機能を集約した装置である。
【００２８】
なお、「ボックス機能」とは、「ボックス」と呼ばれる、パーソナルコンピュータにおけるフォルダまたはディレクトリなどに相当する記憶領域をユーザごとに与えておき、ユーザが自分の記憶領域に画像データなどを保存しておくことができるようにする機能である。
【００２９】
画像形成装置１は、複数の社員（ユーザ）のデスクが集まったフロアなどに設置されており、複数のユーザによって共用される。
【００３０】
画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、ハードディスク１０ｄ、スキャナ１０ｅ、印刷装置１０ｆ、ネットワークコントローラ１０ｇ、操作パネル１０ｈ、モデム１０ｉ、および音声再生ユニット１０ｊのほか、制御用回路などによって構成される。
【００３１】
スキャナ１０ｅは、原稿の用紙に記されている写真、文書、イラスト、図表などの画像を読み取って画像データを生成する装置である。
【００３２】
印刷装置１０ｆは、スキャナ１０ｅによって読み取られた画像または他の装置から受信した画像データに示される画像を印刷する。
【００３３】
操作パネル１０ｈは、図３に示すように、タッチパネル１０ｈ１およびキー群１０ｈ２などによって構成される。
【００３４】
タッチパネル１０ｈ１には、ユーザに対するメッセージを与えるための画面、処理の結果を示す画面、またはユーザが画像形成装置１に対して指示を入力するための画面などが表示される。後述する資料ブラウザ画面６（図１１参照）も、タッチパネル１０ｈ１に表示される。
【００３５】
また、タッチパネル１０ｈ１は、タッチされた（押された）位置を検知し、ＣＰＵ１０ａにその位置を通知する。
【００３６】
キー群１０ｈ２は、テンキーおよびジョブスタートキーのほか、ファックスおよびスキャンなどの各種の機能のモードに対応する画面に切り換えるためのモード選択キーによって構成される。各モード選択キーには、ＬＥＤ（Light Emitting Diode）が設けられており、タッチパネル１０ｈ１に現在表示されている画面に係るモードのモード選択キーのＬＥＤが点灯する。
【００３７】
ユーザは、操作パネル１０ｈを操作することによって、画像形成装置１に対して、画像データをプロジェクタ２１へ送信するように指示したり、送信すべき画像データを選択したり、進行のログを確認したりすることができる。
【００３８】
ネットワークコントローラ１０ｇは、通信回線４を介してパーソナルコンピュータなどの他の装置と通信を行うためのＮＩＣ（Network Interface Card）である。
【００３９】
モデム１０ｉは、固定電話網を介して他のファックス端末との間でＧ３などのプロトコルで画像データをやり取りするための装置である。
【００４０】
音声再生ユニット１０ｊは、サウンドボードおよびスピーカなどからなり、音声データに基づいて音声を再生する。
【００４１】
ＲＯＭ１０ｃまたはハードディスク１０ｄには、図４に示すような資料画像データ保存部１０１、資料画像データ配信部１０２、記録開始指令部１０３、進行実績データ受信部１０４、ポインタ位置判別部１０５、進行実績データ保存部１０６、音声テキスト変換部１０７、資料画面表示処理部１０８、および音声再生処理部１０９などを実現するためのプログラムが記憶されている。これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。
【００４２】
図４に示す各部の機能の全部または一部を回路などのハードウェアのみによって実現してもよい。
【００４３】
図１に戻って、プレゼンテーションシステム２は、プロジェクタ２１、ビデオカメラ２２、録音装置２３、スクリーン２４、およびレーザポイント装置２５などによって構成される。プレゼンテーションシステム２は、会議室などに備えられており、図５のように、プレゼンテーションの資料を表示したりプレゼンテーションの内容を記録したりするために用いられる。
【００４４】
プロジェクタ２１は、液晶パネルを用いて、パーソナルコンピュータなどから入力されたＲＧＢ（Red Blue Green）の画像信号に基づいた画像をスクリーン２４に投影する。プロジェクタ２１は、一般に「画像投影装置」または「液晶プロジェクタ」などと呼ばれることもある。なお、プロジェクタ２１は、液晶方式以外の方式のプロジェクタであってもよい。スクリーン２４は、画像が投影される幕である。
【００４５】
また、プロジェクタ２１は、ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphics Interchange Format）、またはＴＩＦＦ（Tagged Image File Format）などの画像データに基づいて画像を投影することができる。よって、パーソナルコンピュータ３を介することなく画像形成装置１から画像データを直接受信して画像を投影することができる。
【００４６】
プロジェクタ２１は、図６に示すように、ＣＰＵ２１ａ、ＲＡＭ２１ｂ、ＲＯＭ２１ｃ、補助記憶装置２１ｄ、制御用回路２１ｅ、操作パネル２１ｆ、ネットワークコントローラ２１ｇ、および投影ユニット２１ｈなどによって構成される。
【００４７】
補助記憶装置２１ｄは、電源を切ってもその記憶内容が保持される不揮発性の記憶装置である。補助記憶装置２１ｄとして、フラッシュメモリなどの半導体メモリまたはハードディスクなどの磁気記憶装置などが用いられる。
【００４８】
補助記憶装置２１ｄには、図７に示すような資料画像データ受信部２１１、資料画像データ保存部２１２、表示資料指定受付部２１３、表示ページ指定受付部２１４、画像表示制御部２１５、表示履歴記憶部２１６、および表示履歴通知処理部２１７などを実現するためのプログラムが記憶されている。これらのプログラムは、必要に応じてＲＡＭ２１ｂにロードされＣＰＵ２１ａによって実行される。
【００４９】
図７に示す各部の機能の全部または一部を回路などのハードウェアのみによって実現してもよい。
【００５０】
制御用回路２１ｅは、補助記憶装置２１ｄ、操作パネル２１ｆ、ネットワークコントローラ２１ｇ、投影ユニット２１ｈなどを制御するための回路である。なお、制御用回路２１ｅの機能の一部または全部をＣＰＵ２１ａに受け持たせるようにしてもよい。
【００５１】
操作パネル２１ｆは、ディスプレイおよび種々のキーによって構成される。ディスプレイに表示すべき画面を投影ユニット２１ｈによってスクリーンに表示（投影）するようにしてもよい。この場合は、ディスプレイを設ける必要はない。ユーザは、キーを操作することによって、プロジェクタ２１に対して、表示させたい資料およびページを指定することができる。
【００５２】
ネットワークコントローラ２１ｇは、画像形成装置１およびパーソナルコンピュータ３などとＴＣＰ／ＩＰなどのプロトコルによって通信を行うためのＮＩＣである。
【００５３】
投影ユニット２１ｈは、光源からの白色光をＲ（Red）色成分、Ｇ（Green）色成分、およびＢ（Blue）色成分に分離し、分離された光を液晶パネルに透過させた後に合成し、合成された光を投射レンズに通過させて投影する。ＣＰＵ２１ａなどの指令に基づいて液晶パネル内の表示素子が制御されることにより、入力された画像データに基づいた画像がスクリーン２４に投影される。
【００５４】
図１および図５に戻って、レーザポイント装置２５は、赤色または緑色などの所定の色のレーザ光を発信する、ペン程度の大きさの装置である。一般に「レーザポインタ」と呼ばれることがある。プレゼンテーションを行うユーザ（以下、「進行役ユーザ」と記載する。）は、プロジェクタ２１によってスクリーン２４に表示（投影）される資料に対して、レーザポイント装置２５からのレーザ光を照射することによって、注目すべき箇所を参加者へ知らせることができる。
【００５５】
ビデオカメラ２２は、プレゼンテーションが行われている間、スクリーン２４を撮影し、それによって得られた画像データ（以下、「撮影画像データＤＴＳ」と記載する。）を画像形成装置１へ送信する。
【００５６】
録音装置２３は、プレゼンテーションが行われている間、進行役ユーザの音声を録音し、それによって得られた音声データ（以下、「録音データＤＴＶ」と記載する。）を画像形成装置１へ送信する。録音装置２３には、マイクロフォンが設けられており、プレゼンテーションが行われている間、進行役ユーザの近くに置かれてまたは進行役ユーザの胸元に付けられて使用される。
【００５７】
図１に戻って、パーソナルコンピュータ３は、画像形成装置１、プロジェクタ２１、ビデオカメラ２２、および録音装置２３をそれぞれ制御するためのドライバを有しており、後述するようにこれらの装置を制御するために用いられる。
【００５８】
パーソナルコンピュータ３として、デスクトップ型のパーソナルコンピュータまたはノートブック型のパーソナルコンピュータなどが用いられる。後者の場合は、進行役ユーザは、会議室に持ち込んでプレゼンテーション中に使用することができる。
【００５９】
図８は表示切換履歴データＤＴＲの例を示す図、図９はポインタ位置判別処理の流れの例を説明するフローチャート、図１０はポインタテーブルＴＬ１の例を示す図、図１１〜図１３は資料ブラウザ画面６の例を示す図である。
【００６０】
次に、図４に示す画像形成装置１の各部、図６に示すプロジェクタ２１の各部、ビデオカメラ２２、録音装置２３、およびパーソナルコンピュータ３の処理内容などについて、詳細に説明する。
【００６１】
画像形成装置１において、図４の資料画像データ保存部１０１は、文書、イラスト、写真、または図表などの画像からなる資料（書類）の画像データ（以下、「資料画像データＤＴＧ」と記載する。）をボックスによって記憶し管理する。資料画像データＤＴＧは、後述するように、プレゼンテーションで使用される資料をプロジェクタ２１で表示（投影）するために用いられる。資料画像データＤＴＧは、書類の用紙をスキャナ１０ｅでスキャンすることによって生成される。または、インターネット上のＷｅｂサーバからダウンロードするなどして取得されることもある。資料画像データＤＴＧのフォーマットとして、ＪＰＥＧ、ＧＩＦ、またはＴＩＦＦなどが用いられる。
【００６２】
資料画像データ保存部１０１は、資料画像データＤＴＧをファイル単位で保存している。資料画像データＤＴＧごとにユニークなファイル名が付されている。ファイル名は、資料の名称（資料名）としても、用いられる。
【００６３】
進行役ユーザは、プレゼンテーションで使用する資料をプロジェクタ２１に表示させるための準備を、次のようにして行う。進行役ユーザは、画像形成装置１のところへ行き、印刷装置１０ｆ（図３参照）を操作して画像形成装置１にログインする。
【００６４】
使用する資料の資料画像データＤＴＧが既に資料画像データ保存部１０１のボックスに保存されている場合は、進行役ユーザは、モード選択キーでボックスモードに切り換え、一覧の中からその資料の資料画像データＤＴＧを選択する。
【００６５】
一方、使用する資料の資料画像データＤＴＧが未だない場合は、進行役ユーザは、スキャンモードに切り換え、資料の用紙を原稿台にセットし、画像形成装置１に資料をスキャンさせる。すると、画像形成装置１は、スキャン機能によって従来通り、資料を読み取って資料画像データＤＴＧを生成し、資料画像データ保存部１０１の所定のボックスに保存する。
【００６６】
そして、進行役ユーザは、ボックスモードに切り換え、一覧の中からその資料の資料画像データＤＴＧを選択する。
【００６７】
資料画像データ配信部１０２は、上述の操作によって進行役ユーザが選択した資料画像データＤＴＧを資料画像データ保存部１０１から読み出し、プロジェクタ２１へ配信（送信）する。
【００６８】
なお、進行役ユーザは、画像形成装置１を直接操作して資料画像データＤＴＧを選択したが、パーソナルコンピュータ３またはプロジェクタ２１を操作して遠隔的に資料画像データＤＴＧを選択してもよい。また、進行役ユーザは、必要に応じて複数の資料画像データＤＴＧをプロジェクタ２１へ送信させることができる。
【００６９】
図７に示すプロジェクタ２１の資料画像データ受信部２１１は、画像形成装置１からの資料画像データＤＴＧを受信する。資料画像データ保存部２１２は、受信された資料画像データＤＴＧを保存する。
【００７０】
進行役ユーザは、プレゼンテーションで使用する資料の資料画像データＤＴＧを準備することができたら会議室へ行く。そして、所定の時刻（以下、「開始時刻Ｔ０」と記載する。）になったら、プレゼンテーションを開始する。
【００７１】
記録開始指令部１０３は、開始時刻Ｔ０になったら、プロジェクタ２１、ビデオカメラ２２、および録音装置２３に対して、記録を開始すべき旨の指令を発信する。
【００７２】
すると、ビデオカメラ２２はスクリーン２４の撮影を開始し、録音装置２３は進行役ユーザの音声の録音を開始する。
【００７３】
進行役ユーザは、資料をプロジェクタ２１で表示（投影）させながら、プレゼンテーションを進行することができる。
【００７４】
資料を表示させるに当たって、進行役ユーザは、操作パネル２１ｆを操作して、表示させる資料をプロジェクタ２１に対して指定する。
【００７５】
複数の資料の資料画像データＤＴＧがプロジェクタ２１に記憶されている場合は、進行役ユーザは、プレゼンテーションの最中に適宜、表示する資料を変えることができる。この場合も、進行役ユーザは、操作パネル２１ｆを操作し、次に表示させる資料をプロジェクタ２１に対して指定すればよい。
【００７６】
表示資料指定受付部２１３は、進行役ユーザによる資料の指定を受け付ける。この際に、指定された資料の識別子（例えば、資料の資料画像データＤＴＧのファイル名）および受け付けた時刻を表示履歴記憶部２１６に記憶させる。
【００７７】
また、資料が複数のページからなる場合は、進行役ユーザは、操作パネル２１ｆを操作して、次に表示するページを指定することができる。
【００７８】
すると、表示ページ指定受付部２１４は、その指定を受け付ける。この際に、指定されたページの識別子（例えば、ページ番号）および受け付けた時刻を表示履歴記憶部２１６に記憶させる。
【００７９】
このようにして、進行役ユーザが資料またはページを指定するごとに、指定の履歴が表示履歴記憶部２１６に記憶される。例えば、開始時刻Ｔ０の５秒後に「メイン資料Ａ」というファイル名の資料が指定され、開始時刻Ｔ０の３０秒後に２ページ目が指定され、開始時刻Ｔ０の２分１５秒後に３ページ目が指定され、開始時刻Ｔ０の３分３０秒後に「参考資料Ｂ」というファイル名の資料が指定された場合は、図８のような履歴が表示履歴記憶部２１６に記憶される。
【００８０】
なお、リモートコントローラ付きのレーザポインタをレーザポイント装置２５として使用しプロジェクタ２１に無線レシーバが備わっている場合は、進行役ユーザは、レーザポイント装置２５に設けられているボタンを操作することによって資料およびページを指定してもよい。表示資料指定受付部２１３および表示ページ指定受付部２１４は、それぞれ、レーザポイント装置２５からの信号を受信することによって資料の指定およびページの指定を受け付ける。または、ノートブック型のパーソナルコンピュータをパーソナルコンピュータ３として使用しそれを会議室に持ち込んでいる場合は、進行役ユーザは、パーソナルコンピュータ３を使用して資料およびページを指定してもよい。
【００８１】
画像表示制御部２１５は、表示資料指定受付部２１３によって資料の指定が受け付けられると、指定された資料の資料画像データＤＴＧを資料画像データ保存部２１２から読み出し、その資料のデフォルトのページ（例えば、１番目のページ）をスクリーン２４に表示（投影）する。
【００８２】
または、画像表示制御部２１５は、ある資料のあるページの投影中に表示ページ指定受付部２１４によって別のページの指定が受け付けられると、指定されたページをスクリーン２４へ投影する。
【００８３】
表示履歴通知処理部２１７は、プレゼンテーションの終了後、表示履歴記憶部２１６に記憶された履歴を示す表示切換履歴データＤＴＲを画像形成装置１へ送信する。つまり、表示の履歴を画像形成装置１へ通知する。または、プレゼンテーションの終了後に纏めて通知するのではなく、資料またはページが指定されるごとに通知してもよい。
【００８４】
画像形成装置１の進行実績データ受信部１０４は、プレゼンテーションの進行の実績に関するデータをプロジェクタ２１、ビデオカメラ２２、および録音装置２３から受信する。具体的には、表示切換履歴データＤＴＲをプロジェクタ２１から受信し、撮影画像データＤＴＳをビデオカメラ２２から受信し、録音データＤＴＶを録音装置２３から受信する。
【００８５】
ところで、上述の通り、進行役ユーザは、スクリーン２４に表示されている資料に対してレーザポイント装置２５のレーザ光を適宜、今話している事項に関連することが記されている部分（箇所、範囲）に当てながら、プレゼンテーションを進行する。したがって、撮影画像データＤＴＳには、資料の映像だけでなくレーザ光のポインタも記録されている。
【００８６】
ポインタ位置判別部１０５は、撮影画像データＤＴＳおよび表示切換履歴データＤＴＲに基づいて、レーザ光のポインタがいつどの資料のどのページのどの辺りに当てられたのかを、図９に示すような方法で判別する。
【００８７】
ポインタ位置判別部１０５は、図１０のようなポインタテーブルＴＬ１を予め用意しておく。この時点では、ポインタテーブルＴＬ１には何も格納されていない。
【００８８】
ポインタ位置判別部１０５は、ビデオカメラ２２によって撮影された映像の各コマについて、次のように処理を行う。まず、ポインタ位置判別部１０５は、撮影画像データＤＴＳに基づいて１番目のコマに注目する（図９の＃５０１）。
【００８９】
注目したコマ（以下、「注目コマ」と記載する。）と注目コマの元のコマつまりレーザポイント装置２５によってポイントされていないコマとを比較し相違点の位置を特定することによって、注目コマからポインタおよびその位置を検知する（＃５０２）。両者に相違点がなければポインタの位置は検知されない。
【００９０】
なお、注目コマの元のコマは、その注目コマが撮影された時刻にスクリーン２４に表示された資料およびページを、進行実績データ受信部１０４によって受信された表示切換履歴データＤＴＲに基づいて特定し、特定した資料の資料画像データＤＴＧから得ることができる。
【００９１】
ポインタおよびその位置を検知できた場合は（＃５０３でＹｅｓ）、現在の注目コマの元のコマの資料およびページが、１つ前の注目コマの元のコマの資料およびページと同じでなければ（＃５０４でＮｏ）、ポインタ位置判別部１０５は、そのポインタが新たな部分を指したと判別し（＃５０９）、そのポインタが指した資料、ページ、および位置（検知した位置）と開始時刻Ｔ０からの経過時間とを示すポインタ情報ＰＪを生成し、ポインタテーブルＴＬ１に格納する（＃５１０）。以下、この時点の位置を「初期位置」と記載する。
【００９２】
なお、１番目のコマが注目コマである場合は、１つ前の注目コマが存在しないので、ステップ＃５０２においてポインタを検知できたのであれば、そのポインタが新たなポインタであると必然的にみなされ、そのポインタのポインタ情報ＰＪがポインタテーブルＴＬ１に追加される。
【００９３】
一方、ステップ＃５０２においてポインタを検知できなかった場合は（＃５０３でＮｏ）、ポインタ情報ＰＪを生成し追加する処理も、後述するポインタ情報ＰＪの更新の処理も、行わない。
【００９４】
そして、ポインタ位置判別部１０５は、注目コマの次のコマが残っていれば（＃５１２でＮｏ）、当該次のコマを新たに注目し（＃５１１）、ステップ＃５０２〜＃５１０の処理を次のように適宜実行する。
【００９５】
ポインタ位置判別部１０５は、当該次のコマ（つまり、ここでは、注目コマ）とこの注目コマの元のコマとを比較し相違点の位置を特定することによって、この注目コマからポインタおよびその位置を検知する（＃５０２）。
【００９６】
ポインタおよびその位置を検知できた場合は（＃５０３でＹｅｓ）、現在の注目コマの元のコマの資料およびページが、１つ前の注目コマの元のコマの資料およびページと同じでなければ（＃５０４でＮｏ）、ポインタ位置判別部１０５は、そのポインタが新たなポインタであると判別し、そのポインタが指した資料、ページ、および位置（検知した位置）と開始時刻Ｔ０からの経過時間とを示すポインタ情報ＰＪを生成し、ポインタテーブルＴＬ１に格納する（＃５１０）。つまり、表示される資料またはページに変化があった場合は、新たなポインタ情報ＰＪが生成されポインタテーブルＴＬ１に追加される。
【００９７】
現在の注目コマの元のコマの資料およびページが、１つ前の注目コマの元のコマの資料およびページと同じであれば（＃５０４でＹｅｓ）、最近に追加されたポインタ情報ＰＪのポインタの初期位置と現在の注目コマの検知された位置とのＸ軸方向およびＹ軸方向の差を算出する（＃５０５）。
【００９８】
Ｘ軸方向の差およびＹ軸方向の差がともに閾値α（例えば、５０ドット）以上である場合は（＃５０６でＹｅｓ）、ポインタ位置判別部１０５は、新たな部分にポインタが移動したと判別する（＃５０９）。そのポインタが指した資料、ページ、および位置（検知した位置）と開始時刻Ｔ０からの経過時間とを示すポインタ情報ＰＪを生成し、ポインタテーブルＴＬ１に格納する（＃５１０）。
【００９９】
Ｘ軸方向の差およびＹ軸方向の差のうちの少なくとも一方が閾値α未満である場合は（＃５０６でＮｏ）、ポインタ位置判別部１０５は、引き続き同じ部分をポインタが指していると判別する（＃５０７）。この場合は、ポインタ位置判別部１０５は、現在の注目コマから検知したポインタの位置と、同じ部分を指していると判別した、他のコマから検知した各ポインタの位置との、平均的な位置（つまり、これらのコマにおけるポインタの移動範囲のほぼ中心の位置）を算出し、最新のポインタ情報ＰＪのポインタ位置を、算出した位置に更新する（＃５０８）。
【０１００】
例えば、同じ部分を指していると判別したポインタが３つ既に存在し、それぞれの位置が（ｘ１，ｙ１）、（ｘ２，ｙ２）、および（ｘ３，ｙ３）であり、今回検知したポインタの位置が（ｘ４，ｙ４）である場合は、ポインタ位置判別部１０５は、最新のポインタ情報ＰＪの「ポインタ位置（ｘ，ｙ）」を（（ｘ１＋ｘ２＋ｘ３＋ｘ４）／４，（ｙ１＋ｙ２＋ｙ３＋ｙ４）／４）に更新する。
【０１０１】
上記の処理を撮影した映像の各コマについて行うことによって、ポインタによって指された部分ごとのポインタ情報ＰＪが得られる。
【０１０２】
図４および図６に戻って、進行実績データ保存部１０６には、ポインタ位置判別部１０５によって得られたポインタテーブルＴＬ１および進行実績データ受信部１０４によって得られた録音データＤＴＶが保存される。つまり、プレゼンテーションの議事録が保存される。
【０１０３】
音声テキスト変換部１０７は、次に説明する資料画面表示処理部１０８からの要求に応じて、録音データＤＴＶに基づいて進行役ユーザの音声をテキストデータ化する。つまり、音声認識処理を行う。
【０１０４】
資料画面表示処理部１０８は、プレゼンテーションで使用された資料を進行役ユーザまたは参加者などのユーザが閲覧するための資料ブラウザ画面６を操作パネル１０ｈに表示させる処理を行う。
【０１０５】
資料ブラウザ画面６は、図１１に示すように、ポインタ遷移表示領域６Ａおよび資料表示領域６Ｂによって構成される。
【０１０６】
資料表示領域６Ｂには、ポインタテーブルＴＬ１に格納されている各ポインタ情報ＰＪに示される、ポインタが指した部分の一覧が、配置される。ユーザが一覧の中からいずれかの部分を選択すると、資料画面表示処理部１０８は、その部分を含む資料およびページを、その資料の資料画像データＤＴＧに基づいて資料表示領域６Ｂに表示させる。さらに、アイコン６Ｃを、その資料およびページ上の、そのポインタのポインタ情報ＰＪの「ポインタ位置（ｘ，ｙ）」に示される位置を指すように配置する。
【０１０７】
ユーザは、ポインタ遷移表示領域６Ａに対して選択を行うことによって、プレゼンテーション中にポインタで説明がなされた部分を簡単に確認することができる。
【０１０８】
また、資料画面表示処理部１０８は、ある資料のあるページを資料表示領域６Ｂに表示し、次に別の資料のあるページをした後、前の資料およびページを再表示する際に、当該別の資料およびページのアイコン６Ｄをポインタの位置を指すように配置する。
【０１０９】
例えば、資料画面表示処理部１０８は、ポインタ遷移表示領域６Ａの上から６番目が選択されると、メイン資料Ａの８ページ目を資料表示領域６Ｂに表示させる。次に上から７番目が選択されると、参考資料Ｂの１０ページ目を表示させる。そして、再び上から６番目が選択されると、図１２のように、参考資料Ｂの１０ページ目のアイコン６Ｄを、アイコン６Ｃが指す位置と同じ位置を指すように配置する。アイコン６Ｄが選択されると、資料画面表示処理部１０８は、そのアイコン６Ｄに対応する資料およびページつまり参考資料Ｂの１０ページ目を再び表示させる。
【０１１０】
音声再生処理部１０９は、ユーザがアイコン６Ｃを選択すると、そのアイコン６Ｃに位置をポインタが指した際の、進行役ユーザの音声を、録音データＤＴＶに基づいて再生させる。再生の開始の時刻は、そのポインタのポインタ情報ＰＪに示される経過時間を参照すれば分かる。例えば、経過時間が「１０分２１秒」であれば、開始時刻Ｔ０から１０分２１秒が経過したところから音声を再生させればよい。また、再生する時間は、所定の秒数である。または、ユーザが停止の指令を行うまで、再生を続けてもよい。
【０１１１】
音声を再生するとともにまたはその代わりに、その音声を表すテキスト（文字列）を音声テキスト変換部１０７の音声認識処理によって生成し、図１３のように、そのテキストを吹き出しのような形状で有するアイコンをアイコン６Ｃとして表示してもよい。そのテキストは、アイコン６Ｃが選択された際に表示してもよいし、最初から表示してもよい。
【０１１２】
図１４は画像形成装置１の全体的な処理の流れの例を説明するフローチャートである。
【０１１３】
次に、画像形成装置１の、プレゼンテーションの資料の提示のための全体的な処理の流れを、図１４のフローチャートを参照しながら説明する。
【０１１４】
画像形成装置１は、プレゼンテーションが開始する前に、進行役ユーザが指定した資料の資料画像データＤＴＧをプロジェクタ２１へ送信する（図１４の＃１）。そして、開始時刻Ｔ０になったら、プロジェクタ２１、ビデオカメラ２２、および録音装置２３に対して、記録を開始すべき旨の指令を与える（＃２）。
【０１１５】
すると、プロジェクタ２１は、進行役ユーザによる資料およびページの指定を記録し、図８のような表示切換履歴データＤＴＲを生成する。ビデオカメラ２２は、スクリーン２４を撮影することによって、撮影画像データＤＴＳを生成する。録音装置２３は、進行役ユーザの音声を録音することによって、録音データＤＴＶを生成する。
【０１１６】
画像形成装置１は、プレゼンテーションの進行のログのデータとして、プロジェクタ２１から表示切換履歴データＤＴＲを受信し、ビデオカメラ２２から撮影画像データＤＴＳを受信し、録音装置２３から録音データＤＴＶを受信する（＃３）。
【０１１７】
そして、画像形成装置１は、受信した撮影画像データＤＴＳおよび表示切換履歴データＤＴＲに基づいて、レーザポイント装置２５によるポインタの位置を判別し、位置の遷移のデータ、つまり、図１０に示すようなポインタ情報ＰＪを生成する（＃４）。ポインタ情報ＰＪを生成する処理の手順は、前に図９で説明した通りである。
【０１１８】
プレゼンテーションの終了後、ユーザが所定のコマンドを入力すると、画像形成装置１は、図１１のような資料ブラウザ画面６を表示する（＃５）。資料表示領域６Ｂには、デフォルトの資料およびページとして、ポインタテーブルＴＬ１の１番上のポインタ情報ＰＪに示される資料およびページ、つまり、プレゼンテーションにおいて最初にスクリーン２４に表示された資料およびページを、表示する。ポインタ遷移表示領域６Ａには、ポインタで指された部分が複数示されるが、この時点では、１番上の部分が選択された状態になっている。
【０１１９】
ここで、ユーザは、ポインタ遷移表示領域６Ａの中から、任意の部分を選択することができる。または、アイコン６Ｃを選択することができる。または、アイコン６Ｄが表示されている場合は、それを選択することができる。
【０１２０】
ポインタ遷移表示領域６Ａの中からいずれかの部分が選択された場合は（＃７でＹｅｓ）、画像形成装置１は、資料表示領域６Ｂに、現在表示している資料およびページの代わりに、選択された部分を含む資料およびページを新たに表示する（＃１０）。ただし、選択された部分を含む資料が資料表示領域６Ｂに現在表示している資料と異なりかつ以前に資料表示領域６Ｂに表示されたことがある場合は（＃８でＹｅｓ）、図１３のように、選択された部分を含む資料およびページを、アイコン６Ｄを配置して表示する（＃９）。
【０１２１】
または、アイコン６Ｄが選択された場合は（＃７でＮｏ、＃１１でＹｅｓ）、画像形成装置１は、資料表示領域６Ｂに、現在表示している資料およびページの代わりに、そのアイコン６Ｄに対応付けられている資料およびページを表示する（＃１２）。
【０１２２】
または、アイコン６Ｃが選択された場合は（＃７でＮｏ、＃１１でＮｏ、＃１３でＹｅｓ）、そのアイコン６Ｃが示す部分がポインタで指された際の進行役ユーザの音声を再生する（＃１４）。
【０１２３】
ステップ＃９、＃１２、および＃１４の処理は、ユーザによる操作に応じて適宜実行される。
【０１２４】
本実施形態によると、ユーザは、プレゼンテーションなどで要点になった内容、例えば議論の内容およびアクションアイテムなどを、従来よりも簡単に確認することができる。
【０１２５】
本実施形態では、資料の表示用の装置として液晶プロジェクタを用いたが、プラズマディスプレイなどを用いてもよい。
【０１２６】
本実施形態では、資料を指し示す装置としてレーザポインタを用いたが、指し棒を用いてもよい。この場合は、指し棒の先端をポインタとして検知すればよい。または、マウスポインタを用いてもよい。マウスポインタを用いる場合は、マウスポインタの位置をパーソナルコンピュータ３のオペレーティングシステムに問い合わせることによって、ポインタの位置を検知することができる。
【０１２７】
本実施形態では、開始時刻Ｔ０になったときにスクリーン２４の撮影および進行役ユーザの音声の録音を開始したが、進行役ユーザの合図があったときに開始してもよい。この場合は、合図があった時刻を開始時刻Ｔ０とすればよい。
【０１２８】
本発明は、プレゼンテーションのためだけでなく、授業およびセミナーなどのためにも用いることができる。
【０１２９】
本実施形態では、資料ブラウザ画面６を画像形成装置１のタッチパネル１０ｈ１に表示させたが、パーソナルコンピュータ３のディスプレイに表示させてもよい。
【０１３０】
その他、組織ネットワークシステムＳＹ、画像形成装置１、プレゼンテーションシステム２、プロジェクタ２１の全体または各部の構成、処理内容、処理順序、データの構成、閾値αの値などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１３１】
１  画像形成装置（画像処理装置）
１０４  進行実績データ受信部（音声記憶手段）
１０５  ポインタ位置判別部（ポインタ検知手段）
１０８  資料画面表示処理部（選択肢表示処理手段、画像再表示処理手段）
１０９  音声再生処理部（音声再生手段）
１０ｈ１  タッチパネル（第二の表示装置）
１０ｊ  音声再生ユニット（音声再生手段）
２４  スクリーン（第一の表示装置）
６Ａ  ポインタ遷移表示領域
６Ｂ  資料表示領域
６Ｃ  アイコン（目印）
６Ｄ  アイコン（第二の目印）
【図１】
2010261989.tif 000003
【図２】
2010261989.tif 000004
【図３】
2010261989.tif 000005
【図４】
2010261989.tif 000006
【図５】
2010261989.tif 000007
【図６】
2010261989.tif 000008
【図７】
2010261989.tif 000009
【図８】
2010261989.tif 000010
【図９】
2010261989.tif 000011
【図１０】
2010261989.tif 000012
【図１１】
2010261989.tif 000013
【図１２】
2010261989.tif 000014
【図１３】
2010261989.tif 000015
【図１４】
2010261989.tif 000016