(57)【要約】【課題】  ホワイトボードに記入した内容を消さずに、レビュー対象物をページ遷移させた場合に、遷移元ページで記入された内容と、遷移先ページに記入された内容との関連性を判別し、レビュー中にホワイトボードに記入された内容を、レビュー参加者が後でレビュー結果を参照する上で最適な形で、レビュー対象物の文書データに追記して記憶すること。【解決手段】  レビュー対象資料の画像をページ毎に遷移して投射し、投射された投影面に記入された内容を前記ページ毎に撮像する。投射されたページの画像を遷移する際に撮像された画像データと、該ページを遷移する前に撮像された画像データとを比較し、該ページを投射中に投影面に記入された内容を抽出し、抽出された内容と、レビュー対象資料のページの情報とを関連付けて記憶することを特徴とする。【選択図】  図３
2014187429.tif 000002
【特許請求の範囲】
【請求項１】
レビュー対象資料の画像をページ毎に遷移して投射する投射手段と、
前記投射手段によって投射された投影面に記入された内容を前記ページ毎に撮像する撮像手段と、
前記投射手段により投射されたページの画像を遷移する際に、前記撮像手段によって撮像された画像データと、該ページを遷移する前に前記撮像手段により撮像された画像データとを比較し、該ページを投射中に投影面に記入された内容を抽出する記入内容抽出手段と、
前記記入内容抽出手段によって抽出された内容と、レビュー対象資料のページの情報とを関連付けて記憶する記入情報記憶手段と、
を有することを特徴とする画像投射装置。
【請求項２】
前記記入内容抽出手段によって抽出された内容を撮像された画像データのオブジェクト毎に識別するオブジェクト識別手段と、
前記オブジェクト識別手段によって遷移前のページで認識された第１のオブジェクトと、前記オブジェクト識別手段によって遷移後のページで認識される第２のオブジェクトとの関連があるかどうかを判断するオブジェクト関連判断部と、
前記オブジェクト関連判断部により、前記第２のオブジェクトが前記第１のオブジェクトと関連があると判断された場合、前記記入情報記憶手段は、前記第２のオブジェクトと前記第１のオブジェクトとを前記遷移後のページの情報と関連付けて記憶し、前記第２のオブジェクトが前記第１のオブジェクトと関連がないと判断された場合、前記第２のオブジェクトを前記遷移後のページの情報と関連付けて記憶することを特徴とする請求項１に記載の画像投射装置。
【請求項３】
前記オブジェクト関連判断部は、前記第１のオブジェクトと前記第２のオブジェクトの最近接点間の距離が前記画像データのサイズに比して小さい場合に、前記第２のオブジェクトが前記第１のオブジェクトと関連があると判断することを特徴とする請求項２に記載の画像投射装置。
【請求項４】
前記オブジェクト識別手段は、前記画像データの中で連続的に記入されたオブジェクトを１つのオブジェクトとして識別し、前記画像データ内の１つもしくは複数のオブジェクトとして識別することを特徴とする請求項２または３に記載の画像投射装置。
【請求項５】
前記オブジェクト識別手段により識別された第３のオブジェクトを文字認識する光学文字認識手段と、
前記投射手段により前記ページの画像が投射されている間の発言者の音声を録音する録音手段と、
前記録音手段により録音された音声を文字として識別する音声識別手段と、
前記音声識別手段により識別された文字情報からキーワードを検出するキーワード検出手段と、
前記キーワード検出手段により検出されたキーワードと、前記光学文字認識手段により認識された第３のオブジェクトに対応する文字と、が一致している場合、前記記入情報記憶手段は、前記第３のオブジェクトを前記遷移後のページの情報と関連付けて記憶することを特徴とする請求項２乃至４に記載の画像投射装置。
【請求項６】
前記第１のオブジェクトと前記第２のオブジェクトをそれぞれ文字認識する光学文字認識手段と、
前記オブジェクト関連判断部は、前記光学文字認識手段により認識された第１のオブジェクトの文字情報と第２のオブジェクトの文字情報とを比較して、先頭文字が共通の文字、もしくは連続する文字コードの文字かを判断し、
前記記入情報記憶手段は、前記オブジェクト関連判断部により、前記第１のオブジェクトの文字情報と前記第２のオブジェクトの文字情報との先頭文字が共通の文字、もしくは連続する文字コードの文字の場合、前記第２のオブジェクトと前記第１のオブジェクトとを前記遷移後のページの情報と関連付けて記憶することを特徴とする請求項２乃至５に記載の画像投射装置。
【請求項７】
画像投射装置を制御する制御方法であって、
レビュー対象資料の画像をページ毎に遷移して投射する投射ステップと、
前記投射ステップによって投射された投影面に記入された内容を前記ページ毎に撮像する撮像ステップと、
前記投射ステップにより投射されたページの画像を遷移する際に、前記撮像ステップによって撮像された画像データと、該ページを遷移する前に前記撮像ステップにより撮像された画像データとを比較し、該ページを投射中に投影面に記入された内容を抽出する記入内容抽出ステップと、
前記記入内容抽出ステップによって抽出された内容と、レビュー対象資料のページの情報とを関連付けて記憶する記入情報記憶部に登録する記入情報登録ステップと、
を有することを特徴とする画像投射装置を制御する制御方法。
【請求項８】
画像投射装置を制御するプログラムであって、
レビュー対象資料の画像をページ毎に遷移して投射する投射手段と、
前記投射手段によって投射された投影面に記入された内容を前記ページ毎に撮像する撮像手段と、
前記投射手段により投射されたページの画像を遷移する際に、前記撮像手段によって撮像された画像データと、該ページを遷移する前に前記撮像手段により撮像された画像データとを比較し、該ページを投射中に投影面に記入された内容を抽出する記入内容抽出手段と、
前記記入内容抽出手段によって抽出された内容と、レビュー対象資料のページの情報とを関連付けて記憶する記入情報記憶手段と、
を有することを特徴とする画像投射装置を制御するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像投射装置、画像投射装置の制御方法ならびにプログラムに関し、特に、投射されたスクリーン上に直接書き込まれた情報を、投影対象の文書データに反映して記憶するための技術に関する。
【背景技術】
【０００２】
ソフトウェア開発において、設計書およびソースコードなどの成果物を、プロジェクタを使用してそれらの資料をスクリーン上に投射し、レビューを実施する場合などがある。
【０００３】
このレビューにおいては、投射している画像に対して参加者が直接スクリーン上に記入する場合がある。例えば、レビュー対象物を投射するスクリーンとしてホワイトボードを使用する場合である。この場合、レビュー対象物に対する修正すべき事項、新たなに付与すべき情報をマジックで書き込む。
【０００４】
レビュー中に書き込んだ情報を後に確認する際に、元のレビュー対象物との対応関係を容易に把握できるようにする投影装置として、特許文献１が開示されている。
【特許文献１】特開２００９−２６５１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に記載の方法では、ホワイトボードに記入した内容を消さずに、レビュー対象物をページ遷移させた場合、遷移先ページと関連性のない、消さずに残した内容まで一緒に関連づけてしまう欠点がある。
【０００６】
一方で、遷移元ページ内容で記入した内容が遷移先のページで参照されるケースもある。この場合、ページ遷移させた後で、遷移元ページ内容に対して記入した内容に関連して追記するケースも考えられるため、遷移元のページ内容に対して書き込まれた内容を一律に無視すると不都合が発生する。
【０００７】
本発明は前述の問題点に鑑み、ホワイトボードに記入した内容を消さずに、レビュー対象物をページ遷移させた場合について、遷移元ページで記入された内容と、遷移先ページに記入された内容との関連性を判別し、レビュー中にホワイトボードに記入された内容を、レビュー参加者が後でレビュー結果を参照する上で最適な形で、レビュー対象物の文書データに追記して記憶することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、レビュー対象資料の画像をページ毎に遷移して投射する投射手段と、前記投射手段によって投射された投影面に記入された内容を前記ページ毎に撮像する撮像手段と、前記投射手段により投射されたページの画像を遷移する際に、前記撮像手段によって撮像された画像データと、該ページを遷移する前に前記撮像手段により撮像された画像データとを比較し、該ページを投射中に投影面に記入された内容を抽出する記入内容抽出手段と、前記記入内容抽出手段によって抽出された内容と、レビュー対象資料のページの情報とを関連付けて記憶する記入情報記憶手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ホワイトボードに記入した内容を消さずに、レビュー対象物をページ遷移させた場合について、遷移元ページで記入された内容と遷移先ページで記入された内容に関連性がある場合は、両者を遷移先ページに追記し、前記関連性がない場合は、遷移先ページで記入された内容のみ遷移先ページに追加することができる。
【００１０】
よって、レビュー参加者がレビュー結果を参照する上で最適な形に、ホワイトボードに記入された内容が追記されたレビュー対象物の文書データを得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるプロジェクタ２００によって投影する画面イメージの一例を示した模式図である。
【図２】本発明の実施形態におけるプロジェクタ２００のハードウェア構成を示す図である。
【図３】本発明の実施形態におけるプロジェクタ２００のソフトウェア構成を示す図である。
【図４】本発明の実施形態におけるプロジェクタ２００の基本的な処理フローを示す図である。
【図５】本発明の実施形態における、図１１のプレゼンテーション資料と図１０の本発明で記憶した情報とを平行に表示させた場合のイメージ図である。
【図６】本発明の実施形態におけるプロジェクタ２００が有するオブジェクト関連記憶部３０６のデータの一例を示した図である。
【図７】本発明の実施形態におけるプロジェクタ２００が撮影して撮像画像記憶部３０５に記憶されるホワイトボードにおける画像のイメージを示す図である。
【図８】本発明の実施形態におけるプロジェクタ２００が各スライドを投影時に記入された画像のみを抽出して、記入項目記憶部３０３に記憶した例を示すイメージ図である。
【図９】本発明の実施形態におけるプロジェクタ２００が、オブジェクト間の関連を判断する例を説明するイメージ図である。
【図１０】本発明の実施形態におけるプロジェクタ２００が記入情報記憶部３１３に記憶して出力する画像データの一例を示すイメージ図である。
【図１１】本発明の実施形態におけるプロジェクタ２００からホワイトボードに投影される画像のイメージを示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の解決しようとする課題を図１を参照して説明する。
【００１３】
図１は、本発明の実施形態におけるプロジェクタ２００によって投影する画面イメージの一例を示した模式図である。
【００１４】
図１の１１０、１２０、１３０は、本発明のプロジェクタ２００が投影可能なホワイトボードなどに画像を投影したイメージ図であり、１１０が投影画面の１ページ目、１２０が２ページ目、１３０が３ページ目の画像の例である。１１２は、１ページ目のスライドで表示される画像イメージで有り、同様に２ページ目のスライドで表示される画像イメージが１２２、３ページ目のスライドで表示される画像イメージが１３２である。
【００１５】
１ページ目のスライド１１０を表示している際に、プレゼンターなどが文字列１１１のような文字をマジックなどで記載し、２ページ目のスライドに移動する。その際、特許文献１は、ホワイトボードに記載された文字列１１１を抽出し、１ページ目のデータと関連づけて記憶することが記載されている。
【００１６】
次の２ページ目のスライド１２０を表示した際に、プレゼンターなどが文字列１１１を消さずに文字列１２１のような文字をマジックなどで記載し、３ページ目のスライドに移動する場合、特許文献１では、文字列１１１と文字列１２１の両方とも抽出し、２ページ目のデータと関連づけて記憶してしまう。
【００１７】
本来、２ページ目のスライド１２０は、文字列１１１とは無関係にもかかわらず、ホワイトボードに消さずに残っているため、スライド１２０と文字列１１１、文字列１２１は関連があると判断されて、関連づけて記憶されてしまうという課題を有する。
【００１８】
また、３ページ目のスライド１３０を表示した際に、プレゼンターなどが文字列１１１や文字列１２１を消さずに文字列１３１のような文字をマジックなどで記載し、図示しない４ページ目のスライドに移動する場合、特許文献１では、文字列１１１、文字列１２１、文字列１３１の全ての情報を３ページ目のスライドと関連づけて記憶してしまう。
【００１９】
文字列１３１は、文字列１１１と近い場所に記載されているので関連があると考えられる。仮に３ページ目を表示している間に記載された文字列１３１だけを記憶するプロジェクタが存在すると、文字列１１１は３ページ目とは関連づけされずに記憶されてしまうと言う課題を有する。
【００２０】
以上の課題を解決することを目的に、以下の構成により本発明を実現している。
【００２１】
図２を参照して、本発明のプロジェクタ２００のハードウェア構成について説明する。
【００２２】
図２は、本発明の実施形態におけるプロジェクタ２００のハードウェア構成を示す図である。
【００２３】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２４】
また、ＲＯＭ２０２あるいは情報記憶媒体２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等（）として機能する。
【００２５】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２６】
また、入力コントローラ（入力Ｃ）２０５は、操作部２０９からの入力を制御する。
【００２７】
出力コントローラ（出力Ｃ）２０６は、投影部２１０等の表示器への表示を制御する。表示器はＣＲＴでも良いし、液晶ディスプレイでも構わない。
【００２８】
情報記憶媒体２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する。
【００２９】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。他の情報処理装置との情報通信や、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００３０】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、投影部２１０上での表示を可能としている。
【００３１】
本発明を実現するためのプログラムは情報記憶媒体２０７に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明で生成されるプログラムやプロキシクラスファイル、プログラムが用いる定義ファイル及び各種情報テーブルは情報記憶媒体２０７に格納されており、これらについての詳細な説明は後述する。
【００３２】
なお、図２の構成は一例であり、用途や目的に応じて様々な構成例があることは云うまでもない。その他の構成例として、プロジェクタが、ネットワークと接続され、通信可能な不図示のパーソナルコンピュータ等の情報処理装置からプログラム生成命令を受けることによって、プログラムの生成を行うことも可能である。
【００３３】
すなわち、本発明の機能が実現されるものであれば、単体の機器であっても、複数の機器からなるシステムであっても、ネットワークを介して処理が行われるシステムであっても本発明を適用することができる。
【００３４】
また、情報記憶媒体２０７に記憶された情報は、それぞれデータベース（ＤＢ）等に格納されていても良い。
【００３５】
次に、図３を参照して、図２に示したプロジェクタ２００のソフトウェア構成について説明する。
【００３６】
図３は、本発明の実施形態におけるプロジェクタ２００のソフトウェア構成を示す図である。
【００３７】
図３のプロジェクタ２００は、画像信号３７０を入力する信号入力部３１０と、画像信号３７０の情報を投影部３１２に出力する信号出力部３１１を有する。投影部３１２に出力された画像信号３７０は投影面であるホワイトボード３６０などに投影される。
【００３８】
また、プロジェクタ２００は、ホワイトボード３６０にマジックなどで発言者などが記入した情報を撮影するための撮像部３３０や発言者などの発言を録音する録音部３４０などを有している。
【００３９】
画像信号３７０の情報は、ホワイトボード３６０にマジックなどで発言者などが記入した情報と対応付けるため、信号入力部３１０から記入情報記憶部３１３にも送信される。送信される情報は、画像信号３７０に含まれるスライド情報自体でも良いし、信号入力部３１０が信号出力部３１１に送信するスライドのページ数だけでも良い。
【００４０】
記入情報記憶部３１３は、ホワイトボード３６０を撮影する撮像部３３０と発言者の音声を録音する録音部３４０と接続されており、それぞれからプレゼンターなどの記入した画像や発言した内容を把握する。
【００４１】
記入情報記憶部３１３は、記入内容抽出部３０１、オブジェクト認識部３０２、記入項目記憶部３０３、オブジェクト関連付け判断部３０４、撮像画像記憶部３０５、オブジェクト関連記憶部３０６、音声識別部３０７、キーワード検出部３０８、ＯＣＲ部３０９とを有しており、これらの構成で、ホワイトボード３６０への記入情報をスライドのページ毎に記憶することができる。
【００４２】
撮像画像記憶部３０５は、撮像部３３０により撮影された撮像画像を各スライドのページ番号毎に記憶する。記入内容抽出部３０１は、撮像画像記憶部３０５で記憶されたホワイトボードの画像のうち、現在投影されているスライドが表示されている間にプレゼンターなどの記入した画像のみを抽出する。具体的には、スライドのページが遷移する際に投影部３１２で投影しているスライドを一瞬ホワイトスクリーンにして、ホワイトスクリーンが投影されているホワイトボードを撮像部３３０で撮影する。ホワイトボードがホワイトスクリーンになっているので、プレゼンターなどの記入した情報のみが表示されており、それまでに記載されているホワイトボード上の情報が撮像部３３０により撮像される。図１の例を記憶した撮像画像としては、図７の７１０、７２０、７３０が対応する撮像画像になる。撮影された撮像画像は、撮像画像記憶部３０５へと記憶され、それ以前のスライドのページで記憶された撮像画像との差分を抽出する。
【００４３】
なお、投影部３１２においてホワイトスクリーンにして撮像する例を記載したが、ホワイトスクリーンにしなくても、例えば、信号入力部から受信した情報と撮像画像との差分により、ホワイトボード上に記入された情報のみを抜き出しても良い。
【００４４】
記入項目記憶部３０３は、記入内容抽出部３０１において抽出された抽出画像を、スライドを遷移させる前のページと関連付けて記憶する。図１の例を記憶した抽出画像としては、図８の８１０、８２０、８３０が対応する抽出画像になる。
【００４５】
なお、記入項目記憶部３０３は、スライドのページ番号と関連付けて記憶しても良いし、信号入力部から受信した情報に上書きして記憶しても良い。
【００４６】
オブジェクト識別・記憶部３０２は、記入内容抽出部３０１により抽出された抽出画像をオブジェクト毎に識別する。具体的には、撮像画像上に連続的に記録されている画像を１つのオブジェクトとして記憶する。図１の例を識別記憶したオブジェクトとしては、図８の８１１、８２１、８３１が該当する。
【００４７】
オブジェクト関連判断部３０４は、オブジェクト識別・記憶部３０２により記憶された各ページのオブジェクトを比較して、各ページのオブジェクトとの関連があるかどうかを判断する。具体的には撮像画像に撮影されている画像の中で各ページのオブジェクト間の距離が近いオブジェクトを、該当するページのオブジェクトと関連があるオブジェクトと判断する。
【００４８】
なお、オブジェクト関連判断部３０４により、該当するオブジェクトと関連があると判断されたオブジェクトは、オブジェクト関連記憶部３０６に記憶される。記憶されたオブジェクト関連記憶部３０６の例として、図６の６００を示す。図６の６０１列が関連する関連オブジェクト名であり、図の例では、オブジェクトファイル名が「ｏｂｊｅｃｔ１．ｏｂｊ」のファイルが「ｏｂｊｅｃｔ３．ｏｂｊ」と関連するオブジェクトとして記憶されていることを意味する。
【００４９】
以上の構成により、抽出したオブジェクトとスライドのページ番号、並びに関連するオブジェクトとの関係から、ユーザが確認したいホワイトボードなどへの記入情報を確認することができるという効果を有する。
【００５０】
また、プロジェクタ２００は録音部３４０を有していても良く、録音部３４０により録音された音声を識別し、ホワイトボードに記載された文字情報との関係により、投影されたスライドのページ番号とホワイトボード上のオブジェクト（抽出画像）が関係があるかを判断し、オブジェクト関連記憶部３０６に記憶しても良い。
【００５１】
録音部３４０により録音された音声情報を音声識別部３０７により識別し、キーワード検出部３０８により音声情報からキーワードを検出する。また、ホワイトボード３６０に記入された抽出画像（オブジェクト）をＯＣＲ部３０９により文字情報化し、キーワード検出部３０９により検出されたキーワードと一致する抽出画像であれば、その抽出画像（オブジェクト）をオブジェクト関連記憶部３０６に記憶する構成にする。
【００５２】
以上の構成により、ホワイトボードに記載された文字情報と関連する言葉が発言者などから発言されると、過去に記入されたオブジェクトであっても、投影されたページに関連する情報として記憶することが可能になる。
【００５３】
また、投影部３１２は、空間光変調器３２１と、空間光変調器３２１を駆動する駆動部３２０と、光源３２２と、レンズ３２３とを含んで構成されている。
【００５４】
駆動部３２０は、信号出力部３１１からの画像信号に基づき、空間光変調器３２１を駆動する。そして、投影部３１２は、光源３２２からの光を、空間光変調器３２１およびレンズ３２３を介して投影する。
【００５５】
次に、プロジェクタ２００の基本的な処理フローについて、図４を参照して説明する。
【００５６】
図４は、本発明の実施形態におけるプロジェクタ２００の基本的な処理フローを示す図である。なお、図４のフローチャートはプロジェクタ２００のＣＰＵ２０１により実行されるものであり、図中のＳ４０１からＳ４１３はそれぞれの処理ステップを示す。
【００５７】
図４のフローチャートは、例えば情報処理装置からプロジェクタ２００に投影する画像信号３７０が送信されると開始される。
【００５８】
図４のステップＳ４０１において、プロジェクタ２００のＣＰＵ２０１は、受信した画像信号３７０を投影部３１２によりホワイトボード３６０へ投影する。投影する画像情報の例を図１１を参照して説明する。
【００５９】
図１１は、本発明の実施形態におけるプロジェクタ２００からホワイトボードに投影される画像のイメージを示す図であり、図１と同じ例のプロジェクタから投影された画像のみを示した図である。
【００６０】
１１１０はスライドの１ページ目の画像を投影したイメージ図であり、スライドの中に１１１２のような画像が投影されている。同様に１１２０は２ページ目の画像を投影したイメージ図であり、スライド内には１１２２のような画像が投影されている。１１３０は３ページ目の画像を投影したイメージ図であり、スライド内には１１３２のような画像が投影されている。図４のフローチャートの説明に戻る。
【００６１】
次に、ステップＳ４０２において、プロジェクタ２００のＣＰＵ２０１は、録音部３４０による音声の録音を開始する。なお、以後に説明する録音部３４０による録音処理や、発言者の会話の音声識別部３０７による識別処理などは必須ではない。
【００６２】
次に、ステップＳ４０３において、プロジェクタ２００のＣＰＵ２０１は、投影が終了するかどうかの判断を受け付ける。投影が終了する場合は、録音部３４０による録音を終了し、このフローの処理を終える。
【００６３】
一方、ステップＳ４０３において、投影が終了しない場合は、次のステップＳ４０４へと処理を移行する。
【００６４】
ステップＳ４０４において、プロジェクタ２００のＣＰＵ２０１は、録音部３４０により録音された音声を音声識別部３０７で識別し、キーワード検出部３０８により音声情報の中のキーワードを検出する。
【００６５】
次に、ステップＳ４０５において、プロジェクタ２００のＣＰＵ２０１は、ステップＳ４０３とステップＳ４０４の処理をスライドのページが遷移する命令を受け付けるまで繰り返す。ステップＳ４０５において、スライドのページを遷移させる命令を受け付けると、次のステップＳ４０６へと処理を移行する。
【００６６】
ステップＳ４０３からステップＳ４０５の間に、プレゼンターやミーティングの同席者が、ホワイトボードに文字情報や記号情報を書き込む。書き込んだ後の画面イメージが図１の例である。図１を参照して、プレゼンターなどがホワイトボードに書き込んだ後のイメージを説明する。
【００６７】
図１は、図１１のスライドページそれぞれに、プレゼンターや同席者が文字を記入した例である。１１０はスライドの１ページ目（図１１の１１１０）に文字１１１を記入した図、１２０はスライド２ページ目（図１１の１１２０）に文字１２１を追記した図、１３０はスライド３ページ目（図１１の１１３０）に文字１３１を追記した図である。図４のフローチャートの説明に戻る。
【００６８】
ステップＳ４０６に移行すると、プロジェクタ２００のＣＰＵ２０１は、撮像部３３０にホワイトボードの記入情報の撮影を命令する。その際、投影部３１２は、それまで投影していたスライドのページ画像を、一瞬だけホワイトスクリーンにする。すなわち、投影画像を一旦消し、白い画像を投影することにより、ホワイトボードに書き込んだ内容だけを表示させ、記入された内容を撮影しやすいように制御する。その後、撮像部３３０によりホワイトボードを撮影し、記入情報を記憶する。記入情報を記憶した例を図７を参照して説明する。
【００６９】
図７は、本発明の実施形態におけるプロジェクタ２００が撮影して撮像画像記憶部３０５に記憶されるホワイトボードにおける画像のイメージを示す図であり、図１と同じ例のスライドが投影された際に記入された情報を示した図である。図７の７１０，７２０，７３０を撮像画像記憶部３０５に記憶する
【００７０】
図７の画像７１０は、図１１の１ページ目の画像（１１１０）が投影されている間にプレゼンターなどから記入されたオブジェクト７１１を撮影したイメージ図であり、オブジェクト７１１が記入された文字情報の例である。７２０は、図１１の２ページ目の画像（１１２０）が投影されている間にプレゼンターなどから記入されたオブジェクト７２１と、プレゼンターが消さずに残しておいたオブジェクト７１１とが共に撮影されたイメージ図である。同様に、７３０は、図１１の３ページ目の画像（１１３０）が投影されている間にプレゼンターなどから記入されたオブジェクト７３１と、プレゼンターが消さずに残しておいたオブジェクト７１１とオブジェクト７２１とが共に撮影されたイメージ図である。図４のフローチャートの説明に戻る。
【００７１】
次に、図４のステップＳ４０７において、プロジェクタ２００のＣＰＵ２０１は、現在投影中のページでホワイトボードに記入された画像のみを抽出し、記入項目記憶部３０３に記憶する。画像の抽出例を図７と図８を参照して説明する。
【００７２】
図８は、本発明の実施形態におけるプロジェクタ２００が各スライドを投影時に記入された画像のみを抽出して、記入項目記憶部３０３に記憶した例を示すイメージ図であり、図１と同じ例のスライドが投影された際に記入された画像の例を示した図である。
【００７３】
たとえば、１ページ目の場合は、ステップＳ４０６で記憶された画像が、そのまま記入された画像になる。そのため、図７の７１０のような画像がそのまま１ページ目の記入画像８１０として抽出され、記入項目記憶部３０３に記憶される。
【００７４】
２ページ目の場合は、ステップＳ４０６で記憶された画像は１ページ目で記入されたオブジェクト７１１と２ページ目に記入されたオブジェクト７２１とが含まれている。そのため、２ページ目のステップＳ４０６で記憶された画像７２０から、１ページ目のステップＳ４０６で記憶した画像７１０を削除し、差分を抽出し、記入項目記憶部３０３に記憶する。抽出した画像の例が、図８の８２０である。
【００７５】
同様に３ページ目の場合は、ステップＳ４０６で記憶された画像は、１ページ目で記入されたオブジェクト７１１と２ページ目で記入されたオブジェクト７２１が含まれ、新たにオブジェクト７３１が記入された画像７３０が記憶されている。そのため、２ページ目のステップＳ４０６で記憶された画像７２０を３ページ目のステップＳ４０６で記憶された画像７３０から削除して差分を抽出し、記入項目記憶部３０３に記憶する。差分を抽出した画像の例が、図８の８３０である。図４のフローチャートの説明に戻る。
【００７６】
次に、図４のステップＳ４０８において、プロジェクタ２００のＣＰＵ２０１は、ステップＳ４０７で抽出した画像から、画像内の記入されたオブジェクトとして抽出し、オブジェクト識別・記憶部３０２に記憶する。画像内の記入された領域は、一般的に空間周波数が高く、輝度コントラストが大きいので、空間周波数の分析と輝度コントラストの評価によって、オブジェクト領域を抽出する。具体例を図８を参照して説明する。
【００７７】
図８の８１１の領域は１ページ目で記入されたオブジェクトとして抽出され、オブジェクト識別・記憶部３０２に記憶される画像（オブジェクト）である。なお、記憶されたオブジェクトのオブジェクトファイル名は「ｏｂｊｅｃｔ１．ｏｂｊ」であり、記憶された画像イメージファイル名としては「ｉｍａｇｅ１．ｊｐｇ」とする（図６の６０２行参照）。これらのファイル名は、後述するオブジェクト関連記憶部３０６のデータである図６内で説明する。なお、オブジェクトファイル「ｏｂｊｅｃｔ１．ｏｂｊ」には、記入項目記憶部３０３に記憶された画像上の位置情報などを記憶しており、画像イメージファイル「ｉｍａｇｅ１．ｊｐｇ」には具体的な画像情報を記憶している。
【００７８】
同様に、図８の８２１の領域は２ページ目で記入されたオブジェクトとして抽出される。抽出され、オブジェクト識別・記憶部３０２に記憶されたオブジェクトのオブジェクトファイル名は「ｏｂｊｅｃｔ２．ｏｂｊ」であり、記憶された画像イメージファイル名としては「ｉｍａｇｅ２．ｊｐｇ」とする（図６の６０３行参照）。また、８３１の領域は３ページ目で記入されたオブジェクトとして抽出される。抽出され、オブジェクト識別・記憶部３０２に記憶されたオブジェクトのオブジェクトファイル名は「ｏｂｊｅｃｔ３．ｏｂｊ」であり、記憶された画像イメージファイル名としては「ｉｍａｇｅ３．ｊｐｇ」とする（図６の６０４行参照）。図４のフローチャートの説明に戻る。
【００７９】
次に、図４のステップＳ４０９において、プロジェクタ２００のＣＰＵ２０１は、ステップＳ４０８で抽出し、記憶したオブジェクト（以後、新オブジェクトと呼ぶ）が、記憶したスライドのページより前にステップＳ４０８により抽出、記憶されたオブジェクト（以後、旧オブジェクトと呼ぶ）と関連があるかをオブジェクト関連判断部３０４において判断する。新オブジェクトと旧オブジェクトとが関連があれば、ステップＳ４１０へと処理を移行し、関連がなければ、ステップＳ４１１へと処理を移行する。
【００８０】
以下に、新オブジェクトと旧オブジェクトとが関連があるかどうかの判断とそれ以降の図４のフローチャートの処理を、具体的に図６、図９を参照して説明する。
【００８１】
図６は、本発明の実施形態におけるプロジェクタ２００が有するオブジェクト関連記憶部３０６のデータの一例を示した図である。
【００８２】
図６の６００が、オブジェクト関連記憶部３０６のデータであり、６０２行から６０４行などにそれぞれ、オブジェクトファイル名と画像イメージファイル名、投影ページ（記入された投影ページ）６０５と関連オブジェクト６０１が記憶されている。
【００８３】
例えば、６０２の「ｉｍａｇｅ１．ｊｐｇ」画像イメージファイルが図８の８１１に該当し、６０３の「ｉｍａｇｅ２．ｊｐｇ」画像イメージファイルが図８の８２１に、６０４の「ｉｍａｇｅ３．ｊｐｇ」画像イメージファイルが図８の８３１に該当する。
【００８４】
図９は、本発明の実施形態におけるプロジェクタ２００が、オブジェクト間の関連を判断する例を説明するイメージ図である。
【００８５】
図９の９２０は２ページ目におけるステップＳ４０６の撮像画像記憶部３０５に記憶された画像データである。画像データ９２０には、１ページ目に記入されたオブジェクト８１１（画像イメージファイルでは「ｉｍａｇｅ１．ｊｐｇ」）と２ページ目に記入されたオブジェクト８２１（画像イメージファイルでは「ｉｍａｇｅ２．ｊｐｇ」）とが存在する。
【００８６】
図９の２ページ目のスライドにおける記入オブジェクト８２１は、それ以前に記入されたオブジェクト８１１と記入位置が大きく離れており、オブジェクト８２１とオブジェクト８１１は関連がないと判断される。そのため、図６の６０３行目のオブジェクト８２１の関連オブジェクト６０１欄には何も記憶されず、投影ページ欄６０５にのみ「２」ページ目という情報が記憶される（ステップＳ４１１）。
【００８７】
一方、図９の９３０は３ページ目におけるステップＳ４０６の撮像画像記憶部３０５に記憶された画像データ９３０である。画像データ９３０には、１ページ目に記入されたオブジェクト８１１（画像イメージファイルでは「ｉｍａｇｅ１．ｊｐｇ」）と２ページ目に記入されたオブジェクト８２１（画像イメージファイルでは「ｉｍａｇｅ２．ｊｐｇ」）、並びに３ページ目に記入されたオブジェクト８３１（画像イメージファイルでは「ｉｍａｇｅ３．ｊｐｇ」）とが存在する。
【００８８】
図９の３ページ目のスライドにおいて記入されたオブジェクト８３１は、それ以前に記入されたオブジェクトの８２１とは記入位置が離れているが、オブジェクト８１１とは近い場所に位置している。すなわち、スライド全体のサイズに比べて、オブジェクト間の最近接点が近い。オブジェクト８３１とオブジェクト８１１の距離が近いので、オブジェクト８３１とオブジェクト８１１は関連があると考えられ、図６の６０４行目のオブジェクト８３１の関連オブジェクト欄６０１に、オブジェクト８１１のオブジェクト名である「ｏｂｊｅｃｔ１．ｏｂｊ」を記憶する。また、オブジェクト８３１は、３ページ目において記入されたオブジェクトであるので、投影ページ欄６０５に「３」ページ目という情報も記憶する（ステップＳ４１０）。
【００８９】
以上のような処理により、オブジェクト間の距離から関連オブジェクトの関係を抽出する処理を行い、次のステップＳ４１２へと処理を移行する。
【００９０】
なお、ステップＳ４０９において、ホワイトボードに記載された文字情報をＯＣＲ部３０９により文字情報化し、ステップＳ４０４において抽出したキーワードからＯＣＲ部３０９により文字情報化された文字情報と一致するオブジェクトがあれば、そのオブジェクトをオブジェクトとの関連ページとして記憶させても良い。
【００９１】
また、ステップＳ４０９において、ホワイトボードに記載された文字情報をＯＣＲ部３０９により文字情報化し、その文字情報が段落番号（「１、２、３…」や「ａ、ｂ、ｃ…」などの文字コードが近い記号）や段落記号（●や・、○などの共通で付与された記号）に続いて記載されている場合なども、それらのオブジェクト同士も関連ページとして記憶させても良い。図９の例であれば、８１１の「１○大文字ではじめる」と記載されたオブジェクトは、８３１の「２○区切りで大文字を使う。」と先頭文字が連番の段落番号が付与されているため、関連があるページとして記憶する。
【００９２】
次に、ステップＳ４１２において、プロジェクタ２００のＣＰＵ２０１は、録音部３４０による音声の録音を停止し、ステップＳ４１３において、スライドを次ページへと遷移させる。その後、ステップＳ４０１の処理に移行する。
【００９３】
これらの処理をステップＳ４０３において投影が終了するまで繰り返し、投影が終了すると、一連の処理を終える。
【００９４】
以上の構成により、図１１のような投影画像の時に図８のような記入がプレゼンターなどによりなされた場合の、記入情報記憶部３１３の記憶する画像データの例を、図１０を参照して説明する。
【００９５】
図１０は、本発明の実施形態におけるプロジェクタ２００が記入情報記憶部３１３に記憶して出力する画像データの一例を示すイメージ図である。
【００９６】
図１０の１ページ目１０１０には１０１１の参照項目が記憶され、２ページ目１０２０の参照項目としては１０２１のみを記憶している。３ページ目１０３０の参照項目としては、１ページ目に記入されたオブジェクト８１１と３ページ目に記入されたオブジェクト８３１とを関連するオブジェクトとして、１０３１として参照項目とし記憶する。
【００９７】
上記技術により記憶された記入情報を、ユーザがプレゼンテーション資料と並行して確認する例を、図５を参照して説明する。
【００９８】
図５は、本発明の実施形態における、図１１のプレゼンテーション資料と図１０の本発明で記憶した情報とを平行に表示させた場合のイメージ図である。
【００９９】
図５の例は、図１のプレゼンテーションにて本発明による記憶を行った例である。１ページ目のプレゼンテーション中に記入された１１１の画像をプレゼンターが消さずに、２ページ目に遷移した場合、ホワイトボード上では１ページ目の記入項目１２３を表示したままプレゼンテーションが進むが、ユーザがプレゼンテーション資料を後ほど見直す場合などに図５のように、１ページ目で記入した項目５１１（オブジェクト）を５２１のように消して表示しないようにする。これにより、プレゼンテーションと関係が無い記入項目を削除して表示して、ユーザがプレゼンテーション資料を見直す作業を効率よくすることができる。
【０１００】
また、画面イメージ５２０のように一律に過去の記入項目を削除すると、ホワイトボード上に後から関連付けするためにプレゼンターが残しておいた画像も削除してしまうことになる。本発明はこれも解決でき、３ページ目の画面イメージ５３０の参照項目として５３１を表示することが可能となる。すなわち、図１の１ページ目での記入項目１１１と３ページ目での記入項目１３１とを同時に参照項目５３１として表示することが可能となる。
【０１０１】
なお、上記実施例では文字情報のみを抽出対象としたが、文字情報のみではなく、線や閉曲線、矢印などをオブジェクト対象とすることも可能である。
【０１０２】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１０３】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０４】
なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【０１０５】
さらに、各種プログラムに従属するデータもディレクトリなどに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【０１０６】
本実施形態におけるフローチャートに示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【０１０７】
以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１０８】
この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【０１０９】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【０１１０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１２】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１３】
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１４】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１５】
２００  プロジェクタ
３０１  記入内容抽出部
３０２  オブジェクト識別・記憶部
３０３  記入項目記憶部
３０４  オブジェクト関連判断部
３０５  撮像画像記憶部
３０６  オブジェクト関連記憶部
３０７  音声識別部
３０８  キーワード検出部
３０９  ＯＣＲ部
３１０  信号入力部
３１１  信号出力部
３１２  投影部
３１３  記入情報記憶部
３２０  駆動部
３２１  空間光変調部
３２２  光源
３２３  レンズ
３３０  撮像部
３４０  録音部
３６０  ホワイトボード
３７０  画像信号
【図１】
2014187429.tif 000003
【図２】
2014187429.tif 000004
【図３】
2014187429.tif 000005
【図４】
2014187429.tif 000006
【図５】
2014187429.tif 000007
【図６】
2014187429.tif 000008
【図７】
2014187429.tif 000009
【図８】
2014187429.tif 000010
【図９】
2014187429.tif 000011
【図１０】
2014187429.tif 000012
【図１１】
2014187429.tif 000013