(57)【要約】      （修正有）【課題】投影画像とその画像が投影されているときの録音内容との対応関係を崩さずに、それらを忠実に再現できるようにする。【解決手段】携帯電話装置１は、録音中にあってホワイトボード３上に投影されている投影画像を特定した際に、そのときの投影画像をキャプチャして記憶すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶しておき、録音内容の再生時に、現在の再生位置と画像キャプチャ時の録音位置との比較結果に応じて、当該録音位置に対応付けて記憶されているキャプチャ画像を出力してホワイトボード３上に投影させる。【選択図】図１
2010257038.tif 000002
【特許請求の範囲】
【請求項１】
音声録音機能及び録音再生機能を有した端末装置であって、
前記音声録音機能による録音中にあって被投影体上に投影される投影画像が特定された際に、そのときの投影画像をキャプチャする画像キャプチャ手段と、
この画像キャプチャ手段によるキャプチャ画像を記憶管理すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶管理する記憶手段と、
前記録音再生機能による録音内容の再生時に、現在の再生位置と前記画像キャプチャ時の録音位置とを比較する比較手段と、
この比較手段による再生位置と録音位置との比較結果に応じて、当該録音位置に対応付けて記憶管理されているキャプチャ画像を前記記憶手段から読み出して対応する前記録音内容の再生と共に出力させる出力制御手段と、
を具備したことを特徴とする端末装置。
【請求項２】
前記被投影体上に画像を投影する画像投影手段と、
この画像投影手段による最初の画像の投影時、次の画像への切り替え投影時、拡大画像の投影時のうち、少なくともそのいずれかの時点を検出する検出手段と、
を更に備え、
前記画像キャプチャ手段は、前記検出手段によって検出された時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
前記投影画像をキャプチャすべきことを音声で指示する音声指示手段を更に備え、
前記画像キャプチャ手段は、前記音声指示手段によって音声指示された時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項４】
外部装置によって被投影体上に投影されている投影画像を撮影する撮影手段を更に備え、
前記画像キャプチャ手段は、前記撮影手段によって撮影された画像を認識し、この画像認識の結果、その内容が変化したことを検出した時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項５】
前記出力制御手段は、キャプチャ画像を出力する際に、キャプチャ画像を投影用画像として出力、端末画面への出力、外部表示装置への出力のうち、少なくともそのいずれかの出力を行う、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項６】
コンピュータに対して、
音声録音機能による録音中にあって被投影体上に投影される投影画像が特定された際に、そのときの投影画像をキャプチャする機能と、
前記キャプチャ画像を記憶管理すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶管理する機能と、
録音再生機能による録音内容の再生時に、現在の再生位置と前記画像キャプチャ時の録音位置とを比較する機能と、
前記再生位置と録音位置との比較結果に応じて当該録音位置に対応付けて記憶管理されている前記キャプチャ画像を読み出して対応する前記録音内容の再生と共に出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声録音機能及び録音再生機能を有した端末装置及びプログラムに関する。
【背景技術】
【０００２】
従来、光源や透過型液晶パネルなどを使用して画像を光変換してスクリーン上に投影するプロジェクタ装置をパーソナルコンピュータ（ＰＣ）や携帯電話などの端末装置に接続し、各種の資料（画像）をスクリーン上に投影させてプレゼンテーションを行う場合に、その発表者などは、スクリーン上の資料にしたがってその補足説明や注意事項などを口頭説明するようにしている。ここで、従来では、プレゼンテーション時の音声（口頭による説明など）をも含めて録音することによってプレゼンテーションを忠実に再現できるようにしたシステムが提案されている（特許文献１参照）。すなわち、この先行技術は、資料の投影時に口頭で説明した事項をその資料毎に区別して録音しておき、その資料を後で表示させながらその録音内容を再生することによってプレゼンテーションを再現するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−５８９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した先行技術は、各資料が予め自己の端末側で用意されていて、この資料にしたがってプレゼンテーションを進行してゆくことを前提としたもので、プレゼンテーションの途中で他の端末からの割り込みで資料が投影されたようなときには、その資料の把握することができないため、自己の端末での資料と録音内容との対応がその途中で崩れてしまい、そのままでは忠実にプレゼンテーションを再現することができなくなる、という問題が残る。
【０００５】
このような場合に、プレゼンテーション内容を最初から最後まで動画撮影を行って全て（丸ごと）録画することも考えられるが、このような丸ごと録画を行うと、全体の記憶容量が膨大なものとなってしまう。そこで、録音のみを行うことも考えられるが、音声のみでは、どのような資料に対する説明であったのか、どの資料に対応していたものなのか、などが不明となり、プレゼンテーションの再現性が悪くなってしまう、という問題が残る。このことは、他の端末からの割り込み投影が多くなればなるほど、顕著なものとなる。
【０００６】
本発明の課題は、投影画像とその画像が投影されているときの録音内容との対応関係を崩さずに、それらを忠実に再現できるようにすることである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために請求項１記載の発明は、音声録音機能及び録音再生機能を有した端末装置であって、前記音声録音機能による録音中にあって被投影体上に投影される投影画像が特定された際に、そのときの投影画像をキャプチャする画像キャプチャ手段と、この画像キャプチャ手段によるキャプチャ画像を記憶管理すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶管理する記憶手段と、前記録音再生機能による録音内容の再生時に、現在の再生位置と前記画像キャプチャ時の録音位置とを比較する比較手段と、この比較手段による再生位置と録音位置との比較結果に応じて、当該録音位置に対応付けて記憶管理されているキャプチャ画像を前記記憶手段から読み出して対応する前記録音内容の再生と共に出力させる出力制御手段と、を具備したことを特徴とする。
【０００８】
請求項１に従属する発明として、前記被投影体上に画像を投影する画像投影手段と、この画像投影手段による最初の画像の投影時、次の画像への切り替え投影時、拡大画像の投影時のうち、少なくともそのいずれかの時点を検出する検出手段と、を更に備え、前記画像キャプチャ手段は、前記検出手段によって検出された時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００９】
請求項１に従属する発明として、前記投影画像をキャプチャすべきことを音声で指示する音声指示手段を更に備え、前記画像キャプチャ手段は、前記音声指示手段によって音声指示された時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【００１０】
請求項１に従属する発明として、外部装置によって被投影体上に投影されている投影画像を撮影する撮影手段を更に備え、前記画像キャプチャ手段は、前記撮影手段によって撮影された画像を認識し、この画像認識の結果、その内容が変化したことを検出した時点を前記投影画像が特定された際としてそのときの投影画像をキャプチャする、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１１】
請求項４に従属する発明として、前記出力制御手段は、キャプチャ画像を出力する際に、キャプチャ画像を投影用画像として出力、端末画面への出力、外部表示装置への出力のうち、少なくともそのいずれかの出力を行う、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１２】
また、上述した課題を解決するために請求項６記載の発明は、コンピュータに対して、音声録音機能による録音中にあって被投影体上に投影される投影画像が特定された際に、そのときの投影画像をキャプチャする機能と、前記キャプチャ画像を記憶管理すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶管理する機能と、録音再生機能による録音内容の再生時に、現在の再生位置と前記画像キャプチャ時の録音位置とを比較する機能と、前記再生位置と録音位置との比較結果に応じて当該録音位置に対応付けて記憶管理されている前記キャプチャ画像を読み出して対応する前記録音内容の再生と共に出力する機能と、を実現させるためのプログラムを特徴とする。
【発明の効果】
【００１３】
本発明によれば、投影されている投影画像とその画像が投影されているときの録音内容との対応関係を崩さずに、それらを忠実に再現することができ、実用効果の高いものとなる。
【図面の簡単な説明】
【００１４】
【図１】端末装置として適用した携帯電話装置１を使用して、携帯電話装置１から出力した投影対象の画像がホワイトボード３上に投影された状態を示した図。
【図２】プロジェクタ機能付きの携帯電話装置１の基本的な構成要素を示したブロック図。
【図３】ユーザ操作でプレゼンテーションモードが選択された際に実行開始されるプレゼンテーション処理を示したフローチャート。
【図４】図３の動作に続くフローチャート。
【図５】図３の動作に続くフローチャート。
【図６】図３の動作に続くフローチャート。
【図７】録音開始から録音終了までの間にキャプチャされた各画像を時系列的に説明するための図。
【発明を実施するための形態】
【００１５】
以下、図１〜図７を参照して本発明の実施形態を説明する。
この実施形態は、端末装置として携帯電話装置に適用した場合を例示したもので、図１は、投影機能（プロジェクタ機能）付きの携帯電話装置を使用して、携帯電話装置から出力した投影対象の画像がホワイトボード（スクリーン）上に投影された状態を示した図である。
携帯電話装置１は、投影機能（プロジェクタ機能）、音声録音機能（ボイスレコーダ機能）、撮影機能（カメラ機能）、音声認識機能、録音再生機能などを有している。プロジェクタ機能は、各種プレゼンテーション用の資料（投影対象ファイル）の内容をスクリーン（ホワイトボード）上に順次投影させてプレゼンテーションを行う場合に使用されるもので、ＡＣ電源（商用電源）に接続されているクレードル（充電台）２に載置（接続）させた状態において、プロジェクタ機能の起動が指示されると、ＡＣ電源（商用電源）からの供給電力に基づいてプロジェクタ機能が動作し、プレゼンテーション資料（投影対象ファイル）の内容をホワイトボード（被投影体）３上に投影するようにしている。
【００１６】
ここで、投影対象ファイルは、例えば、グラフ、表、写真、文章などのプレゼンテーション資料としての複数ページからなる投影用の画像を有する構成で、この複数ページ分の投影用の画像は、ページ送り操作（ページ更新操作）に応じてその先頭ページから順次指定され、この指定ページの内容（画像）がホワイトボード３上に順次投影されるようになる。なお、ホワイトボード３は、ペンによる手書きが可能となるように白く表面加工されていて、スクリーンの代用として使用される。音声録音機能は、プレゼンテーション時にその発表者（例えば、ユーザ）などが注意事項などを口頭で説明している場合に、この説明内容などを録音するボイスレコーダ（ＩＣレコーダなど）であり、ユーザ指示による録音開始から録音終了までの間、その録音動作を継続するようにしている。
【００１７】
撮影機能（カメラ機能）は、ホワイトボード３上に投影されている投影画像を撮影するもので、携帯電話装置１は、自己の端末（携帯電話装置）１から投影用の画像が出力されていなければ、他の携帯電話装置やプロジェクタなどの外部装置４から投影用の画像が出力されている場合であると判断して、この投影画像を撮影するようにしている。すなわち、自己の端末（自端末）１から投影用の画像が出力されていない場合には、ホワイトボード３上の投影エリアをモニタ撮影しながらその画像を認識することによって、投影エリアの内容が変化したかをチェックし、投影エリアの内容が変化したことを検出した際に、上述の外部装置４から画像が投影されている場合であると判断して、この投影画像を撮影するようにしている。
【００１８】
音声認識機能は、他の携帯電話装置やプロジェクタなどの外部装置４から投影用の画像が出力されている場合に、投影画像をキャプチャすべきことが音声指示された際に、この音声指示内容を認識してキャプチャ指令を出力する機能である。録音再生機能は、過去のプレゼンテーションを再現するために、そのプレゼンテーション時に録音された録音内容を再生する機能である。なお、プレゼンテーションの再現時には、内蔵スピーカ（サウンドスピーカ）から出力する場合に限らず、外部スピーカやパーソナルコンピュータなどの外部出力装置５から出力するようにしてもよい。
【００１９】
自端末（携帯電話装置）１は、その音声録音機能（ボイスレコーダ）による録音中に、ホワイトボード３に投影されている投影画像（自端末１から出力されて投影されている画像又は外部装置４から出力されて投影されている画像）が特定された際に、そのときの投影画像をキャプチャし、このキャプチャ画像を保存すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置（録音時間を示すタイムスタンプ）を保存するようにしている。この実施形態において、“キャプチャ画像”とは、投影画像が特定された際にキャプチャした１枚の静止画を意味し、投影画像をキャプチャする毎に１枚分の画像を保存するようにしている。
【００２０】
また、“投影画像が特定された際”とは、最初の画像が投影される時、次の画像への切り替え投影時、投影されている画像が拡大投影された時（ズーム時）のいずれかの時点であり、携帯電話装置１は、そのいずれかの時点を検出した際に、そのときの投影画像をキャプチャして保存する。ここで、キャプチャする画像は、自端末１から出力されて投影されている画像をキャプチャした場合に限らず、外部装置４から出力されて投影されている画像をキャプチャした場合であってよい。また、“投影画像をキャプチャする”とは、自端末１から出力された画像が投影されている場合にはその画像を内部的に取得することを示し、また、他の携帯電話装置やプロジェクタなどの外部装置４から出力された画像が投影されている場合にはその画像を撮影することによって取得することを示している。
【００２１】
これによって、プレゼンテーションの進行に応じて上述した所定のタイミング毎に、投影画像をキャプチャして保存するが、その際、各キャプチャ画像に対応付けて当該キャプチャ時の録音位置を保存するようにしている。この状態において、そのプレゼンテーションを再現するために録音再生機能を起動させると、その録音内容を再生する動作が開始されるが、その際、現在の再生位置と画像キャプチャ時の録音位置との比較を行い、この再生位置が録音位置に一致した際に、当該録音位置に対応付けて保存されているキャプチャ画像を読み出してホワイトボード３上に投影させるようにしている。このように再生位置が録音位置に一致する毎に、当該録音位置に対応付けられているキャプチャ画像が投影される。
【００２２】
図２は、プロジェクタ機能付きの携帯電話装置１の基本的な構成要素を示したブロック図である。
この携帯電話装置１は、例えば、２つの筐体（操作部筐体、表示部筐体）が開閉可能に取り付けられた折り畳み自在なもので、上述したプロジェクタ機能、音声録音機能、撮影機能、音声認識機能、録音再生機能以外に、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）などが備えられている。ＣＰＵ１１は、記憶部１２内の各種のプログラムに応じてこの携帯電話装置１の全体動作を制御する中核的な中央演算処理装置である。
【００２３】
記憶部１２は、内部メモリであり、図示しないが、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図３〜図６に示す動作手順に応じて本実施形態を実現するためのプログラムが格納され、また、そのデータ領域には、投影対象ファイル記憶部Ｍ１、録音ファイル記憶部Ｍ２、キャプチャ画像記憶部Ｍ３などが設けられている。投影対象ファイル記憶部Ｍ１は、予め用意されている各種プレゼンテーション用の資料（投影対象ファイル）を記憶管理するメモリである。録音ファイル記憶部Ｍ２は、プレゼンテーション毎にその進行に合わせて、その最初から逐次録音した録音内容を録画ファイルとして記憶管理するメモリである。キャプチャ画像記憶部Ｍ３は、上述のようにプレゼンテーションの進行に応じて上述した所定のタイミング毎に、投影画像をキャプチャした画像をその順序にしたがって記憶管理するメモリで、各キャプチャ画像に対応付けて当該キャプチャ時の録音位置（録音時間を示すタイムスタンプ）が記憶される。
【００２４】
メモリ１３は、ワーク領域を有する内部メモリであり、必要に応じてメモリ１３内の各種のデータは、記憶部１２にセーブされる。記録メディア１４は、着脱自在な可搬型メモリで、例えば、ＳＤカード、ＩＣカードなどによって構成されている。なお、上述した投影対象ファイル記憶部Ｍ１、録音ファイル記憶部Ｍ２、キャプチャ画像記憶部Ｍ３は、内部メモリとしての記憶部１２に設ける場合に限らず、記録メディア１４に設けるようにしてもよい。
【００２５】
電話通信部１５は、図示しない無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能（音声電話機能）、電子メール機能、インターネット接続機能の動作時に最寄りの基地局（図示せず）との間でデータの送受信を行う通信手段で、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、音声信号処理部１６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１６から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナＡＴ１から発信出力させる。
【００２６】
操作部１７は、ダイヤル入力、文字入力、コマンド入力などを行うもので、各種の動作モードの中からプレゼンテーションモードを選択するモードキー、プレゼンテーション開始（プロジェクタ開始）を指示するスタートボタン（図示省略）などを有し、ＣＰＵ１１は、操作部１７からの入力信号に応じた処理を実行する。表示部１８は、例えば、高精細液晶あるいは有機ＥＬを使用し、待受画像、撮影画像などを表示する。クレードル接続部１９は、充電ケーブルに接続されているクレードル２に携帯電話装置１が載置された際に、クレードル２に電気的に接続されるコネクタ部であり、クレードル接続部１９は、携帯電話装置１がクレードル２に載置（接続）されたことを検出する。ここで、図示しない内蔵電池（二次電池）は、このクレードル接続部１９を介してＡＣ電源から供給される電力によって充電される。携帯電話装置１がクレードル２に載置（接続）されている状態において、ユーザ操作でプレゼンテーションの開始が指示されると、ＡＣ電源（商用電源）からの供給電力に基づいてプロジェクタ機能が動作するようになる。
【００２７】
プロジェクタ部２０は、上述したプロジェクタ機能の構成要素で、ＡＣ電源からの供給電力によって点灯する投影用ライト２０−１と、投影対象の画像を映し出す透過型液晶パネル２０−２と、投影レンズ２０−３とを有するほか、投影用ライト２０−１を制御してそのオン／オフや輝度などを調整する光源調整部２０−４と、透過型液晶パネル２０−２を駆動する駆動部２０−５と、投影レンズ２０−３をピント、ズームなどを調整するレンズ調整部２０−６などを有している。撮像部２１は、上述した撮影機能を構成するもので、図示しない撮影レンズ、ミラーなどのレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを有するもので、自動的に焦点を合わせるオートフォカス機能、撮影範囲を制御するズーム機能などが設けられている。なお、撮影レンズの光軸方向は、上述した投影レンズの光軸方向と一致し、ホワイトボード３上に投影エリアを撮影可能となっている。
【００２８】
録音用マイク２２は、上述した音声録音機能の構成要素で、そのマイク感度や録音時間を録音用途や録音対象などによって調整可能となっており、プレゼンテーション時に録音用マイク２２で集音した音声をデジタルデータとして録音ファイル記憶部Ｍ２に録音させる。サウンズスピーカ２３は、着信音やアラーム音を出力するスピーカとして使用されるほか、録音再生機能を構成するスピーカとしても使用されるもので、プレゼンテーション時に録音された内容を再生出力する。外部接続部２４は、外部スピーカやパーソナルコンピュータ（ＰＣ）などの外部出力装置５が接続されるコネクタ部で、プレゼンテーション時に録音された内容を再生出力させる際に使用される。
【００２９】
次に、実施形態における携帯電話装置１の動作概念を図３〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、ネットワークなどの伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。なお、図３〜図６は、携帯電話装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３〜図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００３０】
図３〜図６は、携帯電話装置１がクレードル（充電台）２に載置（接続）されている状態において、ユーザ操作でプレゼンテーションモードが選択された際に実行開始されるプレゼンテーション処理を示したフローチャートである。
先ず、ＣＰＵ１１は、プレゼンテーションモードがユーザ選択されると、プレゼンテーション用のメニュー画面を表示させる（ステップＳ１）。このメニュー画面には、プレゼンテーション時にその発表者などの音声を録音する録音モードを指定する“プレゼンテーション録音”と、プレゼンテーション時に録音された内容を再生出力させる再生モードを指定する“録音再生”のメニュー項目が表示され、その中から任意のメニュー項目が選択されると、“プレゼンテーション録音”が選択されたのかを調べる（ステップＳ２）。
【００３１】
いま、“プレゼンテーション録音”が選択された場合には（ステップＳ１でＹＥＳ）、次のステップＳ３に移る。このステップＳ３では、キャプチャ連動の“ＯＮ／ＯＦＦ（オン／オフ）”選択操作が行われると、この操作によって選択された“ＯＮ／ＯＦＦ”の状態を一時記憶する処理が行われる。なお、上述した“キャプチャ連動”とは、音声録音機能による録音中に投影画像をキャプチャした画像に対応付けてそのキャプチャ時の録音位置（タイムスタンプ）を記憶させることを示す動作モードを意味している。次に、ステップＳ４に移り、プレゼンテーション（プロジェクタ）の開始を指示するスタートボタン（図示省略）の操作待ち状態となる。この操作待ち状態において、スタートボタンの操作に先立って、投影位置の調整として携帯電話装置１やホワイトボード３の設置位置を調整しておく。いま、自端末（携帯電話装置１）から画像投影を行うことを指定する場合には、自端末からの投影であることを宣言する操作を行ったのち、スタートボタンを操作する。
【００３２】
スタートボタンが操作されると（ステップＳ４でＹＥＳ）、音声録音機能（ボイスレコーダ）を起動させて録音を開始させ、録音用マイク２２で集音した音声をデジタルデータとして録音ファイル記憶部Ｍ２に録音させると共に（ステップＳ５）、録音タイマ（図示省略）の計測動作を開始させる（ステップＳ６）。そして自端末からの画像投影であることが指示（宣言）されているかを調べ（ステップＳ７）、自端末からの投影が指示されていれば（ステップＳ７でＹＥＳ）、プロジェクタ部２０を起動させて投影用ライト２０−１を点灯させたのち（ステップＳ８）、図４のフローに移る。ここで、プレゼンテーション用の資料として予め用意されている各種の投影対象ファイルを投影対象ファイル記憶部Ｍ１から読み出して一覧表示させた状態において、この一覧画面の中から所望する投影対象ファイルを選択する操作が行われると（ステップＳ９）、この操作によって選択された投影対象ファイルの中から先頭ページ（先頭画像）を読み出してプロジェクタ部２０から投影用の画像として出力させる（ステップＳ１０）。
【００３３】
そして、上述のように一時記憶されているキャプチャ連動の“ＯＮ”／“ＯＦＦ”状態を調べ（ステップＳ１１）、“ＯＦＦ”が選択されていれば（ステップＳ１１でＮＯ）、次の操作待ち状態に移る（ステップＳ１４〜Ｓ１８）。ここでは、ページ送り操作（ページ更新操作）が行われたかを調べたり（ステップＳ１４）、ズーム操作が行われたかを調べたり（ステップＳ１５）、投影対象ファイルとして他のファイルに切り替え選択する操作が行われたかを調べたり（ステップＳ１６）、自端末での投影終了を指示する操作が行われたかを調べたり（ステップＳ１７）、プレゼンテーションの録音終了を指示する操作が行われたかを調べたりする（ステップＳ１８）。
【００３４】
いま、ページ送り操作（ページ更新操作）が行われたときには（ステップＳ１４でＹＥＳ）、投影対象ファイルから次のページ（更新ページ）の画像を読み出してプロジェクタ部２０から投影出力させたのち（ステップＳ１９）、上述のステップＳ１１に戻る。また、操作待ち状態においてズーム操作が行われたときには（ステップＳ１５でＹＥＳ）、投影中のページを指定サイズに拡大処理したのち（ステップＳ２０）、上述のステップＳ１１に戻る。また、投影対象ファイルとして他のファイルへの切り替え選択を指示する操作が行われたときには（ステップＳ１６でＹＥＳ）、上述のステップＳ９に戻り、新たな投影対象ファイルを選択して、その先頭ページの投影を行う（ステップＳ１０）。
【００３５】
また、自端末での投影終了を指示する操作が行われたときには（ステップＳ１７でＹＥＳ）、プロジェクタ部２０の動作を終了させて投影用ライト２０−１を消灯させたのち（ステップＳ２１）、図５のフローに移る。また、プレゼンテーション終了を指示する終了操作が行われたときには（ステップＳ１８でＹＥＳ）、プロジェクタ部２０の動作を終了させて投影用ライト２０−１を消灯させると共に（ステップＳ２２）、音声録音機能（ボイスレコーダ）の動作を終了させ（ステップＳ２３）、更には、録音タイマ（図示省略）の計測動作を終了させてその内容をリセットしたのち（ステップＳ２４）、この図３〜図６のフローの終了となる。
【００３６】
一方、キャプチャ連動の“ＯＮ”が選択されているときには（ステップＳ１１でＹＥＳ）、キャプチャ連動処理に移る（ステップＳ１２、Ｓ１３）。すなわち、現在投影されている画像（プレゼンテーションの開始当初は、先頭ページ）をキャプチャすると共に、このキャプチャ時の録音タイマの計測時間（録音位置）をタイムスタンプとして取得し、このタイムスタンプとキャプチャ画像とを対応付けてキャプチャ画像記憶部Ｍ３に保存する（ステップＳ１２）。そして、このキャプチャ画像と録音内容とのリンク付けを行うために、投影中の投影対象ファイルを識別するファイル名を取得すると共に、このキャプチャ時の録音時間（録音位置）をタイムスタンプとして取得し、このファイル名及びタイムスタンプを録音ファイル記憶部Ｍ２内の録音内容に対応付けて保存する（ステップＳ１３）。
【００３７】
図７は、録音開始から録音終了までの間にキャプチャされる画像を時系列的に説明するための図で、自端末によるプレゼンテーションの途中において他の端末（外部装置）４からの画像がホワイトボード３上の投影エリアに割り込みによって投影された場合を例示したものである。
ここで、ＰＧ１〜ＰＧ４…は、自端末による投影時において投影対象ファイルの先頭ページから４ページ目をキャプチャしたキャプチャ画像（ページキャプチャ画像）を示している。ＩＲ１〜ＩＲ３は、外部装置４から割り込みによって投影された場合に、その投影画像を撮影してキャプチャしたキャプチャ画像（カメラキャプチャ画像）を示している。ＴＳ１〜ＴＳ７…は、キャプチャ画像毎にそのキャプチャ時のタイムスタンプ（録音位置）を示し、スタートボタンが操作されてから現時点までの経過時間（録音時間）である。
【００３８】
いま、自端末による先頭ページ（最初の画像）が投影された場合において、この先頭ページのキャプチャ画像ＰＧ１に対応付けてタイムスタンプＴＳ１が保存されると共に、このページキャプチャ画像と録音内容とをリンク付けするために、このタイムスタンプＴＳ１が録音内容に対応付けて保存される。なお、先頭ページのキャプチャ画像ＰＧ１に対応付けて保存される録音内容は、スタートボタンが操作されてから先頭ページをキャプチャする時（タイムスタンプＴＳ１）までに録音された内容である。
【００３９】
上述のように投影画像をキャプチャしてそのキャプチャ画像を保存すると共に、このページキャプチャ画像と録音内容とをリンク付けるキャプチャ連動処理（ステップＳ１２、Ｓ１３）を実行したのちは、上述の操作待ち状態となる（ステップＳ１４〜Ｓ１８）。この操作待ち状態においてページ更新操作が行われると（ステップＳ１４でＹＥＳ）、投影対象ファイルから次のページ（更新ページ）の画像を読み出してプロジェクタ部２０から投影出力させる（ステップＳ１９）。以下、ページ更新操作が行われる毎に次の画像が出力されて投影画像の切り替えが行われるが、このような画像の切り替えが行われる毎に、上述のキャプチャ連動処理が繰り返される（ステップＳ１２、Ｓ１３）。
【００４０】
この結果、図７に示すように、２ページ目のキャプチャ画像ＰＧ２に対応付けてタイムスタンプＴＳ２が保存されると共に、このキャプチャ画像と録音内容とをリンク付けするために、このタイムスタンプＴＳ２が録音内容に対応付けて保存される。なお、２ページ目のキャプチャ画像ＰＧ２に対応付けて保存される録音内容は、上述したタイムスタンプＴＳ１からタイムスタンプＴＳ２までに録音された内容である。続けて、ページ更新操作が行われると、３ページ目のキャプチャ画像ＰＧ３に対応付けてタイムスタンプＳ３が保存されると共に、このキャプチャ画像と録音内容とをリンク付けするために、このタイムスタンプＳ３が録音内容に対応付けて保存される。なお、３ページ目のキャプチャ画像ＰＧ３に対応付けて保存される録音内容は、上述したタイムスタンプＴＳ２からタイムスタンプＴＳ３までの間に録音された内容である。
【００４１】
また、操作待ち状態においてズーム操作が行われたときには（ステップＳ１５でＹＥＳ）、投影中のページを指定サイズに拡大処理する（ステップＳ２０）。以下、ズーム操作が行われる毎に、上述のキャプチャ連動処理が繰り返される（ステップＳ１２、Ｓ１３）。このように、最初の画像が投影される時、次の画像に切り替えられる時、ズーム操作時に、上述のキャプチャ連動処理が実行される（ステップＳ１２、Ｓ１３）。
【００４２】
一方、スタートボタンの操作時に（図３のステップＳ４）、自端末からの投影であることを宣言する操作が行われていない場合（ステップＳ７でＮＯ）、あるいは自端末での投影終了を指示する操作が行われた場合には（図４のステップＳ１７でＹＥＳ）、図５のフローに移る。
先ず、上述のように一時記憶されているキャプチャ連動の“ＯＮ”／“ＯＦＦ”の状態を調べ（ステップＳ２５）、“ＯＦＦ”が選択されていれば（ステップＳ２５でＮＯ）、自端末投影への切り替えを指示する操作が行われたかを調べたり（ステップＳ２６）、プレゼンテーションの録音終了を指示する操作が行われたかを調べたりする（ステップＳ２７）。
【００４３】
ここで、自端末投影への切り替えを指示する操作が行われたときには（ステップＳ２６でＹＥＳ）、プロジェクタ部２０を起動させて投影用ライト２０−１を点灯させたのち（ステップＳ２８）、上述した図４のフローに移るが、プレゼンテーションの録音終了を指示する操作が行われたときには（ステップＳ２７でＹＥＳ）、音声録音機能（ボイスレコーダ）の動作を終了させ（ステップＳ２９）、更に、録音タイマ（図示省略）の計測動作を終了させたのち（ステップＳ３０）、この図３〜図６のフローの終了となる。
【００４４】
また、キャプチャ連動の“ＯＮ”が選択されているときには（ステップＳ２５でＹＥＳ）、撮像部２１を起動させてホワイトボード３上の投影エリアを撮影したモニタ画像を取り込んで（ステップＳ３１）、このモニタ画像を認識することによって（ステップＳ３２）、ホワイトボード３上の投影エリアの内容に変化があったかを調べる（ステップＳ３３）。ここで、投影エリアの内容（ボード内容）に変化がなければ（ステップＳ３３でＮＯ）、特定音声を検出したかを調べたり（ステップＳ３４）、自端末投影への切り替えを指示する操作が行われたかを調べたり（ステップＳ３５）、プレゼンテーションの録音終了を指示する操作が行われたかを調べたりする（ステップＳ３６）。
【００４５】
いま、モニタ画像を認識した結果、投影エリアの内容に変化があれば（ステップＳ３３でＹＥＳ）、自端末によるプレゼンテーションの途中において外部装置４からの画像がホワイトボード３上の投影エリアに割り込みによって投影された場合であると判断して、キャプチャ連動処理に移る（ステップＳ３７〜Ｓ３９）。すなわち、外部装置４からの割り込み投影時にも、最初の画像が投影される時、次の画像に切り替えられる時、投影されている画像が拡大された時（ズーム時）には、投影エリアの内容が変化するため、上述のステップＳ３３でそのことが検出されてステップＳ３７に移り、ホワイトボード３上の投影エリア内の投影画像を撮影し、この撮影画像をキャプチャして、キャプチャ画像記憶部Ｍ３に画像ファイルとして保存したのち、このキャプチャ画像に対応付けてそのキャプチャ時の録音位置をタイムスタンプとして保存する（ステップＳ３８）。
【００４６】
そして、このキャプチャ画像と録音内容とをリンク付けするために、投影中の投影対象ファイルを識別するファイル名及び当該キャプチャ時のタイムスタンプを録音ファイル記憶部Ｍ２内の録音内容に対応付けて保存する（ステップＳ３９）。この結果、図７に示すように、外部装置４から割り込みによって投影された場合に、その投影画像を撮影してキャプチャしたキャプチャ画像（カメラキャプチャ画像）ＩＲ１に対応付けてタイムスタンプＴＳ４が保存されると共に、このカメラキャプチャ画像ＩＲ１と録音内容とをリンク付けするために、このタイムスタンプＴＳ４が録音内容に対応付けて保存される。なお、カメラキャプチャ画像ＩＲ１に対応付けて保存される録音内容は、上述したタイムスタンプＴＳ３からタイムスタンプＴＳ４までの間に録音された内容である。
【００４７】
その後、上述のステップＳ３２に戻り、以下、外部装置４から割り込み投影が行われる毎に、つまり、ボード内容の変化を検出する毎に、外部装置４から割り込みによって投影された投影画像を撮影してキャプチャしたカメラキャプチャ画像を保存すると共に、このキャプチャ画像と録音内容とをリンク付けるキャプチャ連動処理を繰り返す（ステップＳ３７〜Ｓ３９）。このキャプチャ連動処理の繰り返しによってカメラキャプチャ画像ＩＲ２に対応付けてタイムスタンプＴＳ５が保存されると共に、このカメラキャプチャ画像ＩＲ２と録音内容とをリンク付けするために、このタイムスタンプＴＳ５が録音内容に対応付けて保存される。同様に、カメラキャプチャ画像ＩＲ３に対応付けてタイムスタンプＴＳ６が保存されると共に、このカメラキャプチャ画像ＩＲ３と録音内容とをリンク付けするために、このタイムスタンプＴＳ６が録音内容に対応付けて保存される。
【００４８】
また、録音用マイク２２からの入力音声に基づいて特定音声（例えば、特定話者による“キャプチャ”などの音声）を検出したときにも（ステップＳ３４でＹＥＳ）、上述したキャプチャ連動処理の実行に移る（ステップＳ３７〜Ｓ３９）。また、自端末投影への切り替えを指示する操作が行われたときには（ステップＳ３５でＹＥＳ）、プロジェクタ部２０を起動させて投影用ライト２０−１を点灯させたのち（ステップＳ４０）、上述した図４のフローに移るが、プレゼンテーションの録音終了を指示する操作が行われたときには（ステップＳ３６でＹＥＳ）、撮影機能を終了させると共に音声録音機能（ボイスレコーダ）の動作を終了させ（ステップＳ４１）、更に、録音タイマ（図示省略）の計測動作を終了させたのち（ステップＳ４２）、この図３〜図６のフローの終了となる。
【００４９】
他方、プレゼンテーション用のメニュー画面が表示されている状態において（図３のステップＳ１）、“録音再生”のメニュー項目が選択されたときには（ステップＳ２でＮＯ）、図６のフローに移る。ここで、各種の録音ファイルを一覧表示する一覧画面の中から所望する録音ファイルを選択する操作が行われると（ステップＳ４３）、プロジェクタ部２０を起動させて投影用ライト２０−１を点灯させる（ステップＳ４４）。そして、上述のファイル操作によって選択された録音ファイルをその先頭から順次再生する再生動作を開始させると共に（ステップＳ４５）、再生タイマ（図示省略）の計測動作を開始させる（ステップＳ４６）。そして、この再生中の録音ファイル内に上述のタイムスタンプがリンク付けされているかを調べたり（ステップＳ４７）、再生終了か、つまり、録音ファイルの内容を最後まで再生し終わったか、あるいはユーザ操作によって再生終了が指示されたかを調べたりする（ステップＳ４８）。
【００５０】
いま、再生中の録音ファイル内にタイムスタンプがリンク付けられていれば（ステップＳ４７でＹＥＳ）、再生タイマの計測時間（再生位置）を取得し、この再生位置と画像キャプチャ時の録音位置（タイムスタンプ）とを比較する（ステップＳ４９）。この結果、再生位置と録音位置との不一致を検出したときには（ステップＳ４９でＮＯ）、再生終了か、つまり、録音ファイルの内容を最後まで再生し終わったか、あるいはユーザ操作によって再生終了が指示されたかを調べ（ステップＳ５１）、再生終了でなければ（ステップＳ５１でＮＯ）、上述のステップＳ４９に戻って再生位置と録音位置との比較を行う。
【００５１】
ここで、再生位置が録音位置に一致すると（ステップＳ４９でＹＥＳ）、この一致したタイミングでキャプチャ画像記憶部Ｍ３を参照し、この録音位置（タイムスタンプ）にリンク付けされているキャプチャ画像を読み出してプロジェクタ部２０から投影出力させると共に、このキャプチャ画像を端末画面である表示部１８に表示させる（ステップＳ５０）。以下、再生終了を検出するまで上述の再生動作を繰り返す。この結果、再生位置が録音位置に一致する毎に、この録音位置（タイムスタンプ）にリンク付けされているキャプチャ画像が読み出されて投影出力され、録音再生された音声と投影画像とが整合するようになり、プレゼンテーションの再現が行われる。ここで、再生終了であれば（ステップＳ４８又はＳ５１でＹＥＳ）、プロジェクタ部２の動作を終了させて投影用ライト２０−１を消灯させると共に（ステップＳ５２）、音声再生機能の動作を終了させ、更には、再生タイマの計測動作を終了させてその内容をリセットしたのち（ステップＳ５３）、この図３〜図６のフローの終了となる。
【００５２】
以上のように、実施形態において携帯電話装置１は、録音中にあってホワイトボード３上に投影されている投影画像を特定した際に、そのときの投影画像をキャプチャして記憶すると共に、このキャプチャ画像に対応付けて当該キャプチャ時の録音位置を記憶し、録音内容の再生時に、現在の再生位置と画像キャプチャ時の録音位置との比較結果に応じて、当該録音位置に対応付けて記憶されているキャプチャ画像を出力するようにしたので、外部装置４から割り込みによって投影される場合でも、投影されている画像を全て動画撮影する必要はなく、投影されている投影画像とその画像が投影されているときの録音内容との対応関係を崩さずに、それらを忠実に再現することができ、記憶容量の点で有利となるなど、実用効果の高いものとなる。このように外部装置４から割り込み投影が行われたとしても、このプレゼンテーションを忠実に再現することができるので、多くの人が次々と発表者となる長時間に亘るプレゼンテーションにも対応することができる。
【００５３】
携帯電話装置１は、プロジェクタ部２０からの最初の画像の投影時、次の画像の切り替え時、投影画像の拡大出力時を検出して、この時点の投影画像をキャプチャするようにしたので、投影画像の内容が変わったときの画像をキャプチャすることができ、キャプチャ数を必要最小限に留めることができる。
【００５４】
投影画像をキャプチャすべきことが音声指示された際に、その指示内容を音声認識してその時点の投影画像をキャプチャするようにしたので、音声指示によっても投影画像をキャプチャすることができ、利便性が良くなる。
【００５５】
外部装置４から割り込み投影が行われた場合に、その投影画像を撮影して画像認識を行った結果、その内容が変化した際に、そのときの投影画像をキャプチャするようにしたので、外部装置４から割り込み投影された画像であってもキャプチャすることができ、利便性が良くなる。
【００５６】
キャプチャ画像を投影用の画像として録音内容と共に出力するようにしたので、実際のプレゼンテーションをそのまま再現することができる。
【００５７】
なお、上述した実施形態においては、キャプチャ画像を投影用の画像として録音内容と共に出力すると共に、このキャプチャ画像を端末画面である表示部１８に表示させるようにしたが、キャプチャ画像の投影を行わず、キャプチャ画像を端末画面のみに表示させるようにしてもよい。この場合、ユーザの手元でプレゼンテーションを再現することができる。また、キャプチャ画像をパーソナルコンピュータや外部モニタなどの外部表示装置に対して出力するようにすれば、更に利便性が良くなる。
【００５８】
上述した実施形態においては、ユーザ操作で自端末からの投影であることを宣言する操作を行ったり、自端末での投影終了を指示する操作を行ったり、自端末投影への切り替えを指示する操作を行ったりするようにしたが、ホワイトボード３上の投影エリアを撮影機能によって常時モニタ撮影して画像認識を行い、自端末内の画像であるかをチェックすることによって自端末からの投影であることを宣言したり、自端末での投影終了を指示したり、自端末投影への切り替えを指示したりするようにしてもよい。
【００５９】
上述した実施形態においては、録音タイマ、再生タイマの計測時間（録音時間、再生時間）を再生位置、録音位置としたが、再生位置、録音位置は、メモリのアドレス値、データ長などであってもよい。また、上述した実施形態においては、画像をキャプチャする毎に、キャプチャ画像として１枚の静止画を保存するようにしたが、画像をキャプチャする毎に、例えば、数秒分の動画をキャプチャ画像として保存するようにしてもよい。
【００６０】
上述した実施形態においては、端末装置として携帯電話装置１を示したが、プロジェクタ機能、音声録音機能、録音再生機能を備えたＰＤＡ、デジタルカメラ、音楽プレイヤー、ゲーム機器、パーソナルコンピュータ、それらの複合機などのほか、専用機としてのプロジェクタ装置であってもよい。
【符号の説明】
【００６１】
１  携帯電話装置
２  クレードル
３  ホワイトボード
４  外部装置
５  外部出力装置
１１  ＣＰＵ
１２  記憶部
１３  メモリ
１４  記録メディア
１７  操作部
１９  クレードル接続部
２０  プロジェクタ部
２１  撮像部
２２  録音用マイク
２３  サウンズスピーカ
２４  外部接続部
Ｍ１  投影対象ファイル記憶部
Ｍ２  録音ファイル記憶部
Ｍ３  キャプチャ画像記憶部
【図１】
2010257038.tif 000003
【図２】
2010257038.tif 000004
【図３】
2010257038.tif 000005
【図４】
2010257038.tif 000006
【図５】
2010257038.tif 000007
【図６】
2010257038.tif 000008
【図７】
2010257038.tif 000009