(57)【要約】【課題】非同期でもインタラクティブに対話する。【解決手段】ユーザ自身による１つ前の相手ユーザ向けの自身第１ビデオに対する相手ユーザによる相手反応ビデオと、相手ユーザによるユーザ自身向けの相手ビデオとを受信する手段１０６と、自身第１ビデオと、相手反応ビデオと、相手ビデオとを格納している手段１０７と、ビデオを再生する手段１１０と、自身第１ビデオと、相手反応ビデオとを異なる画面で同時に再生し、その後、相手ビデオを再生すると同時に、相手ビデオに対するユーザ自身による自身反応ビデオを録画および録音しリアルタイムで異なる画面で同時再生し、その後、相手ビデオの一部の画像を表示すると同時に、ユーザ自身による相手ユーザ向けの自身第２ビデオを録画および録音しリアルタイムで異なる画面で同時再生するように手段１１０を制御する手段１１１と、を具備する。【選択図】図１
2010268305.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ自身による１つ前の相手ユーザ向けの自身第１メッセージビデオに対する該相手ユーザによる相手反応ビデオと、該相手ユーザによる該ユーザ自身向けの相手メッセージビデオとを受信する受信ステップと、
前記自身第１メッセージビデオと、前記相手反応ビデオと、前記相手メッセージビデオとを格納する格納ステップと、
ビデオを再生する第１再生ステップと、
前記自身第１メッセージビデオと、前記相手反応ビデオとを異なる画面で同時に再生し、その後、前記相手メッセージビデオを再生すると同時に、該相手メッセージビデオに対する前記ユーザ自身による自身反応ビデオを録画および録音しリアルタイムで異なる画面で同時再生し、その後、前記相手メッセージビデオの一部の画像を表示すると同時に、前記ユーザ自身による相手ユーザ向けの自身第２メッセージビデオを録画および録音しリアルタイムで異なる画面で同時再生するように前記第１再生ステップを制御する制御ステップと、
前記自身反応ビデオと前記自身第２メッセージビデオとを前記相手ユーザに送信する送信ステップと、を具備することを特徴とするビデオメール通信方法。
【請求項２】
前記ユーザ自身を撮影する撮影ステップと、
前記ユーザ自身を撮影した第１映像、および前記相手ユーザを撮影した第２映像をそれぞれ左右反転させた第３映像および第４映像を並べて表示させる取込ステップをさらに具備し、
前記制御ステップは、前記第３映像および前記第４映像を異なる画面で再生すように制御することを特徴とする請求項１に記載のビデオメール通信方法。
【請求項３】
前記制御ステップは、前記第３映像を再生する画面の第１位置と該第３映像の音声が出力させる位置とを対応させ、前記第４映像を再生する画面の第２位置と該第４映像の音声が出力させる位置とを対応させることを特徴とする請求項２に記載のビデオメール通信方法。
【請求項４】
左右２つのスピーカを用意し、
前記制御ステップは、前記１位置および前記第２位置がそれぞれ画面の左および画面の右の場合には、左のスピーカから前記第３映像の音声を出力させ、かつ、右のスピーカから前記第４映像の音声を出力させ、前記１位置および前記第２位置がそれぞれ画面の右および画面の左の場合には、右のスピーカから前記第３映像の音声を出力させ、かつ、左のスピーカから前記第４映像の音声を出力させることを特徴とする請求項３に記載のビデオメール通信方法。
【請求項５】
前記相手反応ビデオおよび前記相手メッセージビデオに含まれる前記相手ユーザの音声の音量を検出し、該音量が大きいほど該相手ユーザの表示面積を大きくする拡大ステップをさらに具備することを特徴とする請求項１から請求項４のいずれか１項に記載のビデオメール通信方法。
【請求項６】
前記相手反応ビデオおよび前記相手メッセージビデオに含まれる前記相手ユーザのフレームごとの差分をとり、該差分が大きいほど該相手ユーザの表示面積を大きくする拡大ステップをさらに具備することを特徴とする請求項１から請求項４のいずれか１項に記載のビデオメール通信方法。
【請求項７】
前記拡大ステップは、前記表示面積を大きくする拡大レベルを複数設定し、
前記拡大レベルを選択拡大レベルとして選択する選択ステップと、
前記選択拡大レベル以上に拡大表示される時点の所定時間前から、該選択拡大レベル以上に拡大表示されることが終了する時点までを再生する第２再生ステップと、をさらに具備し、
前記第２再生ステップは、さらに、選択拡大レベル以上に拡大表示される次の時点の前記所定時間前から、該選択拡大レベル以上に拡大表示されることが終了する時点までを再生し、同時に再生されているユーザ自身が送信したメッセージビデオが終了するまで繰り返すことを特徴とする請求項５または請求項６に記載のビデオメール通信方法。
【請求項８】
前記第２再生ステップで再生されないビデオ部分を再生する第３再生ステップをさらに具備することを特徴とする請求項７に記載のビデオメール通信方法。
【請求項９】
ユーザ自身による１つ前の相手ユーザ向けの自身第１メッセージビデオに対する該相手ユーザによる相手反応ビデオと、該相手ユーザによる該ユーザ自身向けの相手メッセージビデオとを受信する受信手段と、
前記自身第１メッセージビデオと、前記相手反応ビデオと、前記相手メッセージビデオとを格納している格納手段と、
ビデオを再生する第１再生手段と、
前記自身第１メッセージビデオと、前記相手反応ビデオとを異なる画面で同時に再生し、その後、前記相手メッセージビデオを再生すると同時に、該相手メッセージビデオに対する前記ユーザ自身による自身反応ビデオを録画および録音しリアルタイムで異なる画面で同時再生し、その後、前記相手メッセージビデオの一部の画像を表示すると同時に、前記ユーザ自身による相手ユーザ向けの自身第２メッセージビデオを録画および録音しリアルタイムで異なる画面で同時再生するように前記第１再生手段を制御する制御手段と、
前記自身反応ビデオと前記自身第２メッセージビデオとを前記相手ユーザに送信する送信手段と、を具備することを特徴とするビデオメール通信装置。
【請求項１０】
前記ユーザ自身を撮影する撮影手段と、
前記ユーザ自身を撮影した第１映像、および前記相手ユーザを撮影した第２映像をそれぞれ左右反転させた第３映像および第４映像を並べて表示させる取込手段をさらに具備し、
前記制御手段は、前記第３映像および前記第４映像を異なる画面で再生すように制御することを特徴とする請求項９に記載のビデオメール通信装置。
【請求項１１】
前記制御手段は、前記第３映像を再生する画面の第１位置と該第３映像の音声が出力させる位置とを対応させ、前記第４映像を再生する画面の第２位置と該第４映像の音声が出力させる位置とを対応させることを特徴とする請求項１０に記載のビデオメール通信装置。
【請求項１２】
左右２つのスピーカをさらに具備し、
前記制御手段は、前記１位置および前記第２位置がそれぞれ画面の左および画面の右の場合には、左のスピーカから前記第３映像の音声を出力させ、かつ、右のスピーカから前記第４映像の音声を出力させ、前記１位置および前記第２位置がそれぞれ画面の右および画面の左の場合には、右のスピーカから前記第３映像の音声を出力させ、かつ、左のスピーカから前記第４映像の音声を出力させることを特徴とする請求項１１に記載のビデオメール通信装置。
【請求項１３】
前記相手反応ビデオおよび前記相手メッセージビデオに含まれる前記相手ユーザの音声の音量を検出し、該音量が大きいほど該相手ユーザの表示面積を大きくする拡大手段をさらに具備することを特徴とする請求項９から請求項１２のいずれか１項に記載のビデオメール通信装置。
【請求項１４】
前記相手反応ビデオおよび前記相手メッセージビデオに含まれる前記相手ユーザのフレームごとの差分をとり、該差分が大きいほど該相手ユーザの表示面積を大きくする拡大手段をさらに具備することを特徴とする請求項９から請求項１２のいずれか１項に記載のビデオメール通信装置。
【請求項１５】
前記拡大手段は、前記表示面積を大きくする拡大レベルを複数設定し、
前記拡大レベルを選択拡大レベルとして選択する選択手段と、
前記選択拡大レベル以上に拡大表示される時点の所定時間前から、該選択拡大レベル以上に拡大表示されることが終了する時点までを再生する第２再生手段と、をさらに具備し、
前記第２再生手段は、さらに、選択拡大レベル以上に拡大表示される次の時点の前記所定時間前から、該選択拡大レベル以上に拡大表示されることが終了する時点までを再生し、同時に再生されているユーザ自身が送信したメッセージビデオが終了するまで繰り返すことを特徴とする請求項１３または請求項１４に記載のビデオメール通信装置。
【請求項１６】
前記第２再生手段で再生されないビデオ部分を再生する第３再生手段をさらに具備することを特徴とする請求項１５に記載のビデオメール通信装置。
【請求項１７】
コンピュータを、請求項９から請求項１６のいずれか１項に記載のビデオメール通信装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像および音声を用いた非同期型コミュニケーション技術であるビデオメール通信技術に関する。
【背景技術】
【０００２】
我々は普段、対面してコミュニケーションをとるときには、自分のしゃべった言葉に対する相手の反応（視線や頷き、笑い、相槌、ジェスチャ等）を洞察しながら、相手が自分のメッセージに対してどう思ったのか、賛成か反対か、またそれはどの言葉に反応したのか、といったことを読み取りながら言葉のキャッチボールをしている。これに対して、遠隔地間で非同期に行うビデオメールはリアルタイムのコミュニケーションではないので、このビデオメールでは、インタラクティブに相手の反応を見ながら話す、もしくはメッセージを吹き込むことはできない。なお本明細書では、ビデオは映像と音声とを含むものを示すことにする。
【０００３】
この問題を解決するために、自分の送ったメッセージを見ている相手の様子を撮影し、メッセージ送信者がこの様子を見ることのできる技術がいくつかある。例えば、送信者が受信者の反応と返信メッセージとを同時に見ることのできるシステムがある（例えば、特許文献１参照）。このとき送信者が見ている画面は横２つに分割され、片方の画面部分では送信者のしゃべっている様子が再生され、もう一方の画面部分では受信者のメッセージを聞いている様子が再生される。受信者は送信メッセージに対して間に自身の返信メッセージを挿入でき、この場合、送信メッセージ再生は一時停止され、その間受信者の返信メッセージが再生される。このように送信者は、受信者のリアクションを観察することができ、さらに自身のメッセージに対する受信者の返信メッセージも受け取ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４２８１３公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、このシステムでは、ビデオメールのやりとりの中で送信者、受信者という役割が明確に分けられてしまう。このため送信者と受信者との間で、見る映像の形式、およびメッセージを吹き込む状況は異なる（非対称となるとも言う）。つまり、送信者は、まとまったメッセージを録音して送信し、受信者の反応している様子を受け取って見る。これに対し受信者は、送信者の編集されていないメッセージを受信して見て、その合間に自身の返信メッセージを挿入して、送信者へ返す。
【０００６】
この非対称性を解消するために、送信者と受信者という役割を、ビデオメールのやり取りが１往復する度に入れ替えるとする。ユーザＡが送信者としてメッセージ映像を録画し受信者であるユーザＢに送信し、ユーザＢがこのメッセージ映像を見ながら間に返信メッセージを挿入して返信する。ここで役割を入れ替えて、今度は返信メッセージを受け取ったユーザＡが受信者として、ユーザＢの録画したメッセージ映像を見ながらその合間にさらに自身の返信メッセージを挿入して送り返す。するとユーザＢは、画面の片方に、先に自身の送った映像、すなわち先の先にユーザＡから受けたメッセージ映像を見聞きしながら反応し、時々返信メッセージを挿入しているメッセージ映像を見ながら、もう一方にはそのメッセージ映像を見ながら反応しているユーザＡのメッセージ映像と、さらにユーザＢのメッセージ映像に対して挿入された返信メッセージを見ることになる。こうなると、やり取りを繰り返すたびにビデオメール全体の長さは長くなり、録画されている映像のうち、相手のメッセージ映像に反応しているだけのメッセージ映像部分の時間も長くなる。また、間に挟む返信メッセージも、繰り返すごとに細かく分かれていき、結果的に返信メッセージがぶつ切りにいくつもの部分に散在し、映像として見にくく、それがユーザ間のインタラクションの妨げとなり、対話が不自然になってしまう。
【０００７】
さらに、遠隔コミュニケーションの観点から検討すると、ユーザは過去の自分と相手とのやり取りを見ることができるが、現在の自分とメッセージを送ってきた相手とは、自分のいる空間と画面に映っている相手の空間という２つの違う空間に離れて存在しながらインタラクションするということになってしまう。
【０００８】
この発明は、上述した事情を考慮してなされたものであり、非同期ながらもインタラクティブに対話することが可能なビデオメール通信方法、装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明のビデオメール通信方法は、ユーザ自身による１つ前の相手ユーザ向けの自身第１メッセージビデオに対する該相手ユーザによる相手反応ビデオと、該相手ユーザによる該ユーザ自身向けの相手メッセージビデオとを受信する受信ステップと、前記自身第１メッセージビデオと、前記相手反応ビデオと、前記相手メッセージビデオとを格納する格納ステップと、ビデオを再生する第１再生ステップと、前記自身第１メッセージビデオと、前記相手反応ビデオとを異なる画面で同時に再生し、その後、前記相手メッセージビデオを再生すると同時に、該相手メッセージビデオに対する前記ユーザ自身による自身反応ビデオを録画および録音しリアルタイムで異なる画面で同時再生し、その後、前記相手メッセージビデオの一部の画像を表示すると同時に、前記ユーザ自身による相手ユーザ向けの自身第２メッセージビデオを録画および録音しリアルタイムで異なる画面で同時再生するように前記第１再生ステップを制御する制御ステップと、前記自身反応ビデオと前記自身第２メッセージビデオとを前記相手ユーザに送信する送信ステップと、を具備することを特徴とする。
【発明の効果】
【００１０】
本発明のビデオメール通信方法、装置およびプログラムによれば、非同期ながらもインタラクティブに対話することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態のビデオメール通信装置のブロック図。
【図２】例えば図１の映像・音声取込部が行う映像を反転する様子を示す図。
【図３】図１のディスプレイのボタン等の画面構成を示す図。
【図４】図３でユーザＢ映像領域が拡大された場合を示す図。
【図５】図１のビデオメール通信装置の動作の一例を示す図。
【図６】メッセージビデオの受信から送信までの流れを示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の実施形態に係るビデオメール通信方法、装置およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。  
まず概要を説明する。本実施形態のビデオメール通信方法では、通信する１つのビデオメールを３つのパートに分ける。第１パートは１つ前の自分のメッセージビデオ（すなわち、メッセージ映像とメッセージ音声）に対する相手の反応が映されているパート、第２パートは相手のメッセージビデオが映されているパート、第３パートは自分のメッセージビデオを撮影し再生するパートである。  
第１パートでは、左右に区切られた画面の片側に自分のメッセージビデオが再生され、反対側にそのビデオを聞いて相手が反応した内容の反応ビデオが再生される。第２パートでは、同じく左右に区切られた画面の片側では相手のメッセージビデオがそのまま再生され、反対側ではその時の自分の、相手のビデオに反応した内容の反応ビデオの撮影とリアルタイム映像のみの再生に切り替えられる。第３パートでは、相手のメッセージが終了すると、今度は返信メッセージビデオ録画モードに切り替わり、相手の映像はメッセージ部分の例えば一番最後のコマで停止した静止画像となり、自分の映像はリアルタイム映像を映し続ける。
【００１３】
次に、実施形態のビデオメール通信装置について図１を参照して説明する。  
ビデオメール通信装置は、ＰＣ１００、ビデオカメラ１０１、マイク１０２、マウス１０３、キーボード１０４、スピーカＬ １１２、スピーカＲ １１３、ディスプレイ１１４を含む。ＰＣ１００は、映像・音声取込部１０５、送受信部１０６、映像・音声記録部１０７、拡大レベル計算部１０８、映像・音声合成部１０９、映像・音声再生部１１０、制御部１１１を含む。しかし、ビデオメール通信装置はＰＣ１００のみを含んでいる装置としてもよい。
【００１４】
ビデオカメラ１０１、マイク１０２、マウス１０３、キーボード１０４は、ＰＣ１００に情報を入力するための装置であり、スピーカＬ １１２、スピーカＲ １１３、ディスプレイ１１４はＰＣ１００から情報を出力するための装置である。
映像・音声取込部１０５は、ＰＣ１００のユーザ自身の映像および音声をそれぞれビデオカメラ１０１とマイク１０２とから取り込み、後に図２を参照して示すように取り込んだ映像を左右反転させる。例えば、図２の取得映像２０１、取得映像２０２をそれぞれ、反転映像２０３、反転映像２０４に左右反転させる。なお、取り込んだ映像を左右反転させる処理は、映像・音声取込部１０５と映像・音声記録部１０７との間で行えばよいので、映像・音声取込部１０５と映像・音声記録部１０７との間に、取り込んだ映像を左右反転させる装置部分をＰＣ１００に組み込んでもよい。
【００１５】
送受信部１０６は、外部のネットワークに接続し、ビデオメールの送受信を行う。すなわち、送受信部１０６は、他のユーザからネットワークを通じてビデオメールを受信したり、他のユーザに向けてネットワークを介してビデオメールを送信する。なお、他のユーザから受信したビデオメールの映像は既に左右反転された映像である。また、ビデオメールとは、映像と音声とを含むメールを示す。
【００１６】
映像・音声記録部１０７は、ネットワークを通じて受信したビデオメールを格納したり、ネットワークを介して送信するビデオメールを格納している。また、映像・音声記録部１０７は、映像・音声取込部１０５が取り込んだ映像および音声（ビデオ）を格納する。
【００１７】
拡大レベル計算部１０８は、映像・音声記録部１０７に格納されている相手ユーザの映像データおよび音声データを基にして、ディスプレイ１１４に表示する相手ユーザの映像の拡大レベルを計算する。
映像・音声合成部１０９は、映像・音声記録部１０７に格納されている、相手ユーザとユーザ自身の双方の映像データおよび音声データを含む２人分のビデオメールと、拡大レベル計算部１０８で計算された拡大レベルを参照して、２人のユーザの映像および音声を合成する。
【００１８】
映像・音声再生部１１０は、映像・音声合成部１０９が合成した、合成映像データと合成音声データを再生し、対応するデータをそれぞれスピーカＬ １１２、スピーカＲ １１３、ディスプレイ１１４に出力する。スピーカＬ １１２およびスピーカＲ １１３は対応する音声を出力し、ディスプレイ１１４は対応する映像を出力する。
【００１９】
制御部１１１は、ＰＣ１００内の各部の動作を制御する。制御部１１１の具体的な動作の一例は、後に図５を参照して説明する。
なお、本実施形態のビデオメール通信方法では、図２の下部に示すように一貫してそれぞれの取得した映像は左右反転させた映像をディスプレイ１１４に表示させる。
【００２０】
また、ディスプレイ１１４によってそれぞれのユーザが見る画面は横に２分割され、それぞれのユーザの映像を映し出す。例えばユーザＡがメッセージを喋っている映像が左側で再生されているときには、ユーザＢの映像が撮影され、リアルタイムで画面の右側の領域に表示される。このためユーザＢはメッセージビデオを録画したユーザＡとコミュニケーション空間を共有している感覚を得ることができる。
【００２１】
さらに、図２に示すように、それぞれのユーザのＰＣ１００の映像・音声取込部１０５で、ユーザの取得画像を左右反転させてディスプレイ１１４に表示させることにより、２人のユーザがリアルに目の前で対話をしているような位置関係を作り上げることができ、ユーザＡの発話に対して反応するユーザＢは、ユーザＡと自身の位置、動作などの様子を見ながらリアクションを起こすことができる。これによって、自然で、あたかも過去に録画された映像とリアルタイムにインタラクションしているかのような反応を示すことができるようになる。
【００２２】
次に、ディスプレイ１１４での画面構成について図３、映像領域について図４を参照して説明する。ユーザの見るディスプレイの画面構成図を図３に示す。図３の例では、前シーンに戻るボタン３０１、再生・停止ボタン３０２、次シーンへ進むボタン３０３、拡大レベルＵＰボタン３０４、拡大レベルＤＯＷＮボタン３０５、送信ボタン３０６を含んでいる。各ユーザ映像において、その時点でのそれぞれの映像の状態（再生、録画、静止）を映像領域右上にマークで表示する。また、ユーザＢの映像領域が拡大されるときの様子を図４に示す。
【００２３】
本実施形態では、自身の１つ前のメッセージ映像データおよびメッセージ音声データと、相手の聞いている様子を撮影および録音したメッセージ映像データおよびメッセージ音声データの再生時には、画面左に再生されている映像と対になる音声データを左のスピーカＬ １１２から、画面右に再生されている映像と対になる音声データを右のスピーカＲ １１３から再生する。具体的には、例えば、映像・音声合成部１０９が２人のユーザの映像および音声がそれぞれどのユーザのものであるかを明示して映像・音声再生部１１０に渡し、映像・音声再生部１１０が、例えばユーザＡおよびユーザＢの映像をディスプレイ１１４のそれぞれ左側および右側に表示するようにし、ユーザＡおよびユーザＢの音声をそれぞれスピーカＬ １１２およびスピーカＲ １１３に出力する。
【００２４】
このとき、相手の音声の音量が大きくなると画面上に表示される相手の映像の表示面積を大きくする。例えば、図４のユーザＢ映像領域４０２に示すように画像の縦は変わらないが、横に画像を引きのばす。結果的に自身の映像は横の長さが縮むことになる。具体的には、例えば、拡大レベル計算部１０８が、映像・音声記録部１０７から受け取った音声データを分析して、相手の音声の音量を検出し音量が大きいほど相手ユーザの映像の拡大レベルが大きくなるように拡大レベルを計算する。拡大レベル計算部１０８は、例えば相手の音声の音量が閾値以上の場合に映像の拡大レベルを設定する。
【００２５】
また、相手映像のフレームごとの差分を取り、差分が大きくなると画面上に表示される相手の映像の表示面積を大きくする。表示面積の拡大はｎレベル設定する（ｎは自然数）。具体的には、例えば、拡大レベル計算部１０８が、映像・音声記録部１０７から受け取った相手映像を分析して、相手映像のフレームごとの差分を取り、差分が大きいほど相手ユーザの映像の拡大レベルが大きくなるように拡大レベルを計算する。
【００２６】
ビデオメール再生時にこのｎ段階のうちいくつのレベルのシーンを再生するか選択できる機能を持ち、選択したレベル以上に拡大表示される時点の前ｍ秒（ｍは正の実数）から、選択したレベル以上に拡大表示されるのが終了する時点までを再生する。これが終了したら、選択したレベル以上に拡大表示される次の時点の前ｍ秒から、選択したレベル以上に拡大表示されるのが終了する時点までを再生する。この繰り返しを、同時に再生されている自身が送信したメッセージ映像およびメッセージ音声が終了するまで繰り返す。この動作は、例えば映像・音声再生部１１０が行う。また、例えば、ユーザがマウス１０３またはキーボード１０４を使用して拡大レベルＵＰボタン３０４または拡大レベルＤＯＷＮボタン３０５を操作してユーザが拡大レベルを選択する。さらに、拡大レベル計算部１０８で計算された拡大レベルのうち、ユーザが現在選択している拡大レベルをディスプレイ１１４に表示してもよい。
【００２７】
さらに、拡大表示されない部分のメッセージ映像およびメッセージ音声のみを再生することを選択できる機能も有する。同時に再生されている自身が送信したメッセージ映像およびメッセージ音声が終了するまでの区間で、相手の映像が拡大表示されない部分のみを再生する。この動作も、例えば映像・音声再生部１１０が行う。例えば、ユーザがマウス１０３またはキーボード１０４を使用して特定のコマンドや図示しないボタンを選択して、拡大表示されない部分のメッセージ映像およびメッセージ音声のみを再生することを選択する。
【００２８】
これらの機能によって、自身のメッセージに対する相手の反応がある程度大きい箇所に絞ってメッセージ映像およびメッセージ音声を再生できたり、逆に自身のメッセージに対する相手の反応が少ない箇所に絞ってメッセージ映像およびメッセージ音声を再生できる。そのため、自身のメッセージが相手に伝わっている部分、伝わっていない部分を取り出して視聴しやすくなる。
【００２９】
次に、ＰＣ１００の動作の一例について図５を参照して説明する。この動作は制御部１１１が制御する。図５は、ユーザＡのＰＣ１００での動作であり、ユーザＡ（ユーザ自身）がユーザＢ（相手ユーザ）からビデオメールを受け取ってユーザＡがユーザＢに返信するまでの流れを示す。ユーザＡおよびユーザＢの双方とも図１のビデオメール通信装置を使用している。
【００３０】
ユーザＡが送受信部１０６によってユーザＢのビデオメールを受信し、映像・音声記録部１０７がこのビデオメールを格納する（ステップＳ５０１）。次に、制御部１１１は、ステップＳ５０２とステップＳ５０３を同時に開始する。すなわち、制御部１１１は、映像・音声再生部１１０、スピーカＬ １１２、およびスピーカＲ １１３によって１つ前のユーザＡのメッセージ映像およびメッセージ音声を再生させ（ステップＳ５０２）、映像・音声再生部１１０、スピーカＬ １１２、スピーカＲ １１３、およびディスプレイ１１４によってこのユーザＡのメッセージ映像およびメッセージ音声を視聴しているユーザＢの反応映像および反応音声を再生させる（ステップＳ５０３）。
【００３１】
次に、制御部１１１は、ステップＳ５０４およびステップＳ５０５を同時に開始する。すなわち、制御部１１１は、映像・音声再生部１１０、スピーカＬ １１２、スピーカＲ １１３、およびディスプレイ１１４によってユーザＢのメッセージ映像およびメッセージ音声を再生させ（ステップＳ５０５）、ユーザＢのメッセージ映像およびメッセージ音声を視聴しているユーザＡの反応映像および反応音声をビデオカメラ１０１、マイク１０２、および映像・音声取込部１０５によって撮影および録音させ、映像のみをモニタリングして画面に映像・音声再生部１１０およびディスプレイ１１４によって表示させる（ステップＳ５０４）。
【００３２】
次に、制御部１１１は、ステップＳ５０６およびステップＳ５０７を同時に開始する。すなわち、制御部１１１は、ユーザＡのメッセージ映像およびメッセージ音声をビデオカメラ１０１、マイク１０２、および映像・音声取込部１０５によって撮影および録音させ、映像のみをモニタリングして画面に映像・音声再生部１１０およびディスプレイ１１４によって表示させ（ステップＳ５０６）、ステップＳ５０５で再生した映像の例えば最後のコマを静止画として画面に表示させる（ステップＳ５０７）。そしてユーザＡがステップＳ５０６で作成したビデオメールを送受信部１０６によってユーザＢに宛てて送信する。
【００３３】
このように本発明の実施形態では、ビデオメールのやり取りを行う２人のユーザの関係を対称にし、送信メッセージを聞きながらそれに反応したり、返信メッセージを録画する際には送信側ユーザとコミュニケーション空間を共有している感覚を提示できるビデオメール送受信システムを構築することができる。
【００３４】
ここで、ユーザＡとユーザＢがビデオメールのやりとりをしている場合の一例について図５を参照して説明する。この例では、ユーザＡからビデオメール１をユーザＢに送信することから始まり、これ以前にユーザＡとユーザＢとの間でビデオメールのやり取りはないものとする。  
まずユーザＡからビデオメール１を受信したユーザＢは、ステップＳ５０２およびステップＳ５０３の処理が行われず、ユーザＡのメッセージビデオ部分を視聴する（ステップＳ５０４、Ｓ５０５）。メッセージビデオ部分が終わると、そのまま返信モードに入り、メッセージビデオを録画および録音する（ステップＳ５０６）。次に、ユーザＢからビデオメール２を受信したユーザＡは、ビデオメール１を視聴しているユーザＢの反応ビデオを視聴し（ステップＳ５０３）、ユーザＢのメッセージビデオを視聴する（ステップＳ５０５）こととなる。メッセージビデオが終わるとユーザＡの返信メッセージ録画モードに切り替わる（ステップＳ５０６、Ｓ５０７）。ビデオメール２におけるユーザＢのメッセージに反応しているユーザＡの映像と、ユーザＡの返信メッセージを併せてビデオメール３としてユーザＢへと送信する（ステップＳ５０８）。
【００３５】
このように、それぞれのユーザは、前回の自身のメッセージビデオに対する相手の反応を視聴してから相手のメッセージビデオを視聴することができる。このためそれぞれのユーザは、自分のメッセージに対する相手の反応を確認することができ、しかもビデオメールのやり取りを何往復続けても、受け取ったビデオメールの中身は相手の反応ビデオと返信メッセージビデオだけであり、その後自身のメッセージビデオを録画するという構造は変化しない。この構造の恒常性は双方のユーザ間において保たれているため、自然なメッセージのやりとりができる。
【００３６】
なお、ユーザは、ビデオメール通信装置が図５に示したステップのうち現在どの処理段階にいるかを、各ユーザ映像領域右上のマークの組み合わせで判断できる。図５の例での処理とマークの対応を表１に表す。また、ユーザＡのメッセージ受信から送信までの流れを図６に示す。
【００３７】
【表１】
2010268305.tif 000003
以上に示した実施形態によれば、送信したメッセージ映像およびメッセージ音声に合わせて受信者の聞いている様子を再生でき、さらに受信者は送信者の隣に自身の様子をリアルタイムに映しながら反応できる。このようにして、非同期ながらもインタラクティブに対話しているような感覚を得ることが可能になる。
【００３８】
また、一方のユーザは、自身のメッセージ映像およびメッセージ音声を視聴しているもう一方のユーザの反応を見ることができ、しかもメッセージビデオのやり取りは、受けたメッセージビデオに対して返信メッセージを返すという自然なやりとりが可能になる。
【００３９】
さらに、図２のようにそれぞれのユーザの映像は鏡像として横に並べて表示されるため、非同期ながらもコミュニケーションの場を共有しているかのように反応することができる。自身のメッセージに対する相手の反応を視聴しているときも、相手のメッセージに対して反応するときも、あたかも画面上で対面して会話しているようなコミュニケーションが可能となる。
【００４０】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のビデオメール通信装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のビデオメール通信装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００４１】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
【００４２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４３】
１０１…ビデオカメラ、１０２…マイク、１０３…マウス、１０４…キーボード、１０５…映像・音声取込部、１０６…送受信部、１０７…映像・音声記録部、１０８…拡大レベル計算部、１０９…映像・音声合成部、１１０…映像・音声再生部、１１１…制御部、１１２…スピーカＬ、１１３…スピーカＲ、１１４…ディスプレイ、２０１，２０２…取得映像、２０３，２０４…反転映像、３０１…前シーンに戻るボタン、３０２…再生・停止ボタン、３０３…次シーンへ進むボタン、３０４…拡大レベルＵＰボタン、３０５…拡大レベルＤＯＷＮボタン、４０２…ユーザＢ映像領域４０２。
【図１】
2010268305.tif 000004
【図２】
2010268305.tif 000005
【図３】
2010268305.tif 000006
【図４】
2010268305.tif 000007
【図５】
2010268305.tif 000008
【図６】
2010268305.tif 000009