(57)【特許請求の範囲】
【請求項１】
複数の端末間で動画データを送受する動画メール作成方法において、
動画表示手段が、他の端末から受信した作成者情報が付加された受信動画データの受信動画と前記受信動画データの作成者を特定する情報とを表示する受信動画表示ステップと、
動画引用手段が、前記受信動画データを引用するステップと、
挿入動画生成手段が、引用された前記受信動画データに挿入する新たな動画データを生成させる挿入動画生成ステップと、
動画挿入手段が、作成者情報が付加された前記新たな動画データを、引用された前記受信動画データに挿入するステップと、
前記動画表示手段が、前記受信動画データに前記新たな動画データが挿入された返信動画データの返信動画を表示するステップと、
動画送信手段が、前記受信動画データの作成者及び前記新たな動画データの作成者を特定する情報が付加された前記返信動画データを前記複数の端末のうちいずれか一つ以上に送信する動画送信ステップとを有することを特徴とする動画メール作成方法。
【請求項２】
請求項１記載の動画メール作成方法において、前記返信動画データは、少なくとも、引用する前記受信動画データと、前記受信動画データの前記引用の箇所を前記返信動画データのフレーム位置で示す引用位置データとを有することを特徴とする動画メール作成方法。
【請求項３】
請求項１記載の動画メール作成方法において、前記返信動画データは、少なくとも、新たな動画データである挿入動画データと、該挿入動画データの挿入箇所を前記受信動画データのフレーム位置で示す挿入位置データとを有することを特徴とする動画メール作成方法。
【請求項４】
請求項１から請求項３のいずれかに記載の動画メール作成方法において、前記挿入動画生成手段は、操作者が前記受信動画表示ステップで表示された前記受信動画データを参照しながら発声した音声に反応した音声制御により、前記挿入動画生成ステップで発声中の前記操作者の動画データを生成し、前記動画挿入手段は、前記操作者の動画データを、前記操作者の発声開始時点で前記受信動画表示ステップで表示されていた前記受信動画データのフレーム位置に挿入することを特徴とする動画メール作成方法。
【請求項５】
請求項１から請求項４のいずれかに記載の動画メール作成方法において、さらに返信動画表示条件設定手段が、前記動画データを作成した操作者に応じて前記動画データの表示条件を変更させるステップを有することを特徴とする動画メール作成方法。
【請求項６】
請求項５記載の動画メール作成方法において、前記返信動画表示条件設定手段は、表示する前記動画データが前記受信動画データか前記返信動画データかによって、前記動画データの表示条件を変更することを特徴とする動画メール作成方法。
【請求項７】
複数の端末間で動画データを送受する動画メールシステムにおいて、
前記複数の端末のそれぞれは、
他の端末から受信した作成者情報が付加された受信動画データの受信動画と前記動画データを作成した操作者を特定する情報とを表示する動画表示画面と、
前記受信動画データを引用する動画引用手段と、
引用された前記受信動画データに挿入する新たな動画データを生成させる挿入動画生成手段と、
作成者情報が付加された前記新たな動画データを、引用された前記受信動画データに挿入させる動画挿入手段と、
前記動画表示手段は、引用された前記受信動画データに前記新たな動画データが挿入された返信動画データの返信動画を表示するものであって、
前記受信動画データの作成者及び前記新たな動画データの作成者を特定する情報が付加された前記返信動画データを前記他の端末に送信させる送信手段とを有することを特徴とする動画メールシステム。
【請求項８】
請求項７に記載の動画メールシステムにおいて、前記返信動画データは、少なくとも、引用する前記受信動画データと、前記受信動画データの前記引用の箇所を前記返信動画データのフレーム位置で示す引用位置データとを有することを特徴とする動画メールシステム。
【請求項９】
請求項７記載の動画メールシステムにおいて、前記返信動画データは、少なくとも、新たな動画データである挿入動画データと、該挿入動画データの挿入箇所を前記受信動画データのフレーム位置で示す挿入位置データとを有することを特徴とする動画メールシステム。
【請求項１０】
請求項７乃至９に記載の動画メールシステムにおいて、表示された前記受信動画データを操作者が参照しながら発声した音声に反応して返信動画データを生成する音声制御手段を有し、前記音声制御手段により検知された音声の開始によって、前記動画挿入手段に、前記新たなデータを引用された前記受信動画データに挿入させることを特徴とする動画メールシステム。
【請求項１１】
請求項７乃至１０に記載の動画メールシステムにおいて、さらに、前記動画データを作成した操作者に応じて前記動画データの表示条件を変更させる返信動画表示条件設定手段を有することを特徴とする動画メールシステム。
【請求項１２】
請求項１１に記載の動画メールシステムにおいて、前記返信動画表示条件設定手段は、さらに、動画データの作成者を選択させる手段を有していることを特徴とする動画メールシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、端末間で動画データを送受する動画メール作成方法及び動画メールシステムに関する。
【０００２】
【従来の技術】
従来技術の第１の例として、郵政省編通信白書平成７年度版第１４８頁から第１５０頁に、予め定めたネットワークアドレスを有する端末のユーザーから文字データを受信し、受信したユーザーは返答を作成し、作成した文字データを送信元のユーザーに送信して、お互いに情報をやり取りする電子メールシステムが、記載されている。返答を作成するユーザーは、受信した文字データを引用しながら作成することが多い。また、従来技術の第２の例として、郵政省編通信白書平成７年度版第４０１頁にマルチメディアＯＳに関する記載がある。この例では、動画データをネットワークを介して他の端末とやり取りできる。動画データは、適当な情報圧縮を行うことで比較的短時間に伝送可能であり、文字データのかわりに動画データを送受する電子メール（動画メール）システムも可能である。
【０００３】
【発明が解決しようとする課題】
前記従来技術における動画メールシステムでは、返答する動画データを作成する際、受信した動画データを引用することは全く考慮されておらず、受信した画像データを引用しながら返答できないため、受信した動画データと返答する動画データとの対応付けが難しく、返答内容を端的に表現した動画データを迅速に作成できないという問題があった。本発明は、上記問題を解決し、受信した動画メールを引用しながら返答する動画メールを作成可能な動画メール作成方法及び動画メールシステムを提供することにある。
【０００４】
【課題を解決するための手段】
本発明の動画メール作成方法は、端末間で動画データを送受する動画メール作成方法であり、各端末は、少なくとも、他の端末から受信した動画データ（受信動画データ）を表示する受信動画表示ステップと、操作者の指示に従い受信動画データを引用して返信動画データを作成する動画編集ステップと、返信動画データを他の端末に送信する動画送信ステップを有する点に特徴がある。また、端末間で動画データを送受する動画メールシステムであり、他の端末から受信した動画データ（受信動画データ）を表示する受信動画表示画面と、他の端末に返信する動画データ（返信動画データ）を表示する送信動画表示画面と、操作者が受信動画データを返信動画データに引用することを指示する引用ボタンと、操作者が新たに作成した挿入動画データを表示する新規動画表示画面と、操作者が挿入動画データを返信動画データの所望のフレームに挿入することを指示する挿入ボタンと、操作者が返信動画データを他の端末に送信することを指示する送信ボタンとを有する点に特徴がある。
【０００５】
【発明の実施の形態】
（第一の実施の形態）
以下、本発明の第一の実施の形態を、図を用いて詳細に説明する。図２は、本発明の動画メール作成方法の一例を示す。１１は、操作者の指示を受け付ける指示入力ステップ、１２、１３、１４、１５、１６は、指示入力ステップ１１での入力内容に基づく条件分岐、１７は、他の端末から受信した動画データ（受信動画データ）を表示する受信動画表示ステップ、１０は、操作者の指示に従い受信動画データを引用した返信動画データを作成する動画編集ステップ、２０は、返信動画データを他の端末に送信する動画送信ステップである。通常、端末には複数の電子メール（即ち、受信動画データ）を受信し、保存することが可能である。受信動画表示ステップ１７で表示する受信動画データは、例えば、操作者が受信動画データのリストから所望の受信動画データを指示して選択する。選択した受信動画データは、例えば、図３に示す動画表示ステップで表示する。図３は、動画データを表示する動画表示ステップの一例である。４１は、操作者の指示を受け付ける指示入力ステップ、４２、４３、４４は、指示入力ステップ１１での入力内容に基づく条件分岐である。フレームとは、動画を構成する各静止画である。操作者が再生／停止を指示すると、動画データの表示を開始する。次に、操作者が再生／停止を指示すると、動画データの表示を停止する。この時、表示画像は指示時点で表示していたフレームである。再度、操作者が再生／停止を指示すると、停止時点のフレームから動画データの表示を開始する。また、操作者が早送り、巻戻しを指示すると、表示するフレームを進める処理、戻す処理を行う。
【０００６】
図２の動画編集ステップ１０は、操作者の指示に従い返信動画データに利用する新たな動画データ生成する動画生成ステップ１８、操作者の指示に従い返信動画データに受信動画データを引用する動画引用ステップ１９とを有する。動画生成ステップ１８は、例えば、操作者をカメラ等で撮影した動画データを生成する。動画編集ステップ１０で生成する返信動画データは、例えば、図４、或いは図５の構造を有する。図４（ａ）、（ｂ）は、動画編集ステップ１０で生成する返信動画データの一例である。図４（ａ）において、５１は、新規動画データであって、動画生成ステップ１８で生成され、５２は、受信動画データであり、動画引用ステップ１９で生成される。図４（ｂ）において、５３は、引用位置データであり、受信動画データ５２の引用箇所を示している。この引用箇所は、新規動画データ５１のフレーム位置で示される。例えば、図４（ｂ）において、引用位置データの第１行５４は、新規動画データ５１のフレーム３に受信動画データ５２のフレーム０からフレーム４を引用することを示す。これら３つのデータ（５１、５２、５３）は、動画送信ステップで他の端末に送信され、新規動画データ５１のフレーム０からフレーム２、受信動画データ５２のフレーム０からフレーム４、新規動画データ５１のフレーム３からフレーム６、受信動画データ５２のフレーム５からフレーム７の順に表示される。
【０００７】
図５（ａ）、（ｂ）は、動画編集ステップで生成する返信動画データの他の一例である。図５（ａ）において、５２は、受信動画データであり、動画引用ステップで生成され、５６は、挿入動画データであり、動画生成ステップで生成される。図５（ｂ）において、５７は、挿入位置データであり、挿入動画データの挿入箇所を示す。この挿入箇所は、受信動画データのフレーム位置で示される。例えば、図５（ｂ）において、挿入位置データ５７の第１行５８は、受信動画データ５２のフレーム０に挿入動画データ５６のフレーム０からフレーム２を引用することを示す。これら３つのデータ（５２、５６、５７）は、動画送信ステップで他の端末に送信され、挿入動画データ５６のフレーム０からフレーム２、受信動画データ５２のフレーム０からフレーム４、挿入動画データ５６のフレーム３からフレーム６、受信動画データ５２のフレーム５からフレーム７の順に表示される。図４及び図５に示した返信動画データのデータ構造において、受信動画データ５２の各フレームが同一画像で、新規動画データ５１と挿入動画データ５６の対応する各フレームが同一画像であるときには、送信先の端末で表示される動画は、同一になり、同じ動画情報を表示できる。また、図４及び図５のデータ構造において、他の端末で生成された受信動画データと操作者が作成した新規動画データ或いは挿入動画データとは、互いに分離されており独立して管理できる。通常、電子メールには、返信する際のネットワークアドレスやユーザー名に関する情報が付加されて送られてくる。動画送信ステップ２０において、動画編集ステップ１０で作成された返信動画データの送信先は、例えば、引用した受信動画メールに含まれるネットワークアドレスやユーザー名に関する情報を利用する。  次に、本発明の動画メール作成方法を用いた動画メールシステムの一例を、図１を用いて説明する。図１は、図２に示す本発明の動画メール作成方法を用いた動画メールシステムの端末の画面の一例である。２１は、端末の画面、２２は、他の端末から受信した動画データ（受信動画データ）を表示する受信動画表示画面、２３は、他の端末に返信する動画データ（返信動画データ）を表示する送信動画表示画面、２４は、操作者が新たに作成した挿入動画データを表示する新規動画表示画面である。
【０００８】
受信動画表示画面２２は、表示している受信動画データに対する返信動画データの作成を指示する返信ボタン３１と、表示の終了を指示する終了ボタン３２とを有する。送信動画表示画面２３は、受信動画データを返信動画データに引用することを指示する引用ボタン３３と、新たに挿入動画データを作成して返信動画データに引用することを指示する作成ボタン３４と、作成した返信動画データを他の端末に送信することを指示する送信ボタン３５とを有する。新規動画表示画面２４は、カメラ等で操作者の撮影の開始を指示する録画ボタン３６と、作成した挿入動画データを返信動画データの所望のフレームに挿入することを指示する挿入ボタン３７とを有する。各表示画面（２２、２３、２４）は、動画データを表示する。操作者が、３つの操作ボタン（再生／停止２５、早送り２６、巻戻し２７）を操作し、例えば、図３に示す動画表示ステップにより動画データを表示する。
【０００９】
次に、図１の動画メールシステムを用いて、受信動画データを引用して返信動画データを作成して送信する手順を説明する。なお、本手順の開始時点では、各表示画面（２２、２３、２４）は、何も表示されていない、或いはウィンドウシステムにより、表示画面自体のウィンドウが存在しないものとする。先ず、操作者は、受信動画表示ステップ１７を用いて、受信動画データを受信動画表示画面２２に表示させる。例えば、操作者が、受信動画データのリストから所望する受信動画データを選択すると、選択された受信動画データ２８は受信動画表示画面２２に表示される。なお、受信動画データ２８は、他の端末の操作者（即ち、送信者）を撮影した例とする。次に、受信動画表示画面２２の３つの操作ボタン（２５、２６、２７）を操作し、受信動画データ２８の内容を確認した後、返信ボタン３１を選択する。返信ボタン３１を選択すると、動画生成ステップ１８により、送信動画表示画面２３が表示される。
【００１０】
次に、引用ボタン３３を選択すると、動画引用ステップ１９により受信動画データ２８が返信動画データ２９に引用される。引用結果は、送信動画表示画面２３に表示される。次に、送信動画表示画面２３の３つの操作ボタン（２５、２６、２７）を操作し、新たな動画データを挿入したい返信動画データ２８（現時点では、受信動画データと同じ）のフレームを表示させる。所望のフレーム表示後、作成ボタン３４を選択すると、動画生成ステップ１８により、新規動画表示画面２４が表示される。次に、録画ボタン３６を選択すると、動画生成ステップ１８により、例えば、操作者（即ち、受信者）をカメラ等で撮影した動画データを生成する。生成した動画データ３０は、新規動画表示画面２４に表示される。次に、新規動画表示画面２４の３つの操作ボタン（２５、２６、２７）を操作し、生成した動画データ３０の内容を確認した後、挿入ボタン３７を選択すると、動画生成ステップ１８により、作成ボタン３４を選択したときの返信動画データ２８のフレーム位置に、生成した動画データ３０が挿入され、その結果が送信動画表示画面２３に表示される。最後に、送信動画表示画面２３の３つの操作ボタン（２５、２６、２７）を操作し、返信動画データ２９の内容を確認した後、送信ボタン３５を選択すると、動画送信ステップ２０により、返信動画データ２９が他の端末に送信される。
【００１１】
以上説明したように本実施形態では、他の端末から受信した受信動画データを、操作者の指示に従い引用した返信動画データを作成する動画編集ステップを設け、作成した返信動画データを他の端末に送信するので、受信した画像データを引用しながら返答でき、受信した動画データと返答する動画データとの対応付けが容易になり、返答内容を端的に表現した返信動画データを迅速に作成できる。さらに、返信動画データのデータ構造を、他の端末で生成された受信動画データと操作者が作成する新規動画データ或いは挿入動画データとが互いに分離して、独立して管理するので、各々の画像データの作成者（即ち、著作権の所有者）を明確にでき、情報の漏洩や不正な引用を容易に防止でき、情報の安全性を高めることができる。第一の実施の形態において、送信動画表示画面２３の引用ボタン３３を選択して、受信動画データ２８を返信動画データ２９に引用したが、受信動画表示画面２２の返信ボタン３１を選択すると、自動的に受信動画データ２８を返信動画データ２９に引用し、送信動画表示画面２３に表示してもよい。或いは、受信動画表示画面２２の返信ボタン３１を選択すると、操作者に引用する／しないを問う表示画面を表示し、操作者が引用する指示をした場合は、自動的に受信動画データ２８を返信動画データ２９に引用し、送信動画表示画面２３に表示してもよい。
【００１２】
また、第一の実施の形態において、返信動画データ２９への新たな動画データの挿入は、新規動画表示画面２４を用いて行ったが、送信動画表示画面２３に録音ボタンや挿入ボタンを設け、送信動画表示画面２３を用いて行ってももよい。例えば、新たな動画データを挿入したい返信動画データ２８のフレームを表示後、録画ボタン３６を選択して、操作者をカメラ等で撮影した動画データを生成し（動画データは、送信動画表示画面２３に表示される）、挿入ボタン３７を選択して、生成した動画データを返信動画データ２９に挿入する。また、第一の実施の形態において、図４及び図５に示した返信動画データのデータ構造は、動画データのやり取りの繰り返し等により、受信動画データに、過去に操作者（即ち、受信者）が作成した動画データの引用や挿入が行われている場合、データ構造を階層化して対応させてもよい。
【００１３】
（第二の実施の形態）
次に、第二の実施の形態を、図を用いて詳細に説明する。第一の実施の形態では、動画編集ステップ１０は、録画ボタン３６を選択すると、動画生成ステップ１８が、例えば、操作者（即ち、受信者）をカメラ等で撮影した動画データを生成し、返信動画データを作成するが、操作者の音声に反応にして他のステップを制御する音声制御ステップを設け、操作者が受信動画データを参照しながら発声した音声に反応して、発声中の撮影者の動画データを、発声開始時点で表示されていた受信動画データのフレーム位置に、自動的に挿入して作成することもできる。図６は、新たな動画データを生成する動画生成ステップ１８の一例である。６７は、操作者の音声に反応して他のステップを制御する音声制御ステップ、６８は、操作者を撮影した動画データを生成する動画生成ステップである。音声制御ステップ６７では、例えば、操作者の音声を集音するマイクを用いる。図６による返信動画データの作成は、例えば以下の手順により行う。先ず、引用ボタン３３を選択し、受信動画データ２８を返信動画データ２９に引用して、送信動画表示画面２３に表示する。次に、送信動画表示画面２３で返信動画データ２９（現時点では、受信動画データと同じ）を再生し、所望の引用箇所（フレーム）が表示されたときに、操作者が返信相手へのメッセージを発声すると、音声制御ステップ６７で発声開始を検出し（６１）、送信動画表示画面２３での再生を停止後（６３）、動画生成ステップ６８で発声中の撮影者の動画データを録画する（６４）。最後に、操作者による返信相手へのメッセージが終了し発声を止めると、音声制御ステップ６７で発声終了を検出し（６２）、動画生成ステップ６８での録画を終了し（６５）、録画した動画データを発声開始時点で送信動画表示画面に表示されていた返信動画データのフレーム位置に挿入する（６６）。
【００１４】
以上説明したように本実施形態では、操作者の音声に反応にして他のステップを制御する音声制御ステップを設け、操作者が受信動画データを参照しながら発声した音声に反応して、発声中の撮影者の動画データを自動的に挿入して、返信動画データを作成するので、返信する相手と実際に対話する場合と同様な感覚で返信動画データを作成でき、返信動画データを簡便な操作で、迅速、的確に作成できる。
【００１５】
（第三の実施の形態）
次に、第三の実施の形態を、図を用いて詳細に説明する。第一の実施の形態では、動画表示ステップは、例えば、図３に示す手順に従い、３つの操作ボタン（再生／停止２５、早送り２６、巻戻し２７）を操作して動画データを表示するが、動画データを作成した操作者を表示したり、動画データを作成した操作者や表示する動画データの種類により表示条件を変更することもできる。図７（ａ）、（ｂ）は、受信動画表示画面の他の一例であり、図７（ａ）において、符号２２、２５、２６、２７、２８、３１、３２は、図１と同じ意味の符号である。本実施形態では、システムを利用し動画データを作成した作成者を特定する情報を利用する。この情報は、例えば、通常、電子メールに付加されている返信する際のネットワークアドレスやユーザー名に関する情報と同様に、返信動画データに作成者に関する情報を付加して送受して各端末で利用できる。或いは、図４及び図５に示した返信動画データのデータ構造で、各動画データに作成者に関する情報を付加することで得られる。
【００１６】
図７（ａ）において、７１、７２、７３は、表示する動画データの作成者の概略を表す作成者バーである。例えば、作成者バー全体が動画データ全体を表し、ポインタ７４は表示中のフレーム位置を、色や模様等の違いは作成者を表現する。図７（ａ）の例では、ハッチングのある部分（７１、７３）は送信者が作成したフレーム、ハッチングのない部分（７２）は受信者が作成したフレーム（即ち、送信者が引用したフレーム）を表現する。図７（ａ）の例では、ポインタ７４は７２の部分にあるので、受信者が作成したフレームを表示している状態である。７５、７６は、作成者を単位とする早送り、巻戻しボタンである。例えば、受信者が作成した動画データを表示中（ポインタ７４が７２の部分にある時）にボタン７６を選択すると、次に送信者が作成した動画データの先頭フレームまで早送り（ポインタ７４が７３の部分の左端に移動）して、表示を再開する。
【００１７】
７７は、作成者を表示する領域である。図７（ａ）の例では、受信者のユーザー名（太郎）を表示している状態である。７８は、動画データの表示条件を、詳細に設定することを指示する表示条件設定ボタンである。このボタン７８を選択すると、図７（ｂ）に示す表示条件設定画面８１が表示される。表示条件設定画面８１では、音量や表示速度等の表示条件を、動画データの作成者毎に設定できる。図７（ｂ）の例では、作成者８４が受信者の場合、画像８５は表示して、音声８６は標準の音量で、表示速度８７は倍速で表示することを選択した状態である。選択終了後、設定ボタン８３を選択し、８４、８５、８６の選択を設定する。他の作成者に関しては、プルダウンメニューボタン８８を操作して、プルダウンメニューから所望の作成者を選択した後、同様な手順で設定できる。設定後、受信動画データの表示を、例えば、図８の手順で行う。
【００１８】
図８は、動画表示ステップの他の一例である。再生する動画データの作成者を調べ（９１）、９２、９３、９４の条件分岐により、作成者に応じた表示条件が設定（９５、９６、９７）される。予め設定した作成者以外の場合は、標準の表示条件が設定される（９８）。次に、設定した表示条件で動画データを表示（９９）する。表示中、作成者が変更された場合、条件分岐１００で判別し、再度、表示条件を設定する。表示条件設定画面８１の例では、図８の手順に従えば、例えば、受信者が作成した動画データは倍速で表示され、送信者が作成した動画データは標準速で表示できる（但し、送信者の表示速度は、標準速に設定していると仮定した）。即ち、送信者が引用した受信者の動画データのみ、高速に表示できる。また、表示する動画データが受信動画データか返信動画データかによって、異なる表示条件を設定することもできる。例えば、送信動画表示画面２３にも図７（ａ）の受信動画表示画面２２と同様な表示条件設定ボタン７８及び表示条件設定画面８１を用意し、受信者が作成した動画データを標準速で表示し、送信者が作成した動画データは倍速で表示できる。即ち、新たに作成した受信者の動画データのみ、標準速で表示できる。
【００１９】
以上説明したように本実施形態では、動画データを作成した操作者を表示するので、各々の画像データの作成者（即ち、著作権の所有者）を明確にでき、情報の取り間違い等を防止でき、情報の安全性を高めることができる。さらに、動画データを作成した操作者や表示する動画データの種類により表示条件を変更するので、受信動画データは、送信者が引用した受信者の動画データのみを高速に表示し、返信動画データは、新たに作成した受信者の動画データのみを標準速で表示できる。これにより、例えば操作者にとってより重要な情報は標準速で表示し、あまり重要でない情報は高速で表示でき、必要な情報が迅速且つ的確に得られる。
【００２０】
第三の実施の形態において、動画表示ステップを利用して、送信者が新たに作成した動画データのみ表示する表示画像を設け、受信動画表示ステップ１７で、例えば、操作者が表示する受信動画データのリストから所望する受信動画データを選択する際の参照画像として利用してもよい。また、第三の実施の形態において、作成者のユーザー名を作成者を表示する領域７７に表示するが、動画生成ステップ１８で、新たな動画データを生成する際に、生成する動画データの各フレームに作成者のユーザー名をイメージ（ビットマップ）で直接記録し、動画表示ステップで表示する画像に、作成者のユーザー名を常に表示してもよい。これにより、各々の画像データの作成者（即ち、著作権の所有者）をより明確にでき、情報の安全性をさらに高めることができる。
【００２１】
（第四の実施の形態）
次に、第四の実施の形態を、図を用いて詳細に説明する。本実施形態は、本発明を医療分野での遠隔診療支援システムに利用した一例である。遠隔診療支援システムは、複数の医療施設に配置した端末に同一の診療データ（検査値や画像、カルテ等）を表示するシステムである。例えば、診療所の主治医と病院の専門医との間等、遠隔地にいる複数の医師が同一の診療データを互いに観察しながら診断や治療方針等を決定するテレカンファレンスを行う。テレカンファレンスでは、以下の点が問題となっていいる。即ち、遠隔診療支援システムを用いたテレカンファレンスでは、カンファレンスに参加する医師が各々の端末に就く必要があり、医師は多忙なため、お互いに予め定めた時間を確保することが困難である。また、確保できたとしても、急患等により中断や中止を余儀なくさせられることが多々ある。そこで本発明の動画メールを利用すると、相手が不在でもメールの送受が可能であり、上記の問題を解決できる。
【００２２】
図９は、本実施形態の動画メールシステムの一構成例であり、病院１０１の専門医１０２と診療所１０３の主治医１０４との間でテレカンファレンスを行う場合の構成例である。１０５は病院の端末、１０６は診療所の端末であり、第一から第三の実施形態で説明した手順に従い、回線１０７等のネットワークを介して、動画メールを送受できる。１０８及び１０９は、検査装置である。図９の例では、病院１０１にはＸ線ＣＴ装置、診療所１０３には超音波診断装置が配置されている。また、各装置で得られる画像データは、ネットワークや媒体搬送等の手段を用いて、各々の施設の端末に取り込み、動画メールの素材として利用する。次に、図９の一構成例を用いた動画メールの利用例を説明する。今、腹部に異常を訴えた患者が診療所１０３を訪れ、主治医１０４の診察を受けた。主治医１０４は、簡便で侵襲のない超音波診断装置１０９を用いて、腹部超音波検査を行った。その結果、肝臓に腫瘤のような陰影を認めたが、良性か悪性かの判断や、今後必要な精密検査、治療方針立案が困難であった。そこで主治医１０４は、端末１０６を利用し、図１０に示す動画データを作成し、動画メールとして専門医１０２に送信した。
【００２３】
図１０の動画データは、家族歴１１１、食習慣１１２、既往症１１３等の問診結果、主訴１１４、更に、超音波診断装置から取り込んだ超音波検査画像（１１５〜１１７）等からなる。１２１〜１２９は、動画データの内容１１１〜１１９に関する主治医の音声の要約である。また、超音波診断装置は、リアルタイムで画像が収集でき、収集結果から１フレームを取り出した静止画ではなく、収集結果全体を動画データとして専門医に送信できる。本実施形態では、撮影方向が異なる複数の動画データ（１１５〜１１７）を送信した。病院１０１の専門医１０２は、一日の診察が終了した時点で端末１０５を操作し、第一の実施の形態（図１）と同様な手順で、主治医１０４からの動画メール（受信動画データ）を受信動画表示画面２２に表示した。その結果、腫瘍が２つ存在し、一方は良性であるが、他方は悪性の可能性があると判断した。そこで、返信ボタン３１を選択し、更に、引用ボタン３３を選択し、受信動画データを引用した。そして、良性、悪性の特徴（形状、後方の陰影、境界の明確さ等）が最も明確に現れているフレームを表示して、作成ボタン３４を選択し、良性／悪性及びその根拠を説明する挿入動画データを作成して挿入した。その結果、図１１に示すような返信動画データを作成し、動画メールとして主治医１０６に送信した。
【００２４】
図１１の返信動画データは、引用した受診動画データの１６５〜１６９（図１０の動画データの１１１〜１１９に相当）の後に、挿入動画データ１３１〜１３５を各々挿入したデータである。本実施形態では、図５に示したデータ構造を用いた。１４１〜１４５は、挿入動画データの内容１３１〜１３５に関する専門医の音声の要約である。検査画像１１５に対しては良性腫瘍である旨を、検査画像１１６に対しては悪性腫瘍である旨を、検査画像１１７に対しては腫瘍は２つである旨を、必須精密検査１１８に対しては造影検査を要する旨を、治療計画１１９に対しては投薬内容に関する旨をそれぞれ作成して挿入した。診療所１０３の主治医１０４は、例えば翌朝に端末１０６を操作し、専門医１０２からの動画メールを表示する。専門医での検査が必要なことが分かると、患者に連絡を取って専門医による検査をすすめ、電話や再度動画メールを送る等して、検査の予約手続きを行う。
【００２５】
以上のように本発明では、複数の医療施設に配置した端末に、他の端末から受信した動画データを操作者の指示に従い引用した返信動画メールを他の端末に送信する動画メールを利用できるので、お互いに予め定めた時間の確保や、急患等により中断や中止を余儀なくさせられることなしに、診療所の主治医と病院の専門医との間等、遠隔地にいる複数の医師が同一の診療データを互いに観察しながら診断や治療方針等を決定できる。さらに、複数の検査画像、必須精密検査、治療計画等の複数の問い合わせ事項を引用し、各問い合わせに対応して回答を挿入でき、回答内容を端的に表現した返信動画データを迅速に作成できる。
【００２６】
以上説明したように、本発明では、他の端末から受信した受信動画データを、操作者の指示に従い引用した返信動画データを作成する動画編集ステップを設け、作成した返信動画データを他の端末に送信するが、この主旨を超えない範囲内で、様々な変形や組み合わせ等が可能である。
【００２７】
【発明の効果】
以上説明したように本発明によれば、受信した画像データを引用しながら返答でき、受信した動画データと返答する動画データとの対応付けが容易になり、返答内容を端的に表現した返信動画データを迅速に作成できる。また、音声制御ステップを使用し、返信する相手と実際に対話する場合と同様な感覚で返信動画データを作成でき、返信動画データを簡便な操作で、迅速、的確に作成できる。さらに、動画データの種類により表示の速度を変え、必要な情報が迅速且つ的確に得られる。
【図面の簡単な説明】
【図１】本発明の動画メールシステムの端末の画面画面の一例を示す図。
【図２】本発明の動画メール作成方法の一例を示すフロー。
【図３】動画データを表示する動画表示ステップの一例を示すフロー。
【図４】動画編集ステップで生成する、（ａ）返信動画データ、（ｂ）引用位置データの一例を説明する図。
【図５】動画編集ステップで生成する、（ａ）返信動画データ、（ｂ）挿入位置データの他の一例を説明する図。
【図６】新たな動画データ生成する動画生成ステップの一例を示すフロー。
【図７】（ａ）受信動画表示画面の他の一例、（ｂ）表示条件設定画面の例を示す図。
【図８】動画表示ステップの他の一例を示すフロー。
【図９】本発明の動画メールシステムの一構成例を示す図。
【図１０】動画データの一例を示す図。
【図１１】返信動画データの一例を示す図。
【符号の説明】
１０…動画編集ステップ、１１…指示入力ステップ、１２〜１６…指示入力ステップでの入力内容に基づく条件分岐、１７…受信動画表示ステップ、１８…動画生成ステップ、１９…動画引用ステップ、２０…動画送信ステップ、２１…端末の画面、２２…受信動画表示画面、２３…送信動画表示画面、２４…新規動画表示画面、２５…再生／停止ボタン、２６…早送りボタン、２７…巻戻しボタン、２８…受信動画データ、２９…返信動画データ、３０…生成した動画データ、３１…返信ボタン、３２…終了ボタン、３３…引用ボタン、３４…生成ボタン、３５…送信ボタン、３６…録画ボタン、３７…完了ボタン、４１…指示入力ステップ、４２〜４４…指示入力ステップでの入力内容に基づく条件分岐、５１…新規動画データ、５２…受信動画データ、５３…引用位置データ、５４…引用位置データの第１行、５５…引用位置データの第２行、５６…挿入動画データ、５７…挿入位置データ、５８…挿入位置データの第１行、５９…挿入位置データの第２行、６０…挿入位置データの第３行、６１〜６２…音声に基づく条件分岐、６３…再生を停止するステップ、６４…録画を開始するステップ、６５…録画を終了するステップ、６６…録画した動画データを返信動画データに挿入するステップ、６７…音声制御ステップ、６８…動画生成ステップ、７１〜７３…作成者バー、７４…ポインタ、７５…作成者を単位とする早送りボタン、７６…作成者を単位とする巻戻しボタン、７７…作成者を表示する領域、７８…表示条件設定ボタン、８１…表示条件設定画面、９１…再生する動画データの作成者を調べるステップ、９２〜９４…動画データの作成者に基づく条件分岐、９５…送信者の表示条件を設定するステップ、９６…受信者の表示条件を設定するステップ、９７…太郎の表示条件を設定するステップ、９８…標準の表示条件を設定するステップ、９９…設定した表示条件で動画データを表示するステップ、１００…作成者を調べる条件分岐、１０１…病院、１０２…専門医、１０３…診療所、１０４…主治医、１０５…病院の端末、１０６…診療所の端末、１０７…回線、１０８〜１０９…検査装置、１１１〜１１９…動画データ、１２１〜１２９…音声要約、１３１〜１３５…挿入動画データ、１４１〜１４５…音声要約、１６１〜１６９…受信動画データ、１７１〜１７９…音声要約。
【図１】
0003675008.tif 000002
【図２】
0003675008.tif 000003
【図３】
0003675008.tif 000004
【図４】
0003675008.tif 000005
【図５】
0003675008.tif 000006
【図６】
0003675008.tif 000007
【図７】
0003675008.tif 000008
【図８】
0003675008.tif 000009
【図９】
0003675008.tif 000010
【図１０】
0003675008.tif 000011
【図１１】
0003675008.tif 000012