(57)【要約】【課題】書き手の意図に沿った新規なメール再生を行う。【解決手段】電子メールの再生時、メールに含まれるテキスト、画像、サウンド等のエレメントが逐次再生される途中、エレメントの境界で再生が一時停止する。停止していることは待ち状態を表す記号２１の表示によりユーザに知らしめられる。ユーザが所定のキー入力等の指示を行うと、再生が再開される。受信メール中のテキストの途中に一時停止マークが含まれる場合、テキストの途中でも再生を一時停止する。サウンドエレメントと続くエレメントの境界では必ずしも一時停止する必要はない。【選択図】　図２
2004135028.tif 000002
【特許請求の範囲】
【請求項１】
電子メール作成装置で作成され、ネットワークを介して送信された電子メールが電子メール再生装置において再生される電子メールシステムにおいて、
前記電子メール作成装置は、ユーザの操作にしたがって、メールを作成するとともに、このメール中に明示的または暗黙的な再生停止部を設定し、
前記電子メール再生装置は、受信したメールを再生するとともに、この再生中に前記再生停止部を認識したとき、メールの再生を一時停止し、ユーザの指示を待ってメールの再生を再開する
ことを特徴とする電子メールシステム。
【請求項２】
前記電子メール作成装置により作成されるメールは、文字列からなるテキストエレメント、画像からなる画像エレメント、および音からなるサウンドエレメントのうちの少なくとも２種のエレメントを含み、前記電子メール再生装置は前記メール中の各エレメントを順次再生する際に、エレメントの境界において再生を一時停止することを特徴とする請求項１記載の電子メールシステム。
【請求項３】
前記エレメントの境界が前記暗黙的な再生停止部を構成することを特徴とする請求項２記載の電子メールシステム。
【請求項４】
前記電子メール作成装置により作成されるメール本文中で、各エレメントは開始タグと終了タグにより挟持されることを特徴とする請求項２または３記載の電子メールシステム。
【請求項５】
前記テキスト中に埋め込まれた特定のマークが前記明示的な再生停止部を構成し、前記電子メール再生装置は、前記特定のマークで分離された個々のテキスト部分を独立のテキストエレメントとして扱うことを特徴とする請求項２記載の電子メールシステム。
【請求項６】
前記サウンドエレメントについては当該エレメントと次のエレメントの境界において再生停止を行わないことを特徴とする請求項２記載の電子メールシステム。
【請求項７】
前記電子メール作成装置は、特定の種類のエレメントとして、当該エレメントの実体または実体のありかを指し示すポインタをメール本文中に埋め込むことを特徴とする請求項２記載の電子メールシステム。
【請求項８】
前記ポインタは、当該メールに添付されたファイルのファイル名であることを特徴とする請求項７記載の電子メールシステム。
【請求項９】
前記ポインタは前記ネットワーク上のＵＲＬであることを特徴とする請求項７記載の電子メールシステム。
【請求項１０】
受信した電子メールを再生する再生手段と、
前記メール中に明示的または暗黙的な再生停止部を検出する手段と、
ユーザの指示入力を受ける手段と、
前記再生停止部が検出されたとき、メールの再生を一時停止し、その後、前記指示入力を受けたときメールの再生を再開する再生制御手段と
を備えたことを特徴とする電子メール再生装置。
【請求項１１】
前記メールは、文字列からなるテキストエレメント、画像からなる画像エレメント、および音からなるサウンドエレメントのうちの少なくとも２種のエレメントを含み、前記再生制御手段は、前記メール中の各エレメントを順次再生する際に、エレメントの境界において再生を一時停止するよう前記再生手段を制御することを特徴とする請求項１０記載の電子メール再生装置。
【請求項１２】
前記エレメントの境界が前記暗黙的な再生停止部を構成することを特徴とする請求項１０記載の電子メール再生装置。
【請求項１３】
前記各エレメントはメール本文中で、開始タグと終了タグにより挟持されていることを特徴とする請求項１１記載の電子メール再生装置。
【請求項１４】
前記テキスト中に埋め込まれた特定のマークが前記明示的な再生停止部を構成し、前記再生制御手段は前記特定のマークで分離された個々のテキスト部分を独立のテキストエレメントとして扱うことを特徴とする請求項１１または１３記載の電子メール再生装置。
【請求項１５】
前記サウンドエレメントについては当該エレメントと次のエレメントの境界において再生停止を行わないことを特徴とする請求項１１記載の電子メール再生装置。
【請求項１６】
特定の種類のエレメントとして、当該エレメントの実体または実体のありかを指し示すポインタがメール本文中に埋め込まれていることを特徴とする請求項１１または１３記載の電子メール再生装置。
【請求項１７】
前記ポインタは、当該メールに添付されたファイルのファイル名であることを特徴とする請求項１６記載の電子メール再生装置。
【請求項１８】
前記ポインタは前記ネットワーク上のＵＲＬであることを特徴とする請求項１６記載の電子メール再生装置。
【請求項１９】
前記再生制御手段は、メールの再生停止時に、ユーザの指示待ち状態であることを示す識別情報を画面上に表示するよう前記再生手段を制御する請求項１１記載の電子メール再生装置。
【請求項２０】
表示画面上で、文字列からなるテキストエレメント、画像からなる画像エレメント、および音からなるサウンドエレメントの任意のエレメントを入力対象のエレメント種類としてユーザに選択させる入力手段と、
当該エレメントの内容をユーザに入力させる手段と、
入力された複数のエレメントを組み合わせてメールを構成するメール構成手段と
を備えたことを特徴とする電子メール作成装置。
【請求項２１】
予測変換用の候補語句を表示する変換候補エリアと文字入力エリアとを用いて、メール本文を構成する文字列をユーザに入力させる入力手段と、
前記変換候補エリアをテキスト入力用と少なくとも画像エレメントまたはサウンドエレメントの入力用とに切り替えるエリア切り替え手段とを備え、
ユーザの操作にしたがって、前記文字入力エリアに入力される文字列中に前記変換候補エリアから選択された画像エレメントまたはサウンドエレメントを埋め込むメール構成手段と
を備えたことを特徴とする電子メール作成装置。
【請求項２２】
前記変換候補エリアが画像エレメントまたはサウンドエレメントの入力用に切り替えられているとき、その旨をアイコンの表示で示すことを特徴とする請求項２１記載の電子メール作成装置。
【請求項２３】
前記画像エレメントおよび前記サウンドエレメントについて、前記入力手段は、ユーザに当該エレメントのファイル名を選択または入力させ、前記メール構成手段は、このファイル名をメール本文中に埋め込むとともに当該ファイルを当該メールの添付書類とすることを特徴とする請求項２０または２１記載の電子メール作成装置。
【請求項２４】
前記画像エレメントおよび前記サウンドエレメントについて、前記入力手段は、ユーザに当該エレメントのＵＲＬを選択または入力させ、前記メール構成手段は、このＵＲＬをメール本文中に埋め込むことを特徴とする請求項２０または２１記載の電子メール作成装置。
【請求項２５】
前記メール構成手段は、メール本文中で、前記各エレメントを開始タグと終了タグにより挟持することを特徴とする請求項２０または２１記載の電子メール作成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子メールを作成する電子メール作成装置、この電子メールを再生する電子メール再生装置、およびこれらにより構成される電子メールシステムに関する。
【０００２】
【従来の技術】
近年、インターネットの電子メール機能の普及に伴い、携帯電話においても電子メール機能は発達してきており、簡単なメッセージだけでなく、数百文字以上の長文も送受信することができるようになっている。（本明細書では電子メールを単にメールともいう。）また、マルチメディア化も急速に進んでおり、音楽、画像、動画などの様々なメディアのデータがメールとともに送受信可能となっている。
【０００３】
【特許文献１】
特開２００２−１３２６６４号公報
【０００４】
【発明が解決しようとする課題】
しかし、メール受信者から見ると、長い文章（テキスト）はだらだらと一度に表示されるだけであり、音声や画像もメールの添付ファイルとして受け取られるだけである。
【０００５】
例として、次のようなメールを考える。メール本文は、次の文（テキスト）Ａ、Ｂ、Ｃで構成され、サウンドＡが添付されているものとする。
文Ａ：「今日、大学の合格発表見てきた。」
文Ｂ：「いきなり自分の番号を発見！」
文Ｃ：「…と思ったら別の学部だった…。」
サウンドＡ：喜びのテーマ
【０００６】
このメールの書き手と読み手が、同様の内容について実際に会話を行ったとすれば、聞き手は、文Ｂの内容を聞いた後に期待感、興奮感を抱き、その後文Ｃの内容を聞いて失望感を抱くはずである。しかし、従来のメール再生装置では、Ａ、Ｂ、Ｃの各文がずらずらと画面に表示されるだけで、この期待感、興奮感、失望感などが所期のとおりには再現されない。
【０００７】
また、サウンドＡは、メール読み始めと同時に再生される、もしくは読み手が「添付ファイルを開く」という操作を行った際に再生されることになる。このため、サウンドＡは文Ｂの内容を盛り上げる役割を果たすべきであるにも関わらず、効果的なタイミングで再生されない。
【０００８】
このように、従来のメール再生装置では、メールの読み手の気持ちの変化を考慮した表示が行われておらず、書き手が味わった感動、興奮、失望などが読み手に伝わらない。
【０００９】
なお、特開２００２−１３２６６４号公報には電子メールの再生時に画像や音も再生する技術を開示している。しかし、これは画像や音を指定する特別な情報が電子メールに付与されていなくても、画像や音自体以外を表す特定情報に基づいて画像や音が出力されるようにすることを目的とするものであり、上記のような書き手の意図に沿った電子メールの内容部分毎の効果的な再生タイミングを設定するものではない。
【００１０】
本発明はこのような背景においてなされたものであり、その目的は、書き手の意図に沿った新規なメール再生を行える電子メール再生装置およびそのようなメール作成に適した電子メール作成装置およびこれらの装置からなる電子メールシステムを提供することにある。
【００１１】
【課題を解決するための手段】
本発明による電子メールシステムは、電子メール作成装置で作成され、ネットワークを介して送信された電子メールが電子メール再生装置において再生される電子メールシステムにおいて、前記電子メール作成装置は、ユーザの操作にしたがって、メールを作成するとともに、このメール中に明示的または暗黙的な再生停止部を設定し、前記電子メール再生装置は、受信したメールを再生するとともに、この再生中に前記再生停止部を認識したとき、メールの再生を一時停止し、ユーザの指示を待ってメールの再生を再開することを特徴とする。
【００１２】
このシステムにおいて、電子メール作成装置で作成されるメール中には明示的または暗黙的に再生停止部が設定される。このメールを再生する電子メール再生装置側では、メールの再生の途中で再生停止部を認識したときに再生を一時停止し、ユーザの指示があったときにメール再生を再開する。よって、メールの書き手はメール作成時に意図的に再生停止部を設定することにより、そのメールの再生時にメール要素の再生タイミングを演出することができる。
【００１３】
前記電子メール作成装置により作成されるメールは、例えば、文字列からなるテキストエレメント、画像からなる画像エレメント、および音からなるサウンドエレメントのうちの少なくとも２種のエレメントを含み、前記電子メール再生装置は前記メール中の各エレメントを順次再生する際に、エレメントの境界において再生を一時停止する。このエレメントの境界が前記暗黙的な再生停止部を構成することになる。すなわち、メール要素毎のエレメントを別々に用意することが再生停止部を設定することになる。
【００１４】
前記電子メール作成装置により作成されるメール本文中で、各エレメントは開始タグと終了タグにより挟持される。これによって、電子メール再生装置はこれらのタグによりエレメントの開始点および終了点を認識することができる。
【００１５】
前記テキスト中に埋め込まれた特定のマークが前記明示的な再生停止部を構成するようにしてもよく、この場合、前記電子メール再生装置は、前記特定のマークで分離された個々のテキスト部分を独立のテキストエレメントとして扱う。これにより、メールの書き手はテキスト中の任意所望の位置に再生停止部を設定することができる。
【００１６】
前記サウンドエレメントについては当該エレメントと次のエレメントの境界において再生停止を行わないようにしてもよい。サウンドは他のエレメントと並行して再生可能であり、かつ、並行して再生する方が効果的である場合があるからである。
【００１７】
本発明による電子メール再生装置は、受信した電子メールを再生する再生手段と、前記メール中に明示的または暗黙的な再生停止部を検出する手段と、ユーザの指示入力を受ける手段と、前記再生停止部が検出されたとき、メールの再生を一時停止し、その後、前記指示入力を受けたときメールの再生を再開する再生制御手段とを備えたことを特徴とする。このメール再生装置は、メール再生中に再生停止部が検出されたとき、メール再生を一時停止して、ユーザの指示を待って再生を再開する。
【００１８】
好ましくは、再生制御手段は、メールの再生停止時に、ユーザの指示待ち状態であることを示す識別情報を画面上に表示するよう前記再生手段を制御する。これによって、ユーザはメールの再生が中断していること、および、操作指示が要求されていることを認識することができる。
【００１９】
本発明による第１の電子メール作成装置は、表示画面上で、文字列からなるテキストエレメント、画像からなる画像エレメント、および音からなるサウンドエレメントの任意のエレメントを入力対象のエレメント種類としてユーザに選択させる入力手段と、当該エレメントの内容をユーザに入力させる手段と、入力された複数のエレメントを組み合わせてメールを構成するメール構成手段とを備えたことを特徴とする。
【００２０】
この装置では、まず、入力対象のエレメント種類をユーザに選択させ、ついで、そのエレメントの内容をユーザに選択させる。メール構成手段はこれらの入力されたエレメントを組み合わせてメールを構成する。
【００２１】
本発明による第２の電子メール作成装置は、予測変換用の候補語句を表示する変換候補エリアと文字入力エリアとを用いて、メール本文を構成する文字列をユーザに入力させる入力手段と、前記変換候補エリアをテキスト入力用と少なくとも画像エレメントまたはサウンドエレメントの入力用とに切り替えるエリア切り替え手段とを備え、ユーザの操作にしたがって、前記文字入力エリアに入力される文字列中に前記変換候補エリアから選択された画像エレメントまたはサウンドエレメントを埋め込むメール構成手段とを備えたことを特徴とする。
【００２２】
この装置では、予測変換用の候補語句を表示する変換候補エリアを用いて、画像エレメントまたはサウンドエレメントの入力時には、変換候補エリア内にそれらの変換候補を表示させ、テキスト入力時の選択語句の選択と同様に画像やサウンドを選択できるようにする。メール構成手段は、文字入力エリアに入力される文字列中に変換候補エリアから選択された画像エレメントまたはサウンドエレメントを埋め込むことにより、メールを構成する。
【００２３】
好ましくは、前記変換候補エリアが画像エレメントまたはサウンドエレメントの入力用に切り替えられているとき、その旨をアイコンの表示で示す。これにより、ユーザは変換候補エリアが現在何の入力用になっているかを即座に認識することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２５】
＜全体の仕組み＞
図１２に本実施の形態における電子メールシステムの概略構成を示す。
【００２６】
この電子メールシステムは、複数のメール装置１００ａ，１００ｂおよび１以上のメールサーバ１１０からなる。それぞれユーザａ、ユーザｂの所有するメール装置１００ａ，１００ｂは特に両者を区別しないときは単にメール装置１００という。メール装置１００は、パーソナルコンピュータ、ＰＤＡ、携帯電話機、ゲーム機等、任意の電子メール機能を備えた情報機器でありうるが、本実施の形態では携帯電話機を想定している。
【００２７】
各メール装置１００は、ユーザのメール作成を支援するメール作成装置１０１、この作成されたメールをメールサーバ１１０を経由して送信相手宛に送信するメール送信装置１０２、メールサーバ１１０を介して自己宛のメールを受信するメール受信装置１０２およびこの受信されたメールの内容を表示するメール再生装置１０４を備える。メールの再生にはテキストや画像の表示のほか、サウンド再生を含みうる。
【００２８】
メール再生装置１０４は、メール受信装置１０３から、メール本文と添付ファイル（存在すれば）を受け取り、後述するようなメディア毎のエレメントのリストを作成し、このエレメントリストに従って複数のメール要素からなるメールの再生を行う。読み手は決定キーを押すことでメール内容を読み進めることができる。
【００２９】
メール作成装置１０１は、ユーザの操作に従って、メディア毎のエレメントボックスを作成することにより、メール本文と添付ファイルで構成されたメールを生成する。そのメールは、メール送信装置１０２に渡された後、送信される。書き手は、ジョグダイヤル（または上下キー）による選択と、決定キー押下の繰り返しで、簡単にメールを作成することができる。
【００３０】
送受信されるメール中の画像、サウンドは添付ファイルではなく、メール作成時に、ネットワーク上のファイルのありかを示すＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）を指定して、メール再生時にダウンロードさせることも可能である（以下は、メールに添付したものとして説明を行う）。
【００３１】
以下、メール再生装置、メール作成装置それぞれについて、具体的な説明を行う。
【００３２】
＜メール再生装置＞
メール再生装置は、図１０（ｂ）で示すようなメール本文と添付ファイルを、メール受信装置から受け取り、図１０（ｃ）で示すようなエレメントのリストを作成し、このエレメントリストに従ってメール内容の再生を行う。
【００３３】
エレメントとは本メールの構成要素であり、このエレメントのリストによって、メールが表現される。エレメントには次の３種類がある。
−テキストエレメント：メール本文の文字列を保持するエレメント。後に詳述するが、メール本文中のテキスト中に停止マーク８９（明示的な再生停止部）がある場合、その位置で文字列は別々のテキストエレメントとなる。したがって、メール作成時に１つのテキストボックス内で作成されたテキストエレメントは、停止マークを含む場合、再生時に複数のテキストエレメントに分割されることになる。
−画像エレメント：メールに添付された画像を保持するエレメント
−サウンドエレメント：メールに添付されたサウンドを保持するエレメント
【００３４】
これらのエレメントの境界が再生停止部を構成することになる。ただし、サウンドエレメントと続く他のエレメントとの境界については、本実施の形態では再生停止部として扱っていない。
【００３５】
＜メール再生処理のフローチャート＞
図１は、メール再生時の処理を示したフローチャートである。このようなメール再生処理は、メール装置内に格納されたメール再生プログラムをＣＰＵ（図示せず）が実行することにより実現されうる。
【００３６】
ステップＳ１において、メール受信リストの表示画面上で特定の受信メールが選択されている状態で、決定キーが押されたかどうかを判断する。ユーザの指示入力としての所定のキー操作が行われたとき、例えば決定キーが押されたとき、そのメール内容の再生を開始する。
【００３７】
ステップＳ２において、エレメントリストより次のエレメントを取得し、そのエレメントの種類（メディア）を判断する。
【００３８】
ステップＳ３において、ステップＳ２で判断したエレメントが
−「テキストエレメント」であった場合は、ステップＳ４の処理を行う。この処理では、テキストエレメントが保持するテキストの表示を行う。この際、テキストエレメント全体を一度に表示しても、あるいは、一文字ずつタイプライター風に表示するようにしてもよい。
−「画像エレメント」であった場合は、ステップＳ５の処理を行う。この処理では、画像エレメントが保持する画像の表示を行う。
−「サウンドエレメント」であった場合は、ステップＳ６の処理を行う。この処理では、サウンドエレメントが保持するサウンドの再生を行う。
【００３９】
ステップＳ７において、ステップＳ４またはＳ５に続いて決定キーが押されたかどうかを判断する。ステップＳ６のサウンド再生の場合にステップＳ７を経由しないのは、サウンドの再生終了を待たずに、再生開始の直後に次のエレメントの再生に進むためである。これにより、サウンドを再生しながら、テキストや画像の表示を行うことができる。
【００４０】
ステップＳ８において、エレメントリストに基づいて、次のエレメントが存在するか判断する。
【００４１】
ステップＳ９において、ステップＳ８で判断した結果が、
−「次のエレメントが存在する」であった場合は、ステップＳ２に戻り、次のエレメントの再生を行う。
−「次のエレメントは存在しない」であった場合は、メールの再生を終了する。
【００４２】
＜メール再生処理の動作例＞
図２は、図１０（ｃ）のエレメントリストに対応した、メール内容の再生例である。以下、図１のフローチャートと対応させながら、メール内容再生時の動作を説明する。
【００４３】
メール再生装置は、まず、図２（ａ）のようにメールの日付、差出人、件名などを表示する。
【００４４】
図２（ａ）に示す状態で、読み手が決定キーを押すと、図１におけるＳ１→Ｓ２→Ｓ３→Ｓ４→Ｓ７と各ステップの処理を行い、図２（ｂ）に示す状態となる。ステップＳ７で、決定キーの押下を待っている間、図２（ｂ）の画面上で、待ち状態を表す記号２１（メールの再生が停止されユーザの指示待ち状態であることをユーザに知らしめる識別情報）を表示する。本実施の形態では、この記号２１として上述した停止マーク８９と同じ記号を用いているが、同じである必要はない。システムがユーザの指示（ここでは決定キーの押下）を待っていることをユーザに知らしめることができるものであれば、任意の表示物または表示態様でありうる。
【００４５】
図２（ｂ）に示す状態で読み手が決定キーを押すと、Ｓ７→Ｓ８→Ｓ９→Ｓ２→Ｓ３→Ｓ４→Ｓ７と各ステップの処理を行い、図２（ｃ）に示す状態となる。ここでも同様に、図２（ｃ）の画面において待ち状態を表す記号２１を表示する。
【００４６】
図２（ｃ）に示す状態で読み手が決定キーを押すと、さらにＳ７→Ｓ８→Ｓ９→Ｓ２→Ｓ３→Ｓ６と各ステップの処理を行い、サウンドの再生を行う。（図２（ｃ）のサウンド再生のイメージ２３は単に説明のために図示したものであり、画面に表示されるものではない。）サウンド再生開始後は決定キーの押下を待たないため、引き続きＳ８→Ｓ９→Ｓ２→Ｓ３→Ｓ５→Ｓ７と各ステップの処理を行い、図２（ｄ）に示す状態となる。図２（ｄ）は、ステップＳ５で表示された画面上の画像２４を示している。
【００４７】
図２（ｄ）に示す状態で、読み手が決定キーを押すと、さらにＳ７→Ｓ８→Ｓ９→Ｓ２→Ｓ３→Ｓ４→Ｓ７と各ステップの処理を行い、図２（ｅ）に示す状態となる。ここでも同様に、図２（ｅ）のような待ち状態を表す記号２１を表示する。
【００４８】
図２（ｅ）に示す状態で、読み手が決定キーを押すと、さらにＳ７→Ｓ８→Ｓ９→Ｓ２→Ｓ３→Ｓ４→Ｓ７と各ステップの処理を行い、図２（ｆ）に示す状態となる。この状態で、読み手が決定キーを押すと、Ｓ８→Ｓ９を経て、メール内容の再生を終了する。
【００４９】
このように、本実施の形態におけるメール再生処理では、エレメントリストに規定された順に各エレメントを再生するとともに、各エレメントの再生毎に一旦再生を停止し、ユーザの指示を待って次のエレメントの再生に移行する（ただし、本実施の形態ではサウンド再生後は停止しない）。これによって、所望のメディアのメール要素を所望のタイミングで再生することが可能となる。
【００５０】
＜メール作成装置＞
メール作成装置は、ユーザの操作にしたがって、図１０（ａ）に示したような各エレメントボックスを作成することにより、図１０（ｂ）のようなメール本文と添付ファイルで構成されたメールを生成する。図のメール本文の例からわかるように、各エレメントは、開始タグ＜＞と終了タグ＜／＞で挟持されている。例えばテキストエレメントの開始タグと終了タグはそれぞれ＜ｔｘｔ＞＜／ｔｘｔ＞であり、サウンドエレメントの開始タグと終了タグはそれぞれ＜ｓｎｄ＞＜／ｓｎｄ＞である。同様に、画像エレメントの開始タグと終了タグはそれぞれ＜ｐｉｃ＞＜／ｐｉｃ＞である。生成されたメールは、前述したように、メール送信装置に渡された後、送信される。なお、「エレメントボックス」とは、エレメントが保持する内容を決定するための入力手段であり、本実施の形態では、異なるメディアに対応して次の３種類がある。
−テキストボックス：メール本文の文字列を入力するための入カエリア
−画像ボックス：予め登録された複数の画像のうちの一つを選択するプルダウンメニュー
−サウンドボックス：予め登録された複数のサウンドのうちの一つを選択するプルダウンメニュー
【００５１】
また、これらのエレメントボックスは、書き手が必要に応じて作成する。その作成は、エレメント種類メニュー（図８のエレメント種類一覧８２）からどのエレメントボックスを作成するかを選択することで行う。
【００５２】
＜メール作成処理のフローチャート＞
図３は、メール作成時の処理を示したフローチャートである。このようなメール作成処理は、メール装置内に格納されたメール作成プログラムをＣＰＵ（図示せず）が実行することにより実現されうる。
【００５３】
はじめのステップＳ１０では、メール作成画面（図示せず）において、決定キーが押されたかどうかを判断し、決定キーが押された場合は、ステップＳ１１の処理を行う。ステップＳ１１において、何が選択されているかを判断する。
【００５４】
ステップＳ１２において、ステップＳ１１で判断した結果が、
−「エレメントメニューが選択されている」であった場合は、ステップＳ１３の処理を行う。
−「エレメントメニューは選択されていない」であった場合は、ステップＳ１４の処理を行う。
【００５５】
ステップＳ１３において、エレメント選択処理を行う。この処理は図４を用いて後に説明する。
【００５６】
ステップＳ１４においては、どのエレメントボックスが選択されているかを判断する。
【００５７】
ステップＳ１５において、ステップＳ１４で判断したエレメントボックスが、
−「テキストボックス」であった場合は、ステップＳ１６のテキスト入力処理（図５）を行う。
−「画像ボックス」であった場合は、ステップＳ１７の画像選択処理（図６）を行う。
−「サウンドボックス」であった場合は、ステップＳ１８のサウンド選択処理（図７）を行う。
【００５８】
ステップＳ１９では、送信ボタンが押されたかどうかを判断し、押されていない場合は、ステップＳ１０に戻り、メールの作成を続行する。押された場合は、ステップＳ２０のメール生成処理を行う。このメール生成処理では、図１０（ａ）のように作成された各エレメントボックスから、図１０（ｂ）のようなメール本文と添付ファイルで構成されたメールを生成する。
【００５９】
図４は、図３のステップＳ１３に対応するエレメント選択処理の具体例を示したフローチャートである。
【００６０】
ステップＳ２１において、選択可能なエレメント（テキストエレメント、画像エレメント、サウンドエレメント）を表示する。続くステップＳ２２において、決定キーが押されたかどうかを判断し、決定キーが押された場合は、ステップＳ２３の処理を行う。ステップＳ２３の処理では、何のエレメントが選択された状態で決定キーが押されたかを判断する。
【００６１】
ステップＳ２４において、ステップＳ２３で判断したエレメントが、
−「テキストエレメント」であった場合は、ステップＳ２５の処理を行う。この処理では、テキスト入カボックスを作成し、表示する。
−「画像エレメント」であった場合は、ステップＳ２６の処理を行う。この処理では、画像選択ボックスを作成し、表示する。
−「サウンドエレメント」であった場合は、ステップＳ２７の処理を行う。この処理では、サウンド選択ボックスを作成し、再生する。
【００６２】
図５は、図３のステップＳ１６に対応するテキスト入力処理の具体例を示したフローチャートである。
【００６３】
ステップＳ２８において、テキスト入力画面を表示する。続くステップＳ２９において、テキストの入力が終了したかどうかを判断する。テキスト入力が終了したら、ステップＳ３０において、当該入力の終了した文字列がテキストボックス内に入れるべきテキストであると決定する。
【００６４】
図６は、図３のステップＳ１７の画像選択処理の具体例を示したフローチャートである。
【００６５】
ステップＳ３１では選択可能な画像をメニュー表示する。ステップＳ３２では、選択された画像に対して決定キーが押下されたかどうかを判断する。決定キーが押下されたら、ステップＳ３３において、当該選択された画像が画像ボックス内に入れるべき画像であると決定する。
【００６６】
図７は、図３のステップＳ１８のサウンド選択処理の具体例を示したフローチャートである。
【００６７】
ステップＳ３４では選択可能なサウンドをメニュー表示する。ステップＳ３５では、選択されたサウンドに対して決定キーが押下されたかどうかを判断する。決定キーが押下されたら、ステップＳ３６において、当該選択されたサウンドがサウンドボックス内に入れるべきサウンドであると決定する。
【００６８】
＜メール作成処理の動作例＞
図８は、メール作成における画面例を示している。以下、図３、図４、図５、図６、図７のフローチャートと対応させながら、メール作成時の動作を説明する。
【００６９】
メール作成装置は、まず、図８（ａ）に示すようなメール作成画面において、宛先（Ｔｏ）および件名（Ｓｕｂ）の入力欄と、エレメントメニュー８１を表示する。図８（ａ）では、エレメントメニュー８１が選択されている（以下では、反転表示が選択されていることを示すものとする）。
【００７０】
図８（ａ）に示す状態で、書き手が決定キーを押すと、Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１３→Ｓ２１→Ｓ２２と各ステップの処理を行い、図８（ｂ）に示す状態となる。図８（ｂ）では、選択可能なエレメントの一覧８２が表示されている。この例では、「Ｉｎｓｅｒｔ　Ｔｅｘｔ！」「Ｉｎｓｅｒｔ　Ｐｉｃｔｕｒｅ！」「Ｉｎｓｅｒｔ　Ｓｏｕｎｄ！」の３つがエレメント種類一覧８２に含まれている。
【００７１】
図８（ｂ）に示す状態で、書き手が決定キーを押すと、Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５→Ｓ１９→Ｓ１０と各ステップの処理を行い、図８（ｃ）に示す状態となる。図８（ｂ）の例では「Ｉｎｓｅｒｔ　Ｔｅｘｔ！」が選択されていたため、図８（ｃ）のようなテキストボックス８４と、それがテキストボックスであることを示すアイコン８３とが、ステップＳ２５で作成、表示される。
【００７２】
図８（ｃ）に示す状態で、書き手が決定キーを押すと、Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１５→Ｓ１６→Ｓ２８→Ｓ２９と各ステップの処理を行い、図８（ｄ）に示す状態となる。この画面で、書き手が実際のテキスト入力を行う。
【００７３】
図８（ｄ）に示す文字入力画面で、書き手がテキストの入力を行うと、図８（ｅ）に示す状態となる。ここで、書き手が、図８（ｅ）の文字入力画面内に示すような停止マーク８９を文字列の途中に挿入することで、メール再生装置は、停止マークの位置でそこまでのテキストの表示を一時停止する。図８（ｅ）の例では、「今日の西○−日×戦は凄かった！」の表示を行った後表示を一時停止し、読み手の決定キーの押下を待って、続く文字列である「０−３で迎えた９回裏、１死満塁でバッターは鈴木！」の表示を行うことになる。
【００７４】
図８（ｅ）に示す状態で、書き手が決定キーを押すと、Ｓ２９→Ｓ３０→Ｓ１９→Ｓ１０と各ステップの処理を行い、図８（ｆ）に示す状態となる。テキストボックス８４には、入力済みテキストボックスをユーザが識別しやすいように、入力されたテキストの一部（この例ではテキスト先頭の所定数の文字列）が表示される。
【００７５】
図８（ｆ）に示す状態で、テキストボックスを作成する場合と同様に、書き手が、
−エレメントメニューを選択し、決定キーを押す（Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１３→Ｓ２１→Ｓ２２）。
−「Ｉｎｓｅｒｔ　Ｓｏｕｎｄ！」を選択し、決定キーを押す（Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２７→Ｓ１９→Ｓ１０）。
という操作を行うと、各ステップの処理を行い、図９（ａ）に示す状態となる。図９（ａ）に示すようなサウンドボックス９２とアイコン９１が、ステップＳ２７で作成され、表示される。
【００７６】
図９（ａ）に示す状態で、書き手が決定キーを押すと、Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１５→Ｓ１８→Ｓ３４→Ｓ３５と各ステップの処理を行い、図９（ｂ）に示す状態となる。この図９（ｂ）は選択可能なサウンドの一覧９０を示している。この例では、複数のサウンドのファイルに対して「勝利」「回復」「成長」「失敗」「爆発音」等のサウンド名（たとえばファイル名称）が付されており、これらのサウンド名がサウンド一覧９０として示されている。
【００７７】
図９（ｂ）に示す状態で、書き手が「爆発音」を選択し、決定キーを押すと、Ｓ３５→Ｓ３６→Ｓ１９→Ｓ１０と各ステップの処理を行い、図９（ｃ）に示す状態となる。図９（ｃ）のサウンドボックス９２には、作成されたサウンドエレメントの内容がユーザにわかるように、選択したサウンド名が表示される。
【００７８】
図９（ｃ）に示す状態で、サウンドボックス９２の場合と同様に、書き手が、
−エレメントメニューを選択し、決定キーを押す（Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１３→Ｓ２１→Ｓ２２）
−「Ｉｎｓｅｒｔ　Ｐｉｃｔｕｒｅ！」を選択し、決定キーを押す（Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２６→Ｓ１９→Ｓ１０）
−作成された画像ボックスを選択し、決定キーを押す（Ｓ１０→Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１５→Ｓ１７→Ｓ３１→Ｓ３２）
−「スポーツ／鈴木」を選択し、決定キーを押す（Ｓ３２→Ｓ３３→Ｓ１９→Ｓ１０）
という操作を行うと、各ステップの処理を行い、図９（ｄ）に示す状態となる。このときの画像ボックス９４には、作成された画像エレメントの内容がユーザに分かるように、選択された画像名が表示される。メディア種類が画像であることを示すアイコン９３も併せて表示される。
【００７９】
図９（ｄ）に示す状態から、書き手がメールの作成を進め、メール完成後に送信ボタンを押すと、Ｓ１０→Ｓ１９→Ｓ２０と各ステップの処理を行い、図９（ｅ）に示すように「送信中」状態となる。
【００８０】
ステップ２０では、図１０（ａ）のように作成された各エレメントボックスに基づいて、図１０（ｂ）のようなメール本文と添付ファイルで構成されたメールを生成する。メール送信装置がそのメールの送信を終えると、図９（ｆ）で示すような「送信完了」を示す画面となる。
【００８１】
＜メール作成処理の変形例＞
上記のメール作成処理は、「各エレメントボックスを作成→テキストの入力／画像・サウンドの選択」の繰り返しで行われている。
【００８２】
ところで、ユーザの入力した文字に対してユーザが入力しようとしている語句を予測してそれを選択候補として出力する予測変換手法が提案されている。例えば、目的の語句のよみの先頭１文字を入力した段階で辞書からその文字をよみとして含む語句をすべて抽出して選択候補として表示画面上にリスト出力する。ユーザはこのリスト出力内に目的の語句があれば、カーソル等の移動操作によりその語句を選択し、キー操作でその語句の選択を確定することができる。この確定の前によみの２文字目が入力されれば、再度その２文字について辞書の検索を行い、該当する選択候補をリスト出力する。この場合、リスト出力される選択候補の個数（ヒット件数）は減少する。よみの入力文字数が増えるほど、選択候補の個数は減少する。よみの一致は完全一致ではなく、清音、濁音、半濁音の違いを無視する等、ある程度あいまいな検索を行うものも知られている。このような「予測」と「あいまい検索」とを採用した予測変換手法の一つとして、例えば、ＰＯＢｏｘ（Ｐｒｅｄｉｃｔｉｖｅ　Ｏｐｅｒａｔｉｏｎ　Ｂａｓｅｄ　Ｏｎ　ｅＸａｍｐｌｅ）が知られている（ＰＯＢｏｘはソニー株式会社の登録商標）。
【００８３】
本発明の変形例として、ＰＯＢｏｘのような予測変換手法を利用することで、テキスト以外のエレメントについても、より単純かつ効率的な入力手法を実現することも可能である。図１１は、変形例のメール作成画面の例を示している。以下、このメール作成方法について説明する。
【００８４】
図１１（ａ）は、変形例のメール作成画面において、図８（ｅ）と同様の内容のテキストの入力を行った後の状態を示している。このメール作成画面は、テキスト入力エリア９５と変換候補エリア９６とを有する。この状態で、サウンドを挿入したい場合は、次の操作を行う。
−ユーザは、例えば、装置の操作部から図示しない「ＰＯＢｏｘ切り替えキー」（エリア切り替え手段）を押下する等の操作により、ＰＯＢｏｘに表示される候補を、通常のテキスト入力用からサウンド入力用の、サウンド名を含むサウンド一覧に切り替える。このとき変換候補エリア９６に表示される変換候補群がサウンド一覧であることは変換候補エリア９６内の先頭位置のアイコン９８（ここでは音符マーク）で示されている。
−ＰＯＢｏｘ内に表示されたサウンド一覧から、ユーザは予め登録されているサウンドの中から任意のサウンドを選択する。
−ユーザが決定キーを押下することで、メール本文中の現在のカーソル位置に、当該選択したサウンド（サウンド名）が挿入される。また、サウンド名に併せてメディア種類を示すアイコン９１が表示される。上記と同様、このサウンド名に対応するファイルが添付書類としてメールに添付される。
【００８５】
サウンド挿入を行った後の画面を図１１（ｂ）に示す。図１１（ｂ）においてテキスト入力エリア９５内のサウンド名の先頭にもその種別を示すアイコン９７が付加されている。サウンドとまったく同様の操作で、画像の挿入も可能である。
【００８６】
ＰＯＢｏｘ切り替えキーを押下して、変換候補エリア９６に画像の一覧を表示させた状態を図１１（ｃ）に示す。この表示された変換候補群が画像一覧であることは、変換候補エリア９６内の先頭位置のアイコン９９（ここでは鉛筆マーク）で示されている。本文中に、選択された画像（画像名）の挿入を行った状態を図１１（ｄ）に示す。図１１（ｄ）においてもテキスト入力エリア９５内の画像名の先頭にその種別を示すアイコン１１１が付加されている。この画像名に対応するファイルも添付書類としてメールに添付される。
【００８７】
なお、変換候補エリア９６内には、テキスト入力時には何もアイコンを表示しない、または、テキストのアイコン（図示せず）を表示する、のいずれでもよい。
【００８８】
このようにしてメールの作成を行った後は、上記エレメントボックスを利用した場合と同様に、図１０（ｂ）のようなメール本文と添付ファイルで構成されたメールを生成し、メール送信装置がそのメールの送信を行う。このように、ＰＯＢｏｘの利用により入力処理が効率化が図れる。ただし、ＰＯＢｏｘの利用は本発明において必須のものではない。
【００８９】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも、種々の変形、変更が可能である。例えば、明示的な再生停止部を構成する停止マークは、メール本文の作成途中で入力する例を示したが、メール本文の作成後に任意の位置に追加するようにしてもよい。メール作成時に意図する再生停止部の前後で異なるテキストボックスを利用するようにすれば、明示的な再生停止部を定める再生マークの利用は必ずしも必要ない。エレメントの種類はテキスト、サウンド、画像の３種のみを示したが、その他、動画などを含んでもよい。メール本文中でのエレメントの識別のためのタグの文字列はあくまで例示であり、図示のものに限定されるものではない。また、タグでなくても、エレメントの境界が識別できれば任意の形式の情報をタグの代わりに用いてもよい。
【００９０】
【発明の効果】
本発明の電子メールシステムにより以下の効果を期待することができる。
１．電子メール再生装置は、読み手に対してメール本文の再生を行う際に、書き手の指定した個所で再生を一時停止し、読み手の操作（ボタン押下）に従って続きを再生する。これにより、書き手は、実際に話をする時に用いる「間」をメール上で再現することができる。読み手は、途中で話の先（オチなど）を見てしまうことなく、期待感を保ちながら読み進めることができる。
２．電子メール再生装置は、添付ファイル等をメール本文の一部と見なし、書き手の指定したタイミングで、テキスト、画像、サウンドなどのメール要素の再生を行う。これにより、書き手は、従来のテキストと、画像・サウンドを組み合わせながら、話の内容を演出することができる。読み手は、書き手の指定した最も効果的なタイミングで、テキスト、画像、サウンド等のメール要素を視聴することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるメール再生時の処理を示したフローチャートである。
【図２】図１０（ｃ）のエレメントリストに対応した、メール内容の再生例を示す図（ａ）〜（ｆ）である。
【図３】本発明の実施の形態におけるメール作成時の処理を示したフローチャートである。
【図４】図３のステップＳ１３に対応するエレメント選択処理の具体例を示したフローチャートである。
【図５】図３のステップＳ１６に対応するテキスト入力処理の具体例を示したフローチャートである。
【図６】図３のステップＳ１７に対応する画像選択処理の具体例を示したフローチャートである。
【図７】図３のステップＳ１８のサウンド選択処理の具体例を示したフローチャートである。
【図８】本発明の実施の形態におけるメール作成における画面例を示す図（ａ）〜（ｆ）である。
【図９】図８に続くメール作成および送信における画面例を示す図（ａ）〜（ｆ）である。
【図１０】本発明の実施の形態におけるメールの作成例を示す図（ａ）（ｂ）（ｃ）である。
【図１１】本発明による変形例のメール作成画面の例を示す図（ａ）〜（ｄ）である。
【図１２】本発明の実施の形態における電子メールシステムの概略構成を示すブロック図である。
【符号の説明】
１００ａ，１００ｂ…メール装置、１０１…メール作成装置、１０２…メール送信装置、１０３…メール受信装置、１０４…メール表示装置、１１０…メールサーバ
【図１】
2004135028.tif 000003
【図２】
2004135028.tif 000004
【図３】
2004135028.tif 000005
【図４】
2004135028.tif 000006
【図５】
2004135028.tif 000007
【図６】
2004135028.tif 000008
【図７】
2004135028.tif 000009
【図８】
2004135028.tif 000010
【図９】
2004135028.tif 000011
【図１０】
2004135028.tif 000012
【図１１】
2004135028.tif 000013
【図１２】
2004135028.tif 000014