(57)【要約】【課題】  メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させる。【解決手段】  携帯電話１ａは、メールに静止画が添付されている場合、１２９×９６ピクセルの静止画を背景にしてメール本文を重ねて表示する一方、メールに動画が添付されている場合には、９６×８０ピクセルで再生される動画と並べてメール本文を表示する。また、携帯電話１ａは、動画を１２９×９６ピクセルに拡大した場合には、該動画を背景にしてメール本文を重ねて表示する。動画の拡大方式には、動画周囲を単純に拡大する方式、動画の周囲にいくほど直線的に拡大率を大きくする方式、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式などがある。【選択図】  図１
2006018854.tif 000002
【特許請求の範囲】
【請求項１】
静止画または動画をメールに添付して送受信可能な携帯電話において、
文書を作成する作成手段と、
前記作成手段により作成された文書に添付される静止画または動画を記憶する画像記憶手段と、
前記作成手段により作成された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、
前記作成手段により作成された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記作成手段により作成された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段と
を具備することを特徴とする携帯電話。
【請求項２】
前記動画は、前記静止画より小さいサイズで表示されることを特徴とする請求項１記載の携帯電話。
【請求項３】
前記動画を再生する際に該動画を拡大する拡大手段を具備し、
前記表示制御手段は、
前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させることを特徴とする請求項１または２に記載の携帯電話。
【請求項４】
前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項１ないし３のいずれかに記載の携帯電話。
【請求項５】
前記文書と前記静止画または前記動画とをデータ送信する送信手段を具備することを特徴とする請求項１ないし４のいずれかに記載の携帯電話。
【請求項６】
文書に関連付けられた静止画または動画を表示するための画像付き文書表示方法であって、
前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする画像付き文書表示方法。
【請求項７】
前記動画は、前記静止画より小さいサイズで表示することを特徴とする請求項６記載の画像付き文書表示方法。
【請求項８】
前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させることを特徴とする請求項６または７に記載の画像付き文書表示方法。
【請求項９】
前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すことを特徴とする請求項６ないし８のいずれかに記載の画像付き文書表示方法。
【請求項１０】
前記文書は通信により受信されることを特徴とする請求項６ないし９のいずれかに記載の画像付き文書表示方法。
【請求項１１】
前記静止画または動画は通信により受信されることを特徴とする請求項６ないし１０のいずれかに記載の画像付き文書表示方法。
【請求項１２】
静止画または動画をメールに添付して送受信可能な携帯電話において、
メール文書を受信するメール受信手段と、
前記受信された文書に添付される静止画または動画を記憶する画像記憶手段と、
前記受信された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、
前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段と
を具備することを特徴とする携帯電話。
【請求項１３】
前記動画は、前記静止画より小さいサイズで表示されることを特徴とする請求項１２記載の携帯電話。
【請求項１４】
前記動画を再生する際に該動画を拡大する拡大手段を具備し、
前記表示制御手段は、
前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させることを特徴とする請求項１２ないし１４のいずれかに記載の携帯電話。
【請求項１５】
前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項１２ないし１５のいずれかに記載の携帯電話。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話および画像付き文書表示方法に関する。
【背景技術】
【０００２】
従来より、携帯電話では、カメラにより撮影した画像データをメールに添付して送受信し、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する技術が提案されている（例えば特許文献１、特許文献２参照）。また、近年、静止画のみでなく、容量の小さい動画を添付ファイルとしてメールに添付して送受信するサービスも提案されている（例えば、特許文献３参照）。
【０００３】
特許文献１に記載されている技術では、画像データにメール本文を重ねて表示する際に、画像データの明度、コントラストを補正するとともに、文字色を画像データの色度に応じて設定することで文字の視認性を向上させている。また、画像データが表示しきれない場合には、表示エリアに表示されない部分をスクロールして表示させるようになっている。
【０００４】
また、特許文献２に記載されている技術では、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する。このとき、メール本文が長い場合、画像データを固定した状態でメール本文のみをスクロールすることができるようになっている。
【特許文献１】特開２００２−１４０２６５号公報
【特許文献２】特開２００２−２８８０８２号公報
【特許文献３】特開２０００−２３１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、通常、携帯電話では、静止画の場合には、例えば、１２８×９６ピクセルで表示することができるが、動画の場合には、データ量の関係で９６×８０ピクセルの小さい画面サイズになる。しかしながら、上述した従来技術では、静止画にメール本文を重ねて表示する技術について提案されているが、メールに小さい画面サイズの動画が添付されている場合については何ら提案されていない。また、小さい画面サイズの動画を拡大して表示する技術も提案されているが、メール本文の表示に関する技術はない。
【０００６】
この発明は上述した事情に鑑みてなされたもので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができる携帯電話および画像付き文書表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した問題点を解決するために、請求項１記載の発明では、静止画または動画をメールに添付して送受信可能な携帯電話において、文書を作成する作成手段と、前記作成手段により作成された文書に添付される静止画または動画を記憶する画像記憶手段と、前記作成手段により作成された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、前記作成手段により作成された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記作成手段により作成された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段とを具備することを特徴とする。
【０００８】
また、好ましい態様として、例えば請求項２記載の発明のように、請求項１記載の携帯電話において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【０００９】
また、好ましい態様として、例えば請求項３記載の発明のように、請求項１または２に記載の携帯電話において、前記動画を再生する際に該動画を拡大する拡大手段を具備し、前記表示制御手段は、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させるようにしてもよい。
【００１０】
また、好ましい態様として、例えば請求項４記載の発明のように、請求項１ないし３のいずれかに記載の携帯電話において、前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【００１１】
また、好ましい態様として、例えば請求項５記載の発明のように、請求項１ないし４のいずれかに記載の携帯電話において、前記文書と前記静止画または前記動画とをデータ送信する送信手段を具備するようにしてもよい。
【００１２】
また、上述した問題点を解決するために、請求項６記載の発明では、文書に関連付けられた静止画または動画を表示するための画像付き文書表示方法であって、前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする。
【００１３】
また、好ましい態様として、例えば請求項７記載の発明のように、請求項６記載の画像付き文書表示方法において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【００１４】
また、好ましい態様として、例えば請求項８記載の発明のように、請求項６または７に記載の画像付き文書表示方法において、前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させるようにしてもよい。
【００１５】
また、好ましい態様として、例えば請求項９記載の発明のように、請求項６ないし８のいずれかに記載の画像付き文書表示方法において、前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしてもよい。
【００１６】
また、好ましい態様として、例えば請求項１０記載の発明のように、請求項６ないし９のいずれかに記載の画像付き文書表示方法において、前記文書は通信により受信されてもよい。
【００１７】
また、好ましい態様として、例えば請求項１１記載の発明のように、請求項６ないし１０のいずれかに記載の画像付き文書表示方法において、前記静止画または動画は通信により受信されてもよい。
【００１８】
また、上述した問題点を解決するために、請求項１２記載の発明では、静止画または動画をメールに添付して送受信可能な携帯電話において、メール文書を受信するメール受信手段と、前記受信された文書に添付される静止画または動画を記憶する画像記憶手段と、前記受信された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段とを具備することを特徴とする。
【００１９】
また、好ましい態様として、例えば請求項１３記載の発明のように、請求項１２記載の携帯電話において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【００２０】
また、好ましい態様として、例えば請求項１４記載の発明のように、請求項１２ないし１４のいずれかに記載の携帯電話において、前記動画を再生する際に該動画を拡大する拡大手段を具備し、前記表示制御手段は、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させるようにしてもよい。
【００２１】
また、好ましい態様として、例えば請求項１５記載の発明のように、請求項１２ないし１５のいずれかに記載の携帯電話において、前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【発明の効果】
【００２２】
請求項１記載の発明によれば、作成手段により文書を作成し、該作成した文書に添付される静止画または動画を画像記憶手段に記憶し、前記文書と前記静止画または動画とを表示手段に表示する際、表示制御手段により、前記文書に静止画が添付されている場合には、前記文書と前記静止画とを重ねて表示させる一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２３】
また、請求項２記載の発明によれば、前記動画を、前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２４】
また、請求項３記載の発明によれば、前記表示制御手段により、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２５】
また、請求項４記載の発明によれば、前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、画像処理手段により、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２６】
また、請求項５記載の発明によれば、送信手段により、前記文書と前記静止画または前記動画とをデータ送信するようにしたので、前記文書と前記静止画または前記動画とをメールとして送信することができるという利点が得られる。
【００２７】
また、請求項６記載の発明によれば、前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２８】
また、請求項７記載の発明によれば、前記動画を、前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００２９】
また、請求項８記載の発明によれば、前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３０】
また、請求項９記載の発明によれば、前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３１】
また、請求項１０記載の発明によれば、前記文書を通信により受信されるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３２】
また、請求項１１記載の発明によれば、前記静止画または動画を、通信により受信するようにしたので、通信により受信した静止画または動画との視認性を向上させることができるという利点が得られる。
【００３３】
また、請求項１２記載の発明によれば、メール受信手段により受信された文書に添付される静止画または動画を画像記憶手段に記憶し、表示制御手段により、前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３４】
また、請求項１３記載の発明によれば、前記動画を前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３５】
また、請求項１４記載の発明によれば、前記表示制御手段により、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【００３６】
また、請求項１５記載の発明によれば、前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、画像処理手段により、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施の形態を、携帯電話に適用した一実施例として、図面を参照して説明する。
【００３８】
Ａ−１．実施形態の構成
図１は、本発明の実施形態によるメール送受信システムの構成を示すブロック図である。図において、携帯電話（無線通信端末／データ通信装置）１ａ，１ｂは、撮像機能と画像メモリとを備え、画像メモリに格納された静止画または動画をシステム（特に、後述するメールサーバ３３、６３）に送信する機能、および静止画または動画付きメールを受信する機能を備えている。該携帯電話１ａ，１ｂは、静止画または動画付きメールを作成する際、メール本文と該メール本文に添付する静止画または動画を一画面で確認できるように表示するとともに、静止画または動画付きメールを受信した際においても、メール本文の表示と静止画または動画再生とを一画面で行なえるようになっている。
【００３９】
また、動画再生時には、９６×８０ピクセルの動画を１２８×９６ピクセルの最大表示領域に拡大することが可能となっている。拡大方式には、動画周囲を単純に拡大する方式、動画の周囲にいくほど直線的に拡大率を大きくする方式、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式などが考えられるが、いずれの場合においても、拡大により動画の視認性を低下させないため、中央部は１倍のままとする。なお、動画の拡大アルゴリズムは、周知の技術を用いるものとし説明を省略する。
【００４０】
無線基地局２，２は、公衆回線網４を介して携帯電話１ａ，１ｂのユーザが加入する通信サービス事業者（インターネットプロバイダを含む）３に接続する。
【００４１】
通信サービス事業者（インターネットプロバイダを含む）３は、主なサービスとして提供している携帯電話サービスに必要とする交換機３４の他、後述のＷＷＷ５に接続するためのシステム（Ｗｅｂサーバ３２、ルータ３５）、メールシステム（メールサーバ３３）を備えている。無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話１ａ，１ｂをＷＷＷ５に接続させるための機能も備えている。
【００４２】
公衆回線網４は、アナログ、デジタル電話回線網である。ＷＷＷ５は、所謂インターネットである。
【００４３】
インターネットサービスプロバイダ（以下ＩＳＰと称す）６は、交換機を除いて、通信サービス事業者３と同じ構成であり、ＷＷＷ５に接続するためのシステム（便宜的にＷｅｂサーバ６２、ルータ６５）、メールシステム（メールサーバ６３）を備えている。パーソナルコンピュータ７は、公衆回線４、ＩＳＰ６を介してＷＷＷ５に接続したり、メールの送受信を行なう機能を備えている。
【００４４】
なお、本実施形態の特徴として、携帯電話１ａ，１ｂ同士では、静止画または動画付きメールを、メール本文と静止画または動画とを一画面で表示するが（詳細は後述）、携帯電話１ａ，１ｂからパーソナルコンピュータ７へ静止画または動画付きメールを送信した場合、パーソナルコンピュータ７では、静止画または動画は、添付ファイルとして扱われる。すなわち、本実施形態による「静止画または動画付きメールソフトプログラム」は、一般に知られるメールソフトと互換性を持っている。
【００４５】
次に、図２（ａ），（ｂ）は、携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。本実施形態における携帯電話１ａ、１ｂは、蓋部と本体部からなる二つ折り構造である。アンテナ１１は、蓋部の背面に設けられており、伸縮自在となっている。スピーカ１２は、蓋部の前面側に設けられており、音声出力を行なう。表示部（メイン表示部）１３は、カラー液晶であり、例えば１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、静止画または動画付きメールの静止画または動画とメール本文とを同時に表示可能となっている。
【００４６】
キー操作部１４は、本体部の前面に設けられており、各種機能キー（メールキー１４１、アドレスキー１４２、ファンクションキー１４３）、テンキー１４４、シャッターキー１４５などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスを選択する際に用いるアドレス帳を開くためのものである。ファンクションキー１４３は、静止画または動画付きメールの作成時、あるいは静止画または動画付きメールの確認時、動画の再生や一時停止などを指示するためのものである。テンキー１４４は、電話番号や文字の入力の際に使用する。シャッターキー１４５は、撮像モード時において、所定秒（約２秒）の押圧維持検出で、動画撮影を開始する。
【００４７】
マイク１５は、本体部の下部に設けられており、音声入力を行なう。撮影され取り込まれたデータは、動画撮影が終了するまで、もしくは、所定容量（最大１００Ｋバイト）を超えるまで、撮像データバッファ領域１９５に蓄積される。そして、所定容量までデータが蓄積されたか、もしくは上記押圧維持が解除されたことを検知して圧縮ファイル化され、画像メモリ２３に格納される。
【００４８】
サブ表示部１６は、蓋部の背面に設けられている。背面キー１７は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤ１７１を内蔵している。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００４９】
次に、図３は、携帯電話１ａ，１ｂの構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受し変調／復調する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００５０】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルや、ＷＷＷ５を介してダウンロードした画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ  ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００５１】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータも格納記憶する。特に、本実施形態では、ＲＡＭ２９には、撮影モードにおいて、撮影中の動画を一度バッファリグするための記憶領域がある。
【００５２】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理したり、無線信号処理部２１から出力された信号に基づいて復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１にて取り込まれた画像を符号化処理する。報知デバイス１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動させるためのドライバである。
【００５３】
次に、図４は、携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。該ＲＯＭ２４は、本実施形態の特徴であるソフトウェアプログラムを格納する。ＲＯＭ２４は、メールソフトウェアプログラム領域２４１１、静止画付きメールソフトプログラム領域２４１２、動画付きメールソフトプログラム領域２４１３、画像処理プログラム領域２４１４およびその他のプログラム領域２４１５からなる。
【００５４】
メールソフトウェアプログラム領域２４１１は、既知のメールソフトウェアプログラムを格納する。静止画付きメールソフトプログラム領域２４１２は、静止画付きメールの作成、受信した静止画付きメールの閲覧を行なうための静止画付きメールソフトプログラムを格納する。動画付きメールソフトプログラム領域２４１３は、動画付きメールの作成、受信した動画付きメールの閲覧を行なうための動画付きメールソフトプログラムを格納する。なお、静止画または動画付きメールソフトウェアプログラムは、ＩＳＰ６を介してＷＷＷ５からダウンロードするようにしてもよい。
【００５５】
画像処理プログラム領域２４１４は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像・デジタル符号化されてＲＡＭ２９にバッファリングされた動画データを、ＭＰＥＧ−４に準拠する符号化圧縮処理で圧縮ファイル化するための画像処理プログラムを格納する。また、該画像処理プログラムは、外部より受信、もしくは自機においてファイル化された動画を、再生時に、動画の周囲部を拡大し、全体として１２８×９６ピクセルの表示サイズに変更して表示するようになっている。その他のプログラム領域２４１５は、上記以外のアプリケーションプログラムなどを格納する。
【００５６】
次に、図５は、携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。ＲＡＭ２９は、アドレス帳データ格納領域２９１、メールデータ格納領域２９２、添付ファイル格納領域２９３。その他のワークメモリ２９４、拡大データ領域２９５、表示バッファ２９６および撮像データバッファ領域２９７からなる。アドレス帳データ格納領域２９１は、氏名、電話番号、メールアドレス等を一組のレコードとして複数格納する。メールデータ格納領域２９２は、メールソフトウェアを使用して作成されたメールデータや、受信したメールデータを格納する。添付ファイル格納領域２９３は、メールにファイルが添付されている場合、このファイルを格納する。その他・ワークメモリ２９４は、その他のワークメモリとして、例えば、上述したデコード処理におけるフレームメモリ（３フレーム分）として用いたり、各種データを格納する。拡大データ領域２９５は、部分拡大した動画データを格納する。表示バッファ２９６は、動画を表示する際のバッファとして用いられる。撮像データバッファ領域２９７は、撮影中の動画を一度バッファリングするための記憶領域である。
【００５７】
次に、図６は、静止画と動画との表示サイズの違いを示す模式図である。本実施態様では、静止画の表示サイズは、１２８×９６ピクセルであり、動画の表示サイズは、通常、９６×８０ピクセルである。但し、本実施形態では、動画の視認性を向上させるために、所定の拡大方式により、１２８×９６ピクセルに拡大して表示できるようになっている。
【００５８】
ここで、図７は、本実施形態による動画拡大方式を説明するための概念図である。上述したように、本実施形態では、９６×８０ピクセルの動画の周囲部（図示の斜線部）を、所定の動画拡大方式（後述）に従って部分拡大し、全体として、１２８×９６ピクセルの表示領域で再生可能となっている。また、動画の停止（一時停止）時は、全体を一様拡大して１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）で静止画として表示する。
【００５９】
次に、図８は、本実施形態による動画拡大方式例を説明するための概念図である。図８（ａ）では、中央部を１倍、周囲を３倍とし、単純に拡大する方式である。また、図８（ｂ）では、動画の周囲にいくほど直線的に拡大率を大きくする方式である。また、図８（ｃ）では、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式である。いずれの場合においても、拡大により動画の視認性を低下させないため、中央部の拡大率は１倍のままとする。いずれの動画拡大方式を用いるかは、予め決めておいてもよいし、ユーザによって選択可能としてもよい。
【００６０】
次に、図９および図１０は、動画拡大の方式の一例を説明するための概念図である。動画がＭＰＥＧ−４の場合、デコードする際には、図９に示すように、前後のフレームを参照する必要があるので、通常、バッファには３フレーム分のメモリ領域が必要となる。また、部分拡大の方式としては、一例として、図１０に示すように、注目画素のデータを隣接画素に埋め込むことにより補間する補間法を用いればよい。通常、補間後のデータにフィルタ処理を施すという画像処理を加える。
【００６１】
Ｂ．実施形態の動作
次に、本実施形態の動作について詳細に説明する。
【００６２】
（１）撮影モード
まず、本実施形態による撮像モード時の動作について説明する。ここで、図１１および図１２は、本実施形態による撮像モード時の動作を説明するためのフローチャートである。ユーザにより撮影モードが選択されると、まず、撮影モジュール１８１、ＤＳＰ１８２を起動する（ステップＳ１０）。次に、画像処理プログラムをロードし（ステップＳ１２）、表示部１３にスルー画像を表示する（ステップＳ１４）。次に、シャッターキー１４５が押圧されたか否かを判断する（ステップＳ１６）。そして、シャッターキー１４５が押下されない場合には、ステップＳ１４へ戻り、スルー画像の表示を継続する。
【００６３】
一方、シャッターキー１４５が押下されると、所定秒（２秒）の間、押圧が維持されたか否かを判断する（ステップＳ１８）。シャッターキー１４５が所定秒の間、押圧されつづけた場合には、撮像されたデータを順次取り込み、撮像データバッファ領域２９７に順次蓄積していく（ステップＳ２０）。該撮像データの取り込み過程においては、所定容量（例えば１００Ｋバイト）のデータを蓄積したか否かを判断し（ステップＳ２２）、さらに、シャッターキー１４５の押圧が解除されたか否かを判断する（ステップＳ２４）。そして、所定容量に達しておらず、かつシャッターキー１４５の押圧も解除されていない場合には、ステップＳ２２へ戻り、撮像されたデータの撮像データバッファ領域２９７への蓄積を継続する。
【００６４】
一方、所定容量に達するか、あるいはシャッターキー１４５の押圧が解除された場合には、撮像データバッファ領域２９７へ蓄積した撮像データを圧縮ファイル化する（ステップＳ２６）。そして、圧縮ファイル化された動画ファイルを、タイムスタンプに基づいてファイル名を付加して画像メモリ２３に格納し（ステップＳ３２）、その後、ステップＳ１４へ戻り、前述した処理を継続する。
【００６５】
また、ステップＳ１８において、シャッターキー１４５が所定秒の間、押圧されなかった場合、すなわちシャッターキー１４５が一瞬だけ（２秒以下）押下された場合には、撮像されたデータを取り込み（ステップＳ２８）、圧縮ファイル化する（ステップＳ３０）。そして、圧縮ファイル化された静止画ファイルを、タイムスタンプに基づいてファイル名を付加して画像メモリ２３に格納し（ステップＳ３２）、その後、ステップＳ１４へ戻り、前述した処理を継続する。
【００６６】
このように、撮影モードにおいては、所定時間内にシャッターキー１４５の押圧操作／解除を検出した場合には、その時点で撮像モジュールに取り込まれたイメージを静止画として圧縮ファイル化する一方、所定時間以上に渡ってシャッターキー１４５の押圧を検出した場合には、押圧開始点から取り込まれたイメージを順次撮像データバッファ領域２９７に蓄積し（動画）、所定容量（１００Ｋバイト）を超えるか、シャッターキー１４５の押圧解除を検出すると、動画撮影を停止する。
【００６７】
（２）メール作成
次に、本実施形態によるメール作成時の動作について説明する。ここで、図１３ないし図１７は、本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。ユーザによりメール作成モードが選択されると、メールメニューを表示する（ステップＳ４０）。次に、メールメニューから新規作成が選択されたか否かを判断する（ステップＳ４２）。ここで、新規作成が選択されなかった場合には、受信ボックスが選択されたか否かを判断し（ステップＳ４４）、受信ボックスが選択されなければ、その他の処理へ進む（ステップＳ４６）。なお、受信ボックスが選択された場合、すなわち受信メールを表示するための処理については後述する。
【００６８】
一方、メールメニューから新規作成が選択されると、作成メニューを表示する（ステップＳ４８）。次に、メールメニューから静止画付きメールが選択された否かを判断する（ステップＳ５０）。そして、静止画付きメールが選択されなかった場合には、動画付きメールが選択されたか否かを判断する（ステップＳ５２）。そして、動画付きメールが選択されなかった場合には、通常のメール処理へ進む（ステップＳ５４）。
【００６９】
一方、メールメニューから静止画付きメールが選択された場合には、静止画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ５６）、作成画面を表示する（ステップＳ６０）。また、メールメニューから動画付きメールが選択された場合には、動画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ５８）、作成画面を表示する（ステップＳ６０）。
【００７０】
次に、作成画面において、「画像選択」、「メール作成（編集）」のいずれの項目が選択されたか否かを判断する（ステップＳ６２）。ここで、「画像選択」が選択された場合には、まず、画像（静止画または動画）ファイルを検索する（ステップＳ６４）。そして、画像ファイルがあったか否かを判断し（ステップＳ６６）、画像ファイルがなければ、エラーを表示し（ステップＳ６８）、図１３のステップＳ５６の作成画面の表示へ戻る。
【００７１】
一方、画像ファイルがあった場合には、画像ファイル（動画の場合、撮像開始時の静止画）をアルバム表示する（ステップＳ７０）。次に、アルバム表示からいずれかの画像ファイルが選択されたか否かを判断する（ステップＳ７２）。そして、選択されない場合には、ステップＳ７０に戻り、アルバム表示を継続する。
【００７２】
一方、いずれかの画像ファイルが選択されると、選択された画像ファイルが静止画であるか否かを判断する（ステップＳ７４）。そして、選択された画像ファイルが静止画であった場合には、そのままＳｕｂ−ＱＣＩＦサイズ（１２８×９６ピクセル）で表示する（ステップＳ７８）。その後、図１３のステップＳ５６の作成画面表示へ戻る。
【００７３】
一方、選択された画像ファイルが動画である場合には、Ｓｕｂ−ＱＣＩＦサイズ（１２８×９６ピクセル）にリサイズ（一様拡大）し（ステップＳ７６）、静止画を表示する（ステップＳ７８）。その後、図１３のステップＳ５６の作成画面表示へ戻る。
【００７４】
また、作成画面において、「メール作成・編集」が選択された場合には、まず、各項目・編集・表示を行なう画面を表示する（図１５のステップＳ８０）。ユーザは、該画面において、メールのタイトル、メール送信者の名前、メール宛先、メール本文などを入力する。次に、再生」を指示するファンクションキー１４３が操作されたか否かを判断し（ステップＳ８２）、さらに「決定」が検出されたか否かを判断する（ステップＳ８４）。そして、「再生」を指示するファンクションキー１４３の操作も「決定」もされなかった場合には、ステップＳ８０へ戻り、「各項目・編集・表示」の画面表示を継続する。
【００７５】
一方、「再生」を指示するファンクションキー１４３が操作されると、メールに添付すべき静止画が選択されているか否かを判断する（ステップＳ８６）。そして、静止画が選択されている場合には、静止画上にメール本文を重ねて表示し（ステップＳ８８）、ステップＳ８０へ戻る。なお、メール本文の静止画へ表示方法の詳細については後述する。
【００７６】
一方、静止画が選択されていない場合には、メールに添付すべき動画が選択されているか否かを判断する（図１６のステップＳ９０）。そして、動画が選択されている場合には、動画を繰り返し再生する（ステップＳ９２）。動画再生においては、所定のファンクションキーの操作に応じて、９６×８０ピクセルで再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して再生する。なお、動画再生の詳細については後述する。
【００７７】
次に、フラグＦが「１」であるか否かを判断する（ステップＳ９４）。該フラグＦは、動画を通常再生（９６×８０ピクセル）するか、部分拡大再生（１２８×９６ピクセル）するかを示すフラグであり、後述する動画再生処理において、所定のファンクションキーの操作で、交互に切り替わるようになっている。そして、フラグＦが「１」である場合、すなわち部分拡大再生が選択されている場合には、図２４（ａ）に示すように、１２８×９６ピクセルに部分拡大された動画を背景にメール本文を重ねて表示する（ステップＳ９６）。一方、フラグＦが「０」である場合、すなわち通常再生が選択されている場合には、図２４（ｂ）に示すように、９６×８０ピクセルの動画に対して、並列にメール本文を表示する（ステップＳ９８）。
【００７８】
次に、該再生中に、「一時停止」を指示するファンクションキー１４３が押下されたか否かを判断し（ステップＳ１００）、ファンクションキー１４３が押下されるまで、ステップＳ９２〜Ｓ１００の動画の繰り返し再生を継続する。
【００７９】
一方、動画の再生中に、「一時停止」を指示するファンクションキー１４３が押下されると、その時点での静止画を、一様拡大された１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）にリサイズし（ステップＳ１０２）、後述する処理により、静止画上にメール本文を重ねて表示する（ステップＳ１０４）。その後、図１５のステップＳ８０へ戻り、前述した処理を繰り返す。このように、本実施形態では、メール本文の作成・編集中であっても、容易に動画を再生／一時停止させることができ、しかも動画の再生方式（通常、拡大）に応じて確認しやすい表示方式で、一画面でメール本文と動画とを表示することができる。
【００８０】
また、ステップＳ８０で、各項目・編集・表示画面が表示されているとき、動画が選択されていない状態で、ステップＳ８２でファンクションキーが操作された場合には、「動画が選択されていません」というメッセージを表示する（図１７のステップＳ１０６）。次に、所定時間経過したか否かを判断し（ステップＳ１０８）、所定時間経過していなければ、ステップＳ１０６へ戻り、メッセージの表示を維持する。一方、メッセージの表示が所定時間経過した場合には、メッセージを消去する（ステップＳ１１０）。その後、図１３のステップＳ５６へ戻り、前述した処理を繰り返す。
【００８１】
そして、図１５のステップＳ８０で、各項目・編集・表示画面が表示されているとき、「決定」の操作が検出されると、未記入項目があるか、あるいは動画ファイルが選択されていないかを判断する（ステップＳ１１０）。そして、未記入項目があるか、あるいは静止画または動画ファイルが選択されていない場合には、ユーザに対する確認表示を行ない（ステップＳ１１２）、「ＯＫ」が選択されたか否かを判断する（ステップＳ１１４）。そして、「ＯＫ」が選択されない場合、すなわち未記入項目があるか、静止画または動画ファイルが選択されていない場合には、図１３に示すステップＳ５６へ戻り、作成画面の表示へ進む。以降、ユーザは、未記入項目への入力、あるいはメールに添付する画像ファイル（静止画、動画）を選択するなどしてメールを完成させることになる。
【００８２】
一方、ユーザへの確認表示において、「ＯＫ」が選択された場合には、未記入項目があってもよい、あるいは画像ファイル（静止画、動画）が選択されていなくてもよい、ということであるので、静止画または動画が添付されたメールを送信ボックスに格納し（ステップＳ１１６）、図１３に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。また、未記入項目がないか、あるいは静止画または動画ファイルが選択されている場合には、確認することなく、静止画または動画が添付されたメールを送信ボックスに格納し（ステップＳ１１６）、図１３に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。送信ボックスに格納された静止画または動画付きメールは、所定のタイミングで送信される。
【００８３】
（３）静止画および動画へのメール本文の重ね表示処理
次に、本実施形態による静止画および動画へのメール本文の重ね表示時の動作について説明する。ここで、図１８ないし図１９は、本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。上述したメール作成動作において、ステップＳ８８の静止画上へのメール本文の重ね表示、ステップＳ９６の動画上へのメール本文の重ね表示、またはステップＳ１０４の静止画上へのメール本文の重ね表では、以下のようにして処理が実行される。
【００８４】
メールに添付するための静止画または動画がアルバム表示から選択されると、選択された静止画または動画に基づく画像の明度を判別する（ステップＳ１２０）。そして、静止画または動画の明度が中間値Ｍであるか否かを判断する（ステップＳ１２２）。そして、静止画または動画の明度が中間値Ｍであれば、静止画または動画の明度を所定量増やす（ステップＳ１２８）。
【００８５】
一方、静止画または動画の明度が中間値Ｍでなければ、中間値Ｍより明るいか否かを判断し（ステップＳ１２４）、中間値Ｍより明るければ、さらに、中間値Ｍと閾値ＴＨ１（中間値Ｍ＜閾値ＴＨ１）との間であるか否かを判断する（ステップＳ１２６）。そして、静止画または動画の明度が中間値Ｍと閾値ＴＨ１との間であれば、静止画または動画の明度を所定量増やす、すなわち明るくする（ステップＳ１２８）。
【００８６】
一方、静止画または動画の明度が中間値Ｍより暗ければ、さらに、中間値Ｍと閾値ＴＨ２（中間値Ｍ＞閾値ＴＨ２）との間であるか否かを判断する（ステップＳ１３０）。そして、静止画または動画の明度が中間値Ｍと閾値ＴＨ２との間であれば、静止画または動画の明度を所定量減らす、すなわち暗くする（ステップＳ１３２）。そして、表示する文字色（メール本文）を白に設定する（ステップＳ１３４）。また、静止画または動画の明度が閾値ＴＨ２より暗い場合には、明度を調整することなく、そのまま表示する文字色（メール本文）を白に設定する（ステップＳ１３４）。
【００８７】
上述したように、静止画または動画の明度を調整した後（あるいは文字色を白に設定した後）、表示部１３に、作成されたメールの本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００８８】
このように、本実施形態では、明度判別によって、メールの背景として表示される静止画または動画の明るさを調整することを特徴としている。ここで、図２１は、静止画または動画の明度調整について説明するための概念図である。また、図２２は、静止画と、静止画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【００８９】
図２１に示すように、静止画または動画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときは、この静止画または動画の明度を上げるように加工処理する。図２２（ａ）が静止画、図２２（ｂ）が明度が調整された静止画である。そして、図２２（ｂ）に示す静止画に対し、図１５のステップＳ８０で作成されたメールの本文を重ね合わせ、図２２（ｃ）に示すようなプレビュー表示を行なう。
【００９０】
一方、図２１に示すように、静止画または動画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときは、この静止画または動画の明度を下げるように加工処理する。ここで、図２３は、静止画と、静止画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。図２３（ａ）が静止画、図２３（ｂ）が明度調整された静止画である。そして、図２３（ｂ）に示す静止画に対し、図１５のステップＳ８０で作成されたメールの本文について、文字色を白に変更して重ね合わせ、図２３（ｃ）のようなプレビュー表示を行なう。
【００９１】
次に、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１３８）。ここでユーザにより決定されれば、図１５のステップＳ８８、図１６のステップＳ９６、または図１６のステップＳ１０４に戻る。
【００９２】
一方、決定で無い場合、この静止画または動画に対し、明度の補正をマニュアルで調整することができる（ステップＳ１４０）。そして、再度、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１４２）。決定が指示されない場合には、ステップＳ１４０へ戻り、マニュアル調整を継続する。
【００９３】
一方、マニュアル調整後に決定が指示されると、調整後の静止画または動画の明度を判別し（ステップＳ１４４）、静止画または動画の明度が中間値Ｍであるか否かを判断する（ステップＳ１４６）。そして、マニュアル調整後の静止画または動画の明度が中間値Ｍでなければ、中間値Ｍより明るいか否かを判断し（ステップＳ１４８）、中間値Ｍより明るければ、表示する文字色（メール本文の文字色）を黒に設定し（ステップＳ１５０）、上述した図１８のステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００９４】
また、マニュアル調整後の静止画または動画の明度が中間値Ｍであった場合にも、表示する文字色（メールの本文の文字色）を黒に設定し（ステップＳ１５０）、上述した図１８のステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００９５】
また、マニュアル調整後の静止画または動画の明度が中間値Ｍより暗ければ、表示する文字色（メール本文の文字色）を白に設定し（ステップＳ１５２）、上述したステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００９６】
このように、マニュアル調整で静止画または動画の明度が中間値Ｍをまたいで変更された場合には、メール本文の文字色を変更する。そして、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１３８）。ここでユーザにより決定されれば、図１５のステップＳ８８、図１６のステップＳ９６、またはステップＳ１０４に戻る。
【００９７】
（４）動画の再生動作
次に、本実施形態による動画再生時の動作について説明する。ここで、図２０は、本実施形態による動画再生時の動作を説明するためのフローチャートである。上述したメール作成動作において、添付ファイルとして動画を選択し、メール本文を作成する際、図１６のステップＳ９２における動画の繰り返し再生では、以下のようにして処理が実行される。
【００９８】
まず、選択された動画ファイルを読み出し（ステップＳ１６０）、デコードし（ステップＳ１６２）、フラグＦが「１」であるか否か、すなわち部分拡大表示するか否かを判断する（ステップＳ１６４）。そして、フラグＦが「１」である場合には、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って部分拡大処理を実行する（ステップＳ１６６）。そして、部分拡大処理した、１２８×９６ピクセルの動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、図７に示すように、９６×８０ピクセルの周辺部が拡大（斜線部分）されて、１２８×９６ピクセルの動画として再生され、図２４（ａ）に示すように、部分拡大された再生動画上にメール本文が重ねて表示される。
【００９９】
一方、フラグＦが「１」でない場合には、部分拡大することなく、９６×８０ピクセルのサイズのまま、動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、９６×８０ピクセルの動画として再生され、図２４（ｂ）に示すように、動画と並列にメール本文が表示される。
【０１００】
次に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下されたか否かを判断する（ステップＳ１７０）。そして、所定のファンクションキーが押下されない場合には、動画が終了したか否かを判断する（ステップＳ１７８）。動画が終了していなければ、図１６のステップＳ９２へ戻り、上述した動作を繰り返す。
【０１０１】
一方、所定のファンクションキーが押下された場合には、フラグＦが「１」であるか否かを判断し（ステップＳ１７２）、フラグＦが「１」の場合には、「０」にし（ステップＳ１７４）、フラグＦが「０」の場合には、フラグＦを「１」とする（ステップＳ１７６）。すなわち、動画再生中に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下される度に、部分拡大した再生と通常サイズの再生とが交互に実行されることになる。そして、動画が終了したか否かを判断する（ステップＳ１７８）。動画が終了していなければ、図１６のステップＳ９２へ戻り、上述した動作を繰り返す。
【０１０２】
（５）受信メール表示処理
次に、図２５および図２６は、本実施形態による受信メール表示処理を説明するためのフローチャートである。なお、図２５に示すフローチャートは、前述した図１３に示すステップＳ４４における「ＮＯ」からの分岐である。
【０１０３】
受信フォルダが選択された場合には、受信したメールの一覧を表示すべく受信リストを表示する（ステップＳ２００）。ここで、図２７は、表示部１３に表示される受信リストの表示例を示す模式図である。アイコン１３０１は、バッテリの充電量を表わしている。また、アイコン１３０２は、電波受信状態を表わしている。また、受信リストでは、アイコン１３０３〜１３０６でメールの既読／未読を判別できるようになっている。すなわち、アイコン１３０３は、未読メールを表わしている。また、アイコン１３０４は、未読静止画付きメールを表わしている。また、アイコン１３０５は、既読メールを表わしている。アイコン１３０６は、既読静止画付きメールを表わしている。そして、アイコン１３０７は、未読動画付きメールを表わしている。ここで、ユーザは、表示したいメールを受信リストから選択操作することになる。
【０１０４】
次に、静止画付きメールが選択されたか否かを判断する（ステップＳ２０２）。そして、静止画付きメールが選択された場合には、静止画付きメールソフトプログラムおよび画像処理プログラムをロードし（ステップＳ２０４）、前述した図１８および図１９に示すフローに従って、静止画を背景にしてメール本文を表示部１３に表示する（ステップＳ２０６）。次に、キャンセル操作が検出されたか否かを判断し（ステップＳ２０８）、キャンセル操作が検出された場合には、ステップＳ２００へ戻り、受信リストの表示へ移行する。
【０１０５】
一方、キャンセル操作が検出されなかった場合には、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１０）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２０６へ戻り、静止画を背景にしてメール本文の重ね表示を継続する。
【０１０６】
一方、ファンクションキー１４３が操作されると、徐々にメール本文の内容を消しながら、図２２（ａ）に示すように静止画を表示する（ステップＳ２１２）。次に、再度、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１４）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２１２へ戻り、静止画の表示を継続する。一方、静止画が表示されている状態で、ファンクションキー１４３が操作されると、ステップＳ２０６へ戻り、徐々にメール本文の浮き立たせて、図２２（ｃ）に示すように、静止画を背景にしてメール本文を重ねて表示する。
【０１０７】
すなわち、ファンクションキー１４３が操作される毎に、メール本文が重ねられた静止画（図２２（ｃ）参照）と、静止画（図２２（ａ））とを徐々に切り換えるように交互に表示するようになっている。
【０１０８】
一方、静止画付きメールが選択されなかった場合には、動画付きメールが選択されたか否かを判断し（図２６のステップＳ２２０）、通常のメールが選択された場合には、通常のメール処理へ進む（ステップＳ２２４）。
【０１０９】
一方、動画付きメールが選択されると、動画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ２２２）、前述したように、図２０に示すフローに従って、動画を繰り返し再生する（ステップＳ２２６）。動画再生においては、所定のファンクションキーの操作に応じて、９６×８０ピクセルで再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して再生する。部分拡大して１２８×９６ピクセルで再生しているとき、フラグＦは「１」であり、９６×８０ピクセルで通常再生しているとき、フラグＦは「０」である。
【０１１０】
次に、フラグＦが「１」であるか否かを判断する（ステップＳ２２８）。フラグＦが「１」である場合、すなわち部分拡大再生が選択されている場合には、図２４（ａ）に示すように、１２８×９６ピクセルに部分拡大された動画を背景にメール本文を重ねて表示する（ステップＳ２３０）。一方、フラグＦが「０」である場合、すなわち通常再生が選択されている場合には、図２４（ｂ）に示すように、９６×８０ピクセルの動画に対して、並列にメール本文を表示する（ステップＳ２３２）。
【０１１１】
次に、動画再生中に、キャンセルが検出されたか否かを判断し（ステップＳ２３４）、キャンセルが検出されると、図２５のステップＳ２００の受信リスト表示へ戻り、前述した処理を繰り返す。一方、キャンセルが検出されなければ、動画再生を一時停止するためのファンクションキー１４３が操作されたか否かを判断する（ステップＳ２３６）。そして、一時停止のためのファンクションキー１４３が操作されなければ、ステップＳ２２６へ戻り、メール本文の表示と動画再生とを継続する。
【０１１２】
一方、一時停止するためのファンクションキー１４３が操作さると、その時点で再生中の動画について、図２８に示すように、その時点での静止画を一様拡大した１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）にリサイズし（ステップＳ２３８）、前述した図１８および図１９に示すフローに従って、静止画上にメール本文を重ねて表示する（ステップＳ２４０）。次に、再生するためのファンクションキー１４３が操作されたか否かを判断し（ステップＳ２４２）、再生が指示されなければ、ステップＳ２３８へ戻り、一時停止状態を継続する。一方、再生するためのファンクションキー１４３が操作されると、ステップＳ２２６へ戻り、所定のファンクションキーの操作に応じて、９６×８０ピクセルで繰り返し再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して繰り返し再生する（ステップＳ２２６）。
なお、本発明において、携帯電話という用語にはＣＤＭＡ、ＧＳＭをはじめとする各種方式の携帯電話、ＰＨＳ、電話機能を内蔵したＰＤＡ、カメラ機能を内蔵した携帯電話などを含む。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施形態によるメール送受信システムの構成を示すブロック図である。
【図２】携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。
【図３】携帯電話１ａ，１ｂの構成を示すブロック図である。
【図４】携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。
【図５】携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。
【図６】静止画と動画との表示サイズの違いを示す模式図である。
【図７】本実施形態による動画拡大方式を説明するための概念図である。
【図８】本実施形態による動画拡大方式例を説明するための概念図である。
【図９】動画拡大の方式の一例を説明するための概念図である。
【図１０】動画拡大の方式の一例を説明するための概念図である。
【図１１】本実施形態による撮像モード時の動作を説明するためのフローチャートである。
【図１２】本実施形態による撮像モード時の動作を説明するためのフローチャートである。
【図１３】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１４】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１５】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１６】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１７】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１８】本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。
【図１９】本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。
【図２０】本実施形態による動画再生時の動作を説明するためのフローチャートである。
【図２１】静止画または動画の明度調整について説明するための概念図である。
【図２２】静止画と、静止画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【図２３】静止画と、静止画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【図２４】部分拡大再生時の動画上にメール本文を重ねて表示した場合、および通常再生時の動画上にメール本文を重ねて表示した場合の模式図である。
【図２５】本実施形態による受信メール表示処理を説明するためのフローチャートである。
【図２６】本実施形態による受信メール表示処理を説明するためのフローチャートである。
【図２７】表示部１３に表示される受信リストの表示例を示す模式図である。
【図２８】動画の一時停止時における表示例を示す模式図である。
【符号の説明】
【０１１４】
１ａ，１ｂ  携帯電話（データ送信装置、データ受信装置）
２  無線基地局
３  通信サービス事業者
３２  Ｗｅｂサーバ
３３  メールサーバ
３４  交換機
３５  ルータ
４  公衆回線網
５  ＷＷＷ
６  インターネットプロバイダ
６２  Ｗｅｂサーバ
６３  メールサーバ
６５  ルータ
７  パーソナルコンピュータ
１１  アンテナ
１２  スピーカ
１３  表示部（表示手段）
１３８  ファンクションキー
１３９  ファンクションキー
１４０  ファンクションキー
１４  キー入力部
１４１  メールキー
１４２  アドレスキー
１４３  ファンクションキー
１４４  テンキー
１４５  シャッターキー
１５  マイク
１６  サブ表示部
１７  背面キー
１７１  ＬＥＤ
１８  撮像レンズ
１９  報知スピーカ
２０  無線送受信部（送信手段）
２１  無線信号処理部
２２  制御部（表示制御手段）
２３  画像メモリ
２４  Ｆｌａｓｈ  ＲＯＭ
２５，２６  ドライバ
２７  加入者情報記憶部
２８  システムＲＯＭ
２９  ＲＡＭ（記憶手段）
１８１  撮像モジュール
１８２  ＤＳＰ
１９２  ドライバ
２００  音声信号処理部
【図１】
2006018854.tif 000003
【図２】
2006018854.tif 000004
【図３】
2006018854.tif 000005
【図４】
2006018854.tif 000006
【図５】
2006018854.tif 000007
【図６】
2006018854.tif 000008
【図７】
2006018854.tif 000009
【図８】
2006018854.tif 000010
【図９】
2006018854.tif 000011
【図１０】
2006018854.tif 000012
【図１１】
2006018854.tif 000013
【図１２】
2006018854.tif 000014
【図１３】
2006018854.tif 000015
【図１４】
2006018854.tif 000016
【図１５】
2006018854.tif 000017
【図１６】
2006018854.tif 000018
【図１７】
2006018854.tif 000019
【図１８】
2006018854.tif 000020
【図１９】
2006018854.tif 000021
【図２０】
2006018854.tif 000022
【図２１】
2006018854.tif 000023
【図２２】
2006018854.tif 000024
【図２３】
2006018854.tif 000025
【図２４】
2006018854.tif 000026
【図２５】
2006018854.tif 000027
【図２６】
2006018854.tif 000028
【図２７】
2006018854.tif 000029
【図２８】
2006018854.tif 000030
【手続補正書】
【提出日】平成17年9月16日(2005.9.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
静止画または動画を撮像する撮像手段と、
前記撮像手段により撮像された静止画または動画を記憶する画像記憶手段と、
文書を作成する作成手段と、
前記作成手段により作成された文書に前記画像記憶手段に記憶されている静止画または動画を添付する添付手段と、
前記添付手段により前記静止画または動画が添付された文書を表示する表示手段と、
前記添付手段により前記文書に静止画が添付されている場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記添付手段により前記文書に動画が添付されている場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段と
を具備することを特徴とするカメラ付き携帯電話。
【請求項２】
前記表示制御手段は、前記動画を前記静止画より小さいサイズで前記表示手段に表示させることを特徴とする請求項１記載のカメラ付き携帯電話。
【請求項３】
前記動画を再生する際に該動画を拡大する拡大手段を具備し、
前記表示制御手段は、
前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させることを特徴とする請求項１または２に記載のカメラ付き携帯電話。
【請求項４】
前記作成手段によって作成された文書と、該文書に添付されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項１ないし３のいずれかに記載のカメラ付き携帯電話。
【請求項５】
前記静止画または前記動画が添付された前記文書をデータ送信する送信手段を具備することを特徴とする請求項１ないし４のいずれかに記載のカメラ付き携帯電話。
【請求項６】
撮像部により撮像された静止画または動画が関連付けられた文書を表示するための画像付き文書表示方法であって、
前記静止画または前記動画が関連付けられた文書を表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする画像付き文書表示方法。
【請求項７】
前記動画は、前記静止画より小さいサイズで表示することを特徴とする請求項６記載の画像付き文書表示方法。
【請求項８】
前記動画を再生する場合、前記動画を拡大し、該拡大された動画を前記文書上に重ねて表示させることを特徴とする請求項６または７に記載の画像付き文書表示方法。
【請求項９】
前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すことを特徴とする請求項６ないし８のいずれかに記載の画像付き文書表示方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明は上述した事情に鑑みてなされたもので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるカメラ付き携帯電話および画像付き文書表示方法を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述した問題点を解決するために、請求項１記載の発明では、静止画または動画を撮像する撮像手段と、前記撮像手段により撮像された静止画または動画を記憶する画像記憶手段と、文書を作成する作成手段と、前記作成手段により作成された文書に前記画像記憶手段に記憶されている静止画または動画を添付する添付手段と、前記添付手段により前記静止画または動画が添付された文書を表示する表示手段と、前記添付手段により前記文書に静止画が添付されている場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記添付手段により前記文書に動画が添付されている場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段とを具備することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、好ましい態様として、例えば請求項２記載の発明のように、請求項１記載のカメラ付き携帯電話において、前記表示制御手段は、前記動画を前記静止画より小さいサイズで前記表示手段に表示させるようにしてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、好ましい態様として、例えば請求項４記載の発明のように、請求項１ないし３のいずれかに記載のカメラ付き携帯電話において、前記作成手段によって作成された文書と、該文書に添付されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、好ましい態様として、例えば請求項５記載の発明のように、請求項１ないし４のいずれかに記載のカメラ付き携帯電話において、前記静止画または前記動画が添付された前記文書をデータ送信する送信手段を具備するようにしてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、上述した問題点を解決するために、請求項６記載の発明では、撮像部により撮像された静止画または動画が関連付けられた文書を表示するための画像付き文書表示方法であって、前記静止画または前記動画が関連付けられた文書を表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、好ましい態様として、例えば請求項８記載の発明のように、請求項６または７に記載の画像付き文書表示方法において、前記動画を再生する場合、前記動画を拡大し、該拡大された動画を前記文書上に重ねて表示させるようにしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項１の発明によれば、撮像手段により撮像した静止画または動画を画像記憶手段に記憶し、作成手段により文書を作成し、添付手段により、前記作成手段により作成された文書に前記画像記憶手段に記憶されている静止画または動画を添付し、表示制御手段により、前記添付手段により前記文書に静止画が添付されている場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記添付手段により前記文書に動画が添付されている場合、前記表示手段に前記文書と前記動画とを並べて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、請求項４記載の発明によれば、前記作成手段によって作成された文書と、該文書に添付されている前記静止画または前記動画とを重ねて表示する際、画像処理手段により、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、請求項５記載の発明によれば、送信手段により、前記静止画または前記動画が添付された前記文書をデータ送信するようにしたので、前記文書と前記静止画または前記動画とをメールとして送信することができるという利点が得られる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、請求項８記載の発明によれば、前記動画を再生する場合、前記動画を拡大し、該拡大された動画を前記文書上に重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】