(57)【要約】【課題】通信相手から送信された画像情報に基づいて表示された画像から、説明、案内等の対象物を特定して表示することが可能な操作性のよい携帯型情報通信端末、端末制御プログラムおよびこれを記録した記録媒体を提供する。【解決手段】携帯電話１０は、制御部１６において、メモリ１５に格納された各種プログラムを実行し、通信部１１等のハードウェアを制御することにより、マーク情報作成部１、マーク補足情報作成部２を機能ブロックとして形成する。マーク情報作成部１は、ユーザによって指定されたマーク情報を作成する。【選択図】  図１
2005011118.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置との間で通信する送受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末であって、
上記制御手段は、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するマーク情報作成手段と、
上記マーク情報作成手段により作成されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段と、
上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御する通信制御手段とを備えていることを特徴とする携帯型情報通信端末。
【請求項２】
上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を入力するマーク補足情報作成手段を備えていることを特徴とする請求項１に記載の携帯型情報通信端末。
【請求項３】
上記マーク補足情報作成手段がマーク補足情報を作成すると、
上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御することを特徴とする請求項１または２記載の携帯型情報通信端末。
【請求項４】
上記マーク情報作成手段がマーク情報を作成すると、
上記マーク情報補足手段は、作成されたマーク情報に連動してマーク補足情報を表示することを特徴とする請求項２記載の携帯型情報通信端末。
【請求項５】
画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置から通信によって受信する受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末であって、
上記制御手段は、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御する通信制御手段と、
上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段とを備えていることを特徴とする携帯型情報通信端末。
【請求項６】
上記通信制御手段が、上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を、上記マーク情報とともに他の装置から受信するように上記受信手段を制御するとともに、
上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御することを特徴とする請求項５記載の携帯型情報通信端末。
【請求項７】
上記画像情報に複数のマーク情報を合成して表示する場合には、
上記表示制御手段は、上記複数のマーク情報を一つずつ画像情報に合成し、該マーク情報が合成された画像情報を複数作成して表示するように、上記表示手段を制御することを特徴とする請求項１ないし６のいずれか一項に記載の携帯型情報通信端末。
【請求項８】
上記表示制御手段は、上記複数のマーク情報を所定の順番で、上記画像情報に合成して表示するように、上記表示手段を制御することを特徴とする請求項７に記載の携帯型情報通信端末。
【請求項９】
上記表示制御手段は、複数のマーク情報を一つずつ画像情報に合成して表示するとともに、該マーク情報と関連づけされたマーク補足情報についてもマーク情報と同期して表示するように、上記表示手段を制御することを特徴とする請求項３または６に記載の携帯型情報通信端末。
【請求項１０】
上記マーク補足情報は、文字情報からなることを特徴とする請求項３または６に記載の携帯型情報通信端末。
【請求項１１】
上記マーク補足情報は、該マーク補足情報を入力する表示部を取り囲む図形と、上記図形から引き出された引き出し線とを用いて表示され、
上記表示制御手段は、上記引き出し線の先端が、上記マーク情報で指し示している対象物上に位置するように制御することを特徴とする請求項１０に記載の携帯型情報通信端末。
【請求項１２】
上記表示制御手段は、上記マーク情報と重ならない範囲で、かつ上記表示部が最大面積となる領域を選択してマーク補足情報の表示を行うように、上記表示手段を制御することを特徴とする請求項１１に記載の携帯型情報通信端末。
【請求項１３】
上記表示制御手段は、上記表示部に上記マーク補足情報として入力可能な最大文字数を表示するように、上記表示手段を制御することを特徴とする請求項１２に記載の携帯型情報通信端末。
【請求項１４】
上記表示制御手段は、ユーザからの入力に応じて、マーク補足情報の表示位置を切り替えるように、上記表示手段を制御することを特徴とする請求項１２または１３に記載の携帯型情報通信端末。
【請求項１５】
上記画像情報を他の装置から受信した場合には、
上記通信制御手段は、上記画像情報の受信時に記憶していた送信元のアドレスを送信先として設定することを特徴とする請求項１〜１４の何れか１項に記載の携帯型情報通信端末。
【請求項１６】
画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置との間で通信する送受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末の端末制御方法であって、
上記制御手段は、マーク情報作成手段と表示制御手段と通信制御手段とを備え、
上記マーク情報作成手段が、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するステップと、
上記表示制御手段が、上記マーク情報作成手段において作成されたマーク情報を上記画像情報に合成して表示するように上記表示手段を制御するステップと、
上記通信制御手段が、上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御するステップとを備えていることを特徴とする端末制御方法。
【請求項１７】
画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置から通信によって受信する受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末の端末制御方法であって、
上記制御手段は、通信制御手段と、表示制御手段とを備え、
上記通信制御手段が、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御するステップと、
上記表示制御手段が、上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御するステップとを備えていることを特徴とする端末制御方法。
【請求項１８】
請求項１〜１５の何れか１項に記載の携帯型情報通信端末を動作させる端末制御プログラムであって、
上記制御手段が備える各手段をコンピュータに実現させるための端末制御プログラム。
【請求項１９】
請求項１８に記載の端末制御プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、無線通信機能をもった携帯端末を利用して、端末利用者同士のＰ２Ｐコミュニケーションを実現する携帯型情報通信端末、端末制御方法、端末制御プログラムおよびこれを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
例えば、買い物を頼まれたがスーパーでどの銘柄の商品を選んだら良いか迷った時、待ち合わせの場所の近くまで来たがどこの喫茶店かわからない時、道に迷った時等、自宅にいる家族や喫茶店で待っている知り合いに連絡して道案内してもらう、あるいは誰かその周辺の地理に詳しい人に案内して欲しいと思うことは、誰しもよく経験するところである。
【０００３】
このように、その場の状況に応じた適切な説明・案内を今すぐ必要とするような場面は、日常生活において多々ある。
【０００４】
このような場合において、携帯電話が備えている音声通話機能やメール機能等を利用して、離れた場所からでも音声や文字で案内する方法は、既に広く用いられている。
【０００５】
また、最近では、カメラ機能が搭載されて画像添付メール機能を利用できる携帯電話が増えており、相手の状況を画像で知ることができるようになり、音声や文字による説明・案内と組み合わせることで、相手に自分の状況を伝えやすくなった。
【０００６】
しかし、音声通話では、相手になかなか意図が伝わらずに会話が長引く原因になり、さらに、言葉だけでは誤解を生じる可能性がある。
【０００７】
特許文献１には、携帯電話のメール機能において、画像と文字が合成されて表示するメッセージを作成するデータ入力方法について開示されている。
【０００８】
ここでは、携帯電話のような小さな画面での入力処理を行うため、画像の選択、文字列入力、割り付け位置調整といった処理毎に専用の画面を用意して、画像と文字とを合成したメッセージを作成している。
【０００９】
また、いわゆる共同作業支援システムにおいては、ネットワーク接続された互いのデスクトップＰＣに表示されている画像や文書情報に対して、説明・案内したい箇所にマーキングしてコメントを付加する方法が、すでに提案されている。
【００１０】
【特許文献１】
特開２００１−１０１１７７号公報（公開日２００１年４月１３日）
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された従来のデータ入力方法や、共同作業支援システムは、以下に示すような問題を有している。
【００１２】
すなわち、携帯電話等の表示画面に表示された画像を利用して説明・案内等を行う場合は、説明・案内等の対象物が画面上のどの位置に写っているかを、相手に伝えることが非常に重要である。
【００１３】
しかし、従来の画像添付メールを用いた情報通信端末では、画像の中で対象物がどこに写っているかを言葉で説明しなければならず、メールで伝えるには、説明文を入力するのが大変で手間がかかる。
【００１４】
上記特許文献１に開示されたデータ入力方法についても、文字入力、文字列の割り付けを別々の画面で行い、画像と文字情報とを合成して表示する機能について開示されているものの、対象物を指し示す手段については考慮されていない。
【００１５】
さらに、上記従来の共同作業支援システムでは、以下に示すような問題がある。
【００１６】
すなわち、説明、案内等を必要とする場面が、いつどこで発生するかは予測できないことから、説明、案内等をする側もされる側も、携帯電話のように、常に携帯可能な小型の通信端末を利用して行うことが重要になる。
【００１７】
しかし、上記共同作業支援システムは、所定の場所に設置されたデスクトップコンピュータ等の広い表示画面上に、いくつものウィンドウを並べて表示して利用することを想定しており、携帯電話のような小さな画面にそのまま適用することは困難である。
【００１８】
特に、複数の対象物を指定するとともに、各々の対象物についての補足説明文を複数個表示したい場合には、表示画面が小さいと表示面積の制約を受けてしまう。
【００１９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、例えば、離れた場所にいる通信相手から送信された画像情報に基づいて表示された画像から、説明、案内等の対象物を特定して表示することが可能な操作性のよい携帯型情報通信端末、端末制御方法、端末制御プログラムおよびこれを記録した記録媒体を提供することにある。
【００２０】
【課題を解決するための手段】
本発明の携帯型情報通信端末は、上記の課題を解決するために、画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置との間で通信する送受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末であって、上記制御手段は、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するマーク情報作成手段と、上記マーク情報作成手段により作成されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段と、上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御する通信制御手段とを備えていることを特徴としている。
【００２１】
上記の構成によれば、表示画面に表示される画像中に、通信相手に対して説明や案内を行うための対象物が含まれている場合において、その対象物を指し示すための点、線分、座標領域で表される図形等で示されるマーク情報を作成することで、該画像情報にマーク情報を合成して表示画面に表示できるとともに、該画像情報とマーク情報とを通信相手に送信することができる。
【００２２】
すなわち、本発明の携帯型情報通信端末では、マーク情報作成手段が、画像情報の中から説明、案内するための対象物を指し示すマーク情報を作成する。そして、表示制御手段が、画像情報に作成されたマーク情報を合成して表示手段に表示することで、容易に画像中の説明対象物を指し示すことができる。
【００２３】
さらに、通信制御手段が、作成したマーク情報を画像情報とともに、通信相手に対して送信することで、これを受信した通信相手は、マーク情報が合成された画像情報を表示することができる。
【００２４】
よって、上記各情報を受信した通信相手は、画像情報にマーク情報を合成して表示画面に表示できるため、送信者は、画像情報に含まれる表示画面中の対象物を的確に指し示して通信相手に伝えることができる。
【００２５】
また、このような説明や案内は、日常生活において不意に必要になるケースが多い。
【００２６】
このため、本発明のように、常時携帯可能な携帯電話等の情報通信端末に適用することで、説明や案内等が必要になった場合には、すぐに通信相手に対して画像情報を送信し、該通信相手は、受信した画像情報にマーク情報を付加して返信することで、送信者は、画像情報に合成されて表示されるマーク情報に基づいて、対象物を容易に認識することができる。
【００２７】
上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を入力するマーク補足情報作成手段を備えていることがより好ましい。
【００２８】
これにより、表示画面中に表示された画像の中で、案内や説明の対象となるものを指し示すマーク情報に加えて、その案内や説明の対象となるものに関するコメント等を付加して、通信相手に送信することができる。
【００２９】
また、上記マーク補足情報作成手段がマーク補足情報を作成すると、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御するようにしてもよい。
【００３０】
これにより、受信相手は、受信した画像情報にマーク情報とマーク補足情報とが合成された状態で表示画面を見ることができ、通信相手に対して必要な情報をより提供しやすくなる。
【００３１】
また、上記マーク情報作成手段がマーク情報を作成すると、上記マーク情報補足手段は、作成されたマーク情報に連動してマーク補足情報を表示するようにしてもよい。
【００３２】
この場合、マーク情報を作成すると、引き続いて、マーク補足情報の作成を促すためにマーク補足情報の入力領域が表示されることになるので、マーク情報で指定した対象物に関するコメントを容易に入力することができる。
【００３３】
また、本発明の携帯型情報通信端末は、上記の課題を解決するために、画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置から通信によって受信する受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末であって、上記制御手段は、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御する通信制御手段と、上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段とを備えていることを特徴としている。
【００３４】
上記の構成によれば、他の装置から、画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを受信し、これによって、マーク情報が合成された画像情報を表示することが可能となる。よって、送信者が指し示したい画像中の対象物を、受信側で的確に把握することができる。
【００３５】
また、上記通信制御手段が、上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を、上記マーク情報とともに他の装置から受信するように上記受信手段を制御するとともに、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御するようにしてもよい。
【００３６】
これにより、送信者が指し示したい画像中の対象物に関する補足情報を、受信側で的確に把握することができる。
【００３７】
上記画像情報に複数のマーク情報を合成して表示する場合には、上記表示制御手段は、上記複数のマーク情報を一つずつ画像情報に合成し、該マーク情報が合成された画像情報を複数作成して表示するように、上記表示手段を制御することがより好ましい。
【００３８】
これにより、画面に表示された画像中に、説明等が必要な対象物が複数ある場合でも、マーク情報が合成された画像情報を複数作成することで、１回の通信で、複数の対象物を示した画像情報を通信相手に対して送信することができる。
【００３９】
上記表示制御手段は、上記複数のマーク情報を所定の順番で、上記画像情報に合成して表示するように、上記表示手段を制御することがより好ましい。
【００４０】
これにより、通信相手に対して、操作手順等の時間的要素を含む情報を通信相手に送信する場合でも、複数のマーク情報を所定の順番で１つずつ画像情報に合成することで、容易に操作手順等を説明することができる。
【００４１】
上記表示制御手段は、複数のマーク情報を一つずつ画像情報に合成して表示するとともに、該マーク情報と関連づけされたマーク補足情報についてもマーク情報と同期して表示するように、上記表示手段を制御することがより好ましい。
【００４２】
これにより、画像情報の中に複数の対象物が含まれている場合や、順序立てて説明する必要があるような情報を一度の通信で通信相手に対して送信することができる。
【００４３】
よって、携帯電話等の限られた表示領域の範囲内において、画像情報と該画像情報に合成されたマーク情報およびマーク補足情報により、通信相手に対して送信者側の意図を明確に伝えることができる。
【００４４】
上記マーク補足情報は、文字情報からなることがより好ましい。
【００４５】
これにより、マーク情報で特定した対象物に関する説明や案内を文字情報として画像情報に付加して、通信相手に送信することができる。
【００４６】
よって、通信相手は、表示画面に表示された画像中の対象物を、マーク情報を用いて指し示すとともに、その対象物に関する説明や案内が付加された状態の画面表示を見ることができるため、容易に必要な情報を得ることができる。
【００４７】
上記マーク補足情報作成手段がマーク補足情報を作成すると、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御することがより好ましい。
【００４８】
これにより、ユーザは、画像情報に関する画像を表示した状態で、文字情報等を入力できるため、対象物の説明等の文章を入力しやすくなり、操作性を向上させることができる。
【００４９】
上記マーク補足情報は、該マーク補足情報を入力する表示部を取り囲む図形と、上記図形から引き出された引き出し線とを用いて表示され、上記表示制御手段は、上記引き出し線の先端が、上記マーク情報で指し示している対象物上に位置するように制御することがより好ましい。
【００５０】
これにより、マーク補足情報によっても説明、案内の対象物を特定することが可能になり、より通信相手にわかりやすく対象物に関する説明を行うことができる。
【００５１】
上記表示制御手段は、上記マーク情報と重ならない範囲で、かつ上記表示部が最大面積となる領域を選択してマーク補足情報の表示を行うように、上記表示手段を制御することがより好ましい。
【００５２】
これにより、携帯電話のような表示画面が小さい情報通信端末であっても、画像情報に付されたマーク情報およびマーク補足情報を見やすい状態で表示することができる。
【００５３】
よって、携帯電話等の限られた表示領域の制約を反映させて、マーク補足情報を表示することができる。
【００５４】
上記表示制御手段は、上記表示部に上記マーク補足情報として入力可能な最大文字数を表示するように、上記表示手段を制御することがより好ましい。
【００５５】
これにより、ユーザは、予め、マーク補足情報として入力可能な文字情報の最大文字数を把握できるため、文字数制限の範囲内でのコメント作成を行うことができる。
【００５６】
よって、携帯電話等の限られた表示領域の制約を反映させて、マーク補足情報を表示することができる。
【００５７】
上記表示制御手段は、ユーザからの入力に応じて、マーク補足情報の表示位置を切り替えるように、上記表示手段を制御することがより好ましい。
【００５８】
これにより、表示される画像との関係で、ユーザが自分の希望する位置にマーク補足情報を表示したい場合には、例えば、携帯型通信端末が備えている方向キー等を用いて操作することで、容易にマーク補足情報の表示位置を変更できる。
【００５９】
よって、携帯電話等の限られた表示領域の制約やユーザの意図を反映させて、マーク補足情報を表示することができる。
【００６０】
上記画像情報を他の装置から受信した場合には、上記通信制御手段は、上記画像情報の受信時に記憶していた送信元のアドレスを送信先として設定することがより好ましい。
【００６１】
これにより、画像情報を受信した通信相手は、その画像情報にマーク情報やマーク補足情報を付加して、すぐに送信者に対して返信することができるため、操作性を向上させることができる。
【００６２】
本発明の端末制御方法は、上記の課題を解決するために、画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置との間で通信する送受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末の端末制御方法であって、上記制御手段は、マーク情報作成手段と表示制御手段と通信制御手段とを備え、上記マーク情報作成手段が、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するステップと、上記表示制御手段が、上記マーク情報作成手段において作成されたマーク情報を上記画像情報に合成して表示するように上記表示手段を制御するステップと、上記通信制御手段が、上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御するステップとを備えていることを特徴としている。
【００６３】
上記の方法によれば、表示画面に表示される画像中に、通信相手に対して説明や案内を行うための対象物が含まれている場合において、その対象物を指し示すための点、線分、座標領域で表される図形等で示されるマーク情報を作成することで、該画像情報にマーク情報を合成して表示画面に表示できるとともに、該画像情報とマーク情報とを通信相手に送信することができる。
【００６４】
すなわち、本発明の端末制御方法では、マーク情報作成手段が、画像情報の中から説明、案内するための対象物を指し示すマーク情報を作成する。そして、表示制御手段が、画像情報に作成されたマーク情報を合成して表示手段に表示することで、容易に画像中の説明対象物を指し示すことができる。
【００６５】
さらに、通信制御手段が、作成したマーク情報を画像情報とともに、通信相手に対して送信することで、これを受信した通信相手は、マーク情報が合成された画像情報を表示することができる。
【００６６】
よって、上記各情報を受信した通信相手は、画像情報にマーク情報を合成して表示画面に表示できるため、送信者は、画像情報に含まれる表示画面中の対象物を的確に指し示して通信相手に伝えることができる。
【００６７】
また、本発明の端末制御方法は、上記の課題を解決するために、画像情報に基づいて画像を表示する表示手段と、該画像情報を他の装置から通信によって受信する受信手段と、上記各手段の動作を制御する制御手段とを備えた携帯型情報通信端末の端末制御方法であって、上記制御手段は、通信制御手段と、表示制御手段とを備え、上記通信制御手段が、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御するステップと、上記表示制御手段が、上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御するステップとを備えていることを特徴としている。
【００６８】
上記の方法によれば、他の装置から、画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを受信し、これによって、マーク情報が合成された画像情報を表示することが可能となる。よって、送信者が指し示したい画像中の対象物を、受信側で的確に把握することができる。
【００６９】
本発明の端末制御プログラムは、上記の課題を解決するために、上記携帯型情報通信端末を動作させる端末制御プログラムであって、上記制御手段が備える各手段をコンピュータに実現させることを特徴としている。
【００７０】
上記の構成によれば、上記端末制御プログラムによって、上記携帯型情報通信端末を実現することができる。
【００７１】
本発明の記録媒体は、上記の課題を解決するために、上記端末制御プログラムを記録したことを特徴としている。
【００７２】
上記の構成によれば、本発明の記録媒体から読み出された端末制御プログラムによって、上記携帯型情報通信端末を実現することができる。
【００７３】
【発明の実施の形態】
本発明の携帯型情報通信端末、端末制御プログラムおよびこれを記録した記録媒体に関する実施の一形態について図１〜図１３（ｄ）に基づいて説明すれば以下のとおりである。
【００７４】
本実施形態の携帯電話（携帯型情報通信端末）１０は、表面側には、図２（ａ）に示すように、操作キー２１、マイク２３、ＦＰＤ（フラットパネルディスプレイ）２４、スピーカ２５を備え、裏面側には、図２（ｂ）に示すように、カメラ２２を備えている。
【００７５】
なお、図２（ａ）および図２（ｂ）は、本実施形態の携帯電話１０の構成を示すものであるが、本発明は図２（ａ）に示す構成に限定されるものではない。
【００７６】
操作キー２１は、ユーザからのキー入力を受け付けるものであって、主に、起動中のプログラムが提供する各種機能の選択に用いる機能キー３１・３２や決定キー３３、主に方向に関する情報の入力に利用される方向キー３４、携帯電話１０自身を起動・終了させる電源キー３５、主に文字入力に利用される文字入力キー３６、として機能する。
【００７７】
カメラ２２は、ユーザの周りの様子を撮影する機能を備える。ユーザは、自分の置かれた状況を誰かに説明するための画像情報を、カメラ２３で写真として撮影し、相手に送信することができる。
【００７８】
マイク２３は、音声を入力する機能を備えており、ユーザは、音声通話中や音声入力中にマイクから音声を入力することができる。
【００７９】
ＦＰＤ２４には、携帯電話１０が受信した、あるいは予め記憶している画像情報、文字情報等に基づいて、様々な情報が表示される。
【００８０】
スピーカ２５は、音声を出力する機能を備えており、ユーザは、音声通話中や音声再生中にスピーカ２５から音声を聞くことができる。
【００８１】
また、本実施形態の携帯電話１０は、図１に示すように、内部に、通信部１１、入力部１２、表示部１３、再生部１４、メモリ１５および制御部１６を備えている。
【００８２】
通信部１１は、送信部１７および受信部１８を含む無線通信機能を備えており、例えば、遠隔地にある別の情報通信端末との間でデータのやり取りを実現する。
【００８３】
なお、本実施形態では、情報通信端末で利用されている無線通信機能として、ＰＤＣ、ＣＤＭＡ等の方式に準拠した機能を備えていることを前提としているが、他にもＢｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１ｂ、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等に準拠した通信機能を使用してもよい。
【００８４】
入力部１２は、マイク、操作キー、カメラを備え、ユーザによる様々な入力を受け付ける。
【００８５】
表示部１３は、ＦＰＤ（フラットパネルディスプレイ）２４を備えている。
【００８６】
再生部１４は、スピーカ２５を備えており、ユーザに対して画像や音声で情報を提供する。
【００８７】
メモリ１５は、データやプログラムを記憶する。
【００８８】
上記データとしては、プログラム間でやり取りされるデータ、入力部１２から入力されたデータ、表示部１３、再生部１４に提示するデータ、受信部１８において外部から受信したデータ等がある。
【００８９】
また、上記プログラムとしては、「メッセージ制御」プログラム、「マーク制御」プログラム、「表示」プログラム等がある。
【００９０】
「メッセージ制御」プログラムは、ＣＰＵに読み込まれて、電子メールやインスタントメッセージの仕組みを利用して、メッセージの作成と送信を行うメッセージ送信機能と、メッセージの受信、保存、表示を行う。
【００９１】
「マーク制御」プログラムは、ＣＰＵに読み込まれて、マーク情報の作成、マーク補足情報の作成等を行う。
【００９２】
「表示」プログラムは、ＣＰＵに読み込まれて、画像データに、マーク情報、マーク補足情報を合成して、表示部１３に表示させる。
【００９３】
本実施形態の携帯電話１０では、制御部１６において、図示しないＣＰＵが、メモリ１５に格納された各種のアプリケーションプログラムを実行し、通信部１１、入力部１２、表示部１３、再生部１４等のハードウェアを制御することにより、各種の機能を実現する機能ブロックとして、マーク情報作成部（マーク情報作成手段）１、マーク補足情報作成部（マーク補足情報作成手段）２、表示制御部（表示制御手段）３および通信制御部（通信制御手段）４を機能ブロックとして形成している。また、通信部１１（送信部１７および受信部１８を含む）、入力部１２、表示部１３および再生部１４を含めた携帯電話１０のシステム全体の制御を行う。
【００９４】
マーク情報作成部１は、ユーザによって指定されたマーク情報を作成する。
【００９５】
マーク補足情報作成部２は、マーク情報を補足するための、ユーザによって入力された文字情報とともに表示される吹き出し等を作成する。
【００９６】
表示制御部３は、マーク情報作成部１およびマーク補足情報作成部２において作成したマーク情報およびマーク補足情報を画像情報に合成して、表示されるように表示部１３を制御する。
【００９７】
なお、上記各情報は、他の携帯電話１０から受信した画像情報、マーク情報およびマーク補足情報であってもよい。
【００９８】
通信制御部４は、画像情報とともにマーク情報およびマーク補足情報を、通信相手との間で送受信するように、送信部１７および受信部１８を制御する。
【００９９】
ここで、本実施形態の携帯電話１０によって取り扱われる画像情報、マーク情報、マーク補足情報の役割、ＦＰＤ１３への表示形態について、図３（ａ）・図３（ｂ）を用いて説明すれば、以下のとおりである。
【０１００】
携帯電話１０のＦＰＤ２４には、図３（ａ）に示すように、画像情報３１として、缶飲料の自動販売機が表示されている。
【０１０１】
マーク情報は、画像情報４１としてＦＰＤ２４上に表示された説明、案内の対象物である特定の缶ジュースをユーザが識別できるようにするために、「マーク制御」プログラムによって、画像情報に合成された状態でマーク図形４２として表示される。
【０１０２】
マーク補足情報は、マーク情報によって示された説明、案内の対象物に関する補足情報を文字情報として表示するために、「表示」プログラムによって、吹き出し４４として画像情報に合成されてＦＰＤ２４に表示される。
【０１０３】
次に、吹き出し４４の表示構成について説明する。
【０１０４】
吹き出し４４は、マーク補足情報表示領域４５を囲むように表示され、さらに、吹き出しの引き出し線４６は、マーク情報として表示されたマーク図形４２を指している。
【０１０５】
これにより、通信相手に対して、送信者側の指し示す対象物をより明確に伝えることができる。
【０１０６】
また、マーク情報、マーク補足情報は、図４に示すように、リスト管理されており、マーク補足情報は、特定のマーク情報に関連づけられた状態で記憶されている。
【０１０７】
マーク情報は、図５（ａ）〜図５（ｄ）に示すような表示形態で、ＦＰＤ２４において表示される。
【０１０８】
例えば、マーク情報が画像情報上の１点である場合には、図５（ａ）および図５（ｂ）に示すように、マーク情報は、「○」や「＋」の形状で示されるマーク図形４２ａ・４２ｂとして表示される。
【０１０９】
また、１個の対象物を識別する場合に用いるマーク情報が３点以上の座標列からなる場合には、図５（ｃ）に示すように、マーク情報は、閉図形として表示される。これは、特に対象物の輪郭線に沿って識別する場合に用いられる。
【０１１０】
さらに、２個の対象物を識別するために用いるマーク情報が画像上の２点を示す場合には、図５（ｄ）に示すように、マーク情報は矢印で表示される。
【０１１１】
なお、図５（ａ）〜図５（ｄ）で示したマーク図形やマーク情報作成のための吹き出しの表示形態は、一例であって、本発明はこれらに限定されるものではなく、種々の形態のものを使用することができる。
【０１１２】
次に、本実施形態の携帯電話１０による、通信部１１を経由して受信した画像添付メールに対して、ユーザがマーク情報およびマーク補足情報を作成して送信元に返信するまでの一連の処理について、図６（ａ）、図６（ｂ）に示すフローチャートを用いて説明すれば、以下のとおりである。
【０１１３】
ステップ（以下、「Ｓ」と示す）１〜Ｓ５は、電子メールやインスタントメッセージの仕組みを利用してメッセージの作成と送信を行うメッセージの送信機能およびメッセージの受信・保存・表示を行うメッセージの受信機能とにより通信制御手段を実現する「メッセージ制御」プログラムに基づく処理を示している。
【０１１４】
Ｓ１では、受信部１８を経由して、画像添付メッセージを受信する。
【０１１５】
Ｓ２では、Ｓ２に対応する表示画面に示すように、メッセージ本文および画像を表示する。
【０１１６】
Ｓ３では、ユーザ操作によりメニュー画面を表示して、ユーザは、案内が必要か否かについて判断し、ここで必要と判断した場合には、メニューから「ナビ入力」を選択する。
【０１１７】
「メッセージ制御」プログラムは、「マーク制御」プログラムを読み出すとともに、読み出す際に、差出人のアドレスを含む、表示中の画像情報・表示メッセージのヘッダ情報を引き渡す。
【０１１８】
Ｓ４では、「マーク制御」プログラムを読み出して、メモリ１５から画像情報・マーク情報・マーク補足情報・ヘッダ情報を受け取り、送信メッセージを作成する。メッセージの宛先には、受け取ったヘッダ情報に含まれる差出人アドレスの情報を指定する。
【０１１９】
Ｓ５では、Ｓ４で作成したメッセージを送信する。
【０１２０】
これにより、通信相手に対して、画像情報とともに、該画像情報について説明を求めるためのマーク情報およびマーク補足情報を併せて送信することができる。
【０１２１】
次に、Ｓ６〜Ｓ１１は、マーク情報作成手段、マーク補足情報作成手段の双方を連携して実現する「マーク制御」プログラムに基づく処理を示している。
【０１２２】
Ｓ６では、ユーザが入力するマークの種類を選択する。
【０１２３】
例えば、ユーザが「○印＋文字入力」を選択した場合には、点で示されるマーク情報およびマーク補足情報が入力される。この場合のマーク情報は、図５（ａ）のマーク図形４２ａのような表示形態となる。
【０１２４】
次に、ユーザが「輪郭線入力」を選択した場合には、マーク情報が座標領域であるマーク情報およびマーク補足情報の入力を行う。この場合のマーク情報は、図５（ｃ）に示すマーク図形４２ｃのような表示形態となる。
【０１２５】
さらに、ユーザが「矢印＋文字入力」を選択した場合には、マーク情報が線分であるようなマーク情報およびマーク補足情報の入力を行う。この場合のマーク情報は、図５（ｄ）に示すマーク図形４２ｄのような表示形態となる。
【０１２６】
Ｓ７では、マーク情報およびマーク補足情報の入力を行う。なお、本ステップにおける処理については、後段にて詳述する。
【０１２７】
Ｓ８では、入力されたマーク情報とマーク補足情報とをリストアップして、ＦＰＤ２４に一覧表示する。
【０１２８】
Ｓ９では、さらに、ユーザがマーク情報をリストに追加することを希望した場合には、上下の方向キー３４でリストの空欄が選択された後、決定キー３３が押される。この時、ユーザによって、空欄を選択した状態で決定キー３３が押された場合には、Ｓ６に戻る。
【０１２９】
Ｓ１０では、マーク情報の作成が終了したら、ユーザはメニュー画面から「返信」を選択する。
【０１３０】
Ｓ１１では、「メッセージ制御」プログラムを読み出し、画像情報、新規に作成したマーク情報・マーク補足情報、ヘッダ情報を引き渡す。
【０１３１】
なお、画像情報およびヘッダ情報は、「マーク制御」プログラム起動時に「メッセージ制御」プログラムから引き渡されたものと同じであり、ヘッダ情報は、画像情報受信時の受信メッセージ差出人アドレスの情報を含んでいる。
【０１３２】
これにより、送信されたメッセージに対する返信を、送信元となる通信相手に対して容易に送信することができる。
【０１３３】
ここで、上述した図６（ｂ）のＳ７における処理について、図７に示すフローチャートのＳ２１〜Ｓ２９として説明すれば以下のとおりである。なお、Ｓ２１〜Ｓ２９の処理は、表示制御手段を実現する「表示」プログラムによって処理されてもよい。
【０１３４】
Ｓ２１では、表示画像の中心に、マーク図形４２として「○」を表示する。
【０１３５】
Ｓ２２では、方向キー３４が押されたか否かを判断する。ここで、方向キー３４が押されたと判断した場合には、Ｓ２３にジャンプし、そうでなければＳ２４にジャンプする。
【０１３６】
Ｓ２３では、方向キー３４の押された方向に、「○」の表示を移動する。
【０１３７】
Ｓ２４では、決定キー３３が押されたか否かを判断する。ここで、押されたと判断した場合には、Ｓ２５にジャンプし、そうでなければＳ２２にジャンプする。
【０１３８】
Ｓ２５では、「○」の中心位置座標を、マーク情報として図４に示すような形式で登録する。
【０１３９】
Ｓ２６では、「○」の位置から算出された位置・大きさで吹き出しを表示する。なお、本ステップについては、後段にて詳述する。
【０１４０】
Ｓ２７では、ユーザが文字入力キー３６を用いて、文字情報が入力されると、入力された文字情報が吹き出し４４に表示される。
【０１４１】
このように、マーク補足情報として、吹き出しを用いることで、画像情報とともに、文字情報を通信相手に送信することができる。
【０１４２】
Ｓ２８では、決定キーが押されたか否かを判断する。押されたと判断したらＳ２９へ進み、そうでなければＳ２７にジャンプする。
【０１４３】
Ｓ２９では、表示されている文字情報を、マーク補足情報として図４に示すような形式で登録する。
【０１４４】
このように、マーク補足情報として、文字情報等を画像情報に付加して通信相手に対して送信することで、通信相手は送信者側の意図を容易に理解することができる。
【０１４５】
ここでさらに、図７のＳ２６における処理の詳細について、図８（ａ）〜図８（ｃ）を用いて説明すれば以下のとおりである。
【０１４６】
Ｓ２６では、図８（ａ）に示すように、マーク図形の表示領域におけるｘｙ軸方向の最大最小値（ｘ０，ｘ１，ｙ０，ｙ１）を算出する。
【０１４７】
続いて、図８（ｂ）に示すように、図８（ａ）で算出した（ｘ０，ｘ１，ｙ０，ｙ１）と画像情報の表示サイズ（ｘＧ，ｙＧ）とを基に、マーク図形の表示領域と重ならずに表示可能な補足情報の最大表示領域の候補を４通り候補Ａ〜Ｄとして挙げる。
【０１４８】
ここで、候補Ａ〜Ｄの面積Ｓａ〜Ｓｄを比較し、面積最大の候補を補足情報表示領域と定める。
【０１４９】
なお、Ｓａ〜Ｓｄの値は、下記の計算式により計算される。
【０１５０】
Ｓａ＝（ｘＧ−ｘ１）×ｙＧ
Ｓｂ＝ｘＧ×（ｙＧーｙ１）
Ｓｃ＝ｘ０×ｙＧ
Ｓｄ＝ｘＧ×ｙ０
そして、図８（ｂ）で定めた補足情報表示領域を囲み、引き出し線がマーク図形を指すように、ＦＰＤ２４に吹き出しが表示される。
【０１５１】
このように、マーク補足情報を表示するための最大面積を確保できる位置にマーク補足情報を優先的に表示することで、携帯電話等の表示画面の大きさに制約がある情報通信端末であっても、ユーザに見やすい表示を行うことができる。
【０１５２】
続いて、「メッセージ制御」プログラムの動作ステップについて、図９（ａ）を用いて説明すれば以下のとおりである。
【０１５３】
携帯電話１０は、「メッセージ制御」プログラムを読み出して、マーク情報・マーク補足情報付き画像情報を受信し、該画像情報に基づいて表示を行う。
【０１５４】
Ｓ３１では、図６（ａ）に示すＳ５において、送信元から送信されたマーク情報およびマーク補足情報が付加された画像情報が添付されたメッセージを受信する。
【０１５５】
Ｓ３２では、「表示」プログラムを実行して、メモリ１５から添付データを読み出して、ＦＰＤ２４に表示する。
【０１５６】
続いて、図９（ｂ）に示すＳ４１〜Ｓ４６は、画像データ・マーク情報・マーク補足情報をＦＰＤ２４に表示する「表示」プログラムにより、複数のマーク情報およびマーク補足情報を所定の順番で表示する処理について説明している。
【０１５７】
Ｓ４１では、画像情報を表示する。
【０１５８】
Ｓ４２では、表示されている画像情報と関連づけされたマーク情報を管理するマーク管理情報を読み出す。
【０１５９】
Ｓ４３では、マーク管理情報に、まだ表示していないマーク情報があるか否かを判断する。
【０１６０】
Ｓ４４では、マーク管理情報によって参照された次に表示するマーク情報を表示する。
【０１６１】
Ｓ４５では、マーク補足情報があるか否かを判断する。
【０１６２】
Ｓ４６では、マーク補足情報があれば、表示する。なお、マーク補足情報の表示方法については、後段にて詳述する。
【０１６３】
なお、マーク管理情報は、マーク情報を表示する順番を記録したデータであり、制御部１６は、マーク管理情報に記録された順序にしたがって、マーク情報を参照し、マーク補足情報とともに、画像情報に合成する。
【０１６４】
マーク情報およびマーク補足情報の表示順序に関しては、図１１に示すように、関連付けされたマーク情報とマーク補足情報とに対して、マーク管理情報を別途作成して管理、保存してもよいし、図４に示すように、マーク情報管理リストの並び順に表示してもよい。
【０１６５】
例えば、図１０（ａ）に示すように、缶飲料の自動販売機が写っている画像の上にマーク情報およびマーク補足情報を順番に１つづつ表示する。
【０１６６】
これにより、どの缶飲料を何本買ってきて欲しいかを通信相手に対して容易に説明することができる。
【０１６７】
さらに、図１０（ｂ）に示すように、電子オーブンレンジの操作パネルが写っている画像の上にマーク情報およびマーク補足情報を１つづつ順番に表示する。
【０１６８】
これにより、通信相手に対して、操作パネルをどのような順番で操作していけばよいかを容易に説明することができる。
【０１６９】
ここで、上述した図１０（ａ）および図１０（ｂ）のフローチャートのＳ４６における処理について、図１２を用いて、詳しく説明すれば以下のとおりである。
【０１７０】
なお、Ｓ４６における処理は、上述した図８（ａ）〜図８（ｃ）を用いて説明した図７に示すフローチャートのＳ２６における処理の内容と基本的に同様である。
【０１７１】
Ｓ４６においては、図１２（ａ）に示すように、マーク図形の表示領域におけるｘｙ軸方向の最大最小値（ｘ０、ｘ１、ｙ０、ｙ１）を算出する。
【０１７２】
続いて、図１２（ｂ）に示すように、図１２（ａ）において算出した値と、画像情報の表示サイズ（ｘＧ、ｙＧ）とから、マーク図形の表示領域と重ならずにマーク補足情報を表示可能な領域を４つ設定し、候補Ａ〜Ｄとする。
【０１７３】
ここで、候補Ａ〜Ｄの面積Ｓａ〜Ｓｄを比較し、面積最大の候補を選択する。
【０１７４】
なお、Ｓａ〜Ｓｄの値は、下記の計算式により計算される。
【０１７５】
Ｓａ＝（ｘＧ−ｘ１）×ｙＧ
Ｓｂ＝ｘＧ×（ｙＧーｙ１）
Ｓｃ＝ｘ０×ｙＧ
Ｓｄ＝ｘＧ×ｙ０
次に、図１２（ｃ）に示すように、図１２（ｂ）において選択した領域内にマーク補足情報を表示する。
【０１７６】
さらに、図１２（ｄ）に示すように、マーク補足情報表示領域を囲み、引き出し線が、説明の対象物（マーク図形）を指すように、吹き出しを表示する。
【０１７７】
ここで、「マーク制御」プログラムや「表示」プログラムにおいて、吹き出しの表示位置がユーザの方向キー３４の操作により、ユーザが希望するマークと重ならない位置に移動させる処理について、図１３（ａ）〜図１３（ｄ）を用いて説明すれば、以下のとおりである。
【０１７８】
ここでは、特に、方向キー３４と吹き出し５１〜５４の表示位置との対応関係について示している。
【０１７９】
図１３（ａ）〜図１３（ｄ）に示すように、方向キー３４の各方向を押下して吹き出しの表示位置を移動させることで、マーク情報としてのマーク図形を隠すことなく、必要な文字情報を表示できる。
【０１８０】
よって、携帯電話１０のユーザは、常に見やすい表示状態で表示画面を確認することができる。
【０１８１】
本発明によれば、以上のように、携帯電話のように、携帯性に優れた情報通信端末を利用して、一方のユーザが置かれた状況に対して、もう一方のユーザが的確な案内や説明を行うことができる。
【０１８２】
また、携帯電話等の表示画面が小さい情報通信端末であっても、上述したように、マーク補足情報の表示形態を工夫することで、ユーザにとって見やすい表示を行うことができる。
【０１８３】
よって、遠隔地に存在するユーザ間において、携帯電話等を用いて、時間や場所を問わずにスマートなコミュニケーションを図ることが可能になる。
【０１８４】
また、本発明の目的は、上述した機能を実現するソフトウェアである端末制御プログラムとしても達成可能である。
【０１８５】
また、本発明の目的は、上述した機能を実現するソフトウェアであるプログラムのプログラムコードをコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ，ＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成する。
【０１８６】
なお、上記記録媒体は、磁気テープやカセットテープ、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスクや、ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスク、ＩＣカード（メモリカードを含む）、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ等を用いることができる。
【０１８７】
また、本発明は、画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点、線分もしくは座標領域からなるマーク情報を作成するマーク手段と、画像情報およびマーク情報を送信先に送信する送信手段とを備えていることを特徴とする情報通信端末と表現することもできる。
【０１８８】
また、本発明は、画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点、線分もしくは座標領域からなるマーク情報を作成するマーク手段と、マーク情報と関連付けられたマーク補足情報を入力するマーク補足情報作成手段と、画像情報、マーク情報、マーク補足情報を送信先に送信する送信手段とを備えていることを特徴とする情報通信端末と表現することもできる。
【０１８９】
本発明は、画像情報および画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点・線分もしくは座標領域からなるマーク情報を表示する表示手段を備える情報通信端末であって、表示手段は、複数のマーク情報を一つずつ画像情報に重ねて表示することを特徴とする情報通信端末であってもよい。
【０１９０】
本発明は、画像情報および画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点・線分・もしくは座標領域からなるマーク情報を表示する表示手段を備える情報通信端末であって、表示手段は、複数のマーク情報を一つずつ所定の順番に、画像情報に合成して表示することを特徴とする情報通信端末であってもよい。
【０１９１】
本発明は、画像情報および画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点・線分・もしくは座標領域からなるマーク情報、およびマーク情報と関連付けられたマーク補足情報を表示する表示手段を備える情報通信端末であって、表示手段は、複数のマーク情報を一つずつ画像情報に合成して表示し、さらに表示されるマーク情報と関連づけられたマーク補足情報もマーク情報と同期して一つずつ画像情報に合成して表示することを特徴とする情報通信端末であってもよい。
【０１９２】
本発明は、画像情報および画像情報に写っている１つまたは複数のいずれかの対象物を識別するための、点・線分もしくは座標領域からなるマーク情報、およびマーク情報と関連付けられたマーク補足情報を表示する表示手段を備える情報通信端末であって、表示手段は、複数のマーク情報を一つずつ画像情報に合成して表示し、さらに表示されるマーク情報と関連づけられたマーク補足情報もマーク情報と同期して一つずつ所定の順番に、画像情報に合成して表示することを特徴とする情報通信端末であってもよい。
【０１９３】
【発明の効果】
本発明の携帯型情報通信端末は、以上のように、制御手段は、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するマーク情報作成手段と、上記マーク情報作成手段により作成されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段と、上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御する通信制御手段とを備えている構成である。
【０１９４】
それゆえ、表示画面に表示される画像中に、通信相手に対して説明や案内を行うための対象物が含まれている場合において、その対象物を指し示すための点、線分、座標領域等で表される図形等で示されるマーク情報を作成することで、該画像情報にマーク情報を合成して表示画面に表示できるとともに、該画像情報とマーク情報とを通信相手に送信することができる。
【０１９５】
よって、上記各情報を受信した通信相手は、画像情報にマーク情報を合成して表示画面に表示できるため、送信者は、画像情報に含まれる表示画面中の対象物を的確に指し示して通信相手に伝えることができるという効果を奏する。
【０１９６】
上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を入力するマーク補足情報作成手段を備えていることがより好ましい。
【０１９７】
それゆえ、表示画面中に表示された画像の中で、案内や説明の対象となるものを指し示すマーク情報に加えて、その案内や説明の対象となるものに関するコメント等を付加して、通信相手に送信することができる。
【０１９８】
また、上記マーク補足情報作成手段がマーク補足情報を作成すると、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御するようにしてもよい。
【０１９９】
これにより、受信相手は、受信した画像情報にマーク情報とマーク補足情報とが合成された状態で表示画面を見ることができ、通信相手に対して必要な情報をより提供しやすくなるという効果を奏する。
【０２００】
また、上記マーク情報作成手段がマーク情報を作成すると、上記マーク情報補足手段は、作成されたマーク情報に連動してマーク補足情報を表示するようにしてもよい。
【０２０１】
これにより、マーク情報で指定した対象物に関するコメントを容易に入力することができるという効果を奏する。
【０２０２】
また、本発明の携帯型情報通信端末は、以上のように、制御手段は、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御する通信制御手段と、上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御する表示制御手段とを備えている構成である。
【０２０３】
これにより、送信者が指し示したい画像中の対象物を、受信側で的確に把握することができるという効果を奏する。
【０２０４】
また、上記通信制御手段が、上記マーク情報と関連付けされており、該マーク情報によって指し示された対象物に関するマーク補足情報を、上記マーク情報とともに他の装置から受信するように上記受信手段を制御するとともに、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御するようにしてもよい。
【０２０５】
これにより、送信者が指し示したい画像中の対象物に関する補足情報を、受信側で的確に把握することができるという効果を奏する。
上記画像情報に複数のマーク情報を合成して表示する場合には、上記表示制御手段は、上記複数のマーク情報を一つずつ画像情報に合成し、該マーク情報が合成された画像情報を複数作成して表示するように、上記表示手段を制御することがより好ましい。
【０２０６】
それゆえ、画面に表示された画像中に、説明等が必要な対象物が複数ある場合でも、マーク情報が合成された画像情報を複数作成することで、１回の通信で、複数の対象物を示した画像情報を通信相手に対して送信することができるという効果を奏する。
【０２０７】
上記表示制御手段は、上記複数のマーク情報を所定の順番で、上記画像情報に合成して表示するように、上記表示手段を制御することがより好ましい。
【０２０８】
それゆえ、通信相手に対して、操作手順等の時間的要素を含む情報を通信相手に送信する場合でも、複数のマーク情報を所定の順番で１つずつ画像情報に合成することで、容易に操作手順等を説明することができるという効果を奏する。
【０２０９】
上記表示制御手段は、複数のマーク情報を一つずつ画像情報に合成して表示するとともに、該マーク情報と関連づけされたマーク補足情報についてもマーク情報と同期して表示するように、上記表示手段を制御することがより好ましい。
【０２１０】
それゆえ、画像情報の中に複数の対象物が含まれている場合や、順序立てて説明する必要があるような情報を一度の通信で通信相手に対して送信することができるという効果を奏する。
【０２１１】
上記マーク補足情報は、文字情報からなることがより好ましい。
【０２１２】
それゆえ、マーク情報で特定した対象物に関する説明や案内を文字情報として画像情報に付加して、通信相手に送信することができる。よって、通信相手は、表示画面に表示された画像中の対象物を、マーク情報を用いて指し示すとともに、その対象物に関する説明や案内が付加された状態の画面表示を見ることができるため、容易に必要な情報を得ることができるという効果を奏する。
【０２１３】
上記マーク補足情報作成手段がマーク補足情報を作成すると、上記表示制御手段は、上記画像情報にマーク補足情報を合成して表示するように、上記表示手段を制御することがより好ましい。
【０２１４】
それゆえ、ユーザは、画像情報に関する画像を表示した状態で、文字情報等を入力できるため、対象物の説明等の文章を入力しやすくなり、操作性を向上させることができるという効果を奏する。
【０２１５】
上記マーク補足情報は、該マーク補足情報を入力する表示部を取り囲む図形と、上記図形から引き出された引き出し線とを用いて表示され、上記表示制御手段は、上記引き出し線の先端が、上記マーク情報で指し示している対象物上に位置するように制御することがより好ましい。
【０２１６】
それゆえ、マーク補足情報によっても説明、案内の対象物を特定することが可能になり、より通信相手にわかりやすく対象物に関する説明を行うことができるという効果を奏する。
【０２１７】
上記表示制御手段は、上記マーク情報と重ならない範囲で、かつ上記表示部が最大面積となる領域を選択してマーク補足情報の表示を行うように、上記表示手段を制御することがより好ましい。
【０２１８】
それゆえ、携帯電話のような表示画面が小さい情報通信端末であっても、画像情報に付されたマーク情報およびマーク補足情報を見やすい状態で表示することができるという効果を奏する。
【０２１９】
上記表示制御手段は、上記表示部に上記マーク補足情報として入力可能な最大文字数を表示するように、上記表示手段を制御することがより好ましい。
【０２２０】
それゆえ、ユーザは、予め、マーク補足情報として入力可能な文字情報の最大文字数を把握できるため、文字数制限の範囲内でのコメント作成を行うことができる。よって、携帯電話等の限られた表示領域の制約を反映させて、マーク補足情報を表示することができるという効果を奏する。
【０２２１】
上記表示制御手段は、ユーザからの入力に応じて、マーク補足情報の表示位置を切り替えるように、上記表示手段を制御することがより好ましい。
それゆえ、表示される画像との関係で、ユーザが自分の希望する位置にマーク補足情報を表示したい場合には、例えば、携帯型通信端末が備えている方向キー等を用いて操作することで、容易にマーク補足情報の表示位置を変更できる。よって、携帯電話等の限られた表示領域の制約やユーザの意図を反映させて、マーク補足情報を表示することができるという効果を奏する。
【０２２２】
上記画像情報を他の装置から受信した場合には、上記通信制御手段は、上記画像情報の受信時に記憶していた送信元のアドレスを送信先として設定することがより好ましい。
【０２２３】
それゆえ、画像情報を受信した通信相手は、その画像情報にマーク情報やマーク補足情報を付加して、すぐに送信者に対して返信することができるため、操作性を向上させることができるという効果を奏する。
【０２２４】
本発明の端末制御方法は、以上のように、制御手段は、マーク情報作成手段と表示制御手段と通信制御手段とを備え、上記マーク情報作成手段が、上記表示画面に表示された画像に含まれる対象物を指し示すマーク情報を作成するステップと、上記表示制御手段が、上記マーク情報作成手段において作成されたマーク情報を上記画像情報に合成して表示するように上記表示手段を制御するステップと、上記通信制御手段が、上記画像情報とマーク情報とを他の装置との間で送受信するように上記送受信手段を制御するステップとを備えている方法である。
【０２２５】
それゆえ、表示画面に表示される画像中に、通信相手に対して説明や案内を行うための対象物が含まれている場合において、その対象物を指し示すための点、線分、座標領域で表される図形等で示されるマーク情報を作成することで、該画像情報にマーク情報を合成して表示画面に表示できるとともに、該画像情報とマーク情報とを通信相手に送信することができるという効果を奏する。
【０２２６】
また、本発明の端末制御方法は、以上のように、制御手段は、通信制御手段と、表示制御手段とを備え、上記通信制御手段が、上記画像情報と、該画像情報の画像に含まれる対象物を指し示すマーク情報とを他の装置から受信するように上記受信手段を制御するステップと、上記表示制御手段が、上記受信手段によって受信されたマーク情報を、上記画像情報に合成して表示するように上記表示手段を制御するステップとを備えている方法である。
【０２２７】
これにより、送信者が指し示したい画像中の対象物を、受信側で的確に把握することができるという効果を奏する。
【０２２８】
本発明の端末制御プログラムは、以上のように、上記携帯型情報通信端末を動作させる端末制御プログラムであって、上記各手段をコンピュータに実現させる構成である。
【０２２９】
それゆえ、上記プログラムによって、上記携帯型情報通信端末を実現することができるという効果を奏する。
【０２３０】
本発明の記録媒体は、以上のように、上記端末制御プログラムを記録した構成である。
【０２３１】
それゆえ、本発明の記録媒体から読み出された端末制御プログラムによって、上記携帯型情報通信端末を実現することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の情報通信端末の内部構成を示すブロック図である。
【図２】（ａ）は、本発明の情報通信端末の外観を示す正面図であり、（ｂ）は、その裏面図である。
【図３】（ａ）は、画像情報およびマーク情報、（ｂ）は、マーク補足情報の表示例を示す図である。
【図４】リストとして管理されているマーク情報、マーク補足情報のデータ構造を示す概念図である。
【図５】（ａ）〜（ｄ）は、マーク情報のデータ形式と実際の表示画面に表示される表示形態との対応を示す図である。
【図６】（ａ）・（ｂ）は、受信した画像に対してマーク情報・マーク補足情報を作成し、相手に返信するまでの一連の流れと、これに対応する表示画面とを示すフローチャートである。
【図７】マーク情報およびマーク補足情報の入力動作と、これに対応する表示画面とを示すフローチャートである。
【図８】（ａ）〜（ｃ）は、マーク補足情報を入力する場合において、マークに重ならないように吹き出し（マーク補足情報表示領域）の表示位置を決定するまでの処理を示す図である。
【図９】（ａ）・（ｂ）は、画像を送信した相手から返信されてきたマーク情報・マーク補足情報付きメッセージを受信して内容を表示するまでの一連の流れを示すフローチャートである。
【図１０】（ａ）・（ｂ）は、マーク情報およびマーク補足情報の表示例を示す図である。
【図１１】マーク管理情報のデータ構造を説明した概念図である。
【図１２】マーク補足情報を表示する場合においてマークに重ならないように吹き出し（マーク補足情報表示領域）を表示させる処理について説明したフローチャートである。
【図１３】（ａ）〜（ｄ）は、ユーザ操作により吹き出しの表示位置を変更する機能を示す図である。
【符号の説明】
１      マーク情報作成部（マーク情報作成手段）
２      マーク補足情報作成部（マーク補足情報作成手段）
３      表示制御部（表示制御手段）
４      通信制御部（通信制御手段）
１０      携帯電話（携帯型情報通信端末）
１１      通信部（送受信手段）
１２      入力部
１３      表示部（表示手段）
１４      再生部
１５      メモリ
１６      制御部（制御手段）
１７      送信部
１８      受信部
２１      操作キー
２２      カメラ
２３      マイク
２４      ＦＰＤ
２５      スピーカ
３１・３２      機能キー
３３      決定キー
３４      方向キー
３５      電源キー
３６      文字入力キー
４１      画像情報
４２      マーク図形（マーク情報）
４２ａ〜４２ｄ    マーク図形（マーク情報）
４４      吹き出し（マーク補足情報）
４５      マーク補足情報表示領域
４６      引き出し線
【図１】
2005011118.tif 000003
【図２】
2005011118.tif 000004
【図３】
2005011118.tif 000005
【図４】
2005011118.tif 000006
【図５】
2005011118.tif 000007
【図６】
2005011118.tif 000008
【図７】
2005011118.tif 000009
【図８】
2005011118.tif 000010
【図９】
2005011118.tif 000011
【図１０】
2005011118.tif 000012
【図１１】
2005011118.tif 000013
【図１２】
2005011118.tif 000014
【図１３】
2005011118.tif 000015