(57)【要約】【課題】テレビ電話機能を利用して任意のタイミングで任意の操作支援情報を送信し、操作画面の映像を共有しながら効率的に操作支援情報を提供する。【解決手段】テレビ電話機能を有する携帯端末装置であって、他の端末装置と送受信が行われた映像を含む映像を表示する表示手段と、所定の映像を他の端末装置に送信する送信手段と（Ｓ２）、表示手段に操作画面を表示させ、操作画面を介して携帯端末装置の所定の機能設定操作を実行する機能設定操作手段と、表示手段に表示される映像を、他の端末装置より受信した映像と操作画面とで切り替える指示を受け付ける切替指示受付手段と（Ｓ３）、操作画面を表示手段に表示させる表示制御手段と（Ｓ４）、操作画面に基づき操作画像情報を生成する生成手段と、送信手段に他の端末装置に対して操作画像情報を送信させる送信制御手段と（Ｓ５）を備えた。【選択図】  図６
2010021778.tif 000002
【特許請求の範囲】
【請求項１】
他の端末装置と少なくとも映像の送受信を行うテレビ電話機能を有する携帯端末装置であって、
少なくとも前記他の端末装置と送信または受信が行われた映像を含む映像を表示する表示手段と、
所定の映像を前記他の端末装置に送信する送信手段と、
前記表示手段に操作画面を表示させ、前記操作画面を介して前記携帯端末装置の所定の機能設定操作を実行する機能設定操作手段と、
前記表示手段に表示される映像を、前記他の端末装置より受信した映像と前記操作画面とで切り替える指示を受け付ける切替指示受付手段と、
前記切替指示受付手段により、前記操作画面に切り替える指示を受け付けた場合、前記操作画面を前記表示手段に表示させる表示制御手段と、
前記操作画面に基づき操作画像情報を生成する生成手段と、
前記送信手段に、前記生成手段により生成された操作画像情報を前記他の端末装置に対して送信させる送信制御手段とを備えたことを特徴とする携帯端末装置。
【請求項２】
前記所定の機能設定操作を実行するための指示を入力する入力手段をさらに備え、
前記生成手段は、前記入力手段により入力された指示に基づき、入力履歴情報をさらに生成し、
前記送信制御手段は、前記送信手段により、前記生成手段により生成された入力履歴情報を、前記他の端末装置に送信させることを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記生成手段は、前記操作画像情報を、この操作画像情報に対応する前記入力履歴情報と合成して生成することを特徴とする請求項２記載の携帯端末装置。
【請求項４】
前記生成手段は、所定時間毎に前記操作画像情報を生成することを特徴とする請求項１記載の携帯端末装置。
【請求項５】
前記生成手段は、前記操作受付画面に変化が生じた場合に前記操作画像情報を生成することを特徴とする請求項１記載の携帯端末装置。
【請求項６】
前記生成手段は、前記入力手段により前記所定の機能設定操作を実行するための指示が入力された場合に前記操作画像情報を生成することを特徴とする請求項２記載の携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置に係り、特に他の端末装置と映像の送受信を行うテレビ電話機能を備えた携帯端末装置に関する。
【背景技術】
【０００２】
近年、携帯電話機などの携帯端末装置は、特定の年代層のみならず、子供や高齢者まで幅広い年代層に使用されるようになった。また、携帯電話機に備えられる機能は多機能化し、音声通話のみならず、電子メール機能、ワンセグ放送視聴などの種々の機能を有するようになった。
【０００３】
携帯電話機に備えられた機能が多機能化する一方で、操作体系が複雑化する傾向がある。このため、高齢者をはじめとする携帯電話機の操作に不慣れな使用者が、携帯電話機に備えられた所望する機能を実行したり、携帯電話機の機能の設定を変更するための操作を実行したりすることが困難であるという事実もある。
【０００４】
従来、このような携帯電話機などの端末装置の使用者をサポートするため、サポート支援技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００６−２５２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
携帯電話機に備えられる機能の一つとして、テレビ電話機能が備えられた携帯電話が多く利用されている。このテレビ電話機能は、ＣＣＤカメラで撮影された使用者の顔などを互いに送受信し、相手側の端末装置より受信した通話相手の顔などを表示させながら通話ができる点で、単なる音声通話よりも有効なコミュニケーション手段として用いられている。
【０００６】
従来、相互に携帯電話機などの携帯端末装置を利用して、通話相手に携帯電話機の操作支援に関する情報を提供する有効な方法は存在しなかった。例えば、音声通話を利用して音声のみで操作支援に関する情報を提供する場合には、操作画面などを視覚的に確認することはできないため充分な支援を行うことができなかった。また、上述したテレビ電話機能を利用して、視覚を通じて操作に関する説明を提供する有効な方法は存在しなかった。
【０００７】
さらに、特許文献１において開示されたサポート支援技術は、端末装置の使用者がサポート支援の必要性を判断した場合、または端末装置が自動的に異常を検出した場合に、双方向通信路が形成されるものであり、任意のタイミングで必要に応じた任意の情報を送信することはできなかった。
【０００８】
本発明はこのような事情を考慮してなされたもので、テレビ電話機能を利用した操作支援が可能な携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る携帯端末装置は、上述した課題を解決するために、他の端末装置と少なくとも映像の送受信を行うテレビ電話機能を有する携帯端末装置であって、少なくとも前記他の端末装置と送信または受信が行われた映像を含む映像を表示する表示手段と、所定の映像を前記他の端末装置に送信する送信手段と、前記表示手段に操作画面を表示させ、前記操作画面を介して前記携帯端末装置の所定の機能設定操作を実行する機能設定操作手段と、前記表示手段に表示される映像を、前記他の端末装置より受信した映像と前記操作画面とで切り替える指示を受け付ける切替指示受付手段と、前記切替指示受付手段により、前記操作画面に切り替える指示を受け付けた場合、前記操作画面を前記表示手段に表示させる表示制御手段と、前記操作画面に基づき操作画像情報を生成する生成手段と、前記送信手段に、前記生成手段により生成された操作画像情報を前記他の端末装置に対して送信させる送信制御手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明に係る携帯端末装置は、テレビ電話機能を利用して任意のタイミングで任意の操作支援情報を送信し、操作画面の映像を共有しながら効率的に操作支援情報を提供することができる。
【発明を実施するための最良の形態】
【００１１】
本発明に係る携帯端末装置の実施形態を添付図面に基づいて説明する。
【００１２】
図１は、本発明に係る携帯端末装置の一例である折りたたみ式の携帯電話機１の外観の構成を示す図である。図１（Ａ）は、携帯電話機１を約１８０度に開いた開状態のときの正面から見た外観の構成を示し、図１（Ｂ）は、携帯電話機１を開状態としたときの側面から見た外観の構成を示す。
【００１３】
図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第一筐体１２と第二筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
【００１４】
第一筐体１２には、その表面に「０」から「９」の数字キー、発呼・応答キー、リダイヤルキー、終話・電源キー、クリアキー、およびメニューキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。
【００１５】
第一筐体１２には、操作キー１４として上部に十字キー１５と確定キー１６が設けられている。十字キー１５には、上方向キー、下方向キー、右方向キー、左方向キーが設けられており、使用者が十字キー１５を上下左右方向に操作することによりメインディスプレイ２２に表示されたカーソルなどを上下左右方向に移動させることができる。また、確定キー１６を押下することにより、種々の機能を確定することができる。確定キー１６には、メインディスプレイ２２の下部に設けられた確定キー機能表示部２２ａに表示される処理も割り当てられる。
【００１６】
さらに、第一筐体１２には、左ソフトキー１７および右ソフトキー１８が十字キー１５および確定キー１６の上部にそれぞれ設けられる。第一筐体１２の側面には、携帯電話機１の操作を行うサイドキー１９が設けられる。左ソフトキー１７、右ソフトキー１８およびサイドキー１９は、第一筐体１２の内部方向に押下されることによって、それぞれ所定の処理が割り当てられている。特に左ソフトキー１７および右ソフトキー１８は、メインディスプレイ２２の下部に設けられた左ソフトキー機能表示部２２ｂおよび右ソフトキー機能表示部２２ｃに表示される処理が割り当てられる。
【００１７】
第一筐体１２には、操作キー１４の下部にマイクロフォン２０が設けられており、マイクロフォン２０によって通話時の使用者の音声を集音する。
【００１８】
なお、第一筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーが押下されてオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。
【００１９】
一方、第二筐体１３には、その正面にメインディスプレイ２２が設けられており、電波の受信状態、電池残量の他、電子メールの内容、簡易ホームページなどを表示することができる。なお、メインディスプレイ２２は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬ（ｉｎｏｒｇａｎｉｃ  ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成されるディスプレイである。
【００２０】
また、メインディスプレイ２２の上部の所定の位置にはレシーバ（受話器）２３が設けられており、これにより、使用者は音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ２３以外の音声出力部としてのスピーカ（図示せず）も設けられている。テレビ電話通信時には、このスピーカから通話相手の音声が出力される。
【００２１】
第二筐体１３の上部には、内部ＣＣＤカメラ２４が設けられており、所望の撮影対象を撮影することができる。本実施形態では、テレビ電話通信時に内部ＣＣＤカメラ２４で使用者などを撮像した撮像データが通信先の携帯電話機に送信される。
【００２２】
図２は、本発明に係る携帯電話機の一例である折りたたみ式携帯電話機１の他の外観の構成を示す図である。図２の携帯電話機１は、図１の携帯電話機１の状態から矢印Ｘ方向に回動させた閉状態を構成する。図２（Ａ）は、携帯電話機１が閉状態のときの正面から見た外観の構成を示し、図２（Ｂ）は、携帯電話機１が閉状態のときの側面から見た外観の構成を示す。
【００２３】
第二筐体１３の上部には、外部ＣＣＤカメラ２５が設けられており、これにより、所望の撮影対象を撮影することができる。本実施形態では、内部ＣＣＤカメラ２４と同様に、テレビ電話通信時に外部ＣＣＤカメラ２５で撮像した撮像データが通信先の携帯電話機に送信される。
【００２４】
外部ＣＣＤカメラ２５の下部には、例えばＬＣＤで構成されるサブディスプレイ２６が設けられており、現在のアンテナの感度のレベルを示すアンテナピクト、携帯電話機１の現在の電池残量を示す電池ピクト、現在の時刻などが表示される。
【００２５】
図３は、本実施形態における携帯電話機１の内部の構成を表している。
【００２６】
図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。
【００２７】
受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調停された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。
【００２８】
圧縮伸張処理部３７は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとに対してそれぞれ復号処理を行う。
【００２９】
また、本実施形態における携帯電話機１は、いわゆるテレビ電話機能を有するが、テレビ電話のように、受信パケットデータにビデオデータが含まれていれば、このビデオデータをビデオコーデックにより復号する。
【００３０】
圧縮伸張処理部３７のビデオコーデックにて復号されたディジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたディジタル動画像信号に基づく動画像を、図示せぬビデオＲＡＭ（例えばＶＲＡＭなど）を介してメインディスプレイ２２に表示させる。なお、制御部４１は、受信された動画像データだけでなく、内部ＣＣＤカメラ２４や外部ＣＣＤカメラ２５により撮像された動画像データに関しても、図示せぬビデオＲＡＭを介してメインディスプレイ２２に表示させることも可能である。
【００３１】
一方、通話モードにおいて、マイクロフォン２０に入力された話者（使用者）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のディジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、内部ＣＣＤカメラ２４などから出力される動画像信号は、制御部４１によりディジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成された電子メールなどのテキストデータも圧縮伸張処理部３７に入力される。
【００３２】
圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたディジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたディジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、内部ＣＣＤカメラ２４などから動画像信号が出力された場合にも、この動画像信号を送信パケットデータに多重化する。
【００３３】
ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Ｑｕａｄｒａｔｕｒｅ  Ｐｈａｓｅ  Ｓｈｉｆｔ  Ｋｅｙｉｎｇ）方式などのディジタル変調方式を使用して変調する。送信回路３５は、ディジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。
【００３４】
また、携帯電話機１には、所定の周期を計測し、この所定周期毎に、制御部４１に信号を供給するタイマ４９が設けられている。
【００３５】
制御部４１は、ＣＰＵ（ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。また、制御部４１はビデオＲＡＭも備え、メインディスプレイ２２に表示される映像に関する情報が一時的に格納される。
【００３６】
記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）などからなり、制御部４１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。
【００３７】
本実施形態における携帯電話機１は、他の端末装置と映像の送受信を行うテレビ電話機能を備えている。このテレビ電話機能は、他の端末装置より送信された映像などをメインディスプレイ２２に表示させながらスピーカおよびマイクロフォン２０を介して通信相手の音声のやり取りを行う。一方で、携帯電話機１は、内部ＣＣＤカメラ２４および外部ＣＣＤカメラ２５により撮像した映像や機能設定操作を実行する際の操作受付画面などを他の端末装置に送信する。特に、携帯電話機１の機能設定操作を実行する際の操作受付画面を他の端末装置に送信することにより、通信相手に対して携帯電話機の操作支援が可能である。
【００３８】
ここで、携帯電話機１において実行される各種機能の機能設定操作の一例について説明する。携帯電話機１には、制御部４１の操作に基づき携帯電話機１の各種機能の設定を行う機能が備えられており、メインディスプレイ２２に操作画面を表示して、操作キー１４よりこの操作画面を操作する指示を受け付けることにより各種機能の設定操作が行われる。
【００３９】
図４は、本実施形態における携帯電話機１に備えられた各種機能の設定が行われる操作画面の階層構造を示す図である。
【００４０】
携帯電話機１に備えられた各種機能の設定が行われる操作画面は、図４に示すように階層構造をなしており、第１階層に属する項目の中から任意の項目が選択されると、この選択された項目に応じて第２階層に属する項目が表示されるようになっている。また、第２階層に属する項目の中から任意の項目が選択されると、第３階層が表示され、最終的に機能設定を所望する操作画面が表示されるようになっている。
【００４１】
図５は、携帯電話機１の各種機能の設定が行われる操作画面の一例を示す遷移図である。
【００４２】
制御部４１は、メニュー画面の表示が割り当てられた所定の操作キー１４が押下されると、図５（Ａ）に示す第１階層に属する各種機能の設定項目が表示される。このとき、確定キー１６に割り当てられた項目の決定処理が、「決定」のように確定キー機能表示部２２ａに表示される。また、左ソフトキー１７に割り当てられた上位の階層に戻る処理が、「戻る」のように左ソフトキー機能表示部２２ｂに表示される。
【００４３】
図５（Ｂ）に示すように、十字キー１５の上方向キーおよび下方向キーを押下することにより、任意の項目にカーソルが合わせられる。また、このとき確定キー１６が押下されると、図５（Ｃ）および（Ｄ）に示すように、制御部４１は、カーソルが合わせられた項目を選択して、この選択された項目の第２階層に属する項目表示する。
【００４４】
第１階層に属する項目の中から、例えば「音」の項目が選択されると、制御部４１は、図５（Ｃ）に示すようにこの「音」の第２階層に属する「着信音」、「ボタン確認音」、「バイブレータ」などの項目を表示する。第１階層の中から項目を選択する場合と同様に、図５（Ｅ）に示すように、十字キー１５の上方向キーおよび下方向キーが押下され任意の項目にカーソルが合わせられた後に確定キー１６が押下されて所望の項目が選択される。第２階層に属する項目の中から、例えば「ボタン確認音」の項目が選択されると、制御部４１は図５（Ｆ）に示すように、その選択された項目の第３階層を表示する。この第３階層においては、最終的に所望の機能設定を行う操作画面が表示され、設定操作が実行される。図５（Ｆ）の例では、第３階層に「ボタン確認音」の設定項目が表示され、ボタン確認音を「ＯＮ」にするか「ＯＦＦ」にするかの決定が行われることにより機能設定操作が終了する。
【００４５】
本実施形態における携帯電話機１は、高齢者をはじめとする携帯電話機の操作に不慣れな使用者にとっては困難であるこのような各種機能の設定操作を、テレビ電話機能を用いて操作支援が可能なように構成される。
【００４６】
以下、本実施形態における携帯電話機の制御部４１による、テレビ電話機能を用いた操作支援処理の制御について説明する。
【００４７】
図６は、制御部４１による処理に基づいて実行されるテレビ電話機能を用いた操作支援処理を説明するフローチャートである。以下に説明する操作支援処理は、被操作支援者を携帯電話機１の使用者、操作支援者を他の携帯電話機の使用者に適用して操作支援処理の説明を行う。
【００４８】
ステップＳ１において、制御部４１は、テレビ電話の通信が開始されたかどうかの判定を行う。テレビ電話の通信は、操作キー１４の数字キーを介して任意の通信先の電話番号が入力され、または予め電話帳に登録された通信先の電話番号が選択され、かつ発呼・応答キーが押下された後、通信先との通信が確立されることにより開始される。または、通信先よりテレビ電話通信の着信を受けた後、発呼・応答キーが押下されることにより開始される。制御部４１は、テレビ電話の通信が開始されるまで、処理の実行を待機する。
【００４９】
一方、テレビ電話の通信が開始された場合、ステップＳ２において、制御部４１は、他の携帯電話機と映像の送受信を開始する。このとき、制御部４１は、内部ＣＣＤカメラ２４または外部ＣＣＤカメラ２５を起動して撮像を開始する。また、制御部４１は、撮像され電気信号に変化された自己の映像などを他の携帯電話機に送信する。または、制御部４１は、内部ＣＣＤカメラ２４などにより撮像された映像に代えて、予め記憶部４２に記憶された所定の映像を送信する。なお、他の携帯電話機に送信される映像は、通常テレビ電話にて用いられるＨ．２６３などの映像コーデックにて圧縮され、映像情報として送信される。
【００５０】
また、携帯電話機１の制御部４１は、他の携帯電話機より同様に、ＣＣＤカメラで撮像された映像などを受信し、メインディスプレイ２２に表示する。
【００５１】
図７は本実施形態における携帯電話機１のメインディスプレイ２２の表示例、および他の携帯電話機の表示例を示す遷移図である。図７（Ａ）は、他の携帯電話機より受信した映像を主に表示する場合のメインディスプレイの表示例を示す図、（Ｂ）は図７（Ａ）の表示例とほぼ同時期における他の携帯電話機の表示例を示す図である。
【００５２】
図７（Ａ）に示すように、制御部４１は、他の携帯電話機より受信した映像を携帯電話機１のメインディスプレイ２２に表示する。このとき、メインディスプレイ２２のほぼ中心に設けられた大きい枠内には、他の携帯電話機より送信される映像が表示さる。大きい枠内の下部に設けられた小さい枠内には、携帯電話機１にて撮像され、他の携帯電話機に送信された映像などが表示される。メインディスプレイ２２の表示は、これに限らず他の携帯電話機より送信される映像を小さい枠内に表示し、携帯電話機１にて撮像された映像などを大きい枠内に表示してもよいし、メインディスプレイ２２に大きい枠内のみ設け、小さい枠内を設けない構成にしてもよい。
【００５３】
また図７（Ｂ）に示すように、他の携帯電話機には例えば携帯電話機１の表示とほぼ逆の構成で映像が表示される。すなわち、ディスプレイ５０のほぼ中心に設けられた大きい枠内には、携帯電話機１より送信された映像が表示され、小さい枠内には他の携帯電話機にて撮像され、携帯電話機１に送信された映像などが表示される。なお、携帯電話機１がメインディスプレイ２２に表示する映像を各種機能の設定を行う操作画面に切り替えるまでは、他の携帯電話機のディスプレイ５０に表示される映像の配置構成は、携帯電話機１とは連動せず独立している。
【００５４】
なお、映像送受信ステップＳ２においては、映像の送受信と同時に音声データの送受信も開始される。携帯電話機１の制御部４１は、マイクロフォン２０より入力された音声信号を他の携帯電話機に送信する。また、他の携帯電話機より受信した音声信号は、スピーカより出力される。
【００５５】
ステップＳ３において、制御部４１は、メインディスプレイ２２に表示する映像を各種機能の設定を行う操作画面に切り替える指示を受け付けたか否かの判定を行う。機能設定操作は、携帯電話機１の各種機能の設定を行う操作であり、例えば着信時の動作の設定や、アラームの設定、壁紙の設定など携帯電話機１の各種動作や表示の設定を行う操作である。なお、テレビ電話通信中に実行されるこの機能設定操作は、携帯電話機１が待受け時などの通常時において実行される機能設定操作と同様の操作である
図７（Ｃ）は、メインディスプレイ２２に表示された他の携帯電話機より受信した映像を、操作画面に切り替える指示を受け付ける際のメインディスプレイ２２の表示例を示す図である。
【００５６】
機能設定操作の実行画面への切替は、例えば図７（Ａ）に示すメインディスプレイ２２の右ソフトキー機能表示部２２ｃに表示された「メニュー」画面を開く処理が割り当てられた右ソフトキー１８が押下され、図７（Ｃ）に示すようにメニュー画面が開かれた後に、このメニュー画面に表示された選択項目の中から「操作画面へ切替」の項目が選択されることにより実行される。選択項目の選択は、例えば十字キー１５を上下方向に操作して「操作画面へ切替」にカーソルを合わせた後、確定キー機能表示部２２ａに表示された処理である「決定」処理が割り当てられた確定キー１６が押下された場合に選択される。
【００５７】
このメニュー画面には、例えばメインディスプレイ２２に表示される他の携帯電話機より送信された映像と、携帯電話機１にて撮像され他の携帯電話機に送信された映像との表示の大小を切り替える処理や、他の携帯電話機に送信する映像を内部ＣＣＤカメラ２４により撮像された画像と外部ＣＣＤカメラ２５により撮像された映像を切り替える処理、記憶部４２に記憶された映像に切り替える処理が、他の項目として選択可能に表示される。
【００５８】
このとき、制御部４１は、他の携帯電話機に対しては映像送受信ステップＳ２において送信を開始した映像と同様の映像を送信し、メニュー画面の送信は行わない。すなわち、図７（Ｂ）に示すように、引き続き携帯電話機１より送信された映像がディスプレイ５０のほぼ中心に設けられた大きい枠内に表示され、小さい枠内には他の携帯電話機にて撮像された映像などが表示される。
【００５９】
制御部４１は、操作画面に切り替える指示を受け付けていないと判定した場合、処理は終了判定ステップＳ７に進む。
【００６０】
一方、制御部４１は、操作画面に切り替える指示を受け付けたと判定した場合、ステップＳ４においてメインディスプレイ２２に表示される映像を操作画面に切り替える。また、制御部４１は、起動中の内部ＣＣＤカメラ２４などを停止する。
【００６１】
制御部４１は、メインディスプレイに表示される映像を操作画面に切り替えた後、操作画面を操作する入力指示を操作キー１４より適宜受け付ける。操作画面には、例えば図５に示す携帯電話機１の各種機能の設定が可能な項目が表示される。
【００６２】
操作画面においては、図５に示すように操作キー１４の十字キー１５や確定キー１６などを操作することにより表示された項目の中から所望の項目が選択され、最終的に所望の機能の設定操作を実行することができる。このとき、テレビ電話通信中に行われる機能設定操作は、実際に携帯電話機１の各種機能の設定を実行させるように構成してもよいし、操作支援を受けるために模擬された機能設定操作として扱い、実際の設定操作を実行させないように構成してもよい。
【００６３】
また、操作画面表示ステップＳ４において携帯電話機１のメインディスプレイ２２に操作画面の表示が開始されると、ステップＳ５において、制御部４１は、それまで他の携帯電話機に送信されていた内部ＣＣＤカメラ２４などにより撮像された自己の映像などに代えて、メインディスプレイ２２に表示された操作画面に基づく操作画像情報を生成して他の携帯電話機に対する送信を開始する。
【００６４】
制御部４１は、メインディスプレイ２２に表示するためにビデオＲＡＭに一時的に格納された操作画面に関する情報に基づいて、操作画像情報を変調処理等の生成を行わせる。操作画像情報は、通常テレビ電話にて用いられるＨ．２６３などの映像コーデックにて圧縮され、他の携帯電話機に対して送信可能な映像情報として生成される。
【００６５】
このとき、制御部４１は操作キー１４より操作指示の入力を受け付けた場合、押下された操作キー１４の種類に基づき入力履歴情報を生成して他の携帯電話機に送信する。制御部４１は、押下された操作キーの種類をテキスト情報に変換して入力履歴情報を生成する。例えば、操作画面が表示された後、十字キー１５の下方向キー、確定キー１６が順次押下された場合、制御部４１は、「１、下方向キー、２、確定キー」のように押下された操作キー１４の種類をテキスト情報に変換して入力履歴情報を生成する。このとき、入力履歴情報であるテキスト情報における各操作キーの種類の前に付された数字は、機能設定操作開始後の押下された順序を示すものである。
【００６６】
制御部４１は、テキスト情報に変換された入力履歴情報を、操作画像情報とは異なるデータとして生成し、送信する。この場合、他の携帯電話機のディスプレイ５０には、操作画像情報と入力履歴情報とが別領域に表示されるようになっている。
【００６７】
なお、入力履歴情報は、操作画像情報と共に合成してＨ．２６３などの映像コーデックにて圧縮し、一のデータとして生成し、送信してもよい。携帯電話機１より送信される情報の統一化を図ることができる。この場合、他の携帯電話機５０のディスプレイには、操作画像情報と入力履歴情報は共通した領域に表示されるようになっており、入力履歴情報は操作画像情報に重畳して表示されるようになっている。
【００６８】
制御部４１は、タイマ４９により計測された一定周期毎に、例えば１０ｍｓ毎に操作画像情報および入力履歴情報の生成を行い、他の携帯電話機に送信する。制御部４１は、一定周期毎に操作画像情報を送信することで、携帯電話機１に表示される画像を他の携帯電話機にもほぼリアルタイムで表示させることができ、携帯電話機１と他の携帯電話機との使用者は、同時にほぼ同じ操作画面を見ながら会話を行うことができる。
【００６９】
図７（Ｄ）は、携帯電話機１の各種機能設定操作を実行する操作画面を表示する際のメインディスプレイ２２の表示例を示す図、（Ｅ）は図７（Ｄ）の表示例とほぼ同時期における他の携帯電話機の表示例を示す図である。
【００７０】
携帯電話機１のメインディスプレイ２２には、携帯電話機１の各種機能の設定が可能な操作画面が表示される。携帯電話機１の制御部４１は、操作画面を介して実際に各種機能の設定を受け付ける。
【００７１】
また、他の携帯電話機には、携帯電話機１の制御部４１より送信された、携帯電話機１のメインディスプレイ２２に表示されている操作画面と同様の操作画面がディスプレイ５０に表示される。他の携帯電話機のディスプレイ５０に表示された操作画面の下部に設けられた他の領域には、操作画像情報として送信された入力履歴情報も表示される。
【００７２】
なお、操作画像情報と入力履歴情報が一のデータとして生成されて送信された場合には、図７（Ｅ）の表示例とは異なり、ディスプレイ５０に表示された操作画面の表示領域に、合成された入力履歴情報が重畳的に表示される。
【００７３】
このように携帯電話機の使用者と、他の携帯電話機の使用者とは、携帯電話機１に表示された操作画面とほぼ同様の操作画面を同時に確認しながら会話を行うことにより、視覚的に機能設定操作の説明を行うことができる。
【００７４】
ステップＳ６において、制御部４１は、メインディスプレイ２２に対する操作画面の表示を終了し、再び他の携帯電話機より受信した映像の表示に切り替える指示を受け付けたか否かの判定を行う。
【００７５】
図７（Ｆ）は、メインディスプレイ２２に表示された操作画面を、他の携帯電話機より受信した映像に切り替える指示を受け付ける際のメインディスプレイ２２の表示例を示す図である。
【００７６】
機能設定操作の実行画面への切替は、例えば図７（Ｄ）に示すメインディスプレイ２２の右ソフトキー機能表示部２２ｃに表示された「メニュー」画面を開く処理が割り当てられた右ソフトキー１８が押下され、図７（Ｆ）に示すようにメニュー画面が開かれた後に、このメニュー画面に表示された項目の中から「受信映像へ切替」の処理が選択されることにより実行される。項目の選択は、切替指示受付ステップＳ３で説明した選択方法と同様である。
【００７７】
このとき、制御部４１は、他の携帯電話機に対しては操作画像情報生成・送信ステップＳ５において送信を開始した操作画面に関する映像を送信し、メニュー画面の送信は行わない。すなわち、他の携帯電話機のディスプレイ５０には、図７（Ｅ）に示すように、引き続き携帯電話機１より送信された操作画像情報に基づく操作画面および入力履歴情報が表示される。
【００７８】
制御部４１は、再び他の携帯電話機より受信した映像の表示に切り替える指示を受け付けたと判定した場合、処理は映像送受信ステップＳ２に戻り、再び処理を繰り返す。
【００７９】
一方、制御部４１は、再び他の携帯電話機より受信した映像の表示に切り替える指示を受け付けていないと判定した場合、ステップＳ７において、テレビ電話の通信が終了されたか否かの判定を行う。テレビ電話の通信は、操作キー１４の終話・電源キーが押下されることにより終了する。
【００８０】
制御部４１は、テレビ電話通信がいまだ継続されていると判定した場合、操作画像情報生成・送信ステップＳ５に戻り、以降の処理を繰り返す。
【００８１】
一方、制御部４１は、テレビ電話通信が終了したと判定した場合、操作支援処理は終了する。
【００８２】
この携帯電話機１によれば、テレビ電話機能を用いて各種機能の設定を行う操作画面を送信するため、携帯電話機の操作が不慣れな者に対しても音声のみならず視覚的な要素を用いて説明することができ、効果的に操作支援を行うことができる。
【００８３】
また、携帯電話機１は他の携帯電話機の使用者に対して送信する映像を、内部ＣＣＤカメラ２４などで撮像された映像と、各種機能の設定を行う操作画面に関する映像との間で容易に切り替えることができるため、携帯電話機１の使用者に対する操作支援の必要性に応じて、好適な方法を選択することができる。例えば、お互いの表情を確認しながら、音声による説明を行っている途中に、操作画面を表示しながら操作支援を実行する必要性が生じた場合には、容易に操作画面に関する情報の送信を開始することができるし、この操作画面に関する情報を送信することによる操作支援の必要性がなくなれば、再びお互いの表情を確認しながら音声の会話を行うことができる。
【００８４】
また、携帯電話機１で行われた操作キー１４の入力操作を、入力履歴情報として操作画面と共に送信することができるため、操作支援者は被操作支援者の操作状況を把握しながら、よりわかりやすく操作支援を行うことができる点でも有効である。
【００８５】
なお、操作支援処理における操作画面表示ステップＳ４において、操作画像情報を生成するタイミングをタイマ４９により計測された一定周期毎としたが、これに限らず操作画面に変化が生じた場合に操作画像情報を生成してもよいし、操作キー１４より何らかの入力が行われた場合に操作画像情報を生成するように構成してもよい。このように構成することで、操作画面の変動が少ない場合などには制御部４１の処理負担を軽減することができる。
【００８６】
また、メインディスプレイ２２に表示される映像を操作画面に切り替えたと同時に、他の携帯電話機にこの操作画面に基づく操作画面情報を送信するとしたが、操作画面の表示と同時に送信せず、操作画面の表示が行われた後に、さらに他の携帯電話機に対する送信を開始する指示が入力されてから操作画像情報を送信するように構成してもよい。例えば、被操作支援者である携帯電話機１の使用者が支援を受けることが必要な操作画面を表示させてから、操作支援者である他の携帯電話機の使用者がその操作画面を確認しながら操作支援を開始することができるため、状況に応じて必要な操作支援情報のみを効率よく提供することができる。
【００８７】
なお、操作画面を送信する携帯電話機１の使用者を被操作支援者、操作画面を受信する他の携帯電話機の使用者を操作支援者として適用した例を説明したが、操作画面を送信する携帯電話機１の使用者を操作支援者、操作画面を受信する他の携帯電話機の使用者を被操作支援者として操作支援を行ってもよい。この場合、被操作支援者は、操作支援者の携帯電話機１より送信された操作画面情報および入力履歴情報の視認し、かつ音声での機能設定操作の説明を受けながら、機能設定操作の適切な手順を確認することができる。
【００８８】
また、被操作支援側の他の携帯電話機が受信して表示した図７（Ｅ）の操作画面情報および入力履歴情報は、他の携帯電話機に記憶およびリプレイ可能に構成することで、被操作支援者は所定の機能の設定操作を適宜確認することができる点で有効である。
【００８９】
さらに、携帯電話機１により送信された入力履歴情報を、他の携帯電話機に対する制御信号に変換し、この制御信号に基づき入力履歴と同様の操作を他の携帯電話機において自動的に実行可能なように構成してもよい。操作が不慣れな被操作支援者としての他の携帯電話機の使用者に代わって操作を実行することができるため、有効な操作支援方法である。
【００９０】
本発明は、携帯電話機１以外にも、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他のテレビ電話機能を備えた携帯端末装置にも適用することができる。
【００９１】
また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
【図面の簡単な説明】
【００９２】
【図１】本発明に係る携帯端末装置の一例である折りたたみ式の携帯電話機の外観の構成を示す図。
【図２】本発明に係る携帯電話機の一例である折りたたみ式携帯電話機の他の外観の構成を示す図。
【図３】本実施形態における携帯電話機の内部の構成を示す図。
【図４】本実施形態における携帯電話機に備えられた各種機能の設定が行われる操作画面の階層構造を示す図。
【図５】携帯電話機の各種機能の設定が行われる操作画面の一例を示す遷移図。
【図６】制御部による処理に基づいて実行されるテレビ電話機能を用いた操作支援処理を説明するフローチャート。
【図７】本実施形態における携帯電話機のメインディスプレイの表示例、および他の携帯電話機の表示例を示す遷移図。
【符号の説明】
【００９３】
１  携帯電話機
１１  ヒンジ部
１２  第一筐体
１３  第二筐体
１４  操作キー
１５  十字キー
１６  確定キー
１７  左ソフトキー
１８  右ソフトキー
１９  サイドキー
２０  マイクロフォン
２２  メインディスプレイ
２２ａ  確定キー機能表示部
２２ｂ  左ソフトキー機能表示部
２２ｃ  右ソフトキー機能表示部
２３  レシーバ
２４  内部ＣＣＤカメラ
２５  外部ＣＣＤカメラ
４１  制御部
４９  タイマ
４２  記憶部
５０  ディスプレイ
【図１】
2010021778.tif 000003
【図２】
2010021778.tif 000004
【図３】
2010021778.tif 000005
【図４】
2010021778.tif 000006
【図５】
2010021778.tif 000007
【図６】
2010021778.tif 000008
【図７】
2010021778.tif 000009