(57)【要約】移動体通信装置は第１の表示装置３ａと第２の表示装置３ｂとを備える。このうち第２の表示装置３ｂは筐体に対して移動可能に設けられ、第２の表示装置３ｂの移動はセンサ７によって検出される。また、移動体通信装置はアプリケーションプログラムを実行する制御装置１を備え、第２の表示装置３ｂが移動したとき、この移動に連動して第１の表示装置３ａ又は第２の表示装置３ｂの表示内容を自動的に更新する。第２の表示装置が閉状態から開状態に変化した場合には、制御装置１は、第１の表示装置３ａの表示内容に関連付けられた表示を自動的に選択し、第２の表示装置に表示する。これにより、ユーザは、第２の表示装置を移動させただけで、そのときの使用状況に応じた表示内容を自動的に得ることができ、優れたユーザインターフェースを提供することができる。
2003077097.tif 000002
【特許請求の範囲】
【請求項１】
筐体と、
文字又は画像を表示する第１の表示装置と、
前記筐体に対して移動可能に設けられた第２の表示装置、
前記第２の表示装置の位置に応じて信号を出力するセンサ、
アプリケーションプログラムを実行し、前記第１の表示装置に第１の実行結果を表示すると共に、前記センサの出力信号に基づいて、前記第２の表示装置が予め定められた位置に移動した場合に、前記第１の実行結果に関連付けられた第２の実行結果を前記第２の表示装置に表示する制御装置と、
を備えたことを特徴とする移動体通信装置。
【請求項２】
前記制御装置は、複数のアプリケーションプログラムを実行可能に構成され、前記第２の表示装置に前記第２の実行結果を表示する場合には、前記第１の表示装置を使用しているアプリケーションプログラムの実行結果を表示することを特徴とする請求項１に記載の移動体通信装置。
【請求項３】
前記制御装置は、前記アプリケーションプログラムとして、電子メールを閲覧するプログラムを実行し、
前記第１の表示装置は、前記第１の実行結果として電子メールの受信リストを表示し、
前記第２の表示装置は、前記第２の実行結果として前記電子メールの受信リスト中の１つの電子メールについて、メールの内容を表示することを特徴とする請求項１に記載の移動体通信装置。
【請求項４】
前記制御装置は、前記第２の表示装置が使用可能な位置に移動した場合に、前記第２の表示装置に、現在表示されている前記第１の実行結果のヘルプ表示を表示することを特徴とする請求項１に記載の移動体通信装置。
【請求項５】
前記第１の表示装置は、表示された複数の選択肢を有するメニューを表示するとともに、
前記制御装置は、前記センサの出力信号に基づいて前記第２の表示装置が移動したと判断した場合には、前記複数の選択肢から１つの選択肢を選択したと判断することを特徴とする請求項１に記載の移動体通信装置。
【請求項６】
前記制御装置は、前記センサの出力信号に基づいて前記第２の実行結果を表示する表示装置を選択し、選択結果に基づいて前記第１の表示装置又は第２の表示装置に前記第２の実行結果を表示することを特徴とする請求項１に記載の移動体通信装置。
【請求項７】
前記センサは、前記第２の表示装置の開閉を検出し、
前記制御装置は、前記センサが開状態から閉状態になったことを検出した場合に、前記開状態のときに前記第１の表示装置が表示していた表示内容と前記第２の表示装置が表示していた表示内容とを合成した合成画像を前記第１の表示装置に表示することを特徴とする請求項１に記載の移動体通信装置。
【請求項８】
第１の映像を撮影するカメラを備え、
前記第１の表示装置および第２の表示装置のそれぞれは、前記開状態のときに通信相手から送信された第２の映像又は前記第１の映像を表示し、
前記制御装置は、前記センサに基づいて開状態から閉状態となった場合に、前記第１の映像を縮小するとともに、この縮小した第１の映像を前記第２の映像と合成し、合成した映像を前記第１の表示装置に表示することを特徴とする請求項７に記載の移動体通信装置。
【請求項９】
前記第１の表示装置又は第２の表示装置に表示された表示内容を選択する入力デバイスを備えるとともに、
制御装置は、前記センサの信号に基づいて、前記第２の表示装置の非表示を決定し、前記第１の表示装置および第２の表示装置がそれぞれ異なる表示を行っているとき、前記第１又は第２の表示装置のうち前記入力デバイスの操作対象となる表示装置をアクティブスクリーンとして選択的に決定し、前記第２の表示装置が非表示状態となった場合に、前記第１の表示装置の表示内容を前記アクティブスクリーンで表示されていた内容を用いて更新することを特徴とする請求項１に記載の移動体通信装置。
【請求項１０】
移動体通信装置に設けられた第１の表示手段および第２の表示手段のうち、第２の表示手段が非使用状態から使用状態に変化したかを検出する検出ステップと、
前記検出ステップにおいて使用状態に変化したと判断された場合に、複数の表示内容から前記第１の表示手段に表示された選択肢に関連した表示内容を選択し、前記第２の表示手段へ表示する表示ステップと、
を備えた移動体通信装置の表示制御方法。
【請求項１１】
前記表示ステップは、前記第１の表示手段を使用していたアプリケーションプログラムの次の実行結果を前記第２の表示手段に表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
【請求項１２】
前記表示ステップは、前記第２の表示手段が非使用状態であり、かつ前記移動体通信装置の決定ボタンが押された場合に、前記第２の実行結果を前記第１の表示装置に表示することを特徴とする請求項１１に記載の移動体通信装置の表示制御方法。
【請求項１３】
前記検出ステップは、前記第２の表示手段が前記第１の表示手段に対して移動したことを検出するセンサからの出力信号を検出することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
【請求項１４】
複数の電子メールの表題を有する受信リストを前記第１の表示手段に表示するリスト表示ステップと、
前記受信リスト中から１つの電子メールを指定する指定ステップと、
を備え、
前記表示ステップは、前記第２の表示手段へ表示する内容として、前記指定ステップで指定された電子メールの詳細内容を表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
【請求項１５】
通信相手から送信された第１の映像を受信するステップと、
前記移動体通信装置に設けられたカメラを用いて第２の映像を撮影するステップと、
前記第１および第２の表示手段のいずれかに、前記第１又は第２の映像を表示し、前記第１および第２の表示手段によって前記第１及び第２の映像を同時に表示する２画面表示ステップと、
前記第２の表示手段が使用状態から非使用状態になった場合に、前記第１及び第２の映像を合成し、前記第１の表示手段へ表示する１画面表示ステップと、
を備えたことを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
【請求項１６】
前記１画面表示ステップは、前記第２の映像を縮小して前記第１の映像と合成することを特徴とする請求項１５に記載の移動体通信装置の表示制御方法。
【請求項１７】
前記表示ステップは、前記第２の表示手段が使用状態になった場合に、前記第１の表示装置に表示された内容に関連付けられたヘルプ表示を前記第２の表示手段へ表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
【請求項１８】
前記第１の表示手段又は第２の表示手段に表示された表示内容を選択する入力デバイスからの入力信号を検出するステップと、
前記入力信号に基づいて、前記表示内容を選択するステップと、
前記第１の表示手段および第２の表示手段がそれぞれ異なる表示を行なうステップと、
前記移動体通信装置に設けられた第１の入力デバイスからの信号に基づき、前記第１の表示手段および第２の表示手段のうち第２の入力デバイスからの信号に基づく制御を行う対象をアクティブスクリーンとして選択するステップと、
前記第２の表示装置が非表示状態となった場合に、前記第１の表示装置の表示内容を前記アクティブスクリーンで表示されていた内容を用いて更新する更新ステップと、
を備えたことを特徴とする移動体通信装置の表示制御方法。
【請求項１９】
請求項１０〜１８のいずれかに記載の表示制御方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
技術分野
この発明は、携帯電話、無線通信機能を有する携帯情報端末等の移動体通信装置、その表示制御方法並びにプログラムに関するものであり、特に複数の表示装置を持つものに関する。
背景技術
従来、様々なタイプの携帯電話が開発され利用されている。しかし、その多くは１つの表示装置を持つものであった。また、複数の表示装置を持つものとして特開平９−２４７２５０号公報に記載された携帯電話がある。この携帯電話では、折りたたみ可能な２つの表示装置を１つのスクリーンとして使用することにより、メール及び無線呼び出しによる文字メッセージ、ファクシミリ或いはパーソナルコンピュータ等からの情報量の多いデータ等を表示することができる。
しかし、上述のような従来の携帯電話では、複数の表示装置を有する移動体通信装置を設け多くの情報を表示するのみで、複数の表示装置の操作に関しユーザインターフェースを向上させる具体的な技術が開示されておらず、複数の表示装置を切り替え表示する場合など、ユーザの操作性の向上が図られていないという課題があった。
発明の開示
この発明は、以上説明した課題を解決するためになされたものであり、複数の表示装置を有する移動体通信装置のユーザインターフェースを向上することを目的とする。
この発明の移動体通信装置は、筐体と、文字又は画像を表示する第１の表示装置と、筐体に対して移動可能に設けられた第２の表示装置、第２の表示装置の位置に応じて信号を出力するセンサ、アプリケーションプログラムを実行し、第１の表示装置に第１の実行結果を表示すると共に、センサの出力信号に基づいて、第２の表示装置が予め定められた位置に移動した場合に、第１の実行結果に関連付けられた第２の実行結果を前記第２の表示装置に表示する制御装置と、を備えたことを特徴とするものである。
また、制御装置は、複数のアプリケーションプログラムを実行可能に構成され、第２の表示装置に第２の実行結果を表示する場合には、第１の表示装置を使用しているアプリケーションプログラムの実行結果を表示することを特徴とするものである。
また、制御装置は、アプリケーションプログラムとして、電子メールを閲覧するプログラムを実行し、第１の表示装置は、第１の実行結果として電子メールの受信リストを表示し、第２の表示装置は、第２の実行結果として前記電子メールの受信リスト中の１つの電子メールについて、メールの内容を表示することを特徴とするものである。
また、制御装置は、第２の表示装置が使用可能な位置に移動した場合に、第２の表示装置に、現在表示されている第１の実行結果のヘルプ表示を表示することを特徴とするものである。
また、第１の表示装置は、表示された複数の選択肢を有するメニューを表示するとともに、制御装置は、センサの出力信号に基づいて第２の表示装置が移動したと判断した場合には、複数の選択肢から１つの選択肢を選択したと判断することを特徴とするものである。
また、制御装置は、前記センサの出力信号に基づいて第２の実行結果を表示する表示装置を選択し、選択結果に基づいて第１の表示装置又は第２の表示装置に第２の実行結果を表示することを特徴とするものである。
また、センサは、第２の表示装置の開閉を検出し、制御装置は、センサが開状態から閉状態になったことを検出した場合に、開状態のときに第１の表示装置が表示していた表示内容と第２の表示装置が表示していた表示内容とを合成した合成画像を第１の表示装置に表示することを特徴とするものである。
また、第１の映像を撮影するカメラを備え、第１の表示装置および第２の表示装置のそれぞれは、開状態のときに通信相手から送信された第２の映像又は第１の映像を表示し、制御装置は、センサに基づいて開状態から閉状態となった場合に、第１の映像を縮小するとともに、この縮小した第１の映像を前記第２の映像と合成し、合成した映像を第１の表示装置に表示することを特徴とするものである。
また、第１の表示装置又は第２の表示装置に表示された表示内容を選択する入力デバイスを備えるとともに、制御装置は、センサの信号に基づいて、第２の表示装置の非表示を決定し、第１の表示装置および第２の表示装置がそれぞれ異なる表示を行っているとき、第１又は第２の表示装置のうち入力デバイスの操作対象となる表示装置をアクティブスクリーンとして選択的に決定し、第２の表示装置が非表示状態となった場合に、第１の表示装置の表示内容をアクティブスクリーンで表示されていた内容を用いて更新することを特徴とするものである。
また、この発明における表示制御方法は、移動体通信装置に設けられた第１の表示手段および第２の表示手段のうち、第２の表示手段が非使用状態から使用状態に変化したかを検出する検出ステップと、検出ステップにおいて使用状態に変化したと判断された場合に、複数の表示内容から第１の表示手段に表示された選択肢に関連した表示内容を選択し、第２の表示手段へ表示する表示ステップと、を備えたものである。
また、表示ステップは、第１の表示手段を使用していたアプリケーションプログラムの次の実行結果を第２の表示手段に表示することを特徴とするものである。
また、表示ステップは、第２の表示手段が非使用状態であり、かつ移動体通信装置の決定ボタンが押された場合に、第２の実行結果を第１の表示装置に表示することを特徴とするものである。
また、検出ステップは、第２の表示手段が第１の表示手段に対して移動したことを検出するセンサからの出力信号を検出することを特徴とするものである。
また、複数の電子メールの表題を有する受信リストを第１の表示手段に表示するリスト表示ステップと、受信リスト中から１つの電子メールを指定する指定ステップと、を備え、表示ステップは、第２の表示手段へ表示する内容として、指定ステップで指定された電子メールの詳細内容を表示することを特徴とするものである。
また、通信相手から送信された第１の映像を受信するステップと、移動体通信装置に設けられたカメラを用いて第２の映像を撮影するステップと、第１および第２の表示手段のいずれかに、第１又は第２の映像を表示し、第１および第２の表示手段によって第１及び第２の映像を同時に表示する２画面表示ステップと、第２の表示手段が使用状態から非使用状態になった場合に、第１及び第２の映像を合成し、第１の表示手段へ表示する１画面表示ステップと、を備えたことを特徴とするものである。
また、１画面表示ステップは、第２の映像を縮小して第１の映像と合成することを特徴とするものである。
また、表示ステップは、第２の表示手段が使用状態になった場合に、第１の表示装置に表示された内容に関連付けられたヘルプ表示を第２の表示手段へ表示することを特徴とするものである。
また、第１の表示手段又は第２の表示手段に表示された表示内容を選択する入力デバイスからの入力信号を検出するステップと、入力信号に基づいて表示内容を選択するステップと、第１の表示手段および第２の表示手段がそれぞれ異なる表示を行なうステップと、移動体通信装置に設けられた第１の入力デバイスからの信号に基づき、第１の表示手段および第２の表示手段のうち第２の入力デバイスからの信号に基づく制御を行う対象をアクティブスクリーンとして選択するステップと、第２の表示装置が非表示状態となった場合に、第１の表示装置の表示内容を前記アクティブスクリーンで表示されていた内容を用いて更新する更新ステップと、を備えたことを特徴とするものである。
また、この発明のプログラムは、上述の表示制御方法のいずれかをコンピュータに実行させるものである。
発明を実施するための最良の形態
図１は、この発明の移動体通信装置の詳細を示すブロック図である。ＭＰＵ１（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）は、各デバイスの動作を制御する機能を持ち、バスを介してビデオ回路２、ビデオデコーダ／エンコーダ、Ｉ／Ｏ（Ｉｎｐｕｔ  Ｏｕｔｐｕｔ）コントローラ６、メモリ９、送受信回路１０、音声デコーダ／エンコーダ１２に接続されている。ビデオ回路２は、図示しないビデオメモリを備え、液晶表示装置３ａ、３ｂを電気的に駆動する。以下の説明において、液晶表示装置３ａを主表示装置と呼び、液晶表示装置３ｂを副表示装置と呼ぶ。ビデオ回路２は主表示装置３ａ（第１の表示装置）及び副表示装置３ｂ（第２の表示装置）をそれぞれ独立に制御することができる。主表示装置３ａ及び副表示装置３ｂは、ビデオ回路２からの制御信号に従って文字、静止画像、動画などの映像を表示する。ビデオデコーダ／エンコーダ４は、カメラ５で撮像された映像をＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ４）等のエンコード方式に従って圧縮データにエンコードするエンコーダと、アンテナ１１及び送受信回路１０を介して受信したエンコードされたデータをデコードし、元の映像に復元するデコードとを有する回路である。このビデオデコーダ／エンコーダ４として、例えば、市販されているＭＰＥＧデコーダ／エンコーダ用ＩＣを使用できる。Ｉ／Ｏコントローラ６は、各種デバイスから入力信号をＭＰＵ１へ送信し、またＭＰＵ１から各種デバイスへの出力信号を送信する入出力処理を行うコントローラである。開閉センサ７は、移動可能に設けられた副表示装置３ｂの位置を検出するセンサである。例えば、副表示装置３ｂが閉じた位置に移動した場合に、スイッチが副表示装置３ｂ又はその筐体によって押されるような位置にスイッチを設けてもよい。複数の操作ボタン８は、それぞれ対応する機能や文字が割り付けられており、それぞれ入力デバイスとして使用される。メモリ９は各種プログラム及びデータを記憶する。メモリの種類（揮発性メモリ、不揮発性メモリ等）は、データの種類に応じて適切なものを使用する。送受信回路１０は、アンテナ１１を介した音声やデータの通信を行う回路である。送受信回路１０は様々な種類の回路が知られており、既に広く普及しているＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｅｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、或いは、これから広く普及するであろう次世代の通信方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅ−ｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ｃｄｍａ２０００方式等の通信方式用の送受信回路を使用することができる。音声デコーダ／エンコーダ１２は、マイク１４により取得された音声信号を符号化するエンコーダと、送受信回路１０で受信した符号化されたデータを音声信号にデコードするデコーダとを有する回路である。音声の符号化方式としては、ＣＥＬＰ（Ｃｏｄｅ  Ｅｘｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ）方式の符号化方式が広く知られている。音声デコーダ／エンコーダ１２で��コードされた音声信号は、スピーカ１３を介して再生される。なお、スピーカ１３は、音声信号に限らず、図示しないシンセサイザ回路で生成された電気信号によって音楽、効果音を再生する。
図２及び３は、移動体通信装置の正面図であり、図１と同一の符号は同一又は相当の部分を表している。ここで、図２は副表示装置３ｂを主表示装置３ａの背面側に隠した状態を示している。副表示装置３ｂは図３に示すように、本体筐体２０に対してスライドする構造を有しており、ユーザは、主表示装置３ａ及び３ｂを同時に使用することができる。また、ボタン８ａ〜８ｃは操作ボタン８として機能する入力デバイスである。セレクタ８ａは、周縁部を押すことにより方向示す信号を生成する方向キーの機能と、ボタンの中心部を押下することにより指定した選択肢を確定し次の動作を指示する決定ボタンの機能を有する。例えば、ユーザがメニュー上の選択肢を指定する場合にスクリーンに表示されたカーソル又は強調表示の移動を指示し、ボタンを押下することにより、ＭＰＵ１はその選択肢に割り当てられた処理を実行する。ソフトキー８ｂは、主表示装置３ａ若しくは３ｂに表示された選択肢に対応して設けられ、表示された機能の実行を指示する場合に、使用される入力デバイスである。数字ボタン８ｃは、数字又は文字を入力するために使用される入力デバイスである。
図４及び５は、図２及び３に示した移動体通信装置の側面図であり、これらの図において図１と同一の符号は同一又は相当の部分を表している。ここで、図４は図２と同様に、副表示装置３ｂが隠れており、使用できない状態を示している。一方、図５は図３に対応し、主表示装置３ａが本体筐体２０に対してスライドし、引き出された状態を示している。図５を見て分かるように、本体筐体２０と副表示装置３ｂを支持する副筐体２１とは、スライド面が曲面上に構成されている。そのため、副筐体２１を引き出すと、副筐体２１並びにカメラ５、副表示装置３ｂが正面側に角度を変えながらせり出してくるため、カメラ５及び副表示装置３ｂがユーザにとって使用しやすい角度に調整される。
（１）Ｅ−メール受信閲覧動作
次に、上述の移動体通信装置を用いた電子メールの閲覧動作について説明する。
ここで、複数の電子メールが送受信回路１０によって受信されメモリ９に記憶されている状態を考える。ユーザが主表示装置３ａに表示されたメニューから受信メール一覧の機能を選択すると、図６（ａ）に示すように、複数の受信メールの件名、送信者、送信時刻等を有するリストが表示される。次に、ユーザがボタン８ａを使用して所望の受信メールを指定する。なお、この状態では受信メールを指定するのみであり、指定に基づく次のアクションは起きない。従来の移動体通信端末では、この状態から受信メールの詳細を表示するために決定ボタンを押す必要がある。これに対し、この発明の移動体通信装置では、図６（ｂ）に示すように副筐体２１を引き出すことにより、ＭＰＵ１が自動的に副表示装置３ｂを起動し、指定された受信メールの詳細を副表示装置３ｂに表示する。このとき、ユーザは副筐体２１を引き出す操作及び指定した受信メールの詳細を表示する決定ボタンを押す操作の両方をする必要がなくなるため、ユーザの使い勝手を向上することができるという効果がある。また、副表示装置３ｂを使用しない場合には、ユーザはボタン８ａの中心を押下することにより、受信メールの閲覧表示を決定することができ、ＭＰＵ１は受信メールのリスト表示に代えて、主表示装置３ａに指定された受信メールの詳細を表示する。
図７は、図６を用いて説明した電子メール閲覧動作のフローチャートを示している。ここでは、電子メール閲覧について代表例として示したが、他の機能を実現する場合にも適用できる。ユーザにより電子メール閲覧機能が選択されると、ＭＰＵ１はメモリ９から対応するプログラムを読み出し、閲覧プログラムの実行を開始する（ステップＳ０）。次に、ＭＰＵ１は主表示装置３ａにメニューを表示する（ステップＳ１）。電子メール閲覧の場合においては、ＭＰＵ１はメモリ９に記憶されている受信メールのリストから、件名、送信者、及び受信時刻のデータを読み出し、件名、送信者、及び受信時刻のデータをイメージとしてビデオ回路２のビデオメモリに描き込む。これにより、主表示装置３ａに受信メールのリストが表示される。
次に、ＭＰＵ１は操作ボタン６のキー入力受付処理を行う（ステップＳ２）。具体的には、Ｉ／Ｏコントローラ６から操作ボタン８からの信号を読み出す。なお、セレクタ８ａを操作することにより、メニューの選択肢の指定を変更する処理は、このキー入力に基づいてＭＰＵ１が行う。
続いて、ＭＰＵ１はセレクタ８ａの決定キーの入力があるかについて、調べる（ステップＳ３）。ＹＥＳの場合、ＭＰＵ１は、ステップＳ２で指定されたメニューの選択肢に割り付けられた処理を実行し、実行結果を主表示装置３ａに表示する（ステップＳ４）。電子メール閲覧の場合には、ＭＰＵ１は指定された受信メールの詳細をメモリ９から読み出し、主表示装置３ａに表示する。なお、この場合には、主表示装置３ａ上の表示領域を確保するため、受信メールリストのようなメニュー表示は実行結果（すなわち、電子メールの詳細）で描きかえられる。
一方、ステップＳ３でＮＯの場合には、メモリ９に記憶されているフラグをチェックし、副表示装置３ｂが閉状態から開状態になったかを調べる（ステップＳ５）。このフラグの設定については、後述する。ここで、ＮＯの場合、処理はステップＳ２に戻る。一方、ＹＥＳの場合には、ＭＰＵ１は指定されたメニューの選択肢に割り付けられた処理を実行し、実行結果を副表示装置３ｂに表示する。例えば、指定された電子メールの詳細を副表示装置３ｂに表示する。なお、主表示装置３ａのメニューは消されずに、そのまま表示される。従って、図６（ｂ）に示されたように主表示装置３ａにメニュー（受信メールのリスト）表示が表示され、副表示装置３ｂに詳細が表示されるため、ユーザは、両方の表示を一度に参照することができる。
ステップＳ４又はＳ６が終了すると、ＭＰＵ１は他の処理を行う。例えば、ステップＳ２のような操作ボタン６の操作に基づいて、返信メールの編集処理や、メール閲覧処理の終了処理などである。
なお、メモリ９には、複数の受信メールの詳細が記載されている。そして、上述の説明のように、ＭＰＵ１は副表示装置３ｂを開くアクションを検出すると、複数の受信メールの詳細から１つの受信メールの詳細を自動的に選択し、副表示装置３ｂに表示する。
以上のように、図６及び７に示された処理によれば、ユーザは１画面を使用する場合と２画面を使用する場合とを容易に切り替えることができる。また、指定された選択肢を実行するために、副筐体２１を引き出した後、わざわざセレクタ８ａの決定ボタンを押さずとも、その選択肢を実行することができるため、ユーザの使い勝手が大きく向上する。
次に、図８を用いて副表示装置３ｂの開閉検出動作を説明する。
ＭＰＵ１は、定期的にステップＳ１０からの検出処理を実行することにより、副表示装置３ｂの開閉状態の変化をメモリ９上にフラグとして記録する。
最初に、ＭＰＵ１はＩ／Ｏコントローラ６にアクセスし、副表示装置３ｂの位置を検出する（ステップＳ１１）。例えば、副筐体２１が図２に示されるように本体筐体２０の背面側に収納された場合、副筐体２１が本体筐体２０に設けられたスイッチを押すことにより、スイッチが有意の信号を出力する。
次に、ＭＰＵ１はステップＳ１１で検出した信号と以前にメモリ９に記憶した信号とに基づいて、副表示装置３ｂの開閉状態に変化があったか否かについて判断する。ここで、副表示装置３ｂが閉状態から開状態に変化した場合には、メモリ９に記録されたフラグの値として０をセットする（ステップＳ１３）。一方、状態に変化がない場合には、ＭＰＵ１はフラグに１をセットする（ステップＳ１４）。さらに、開状態から閉状態に変化した場合には、ＭＰＵ１はフラグに２をセットする。
以上のようにＭＰＵ１が動作することより、各種のアプリケーションプログラムは、フラグを参照し、副表示装置３ｂの開閉状態について判断することができる。
（２）ヘルプ表示
続いて、副表示装置３ｂの移動に伴う実行結果の自動表示について、他の例を説明する。
図９（ａ）は、ユーザがメインメニューから機能設定の選択肢を選んだ場合の表示を示している。この機能設定については、公知の機能設定技術を用いて実現することができる。そして、ユーザがセレクタ８ａを使用して機能設定したい選択肢を指定し、さらにユーザがその選択肢についてヘルプの説明が必要と思ったとき、ユーザは副筐体２１を引き出すことによりヘルプを参照することができる。すなわち、ＭＰＵ１は、図９（ｂ）に示すように、副表示装置３ｂが開状態に変化したことを検出すると、主表示装置３ａで指定済みの選択肢を認識し、その選択肢に関連づけられたヘルプを副表示装置３ｂに表示する。
以上のように動作することにより、上述の電子メール閲覧機能と同様に、操作が少なく、直感的で使いやすいインターフェースをユーザに提供することができる。
図１０は、ヘルプ表示について詳細な動作を示すフローチャートである。図１０の動作は、図７と比べて受信メール閲覧とヘルプ表示とで差異はあるものの、基本動作は同じである。
まず、ＭＰＵ１は、主表示装置３ａに機能設定メニューを表示する（ステップＳ２１）。次に、ＭＰＵ１はキー入力を受け付け、セレクタ８ａによる選択肢の指定処理を行う（ステップＳ２２）。続いて、ＭＰＵ１はセレクタ８ａの決定キーの入力があるかについて、調べる（ステップＳ２３）。ＹＥＳの場合、ＭＰＵ１は、ステップＳ２２で指定されたメニューの選択肢に割り付けられた処理を実行し機能設定を変更する。そして、実行結果を主表示装置３ａに表示する（ステップＳ２４）。一方、ＮＯの場合には、メモリ９に記憶されているフラグをチェックし、副表示装置３ｂが閉状態から開状態になったかを調べる（ステップＳ２５）。ＮＯの場合、処理はステップＳ２２に戻る。一方、ＹＥＳの場合には、ＭＰＵ１は指定されたメニューの選択肢に関連連れられたヘルプの説明を検索し、メモリ９から読み出す。メモリ９には、複数のヘルプの説明が記憶されているが、各選択肢には予め対応するヘルプの説明を特定するアドレス情報が記載されているため、ＭＰＵ１は容易にヘルプを選択することができる。そして、ＭＰＵ１は読み出したヘルプの説明を副表示装置３ｂに表示し、その後、ステップＳ２２からの処理の実行を行う。
また、ステップＳ２４が終了すると、ＭＰＵ１は他の処理を行う。例えば、メインメニューに戻るなど、次の処理を実行する。
（３）映像表示切替
次に、副表示装置３ｂの開閉動作に伴って、ユーザ側の映像及び通信相手から受信した映像の表示を切り替える動作について説明する。
図１１は、音声のみならず映像をも送受信するビデオ通話機能を使った通話時の表示を示している。副表示装置３ｂは、通話相手から送信され、送受信回路１０によって受信された映像を表示する。この映像は、ＭＰＵ１の制御により、ビデオデコーダ４が受信データをデコードしたデータに基づいている。一方、主表示装置３ａは、カメラ５が撮影した映像を表示する。この映像はビデオエンコーダ４によってエンコードされ、送受信回路１０を介して通信相手に送信される。
次に、ユーザが副筐体２１を閉じ、図１２に示すように主表示装置３ａのみがアクティブになると、ＭＰＵ１は、開閉センサ７の出力信号に基づいて閉状態に変化したことを検知する。そして、ＭＰＵ１は図１２に示すように、通信相手の映像とカメラ５の映像とを合成し、主表示装置３ａに合成画像を表示する。
また、副表示装置３ｂが閉状態から開状態に変化した場合も、図１２から図１１に示すように、この移動体通信装置は２画面表示を自動的に行うことができる。
以上のように動作することにより、ユーザは副表示装置３ｂを開閉するだけで、２画面表示モード又は１画面表示モードを選択することができる。また、映像が表示されるスクリーンの大きさに従って映像の大きさを変換し、２つの映像を合成するため、この移動体通信装置は、通話に適した映像の表示をユーザに提供することができる。
次に、上述の映像表示切替処理について詳細に説明する。
図１３は、映像表示切替処理を説明するフローチャートである。まず、ＭＰＵ１の制御により通話処理が開始されると（ステップＳ３０）、送受信回路１０が相手の映像データを受信する。同時に、カメラ５はユーザの映像を撮影する（ステップＳ３１）。次に、ＭＰＵ１は現在の表示モードが１画面表示モードであるか、２画面表示モードであるかを調べる。２画面表示モードの場合には、ＭＰＵ１は、主表示装置３ａにカメラ５が撮影した映像を表示し、さらに、副表示装置３ｂに受信した映像を表示する（ステップＳ３３）。なお、このとき、ＭＰＵ１は、スピーカ１３、マイク１４を使った音声通話処理や、撮影した映像の送信処理を従来のビデオ通話機能付き移動体通信装置と同様に実行する。
次に、ＭＰＵ１は、ユーザによる操作を検出するため、キー入力を受け付ける（ステップＳ３４）。このとき、ＭＰＵ１は操作ボタン８による入力信号に従って、通話用に予め用意された機能、例えばボリュームの変更処理等を実行する。続いて、ＭＰＵ１はユーザが通話終了用に割り当てられた操作ボタン８を押したかについて調べる（ステップＳ３５）。ＹＥＳの場合には、ＭＰＵ１は、送受信回路１０に通信の終了を命令し、通話の終了を実行する（ステップＳ３６）。ＮＯの場合には、ＭＰＵ１はメモリ９のフラグをチェックし、副表示装置３ｂの開閉状態に変化があったかについて調べる。フラグが”０”の場合、副表示装置３ｂが閉状態から開状態に変化したため、ＭＰＵ１はメモリ９に２画面表示モードに移行したことを記録する（ステップＳ４１）。また、フラグが”２”の場合、副表示装置３ｂが開状態から閉状態に変化したため、ＭＰＵ１はメモリ９に１画面表示モードに移行したことを記録する（ステップＳ４２）。ステップＳ４１又はＳ４２が終了した場合、及びフラグが”１”の場合には、ＭＰＵ１はステップＳ３１からの処理を再実行し、ビデオ通話の処理を続ける。
一方、１画面表示モードの場合には処理が異なる。ステップＳ３２で１画面表示モードである場合には、ＭＰＵ１はカメラ５で撮影した映像を縮小する。この縮小処理は、公知の画像処理技術で容易に実現できる。次に、ＭＰＵ１は、送受信回路１０で受信した映像と縮小した映像を合成し、１つの合成映像を生成する（ステップＳ３８）。画像の合成については、スーパーインポーズ機能など多くの公知技術を適用することができる。そして、ＭＰＵ１は合成映像を主表示装置３ａに表示する（ステップＳ３９）。合成画像を表示した後は、ＭＰＵ１は上述のようにステップＳ３４からの処理を実行する。
以上のように、ＭＰＵ１は副表示装置３ｂの開閉を検出し、検出結果に基づいて自動的に表示モードを選択することができる。また、この移動体通信装置では、通話中であっても動的に１画面表示モードと２画面表示モードとの切り替えを行うことができる。
（４）複数のアプリケーションの切り替え
上述（１）から（３）に説明したように、この移動体通信装置は、複数のアプリケーション（例えば、電子メール、機能設定、ビデオ再生、インターネットブラウザ）を実行できる。そして、副表示装置３ｂが閉状態から開状態になって使用可能になったとき、現在主表示装置３ａで実行されているアプリケーションの実行結果が副表示装置３ｂに表示される。この動作は、上述（１）から（３）でも説明したとおりである。従って、ユーザが副表示装置３ｂを引き出したとき、ＭＰＵ１が現在の使用状況に合わせた表示内容を自動選択し、副表示装置３ｂに表示する。そのため、ユーザにとって使いやすいユーザインタフェースを提供することができる。
（５）アクティブスクリーンの切り替え
次に、副表示装置３ｂの移動に伴う、アクティブスクリーンの制御について説明する。
図１４において、主表示装置３ａがメニューを表示し、副表示装置３ｂがメニューで選択された機能の実行結果を表示している。この移動体通信装置は、複数の表示装置を共通の操作ボタン８で制御している。従って、例えば、セレクタ８ａの入力信号がどちらの表示装置に影響するかが選択的に決められており、ユーザは操作ボタン８のうち切り替えキーを押すことによって、操作する表示装置を選択することができる。ここで、操作対象となっている表示装置をアクティブスクリーンと呼ぶ。
図１４は、アクティブスクリーンが主表示装置３ａである場合を示しており、画面下中央にセレクタ８ａを示す楕円が表示されている。また、アクティブスクリーンを強調表示するため、セレクタ８ａ及びソフトキー８ｂに対応するアイコン表示は、強調色を用いて表示される。
図１４に表示される開状態から副表示装置３ｂを閉状態にすると、ＭＰＵ１は閉状態に変化したことを検知し、図１５に示すようにアクティブスクリーンを主表示装置３ａに表示する。なお、メニューはもともと主表示装置３ａに表示されていたため、ここでは実質表示内容は変化しない。
一方、図１４で副表示装置３ｂがアクティブスクリーンであり、副表示装置３ｂにセレクタ８ａに対応する楕円のアイコンが表示された状態については、ＭＰＵ１は以下のように動作する。すなわち、図１６に示すように、開状態のときにアクティブスクリーンで表示されていたビデオ表示が、主表示装置３ａに表示されていたメニューに代わって表示される。
以上のように、移動体通信装置は、閉状態となったときにアクティブスクリーンの内容で主表示装置３ａを更新するため、閉状態となってもユーザは引き続き興味のある表示内容について操作を続けることができる。
以下に、図１７を用いて詳細動作について説明する。
まず、ＭＰＵ１がアプリケーションプログラムの実行を開始すると（ステップＳ４０）、上述と同様にキー入力を受け付ける（ステップＳ４１）。次に、ＭＰＵ１は、主表示装置３ａがアクティブスクリーンであるかを調べ、ＹＥＳの場合、受け付けたキー入力に基づき予めプログラムで決められた処理を実行し、結果を主表示装置３ａに表示する（ステップＳ４３）。続いて、ＭＰＵ１はフラグをチェックし（ステップＳ４４）、フラグの値に従ってステップＳ４５、Ｓ４７又はＳ４１を実行する。
フラグが”２”の場合には、閉状態に変化した場合であるので、ＭＰＵ１は副表示装置３ｂのバックライト電源をＯＦＦに設定する（ステップＳ４７）。なお、このとき、ＭＰＵ１は副表示装置３ｂで表示されていた内容、或いは、副表示装置３ｂ用に実行されていた処理をメモリ９に記憶する。そして、ステップＳ４１の処理を再実行する。
フラグが”０”の場合には、開状態に変化した場合であるので、ＭＰＵ１は副表示装置３ｂのバックライト電源をＯＮに設定する（ステップＳ４５）。続いて、２画面表示モード時の画面構成をメモリ９から読み出し、この結果に基づいて主表示装置３ａ及び副表示装置３ｂの表示内容を更新する（ステップＳ４６）。
次に、主表示装置３ａがアクティブスクリーンでない場合について説明する。ＭＰＵ１は、受け付けたキー入力に基づき予めプログラムで決められた処理を実行し、結果を副表示装置３ｂに表示する（ステップＳ４８）。続いて、ＭＰＵ１はフラグをチェックし（ステップＳ４９）、フラグの値が”１”の場合には、ステップＳ４１の処理を再実行する。また、フラグの値が”２”の場合には、ＭＰＵ１は副表示装置３ｂのバックライトの電源をＯＦＦに設定し（ステップＳ５０）、主表示装置３ａを副表示装置３ｂが表示していた表示内容で更新する（ステップＳ５１）。このとき、ステップＳ４７で説明したのと同様に、ＭＰＵ１は主表示装置３ａで何が表示され、どの処理が実行されていたかをメモリ９に記録する。また、ステップＳ４４、Ｓ４６、Ｓ４７、又はＳ５１の処理が終了すると、ＭＰＵ１はステップＳ４１の処理を再実行する。なお、アプリケーションの終了は、ステップＳ４３又はステップＳ４８で終了キーが押されたことをＭＰＵ１が検出した場合に実行される。
以上のような処理により、副表示装置３ｂが開閉されても常にアクティブスクリーンを表示することが可能となる。なお、上述の説明では、１つのアプリケーションを実行する場合について説明したが、複数のアプリケーションをそれぞれの表示装置で並列に実行することも可能である。そして、副表示装置３ｂが閉状態に変化した場合には、主表示装置３ａのハンドラ（リソース占有権）をアクティブスクリーンで実行されていたアプリケーションに引き渡し、アクティブスクリーンで実行されていなかった他のアプリケーションは、バックグランドで実行を続けるようにしてもよい。なお、バックグランドで実行を続ける場合には、副表示装置３ｂのハンドラは他のアプリケーションに委譲されるが、画面の更新はしても、しなくてもよい。
なお、複数のアプリケーションを並列に実行する場合には、主表示装置３ａに表示される内容と、副表示装置３ｂに表示される内容は必ずしも関連付けられてなくともよい。
また、バックライトの電源制御は必要ない場合には、実行しなくともよい。
（６）その他
また、移動体通信端末には、図１８〜２０に示すような動作も行う。
図１８は、待ち受け画面が表示されている際に、副表示装置３ｂを引き出すと、副表示装置３ｂがユーザが予め登録したアプリケーションを動作を説明している。ここでは、メール作成用のアプリケーションが表示されている。
図１９は、ビデオ通話機能を使って通話中に、ユーザが副表示装置３ｂを引き出した際の動作を説明している。ＭＰＵ１は、ビデオ通話中に使用できるオプション動作のリストをメニューとして副表示装置３ｂに表示している。
図２０は、インターネットブラウザを使用している際に、副表示装置３ｂが引き出された際の動作を説明している。ＭＰＵ１は、ユーザが初期設定したアドレスのデータをダウンロードし、副表示装置３ｂに表示している。
以上のように、ユーザインターフェースの優れた移動体通信装置について、説明したが、この発明は上述の説明に限定されない。
例えば、制御装置としてＭＰＵ１を例示したが、上述のような制御ができるのであれば他の制御手段を使用することができる。例えば、図１に記載の各回路を統合して、１つ又は複数のＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）で構成することもできる。また、汎用プロセッサを使わずに、専用回路を用いて実現することもできる。
また、各種デコーダは、専用ハードウェアでなく、ソフトウェアで実現することも可能である。
開閉センサ７は、スイッチのような実質的に２値の信号を出力するものでなく、多値或いはアナログ値を出力するセンサを使用してものでもよい。そして、単なる開閉のみならず、本体筐体若しくは主表示装置３ａに対する副表示装置３ｂ距離のを実質的に示す出力信号を得るようにしてもよい。センサは光センサを使用することもできる。また、副表示装置３ｂの位置の変化を検出できるものであれば、他のいかなる手段を用いてもよい。
上述（１）から（５）で説明した動作及び構成は、１つの移動体通信装置上で動作するものであるが、すべてが必須ではなく、必要な機能に応じて選択することができる。
送受信回路１０は、携帯電話のような広域の無線通信に限らず、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｉａ  Ｎｅｔｗｏｒｋ）、ブルートゥース（ＴＭ）のような比較的小さいエリアで使用される無線通信、或いはより広域の衛生通信用の回路でもよい。さらに、ソフトウェア無線のように、適宜、通信方式が変更できるものでもよい。
操作ボタン８は、入力デバイスの一例として説明したが、入力デバイスはボタン形状のものに限られず、トラックボール、棒を動かすことにより、座標を入力するもの、或いは、音声認識によるコマンド入力を行うものでもよい。音声認識については、多くの研究がされ或いは製品が出荷されている。例えば、カーナビゲーション装置に搭載されているような音声認識回路又はソフトウェアを使用することができる。また、カメラ５等の光学デバイスも入力デバイスとして使用できる。さらに、入力デバイスは、通信回路も使用できる。すなわち、短距離無線により他の機器から移動体通信装置を制御するとき、他の機器が命令或いはメニューの指示信号を送信し、この指示信号に従ってＭＰＵ１がメニューの更新をすることもできる。他の例としては、筐体の移動や傾きを検出するためにカメラ５の画像を使用したり傾斜センサを使用したりすることもできる。
表示装置は、液晶表示装置に限らず、文字又は映像を表示する他の表示デバイスを使用することができる。例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を複数の配列して１つの表示装置を構成することもでき、さらにＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）を使用することもできる。
また、移動可能な表示装置は、図３に示すようにスライドするものに限らない。例えば、二つ折り形に構成された筐体に設けられた表示装置で、ヒンジを中心に回転するものでもよい。図２１及び図２２にこの例を示す。図２１は移動体通信装置の正面図、図２２は側面図である。この図２１及び図２２において、図２と同一の符号は同一又は相当の部分を表している。副表示装置３ｂを指示する副筐体２１は、ヒンジ３０を介して本体筐体２０に開閉自在に接続されている。図２１（ａ）及び図２２（ａ）は、開いた状態を表し、図２１（ｂ）及び図２２（ｂ）は閉じた状態を表している。主表示装置３ａは、図２１（ｂ）に示すように、筐体を閉じた状態でも、副筐体２１に隠れずに使用することができる。副筐体２１は、図２１に示すように正面方向に回転するだけでなく、側面方向に回転し、副筐体２１収納時は、本体筐体２０の背面側に隠れるように構成してもよい。
また、複数の映像を合成する場合には、縮小処理は必須ではない。画面の大きさ及び合成する映像の大きさに従って適宜実行するかしないか決めることができる。なお、通信相手の映像及びカメラの映像の両方を縮小処理することもできる。
各アプリケーションプログラムは、複数のルーチンによって構成される。各アプリケーションプログラムは、同一のコンピュータプログラムに統合されていてもよいし、全く別個のプログラムとして構成されていてもよい。アプリケーションプログラムは、常にメモリ９に記憶されている必要はなく、送受信回路を介し、ネットワーク経由で他の機器からダウンロードすることができる。
上述の処理は、コンピュータで実行可能なプログラムによって実現することができる。コンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録することができ、また、無線通信によって移動体通信装置にダウンロードすることができる。
また、主表示装置３ａと副表示装置３ｂの大きさは、どちらが大きくともかまわない。
産業上の利用可能性
以上のように、本発明にかかる移動体通信装置、その表示制御方法並びにプログラムは、例えば、複数の表示装置を有する携帯電話、携帯情報端末等の移動体通信装置に用いるのに適している。
【図面の簡単な説明】
図１は、この発明の移動体通信装置の構成を示すブロック図である。
図２は、この発明の移動体通信装置の正面図である。
図３は、この発明の移動体通信装置の正面図である。
図４は、この発明の移動体通信装置の側面図である。
図５は、この発明の移動体通信装置の側面図である。
図６は、この発明の電子メール閲覧画面を示す図である。
図７は、この発明の表示制御方法を示すフローチャートである。
図８は、この発明の開閉検出処理を示すフローチャートである。
図９は、この発明の機能設定画面を示す図である。
図１０は、この発明の表示制御方法を示すフローチャートである。
図１１は、この発明のビデオ通話画面を示す図である。
図１２は、この発明のビデオ通話画面を示す図である。
図１３は、この発明のビデオ通話の表示切替処理を示すフローチャートである。
図１４は、この発明のアプリケーション実行画面を示す図である。
図１５は、この発明のアクティブスクリーンを示す図である。
図１６は、この発明のアクティブスクリーンを示す図である。
図１７は、この発明の表示制御方法を示すフローチャートである。
図１８は、この発明のアプリケーション実行画面を示す図である。
図１９は、この発明のアプリケーション実行画面を示す図である。
図２０は、この発明のアプリケーション実行画面を示す図である。
図２１は、この発明の移動体通信装置の正面図である。
図２２は、この発明の移動体通信装置の側面図である。
【図１】
2003077097.tif 000003
【図２】
2003077097.tif 000004
【図３】
2003077097.tif 000005
【図４】
2003077097.tif 000006
【図５】
2003077097.tif 000007
【図６】
2003077097.tif 000008
【図７】
2003077097.tif 000009
【図８】
2003077097.tif 000010
【図９】
2003077097.tif 000011
【図１０】
2003077097.tif 000012
【図１１】
2003077097.tif 000013
【図１２】
2003077097.tif 000014
【図１３】
2003077097.tif 000015
【図１４】
2003077097.tif 000016
【図１５】
2003077097.tif 000017
【図１６】
2003077097.tif 000018
【図１７】
2003077097.tif 000019
【図１８】
2003077097.tif 000020
【図１９】
2003077097.tif 000021
【図２０】
2003077097.tif 000022
【図２１】
2003077097.tif 000023
【図２２】
2003077097.tif 000024
【国際調査報告】
2003077097.tif 000025
2003077097.tif 000026
2003077097.tif 000027
2003077097.tif 000028