(57)【要約】【課題】グラフィック・ユーザ・インタフェースの部品操作を、ポインティングデバイスあるいはキーボードのいずれを用いても同様に行うことができるようにする。【解決手段】グラフィック・ユーザ・インタフェースの部品、例えばワンタッチダイヤルリスト１２１やアドレス帳ボタン１２３、番号入力エリア１２５、ダイヤルボタン１２６等に対するユーザ操作が行われ場合、このユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行う。部品が選択されたときは、選択された部品に対応する処理を行う。ユーザ操作を受け付ける操作入力部としてポインティングデバイスあるいはキーボードのいずれを用いた場合でも、グラフィック・ユーザ・インタフェースの部品操作を同様に行うことができる。【選択図】        図４
2007043629.tif 000002
【特許請求の範囲】
【請求項１】
グラフィック・ユーザ・インタフェースの部品を表示する表示部と、ユーザ操作を受け付ける操作入力部と、前記ユーザの操作に応じて前記部品に対応する処理を行う制御部とを有するインタフェース装置において、
前記制御部は、前記ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行い、部品が選択されたときに、該選択された部品に対応する処理を行う
ことを特徴とするグラフィック・ユーザ・インタフェース装置。
【請求項２】
前記制御部は、前記部品の状態を、前記指示する部品の切り換えと指示された部品の選択にのみ対応する状態に限定した
ことを特徴とする請求項１記載のグラフィック・ユーザ・インタフェース装置。
【請求項３】
前記部品に対応する処理は、切り換えと選択以外のユーザ操作を必要としない処理とする
ことを特徴とする請求項１記載のグラフィック・ユーザ・インタフェース装置。
【請求項４】
グラフィック・ユーザ・インタフェースの部品を表示する表示部と、ユーザ操作を受け付ける操作入力部と、前記ユーザの操作に応じて前記部品に対応する処理を行う制御部とを有するインタフェース装置における操作入力処理方法において、
前記制御部は、前記ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行う工程と、
前記部品が選択されたときに、該選択された部品に対応する処理を行う工程とを有する
ことを特徴とする操作入力処理方法。
【請求項５】
撮影部と、該撮像部で撮像を行うことにより得た映像信号を相手に送信し、該相手からの映像信号を受信する通信部と、前記映像信号に基づいて画像表示を行う表示部と、  ユーザ操作を受け付ける操作入力部と、制御部とを有する双方向コミュニケーション装置において、
前記表示部にグラフィック・ユーザ・インタフェースの部品を表示し、
前記制御部は、前記ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行い、部品が選択されたときに、該選択された部品に対応する処理として、少なくとも前記映像信号の通信処理を行う
ことを特徴とする双方向コミュニケーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、グラフィック・ユーザ・インタフェース装置と操作入力処理方法及び双方向コミュニケーション装置に関する。詳しくは、ユーザ操作に対して、グラフィック・ユーザ・インタフェースの選択可能とする部品の切り換えと、選択可能とされた部品の選択のみを行い、部品が選択されたときに、この選択された部品に対応する処理を行うことで、ポインティングデバイスあるいはキーボードのいずれを用いる場合でも、共通のグラフィック・ユーザ・インタフェースを用いて、例えば双方向コミュニケーションを可能とするものである。
【背景技術】
【０００２】
互いに離れた２つの地点において、個々の地点で撮影した映像を、ネットワーク経由で相手の地点に送信して表示させることにより、相手の顔を見ながら双方向にコミュニケーションを行えるようにしたシステム、例えばテレビ会議システムが普及しつつある。
【０００３】
このようなテレビ会議システムでは、例えば特許文献１のように、会議の開始前に、自分の会議室（第１の会議室）及び相手の会議室（第２の会議室）における会議出席者の個人情報を示すアイコンや、自分の会議室及び相手の会議室の機器を示すアイコンを表示したグラフィック・ユーザ・インタフェースが用いられている。
【０００４】
【特許文献１】特開２００１−３３１４２９号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、グラフィック・ユーザ・インタフェースを利用する場合、ユーザの操作を入力する手段として、ポインティングデバイスやキーボード、あるいはこれらと同様な機能を有するリモートコントロール装置等が用いられている。
【０００６】
キーボードを用いる場合、キー操作に応じた情報、例えば文字や数字あるいは記号等を入力することができる。また、キー操作に応じてカーソルを画面上で移動させて、グラフィック・ユーザ・インタフェースの所望の部品を指示・選択することもできる。一方、ポインティングデバイスを用いる場合、ポインタを画面上で移動させて、グラフィック・ユーザ・インタフェースの所望の部品を指示・選択することは可能であるが、文字や数字あるいは記号等をポインティングデバイスから直接入力することはできない。
【０００７】
このため、ポインティングデバイスとキーボードを利用可能とする場合、キーボードの使用を前提としたグラフィック・ユーザ・インタフェースと、ポインティングデバイスの使用を前提としたグラフィック・ユーザ・インタフェースを別個に設けることが行われる。また、ポインティングデバイスとキーボードの両方を使用することを前提として、ポインティングデバイスで操作する部品とキーボードで操作する部品を混在させてグラフィック・ユーザ・インタフェースを構成することも行われる。
【０００８】
しかし、キーボードの使用を前提としたグラフィック・ユーザ・インタフェースと、ポインティングデバイスの使用を前提としたグラフィック・ユーザ・インタフェースを別個に設けるものとした場合、グラフィック・ユーザ・インタフェースの設計工数や費用等が大きくなってしまう。また、ポインティングデバイスで操作する部品とキーボードで操作する部品を混在させると、ポインティングデバイスあるいはキーボードの一方のみを使用したとき、部品操作を行うことができない場合が生じてしまう。
【０００９】
そこで、この発明では、グラフィック・ユーザ・インタフェースの部品操作を、ポインティングデバイスあるいはキーボードのいずれを用いても、同様に行うことができるグラフィック・ユーザ・インタフェース装置と操作入力処理方法及び双方向コミュニケーション装置を提供するものである。
【課題を解決するための手段】
【００１０】
この発明に係るグラフィック・ユーザ・インタフェース装置と操作入力処理方法及び双方向コミュニケーション装置では、ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行い、選択された部品に対応する処理が行われる。また、部品の状態は、指示する部品の切り換えと指示された部品の選択にのみ対応する状態に限定されるものである。更に、部品に対応する処理は、切り換えと選択以外のユーザ操作を必要としない処理とされる。
【発明の効果】
【００１１】
この発明によれば、ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行い、選択された部品に対応する処理が行われるので、ユーザ操作を受け付ける操作入力部として、ポインティングデバイスあるいはキーボードのいずれを用いた場合であっても、グラフィック・ユーザ・インタフェースの部品操作を同様に行うことが可能となり、双方向コミュニケーション装置の操作や設定を容易に行うことができる。また、キーボードの使用を前提としたグラフィック・ユーザ・インタフェースと、ポインティングデバイスの使用を前提としたグラフィック・ユーザ・インタフェースを個々に設ける必要がないことから、グラフィック・ユーザ・インタフェースの設計を効率よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、双方向のコミュニケーションを行うシステム例えばテレビ会議システムで用いる双方向コミュニケーション装置１０の正面図である。
【００１３】
双方向コミュニケーション装置１０では、撮像部１１や表示部１２、マイクロホン１３、スピーカ１４等を一体に設ける。また、図示せずも、コーデックや通信部等も筐体内に内蔵する。この双方向コミュニケーション装置１０は、グラフィック・ユーザ・インタフェースを用いて動作切り換えや種々の設定等を可能とする。
【００１４】
図２は、双方向コミュニケーション装置１０の構成を示している。撮像部１１は、ＣＭＯＳ撮像素子やＣＣＤ撮像素子等を用いて構成されており、撮像画像の映像信号ＳＶcamを生成してＡ／Ｄ変換部２１に供給する。また、撮像部１１は、撮像方向可変機能やズーム機能を有しており、後述する制御部５０からの制御信号ＣＴによって、チルト動作やパン動作及びズーム比変更動作が行われる。
【００１５】
Ａ／Ｄ変換部２１は、映像信号ＳＶcamをディジタルの映像信号ＤＶcamに変換して、映像コーデック２３とスケーラ／ＯＳＤ（オンスクリーンディスプレイ）部２４に供給する。映像コーデック２３は、映像信号ＤＶcamの符号化（圧縮）を行うことで映像符号化送信信号ＮＴvを生成して通信部４０に供給する。また、通信部４０から供給された映像符号化受信信号ＮＲvの復号化（伸長）を行い、復号化によって得た映像信号ＤＶrをキャプチャ部２５と表示駆動部２８に供給する。
【００１６】
スケーラ／ＯＳＤ部２４は、映像信号ＤＶcamに基づく画像や後述する画像メモリ部２６に記憶した静止画のサイズを変更する処理、文字情報や色情報に基づく画像の生成処理を、後述する制御部５０からの制御信号ＣＴに基づいて行う。また、スケーラ／ＯＳＤ部２４は、生成した画像と映像信号ＤＶcamに基づく画像と静止画及びサイズを変更した画像等を必要に応じて用いることにより、トップ画面やアドレス帳画面及び種々のメニュー画面、相手の画像を表示してコミュニケーションを行う際のコミュニケーション画面を生成する処理等を、後述する制御部５０からの制御信号ＣＴに基づいて行う。更に、スケーラ／ＯＳＤ部２４は、メニュー画面等の種々の画面の映像信号ＤＶmを表示駆動部２８に供給する。
【００１７】
キャプチャ部２５は、映像コーデック２３から供給された映像信号ＤＶrの取り込みを行い、静止画信号ＤＶsを生成して画像メモリ部２６に供給する。画像メモリ部２６は、多数の静止画信号を記憶する容量を有しており、キャプチャ部２５から供給された静止画信号ＤＶsを記憶する。また記憶している静止画信号ＤＶsをスケーラ／ＯＳＤ部２４に供給する。
【００１８】
入力端子１５は、コンピュータ装置等（図示せず）で生成した画像を入力するためのものである。この入力端子１５にコンピュータ装置等から入力された映像信号ＤＶpは、入力画像処理部２７と表示駆動部２８に供給する。
【００１９】
入力画像処理部２７は通信部４０と接続されており、入力端子１５から供給された映像信号ＤＶpを通信部４０に供給する。また、入力画像処理部２７は、入力端子１５から供給された映像信号ＤＶpや通信部４０から供給された映像信号ＤＶqに基づいて新たな映像信号ＤＶnを生成して、表示駆動部２８に供給する。
【００２０】
表示駆動部２８は、映像コーデック２３から供給された映像信号ＤＶrやスケーラ／ＯＳＤ部２４から供給された映像信号ＤＶm、入力端子１５から供給された映像信号ＤＶp、入力画像処理部２７から供給された映像信号ＤＶnを、制御部５０から供給された制御信号ＣＴに基づき１あるいは複数選択して、選択した映像信号に基づき駆動信号ＤＲを生成して表示部１２に供給する。また、表示駆動部では選択した映像信号に基づく画像のサイズ変更等も必要に応じて行う。
【００２１】
表示部１２は、液晶表示素子やプラズマディスプレイパネルあるいは陰極線管等を用いて構成されており、供給された駆動信号ＤＲに基づき表示動作を行い、制御部５０からの指示に基づいた画像を表示する。
【００２２】
マイクロホン１３は、生成した音声信号ＳＡmicをＡ／Ｄ変換部３１に供給する。Ａ／Ｄ変換部３１は、音声信号ＳＡmicをディジタルの音声信号ＤＡmicに変換して、エコーキャンセラ３２を経て音声コーデック３３に供給する。音声コーデック３３は、供給された音声信号ＤＡmicを符号化（圧縮）を行うことで音声符号化送信信号ＮＴaを生成して通信部４０に供給する。また、音声コーデック３３は、通信部４０から供給された音声符号化受信信号ＮＲaの復号化（伸長）を行い、復号化によって得た音声信号ＤＡrを、エコーキャンセラ３２を介してＤ／Ａ変換部３４に供給する。Ｄ／Ａ変換部３４は、供給された音声信号ＤＡrをアナログの音声信号ＳＡoutに変換してスピーカ１４に供給する。スピーカ１４は、音声信号ＳＡoutに基づいて音声出力を行う。
【００２３】
通信部４０は、ネットワーク９０と接続されており、映像コーデック２３や音声コーデック３３から供給された信号や入力画像処理部２７から供給された信号を所望の相手の双方向コミュニケーション装置に供給する。また、自己宛の映像符号化受信信号ＮＲvを映像コーデック２３、自己宛の音声符号化受信信号ＮＲaを音声コーデック３３に供給する。
【００２４】
制御部５０は、操作入力部５１とメモリ部５２及び外部メモリインタフェース部５３と接続されている。操作入力部５１は、ユーザ操作を受け付けるものであり、ポインティングデバイスやキーボード等を用いて構成する。また、ポインティングデバイスやキーボード等の機能を有したリモートコントロール装置６０を用いる場合、操作入力部５１には、リモートコントロール装置６０からのコントロール信号を受信する受信部を設ける。この操作入力部５１では、ポインティングデバイスやキーボード等の操作に応じて、あるいは受信部で受信したコントロール信号に基づいて操作信号ＰＳを生成して制御部５０に供給する。
【００２５】
メモリ部５２は、書換え可能な不揮発性メモリで構成されており、会議を行う相手に関する相手先情報を記憶する。
【００２６】
外部メモリインタフェース部５３は、メモリカード等の記録メディア（図示せず）を双方向コミュニケーション装置１０に接続可能とするためのものである。この記録メディアに、相手先情報や静止画を登録しておけば、記録メディアを外部メモリインタフェース部５３に装着することで、メモリ部５２に登録していないプライベートな相手と会議を行うことが可能となる。また、プライベートな静止画を送信することも可能となる。更に、記録メディアに新たなプログラムを記憶しておくことで、双方向コミュニケーション装置１０の機能の更新や拡張も可能となる。
【００２７】
制御部５０は、操作入力部５１で生成された操作信号ＰＳやメモリ部５２に登録している相手先情報、外部メモリインタフェース部５３に装着した記録メディアに記憶している情報等を用いて制御信号ＣＴを生成して、この制御信号ＣＴによって各部を制御して、所望の相手とテレビ会議を行う。
【００２８】
また、制御部５０は、メモリ部５２や外部メモリインタフェース部５３に装着した記録メディアに登録されている相手先情報や画像メモリ部２６に記憶した静止画を用いるものとし、更に、スケーラ／ＯＳＤ部２４や表示駆動部２８の動作を制御して、表示部１２にグラフィック・ユーザ・インタフェースの部品を表示させる。更に、制御部５０は、操作入力部５１で受け付けられたユーザ操作に対して部品の指示や選択を行うことで、双方向コミュニケーション装置１０の動作切り換えや種々の設定等を可能とすることで、グラフィック・ユーザ・インタフェースを構成する。
【００２９】
上述のリモートコントロール装置６０が例えばキーボードの機能を有する場合、少なくともカーソルを移動させることで指示する部品を切り換えるカーソル移動キーと、カーソルで指示された部品を選択するための決定キーをリモートコントロール装置６０に設けるものとする。図３は、リモートコントロール装置６０の外観を示している。なお、図３では、カーソルを上下方向や左右方向に移動させるカーソル移動キー６１と、カーソルで指示された部品を選択するための決定キー６２のみを有する場合を示している。このリモートコントロール装置６０は、赤外線等を用いて操作されたキーを示すコントロール信号を送信するための無線送信部６３が設けられている。なお、カーソル移動キー６１は、上方向カーソル移動キー６１a、左方向カーソル移動キー６１b、下方向カーソル移動キー６１c、右方向カーソル移動キー６１dで構成されるものとする。
【００３０】
このように構成された双方向コミュニケーション装置１０では、グラフィック・ユーザ・インタフェースにおいて、ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行うものとして、ポインティングデバイス及びキーボートのいずれを用いる場合であっても部品操作を可能とする。
【００３１】
また、双方向コミュニケーション装置１０では、部品の状態を、指示する部品の切り換えと指示された部品の選択にのみ対応する状態に限定する。例えば、部品の状態は、ノーマル、フォーカスイン、プッシュ、セレクトの状態に限定する。ノーマルとは、指示前の状態であることを示している。フォーカスインとは、ポインタやカーソルで指示された状態であることを示している。プッシュとは、選択操作が行われたことを示しており、セレクトとは選択操作が行われて選択状態となっていることを示している。このように、部品の状態を限定することで、指示する部品の切り換えと指示された部品の選択のいずれかを正しく行うことが可能となり、例えばキーボードで文字や数字あるいは記号の入力操作等が行われても、この操作を無効にできる。
【００３２】
更に、部品の状態として、ディスエイブルすなわち部品が無効となっており指示することができない状態を設けるものとすれば、無効とされている部品の指示や選択が行われてしまうことを防止できる。
【００３３】
図４は、表示部１２に表示されたグラフィック・ユーザ・インタフェース画面を示している。グラフィック・ユーザ・インタフェース画面では、複数の部品が用いられている。以下、表示されている各部品について説明する。
【００３４】
ワンタッチダイヤルリスト１２１は、相手をリストに登録しておくことで、登録した相手との会議を容易に開始するためのものである。図４では、グループ毎に６個の表示枠「Ｐ１」〜「Ｐ６」を設けており、表示枠に例えば相手のサムネイル画像を表示することで、ワンタッチダイヤルリスト１２１から所望の相手を容易に選択することが可能となる。
【００３５】
グループ選択ボタン１２２は、ワンタッチダイヤルリスト１２１に表示される相手のリストをグループ毎に切り換えるためのボタンである。
【００３６】
アドレス帳ボタン１２３は、登録されている相手を名前順あるいはアドレス順等に一覧表示したアドレス帳画面を表示部１２の画面上に表示させて、所望の相手を容易に選択可能とするものである。
【００３７】
発信着信履歴ボタン１２４は、発信や着信等の通信ログを表示させるためのものである。
【００３８】
番号入力エリア１２５は、アドレス帳に登録されていない相手と接続する場合、相手の接続先情報（例えば電話番号やＩＰアドレス等）を直接入力するためのものである。ここで相手の接続先情報を入力する場合は、後述するようにソフトウェアキーボードを用いるものとする。
【００３９】
ダイヤルボタン１２６は、番号入力エリア１２５に入力された接続先情報を用いて接続を開始させるものである。
【００４０】
メニューバー表示ボタン１２７は、設定メニューを表示させるためのものである。設定メニューとしては、例えば、発信時に使用する回線や圧縮方式等の属性を設定するための発信設定メニュー、着信時に自動応答とするか手動応答とするか等の属性を設定するための着信設定メニュー、自己の名称や日時等を設定するための一般設定メニュー、その他に音声設定メニューやネットワーク設定メニュー等が設けられる。
【００４１】
映像表示エリア１２８は、相手と接続が行われていないときは自己の撮像画像を表示する。また、相手と接続されたのちは相手の撮像画像を表示する。
【００４２】
システム状況インジケータ１２９は、双方向コミュニケーション装置１０の接続先情報、記録メディアの装着状態等に関する情報を表示する。
【００４３】
次に、ポインティングデバイスを用いて操作を行った場合の動作と、キーボードを用いて操作を行った場合の動作を個々に説明する。なお、ポインティングデバイスを用いた場合における画面上の位置表示をポインタ、キーボードを用いた場合における画面上の位置表示をカーソルとして説明する。
【００４４】
ポインティングデバイスを用いた場合、制御部５０は、ポインタＰoを図５Ａに示すようにワンタッチダイヤルリスト１２１の領域の位置としてフォーカス状態とするユーザ操作が行われたとき、すなわちワンタッチダイヤルリスト１２１を指示するユーザ操作が行われたとき、図５Ｂに示すように、ワンタッチボタンリストに登録されている相手の情報を示すポップアップ表示１３１を行う。ポップアップ表示１３１では、例えば相手の情報として、登録されている相手の名称や接続先を表示する。
【００４５】
その後、制御部５０は、ポインタＰoによってポップアップ表示１３１の中から所望の相手の情報を指示するユーザ操作が行われたとき、指示された相手に対するポップアップメニュー表示１３２を行い、このポップアップメニュー表示内の項目のみを指示可能とし、他のボタン等はディスエイブルの状態として指示できないようにする。
【００４６】
ポップアップメニュー表示１３２では、発信ボタン１３２aとワンタッチ編集ボタン１３２b及びワンタッチ削除ボタン１３２cが設けられている。発信ボタン１３２aは、ポップアップメニュー表示１３２が行われた相手の接続先情報を用いて、接続を開始する処理を行うためのものである。ワンタッチ編集ボタン１３２bは、ポップアップメニュー表示１３２が行われた相手に関する情報を編集するためのものである。このワンタッチ編集ボタン１３２bが選択されたとき、制御部５０は、相手に関する情報の編集画面（図示せず）を表示して、後述するソフトウェアキーボードによって情報の修正や追加あるいは削除を可能とする。なお、情報の編集か行われたときには、アドレス帳の情報も連動して修正して、情報の整合をはかる。ワンタッチ削除ボタン１３２cは、ポップアップメニュー表示１３２が行われた相手をワンタッチダイヤルリスト１２１から削除するためのものである。
【００４７】
ここで、発信ボタン１３２aが指示されている状態で、ポインティングデバイスの操作キーがプッシュ操作されたとき、すなわち指示されている発信ボタン１３２aの選択が行われたとき、制御部５０は発信操作が行われたものとして、ポップアップメニュー表示１３２が行われている相手に対して接続開始処理を行い、接続後に相手の映像信号が供給されてきたときには、映像表示エリア１２８に相手の撮像画像を表示させる。
【００４８】
次に、番号入力エリア１２５が指示されている状態で、ポインティングデバイスの操作キーがプッシュ操作されたとき、すなわち指示されている番号入力エリア１２５の選択が行われたとき、制御部５０は、図５Ｃに示すようにソフトウェアキーボード１４１を表示する。ソフトウェアキーボード１４１は、例えば仮名入力と英数／記号入力の画面切り換えが可能とされており、所望の文字や記号の位置にポインタＰoをフォーカスさせて操作キーをプッシュ操作することで、フォーカスされている文字や記号等を入力することができる。
【００４９】
このソフトウェアキーボードを利用して相手の接続先情報の入力が完了したのち、ダイヤルボタン１２６を指示して選択する操作が行われたとき、制御部５０は、番号入力エリア１２５に入力されている接続先情報を用いて接続開始処理を行う。
【００５０】
映像表示エリア１２８が指示されている状態で、ポインティングデバイスの操作キーがプッシュ操作されたとき、すなわち指示されている映像表示エリア１２８の選択が行われたとき、制御部５０は、図５Ｄに示すようにカメラ調整枠表示１５１を表示して、この表示を利用して撮像部１１の撮像方向や画角調整を可能とする。ここで、カメラ調整枠表示１５１に設けられた上向き表示１５１aを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御して撮像方向を上方向にチルト動作させる。また、下向き表示１５１cを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御して撮像方向を下方向にチルト動作させる。
【００５１】
カメラ調整枠表示１５１に設けられた左向き表示１５１bを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御しての撮像方向を左方向にパン動作させる。また、右向き表示１５１dを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御して撮像方向を右方向にパン動作させる。
【００５２】
また、カメラ調整枠表示１５１には、ズーム調整表示が設けられており、ズーム調整表示におけるワイド表示１５１eを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御してズーム倍率を小さくすることで画角を広げる。また、テレ表示１５１fを指示したのち選択するユーザ操作が行われたとき、制御部５０は、撮像部１１を制御してズーム倍率を大きくすることで被写体を大きく表示させる。なお、表示１５１gはズーム位置を示す表示である。
【００５３】
このように、ユーザ操作に応じてポインタＰoの位置を移動させて、指示する部品の切り換えを行い、指示されている部品を、ポインティングデバイスのキー操作によって選択することで、双方向コミュニケーション装置１０の操作や設定を行うことができる。
【００５４】
次に、キーボード、例えば上述のようにキーボード機能を有したリモートコントロール装置６０を用いた場合の動作について説明する。最初のトップ画面では、図６Ａに示すように、例えばカーソルＫsをアドレス帳ボタン１２３の位置に設定する。
【００５５】
左方向カーソル移動キー６１bの操作が行われたとき、制御部５０は、図６Ｂに示すようにカーソルＫsをアドレス帳ボタン１２３からワンタッチダイヤルリスト１２１に移動して、ワンタッチダイヤルリスト１２１を指示する。その後、決定キー６２が操作されたとき、制御部５０は、ワンタッチボタンリストに登録されている相手の情報を示すポップアップ表示１３１を行う。ポップアップ表示１３１が行われているときに、上方向カーソル移動キー６１aや下方向カーソル移動キー６１cの操作が行われたとき、制御部５０は、登録されている相手を順次切り換えて指示するものとし、図６Ｃに示すように、指示された相手に対するポップアップメニュー表示１３２を行う。更に、このポップアップメニュー表示内の項目のみを指示可能とし、他のボタン等はディスエイブルの状態として指示できないようにする。
【００５６】
ポップアップ表示１３１が行われているときに、左方向カーソル移動キー６１bや右方向カーソル移動キー６１dの操作が行われた場合、制御部５０は、ユーザ操作に応じてカーソルＫsを移動して、発信ボタン１３２a、ワンタッチ編集ボタン１３２b、ワンタッチ削除ボタン１３２cを順次サイクリックに切り換えて指示する。ここで、発信ボタン１３２aが指示されている状態で、決定キー６２が操作されたとき、すなわち指示されている発信ボタン１３２aの選択が行われたとき、制御部５０は発信操作が行われたものとして、ポップアップメニュー表示１３２が行われている相手に対して接続開始処理を行い、接続後に相手の映像信号が供給されてきたときには、映像表示エリア１２８に相手の撮像画像を表示させる。
【００５７】
図６Ａに示すように、カーソルＫsがアドレス帳ボタンの位置とされて右方向カーソル移動キー６１dの操作が行われた場合、制御部５０は、図６Ｄに示すように、カーソルＫsを番号入力エリア１２５に移動して、番号入力エリア１２５を指示する。更に、番号入力エリア１２５が指示されている状態で、決定キー６２が操作されたとき、すなわち指示されている番号入力エリア１２５の選択が行われたとき、制御部５０は、図６Ｅに示すようにソフトウェアキーボード１４１を表示する。ソフトウェアキーボード１４１は、例えば仮名入力と英数／記号入力の画面切り換えが可能とされており、所望の文字や記号等の位置にカーソルＫsを移動させて決定キーを操作することで、カーソルＫsが指示している文字や記号等の入力を行うことができる。また、ソフトウェアキーボードの動作を終了させる。
【００５８】
このソフトウェアキーボードを利用して相手の接続先情報の入力が完了したのち、ダイヤルボタン１２６を指示して選択する操作が行われたとき、制御部５０は、番号入力エリア１２５に入力されている接続先情報を用いて接続開始処理を行う。
【００５９】
図６Ａに示すように、カーソルＫsがアドレス帳ボタンの位置とされて上方向カーソル移動キー６１aの操作が行われた場合、制御部５０は、図６Ｆに示すように、カメラ調整枠表示１５１を表示して、このカメラ調整枠表示１５１をカーソルＫsで指示する。更に、カメラ調整枠表示１５１が指示されている状態で決定キー６２が操作されたとき、すなわち指示されているカメラ調整枠表示１５１の選択が行われたとき、制御部５０は、カメラ調整枠表示１５１を利用して撮像部１１の撮像方向や画角調整を可能とする。ここで、カメラ調整枠表示１５１の選択が行われたとき、カーソルＫsは、例えば上向き表示１５１a、左向き表示１５１b、下向き表示１５１c、右向き表示１５１dのいずれかの位置とする。また、カーソル移動キー６１のキー操作に応じて、上向き表示１５１a、左向き表示１５１b、下向き表示１５１c、右向き表示１５１d、ワイド表示１５１e、テレ表示１５１fのいずれかを指示可能とする。
【００６０】
カメラ調整枠表示１５１に設けられた上向き表示１５１aを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御して撮像方向を上方向にチルト動作させる。また、下向き表示１５１cを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御して撮像方向を下方向にチルト動作させる。
【００６１】
カメラ調整枠表示１５１に設けられた左向き表示１５１bを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御しての撮像方向を左方向にパン動作させる。また、右向き表示１５１dを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御して撮像方向を右方向にパン動作させる。
【００６２】
更に、ワイド表示１５１eを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御してズーム倍率を小さくすることで画角を広げる。また、テレ表示１５１fを指示したのち選択するユーザ操作がリモートコントロール装置６０で行われたとき、制御部５０は、撮像部１１を制御してズーム倍率を大きくすることで被写体を大きく表示させる。
【００６３】
このように、カーソル移動キー６１のユーザ操作に応じてカーソルＫsの位置を移動させて、指示する部品の切り換えを行い、指示されている部品を、決定キー６２によって選択することで、双方向コミュニケーション装置１０の操作や設定を行うことができる。
【００６４】
ところで、ポインティングデバイスあるいはキーボードのいずれを用いても実行可能な動作は、図５と図６に示すように、アドレス帳を利用して所望の相手と双方向コミュニケーションを行う動作に限られるものではない。次に、ポインティングデバイスあるいはキーボードのいずれを用いても実行可能な動作として、メニュー選択動作について説明する。
【００６５】
図７は、ポインティングデバイスを用いたメニュー選択動作を示している。ポインティングデバイスを用いた場合、制御部５０は、ポインタＰoをメニューバー表示ボタン１２７の領域の位置としてフォーカス状態としたのちプッシュ操作が行われたとき、すなわちメニューバー表示ボタン１２７を選択するユーザ操作が行われたとき、図７Ａに示すように、ワンタッチダイヤルリスト１２１に換えて、メニューバー表示２００を行う。
【００６６】
メニューバー表示２００には、カメラコントロールボタン２０１、ステータス＆情報ボタン２０２、静止画ボタン２０３、記録メディア装着表示２０４、設定ボタン２０５が設けられている。カメラコントロールボタン２０１は、図５Ｄに示すようにカメラ調整枠表示１５１等を表示して、この表示を利用することで撮像部１１の撮像方向や画角調整を可能とするためのものである。ステータス＆情報ボタン２０２は、双方向コミュニケーション装置１０についての情報や通信中の回線の状態等を表示させるためのものである。静止画ボタン２０３は、通信中の画像を静止画として外部メモリインタフェース部５３に装着された記録メディアに記憶させるものとしたり、記録メディアに記憶されている静止画を表示させるためのものである。記録メディア装着表示２０４は、外部メモリインタフェース部５３に記録メディアが装着されているか否か識別可能とする表示である。設定ボタン２０５は、双方向コミュニケーション装置１０の種々の設定や、通信を行うための設定、画面表示設定等を行うためのものである。
【００６７】
ポインタＰoを、図７Ｂに示すようにメニューバー表示２００の位置とするユーザ操作が行われたとき、制御部５０は、カメラコントロールボタン２０１、ステータス＆情報ボタン２０２、静止画ボタン２０３、記録メディア装着表示２０４及び設定ボタン２０５の機能を説明するポップアップ表示２１０を行う。
【００６８】
その後、制御部５０は、ポインタＰoをポップアップ表示２１０のいずれかのボタン位置としてフォーカス状態とするユーザ操作が行われたとき、すなわちポインタＰoによっていずれかのボタンを指示するユーザ操作が行われたとき、指示されたボタンに対するポップアップメニュー表示を行い、このポップアップメニュー表示内の項目のみを指示可能とし、他のボタン等はディスエイブルの状態として指示できないようにする。例えば、設定ボタン２０５が指示されたときには、図７Ｃに示すように、設定ボタン２０５に対するポップアップメニュー表示２２０を行い、他のボタン等はディスエイブルの状態とする。
【００６９】
ポップアップメニュー表示２２０では、着信設定ボタン２２１、機器設定ボタン２２２、音声設定ボタン２２３、ネットワーク設定ボタン２２４、通信モード設定ボタン２２５、管理者用設定ボタン２２６、ディスプレイ設定ボタン２２７が設けられている。着信設定ボタン２２１は、着信時の動作を設定するためのものである。機器設定ボタン２２２は、 時刻設定やインジケータ表示等機器に関する設定を行うためのものである。音声設定ボタン２２３は、マイクなど音声に関する設定を行うためのものである。ネットワーク設定ボタン２２４は、ネットワークに関する設定やＳＩＰ(Session Initiation Protocol)等の通話制御プロトコルに関する設定を行うためのものである。通信モード設定ボタン２２５は、映像や音声の圧縮方式を選択するためのものである。管理者用設定ボタン２２６は、管理者のみに限定されている設定項目に対して設定を行うときに用いられるものである。ディスプレイ設定ボタン２２７は、画質や表示モードを設定するためのものである。
【００７０】
ここで、例えばポインタＰoをポップアップメニュー表示２２０の機器設定ボタン２２２の位置としてフォーカス状態としたのちプッシュ操作が行われたとき、すなわち機器設定ボタン２２２を選択するユーザ操作が行われたとき、制御部５０は、図７Ｄに示すように、機器設定メニュー表示２３０を表示させて、種々の項目を設定可能とする。
【００７１】
このように、ユーザ操作に応じてポインタＰoの位置を移動させて、指示する部品の切り換えを行い、指示されている部品を、ポインティングデバイスのキー操作によって選択することで、双方向コミュニケーション装置１０に関する種々の設定を行うことができる。
【００７２】
次に、キーボードを用いたメニュー選択動作について図８を用いて説明する。最初のトップ画面では、例えばカーソルＫsをアドレス帳ボタン１２３の位置に設定する。ここで、下方向カーソル移動キー６１cの操作が行われたとき、制御部５０は、カーソルＫsをアドレス帳ボタン１２３からメニューバー表示ボタン１２７に移動して、メニューバー表示ボタン１２７を指示する。その後、決定キー６２が操作されたとき、制御部５０は、メニューバー表示ボタン１２７を選択するユーザ操作が行われたものとして、図８Ａに示すように、ワンタッチダイヤルリスト１２１に換えて、メニューバー表示２００を行う。
【００７３】
メニューバー表示２００が行われているときに、上方向カーソル移動キー６１aの操作が行われた場合、カーソルＫsをメニューバー表示２００内の位置に移動し、図８Ｂに示すように、ボタンや表示の機能を説明するポップアップ表示２１０を行う。また、上方向カーソル移動キー６１aや下方向カーソル移動キー６１cの操作に応じて、メニューバー表示２００内に設けられているボタンや表示を順次切り換えて指示する。
【００７４】
ここで、カーソルＫsを所望のボタンの位置として所定時間が経過したとき、あるいはカーソルＫsを所望のボタンの位置として決定キー６２が操作されたとき、制御部５０は、カーソルＫsが位置するボタンに対するポップアップメニュー表示を行う。例えば、カーソルＫsが設定ボタン２０５の位置とされていたときには、図７Ｃに示す場合と同様に、設定ボタン２０５に対するポップアップメニュー表示２２０を行う。また、ポップアップメニュー表示２２０が行われているときに、右方向カーソル移動キー６１dが操作された場合、図７Ｃに示す場合と同様に、カーソルＫsをポップアップメニュー表示２２０の例えば最初の着信設定ボタン２２１の位置に移動する。
【００７５】
カーソルＫsがポップアップメニュー表示２２０の位置されている状態で、上方向カーソル移動キー６１aや下方向カーソル移動キー６１cの操作が行われた場合、制御部５０は、ユーザ操作に応じてカーソルＫsを移動して、ポップアップメニュー表示２２０内のボタンを順次サイクリックに切り換えて指示する。
【００７６】
ここで、カーソルＫsが機器設定ボタン２２２の位置とされているときに決定キー６２が操作された場合、すなわちカーソルＫsによって機器設定ボタン２２２が指示されているときに、機器設定ボタン２２２を選択する操作が行われたとき、制御部５０は、図８Ｄに示すように、機器設定メニュー表示２３０を表示させて、種々の項目を設定可能とする。
【００７７】
このように、メニューバー表示２００やポップアップメニュー表示２２０や機器設定メニュー表示２３０等を階層的に表示することで、画面上の表示面積を大きく占有することなく、効率よく種々の操作や設定を行うことができる。
【００７８】
また、上述のように、ポインティングデバイスやキーボードを用いて操作や設定を行い、所望の相手と双方向コミュニケーションを行っているときは、例えば図９に示す通話画面を表示部１２に表示する。なお、図９では、メニューバー表示２００が表示されている状態を示している。
【００７９】
通話画面は、複数の表示画面で構成されている。親画面３００では、自画像や相手画像あるいは記録メディアに記録されている静止画像や相手から送信されてきた静止画像等のいずれかを表示する。あるいは、これらの画像を切り換え可能に表示する。また、子画面３１０では、例えば親画面３００とは異なる画面の表示を行う。なお、図９では、親画面３００として静止画像３０１、子画面３１０として、自画像３１１や相手画像３１２を表示した場合を示している。自画像３１１の表示では、上述のカメラ調整枠表示を合わせて表示することで、自画像を撮像するときの撮像方向の調整が可能となる。
【００８０】
また、通話画面では、切断ボタン３２１、マイクスイッチボタン３２２、記録メディア表示３２３、通信品質表示３２４、マイクレベル表示３２５、通話経過時間表示３２６が設けられている。切断ボタン３２１は、通話を切断するためのものであり、マイクスイッチボタン３２２は、マイク機能をオン状態あるいはオフ状態に切り換えるためのものである。記録メディア装着表示３２３は、上述の記録メディア装着表示２０４と等しいものである。また、通話経過時間表示３２６は、通話経過時間を示すものである。
【００８１】
通信品質表示３２４は、通信品質状態を識別可能とするものである。通信部４０では、例えばパケットエラーレートを測定して、測定結果を表示駆動部２８あるいは制御部５０に供給して、通信品質表示３２４の表示制御を行う。通信品質表示３２４は、例えば赤色と黄色と緑色で区分したバー表示として、パケットエラーレートが良好であるときには、赤色と黄色と緑色のバーを全て表示する。パケットエラーレートが悪化したときには、表示するバーの数を減少させて、例えば赤色と黄色で区分した部分のバーを表示し、パケットエラーレートが更に悪化したときには赤色で区分した部分のバーのみを表示させる。また、パケットエラーレートが更に悪化したときには、バーを表示しないものとする。このように表示するバーの数や色を通信品質状態に応じて制御することで、通信品質状態を容易に識別できる。
【００８２】
マイクレベル表示３２５は、マイク機能がオン状態とされているとき、マイク信号のレベルを表示する。このマイクレベル表示３２５を利用して、マイク信号のレベルが適正となるように、マイクロホン１３に近づきあるいは離れたり、マイク信号のゲイン調整を行うことで、適正な信号レベルの音声信号を相手先に送信できる。なお、通話画面の切断ボタン３２１、マイクスイッチボタン３２２もポインティングデバイスやキーボード等を用いて指示あるいは選択可能とする。なお、通話画面では、メニューバー表示２００に画面のレイアウトを設定するための画面レイアウト設定ボタン２０７が設けられている。
【００８３】
アドレス帳を利用して所望の相手と双方向コミュニケーションを行う動作やメニュー選択動作において、画面上に表示するワンタッチダイヤルリスト１２１やポップアップメニュー表示１３２，２２０、メニューバー表示２００、ポップアップ表示２１０等は透過表示とする。このように透過表示とすれば、ワンタッチダイヤルリスト１２１やポップアップメニュー表示１３２，２２０、メニューバー表示２００、ポップアップ表示２１０等が表示されても、下層の画面を判別することが可能となる。
【００８４】
以上のように、ユーザ操作に対して、指示する部品の切り換えと指示された部品の選択のいずれかを選択的に行うものとすれば、ポインティングデバイスあるいはキーボードのいずれを用いた場合であっても、グラフィック・ユーザ・インタフェースの部品操作を同様に行うことが可能となり、双方向コミュニケーション装置の操作や設定を容易に行うことができる。また、ポインティングデバイスを用いる場合のグラフィック・ユーザ・インタフェースと、キーボードを用いる場合のグラフィック・ユーザ・インタフェースを個々に設ける必要がないので、グラフィック・ユーザ・インタフェースの設計を効率よく行うことができ、設計期間の長期化や設計工数が増大してしまうことを防止できる。更に双方向コミュニケーション装置を安価に提供することも可能となる。
【００８５】
なお、上述のグラフィック・ユーザ・インタフェースで用いる部品や部品の配置、ポインタＰoやカーソルＫsを操作したときの動作は例示的なものであり、上述の形態に限定されるものでないことは勿論である。
【図面の簡単な説明】
【００８６】
【図１】双方向コミュニケーション装置の外観を示す図である。
【図２】双方向コミュニケーション装置の構成を示す図である。
【図３】リモートコントロール装置を示す図である。
【図４】グラフィック・ユーザ・インタフェース画面を示す図である。
【図５】ポインティングデバイスを用いたときの動作を説明するための図である。
【図６】キーボードを用いたときの動作を説明するための図である。
【図７】ポインティングデバイスを用いたときのメニュー選択動作を説明するための図である。
【図８】キーボードを用いたときのメニュー選択動作を説明するための図である。
【図９】通話画面を示す図である。
【符号の説明】
【００８７】
１０・・・双方向コミュニケーション装置、１１・・・撮像部、１２・・・表示部、１３・・・マイクロホン、１４・・・スピーカ、１５・・・入力端子、２１，３１・・・Ａ／Ｄ変換部、２３・・・映像コーデック、２４・・・スケーラ／ＯＳＤ部、２５・・・キャプチャ部、２６・・・画像メモリ部、２７・・・入力画像処理部、２８・・・表示駆動部、３２・・・エコーキャンセラ、３３・・・音声コーデック、３４・・・Ｄ／Ａ変換部、４０・・・通信部、５０・・・制御部、５１・・・操作入力部、５２・・・メモリ部、５３・・・外部メモリインタフェース部、６０・・・リモートコントロール装置、６１・・・カーソル移動キー、６２・・・決定キー、６３・・・無線送信部、９０・・・ネットワーク、１２１・・・ワンタッチダイヤルリスト、１２２・・・グループ選択ボタン、１２３・・・アドレス帳ボタン、１２４・・・発信着信履歴ボタン、１２５・・・番号入力エリア、１２６・・・ダイヤルボタン、１２７・・・メニューバー表示ボタン、１２８・・・映像表示エリア、１２９・・・システム状況インジケータ、１３１，２１０・・・ポップアップ表示、１３２，２２０・・・ポップアップメニュー表示、１３２a・・・発信ボタン、１３２b・・・ワンタッチ編集ボタン、１３２c・・・ワンタッチ削除ボタン、１４１・・・ソフトウェアキーボード、１５１・・・カメラ調整枠表示、２００・・・メニューバー表示、２０１・・・カメラコントロールボタン、２０２・・・情報ボタン、２０３・・・静止画ボタン、２０４，３２３・・・記録メディア装着表示、２０５・・・設定ボタン、２０７・・・画面レイアウト設定ボタン、２２１・・・着信設定ボタン、２２２・・・機器設定ボタン、２２３・・・音声設定ボタン、２２４・・・ネットワーク設定ボタン、２２５・・・通信モード設定ボタン、２２６・・・管理者用設定ボタン、２２７・・・ディスプレイ設定ボタン、２３０・・・機器設定メニュー表示、３００・・・親画面、３０１・・・静止画像、３１０・・・子画面、３１１・・・自画像、３１２・・・相手画像、３２１・・・切断ボタン、３２２・・・マイクスイッチボタン、３２５・・・マイクレベル表示、３２６・・・通話経過時間表示
【図１】
2007043629.tif 000003
【図２】
2007043629.tif 000004
【図３】
2007043629.tif 000005
【図４】
2007043629.tif 000006
【図５】
2007043629.tif 000007
【図６】
2007043629.tif 000008
【図７】
2007043629.tif 000009
【図８】
2007043629.tif 000010
【図９】
2007043629.tif 000011