(57)【要約】【課題】端末上で他の端末から送られる画像を見ながら画像の状態を制御でき使い勝手が向上する無線携帯端末を提供する。【解決手段】画像を撮影するカメラ部１０５と、画像を表示する表示部１０４と、利用者が操作するポインティングデバイス１１４と、カメラ部１０５を動かす動作機構と、画像を送受信する機能とを有する無線携帯端末１００において、ポインティグデバイス１１４の操作を受けて、相手側端末１０１のカメラ部１１３の状態を調整する制御コマンドを相手側端末１０１に送信する。【選択図】        図１
2005027096.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影するカメラ部と、画像を表示する表示部と、利用者が操作するポインティングデバイスと、カメラ部を動作させる動作機構と、画像を送受信する機能とを有する無線携帯端末において、
前記ポインティグデバイスの操作を受けて、相手側端末のカメラ部の状態を調整する制御コマンドを該相手側端末に送信することを特徴とする無線携帯端末。
【請求項２】
請求項１記載の無線携帯端末において、
受信した相手側端末からの制御コマンドにより自己端末のカメラ部の状態を調整する機能を有することを特徴とする無線携帯端末。
【請求項３】
請求項１又は２に記載の無線携帯端末において、
上記カメラ部の動作機構は、端末自体を例えば上下左右に回転させる機構であることを特徴とする無線携帯端末。
【請求項４】
請求項１乃至３のいずれか１項に記載の無線携帯端末において、
上記カメラ部の動作機構は、端末に外付けされることを特徴とする無線携帯端末。
【請求項５】
請求項４記載の無線携帯端末において、
外付けされたカメラ部の動作機構は、充電機能を備えることを特徴とする無線携帯端末。
【請求項６】
請求項１記載の無線携帯端末において、
画像ストリームを送受信するプロトコルと、カメラ部の制御情報を送受信するプロトコルとを有し、各々のプロトコル経由で互いにカメラ部制御コマンドとカメラ画像の送受信を行い、利用者は、表示部で相手側端末から送信される画像を見ながら該相手側端末のカメラ部を制御する操作を行うことができることを特徴とする無線携帯端末。
【請求項７】
請求項１記載の無線携帯端末において、
高画素撮像素子を装備し、該撮像素子の中の一部を切り出して標準画像とし、その切り出し位置を変更することで回転、ズーム、パーン等のカメラ動作と同様の効果を得る機能を有することを特徴とする無線携帯端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、無線携帯端末であり、特に画像を撮影するカメラ部を有する携帯端末を用いた画像データ送受信に関する。
【０００２】
【従来の技術】
近年、携帯電話の普及とデータ通信速度の向上によって、特許文献１や特許文献２で開示されているような端末間で画像データを交換する携帯テレビ電話のシステムが社会的に認知されつつある。またこれを実際に実現する手段としては、ＦＯＭＡのような第３世代サービスに見られるように携帯端末に付随するカメラによって撮影された画像（動画・静止画）をデジタルデータとしてＭＰＥＧ等の規格に応じて圧縮処理をした後、各通信方式に応じて変調され相手側の端末に送る方法が一般的である。
【０００３】
【特許文献１】
特開平８−８８８４１号公報
【特許文献２】
特開平１０−６５７８０号公報
【０００４】
【発明が解決しようとする課題】
現在の携帯端末を用いた画像交換システムでは、互いの端末がそれぞれ人間により操作されることを前提としているため端末に装備されたカメラが自動で動作することは考慮されていない。そのため、画像を見ながら画角等を変更したい場合、離れた場所に設置されたカメラ付き携帯端末に対して遠隔操作を行う方法がなく、そのような用途では携帯端末とは別に専用のカメラを設置して端末同士の無線通信とは別手段でカメラをコントロールする必要があった。
【０００５】
本発明は、従来の問題を解決するものであり、端末上で他の端末から送られる画像を見ながら画像の状態を制御でき使い勝手が向上する無線携帯端末を提供することを目的とする。
【０００６】
【課題を解決するための手段】
カメラ付き携帯端末同士の通信において、新たにカメラ制御のプロトコルを考案し、離れた位置にある携帯端末のカメラを操作して画角、倍率、画像の解像度、画像ストリームのデータレート等を離れた携帯端末からコントロールできるようにする。これにより専用カメラを設置しなくても同型のカメラ付き端末を２台用意するだけで、互いに画像を見る側からの画面制御が可能となり、例えば監視用途として使い勝手が向上する。
【０００７】
即ち、本発明は、画像を撮影するカメラ部と、画像を表示する表示部と、利用者が操作するポインティングデバイスと、カメラ部を動作させる動作機構と、画像を送受信する機能とを有する無線携帯端末において、前記ポインティグデバイスの操作を受けて、相手側端末のカメラ部の状態を調整する制御コマンドを該相手側端末に送信する無線携帯端末である。
【０００８】
また、本発明は、受信した相手側端末からの制御コマンドにより自己端末のカメラ部の状態を調整する機能を有する無線携帯端末である。
【０００９】
そして、本発明は、上記カメラ部の動作機構は、端末自体を例えば上下左右に回転させる機構である無線携帯端末である。
【００１０】
更に、本発明は、上記カメラ部の動作機構は、端末に外付けされる無線携帯端末である。
【００１１】
また、本発明は、外付けされたカメラ部の動作機構は、充電機能を備える無線携帯端末である。
【００１２】
そして、本発明は、画像ストリームを送受信するプロトコルと、カメラ部の制御情報を送受信するプロトコルとを有し、各々のプロトコル経由で互いにカメラ部制御コマンドとカメラ画像の送受信を行い、利用者は、表示部で相手側端末から送信される画像を見ながら該相手側端末のカメラ部を制御する操作を行うことができる無線携帯端末である。
【００１３】
更に、本発明は、高画素撮像素子を装備し、該撮像素子の中の一部を切り出して標準画像とし、その切り出し位置を変更することで回転、ズーム、パーン等のカメラ動作と同様の効果を得る機能を有する無線携帯端末である。
【００１４】
【発明の実施の形態】
本発明の実施の形態を説明する。
以下、本発明の無線携帯端末の実施例について、図１〜図５を用いて詳細に説明する。図１は、実施例１における端末間でカメラを操作し希望する画像を得るためのシステムの概要を示す説明図である。図２は、実施例１における画像を携帯端末間で送受信する際に片側の端末から相手側端末のカメラを操作し被写体画像の画角等を調整することのできる端末の仕組みの一例を示す説明図である。図３は、実施例１における携帯端末間で付属カメラで撮影される画像をコントロールするためのプロトコルスタックの一例の構造を示す説明図である。図４は、実施例２における撮像素子に高画素センサーを用いることで機械的な仕組みを使用せず相手側カメラの操作が可能とする原理を示す説明図である。図５は、実施例２における相手側の携帯端末に付随するカメラを機械的な動作を必要とせず制御するための携帯端末の仕組みを説明するための説明図である。
【００１５】
実施例１を説明する。図１は、本実施例における端末間でカメラを操作し希望する画像を得るためのシステムの概要を示す説明図である。同図において、１００はカメラを操作する側の携帯端末、１０１は操作される側のカメラを装備した携帯端末、１０２は端末１００を管轄する基地局、１０３は端末１０１を管轄する基地局、１０４は端末１００の表示デバイス、１０５は端末１００に搭載されたカメラ、１０６は端末１００のカメラに写されている被写体、１０７は基地局１０２と１０３を結ぶ通信網、１０８は端末１００の基地局１０２に対する上りデータ、１０９は端末１００の基地局１０２に対する下りデータ、１１０は端末１０１の基地局１０３に対する下りデータ、１１１は端末１０１の基地局１０３に対する上りデータ、１１２は端末端末１０１の表示デバイス、１１３は端末１０１に搭載されたカメラ、１１４は端末１００に搭載された相手側端末のカメラに対する操作を行うためのポインティングデバイス、１１５は端末１０１のカメラに写された被写体、をそれぞれ表す。
【００１６】
端末１００と端末１０１とで互いのカメラに写された画像のやり取りを行っている状態では、被写体１０６は端末１００のカメラ１０５に写された後、無線回線１０８を通じて基地局１０２に送られる。基地局１０２からは基地局間通信網１０７を通じて基地局１０３に送られ、無線回線１１０を通じて通信相手の端末１０１に送られた後端末１０１の表示デバイス１１２に映し出される。同様に、被写体１１５は端末１０１のカメラ１１３にに写された後、無線回線１１１を通じて基地局１０３に送られる。基地局１０３からは基地局間通信網１０７を通じて基地局１０２に送られ、無線回線１０９を通じて通信相手の端末１００に送られた後表示デバイス１０４に映し出される。このとき、端末１００の側から表示デバイス１０４に写されている被写体画像の画角、解像度を変更したいとき、端末１００の方ではポインティングデバイス１１４に対し、カメラを動かしたい角度に応じた操作をする。ポインティグデバイス１１４からは特定プロトコルに応じた信号を端末１０１に送り、端末１０１ではその信号に応じてカメラを上下することで上下画角を調整でき、カメラを左右することで左右画角を調整できる。これにより、端末１００から端末１０１の画角を自由にコントロールでき、専用カメラを付けなくても携帯端末が簡易的に監視カメラ等の用途に使用可能となる。またカメラが付属した携帯自体は回転しなくても回転可能な台座に載せることで同様の操作が可能になる。また、この台座を充電装置と共用することで使い勝手が向上する。
【００１７】
図２は、実施例１における画像を携帯端末間で送受信する際に片側の端末から相手側端末のカメラを操作し被写体画像の画角等を調整することのできる端末の仕組みの一例を示す説明図である。同図において、２００は画角調整可能な携帯端末、２０１は端末２００に装備されているカメラ部、２０２はカメラ２０１で撮像された映像信号、２０３は映像信号を規格に応じて圧縮するための画像圧縮部、２０４は圧縮された映像信号、２０５は圧縮されたデータに対し無線回線で送るための変調を行うデータ変調部、２０６は変調／圧縮された映像信号、２０７は信号を無線回線で基地局に対しデータを送受信するデータ送受信部、２０８は基地局と通信するための端末に付属するアンテナ、２０９はアンテナ２０８を通じデータ送受信部で受信された基地局からの受信データ、２１０は受信したデータ２０９を復調するデータ復調部、２１１はデータ復調部により復調された受信圧縮データ、２１２は圧縮データ２１１を通常の画像に戻す画像伸張部、２１３は２１２によって生成された画像信号、２１４は画像信号２１３を表示するための表示部、２１５は画像信号と同時に復調されたカメラ画角調整のための制御信号、２１６は信号２１６を受けて制御信号通りに端末を動かすための回転機構、２１７は相手カメラを制御する信号を発生させるためのカメラ制御部、２１８はカメラ制御部２１７で生成されたカメラ制御用コマンド、をそれぞれ表す。
【００１８】
相手側端末より送信された画像データは、最寄りの基地局経由でアンテナ２０８を使用し本端末２００に受信される。受信された信号２０８はデータ送受信部２０７において周波数変換、ゲイン調整が行われ、そこで生成された信号２０９がデータ復調部２１０に送られる。データ復調部２１０では信号２０９に対しデータ復調処理を行い、無線回線用データから圧縮された画像データ２１１を取り出す。取り出された圧縮データ２１１は画像伸張回路２１２に送られ、元の画像２１３に戻されてそれを表示する表示部２１４に送られて、ディスプレイ等に投影され端末の操作者がそれを見ることが可能となる。同様に、本端末のカメラ部２０１で撮像された画像データ２０２は圧縮回路２０３で圧縮され、そこで生成された圧縮データ２０４はデータ変調部２０４で規定どおりに変調された後にデータ送受信部２０７で周波数変換、ゲイン調整を施されアンテナ２０８を通じて最寄りの基地局に送られる。いま本端末２００の使用者が相手側端末より送られてくる画像を表示部により確認し、その画像の画角を変更したいと思えば、撮像位置を変更する場合にはカメラ制御部２１７から相手側カメラを動かすための操作信号（上、下、左、右）２１８を入力しその信号がデータ変調部２０６で通常のデータと同様に変調されデータ送受信部２０７により周波数変換、ゲイン調整を施された後アンテナ２０８を通じて最寄りの基地局に送られる。また相手側端末より本端末のカメラが操作される場合には、アンテナ２０８を通じて受信したデータをデータ送受信部２０７で周波数変換、ゲイン調整した後データ復調部２１０で相手側端末から送られたカメラ制御用データ２１５が取り出され、カメラ角度を変更するための回転機構２１６に送られてデータ通りにカメラの画角等を変更できる。このときのカメラに対する制御情報としては、上下左右の回転、ズーム、パーン、データレート変更、解像度変更等がある。
【００１９】
図３は、実施例１における携帯端末間で付属カメラで撮影される画像をコントロールするためのプロトコルスタックの一例の構造を示す説明図である。同図において、３００は相手カメラを制御するためのコマンドを入力するポインティングデバイス、３０１はデバイス３００のデータを伝えるためのＩ／Ｆ、３０２は相手側のカメラ制御データを送信し、相手側端末から制御データを受信するためのカメラ制御用プロトコル、３０３は相手側カメラの画像を表示するための表示デバイス、３０４は表示デバイスに画像を表示するためのＩ／Ｆ、３０５は画像データを相手側端末から受信し、相手側端末に画像データを送るためのストリーム用プロトコル、３０６は端末のプロトコルスタック、３０７はプロトコルスタック３０６内のレイヤー３（Ｌ３）、３０８はプロトコルスタック３０６内のレイヤー２（Ｌ２）、３０９はプロトコルスタック３０６内のレイヤー１（Ｌ１）、３１０は実際にデータの送受信を行うハードウェア、３１１は端末間を結ぶ無線Ｉ／Ｆ、３１２は画像を撮影するための端末内臓カメラ、３１３はカメラ画像データを圧縮処理しプロトコルに入力するためのＩ／Ｆ、３１４は画像データを相手側端末に送信するためのストリーム用プロトコル、３１５は端末のカメラを制御するためのカメラ制御機構、３１６は制御機構３１５にコマンドを伝えるためのＩ／Ｆ、３１７は相手側端末からの制御コマンドを受信するためのカメラ制御用プロトコル、３１８は端末のプロトコルスタック、３１９はプロトコルスタック３１８内のレイヤー３（Ｌ３）、３２０はプロトコルスタック３１８内のレイヤー２（Ｌ２）、３２１はプロトコルスタック３１８内のレイヤー１（Ｌ１）、３２２は実際にデータの送受信を行なうハードウェア、をそれぞれ表す。なおプロトコルスタックのレイヤー１ではネットワークの物理的条件を規定し、レイヤー２ではパケットレベルでのデータ交換機能を提供し、レイヤー３では携帯端末としての通信機能を提供する。
【００２０】
画像送信側端末のカメラ３１２で撮影された画像データは、Ｉ／Ｆ３１３を経由して端末レイヤー３の３１９内にあるストリーム用プロトコル３１４に送られパケット化された後、３２０、３２１、３２２と順次経由して無線電波として３１１を通り受信側端末に送られる。受信側端末のハードウェア３１０ではそれを受信し、周波数変換、フィルタリング、ゲイン調整を行った後３０９、３０８、３０７内のストリーム用プロトコル３０５にて画像データが取り出される。取り出された画像データはＩ／Ｆ３０４を通じて端末上の表示デバイス３０３に送られ、画像受信側端末にて画像を見ることができる。いま画像受信側端末で見ている側から画像の画角を変更したいとき、移動したい方向にポインティングデバイス３００を操作する。ポインティングデバイス３００は操作に従った信号をＩ／Ｆ３０１に送り、レイヤー３プロトコルスタック３０７内のカメラ制御用プロトコル３０２に送られてプロトコル規格に応じたデータ化がされ、パケットとして送り出される。送り出されたパケットは３０８、３０９、３１０を経由して無線電波として３１１を通り画像送信側端末に送られる。画像送信側端末のハードウェア３２２はそれを受信し、周波数変換、フィルタリング、ゲイン調整を行った後３２１、３２０、３１９内のカメラ制御用プロトコル３１７に順次送られ、３１７においてカメラ制御用の信号が取り出される。取り出された信号はＩ／Ｆ３１６を経由してカメラ制御機構３１５に送られ、画像受信側端末の要求通りにカメラを制御する。このときの制御内容としては、左右上下の角度調整、画像パーン、画像ズーミング等がある。またこれにより、ストリームの転送を中断することなくカメラ制御コマンドを送受信することができスムーズな画像処理が可能となる。
【００２１】
実施例２を説明する。図４は本実施例における撮像素子に高画素センサーを用いることで機械的な仕組みを使用せず撮影画角の変更、ズーミング、パーン等が可能とする原理を示す説明図である。同図において、４００は高画素センサー、４０１はセンサーからパーニング画像を切り出すエリア、４０２は左上に移動した画角の画像を切り出すエリア、４０３は中央の画像を切り出すエリア、４０４は右下に移動した画角の画像を切り出すエリア、４０５はセンサーからズーミングした画像を切り出すエリア、をそれぞれあらわす。映像はカメラのレンズを通じてセンサー全体で撮像しているが、実際に相手側端末に転送する際には画面サイズの制約等からその一部を切り出して送るものとする。
【００２２】
通常の撮影では、センサー４００における切り出しエリアは４０３のようになる（（１）の画像）。画像受信側端末より画角を左上にしたい場合には、受信側端末からの制御信号で切り出しエリアを４０２のように変更すれば（２）のような画像となり、所望の動作が可能となる。また画角を右下にしたい場合には同様に切り出しエリアを４０４のようにすることで（３）のような画像となり、所望の動作が可能となる。
【００２３】
画面をパーンしたい場合には切り出しエリアを４０１のようにすることで（４）のような画像となり、所望の動作が可能となる。画面をズームしたい場合には切り出しエリアを４０５のようにすることで（５）のような画像となり、所望の動作が可能となる。これにより、機械的な動作を必要とせず画像受信側端末から画像送信側端末の画像の画角を自由に調整することができる。
【００２４】
図５は、実施例２における相手側の携帯端末に付随するカメラを機械的な動作を必要とせず制御するための携帯端末の仕組みの一例を説明するための説明図である。同図において、５００は画角調整可能な携帯端末、５０１は端末５００に装備されているカメラ部、５０２はカメラ５０１で撮像された映像信号、５０３は映像信号を規格に応じて圧縮するための画像圧縮部、５０４は圧縮された映像信号、５０５は圧縮されたデータに対し無線回線で送るための変調を行うデータ変調部、５０６は変調／圧縮された映像信号、５０７は信号を無線回線で基地局に対しデータを送受信するデータ送受信部、５０８は基地局と通信するための端末に付属するアンテナ、５０９はアンテナ５０８を通じデータ送受信部で受信された基地局からの受信データ、５１０は受信したデータ５０９を復調するデータ復調部、５１１はデータ復調部により復調された受信圧縮データ、５１２は圧縮データ５１１を通常の画像に戻す画像伸張部、５１３は５１２によって生成された画像信号、５１４は画像信号５１３を表示するための表示部、５１５は画像信号と同時に復調されたカメラ画角調整のための制御信号、５１６は相手側カメラを制御するための制御信号を生成するカメラ制御部、５１７はカメラ制御部５１６で生成された相手側カメラの制御信号を、それぞれ表す。
【００２５】
相手側端末より送信された画像データは、最寄りの基地局経由でアンテナ５０８を使用し本端末５００に受信される。受信された信号５０８はデータ送受信部５０７において周波数変換、ゲイン調整が行われ、そこで生成された信号５０９がデータ復調部５１０に送られる。データ復調部５１０では信号５０９に対しデータ復調処理を行い、無線回線用データから圧縮された画像データ５１１を取り出す。取り出された圧縮データ５１１は画像伸張回路５１２に送られ、元の画像５１３に戻されてそれを表示する表示部５１４に送られて、ディスプレイ等に投影され端末の操作者がそれを見ることが可能となる。同様に、本端末のカメラ部５０１で撮像された画像データ５０２は圧縮回路５０３で圧縮され、そこで生成された圧縮データ５０４はデータ変調部５０４で規定どおりに変調された後にデータ送受信部５０７で周波数変換、ゲイン調整を施されアンテナ５０８を通じて最寄りの基地局に送られる。
【００２６】
いま本端末５００の使用者が相手側端末より送られてくる画像を表示部５１４により確認し、その画像の画角を変更したいと思えば、撮像位置を変更する場合にはカメラ制御部５１６から相手側カメラを動かすための操作信号（上、下、左、右、スーム、パーン）５１７を入力し、その信号がデータ変調部５０６で通常のデータと同様に変調されデータ送受信部５０７により周波数変換、ゲイン調整を施された後アンテナ５０８を通じて最寄りの基地局に送られる。また相手側端末より本端末のカメラが操作される場合には、アンテナ５０８を通じて受信したデータをデータ送受信部５０７で周波数変換、ゲイン調整した後データ復調部５１０で相手側端末から送られたカメラ制御用データ５１５が取り出され、カメラ部５０１において制御信号に従った画像が高画素センサーから切り出され所望の画像が出力される。これにより、離れた位置でお互いカメラ画像を調整することができ、カメラ付き携帯端末の使い勝手が向上する。
【００２７】
なお、上記の携帯端末において、予め互いの優先度を設定することができる。また、設定されていた場合、受付順よりも優先度の高い指令を選択して処理するようにすることも可能である。
【００２８】
本実施形態によれば、携帯端末上で他の端末から送られる画像を見ながら画像の状態を制御でき使い勝手が向上する無線携帯端末を得ることができる。
【００２９】
【発明の効果】
本発明によれば、使い勝手を向上させた無線携帯端末を得ることができる。
【図面の簡単な説明】
【図１】実施例１における端末間でカメラを操作し希望する画像を得るためのシステムの概要を示す説明図。
【図２】実施例１における画像を携帯端末間で送受信する際に片側の端末から相手側端末のカメラを操作し被写体画像の画角等を調整することのできる端末の仕組みの一例を示す説明図。
【図３】実施例１における携帯端末間で付属カメラで撮影される画像をコントロールするためのプロトコルスタックの一例の構造を示す説明図。
【図４】実施例２における撮像素子に高画素センサーを用いることで機械的な仕組みを使用せず相手側カメラの操作が可能とする原理を示す説明図。
【図５】実施例２における相手側の携帯端末に付随するカメラを機械的な動作を必要とせず制御するための携帯端末の仕組みを説明するための説明図。
【符号の説明】
１００  カメラを操作する側の携帯端末
１０１  操作される側のカメラを装備した携帯端末
１０２  端末１００を管轄する基地局
１０３  端末１０１を管轄する基地局
１０４  端末１００の表示デバイス
１０５  端末１００に搭載されたカメラ
１０６  端末１００のカメラに写されている被写体
１０７  基地局１０２と１０３を結ぶ通信網
１０８  端末１００の基地局１０２に対する上りデータ
１０９  端末１００の基地局１０２に対する下りデータ
１１０  端末１０１の基地局１０３に対する下りデータ
１１１  端末１０１の基地局１０３に対する上りデータ
１１２  端末端末１０１の表示デバイス
１１３  端末１０１に搭載されたカメラ
１１４  端末１００に搭載されたポインティングデバイス
１１５  端末１０１に搭載されたポインティングデバイス
【図１】
2005027096.tif 000003
【図２】
2005027096.tif 000004
【図３】
2005027096.tif 000005
【図４】
2005027096.tif 000006
【図５】
2005027096.tif 000007