(57)【要約】  １対１または１対多の映像伝送に関し、送信側のカメラ付端末からはそのカメラにより撮影した映像情報ＩｖＡと共にそのカメラの回転角を示す回転情報ＩｒＡも併せて、受信側のディスプレイ付端末に送信する。この受信側の端末では、その回転情報ＩｒＡをもとに、あるいはその回転情報ＩｒＡと自己の回転情報ＩｒＢとをもとに、受信側のディスプレイ（表示部）に、正立した送信側の映像あるいは正立した送信側および受信側の映像を表示させる。
2008001441.tif 000002
【特許請求の範囲】
【請求項１】
送信側映像情報を送出する携帯ビデオ装置であって、
前記送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、
前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、
を備えてなることを特徴とする携帯ビデオ装置。
【請求項２】
前記回転角センサ部は、ジャイロセンサ、重力センサまたは傾斜センサのいずれかを含むことを特徴とする請求項１に記載の携帯ビデオ装置。
【請求項３】
前記送信部は、前記送信側映像情報をデータ伝送用のＲＴＰに従って送出し、前記回転情報を制御用のＲＴＣＰに従って送出することを特徴とする請求項１に記載の携帯ビデオ装置。
【請求項４】
前記ＲＴＣＰに従う制御用パケット内には、前記回転情報に加えてさらに、その回転情報を更新する頻度を示す頻度情報を含むことを特徴とする請求項１に記載の携帯ビデオ装置。
【請求項５】
前記送信部は、１つの受信側装置に前記送信側映像情報および前記回転情報を送出する１対１通信機能および複数の受信側装置に前記送信側映像情報および前記回転情報を送出する１対多通信機能のうちの少なくとも一方の通信機能を備えることを特徴とする請求項１に記載の携帯ビデオ装置。
【請求項６】
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする携帯ビデオ装置であって、
前記受信情報を入力する受信部と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、
前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、
を有することを特徴とする携帯ビデオ装置。
【請求項７】
前記受信情報内の前記送信側映像情報を一旦格納する送信側映像メモリと、該受信情報内の前記送信側回転情報を一旦格納する演算メモリと、を少なくとも含むことを特徴とする請求項６に記載の携帯ビデオ装置。
【請求項８】
前記表示データ生成機能部は、前記表示部におけるシーケンシャル・スキャンを行う原スキャン・アドレスに対し、前記演算メモリに格納された前記送信側回転情報に相応するアドレス変換を加えた変換スキャン・アドレスを生成する送信側映像アドレス変換部を含むことを特徴とする請求項７に記載の携帯ビデオ装置。
【請求項９】
前記送信側映像アドレス変換部は、前記原スキャン・アドレスを（ｘ，ｙ）とし、前記送信側回転情報により示される送信側回転角をθａとすると、前記変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を下式にて演算し、
Ｐ（Ａ）＝ｃｏｓθａ・ｘ−ｓｉｎθａ・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎθａ・ｘ−ｃｏｓθａ・ｙ−Ｃｑａ
ここに、ＣｐａおよびＣｑａは、それぞれ、ｃｏｓθａおよびｓｉｎθａを含む定数である、
ことを特徴とする請求項８に記載の携帯ビデオ装置。
【請求項１０】
当該携帯ビデオ装置に備えられ、受信側での撮影による受信側映像情報を送出する受信側カメラ部と、
当該携帯ビデオ装置内に備えられ、前記の撮影を行ったときの前記受信側映像情報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回転角センサ部と、
前記受信側映像情報を一旦格納する受信側映像メモリと、
当該携帯ビデオ装置内で生成して前記表示部に表示すべきグラフィック情報を格納する画像メモリと、を含み、かつ、前記演算メモリに前記受信側回転情報を一旦格納することを特徴とする請求項６に記載の携帯ビデオ装置。
【請求項１１】
前記送信側映像アドレス変換部は、前記受信側回転情報により示される受信側回転角をθｂとすると、前記変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を下式にて演算し、
Ｐ（Ａ）＝ｃｏｓ（θａ−θｂ）・ｘ−ｓｉｎ（θａ−θｂ）・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎ（θａ−θｂ）・ｘ−ｃｏｓ（θａ−θｂ）・ｙ−Ｃｑａ
ここに、ＣｐａおよびＣｑａは、それぞれ、ｃｏｓ（θａ−θｂ）およびｓｉｎ（θａ−θｂ）を含む定数である、
ことを特徴とする請求項９に記載の携帯ビデオ装置。
【請求項１２】
前記表示データ生成機能部は、前記画像メモリに対しては、前記原スキャン・アドレスをそのまま入力とすると共に、前記演算メモリに格納された前記受信側回転情報に相応するアドレス変換を加えた変換スキャン・アドレスを生成する受信側映像アドレス変換部を含むことを特徴とする請求項１０に記載の携帯ビデオ装置。
【請求項１３】
前記受信側アドレス変換部は、前記原スキャン・アドレスを（ｘ，ｙ）とし、前記受信側回転情報により示される受信側回転角をθｃとすると、前記変換スキャン・アドレス（Ｐ（Ｃ），Ｑ（Ｃ））を下式にて演算し、
Ｐ（Ｃ）＝ｃｏｓ２θｃ・ｘ−ｓｉｎ２θｃ・ｙ−Ｃｐｃ
Ｑ（Ｃ）＝ｓｉｎ２θｃ・ｘ−ｃｏｓ２θｃ・ｙ−Ｃｑｃ
ここに、ＣｐｃおよびＣｑｃは、それぞれ、ｃｏｓ２θｃおよびｓｉｎ２θｃ、を含む定数である、
ことを特徴とする請求項１２に記載の携帯ビデオ装置。
【請求項１４】
前記受信側カメラ部による前記受信側映像情報を、前記表示部においてミラー表示すべき旨の指示があったとき、前記受信側アドレス変換部は、前記変換スキャン・アドレスへの変換を行うことなく、前記原スキャン・アドレス（ｘ，ｙ）の左右入れ換えのみを実行することを特徴とする請求項１３に記載の携帯ビデオ装置。
【請求項１５】
前記表示データ生成機能部は、前記送信側映像メモリ、前記受信側映像メモリおよび前記画像メモリの各出力を合成して前記表示部に送出する表示データ合成部を有することを特徴とする請求項１０に記載の携帯ビデオ装置。
【請求項１６】
前記表示データ合成部は、前記送信側アドレス変換部および前記受信側アドレス変換部による各アドレス変換に起因して、それぞれ対応する前記送信側映像メモリおよび前記受信側映像メモリからの各表示データの読み出しが不能となってこれらメモリからの表示データが無データとなったとき、該無データを透明色データに置き換えて前記表示部に送出することを特徴とする請求項１５に記載の携帯ビデオ装置。
【請求項１７】
前記表示データ合成部は、前記送信側映像メモリ、前記受信側映像メモリおよび前記画像メモリからの各表示データを、前記表示部の手前から奥行き方向に重ねて表示する際、その並び順を設定する優先順設定部を有することを特徴とする請求項１５に記載の携帯ビデオ装置。
【請求項１８】
送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯ビデオ装置および
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、を備えてなる受信側携帯ビデオ装置、から構成されることを特徴とするビデオ表示システム。
【請求項１９】
送信側映像情報を送出する送信側携帯ビデオ装置において、
前記送信側映像情報として受信側へ送出すべき映像をカメラ部にて撮影する工程と、
前記の撮影を行ったときの前記映像の回転角を回転角センサ部にて検出する工程と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に送信部から前記受信側へ送信する工程と、を有し、
前記送信側装置より送出された送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力とする受信側携帯ビデオ装置において、
前記受信情報を受信部にて入力する工程と、
前記受信情報をもとにして生成された表示データに従って、表示部にて前記送信側映像情報にかかる送信側映像を表示する工程と、
前記受信情報を入力として、表示データ生成機能部にて前記表示データを生成するための処理を行う工程と、を有することを特徴とする携帯ビデオ表示方法。
【請求項２０】
送信側映像情報を送出する送信側携帯ビデオ装置において、コンピュータに、
前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、
前記の撮影を行ったときの前記映像の回転角を検出する手順と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する手順と、を実行させることを特徴とするプログラム。
【請求項２１】
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯ビデオ装置において、コンピュータに、
前記受信情報を入力する手順と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する手順と、
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型のビデオ装置、例えばＰＤＡ（Personal Digital Assistants）やカメラ付携帯電話等のモバイル端末で、特に映像通信機能と映像表示機能とを少なくとも具備するモバイル端末に関する。
【背景技術】
【０００２】
近年の携帯型ビデオ装置、例えばＰＤＡにおいては、そのＯＳとして、該ＰＤＡにおける表示部上の映像あるいは画像を０度、９０度、１８０度等に回転させて表示させる機能が実装されている。これは、自由に携帯可能なＰＤＡをユーザが持つときの持ち方として、縦向き、横向き、逆さ等種々あり得るからである。このような回転表示機能を実装することにより、ＰＤＡを仮に逆さに持ったとしても、上記表示部上の表示も同じく逆さに回転させることが可能となり、該表示部上に正立した映像あるいは画像をユーザに見せることができる。【０００３】
ところが、ＰＤＡに、携帯電話端末と同様、ビデオカメラを一体に搭載してそのビデオカメラによる映像をその表示部に表示させたり、あるいはそのビデオカメラによる映像あるいは画像を、テレビ電話通信を行っている相手方端末に送信するに際し、そのＰＤＡを逆さに持つと、映像や画像が相手方のＰＤＡにおいて逆さに表示されたり、テレビ電話通信を行っている相手方において逆さに表示されてしまう、という不都合がある。本発明はこのような不都合に対処するための方策について一つの提案を行うものである。【０００４】
なお本発明に関連する公知技術としては下記の〔特許文献１〕〜〔特許文献３〕がある。〔特許文献１〕に開示された発明では、画像の送り側において画像の回転ならびに変換を行っている。【０００５】
また〔特許文献２〕に開示された発明ではデジタルカメラの撮影時にそのカメラの方向データを画像データの中に組み込んでおく。そして後にパソコン等にその画像を再生して表示する場合、その表示に際して上記方向データを読み取り、それに従い表示すべき画像を回転させ正立画像として表示を行うものである。【０００６】
さらにまた〔特許文献３〕に開示された発明では、胃カメラ等でその撮像部が回転したとしても、重力の作用により該撮像部が常に所定方向を向くようにするものである。【０００７】
【特許文献１】特開２０００−１５２０６９号公報
【特許文献２】特開２００１−４５３５４号公報
【特許文献３】特開昭６２−６５５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した３件の特許文献１〜３には以下の問題がある。まず特許文献１については、複数の受信端末に対して同報送信を行う場合あるいは複数の端末相互間で映像や画像を通信し合うといったテレビ会議のような使い方をする場合に対して、当該発明は対応できない、という問題があり、
また、一般的には映像や画像はこれを受信する端末側の状況に合わせてその表示形態を指定できることが望ましいところ、当該発明のように送信側の方で画像データを加工してしまうことは、受信側にとって都合が悪い、という問題もある。【０００９】
次に特許文献２については、自分で撮影した静止画像を、自分で楽しむといった閉じた環境内で実施される発明であり、例えばネットワークを介して送信側端末から受信側端末へ画像伝送するような場合には適用できない、という問題がある。【００１０】
また特許文献３については、上記特許文献２と同様、例えばネットワークを介して送信側端末から受信側端末へ撮像データを送信するような場合には、適用できない、という問題がある。【００１１】
したがって本発明は、上記問題点に鑑み、送信側のカメラ付携帯ビデオ装置から少なくとも１台の受信側のディスプレイ付携帯ビデオ装置に映像及び／又は画像を、ネットワークを介して、伝送するに際し、送信側のカメラが回転しても受信側のディスプレイに正立表示させることができ、また、さらに加えて受信側のディスプレイが回転してもこのディスプレイに正立表示させることのできる携帯ビデオ装置を提供することを目的とするものである。さらには、その携帯ビデオ装置を複数有するビデオ表示システム、そのための方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明によれば、後に図４を参照して説明するように、送信側の携帯ビデオ装置に関しては、送信側映像情報を送出する携帯ビデオ装置であって、（ｉ）その送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、（ii）上記の撮影を行ったときの映像の回転角を検出する回転角センサ部と、（iii）検出したその回転角を回転情報として、上記の送信側映像情報と共に受信側へ送出する送信部と、から構成する。【００１３】
一方、受信側の携帯ビデオ装置に関しては、送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする携帯ビデオ装置であって、（ｉ）上記の受信情報を入力する受信部と、（ii）上記の受信情報をもとにして生成された表示データに従って、上記の送信側映像情報にかかる送信側映像を表示する表示部と、（iii）上記の受信情報を入力としてその表示データを生成するための処理を行う表示データ生成機能部と、から構成すると共に、（iv）上記受信情報内の送信側映像情報を一旦格納する送信側映像メモリと、（ｖ）該受信情報内の送信側回転情報を一旦格納する演算メモリと、を少なくとも含む。【００１４】
また上記の受信側携帯ビデオ装置は、さらに好ましくは、（vi）当該携帯ビデオ装置に備えられ、受信側での撮影による受信側映像情報を送出する受信側カメラ部と、（vii）当該携帯ビデオ装置内に備えられ、上記の撮影を行ったときの上記受信側映像情報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回転角センサ部とを有する。そしてさらに（viii）上記の受信側映像情報を一旦格納する受信側映像メモリと、（ix）当該携帯ビデオ装置内で生成して前記表示部（ii）に表示すべき画像（グラフィック）情報を格納する画像メモリと、を含む。そして上記の演算メモリ（ｖ）に上記の受信側回転情報を一旦格納する。
【発明の効果】
【００１５】
かくして本発明によれば、後述の説明から明らかになるとおり、下記のａ）〜ｄ）に示す効果が得られる。【００１６】
ａ）ＰＤＡや携帯電話でテレビ電話を行う際、これらの携帯ビデオ装置を傾けた場合すなわち該装置を正立させない場合においても、相手側の受信側装置において正立した画像を表示させることができる。【００１７】
ｂ）同報的に複数の装置へ映像や画像を送る際や複数の装置間で相互に映像や画像を送る際でも、各該装置では、それぞれの回転角に拘わらず、当該映像等を正立して表示することができる。【００１８】
ｃ）受信側装置での処理によって映像等を回転させるので、受信側ユーザの好みに応じた映像等の表示態様を自由に得ることができる。【００１９】
ｄ）自装置Ａで自分で撮影した映像を表示（モニタ）する場合も、その表示部に相手方装置Ｂと同じ処理部を設けることによって、相手方装置ならびに自装置の回転の如何に拘わらず、正立した映像等を表示させることができる。また受信側装置の表示部に映像等をミラー表示するための加工を加えることもできるが、この場合送信側の映像とは全く関係なく加工することができるので、したがって、相手装置を考慮することなく自由にかつ簡単にそのミラー加工が行える。
【図面の簡単な説明】
【００２０】
【図１】図１は、送信側映像および受信側映像の第１パターンを示す図である。
【図２】図２は、本発明を適用した第２表示パターンを示す図である。
【図３】図３は、本発明を適用した第３表示パターンを示す図である。
【図４】図４は、本発明に係る携帯ビデオ装置（送信側）の基本構成を示す図である。
【図５】図５は、１対多通信機能を備えた送信部による配信例を示す図である。
【図６】図６は、ＲＴＣＰにおけるＡＰＰパケットフィールドの構成を示す図である。
【図７】図７は、本発明に係る携帯ビデオ装置（受信側）の基本構成を示す図である。
【図８】図８は、本発明に係る携帯ビデオ装置（受信側）の基本構成を示す図である。
【図９】図９は、受信側装置におけるアドレス変換の様子を示す図である。
【図１０】図１０は、受信側装置全体の具体的構成を示す図である。
【図１１】図１１は、受信側装置における受信側自身で生成する映像と画像について示す図である。
【図１２】図１２は、図１０における映像情報と回転情報の区分けの仕方の一例を示すフローチャートである。
【図１３】図１３は、（Ｂ）の表示データＤｄＡを表示部３Ｂ上の所定位置（Ａ）に表示させるアドレス変換を図解的に表す図である。
【図１４】図１４は、（Ｂ）の回転を伴う表示データＤｄＡを表示部上に正立して表示（Ａ）させるアドレス変換を図解的に表す図である。
【図１５】図１５の（Ａ）および（Ｂ）は、相手装置が回転角θａだけ傾いている場合を示す図である。
【図１６】図１６の（Ａ）および（Ｂ）は、自装置も回転角θｂだけ傾いている場合を示す図である。
【図１７】図１７の（Ａ），（Ｂ）および（Ｃ）は、自装置での映像について回転角θｃだけ傾いている場合を示す図である。
【図１８】図１８の（Ａ）〜（Ｅ）は、本発明に基づくミラー表示を説明するための図である。
【図１９】図１９は、「ミラー表示」において、表示したい領域（Ｂ）と表示部に表示させる映像（Ａ）とを示す図である。
【図２０】図２０は、表示データ合成部の動作概念を簡単に表す図である。
【図２１】図２１は、図２０の概念を具体例をもって表す図である。
【図２２】図２２は、表示データ合成部の一構成例を示す図である。
【発明を実施するための最良の形態】
【００２１】
まず初めに本発明の理解を早めるために、本発明に係るビデオ装置の表示部における映像あるいは画像（以下、単に映像等とも称す）の表示パターンの実例を示す。【００２２】
図１は送信側映像および受信側映像の第１表示パターンを示す図である。本図において、参照番号１は携帯ビデオ装置（以下、単に装置とも称す）、２はカメラ部、３は表示部、４はテンキー等の操作部を示す。ここに、各参照番号に付されたＡは映像の送信側を表し、Ｂは映像の受信側を表す。したがって、ＶＡはカメラ部２Ａにより撮影された送信側映像を表し、ＶＢは表示部３Ｂに表示されたその映像、すなわち受信側映像を表す。【００２３】
図１に示す第１表示パターンは、本発明を適用しない場合の表示パターンであり、装置１を傾けて（図の例では９０度）表示対象をカメラ部２Ａにより撮影したときの送信側映像がＶＡとして示される。この映像ＶＡは、本発明を適用しない場合、正立している受信側装置１Ｂの表示部３Ｂの画面上において、図示するとおり、９０度傾いた受信側映像ＶＢとして表示される。このような表示パターン（ＶＢ）は受信側のユーザにとって快いものではない。【００２４】
図２は本発明を適用した第２表示パターンを示す図である。なお全図を通して同様の構成要素には同一の参照番号または記号を付して示す。【００２５】
図２において、５Ａは回転角センサ部であり、今９０度傾いている装置１Ａの回転情報Ｉｒ（ｒｏｔａｔｉｏｎ）Ａ（＝９０°）を出力し、映像情報Ｉｖ（ｖｉｄｅｏ）Ａと共に装置１Ｂに送信される。このとき、傾いて受信された映像ＶＡは、上記回転情報ＩｒＡに基づいて正立した映像ＶＢとなる。【００２６】
図３は、本発明を適用した第３表示パターンを示す図である。上記図２において、装置１Ａからの回転情報ＩｒＡおよび送信側映像情報ＩｖＡを受信した受信側装置１Ｂそれ自体が傾いていた場合を本図は示す。例えば今９０度傾いていたとすると（ＩｒＢ＝９０°）、このＩｒＢと上記の受信したＩｒＡとを合成した回転角が、正立した映像ＶＢを生成するように、図３に示された「回転の指示」ならびに「回転処理」が装置１Ｂ内で実行される。【００２７】
以上、本発明の理解を早めるための説明を行ったので、以下に本発明のさらに具体的な説明を行う。まず図４を参照すると、本図は、本発明に係る携帯ビデオ装置（送信側）の基本構成を示す図である。【００２８】
図４において、参照番号２Ａはおよび５Ａはそれぞれ、カメラ部および回転角センサ部であり、また６Ａはこれらの各出力情報を、無線／有線ネットワークＮＷを介して、受信側装置１Ｂに送信する送信部である。すなわち、本発明に係る装置（送信側）１Ａは送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報ＩｖＡとして受信側（１Ｂ）へ送出すべき映像ＶＡを撮影するカメラ部２Ａと、その撮影を行ったときの映像の回転角を検出する回転角センサ部５Ａと、検出したその回転角を回転情報ＩｒＡとして、送信側映像情報ＩｖＡと共に受信側（１Ｂ）へ送出する送信部６Ａと、を備えて構成される携帯ビデオ装置である。【００２９】
ここに回転情報ＩｒＡを生成する回転角センサ部５Ａは、ジャイロセンサ、重力センサまたは傾斜センサのいずれかによって実現できる。なお、前述した図２および図３では、一例として、ジャイロセンサを示している。このジャイロセンサや重力センサおよび傾斜センサとしては既に市販で安価に入手可能なものがある。また既述した特許文献１〜特許文献３においても、それぞれ独自に工夫した回転角センサ部が開示されている。【００３０】
さらに図４の送信部６Ａについて詳しく説明する。この送信部６Ａは、（ｉ）１つの受信側装置１Ｂに送信側映像情報ＩｖＡおよび回転情報ＩｒＡを送出する１対１通信機能および（ii）複数の受信側装置１Ｂに送信側映像情報ＩｖＡおよび回転情報ＩｒＡを送出する１対多通信機能のうちの少なくとも一方の通信機能を備えることができる。図５は上記の１対多（point-to-multipoint）通信機能を備えた送信部６Ａによる配信例を示す図である。なお本図では、装置１Ａから各装置１Ｂに向かう片方向のみを記載しているが、同様に各装置１Ｂから装置１Ａに向かう逆方向送信も存在する。【００３１】
図５において、装置１Ａはその送信部６Ａより、ＲＴＰパケットを用いて映像、画像、音声等の情報（ＩｖＡ）を送信し、ＲＴＣＰパケットを用いて回転情報（ＩｒＡ）を送信する。これらの送信は、好ましくはＩＰ（Internet Protocol）ネットワークＮＷ上にて各装置１Ｂ１〜１Ｂ３に向けて行われる。なお既に知られているとおり、上記のプロトコルＲＴＰ／ＲＴＣＰ（Real-time Transport Control Protocol）はＩＥＴＦ（http://www.ietf.org/）ＲＦＣ１８８９にて規定されており、ＲＴＰにより映像等の情報を送信し、ＲＴＣＰによりその送信の制御を行う。【００３２】
図６はＲＴＣＰにおけるＡＰＰパケットフィールドの構成を示す図である。ＲＴＣＰパケットにはいくつかの種類があり、本発明に基づく回転情報ＩｒＡは、その種類の中のＡＰＰ（アプリケーション独自の規定によるパケット）を用いる。一般に、映像やデータを送るプロトコルにおいては、その付加情報も送る仕組みがある。そこで、回転情報ＩｒＡは該付加情報として送ることができる。またこの図６によれば、その付加情報としてさらに頻度情報ＩｆＡ（ｆｒｅｑｕｅｎｃｙ）をも加えている。【００３３】
このように本発明の送信部６Ａは、送信側映像情報ＩｖＡをデータ伝送用のＲＴＰに従って送出し、回転情報ＩｒＡを制御用のＲＴＣＰに従って送出することを特徴とし、
またこのＲＴＣＰに従う制御用パケット内には、回転情報ＩｒＡに加えてさらに、その回転情報を更新する頻度を示す頻度情報ＩｆＡを含むことを特徴とするものである。【００３４】
なお図６に示すフィールド構成の詳細を示すと以下のとおりである。
Ｖ（１ビット長）：ＲＦＣ１８８９に準拠した製品バージョン（＝２）。
Ｐ（１ビット長）：パケットの最後に付属するパディングオクテットのある／なしを示す。
Ｓｕｂｔｙｐｅ（５ビット長）：０固定。
ＰＴ（８ビット長）：パケットタイプでＲＴＣＰパケットのどの種類であるのかを示す。２０４固定。
長さ（１６ビット長）：ＲＴＣＰパケットの全体の長さを３２で割って１引いた数。
送信者ＳＳＲＣ（３２ビット長）：送信者の識別番号
ｎａｍｅ：回転情報のＲＴＣＰパケットであることを示す名前：“ｋａｉｔ”
回転情報（１６ビット長）：装置の回転角度。正立を０度として時計周りに３６０度まで。
回転情報更新頻度（１６ビット長）：回転情報を更新する時間間隔。０．０１秒単位。【００３５】
なお、各受信側装置１Ｂ１〜１Ｂ３（図５）内の受信部７Ｂにおいては、上記のＰＴフィールドとｎａｍｅフィールドを参照して、受信ＲＴＣＰパケットの種類と、回転情報等であることとを認識する。なお、本発明を実現するために他の通信プロトコルを用いても良い。【００３６】
次に図７を参照して、本発明に係る携帯ビデオ装置（受信側）の基本構成を示す。図７において、参照番号７Ｂは前述した受信部、８Ｂはメモリ機能部、９Ｂは表示データ生成機能部であり、３Ｂは前述した表示部である。【００３７】
すなわち、本発明に係る装置（受信側）１Ｂは、送信側装置１Ａより送出された送信側映像情報ＩｖＡと、その送信側映像情報に係る映像の回転角を示す送信側回転情報ＩｒＡとを少なくとも含む受信情報Ｉｉｎを入力とする携帯ビデオ装置であって、その受信情報Ｉｉｎを入力する受信部７Ｂと、この受信部７Ｂにて受信した受信情報Ｉｉｎを一旦格納するメモリ機能部８Ｂと、このメモリ機能部８Ｂに格納された受信情報Ｉｉｎをもとにして生成された表示データＤｄ（ｄｉｓｐｌａｙ）に従って、送信側映像情報ＩｖＡにかかる送信側映像ＶＡを表示する表示部３Ｂと、上記の受信情報Ｉｉｎを入力として表示データＤｄを生成するための処理を行う表示データ生成機能部９Ｂと、を有する携帯ビデオ装置である。【００３８】
ここにメモリ機能部８Ｂ（図７）は、受信情報Ｉｉｎ内の送信側映像情報ＩｖＡを一旦格納する送信側映像メモリ８１と、その受信情報Ｉｉｎ内の送信側回転情報ＩｒＡを一旦格納する演算メモリ８２と、を少なくとも含んでいる。【００３９】
また表示データ生成機能部９Ｂ（図７）は、表示部３Ｂにおけるシーケンシャル・スキャンを行う原スキャン・アドレスＡＤ（図９および図１０参照）に対し、演算メモリ８２に格納された送信側回転情報ＩｒＡに相応するアドレス変換を加えた変換スキャン・アドレスａｄＡ（図９および図１０参照）を生成する送信側映像アドレス変換部９１を含んでいる。【００４０】
本発明に係る携帯ビデオ装置１は、受信側装置１Ｂ自身が、自身のカメラ部２Ｂにより撮影した受信側映像ＶＢ及び／又は自身が作成した画像情報Ｉｇ（ｇｒａｐｈｉｃ）に係る画像ＧＢをも、送信側映像ＶＡと共に表示部３Ｂに表示可能としている。図８は、本発明に係る他の携帯ビデオ装置（受信側）の基本構成を示す図であって、上記の映像ＶＢや画像ＧＢをも映像ＶＡと共に表示部３Ｂに表示可能としている。【００４１】
すなわち、当該携帯ビデオ端末１Ｂに備えられ、受信側での撮影による受信側映像情報ＶＢを送出する受信側カメラ部２Ｂと、当該携帯ビデオ装置１Ｂ内に備えられ、その撮影を行ったときの受信側映像情報ＩｖＢに係る映像の回転角を検出し、これを受信側回転情報ＩｒＢとして出力する受信側回転角センサ部５Ｂとを有する。そしてメモリ機能部８Ｂはさらに、受信側映像情報ＩｖＢを一旦格納する受信側映像メモリ８３と、当該携帯ビデオ装置１Ｂ内のＣＰＵ１１で生成して表示部３Ｂに表示すべき画像（グラフィック）情報Ｉｇを格納する画像メモリ８３と、を含み、かつ、前述の演算メモリ８２に受信側回転情報（ＩｒＢ）を一旦格納するようにする。【００４２】
また前述の表示データ生成機能部９Ｂは、画像メモリ８４に対しては、原スキャン・アドレスＡＤをそのまま入力とすると共に、上記の演算メモリ８２に格納された受信側回転情報ＩｒＢに相応するアドレス変換を加えた変換スキャン・アドレスａｄＢ（図９および図１０参照）を生成する受信側映像アドレス変換部９２を含むようにする。【００４３】
さらにまた表示データ生成機能部９Ｂは、上記のメモリ機能部８Ｂにおける上記の送信側映像メモリ８１、受信側映像メモリ８３および画像メモリ８４からの各表示データを合成して表示部３Ｂに送出する表示データ合成部９３を有する。【００４４】
以上装置１Ｂの基本構成（図７および図８）についてさらに具体的な構成を説明する。図９は受信側装置におけるアドレス変換の様子を示す図であり、
図１０は受信側装置全体の具体的構成例を示す図であり、
図１１は受信側装置における受信側自身で生成する映像と画像について示す図である。【００４５】
まず図９を参照すると、カメラ部２Ａから送信されてきた映像情報ＩｖＡは映像メモリ８１に１フレーム分ずつ上書きされながら格納される。また自己のカメラ部２Ｂからの１フレーム分ずつの映像情報ＩｖＢ、さらには自己のＣＰＵ（図１０の１１）で生成した文字やグラフィック（映像の説明や映像の枠等）をなす画像情報Ｉｇがそれぞれ映像メモリ８３と画像メモリ８４に格納される。なお音声情報は本発明に関係しないので省略する。【００４６】
これらのメモリ（８１，８３，８４）格納された情報（ＩｖＡ，ＩｖＢ，Ｉｇ）は、読出しアドレス生成部１２からの原スキャン・アドレスＡＤに従って順次読み出される。読み出されたこれらの情報（ＩｖＡ，ＩｖＢ，Ｉｇ）は、それぞれ表示データＤｄＡ，ＤｄＢおよびＤｄＧとして、表示データ合成部９３にて合成された後、最終的な表示データＤｄとなり、表示部３Ｂにおいてユーザに対し表示画面として提供される。【００４７】
以上の動作は、装置１Ａにおいても装置１Ｂにおいても何らの回転がない場合である。もしこれらの装置１Ａおよび１Ｂが回転を伴ったとしたならば、本発明に基づく回転情報ＩｒＡおよびＩｒＢが、それぞれアドレス変換部９１および９２に作用し、上記の原スキャン・アドレスＡＤはそれぞれ変換スキャン・アドレスａｄＡおよびａｄＢに変換された後、対応のメモリ８１および８３を読み出すことになる。ここに上記の回転に拘らず正立した画面表示がなされる。なお、画像情報Ｉｇによる表示データＤｄＧは、カメラ部２Ｂとは無関係であるから、上記の回転に起因したアドレス変換は不要である。【００４８】
次に図１０を参照すると、図９では記載されなかったＣＰＵ１１と、アンテナ７１および伝送インタフェース７２を有する受信部７Ｂと、演算メモリ８２と、回転角センサ部５Ｂとが、本図１０では記載されている。【００４９】
この図１０の構成のうち、受信側装置１Ｂ自身が生成する映像ＩｖＢおよび画像Ｉｇ（ＧＢ）に関係する部分のみを抽出すると図１１に示すごとくなる。【００５０】
上記の図１０についてもう少し詳しく説明する。図１２は図１０における映像情報ＩｖＡと回転情報ＩｒＡの区分けの仕方の一例を示すフローチャートである。【００５１】
ステップＳ１１：図１０に示す受信部７Ｂの伝送インタフェース７２にて、受信情報Ｉｉｎをなすパケット（図６にて説明したＲＴＰ／ＲＴＣＰパケット）を受信する。
ステップＳ１２：上記パケットの識別子（ＲＴＰ／ＲＴＣＰ）を見て、映像情報（ＲＴＰ）か回転情報（ＲＴＣＰ）かを判断し、
ステップＳ１３：ＲＴＰならば圧縮された当該映像情報ＩｖＡの復号化を行った後、映像メモリ８１にそれを格納する。【００５２】
ステップＳ１４：ＲＴＣＰならば、すなわち回転情報ＩｒＡならば自己の回転情報ＩｒＢも加味して、調整すべき回転角を計算する。この計算結果をアドレス変換部９１に反映させる。
ステップＳ１５：また自己の回転情報ＩｒＢに基づき、自己の映像ＶＢを正立させるように、アドレス変換部９２により変換されたアドレスでメモリ８３の読み出しを行う。【００５３】
次に「アドレス変換」についてさらに詳細に説明する。まず図１０に示す送信側映像メモリ８１に対する原スキャン・アドレス（画像表示アドレス）について見てみる。すなわち、映像メモリ８１の内容を、表示部３Ｂ上の所望の位置に表示させるためのアドレス変換である。【００５４】
ここで、原スキャン・アドレスＡＤを（ｘ，ｙ）として表し、その映像メモリに与えるべきアドレスを（Ｐ，Ｑ）として表すと、下記の式（１）で表すことができる。
Ｐ＝ａｘ＋ｂｙ＋ｃ
Ｑ＝ｄｘ＋ｅｙ＋ｆ                                                  （１）
ただし、ａ，ｂ，ｃ，ｄ，ｅおよびｆは、映像ＶＡを表示部３Ｂ上のどの座標にどの大きさで表すかを設定するための係数（定数）であり、ＣＰＵ１１が所定のアプリケーションソフトにより指定する。この式（１）に基づくアドレス変換は、送信側映像アドレス変換部９１において行われる。なお、（Ｐ，Ｑ）の値が、映像メモリ８１のアドレスの値を超えるときは、そのアドレス変換は行われない。また、表示したくない部分があるときは、メモリ８１に透明色データＤｔ（ｔｒａｎｓｐａｒｅｎｔ）を書き込む。【００５５】
図１３は（Ｂ）の表示データＤｄＡを表示部３Ｂ上の所定位置（Ａ）に表示させるアドレス変換を図解的に表す図である。本図（Ｂ）に表す映像データＤａＡ上の矩形領域“Ｒ”の映像を、表示部３Ｂの画面（Ａ）上の左下の領域“Ｚ”に表示させるものとすると、上記式（１）は下記式（２）により表される。この例の場合、ＣＰＵ１１は、上記の係数ａ〜ｆを、計算により、ａ＝２０，ｂ＝０，ｃ＝１００，ｄ＝０，ｅ＝２０およびｆ＝２００に設定する。
Ｐ＝２０ｘ＋１００
Ｑ＝２０ｙ＋２００                                                  （２）【００５６】
次に、本発明のポイントである回転情報（ＩｒＡ，ＩｒＢ）を考慮したアドレス変換について説明する。図１４は（Ｂ）の回転を伴う表示データＤａＡを表示部３Ｂ上に正立して表示（Ａ）させるアドレス変換を図解的に表す図である。すなわち本図の（Ｂ）において、“Ｒ”が相手（送信側）の映像であって回転角θａだけ回転している。これをアドレス変換により、本図（Ａ）のように正立した映像“Ｚ”に補正する。【００５７】
相手（送信側）からの映像ＶＡをどのように回転させるかは、表示する受信側ユーザでの好みによることもできる。例えば寝て見る場合等、相手の映像は重力に対して正立していなくても良く、自装置と同じ方向の場合の方が都合が良いこともある。したがって常に自動的に正立させるのではなく、ユーザの調整のもとで回転角を変えても良い。このときは、上述の係数ａ〜ｆとしてユーザが操作部４Ｂを操作して入力した設定値に基づく値をＣＰＵ１１が計算する。【００５８】
上記図１４において、矩形“Ｚ”の中心点の座標を（（ｘ０＋ｘ１）／２，（ｙ０＋ｙ１）／２）とし、その中心点で回転角θａだけ回転させて正立させるものとする。つまり、相手（送信側）から送られてくる回転情報（ＩｒＡ）はＩｒＡ＝θａである。【００５９】
ここで表示部３Ｂ上の表示座標（ｘ，ｙ）は、下記式（３）のようになる。
Ｐ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｃｏｓθａ−｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｓｉｎθａ＋（ｘ０＋ｘ１）／２
Ｑ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｓｉｎθａ＋｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｃｏｓθａ＋（ｙ０＋ｙ１）／２                      （３）【００６０】
なおこの式（３）では分かりやすいように回転角θａを用いているが、結局は、既述の式（１）により拡大、縮小、移動、トリミングのみならず、回転までも表すことができる。【００６１】
上記式（３）を見やすくすると、下記式（４）のようになる。
Ｐ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｃｏｓθａ−｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｓｉｎθａ＋（ｘ０＋ｘ１）／２
Ｑ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｓｉｎθａ−｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｃｏｓθａ＋（ｙ０＋ｙ１）／２                      （４）
上記式（４）をさらに変形すると、下記式（５）のようになる。
Ｐ（Ａ）＝ｃｏｓθａ・ｘ−ｓｉｎθａ・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎθａ・ｘ−ｃｏｓθａ・ｙ−Ｃｑａ                    （５）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓθａ
ｂ＝−ｓｉｎθａ
ｃ＝｛（ｘ１−ｘ０＋１）ｃｏｓθａ＋（ｙ１−ｙ０＋１）ｓｉｎθａ＋ｘ０＋ｘ１        ｝／２＝Ｃｐａ
ｄ＝ｓｉｎθａ
ｅ＝−ｃｏｓθａ
ｆ＝｛（ｘ１−ｘ０＋１）ｓｉｎθａ＋（ｙ１−ｙ０＋１）ｃｏｓθａ＋ｙ０＋ｙ１        ｝／２＝Ｃｑａ【００６２】
かくして送信側映像アドレス変換部９１（図１０）は、原スキャン・アドレスＡＤを（ｘ，ｙ）とし、送信側回転情報ＩｒＡにより示される送信側回転角をθａとすると、変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を上記式（５）にて演算する。ここに、ＣｐａおよびＣｑａは、それぞれ、ｃｏｓθａおよびｓｉｎθａを含む定数である。【００６３】
上記アドレス（ｘ，ｙ）は、例えば、表示部３Ｂの画面上の左上から、左→右、左→右…とスキャンするように与えられる。上記式（５）によりアドレスＰ（Ａ），Ｑ（Ａ）が計算され、Ｐ−Ｑ平面上を斜め（回転角θａ）にスキャンする。【００６４】
上記アドレス（ｘ，ｙ）をもとに上記式（５）で計算されたアドレス（Ｐ（Ａ），Ｑ（Ａ））が、映像メモリ８１のアクセス範囲を超えたときは、該メモリ８１へのアドレスは与えられず、該メモリ８１からの読出しデータは透明色データＤｔ（ｔｒａｎｐａｒｅｎｔ）となる。【００６５】
また上記アドレス（ｘ，ｙ）をもとに上記式（５）で計算されたアドレス（Ｐ（Ａ），Ｑ（Ａ））が、映像メモリ８１の範囲を超えて切れてしまう場合があり得る。つまり、ｘ−ｙ平面の端すなわち表示画面（３Ｂ）の端の座標が、Ｐ−Ｑ平面の途中になってしまう場合である。このような場合は、Ｐ−Ｑ平面にある映像の一部が出力されず表示されない（映像が切れてしまう）。
したがって、映像を回転させた場合に、表示画面に大きさが合わない場合は、画面の端で切られたり、画面の途中で相手映像が途切れてしまうこともあり得る。【００６６】
上記の式（３）〜（５）を用いたケースは、送信側回転角θａのみを考慮した場合であるが、さらに、受信側回転角θｂをも合わせて考慮する場合（下記の（Ｉ））がある。一方、受信側の映像に関して、受信側回転角のみ（これを、θｂと区別してθｃとする）を考慮する場合（下記の（II））もある。さらには、後述のミラー表示（図１８、図１９）の場合もある。【００６７】
（Ｉ）送信側映像アドレス変換部９１は、受信側回転情報ＩｒＢにより示される受信側回転角をθｂとすると、変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を下記の式（６）にて演算する。
Ｐ（Ａ）＝ｃｏｓ（θａ−θｂ）・ｘ−ｓｉｎ（θａ−θｂ）・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎ（θａ−θｂ）・ｘ−ｃｏｓ（θａ−θｂ）・ｙ−Ｃｑａ  （６）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓ（θａ−θｂ）
ｂ＝−ｓｉｎ（θａ−θｂ）
ｃ＝｛（ｘ１−ｘ０＋１）ｃｏｓ（θａ−θｂ）＋（ｙ１−ｙ０＋１）ｓｉｎ（θａ        −θｂ）＋ｘ０＋ｘ１｝／２＝Ｃｐａ
ｄ＝ｓｉｎ（θａ−θｂ）
ｅ＝−ｃｏｓ（θａ−θｂ）
ｆ＝｛（ｘ１−ｘ０＋１）ｓｉｎ（θａ−θｂ）＋（ｙ１−ｙ０＋１）ｃｏｓ（θａ        −θｂ）＋ｙ０＋ｙ１｝／２＝Ｃｑａ【００６８】
（II）受信側アドレス変換部９２は、原スキャン・アドレスを（ｘ，ｙ）とし、受信側回転情報ＩｒＢにより示される受信側回転角をθｃとすると、変換スキャン・アドレス（Ｐ（Ｃ），Ｑ（Ｃ））を下記式（７）にて演算する。
Ｐ（Ｃ）＝ｃｏｓ２θｃ・ｘ−ｓｉｎ２θｃ・ｙ−Ｃｐｃ
Ｑ（Ｃ）＝ｓｉｎ２θｃ・ｘ−ｃｏｓ２θｃ・ｙ−Ｃｑｃ                （７）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓ２θｃ
ｂ＝−ｓｉｎ２θｃ
ｃ＝−｛（ｘ１−ｘ０＋１）ｃｏｓ２θｃ＋（ｙ１−ｙ０＋１）ｓｉｎ２θｃ＋ｘ０        ＋ｘ１｝／２＝Ｃｐｃ
ｄ＝ｓｉｎ２θｃ
ｅ＝−ｃｏｓ２θｃ
ｆ＝−｛（ｘ１−ｘ０＋１）ｓｉｎ２θｃ＋（ｙ１−ｙ０＋１）ｃｏｓ２θｃ＋ｙ０        ＋ｙ１｝／２＝Ｃｑｃ
なお２θｃとする理由については後述（図１７）する。【００６９】
上述したアドレス変換の様子を図解的に表すと、図１５〜図１７のようになる。まず、
図１５の（Ａ）および（Ｂ）は、相手装置が回転角θａだけ傾いている場合を示す図であり、
図１６の（Ａ）および（Ｂ）は、自装置も回転角θｂだけ傾いている場合を示す図であり、
図１７の（Ａ），（Ｂ）および（Ｃ）は、自装置での映像について回転角θｃだけ傾いている場合を示す図であって、これら図１５、図１６および図１７はそれぞれ既述の式（５）、式（６）および式（７）に対応している。【００７０】
図１５（Ａ）において、２１はメモリ８１の内容を図解的に表し、相手装置１Ａがθａだけ傾いたときに取り込んだ画像ＶＡの内容である。なお、２２は傾きの方向を分かりやすくするための単なる目印である。この図１５（Ａ）の画像を、自装置１Ｂで受け取ったときの映像データ、すなわち自装置１Ｂが正立しているときの画面表示は図１５（Ｂ）のようになる。【００７１】
次に図１６において、自装置がθｂだけ傾いていると、画面表示は本図（Ａ）のようになり、（θａ−θｂ）だけ傾く。この映像データを（θａ−θｂ）だけ回転させると画面表示は正立し、本図（Ｂ）に示すごとくなる。【００７２】
さらに図１７を参照すると、自装置１Ｂのカメラ部２Ｂにて表示対象を撮影する様子が本図（Ａ）に示される。カメラは向こう側を向いているから、装置の背面が見えている（表示部３Ｂも向こう側にある）。このときの装置１Ｂの回転角がθｃであるとすると、カメラに対し映像は本図（Ｂ）に示すごとく、−θｃだけ傾く。【００７３】
しかし実際には装置１Ｂ自体がθｃだけ傾いているので、結局本図（Ｃ）に示すごとく、映像はθｃ×２（＝θｃ＋θｃ）だけ傾くことになる。既述の式（７）における“２θｃ”は、このことを意味する。【００７４】
次にミラー表示について説明する。カメラ２Ｂで撮影した自分の映像を見る場合、その映像の左右を反転させた方が、あたかも鏡を見ているようでその方が自然な感じで違和感がない。【００７５】
図１８の（Ａ）〜（Ｅ）は、本発明に基づくミラー表示を説明するための図である。本図（Ａ）は前述した図１７（Ａ）と同じであり、装置１Ｂの背面から見て反時計回りに回転角θｃだけ該装置１Ｂを回転させたとする。そうすると、装置１Ｂのカメラ部２Ｂから見たとき、映像は図１８（Ｂ）に示すように時計回りに−θｃだけ傾いて見える。この映像を、カメラ（２Ｂ）をとおる鉛直軸に対して反転させると図１８（Ｃ）のごとくなる。これを表示部３Ｂ上の画面に表示すると、図１８（Ｄ）のようになる。しかし実際には装置１Ｂも−θｃだけ傾いており、図１８（Ｅ）に示すように映像の傾きは相殺されて、結局映像はアドレス変換なしに正立して見えることになる。【００７６】
図１９は「ミラー表示」において表示したい領域（Ｂ）と表示部３Ｂに表される映像（Ａ）を示す図であり、前述の図１３および図１４に相当する。すなわち図１０のカメラ部２Ｂで撮影した自分の映像を自分の装置１Ｂで表示する際、映像の左右を反転させたミラー映像にて表示させるものとする。このカメラから取り込んだ映像が図１９（Ｂ）に示すＰ−Ｑ面上にあり、それを図１９（Ａ）に示すｘ−ｙ面上の映像へと変換する。この表示に際しては、上記のＰ−Ｑ面が図１０の受信側映像メモリ８３にあり、それを表示する画面は上記のｘ−ｙ面であるものとする。このｘ−ｙ面を走査する際、表示する座標が（ｘ，ｙ）のとき、Ｐ−Ｑ面の座標（Ｐ，Ｑ）がどのような値をとるかを示す式が座標変換式であり、一般式としては既述の式（１）、この図１９の例では下記式（８）となる。
Ｐ＝１０ｘ＋３００
Ｑ＝２０ｙ＋２００                                                  （８）【００７７】
以上のミラー表示について要約すると、受信側カメラ部２Ｂによる受信側映像情報ＩｖＢを、表示部３Ｂにおいてミラー表示すべき旨の指示があったときは、前述の受信側アドレス変換部９２（図１０）は、変換スキャン・アドレスへの変換を行うことなく、原スキャン・アドレス（ｘ，ｙ）の左右入れ換えのみを実行するようにする。【００７８】
最後に、図９や図１０に示す表示データ合成部９３についてさらに詳しく説明する。図２０は表示データ合成部９３の動作概念を簡単に表す図であり、図２１は図２０の概念を具体例をもって表す図である。【００７９】
まず図２０を参照すると、表示データ合成部９３は、相手（送信側端末１Ａ）からの映像ＶＡと、自己（受信側端末１Ｂ）内で生成した映像ＶＢと、自己内で生成した画像ＧＢとを合成し、合成映／画像Ｖとして表示部３Ｂの画面上に表示する機能を果たす。この具体例を図２１に示す。【００８０】
図２１において、左上段の図は周囲が透明色データＤｔで埋められた相手映像（ＶＡ）を示し、左中段の図は例えば透明色データＤｔとした自己（１Ｂ）映像ＶＢを示し、左下段の図は自己内で生成したグラフィック画像（ＧＢ）を示すものであって、これらを合成すると、右側の図に示す合成映／画像Ｖとなる。【００８１】
前述したようにアドレス変換を行った結果、枠からはみ出す映像や欠落する映像等が出てくる場合がある。このような場合には、そのはみ出し部分や欠落部分を黒表示するのではなく、透明色データＤｔで埋め合わせするのが好ましい。もう一度図２０を参照すると、もし表示データ＃１０１が透明色データＤｔであれば、その下の表示データ＃１０２を使用する。またもし表示データ＃１０２が透明色データＤｔならば、その下の表示データ＃１０３を使用し、これらの合成（＃１０１＋＃１０２＋＃１０３）を上から見ると、合成表示データ＃１０４が得る。【００８２】
以上を要約すると、表示データ合成部９３（図１０）は、送信側アドレス変換部９１および受信側アドレス変換部９２による各アドレス変換に起因して、それぞれ対応する送信側映像メモリ８１および受信側映像メモリ８３からの各表示データの読み出しが不能となってこれらメモリからの表示データが無データとなったとき、該無データを透明色データに置き換えて表示部３Ｂに送出する機能を果たす。【００８３】
さらに好ましくは上記表示データ合成部９３は、送信側映像メモリ８１、受信側映像メモリ８３および画像メモリ８４からの各表示データを、表示部３Ｂの手前から奥行き方向に重ねて表示する際、その並び順を設定する優先順設定部を備えるようにする。そのための構成を次に図をもって示す。【００８４】
図２２は表示データ合成部９３の一構成例を示す図であり、上記の優先順設定部は本図の中央上方において参照番号１０４により示されている。この優先順設定部１０４は、３つの選択スイッチ１０１，１０２および１０３に対して、接点の接続位置（すなわち優先順）を指定する。なおその指令はＣＰＵ１１（図１０）から与えられる。【００８５】
上記の接点の接続位置は、選択スイッチ１０１，１０２および１０３の各々の中で「１」「２」および「３」を付して示されており、「１」→「２」→「３」の順で優先順位が低くなる。図２２によれば、各「１」の接点には送信側映像メモリ８１からのＶＡが与えられ、各「２」の接点には受信側メモリ８３からのＶＢが与えられ、各「３」の接点には画像メモリ８４からのＧＢが与えられる。つまり、まずは映像ＶＡが最優先で表示され、もしこのＶＡの一部が透明色データＤｔに置き換わっているならば、その部分には次の優先順位のＶＢが表示される。もしこのＶＢの一部が透明色データＤｔに置き換わっているならば、その部分にはその次の優先順位のＧＢが表示される。【００８６】
すなわち図２２の構成によれば、透明色データＤｔ（例えば１６進表示で“ＦＦ”）が、透明色データ検出部１０５により、上記ＶＡ内に検出されると、選択スイッチ１０６の接点「４」から「５」に切り換えられ、今度は接点「５」を通して与えられる表示データが表示部３Ｂに送出される。【００８７】
この接点「５」を通して与えられる表示データは選択スイッチ１０８内の接点「６」を通して得られる表示データすなわち受信側映像ＶＢである。しかしもしそのＶＢの一部に透明色データＤｔが含まれていたとすると、このＤｔを検出した透明色データ検出部１０７は選択スイッチ１０８内の接点を「６」から「７」に切り換え、選択スイッチ１０３内の接点「３」を通して与えられるＧＢを、接点「７」→接点「５」を介して、表示部３Ｂに送出する。かくして例えば図２１に示す合成表示映／画像Ｖが表示部３Ｂに送られてその画面上に表示される。【００８８】
上述した本発明は、同時に、（１）ビデオ表示システム、（２）ビデオ表示方法および（３）ビデオ表示プログラムも提供する。
（１）ビデオ表示システムは、
送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯ビデオ装置および
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、を備えてなる受信側携帯ビデオ装置、から構成される。【００８９】
（２）ビデオ表示方法は、
送信側映像情報を送出する送信側携帯ビデオ装置において、
前記送信側映像情報として受信側へ送出すべき映像をカメラ部にて撮影する工程と、
前記の撮影を行ったときの前記映像の回転角を回転角センサ部にて検出する工程と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に送信部から前記受信側へ送信する工程と、を有し、
前記送信側装置より送出された送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力とする受信側携帯ビデオ装置において、
前記受信情報を受信部にて入力する工程と、
前記受信情報をもとにして生成された表示データに従って、表示部にて前記送信側映像情報にかかる送信側映像を表示する工程と、
前記受信情報を入力として、表示データ生成機能部にて前記表示データを生成するための処理を行う工程と、を有する。【００９０】
（３）−１  送信側のプログラムは、
送信側映像情報を送出する送信側携帯ビデオ装置において、コンピュータに、
前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、
前記の撮影を行ったときの前記映像の回転角を検出する手順と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する手順と、を実行させるプログラムである。【００９１】
（３）−２  受信側のプログラムは、
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯ビデオ装置において、コンピュータに、
前記受信情報を入力する手順と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する手順と、
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、を実行させるプログラムである。【００９２】
以上詳述したとおり本発明によれば、
・送信側の装置で、該装置を傾けた状態でのカメラによる撮影データを送信したときに、その受信側のユーザ装置における表示部に自動的に正立した映像を提供することができる。
・上記の映像の正立化は、ポイント−ツー−ポイントの通信でも、ポイント−ツー−マルチポイントの通信でも実現可能である。
・受信側の装置における傾け角までも考慮して正立映像をユーザ装置に提供することができる。
【図１】
2008001441.tif 000003
【図２】
2008001441.tif 000004
【図３】
2008001441.tif 000005
【図４】
2008001441.tif 000006
【図５】
2008001441.tif 000007
【図６】
2008001441.tif 000008
【図７】
2008001441.tif 000009
【図８】
2008001441.tif 000010
【図９】
2008001441.tif 000011
【図１０】
2008001441.tif 000012
【図１１】
2008001441.tif 000013
【図１２】
2008001441.tif 000014
【図１３】
2008001441.tif 000015
【図１４】
2008001441.tif 000016
【図１５】
2008001441.tif 000017
【図１６】
2008001441.tif 000018
【図１７】
2008001441.tif 000019
【図１８】
2008001441.tif 000020
【図１９】
2008001441.tif 000021
【図２０】
2008001441.tif 000022
【図２２】
2008001441.tif 000023
【図２１】
2008001441.tif 000024
【手続補正書】
【提出日】平成20年9月22日(2008.9.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
送信側映像情報を送出する携帯ビデオ装置であって、
前記送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、
前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、
を備えてなることを特徴とする携帯ビデオ装置。
【請求項２】
前記送信部は、１つの受信側装置に前記送信側映像情報および前記回転情報を送出する１対１通信機能および複数の受信側装置に前記送信側映像情報および前記回転情報を送出する１対多通信機能のうちの少なくとも一方の通信機能を備えることを特徴とする請求項１に記載の携帯ビデオ装置。
【請求項３】
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする携帯ビデオ装置であって、
前記受信情報を入力する受信部と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、
前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、
を有することを特徴とする携帯ビデオ装置。
【請求項４】
当該携帯ビデオ装置に備えられ、受信側での撮影による受信側映像情報を送出する受信側カメラ部と、
当該携帯ビデオ装置内に備えられ、前記の撮影を行ったときの前記受信側映像情報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回転角センサ部と、
前記受信側映像情報を一旦格納する受信側映像メモリと、
当該携帯ビデオ装置内で生成して前記表示部に表示すべきグラフィック情報を格納する画像メモリと、を含み、かつ、前記演算メモリに前記受信側回転情報を一旦格納することを特徴とする請求項３に記載の携帯ビデオ装置。
【請求項５】
前記表示データ生成機能部は、前記送信側映像メモリ、前記受信側映像メモリおよび前記画像メモリの各出力を合成して前記表示部に送出する表示データ合成部を有することを特徴とする請求項４に記載の携帯ビデオ装置。
【請求項６】
前記表示データ合成部は、前記送信側アドレス変換部および前記受信側アドレス変換部による各アドレス変換に起因して、それぞれ対応する前記送信側映像メモリおよび前記受信側映像メモリからの各表示データの読み出しが不能となってこれらメモリからの表示データが無データとなったとき、該無データを透明色データに置き換えて前記表示部に送出することを特徴とする請求項５に記載の携帯ビデオ装置。
【請求項７】
前記表示データ合成部は、前記送信側映像メモリ、前記受信側映像メモリおよび前記画像メモリからの各表示データを、前記表示部の手前から奥行き方向に重ねて表示する際、その並び順を設定する優先順設定部を有することを特徴とする請求項５に記載の携帯ビデオ装置。
【請求項８】
送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯ビデオ装置および
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、を備えてなる受信側携帯ビデオ装置、から構成されることを特徴とするビデオ表示システム。
【請求項９】
送信側映像情報を送出する送信側携帯ビデオ装置において、コンピュータに、
前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、
前記の撮影を行ったときの前記映像の回転角を検出する手順と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する手順と、を実行させることを特徴とするプログラム。
【請求項１０】
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯ビデオ装置において、コンピュータに、
前記受信情報を入力する手順と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する手順と、
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、を実行させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型のビデオ装置、例えばＰＤＡ（Personal Digital Assistants）やカメラ付携帯電話等のモバイル端末で、特に映像通信機能と映像表示機能とを少なくとも具備するモバイル端末に関する。
【背景技術】
【０００２】
近年の携帯型ビデオ装置、例えばＰＤＡにおいては、そのＯＳとして、該ＰＤＡにおける表示部上の映像あるいは画像を０度、９０度、１８０度等に回転させて表示させる機能が実装されている。これは、自由に携帯可能なＰＤＡをユーザが持つときの持ち方として、縦向き、横向き、逆さ等種々あり得るからである。このような回転表示機能を実装することにより、ＰＤＡを仮に逆さに持ったとしても、上記表示部上の表示も同じく逆さに回転させることが可能となり、該表示部上に正立した映像あるいは画像をユーザに見せることができる。
【０００３】
ところが、ＰＤＡに、携帯電話端末と同様、ビデオカメラを一体に搭載してそのビデオカメラによる映像をその表示部に表示させたり、あるいはそのビデオカメラによる映像あるいは画像を、テレビ電話通信を行っている相手方端末に送信するに際し、そのＰＤＡを逆さに持つと、映像や画像が相手方のＰＤＡにおいて逆さに表示されたり、テレビ電話通信を行っている相手方において逆さに表示されてしまう、という不都合がある。本発明はこのような不都合に対処するための方策について一つの提案を行うものである。
【０００４】
なお本発明に関連する公知技術としては下記の〔特許文献１〕〜〔特許文献３〕がある。〔特許文献１〕に開示された発明では、画像の送り側において画像の回転ならびに変換を行っている。
【０００５】
また〔特許文献２〕に開示された発明ではデジタルカメラの撮影時にそのカメラの方向データを画像データの中に組み込んでおく。そして後にパソコン等にその画像を再生して表示する場合、その表示に際して上記方向データを読み取り、それに従い表示すべき画像を回転させ正立画像として表示を行うものである。
【０００６】
さらにまた〔特許文献３〕に開示された発明では、胃カメラ等でその撮像部が回転したとしても、重力の作用により該撮像部が常に所定方向を向くようにするものである。
【０００７】
【特許文献１】特開２０００−１５２０６９号公報
【特許文献２】特開２００１−４５３５４号公報
【特許文献３】特開昭６２−６５５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した３件の特許文献１〜３には以下の問題がある。まず特許文献１については、複数の受信端末に対して同報送信を行う場合あるいは複数の端末相互間で映像や画像を通信し合うといったテレビ会議のような使い方をする場合に対して、当該発明は対応できない、という問題があり、
また、一般的には映像や画像はこれを受信する端末側の状況に合わせてその表示形態を指定できることが望ましいところ、当該発明のように送信側の方で画像データを加工してしまうことは、受信側にとって都合が悪い、という問題もある。
【０００９】
次に特許文献２については、自分で撮影した静止画像を、自分で楽しむといった閉じた環境内で実施される発明であり、例えばネットワークを介して送信側端末から受信側端末へ画像伝送するような場合には適用できない、という問題がある。
【００１０】
また特許文献３については、上記特許文献２と同様、例えばネットワークを介して送信側端末から受信側端末へ撮像データを送信するような場合には、適用できない、という問題がある。
【００１１】
したがって本発明は、上記問題点に鑑み、送信側のカメラ付携帯ビデオ装置から少なくとも１台の受信側のディスプレイ付携帯ビデオ装置に映像及び／又は画像を、ネットワークを介して、伝送するに際し、送信側のカメラが回転しても受信側のディスプレイに正立表示させることができ、また、さらに加えて受信側のディスプレイが回転してもこのディスプレイに正立表示させることのできる携帯ビデオ装置を提供することを目的とするものである。さらには、その携帯ビデオ装置を複数有するビデオ表示システム、そのための方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明によれば、後に図４を参照して説明するように、送信側の携帯ビデオ装置に関しては、送信側映像情報を送出する携帯ビデオ装置であって、（ｉ）その送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、（ii）上記の撮影を行ったときの映像の回転角を検出する回転角センサ部と、（iii）検出したその回転角を回転情報として、上記の送信側映像情報と共に受信側へ送出する送信部と、から構成する。
【００１３】
一方、受信側の携帯ビデオ装置に関しては、送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする携帯ビデオ装置であって、（ｉ）上記の受信情報を入力する受信部と、（ii）上記の受信情報をもとにして生成された表示データに従って、上記の送信側映像情報にかかる送信側映像を表示する表示部と、（iii）上記の受信情報を入力としてその表示データを生成するための処理を行う表示データ生成機能部と、から構成すると共に、（iv）上記受信情報内の送信側映像情報を一旦格納する送信側映像メモリと、（ｖ）該受信情報内の送信側回転情報を一旦格納する演算メモリと、を少なくとも含む。
【００１４】
また上記の受信側携帯ビデオ装置は、さらに好ましくは、（vi）当該携帯ビデオ装置に備えられ、受信側での撮影による受信側映像情報を送出する受信側カメラ部と、（vii）当該携帯ビデオ装置内に備えられ、上記の撮影を行ったときの上記受信側映像情報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回転角センサ部とを有する。そしてさらに（viii）上記の受信側映像情報を一旦格納する受信側映像メモリと、（ix）当該携帯ビデオ装置内で生成して前記表示部（ii）に表示すべき画像（グラフィック）情報を格納する画像メモリと、を含む。そして上記の演算メモリ（ｖ）に上記の受信側回転情報を一旦格納する。
【発明の効果】
【００１５】
かくして本発明によれば、後述の説明から明らかになるとおり、下記のａ）〜ｄ）に示す効果が得られる。
【００１６】
ａ）ＰＤＡや携帯電話でテレビ電話を行う際、これらの携帯ビデオ装置を傾けた場合すなわち該装置を正立させない場合においても、相手側の受信側装置において正立した画像を表示させることができる。
【００１７】
ｂ）同報的に複数の装置へ映像や画像を送る際や複数の装置間で相互に映像や画像を送る際でも、各該装置では、それぞれの回転角に拘わらず、当該映像等を正立して表示することができる。
【００１８】
ｃ）受信側装置での処理によって映像等を回転させるので、受信側ユーザの好みに応じた映像等の表示態様を自由に得ることができる。
【００１９】
ｄ）自装置Ａで自分で撮影した映像を表示（モニタ）する場合も、その表示部に相手方装置Ｂと同じ処理部を設けることによって、相手方装置ならびに自装置の回転の如何に拘わらず、正立した映像等を表示させることができる。また受信側装置の表示部に映像等をミラー表示するための加工を加えることもできるが、この場合送信側の映像とは全く関係なく加工することができるので、したがって、相手装置を考慮することなく自由にかつ簡単にそのミラー加工が行える。
【発明を実施するための最良の形態】
【００２０】
まず初めに本発明の理解を早めるために、本発明に係るビデオ装置の表示部における映像あるいは画像（以下、単に映像等とも称す）の表示パターンの実例を示す。
【００２１】
図１は送信側映像および受信側映像の第１表示パターンを示す図である。本図において、参照番号１は携帯ビデオ装置（以下、単に装置とも称す）、２はカメラ部、３は表示部、４はテンキー等の操作部を示す。ここに、各参照番号に付されたＡは映像の送信側を表し、Ｂは映像の受信側を表す。したがって、ＶＡはカメラ部２Ａにより撮影された送信側映像を表し、ＶＢは表示部３Ｂに表示されたその映像、すなわち受信側映像を表す。
【００２２】
図１に示す第１表示パターンは、本発明を適用しない場合の表示パターンであり、装置１を傾けて（図の例では９０度）表示対象をカメラ部２Ａにより撮影したときの送信側映像がＶＡとして示される。この映像ＶＡは、本発明を適用しない場合、正立している受信側装置１Ｂの表示部３Ｂの画面上において、図示するとおり、９０度傾いた受信側映像ＶＢとして表示される。このような表示パターン（ＶＢ）は受信側のユーザにとって快いものではない。
【００２３】
図２は本発明を適用した第２表示パターンを示す図である。なお全図を通して同様の構成要素には同一の参照番号または記号を付して示す。
【００２４】
図２において、５Ａは回転角センサ部であり、今９０度傾いている装置１Ａの回転情報Ｉｒ（ｒｏｔａｔｉｏｎ）Ａ（＝９０°）を出力し、映像情報Ｉｖ（ｖｉｄｅｏ）Ａと共に装置１Ｂに送信される。このとき、傾いて受信された映像ＶＡは、上記回転情報ＩｒＡに基づいて正立した映像ＶＢとなる。
【００２５】
図３は、本発明を適用した第３表示パターンを示す図である。上記図２において、装置１Ａからの回転情報ＩｒＡおよび送信側映像情報ＩｖＡを受信した受信側装置１Ｂそれ自体が傾いていた場合を本図は示す。例えば今９０度傾いていたとすると（ＩｒＢ＝９０°）、このＩｒＢと上記の受信したＩｒＡとを合成した回転角が、正立した映像ＶＢを生成するように、図３に示された「回転の指示」ならびに「回転処理」が装置１Ｂ内で実行される。
【００２６】
以上、本発明の理解を早めるための説明を行ったので、以下に本発明のさらに具体的な説明を行う。まず図４を参照すると、本図は、本発明に係る携帯ビデオ装置（送信側）の基本構成を示す図である。
【００２７】
図４において、参照番号２Ａはおよび５Ａはそれぞれ、カメラ部および回転角センサ部であり、また６Ａはこれらの各出力情報を、無線／有線ネットワークＮＷを介して、受信側装置１Ｂに送信する送信部である。すなわち、本発明に係る装置（送信側）１Ａは送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報ＩｖＡとして受信側（１Ｂ）へ送出すべき映像ＶＡを撮影するカメラ部２Ａと、その撮影を行ったときの映像の回転角を検出する回転角センサ部５Ａと、検出したその回転角を回転情報ＩｒＡとして、送信側映像情報ＩｖＡと共に受信側（１Ｂ）へ送出する送信部６Ａと、を備えて構成される携帯ビデオ装置である。
【００２８】
ここに回転情報ＩｒＡを生成する回転角センサ部５Ａは、ジャイロセンサ、重力センサまたは傾斜センサのいずれかによって実現できる。なお、前述した図２および図３では、一例として、ジャイロセンサを示している。このジャイロセンサや重力センサおよび傾斜センサとしては既に市販で安価に入手可能なものがある。また既述した特許文献１〜特許文献３においても、それぞれ独自に工夫した回転角センサ部が開示されている。
【００２９】
さらに図４の送信部６Ａについて詳しく説明する。この送信部６Ａは、（ｉ）１つの受信側装置１Ｂに送信側映像情報ＩｖＡおよび回転情報ＩｒＡを送出する１対１通信機能および（ii）複数の受信側装置１Ｂに送信側映像情報ＩｖＡおよび回転情報ＩｒＡを送出する１対多通信機能のうちの少なくとも一方の通信機能を備えることができる。図５は上記の１対多（point-to-multipoint）通信機能を備えた送信部６Ａによる配信例を示す図である。なお本図では、装置１Ａから各装置１Ｂに向かう片方向のみを記載しているが、同様に各装置１Ｂから装置１Ａに向かう逆方向送信も存在する。
【００３０】
図５において、装置１Ａはその送信部６Ａより、ＲＴＰパケットを用いて映像、画像、音声等の情報（ＩｖＡ）を送信し、ＲＴＣＰパケットを用いて回転情報（ＩｒＡ）を送信する。これらの送信は、好ましくはＩＰ（Internet Protocol）ネットワークＮＷ上にて各装置１Ｂ１〜１Ｂ３に向けて行われる。なお既に知られているとおり、上記のプロトコルＲＴＰ／ＲＴＣＰ（Real-time Transport Control Protocol）はＩＥＴＦ（http://www.ietf.org/）ＲＦＣ１８８９にて規定されており、ＲＴＰにより映像等の情報を送信し、ＲＴＣＰによりその送信の制御を行う。
【００３１】
図６はＲＴＣＰにおけるＡＰＰパケットフィールドの構成を示す図である。ＲＴＣＰパケットにはいくつかの種類があり、本発明に基づく回転情報ＩｒＡは、その種類の中のＡＰＰ（アプリケーション独自の規定によるパケット）を用いる。一般に、映像やデータを送るプロトコルにおいては、その付加情報も送る仕組みがある。そこで、回転情報ＩｒＡは該付加情報として送ることができる。またこの図６によれば、その付加情報としてさらに頻度情報ＩｆＡ（ｆｒｅｑｕｅｎｃｙ）をも加えている。
【００３２】
このように本発明の送信部６Ａは、送信側映像情報ＩｖＡをデータ伝送用のＲＴＰに従って送出し、回転情報ＩｒＡを制御用のＲＴＣＰに従って送出することを特徴とし、
またこのＲＴＣＰに従う制御用パケット内には、回転情報ＩｒＡに加えてさらに、その回転情報を更新する頻度を示す頻度情報ＩｆＡを含むことを特徴とするものである。
【００３３】
なお図６に示すフィールド構成の詳細を示すと以下のとおりである。
【００３４】
Ｖ（１ビット長）：ＲＦＣ１８８９に準拠した製品バージョン（＝２）。
Ｐ（１ビット長）：パケットの最後に付属するパディングオクテットのある／なしを示す。
Ｓｕｂｔｙｐｅ（５ビット長）：０固定。
ＰＴ（８ビット長）：パケットタイプでＲＴＣＰパケットのどの種類であるのかを示す。２０４固定。
長さ（１６ビット長）：ＲＴＣＰパケットの全体の長さを３２で割って１引いた数。
送信者ＳＳＲＣ（３２ビット長）：送信者の識別番号
ｎａｍｅ：回転情報のＲＴＣＰパケットであることを示す名前：“ｋａｉｔ”
回転情報（１６ビット長）：装置の回転角度。正立を０度として時計周りに３６０度まで。
回転情報更新頻度（１６ビット長）：回転情報を更新する時間間隔。０．０１秒単位。
【００３５】
なお、各受信側装置１Ｂ１〜１Ｂ３（図５）内の受信部７Ｂにおいては、上記のＰＴフィールドとｎａｍｅフィールドを参照して、受信ＲＴＣＰパケットの種類と、回転情報等であることとを認識する。なお、本発明を実現するために他の通信プロトコルを用いても良い。
【００３６】
次に図７を参照して、本発明に係る携帯ビデオ装置（受信側）の基本構成を示す。図７において、参照番号７Ｂは前述した受信部、８Ｂはメモリ機能部、９Ｂは表示データ生成機能部であり、３Ｂは前述した表示部である。
【００３７】
すなわち、本発明に係る装置（受信側）１Ｂは、送信側装置１Ａより送出された送信側映像情報ＩｖＡと、その送信側映像情報に係る映像の回転角を示す送信側回転情報ＩｒＡとを少なくとも含む受信情報Ｉｉｎを入力とする携帯ビデオ装置であって、その受信情報Ｉｉｎを入力する受信部７Ｂと、この受信部７Ｂにて受信した受信情報Ｉｉｎを一旦格納するメモリ機能部８Ｂと、このメモリ機能部８Ｂに格納された受信情報Ｉｉｎをもとにして生成された表示データＤｄ（ｄｉｓｐｌａｙ）に従って、送信側映像情報ＩｖＡにかかる送信側映像ＶＡを表示する表示部３Ｂと、上記の受信情報Ｉｉｎを入力として表示データＤｄを生成するための処理を行う表示データ生成機能部９Ｂと、を有する携帯ビデオ装置である。
【００３８】
ここにメモリ機能部８Ｂ（図７）は、受信情報Ｉｉｎ内の送信側映像情報ＩｖＡを一旦格納する送信側映像メモリ８１と、その受信情報Ｉｉｎ内の送信側回転情報ＩｒＡを一旦格納する演算メモリ８２と、を少なくとも含んでいる。
【００３９】
また表示データ生成機能部９Ｂ（図７）は、表示部３Ｂにおけるシーケンシャル・スキャンを行う原スキャン・アドレスＡＤ（図９および図１０参照）に対し、演算メモリ８２に格納された送信側回転情報ＩｒＡに相応するアドレス変換を加えた変換スキャン・アドレスａｄＡ（図９および図１０参照）を生成する送信側映像アドレス変換部９１を含んでいる。
【００４０】
本発明に係る携帯ビデオ装置１は、受信側装置１Ｂ自身が、自身のカメラ部２Ｂにより撮影した受信側映像ＶＢ及び／又は自身が作成した画像情報Ｉｇ（ｇｒａｐｈｉｃ）に係る画像ＧＢをも、送信側映像ＶＡと共に表示部３Ｂに表示可能としている。図８は、本発明に係る他の携帯ビデオ装置（受信側）の基本構成を示す図であって、上記の映像ＶＢや画像ＧＢをも映像ＶＡと共に表示部３Ｂに表示可能としている。
【００４１】
すなわち、当該携帯ビデオ端末１Ｂに備えられ、受信側での撮影による受信側映像情報ＶＢを送出する受信側カメラ部２Ｂと、当該携帯ビデオ装置１Ｂ内に備えられ、その撮影を行ったときの受信側映像情報ＩｖＢに係る映像の回転角を検出し、これを受信側回転情報ＩｒＢとして出力する受信側回転角センサ部５Ｂとを有する。そしてメモリ機能部８Ｂはさらに、受信側映像情報ＩｖＢを一旦格納する受信側映像メモリ８３と、当該携帯ビデオ装置１Ｂ内のＣＰＵ１１で生成して表示部３Ｂに表示すべき画像（グラフィック）情報Ｉｇを格納する画像メモリ８３と、を含み、かつ、前述の演算メモリ８２に受信側回転情報（ＩｒＢ）を一旦格納するようにする。
【００４２】
また前述の表示データ生成機能部９Ｂは、画像メモリ８４に対しては、原スキャン・アドレスＡＤをそのまま入力とすると共に、上記の演算メモリ８２に格納された受信側回転情報ＩｒＢに相応するアドレス変換を加えた変換スキャン・アドレスａｄＢ（図９および図１０参照）を生成する受信側映像アドレス変換部９２を含むようにする。
【００４３】
さらにまた表示データ生成機能部９Ｂは、上記のメモリ機能部８Ｂにおける上記の送信側映像メモリ８１、受信側映像メモリ８３および画像メモリ８４からの各表示データを合成して表示部３Ｂに送出する表示データ合成部９３を有する。
【００４４】
以上装置１Ｂの基本構成（図７および図８）についてさらに具体的な構成を説明する。図９は受信側装置におけるアドレス変換の様子を示す図であり、
図１０は受信側装置全体の具体的構成例を示す図であり、
図１１は受信側装置における受信側自身で生成する映像と画像について示す図である。
【００４５】
まず図９を参照すると、カメラ部２Ａから送信されてきた映像情報ＩｖＡは映像メモリ８１に１フレーム分ずつ上書きされながら格納される。また自己のカメラ部２Ｂからの１フレーム分ずつの映像情報ＩｖＢ、さらには自己のＣＰＵ（図１０の１１）で生成した文字やグラフィック（映像の説明や映像の枠等）をなす画像情報Ｉｇがそれぞれ映像メモリ８３と画像メモリ８４に格納される。なお音声情報は本発明に関係しないので省略する。
【００４６】
これらのメモリ（８１，８３，８４）格納された情報（ＩｖＡ，ＩｖＢ，Ｉｇ）は、読出しアドレス生成部１２からの原スキャン・アドレスＡＤに従って順次読み出される。読み出されたこれらの情報（ＩｖＡ，ＩｖＢ，Ｉｇ）は、それぞれ表示データＤｄＡ，ＤｄＢおよびＤｄＧとして、表示データ合成部９３にて合成された後、最終的な表示データＤｄとなり、表示部３Ｂにおいてユーザに対し表示画面として提供される。
【００４７】
以上の動作は、装置１Ａにおいても装置１Ｂにおいても何らの回転がない場合である。もしこれらの装置１Ａおよび１Ｂが回転を伴ったとしたならば、本発明に基づく回転情報ＩｒＡおよびＩｒＢが、それぞれアドレス変換部９１および９２に作用し、上記の原スキャン・アドレスＡＤはそれぞれ変換スキャン・アドレスａｄＡおよびａｄＢに変換された後、対応のメモリ８１および８３を読み出すことになる。ここに上記の回転に拘らず正立した画面表示がなされる。なお、画像情報Ｉｇによる表示データＤｄＧは、カメラ部２Ｂとは無関係であるから、上記の回転に起因したアドレス変換は不要である。
【００４８】
次に図１０を参照すると、図９では記載されなかったＣＰＵ１１と、アンテナ７１および伝送インタフェース７２を有する受信部７Ｂと、演算メモリ８２と、回転角センサ部５Ｂとが、本図１０では記載されている。
【００４９】
この図１０の構成のうち、受信側装置１Ｂ自身が生成する映像ＩｖＢおよび画像Ｉｇ（ＧＢ）に関係する部分のみを抽出すると図１１に示すごとくなる。
【００５０】
上記の図１０についてもう少し詳しく説明する。図１２は図１０における映像情報ＩｖＡと回転情報ＩｒＡの区分けの仕方の一例を示すフローチャートである。
【００５１】
ステップＳ１１：図１０に示す受信部７Ｂの伝送インタフェース７２にて、受信情報Ｉｉｎをなすパケット（図６にて説明したＲＴＰ／ＲＴＣＰパケット）を受信する。
ステップＳ１２：上記パケットの識別子（ＲＴＰ／ＲＴＣＰ）を見て、映像情報（ＲＴＰ）か回転情報（ＲＴＣＰ）かを判断し、
ステップＳ１３：ＲＴＰならば圧縮された当該映像情報ＩｖＡの復号化を行った後、映像メモリ８１にそれを格納する。
【００５２】
ステップＳ１４：ＲＴＣＰならば、すなわち回転情報ＩｒＡならば自己の回転情報ＩｒＢも加味して、調整すべき回転角を計算する。この計算結果をアドレス変換部９１に反映させる。
ステップＳ１５：また自己の回転情報ＩｒＢに基づき、自己の映像ＶＢを正立させるように、アドレス変換部９２により変換されたアドレスでメモリ８３の読み出しを行う。
【００５３】
次に「アドレス変換」についてさらに詳細に説明する。まず図１０に示す送信側映像メモリ８１に対する原スキャン・アドレス（画像表示アドレス）について見てみる。すなわち、映像メモリ８１の内容を、表示部３Ｂ上の所望の位置に表示させるためのアドレス変換である。
【００５４】
ここで、原スキャン・アドレスＡＤを（ｘ，ｙ）として表し、その映像メモリに与えるべきアドレスを（Ｐ，Ｑ）として表すと、下記の式（１）で表すことができる。
Ｐ＝ａｘ＋ｂｙ＋ｃ
Ｑ＝ｄｘ＋ｅｙ＋ｆ                                                  （１）
ただし、ａ，ｂ，ｃ，ｄ，ｅおよびｆは、映像ＶＡを表示部３Ｂ上のどの座標にどの大きさで表すかを設定するための係数（定数）であり、ＣＰＵ１１が所定のアプリケーションソフトにより指定する。この式（１）に基づくアドレス変換は、送信側映像アドレス変換部９１において行われる。なお、（Ｐ，Ｑ）の値が、映像メモリ８１のアドレスの値を超えるときは、そのアドレス変換は行われない。また、表示したくない部分があるときは、メモリ８１に透明色データＤｔ（ｔｒａｎｓｐａｒｅｎｔ）を書き込む。
【００５５】
図１３は（Ｂ）の表示データＤｄＡを表示部３Ｂ上の所定位置（Ａ）に表示させるアドレス変換を図解的に表す図である。本図（Ｂ）に表す映像データＤａＡ上の矩形領域“Ｒ”の映像を、表示部３Ｂの画面（Ａ）上の左下の領域“Ｚ”に表示させるものとすると、上記式（１）は下記式（２）により表される。この例の場合、ＣＰＵ１１は、上記の係数ａ〜ｆを、計算により、ａ＝２０，ｂ＝０，ｃ＝１００，ｄ＝０，ｅ＝２０およびｆ＝２００に設定する。
Ｐ＝２０ｘ＋１００
Ｑ＝２０ｙ＋２００                                                  （２）
【００５６】
次に、本発明のポイントである回転情報（ＩｒＡ，ＩｒＢ）を考慮したアドレス変換について説明する。図１４は（Ｂ）の回転を伴う表示データＤａＡを表示部３Ｂ上に正立して表示（Ａ）させるアドレス変換を図解的に表す図である。すなわち本図の（Ｂ）において、“Ｒ”が相手（送信側）の映像であって回転角θａだけ回転している。これをアドレス変換により、本図（Ａ）のように正立した映像“Ｚ”に補正する。
【００５７】
相手（送信側）からの映像ＶＡをどのように回転させるかは、表示する受信側ユーザでの好みによることもできる。例えば寝て見る場合等、相手の映像は重力に対して正立していなくても良く、自装置と同じ方向の場合の方が都合が良いこともある。したがって常に自動的に正立させるのではなく、ユーザの調整のもとで回転角を変えても良い。このときは、上述の係数ａ〜ｆとしてユーザが操作部４Ｂを操作して入力した設定値に基づく値をＣＰＵ１１が計算する。
【００５８】
上記図１４において、矩形“Ｚ”の中心点の座標を（（ｘ０＋ｘ１）／２，（ｙ０＋ｙ１）／２）とし、その中心点で回転角θａだけ回転させて正立させるものとする。つまり、相手（送信側）から送られてくる回転情報（ＩｒＡ）はＩｒＡ＝θａである。
【００５９】
ここで表示部３Ｂ上の表示座標（ｘ，ｙ）は、下記式（３）のようになる。
Ｐ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｃｏｓθａ−｛ｙ−（ｙ１−ｙ０＋１）／２｝ｓｉｎθａ＋（ｘ０＋ｘ１）／２
Ｑ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｓｉｎθａ＋｛ｙ−（ｙ１−ｙ０＋１）／２｝ｃｏｓθａ＋（ｙ０＋ｙ１）／２                                    （３）
【００６０】
なおこの式（３）では分かりやすいように回転角θａを用いているが、結局は、既述の式（１）により拡大、縮小、移動、トリミングのみならず、回転までも表すことができる。
【００６１】
上記式（３）を見やすくすると、下記式（４）のようになる。
Ｐ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｃｏｓθａ−｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｓｉｎθａ＋（ｘ０＋ｘ１）／２
Ｑ（Ａ）＝｛ｘ−（ｘ１−ｘ０＋１）／２｝ｓｉｎθａ−｛ｙ−（ｙ１−ｙ０＋１）              ／２｝ｃｏｓθａ＋（ｙ０＋ｙ１）／２                      （４）
上記式（４）をさらに変形すると、下記式（５）のようになる。
Ｐ（Ａ）＝ｃｏｓθａ・ｘ−ｓｉｎθａ・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎθａ・ｘ−ｃｏｓθａ・ｙ−Ｃｑａ                    （５）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓθａ
ｂ＝−ｓｉｎθａ
ｃ＝｛（ｘ１−ｘ０＋１）ｃｏｓθａ＋（ｙ１−ｙ０＋１）ｓｉｎθａ＋ｘ０＋ｘ１        ｝／２＝Ｃｐａ
ｄ＝ｓｉｎθａ
ｅ＝−ｃｏｓθａ
ｆ＝｛（ｘ１−ｘ０＋１）ｓｉｎθａ＋（ｙ１−ｙ０＋１）ｃｏｓθａ＋ｙ０＋ｙ１        ｝／２＝Ｃｑａ
【００６２】
かくして送信側映像アドレス変換部９１（図１０）は、原スキャン・アドレスＡＤを（ｘ，ｙ）とし、送信側回転情報ＩｒＡにより示される送信側回転角をθａとすると、変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を上記式（５）にて演算する。ここに、ＣｐａおよびＣｑａは、それぞれ、ｃｏｓθａおよびｓｉｎθａを含む定数である。
【００６３】
上記アドレス（ｘ，ｙ）は、例えば、表示部３Ｂの画面上の左上から、左→右、左→右…とスキャンするように与えられる。上記式（５）によりアドレスＰ（Ａ），Ｑ（Ａ）が計算され、Ｐ−Ｑ平面上を斜め（回転角θａ）にスキャンする。
【００６４】
上記アドレス（ｘ，ｙ）をもとに上記式（５）で計算されたアドレス（Ｐ（Ａ），Ｑ（Ａ））が、映像メモリ８１のアクセス範囲を超えたときは、該メモリ８１へのアドレスは与えられず、該メモリ８１からの読出しデータは透明色データＤｔ（ｔｒａｎｐａｒｅｎｔ）となる。
【００６５】
また上記アドレス（ｘ，ｙ）をもとに上記式（５）で計算されたアドレス（Ｐ（Ａ），Ｑ（Ａ））が、映像メモリ８１の範囲を超えて切れてしまう場合があり得る。つまり、ｘ−ｙ平面の端すなわち表示画面（３Ｂ）の端の座標が、Ｐ−Ｑ平面の途中になってしまう場合である。このような場合は、Ｐ−Ｑ平面にある映像の一部が出力されず表示されない（映像が切れてしまう）。
したがって、映像を回転させた場合に、表示画面に大きさが合わない場合は、画面の端で切られたり、画面の途中で相手映像が途切れてしまうこともあり得る。
【００６６】
上記の式（３）〜（５）を用いたケースは、送信側回転角θａのみを考慮した場合であるが、さらに、受信側回転角θｂをも合わせて考慮する場合（下記の（Ｉ））がある。一方、受信側の映像に関して、受信側回転角のみ（これを、θｂと区別してθｃとする）を考慮する場合（下記の（II））もある。さらには、後述のミラー表示（図１８、図１９）の場合もある。
【００６７】
（Ｉ）送信側映像アドレス変換部９１は、受信側回転情報ＩｒＢにより示される受信側回転角をθｂとすると、変換スキャン・アドレス（Ｐ（Ａ），Ｑ（Ａ））を下記の式（６）にて演算する。
Ｐ（Ａ）＝ｃｏｓ（θａ−θｂ）・ｘ−ｓｉｎ（θａ−θｂ）・ｙ−Ｃｐａ
Ｑ（Ａ）＝ｓｉｎ（θａ−θｂ）・ｘ−ｃｏｓ（θａ−θｂ）・ｙ−Ｃｑａ  （６）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓ（θａ−θｂ）
ｂ＝−ｓｉｎ（θａ−θｂ）
ｃ＝｛（ｘ１−ｘ０＋１）ｃｏｓ（θａ−θｂ）＋（ｙ１−ｙ０＋１）ｓｉｎ（θａ        −θｂ）＋ｘ０＋ｘ１｝／２＝Ｃｐａ
ｄ＝ｓｉｎ（θａ−θｂ）
ｅ＝−ｃｏｓ（θａ−θｂ）
ｆ＝｛（ｘ１−ｘ０＋１）ｓｉｎ（θａ−θｂ）＋（ｙ１−ｙ０＋１）ｃｏｓ（θａ        −θｂ）＋ｙ０＋ｙ１｝／２＝Ｃｑａ
【００６８】
（II）受信側アドレス変換部９２は、原スキャン・アドレスを（ｘ，ｙ）とし、受信側回転情報ＩｒＢにより示される受信側回転角をθｃとすると、変換スキャン・アドレス（Ｐ（Ｃ），Ｑ（Ｃ））を下記式（７）にて演算する。
Ｐ（Ｃ）＝ｃｏｓ２θｃ・ｘ−ｓｉｎ２θｃ・ｙ−Ｃｐｃ
Ｑ（Ｃ）＝ｓｉｎ２θｃ・ｘ−ｃｏｓ２θｃ・ｙ−Ｃｑｃ                （７）
ここに上記式（１）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは以下のとおりとなる。
ａ＝ｃｏｓ２θｃ
ｂ＝−ｓｉｎ２θｃ
ｃ＝−｛（ｘ１−ｘ０＋１）ｃｏｓ２θｃ＋（ｙ１−ｙ０＋１）ｓｉｎ２θｃ＋ｘ０        ＋ｘ１｝／２＝Ｃｐｃ
ｄ＝ｓｉｎ２θｃ
ｅ＝−ｃｏｓ２θｃ
ｆ＝−｛（ｘ１−ｘ０＋１）ｓｉｎ２θｃ＋（ｙ１−ｙ０＋１）ｃｏｓ２θｃ＋ｙ０        ＋ｙ１｝／２＝Ｃｑｃ
なお２θｃとする理由については後述（図１７）する。
【００６９】
上述したアドレス変換の様子を図解的に表すと、図１５〜図１７のようになる。まず、
図１５の（Ａ）および（Ｂ）は、相手装置が回転角θａだけ傾いている場合を示す図であり、
図１６の（Ａ）および（Ｂ）は、自装置も回転角θｂだけ傾いている場合を示す図であり、
図１７の（Ａ），（Ｂ）および（Ｃ）は、自装置での映像について回転角θｃだけ傾いている場合を示す図であって、これら図１５、図１６および図１７はそれぞれ既述の式（５）、式（６）および式（７）に対応している。
【００７０】
図１５（Ａ）において、２１はメモリ８１の内容を図解的に表し、相手装置１Ａがθａだけ傾いたときに取り込んだ画像ＶＡの内容である。なお、２２は傾きの方向を分かりやすくするための単なる目印である。この図１５（Ａ）の画像を、自装置１Ｂで受け取ったときの映像データ、すなわち自装置１Ｂが正立しているときの画面表示は図１５（Ｂ）のようになる。
【００７１】
次に図１６において、自装置がθｂだけ傾いていると、画面表示は本図（Ａ）のようになり、（θａ−θｂ）だけ傾く。この映像データを（θａ−θｂ）だけ回転させると画面表示は正立し、本図（Ｂ）に示すごとくなる。
【００７２】
さらに図１７を参照すると、自装置１Ｂのカメラ部２Ｂにて表示対象を撮影する様子が本図（Ａ）に示される。カメラは向こう側を向いているから、装置の背面が見えている（表示部３Ｂも向こう側にある）。このときの装置１Ｂの回転角がθｃであるとすると、カメラに対し映像は本図（Ｂ）に示すごとく、−θｃだけ傾く。
【００７３】
しかし実際には装置１Ｂ自体がθｃだけ傾いているので、結局本図（Ｃ）に示すごとく、映像はθｃ×２（＝θｃ＋θｃ）だけ傾くことになる。既述の式（７）における“２θｃ”は、このことを意味する。
【００７４】
次にミラー表示について説明する。カメラ２Ｂで撮影した自分の映像を見る場合、その映像の左右を反転させた方が、あたかも鏡を見ているようでその方が自然な感じで違和感がない。
【００７５】
図１８の（Ａ）〜（Ｅ）は、本発明に基づくミラー表示を説明するための図である。本図（Ａ）は前述した図１７（Ａ）と同じであり、装置１Ｂの背面から見て反時計回りに回転角θｃだけ該装置１Ｂを回転させたとする。そうすると、装置１Ｂのカメラ部２Ｂから見たとき、映像は図１８（Ｂ）に示すように時計回りに−θｃだけ傾いて見える。この映像を、カメラ（２Ｂ）をとおる鉛直軸に対して反転させると図１８（Ｃ）のごとくなる。これを表示部３Ｂ上の画面に表示すると、図１８（Ｄ）のようになる。しかし実際には装置１Ｂも−θｃだけ傾いており、図１８（Ｅ）に示すように映像の傾きは相殺されて、結局映像はアドレス変換なしに正立して見えることになる。
【００７６】
図１９は「ミラー表示」において表示したい領域（Ｂ）と表示部３Ｂに表される映像（Ａ）を示す図であり、前述の図１３および図１４に相当する。すなわち図１０のカメラ部２Ｂで撮影した自分の映像を自分の装置１Ｂで表示する際、映像の左右を反転させたミラー映像にて表示させるものとする。このカメラから取り込んだ映像が図１９（Ｂ）に示すＰ−Ｑ面上にあり、それを図１９（Ａ）に示すｘ−ｙ面上の映像へと変換する。この表示に際しては、上記のＰ−Ｑ面が図１０の受信側映像メモリ８３にあり、それを表示する画面は上記のｘ−ｙ面であるものとする。このｘ−ｙ面を走査する際、表示する座標が（ｘ，ｙ）のとき、Ｐ−Ｑ面の座標（Ｐ，Ｑ）がどのような値をとるかを示す式が座標変換式であり、一般式としては既述の式（１）、この図１９の例では下記式（８）となる。
Ｐ＝１０ｘ＋３００
Ｑ＝２０ｙ＋２００                                                  （８）
【００７７】
以上のミラー表示について要約すると、受信側カメラ部２Ｂによる受信側映像情報ＩｖＢを、表示部３Ｂにおいてミラー表示すべき旨の指示があったときは、前述の受信側アドレス変換部９２（図１０）は、変換スキャン・アドレスへの変換を行うことなく、原スキャン・アドレス（ｘ，ｙ）の左右入れ換えのみを実行するようにする。
【００７８】
最後に、図９や図１０に示す表示データ合成部９３についてさらに詳しく説明する。図２０は表示データ合成部９３の動作概念を簡単に表す図であり、図２１は図２０の概念を具体例をもって表す図である。
【００７９】
まず図２０を参照すると、表示データ合成部９３は、相手（送信側端末１Ａ）からの映像ＶＡと、自己（受信側端末１Ｂ）内で生成した映像ＶＢと、自己内で生成した画像ＧＢとを合成し、合成映／画像Ｖとして表示部３Ｂの画面上に表示する機能を果たす。この具体例を図２１に示す。
【００８０】
図２１において、左上段の図は周囲が透明色データＤｔで埋められた相手映像（ＶＡ）を示し、左中段の図は例えば透明色データＤｔとした自己（１Ｂ）映像ＶＢを示し、左下段の図は自己内で生成したグラフィック画像（ＧＢ）を示すものであって、これらを合成すると、右側の図に示す合成映／画像Ｖとなる。
【００８１】
前述したようにアドレス変換を行った結果、枠からはみ出す映像や欠落する映像等が出てくる場合がある。このような場合には、そのはみ出し部分や欠落部分を黒表示するのではなく、透明色データＤｔで埋め合わせするのが好ましい。もう一度図２０を参照すると、もし表示データ＃１０１が透明色データＤｔであれば、その下の表示データ＃１０２を使用する。またもし表示データ＃１０２が透明色データＤｔならば、その下の表示データ＃１０３を使用し、これらの合成（＃１０１＋＃１０２＋＃１０３）を上から見ると、合成表示データ＃１０４が得る。
【００８２】
以上を要約すると、表示データ合成部９３（図１０）は、送信側アドレス変換部９１および受信側アドレス変換部９２による各アドレス変換に起因して、それぞれ対応する送信側映像メモリ８１および受信側映像メモリ８３からの各表示データの読み出しが不能となってこれらメモリからの表示データが無データとなったとき、該無データを透明色データに置き換えて表示部３Ｂに送出する機能を果たす。
【００８３】
さらに好ましくは上記表示データ合成部９３は、送信側映像メモリ８１、受信側映像メモリ８３および画像メモリ８４からの各表示データを、表示部３Ｂの手前から奥行き方向に重ねて表示する際、その並び順を設定する優先順設定部を備えるようにする。そのための構成を次に図をもって示す。
【００８４】
図２２は表示データ合成部９３の一構成例を示す図であり、上記の優先順設定部は本図の中央上方において参照番号１０４により示されている。この優先順設定部１０４は、３つの選択スイッチ１０１，１０２および１０３に対して、接点の接続位置（すなわち優先順）を指定する。なおその指令はＣＰＵ１１（図１０）から与えられる。
【００８５】
上記の接点の接続位置は、選択スイッチ１０１，１０２および１０３の各々の中で「１」「２」および「３」を付して示されており、「１」→「２」→「３」の順で優先順位が低くなる。図２２によれば、各「１」の接点には送信側映像メモリ８１からのＶＡが与えられ、各「２」の接点には受信側メモリ８３からのＶＢが与えられ、各「３」の接点には画像メモリ８４からのＧＢが与えられる。つまり、まずは映像ＶＡが最優先で表示され、もしこのＶＡの一部が透明色データＤｔに置き換わっているならば、その部分には次の優先順位のＶＢが表示される。もしこのＶＢの一部が透明色データＤｔに置き換わっているならば、その部分にはその次の優先順位のＧＢが表示される。
【００８６】
すなわち図２２の構成によれば、透明色データＤｔ（例えば１６進表示で“ＦＦ”）が、透明色データ検出部１０５により、上記ＶＡ内に検出されると、選択スイッチ１０６の接点「４」から「５」に切り換えられ、今度は接点「５」を通して与えられる表示データが表示部３Ｂに送出される。
【００８７】
この接点「５」を通して与えられる表示データは選択スイッチ１０８内の接点「６」を通して得られる表示データすなわち受信側映像ＶＢである。しかしもしそのＶＢの一部に透明色データＤｔが含まれていたとすると、このＤｔを検出した透明色データ検出部１０７は選択スイッチ１０８内の接点を「６」から「７」に切り換え、選択スイッチ１０３内の接点「３」を通して与えられるＧＢを、接点「７」→接点「５」を介して、表示部３Ｂに送出する。かくして例えば図２１に示す合成表示映／画像Ｖが表示部３Ｂに送られてその画面上に表示される。
【００８８】
上述した本発明は、同時に、（１）ビデオ表示システム、（２）ビデオ表示方法および（３）ビデオ表示プログラムも提供する。
（１）ビデオ表示システムは、
送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯ビデオ装置および
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示データ生成機能部と、を備えてなる受信側携帯ビデオ装置、から構成される。
【００８９】
（２）ビデオ表示方法は、
送信側映像情報を送出する送信側携帯ビデオ装置において、
前記送信側映像情報として受信側へ送出すべき映像をカメラ部にて撮影する工程と、
前記の撮影を行ったときの前記映像の回転角を回転角センサ部にて検出する工程と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に送信部から前記受信側へ送信する工程と、を有し、
前記送信側装置より送出された送信側映像情報と、前記回転角を示す送信側回転情報とを含む受信情報を入力とする受信側携帯ビデオ装置において、
前記受信情報を受信部にて入力する工程と、
前記受信情報をもとにして生成された表示データに従って、表示部にて前記送信側映像情報にかかる送信側映像を表示する工程と、
前記受信情報を入力として、表示データ生成機能部にて前記表示データを生成するための処理を行う工程と、を有する。
【００９０】
（３）−１  送信側のプログラムは、
送信側映像情報を送出する送信側携帯ビデオ装置において、コンピュータに、
前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、
前記の撮影を行ったときの前記映像の回転角を検出する手順と、
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ送信する手順と、を実行させるプログラムである。
【００９１】
（３）−２  受信側のプログラムは、
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯ビデオ装置において、コンピュータに、
前記受信情報を入力する手順と、
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報にかかる送信側映像を表示する手順と、
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、を実行させるプログラムである。
【００９２】
以上詳述したとおり本発明によれば、
・送信側の装置で、該装置を傾けた状態でのカメラによる撮影データを送信したときに、その受信側のユーザ装置における表示部に自動的に正立した映像を提供することができる。
・上記の映像の正立化は、ポイント−ツー−ポイントの通信でも、ポイント−ツー−マルチポイントの通信でも実現可能である。
・受信側の装置における傾け角までも考慮して正立映像をユーザ装置に提供することができる。
【図面の簡単な説明】
【００９３】
【図１】送信側映像および受信側映像の第１パターンを示す図である。
【図２】本発明を適用した第２表示パターンを示す図である。
【図３】本発明を適用した第３表示パターンを示す図である。
【図４】本発明に係る携帯ビデオ装置（送信側）の基本構成を示す図である。
【図５】１対多通信機能を備えた送信部による配信例を示す図である。
【図６】ＲＴＣＰにおけるＡＰＰパケットフィールドの構成を示す図である。
【図７】本発明に係る携帯ビデオ装置（受信側）の基本構成を示す図である。
【図８】本発明に係る携帯ビデオ装置（受信側）の基本構成を示す図である。
【図９】受信側装置におけるアドレス変換の様子を示す図である。
【図１０】受信側装置全体の具体的構成を示す図である。
【図１１】受信側装置における受信側自身で生成する映像と画像について示す図である。
【図１２】図１０における映像情報と回転情報の区分けの仕方の一例を示すフローチャートである。
【図１３】（Ｂ）の表示データＤｄＡを表示部３Ｂ上の所定位置（Ａ）に表示させるアドレス変換を図解的に表す図である。
【図１４】（Ｂ）の回転を伴う表示データＤｄＡを表示部上に正立して表示（Ａ）させるアドレス変換を図解的に表す図である。
【図１５】（Ａ）および（Ｂ）は、相手装置が回転角θａだけ傾いている場合を示す図である。
【図１６】（Ａ）および（Ｂ）は、自装置も回転角θｂだけ傾いている場合を示す図である。
【図１７】（Ａ），（Ｂ）および（Ｃ）は、自装置での映像について回転角θｃだけ傾いている場合を示す図である。
【図１８】（Ａ）〜（Ｅ）は、本発明に基づくミラー表示を説明するための図である。
【図１９】「ミラー表示」において、表示したい領域（Ｂ）と表示部に表示させる映像（Ａ）とを示す図である。
【図２０】表示データ合成部の動作概念を簡単に表す図である。
【図２１】図２０の概念を具体例をもって表す図である。
【図２２】表示データ合成部の一構成例を示す図である。
【符号の説明】
【００９４】
１    携帯ビデオ装置
２    カメラ部
３    表示部
４    操作部
６    送信部
７    受信部
【国際調査報告】
2008001441.tif 000025
2008001441.tif 000026
2008001441.tif 000027
2008001441.tif 000028