(57)【特許請求の範囲】
【請求項１】
サーバーと情報端末機器からなるマルチメディア情報提供システムにおいて、
前記サーバーは、
異なる通信仕様の複数のメディアデータを受信し、受信した各メディアデータを同一通信仕様に変換するデータ変換手段と、
前記変換したメディアデータ毎に識別子を付与して分割するメディアデータ分割手段と、
前記分割したメディアデータを所定の優先順位に従って配列するメディアデータ配列手段と、
前記配列したメディアデータを送信するメディアデータ送信手段とを備え、
前記情報端末機器は、
前記送信されたメディアデータを受信するメディアデータ受信手段と、
前記受信したメディアデータを識別子に基づき再分割するメディアデータ再分割手段と、
前記再分割したメディアデータを同一識別子毎に配列する同一識別子毎メディアデータ配列手段と、
前記同一識別子毎に配列された、各メディアデータを同一画面に２以上同時に表示可能とする表示手段と、
を備えたことを特徴とするマルチメディア情報提供システム。
【請求項２】
前記優先順位は、予め設定されている順位、利用者が予め設定する順位、送信データの容量により決められる順位、又はユーザの要求に応じて随時変更される順位のいずれかであることを特徴とする請求項１記載のマルチメディア情報提供装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話を用いたテレビ電話、インターネット情報や動画データの取り込みと表示、ナビゲーション用地図データの取り込み等、データ形式の異なる各種データを並列的に利用者が取り込むことができるようにしたマルチメディア情報の提供方法及びその方法を実施する装置に関する。
【０００２】
【従来の技術】
近年の通信技術の進歩、及び情報処理装置の高性能化とその製品が安価に供給されることにより、一般家庭において、またオフィスの場において各種の情報を受けることができるようになっている。特に近年の携帯電話の普及と技術進歩により、携帯電話は単に電話をする以外に、簡易インターネットの受信機能、メールの送受信機能、インターネットを介して動画を取り込みこれを表示する機能、ＭＰ３等で圧縮したオーディオデータを取り込みこれを聴く機能、更にはカメラを内蔵して簡易動画を音声と共に相互に送受信するテレビ電話機能、等々、種々のマルチメデイア受信、送信機能を搭載し、利用者は容易にこれを利用することができるようになっている。また、オフィスにおいてもテレビ電話会議の普及、イントラネットによるデータの共有、メールによる情報の送受信等、種々のマルチメディアが利用されている。
【０００３】
このような携帯電話の普及と各種データ通信の増大によって、従来から広く用いられている単に周波数を利用者毎に割り当てるＦＤＭＡ（周波数分割多元接続）方式はもとより、同一周波数内を時分割するＴＤＭＡ（時分割多元接続）方式でも限界が生じることが明らかになっている。その対策として、より多くの人が利用することができるように、各ユーザ毎に拡散符号を割り振るＣＤＭＡ（符号分割多元接続）方式が用いられようとしている。このＣＤＭＡ方式は各国で既に研究され、一部利用されており、日本でも携帯電話用に「Wide−band  ＣＤＭＡ」（Ｗ−ＣＤＭＡ）が開発されている。国際的にはＩＴＵ（国際電気通信連合）で世界統一標準案の作製が進んでおり、この方式によると高速通信も可能になるため、今後はこのＣＤＭＡ方式が主流となると予想されている。
【０００４】
一方、近年の車両にはナビゲーション装置が普及し、ＤＶＤ等の情報記録媒体に記録された地図情報、及びレストラン、娯楽施設等の各種施設情報を画像と共に大量に記録することができるようになっている。それにより利用者は、自車位置の移動と共に所望の地図を表示し、予め設定した目的地に対してナビゲーション装置から提示された誘導経路に沿って走行し、またその際、右左折交差点の案内を拡大画面、音声案内によって行い、容易に且つ安全に目的地まで走行することができるようになっている。また、その際周辺の施設の検索を行い、休憩場所やレストランの情報を取り込むこともできる。
【０００５】
このようなナビゲーション装置においては、近年は通信機能も備えるようになっており、携帯電話を接続することにより情報配信センターからドライブに関連した各種の情報を取り込むことができ、インターネットの種々のサイトも含めて、動画やオーディオデータの受信も行う等、更に種々の情報を取り込むことができるようになっている。特にナビゲーション装置は携帯電話と異なり大型で高精細な画面を備え、且つ比較的高性能の情報処理装置を備えているので、上記のような通信機能も含めて、車内におけるマルチメデイア端末機器として今後無くてはならないものとなることが予想されている。
【０００６】
ナビゲーション装置においては、上記のようにＤＶＤ等に大量のデータを蓄積することができるようになっているが、そのデータは地図データ及び各種施設情報が年々変更されるため、本来逐次更新されなければならないものである。そのためには、ＤＶＤ−ＲＯＭのバージョンアップ版の継続的な購入が必要となり、メンテナンス料がかさむ問題もある。また、装置全体が高価となり、より安価で同程度の機能を備えたナビゲーション装置も希望されている。その解決策の一つとして、前記のように近年普及している通信技術及び携帯電話を用いて、従来ＤＶＤ等にデータを記録していた地図情報や施設情報を公開し、このデータを逐次更新し、更により詳細な情報、また映像やオーディオの配信を行うことが考えられており、一部実施されている。
【０００７】
このようなデータ配信方式を利用することにより、利用者は所望の地図をダウンロードして表示し、目的地を設定してＧＰＳ等の信号による現在地データと共に情報センターにこれを送信し、誘導経路を演算してもらい、それに沿って走行を行い、走行と共に必要となる地図データを逐次送信してもらうことができるようになる。このようなナビゲーションシステムは上記以外に種々の態様が考えられており、これらのシステムを総称して「通信ナビ」と呼ぶ。
【０００８】
上記のように、特に携帯電話の普及と通信技術の進歩により、種々の一般的な通信態様が行われることが考えられ、その際には例えば図１０（ａ）の一般通信態様１に示すような回線交換を用いたテレビ電話が考えられる。即ちこの例においては、ビデオカメラ５０と通信機能を備えることによりテレビ電話機能を備えた携帯情報端末装置５１を所有しているＡさんと、ビデオカメラ５２が設けられテレビ電話機能を備えた携帯電話５４を使用しているＡさんの奥さんであるＢさんとがテレビ電話を行う状態を示しており、ここでは前記のように今後普及することが予想されているＷ−ＣＤＭＡ方式の通信網５５を利用し、その際には６４kbpsの回線交換によって通信を行うこととなる。
【０００９】
また、図１０（ｂ）の一般通信態様２に示すように、前記と同様のＷ−ＣＤＭＡ通信網を用い、種々の映像を収集するコンテンツプロバイダ５６がケーブルによって映像配信サーバー５７に接続し、映像配信サーバー５７はケーブルによってＷ−ＣＤＭＡ通信網５５に接続し、このＷ−ＣＤＭＡ通信網５５に接続した携帯電話５８からの映像配信要求により、コンテンツプロバイダ５６が提供する映像を受信する回線交換を用いた映像配信が考えられる。図示の例においては、コンテンツプロバイダ５６の提供する野球の実況中継を携帯電話５７によりストリーミングで視聴する例を示している。
【００１０】
また、図１１（ａ）の一般通信態様３に示すように、現在も普及している携帯電話の簡易インターネット機能であるｉモードを利用したデータ通信は、今後通常のインターネットと同様の機能を備え、より多くの情報がより高速で配信されるようになることが考えられる。同図に示す例においては、インターネット網６０に接続しているコンテンツプロバイダ５６が、情報ホルダ内に蓄積している映像や音楽を含んだ種々のマルチメデイア情報をインターネット網６０を介して配信可能とし、このインターネット網６０に接続したｉモードセンター６１が携帯電話用のデータに変換し、Ｗ−ＣＤＭＡ通信網５５を介して携帯電話６２に対して前記マルチメディア情報を送信することができるようにしている。図示の例においては、コンテンツプロバイダー６１が蓄積している新車発表のデータを、携帯電話６２からの要求により映像と共に送信している例を示している。
【００１１】
更に、図９（ｂ）の一般通信態様４に示すように、Ｗ−ＣＤＭＡ通信網５５から携帯電話６３が音声による通信を行い、それに関連してデータ通信を行う例を示しており、携帯電話の今後の使用形態としてこのような要求が多くなることが考えられる。その際には、音声通信が回線交換によって行われ、データ通信がパケット交換により行われることとなるため、今後の一般的な使用形態としては２回線を使用してこの通信を行うこととなる。
【００１２】
図１０及び図１１に示す一般通信態様においては、携帯電話そのものの機能を用いて種々の通信を行い、各種情報を取り込む例を示したが、このことは携帯電話のみに限らず、前記のような携帯電話と接続するナビゲーション装置においても全く同様に行われることとなる。即ち、図１０（ａ）において携帯情報端末装置５１の代わりに通信機能付きナビゲーション装置が使用され、そのナビゲーション装置に車内の適所に設けたビデオカメラを接続し、ハンズフリーユニット等を用いることにより運転者でも使用が可能となる。また、図１０（ｂ）のように映像の配信を受け、あるいは図１１（ａ）のようにパケット通信により各種マルチメディア情報の提供を受け、更には図１１（ｂ）のように２回線を使用した通信も同様に可能である。
【００１３】
【発明が解決しようとする課題】
特に今後普及が予想されるＷ−ＣＤＭＡ通信網により、携帯電話を初めナビゲーション装置、携帯情報端末装置等の情報機器においては、多くのマルチメディア情報を、希望するときにいつでも手に入れることができるようになる。このことは上記のようなモバイル型機器に限らず、一般家庭において通常の電話回線を用いてテレビ画面に各種情報を表示する際にも、同様の機能を使用することが可能になる。
【００１４】
しかも今後は通信費用の安価な定額化が進み、通信網に接続したままで必要なときに所望の箇所に接続し、テレビ電話を初めインターネット等からの情報取り込みを行い、或いは常時データの取り込みを続けて必要なときにこれを表示する等の常時接続型の使用形態が普及することが予想されている。その際には特定の情報のダウンロードは使用量に対応して料金がかかる従量制であっても、極めて安価にこれらのマルチメディア情報を利用することができるようになり、今後更にこのような使用態様の普及が予想される。
【００１５】
上記のようなマルチメディア情報の配信に際しては、例えば前記図１０（ａ）に示すようなテレビ電話の回線交換はリアルタイムマルチメディア通信仕様のＨ３２４の規格によって通信を行い、また、テレビ電話をパケット交換で行うときにはＨ３２３の規格によって通信を行う。また、ｉモードでパケット交換方式のデータ取り込みやダウンロードしながら視聴するストリーミング情報の取り込みはＨＴＴＰの仕様によって行う。更に、通信ナビで地図等をダウンロードして使用するにはＷｉｎ Ｓｏｃｋ通信の仕様によって行うこととなる。
【００１６】
このように、各マルチメディア情報の配信の規格、仕様が異なり、即ちプロトコルが異なっており、例えば携帯電話によって、或いはナビゲーション装置においてこれらの情報の配信を受けるには、各通信規格や仕様のデータを取り扱うことができる機能が必要となる。即ち、従来の情報配信サーバーは、クライアントから要求のあったデータを予め決められたプロトコルに従い要求データを配信するだけであり、クライアントは、クライアントが対応していないプロトコルにより構成された、或いは配信されるサーバーからの配信情報の受信、表示を行うことができない。
【００１７】
また、サーバーを経由する複数のクライアント間の通信においても、例えば回線交換式のテレビ電話と、パケット通信式のテレビ電話がそのままではつながらないように、通信を行うクライアント同士の対応機能、対応プロトコルが一致していなければ通信を行うことができない。
【００１８】
また、情報端末機器においてこのような全てのマルチメディア情報を取り扱う機能を備えた場合であっても、これらの情報を複数利用するには、機器内の情報処理装置において高速なマルチタスク処理により、これらのプロトコルを切り替えて受信する必要があり、そのためには高機能のＣＰＵを用いる必要があり、汎用型のＣＰＵでは音声、動画像等のリアルタイムデータと、インターネット上の画像データやｗｅｂデータの受信等を同時に行うことはできない。
【００１９】
そのため、例えば図１２の一般通信態様５に示すように、上記のような各種のプロトコルに対応して受信できる機能を備えたナビゲーション装置が地図データをダウンロードして使用する通信ナビであったとき、例えばＨＴＴＰのプロトコルに従うｉモードブラウザーによりパケット交換式の情報サービスを受けているとすると、その途中でＨ３２４のプロトコルに従う回線交換式のリアルタイムテレビ電話が奥さんからかかってきたとき、このナビゲーション装置ではこれを表示することができず、テレビ電話をかけた人も相手の機器が他と通信中の案内が行われ、後でかけ直しをしなければならないこととなる。
【００２０】
また、図示するナビゲーション装置においては、その後Ｗｉｎ Ｓｏｃｋ通信によりデータの送受信を行う通信ナビのデータの取り込みを行い、それが終了してからＨＴＴＰのプロトコルに従うストリーミングの動画や音楽の配信を受け、ここに図示するものは前記図１０（ｂ）に示すような態様によって野球中継を視聴している状態を示している。ナビゲーション装置においてこれらのデータの受信中には、前記のような奥さんからのテレビ電話を受けることができない状態が継続する。また、各マルチメディア情報についても、情報端末機器では利用者の情報取り込み指示に従いプロトコルを切り換えて処理を行うだけであり、これらの情報を同時に表示することができないという問題があった。
【００２１】
したがって本発明は、通信仕様が異なる種々のマルチメディア情報でも同時に受信し、同一画面で表示することができ、また複数の情報の表示の組み合わせを任意に切り替えて使用することができるようにしたマルチメディア情報提供方法、及びその方法を実施する装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】
本発明に係るマルチメディア情報提供装置は、上記課題を解決するため、サーバーと情報端末機器からなるマルチメディア情報提供システムにおいて、前記サーバーは、異なる通信仕様の複数のメディアデータを受信し、受信した各メディアデータを同一通信仕様に変換するデータ変換手段と、前記変換したメディアデータ毎に識別子を付与して分割するメディアデータ分割手段と、前記分割したメディアデータを所定の優先順位に従って配列するメディアデータ配列手段と、前記配列したメディアデータを送信するメディアデータ送信手段とを備え、前記情報端末機器は、前記送信されたメディアデータを受信するメディアデータ受信手段と、前記受信したメディアデータを識別子に基づき再分割するメディアデータ再分割手段と、前記再分割したメディアデータを同一識別子毎に配列する同一識別子毎メディアデータ配列手段と、前記同一識別子毎に配列された、各メディアデータを同一画面に２以上同時に表示可能とする表示手段と、を備えたことを特徴とする。
【００２３】
また、本発明に係る他のマルチメディア情報提供装置は、前記マルチメディア情報提供装置において、前記優先順位は、予め設定されている順位、利用者が予め設定する順位、送信データの容量により決められる順位、又はユーザの要求に応じて随時変更される順位のいずれかであることを特徴とする。
【００３５】
【発明の実施の形態】
本発明の実施の形態を図面に沿って説明する。図１は本発明を実施するマルチメディアサーバーの機能の一例を示しており、図示する例においてはサーバー１はメディアＡとしてテレビ電話を受信し、メディアＢとして通信ナビの地図データを受信し、メディアＣとして簡易インターネットであるｉモードを受信し、メディアＤとしてインターネットからの動画データをストリーミングにより受信する態様を示しており、このサーバーに接続する通信機能を備えた携帯情報端末２からのデータ配信要求に応じてこれらのデータを合成して、ＩＭＴ−２０００の通信プロトコルによって配信する例を示している。
【００３６】
図１において、メディアＡとしてのテレビ電話は、Ｈ３２４の通信仕様により電話回線交換によるリアルタイムテレビ電話か、或いはＨ３２３の通信仕様によりパケット交換によるリアルタイムテレビ電話を行う。図示実施例においては、車両３に乗っている人が、奥さんと子供が共に映っている映像を含むテレビ電話を携帯情報端末４から受信する状態を示している。このテレビ電話を行うプロトコルは、画像をＭＰＥＧ４、或いはＨ２６１、Ｈ２６３等によって通信を行い、音声はＣＥＬＰ、或いはＧ７２９、Ｇ７２３等によって通信を行い、データはＴ１２０の仕様で形成され通信を行う。
【００３７】
メディアＢとしての通信ナビは、情報センター等に蓄積された地図データベース５のデータを利用者の要求により所定の地点を中心とした地図を配信する態様を示しており、Ｗｉｎ Ｓｏｃｋ方式のプロトコルで通信を行っている。メディアＣとしてのｉモードでは、インターネットから情報をパケットにより受信する例を示し、図示の例においては新車発表の映像付きデータを受信している例を示している。メディアＤとしての動画データは、インターネット網を介して動画をＨＴＴＰによりストリーミングで送信する例を示し、図示の例においては野球の実況放送を送信している例を示している。ここでは映像の他に音声も送信され、別途音楽データの送信も行うことができる。
【００３８】
サーバー１においては前記各メディアのプロトコルに対応し、かつ多数のメディアを並行して処理する能力を有する。図示の例においては車両３に乗っている利用者が携帯情報端末２を用い、前記Ａ〜Ｄのメディア選択の指示Ｘ１を制御データＨ２４５の仕様によってサーバー１に送信し、サーバー１はこれを受けてそれらのメディアを受信し、ＩＭＴ−２０００の通信プロトコルであるＨ３２３の仕様に変換し、後述するように各メディアデータの分解と合成を行って前記利用者の指示に従ったデータＸ１を利用者の携帯情報端末２に対して送信する。
【００３９】
サーバー１における主な機能は図２（ａ）に示すように、全体としてマルチメディアプロトコルＨ３２３のユーザデータを扱うプロトコルスタックに複数のユーザデータＡ〜Ｎの送信及び受信を行う合成ソフトウエアと分解ソフトウエアを搭載しており、またオーディオデータはオーディオコーディックによって、ビデオデータはビデオコーディックによって各々処理可能となっている。上記のような処理を行うデータは、サーバー１に入力したデータを全てＨ３２３仕様のデータに変換した後、後述するようなデータ処理がなされる。
【００４０】
ここで用いられるオーディオビジュアル通信仕様Ｈ３２３のデータは、入力したデータに対して例えば図２（ｂ）に示すような「データ種別」を示すデータを更に付加して処理を行う。このようなデータ構成とした複数のユーザデータは、各々図２（ｃ）に示すようなデータ構成に分解する。この例においては各分解されたデータ毎にデータ番号、リンクフラッグ、シーケンス番号、データ数のデータを付与し、必要に応じて最後にＣＲＣを付与する。
【００４１】
サーバー１において上記のようなデータフォーマットに従って複数のマルチメディアデータを処理するには、例えば図３に示すように行う。図示の例においては説明の便宜のためユーザデータＡとユーザデータＢの２つのデータを処理する例を示しており、ユーザデータＡに対しては前記図２（ｂ）のようにデータの前にデータ種別を付与し、従ってこれにはユーザデータＡを示すデータが付与される。またユーザデータＢに対しても同様にデータ種別Ｂを示すデータが付与される。このようなユーザデータをデータ量に合わせて等間隔に、例えば２５６バイト単位のパケットに分割する。それにより、例えばユーザデータＡはＡ１〜Ａ５のパケットに、ユーザデータＢはＢ１〜Ｂ４のパケットに分割される。この例においては、ユーザデータＡの最後のＡ５及びユーザデータＢの最後のＢ４は余りのデータのため、前のデータよりデータ量が少ないことを示している。
【００４２】
上記のように分割したユーザデータを前記図２（ｃ）のようなデータ形式に従い再構成するに際して、図３にデータ符号化例として示すように、例えばユーザデータＡにおける「Ａ１」のデータからなる「１番目のデータ」に対しては、データ番号としてユーザデータＡを示す「１」を付し、次いでリンクフラッグとしてこのデータ以降に続くデータが存在することを示す「１」を付し、その後にシーケンス番号としてユーザデータＡにおける分解したデータの順番を示す「Ａ１」の「１」を記録する。その後にはデータＡ１のデータ数を示す数字を記録し、その後にデータＡそのものを記録する。最後に必要に応じてＣＲＣを付与する。
【００４３】
２番目のデータに対しても同様に、データ番号としてユーザデータＢを示す「２」を付し、次いでリンクフラッグとして「１」を付し、その後にシーケンス番号として「Ｂ１」の「１」を記録し、更にデータＢ１のデータ数を記録し、その後にデータＢそのものを記録し最後にＣＲＣを記録する。以降は前記と同様に３番目〜７番目のデータが構成され、８番目のデータにおいてはリンクフラッグがデータ種別Ｂのデータ列における最後のデータであることを示す「０」が記録され、９番目のデータにおいても同様にデータ種別Ａのデータ列における最後のデータであることを示す「０」が記録される。
【００４４】
このようにして分解し符号化されて再構成された各データは、図３の下部に示すように、上記１番目のデータから９番目のデータまで多重化し、これを順に送信する。上記の例においては２つのデータを分解して多重化し、並列的に送信する例を示したが、ユーザデータの数は必要に応じて任意であり、前記と同様の符号化処理により、Ｈ３２３のプロトコルに従って送信することができる。
【００４５】
また、この送信に際しては、複数のマルチメディア情報の送出に優先度をつけ、その決められた優先度に従って順に複数のサービスデータを送信することもできる。このときの優先度としては、予め決められたデータを送出する順番、サービスが使用することができる平均伝送容量等によって決めることができ、予め優先順位を決める際には、ユーザが設定し、またはデフォルトで固定しておき、或いはサービスのデータ容量、更にはユーザの要求によりダイナミックに変更する機能を備えても良い。
【００４６】
受信側ではこれを送信側と逆の処理をたどり、データを分解し、ユーザデータ毎に組み合わせることにより各々のデータを再生することが可能である。このとき、利用者側の情報端末はマルチメディアのデータ処理機能としてはＨ３２３のデータの処理機能があれば全ての種類のマルチメデイア情報を受信することができる。ユーザー側の情報端末機器においては、対応しているプロトコル、機能をサーバーに通知し、サービス内容を選択してサーバーに通知し、また、前記のようにユーザが情報の送出順を決めるときにはその指示を出力する機能も備えることとなる。
【００４７】
前記のようなサーバーの機能は、例えば図４に示すようなプロトコル構成により実施することができる。この例においてはＨ３２３を用いてテレビ会議システムに使用するサーバーの公知の構成例を示し、従来のシステムにおいてＦＡＸの送信やカメラ移動用データの送信等、ユーザの各種のアプリケーションを行うための機能出力部分に、前記のようなユーザデータ１〜Ｎのデータを入力して合成するユーザデータ合成部を接続し、これらのデータをＨ２２５．０仕様のレイヤに出力している。なお、この例においてはビデオ信号はビデオコーデックに、オーディオ信号はオーディオコーディックに入力して図示するような種々の仕様のデータを処理し、システムコントロールの各種データともにインターネット接続用インターフェースを介して出力する例を示している。
【００４８】
また、同図に示すように受信側においては、前記送信側と逆の作動を行い、ユーザからのＴ１２０仕様に従ったデータをユーザデータ分配部で各ユーザデータ１〜Ｎの対応するものに分配する。それにより、ユーザからのテレビ電話のデータ、通信ナビの送信依頼データ、コンテンツプロバイダへの送信要求データ等の出力を行うことができる。
【００４９】
上記の例においては、従来から用いられているテレビ電話会議システムのユーザデータ入力部に、外部から入力した各種ユーザデータを入力するように変更するのみで、容易に上記のようなデータの送受信が可能になる。特に、テレビ電話会議システムで用いているＨ３２３の仕様はリアルタイムプロトコルであり、この発明が対象としている映像や音声を組み合わせて送受信し、例えば一つの画面に複数表示し、その表示形態を任意に変更する処理を行うデータとして適している。
【００５０】
上記のようなデータ構成、データ処理機能、データ送受信機能によって、前記図１の実施例においては、サーバー１からＩＭＴ−２０００パケット通信プロトコルの Real Time Multimedeia 通信仕様のＨ３２３の仕様によって車３の携帯情報端末２と通信を行い、この例においては前記のようにＴＶ電話のユーザデータＡ、通信ナビのユーザデータＢ、ｉモードのユーザデータＣ、動画データのユーザデータＤについて、上記のように分解し再構成して、Ａ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２・・・・の順序で送信する。携帯情報端末２においてはこれを再構成し、図示するように形態ナビの地図画面上においてナビゲーション機能に直接関係ない部分等、任意の位置に他のマルチメディア情報を表示することができる。
【００５１】
このような機能を行う本発明においては、前記図１０（ａ）（ｂ）図１１（ａ）（ｂ）に示すマルチメディア情報の一般通信態様とは異なり、例えば図５（ａ）に示すように、テレビ電話を行いながら通信ナビのデータを逐次取り込むことができ、同図（ｂ）に示すように、テレビ電話を行いながらｉモードのパケット交換データを取り込んで表示することができ、同図（ｃ）に示すように通信ナビで地図データを適宜取り込みながらインターネットから動画データをストリーミングで取り込むことができ、更に同図（ｄ）に示すように通信ナビを行いながら図中相手の２者を表示する多者間のテレビ電話を行うことも可能となる。
【００５２】
更に、例えば図６に示すように常時接続でパケット交換を行うことができる通信システムが構成され、前記のようなＩＭＴ−２０００オーディオ／ビジュアル通信プロトコルの応用によるストリーミング・プロトコルとしてのＨ３２３、あるいはＨ３２４の通信仕様を用いることにより、上記のような各マルチメデイア情報がユーザの指示により取り込まれ、ユーザ側ではこれらのデータの内任意のものを選択して表示することができる。それにより例えば同図に示すように、通信ナビの画面上にその他の情報を適宜表示しておくこともでき、更に利用者の選択により全画面の半分を用いてテレビ電話を拡大表示する事も可能となる。
【００５３】
本発明においてはその他、例えば図７に示すような態様で実施することもできる。この例においては、サーバー１１に地図データベース１２を備えており、更に前記サーバーと同様にマルチメディアデータを統合的に通信を行う機能を備え、図示の例においては、図中上方に示している鈴木さんの車に乗っている第１ユーザーとしての鈴木さんと、図中左下に示している加藤さんの車に乗っている第２ユーザとしての加藤さんと、オフィスにいる第３ユーザとしての佐藤さんの３人がテレビ電話により連絡をとっている状態を示している。
【００５４】
この例においては、サーバー１１はこれに接続した第１ユーザーの鈴木さんの携帯情報端末１３からＧＰＳデータによる現在位置信号を受け取り、その位置周辺の地図データを所望の時期に送信し、鈴木さんの携帯情報端末１３ではこの地図を表示し、自車両の位置、走行方向を表示してナビゲーション機能を行うことができるようになっている。同様にサーバー１１に接続した第２ユーザーの加藤さんからもＧＰＳ信号を受け取り、その位置周辺の地図データを出力し、加藤さんの携帯情報端末１４においても同様に地図を表示し、ナビゲーション機能を行うようにしている。従ってこの例では地図データベースの共有化が行われる。
【００５５】
また、各車両には適宜の位置にビデオカメラが固定され、ハンズフリーセット等によりテレビ電話機能を行うことができるようになっており、オフィスにいる第３ユーザの佐藤さんに対しても適宜の位置にビデオカメラが設置され、マイクを用いてテレビ電話機能を行うことができるようにしている。
【００５６】
このようなハードウエア環境において、例えば１５分後にオフィスで打ち合わせの会議が開かれるため、オフィス外で作業していた鈴木さんと加藤さんが車でオフィスに駆けつけようとしているとき、鈴木さんの携帯情報端末１３には加藤さんのテレビ電話の画面により加藤さんとの会話を行うことができ、更に、加藤さんの現在地を示す地図が送信され、別途切り替えて、或いは同時に見ることができる自車両の地図上の位置との関係を容易に知ることができるようになっている。同様に加藤さんの携帯情報端末１４には、鈴木さんのテレビ電話の画面により鈴木さんとの会話を行うことができ、また鈴木さんの現在地を示す地図が送信され、それにより自車両との位置関係を知ることができる。一方、オフィスにいる佐藤さんのパソコン１５の画面には、現在車で移動中の鈴木さんと加藤さんのテレビ電話の画像が佐藤さんの指示により表示される。
【００５７】
このような通信手段を用い、上記のような情報表示を行うことにより、加藤さんは後１０分くらいで到着することができるのに対して、鈴木さんは渋滞に巻き込まれてあと３０分程度かかりそうであること等が各人にわかり、例えば佐藤さんが鈴木さんに対して迂回路の走行等により対処できないかの連絡をとり、必要に応じてアドバイスをすることも可能となる。また、どうしても遅くなりそうなときには予め会議開始時間の延期等の対処を社内で予めとることも可能となる。
【００５８】
このシステムにおいては、各人の情報共有が可能であるので、相互に情報を交換し、多者間のテレビ電話を行うことができ、また個人間の情報交換が可能となる。更にテレビ会議の通信手段を用いているので、相手カメラ、モニタ位置制御等の相互機器制御が容易に行うこともできる。また、これらの情報の表示以外に、前記の例と同様に種々の情報の取り込みを行うことができ、各種データ配信サービスへの展開が可能となる。その際には音楽配信と各車両に対して最適な音場空間を設定することができるパラメータの配信を行うこともでき、通信ナビを行うと共に周辺施設情報等の位置関連情報の配信も可能となる。
【００５９】
更に例えば図８に示すように、テレビ電話のＡとＢが存在し、利用者Ｃが例えばＡと会話を行っていたとき、Ｂからテレビ電話がかかってきた際には、その画像を表示画面の片隅に表示するキャッチホン機能を行わせることも、このシステムを用いることにより他の方式に比べて容易に行うことができるようになる。
【００６０】
なお、本発明により各種処理を行うサーバーにおいては、例えば図９に示すようなソフトウエア構成を採用することができ、特にその中心をなすマルチメディア統合通信アプリケーションとしてマルチメディアプロトコルのＨ３２３によりデータ処理を行うことができる機能を備え、その他Ｗｉｎ Ｓｏｃｋの処理も行い、ＨＴＴＰの処理、Mail SMTPの処理も可能としている。これらはマルチメディア統合通信ミドルウエアーとして、Win−ＣＥを用い、デバイスドライバーを備え、ＴＣＰ／ＩＰ／ＰＰＰ等で通信可能としている。その他、ジャバを処理し、プラグイン機能を備え、ブラウザー機能、ＮＡＶＩのアプリケーションを備え、ＭＰ３オーディオの処理も可能としている。これらは本発明の実施例の一態様であり、本発明の中心となる機能以外の部分については更に種々の態様で実施することができる。
【００６１】
【発明の効果】
本発明に係るマルチメディア情報提供方法は上記のように構成したので、通信仕様が異なる種々のマルチメディア情報でも同時に受信し、同一画面で表示し、或いは同時に音声出力を行うことができ、また複数の情報の表示の組み合わせを任意に切り替えて使用することができる。また、各種マルチメディアデータの必要度に応じたデータの送信管理を行うことができ、利用者にとって便利なマルチメディア情報提供装置とすることができる。また、マルチメディア情報を表示可能な情報端末機器において、例えば、図示するように表示画面を２画面にし、テレビ電話をしながら、ナビゲーション画面を見ることも可能となり、さらに、リアルタイム性のあるテレビ電話データなどは、優先的に送信することも可能となる。
【００６８】
また、本発明に係る他のマルチメディア情報提供装置は、前記優先順位を、予め設定されている順位、利用者が予め設定する順位、送信データの容量により決められる順位、又はユーザの要求に応じて随時変更される順位のいずれかとしたので、利用者の希望に合わせて、あるいは機器のデータ処理の必要性に合わせて種々の優先順位によりデータの送受信を行うことができ、利用しやすい装置とすることができる。
【図面の簡単な説明】
【図１】本発明の実施例の機器構成と機能の関連を示したシステム概要図である。
【図２】同実施例において用いられるサーバーのデータ処理手段、及びここで取り扱うデータ構成を示す説明図である。
【図３】同実施例において取り扱うデータ構成を示す図である。
【図４】同実施例において用いられるサーバーの機能ブロック図である。
【図５】本発明により表示されるマルチメディア情報受信表示態様例を示す図である。
【図６】本発明により可能となるマルチメディア統合通信によるデータストリームと表示例を示す図である。
【図７】本発明の他の実施の態様における機器構成と機能の関連を示したシステム概要図である。
【図８】本発明により可能となるテレビ電話のキャッチホン表示機能の例を示す図である。
【図９】本発明において用いられるサーバーのソフトウエアー構成図である。
【図１０】現在通常考えられる一般通信態様の例を示す図であり（ａ）は一般通信態様１として２者間でテレビ電話を行う態様の図であり、（ｂ）は一般通信態様２としてコンテンツプロバイダからストリーム画像データを回線交換で受信し携帯電話に表示する態様を示す図である。
【図１１】現在通常考えられる一般通信態様の他の例を示す図であり（ａ）は一般通信態様３としてコンテンツプロバイダからｉモードを利用してパケット交換のデータを取り込み携帯電話に表示する態様を示す図であり、（ｂ）は一般通信態様４としてＷ−ＣＤＭＡ通信網から回線交換の音声通信とパケット交換のデータ通信を２回線使用して行う態様を示す図である。
【図１２】一般通信態様５として、単にＩＭＴ−２０００をそのまま用いて種々のマルチメデイアデータを表示する際に、シーケンシャルで通信を行わなければならない例を示す図である。
【符号の説明】
１  サーバー
２  利用者の携帯情報端末装置
３  利用者の車両
４  テレビ電話を行う相手の携帯情報端末装置
５  地図データベース
【図１】
0003888642.tif 000002
【図２】
0003888642.tif 000003
【図３】
0003888642.tif 000004
【図４】
0003888642.tif 000005
【図５】
0003888642.tif 000006
【図６】
0003888642.tif 000007
【図７】
0003888642.tif 000008
【図８】
0003888642.tif 000009
【図９】
0003888642.tif 000010
【図１０】
0003888642.tif 000011
【図１１】
0003888642.tif 000012
【図１２】
0003888642.tif 000013