(57)【要約】【課題】少なくとも２つのメデイアストリームをリアルタイム合成する。【解決手段】本発明は第１リアルタイムメデイアストリームと第２メデイアストリームを混合してリアルタイムに同期出力メデイアストリームを提供する方法および携帯通信機器２００に関する。メデイアストリームの混合物の提供は、たとえば多くの魅力ある機能を提供する。本発明はいかに移動体ＶＴ応用技術の利用を拡大するか、また携帯通信機器に使われる時、いかに整合性の問題を扱うことが出来るかに関連する。【選択図】図１
2007527128.tif 000002
【特許請求の範囲】
【請求項１】
メデイアストリームが第１型式の信号を備え、携帯通信機器からの通信セッション中に送信されるべき出力メデイアストリームを形成するための方法であって、
前記携帯通信機器において第１メデイアストリームをリアルタイムに発生し、
前記出力メデイアストリームを形成するために、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに合成する、ステップを備える方法。
【請求項２】
前記出力メデイアストリームは、第２型式の信号を備える請求項１に記載の方法。
【請求項３】
前記出力メデイアストリームを送信するステップをさらに備える請求項１に記載の方法。
【請求項４】
他の機器との接続を確立するステップをさらに備える請求項１に記載の方法。
【請求項５】
前記接続は、回路スイッチ型接続である請求項４に記載の方法。
【請求項６】
前記ステップの少なくとも１つは、前記携帯通信機器のユーザからの入力データに依存する前記請求項のいずれか１項に記載の方法。
【請求項７】
前記合成するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームの第２型式の信号との合成を備える請求項１に記載の方法。
【請求項８】
前記合成するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームからの前記第１型式の信号との合成を備える請求項１に記載の方法。
【請求項９】
前記合成するステップは、前記第１メデイアストリームからの第２型式の信号と、前記第２メデイアストリームからの前記信号との合成をさらに備える請求項８に記載の方法。
【請求項１０】
前記合成するステップは、前記第１メデイアストリームからの信号と、前記第２メデイアストリームからの前記第２型式の信号との合成をさらに備える請求項８に記載の方法。
【請求項１１】
前記合成するステップは、前記第１メデイアストリームからの前記第２型式の信号と、前記第２メデイアストリームからの信号との合成をさらに備える請求項１０に記載の方法。
【請求項１２】
前記合成するステップは、
前記出力メデイアストリームの中に前記第２メデイアストリームからの同期した信号を提供するために、合成する前に、前記同じメデイアストリームの他の形式の信号に関連させて、前記第２メデイアストリームの１の型式の信号を遅延するステップをさらに備える請求項１１に記載の方法。
【請求項１３】
前記合成するステップは、前記第１型式の信号と、前記第２型式の信号の別々な合成をさらに備える請求項１０に記載の方法。
【請求項１４】
前記合成するステップは、
前記出力メデイアストリームの中に前記第１メデイアストリームからの同期した信号を提供するために、前記同じメデイアストリームの他の形式の信号に関連させて、前記出力メデイアストリームの中の１の型式の信号の遅延をさらに備える請求項９に記載の方法。
【請求項１５】
前記第１型式の信号が音声信号である場合、前記信号を合成するステップは、前記第１型式の信号を重畳するステップをさらに備える請求項９に記載の方法。
【請求項１６】
前記重畳するステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの音声信号の特性の重み付けを備える請求項１５に記載の方法。
【請求項１７】
前記第１型式の信号が画像信号である場合、前記信号を合成するステップは、前記第１型式の信号を混合するステップをさらに備える請求項９に記載の方法。
【請求項１８】
前記混合ステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの画像信号の特性の重み付けをさらに備える請求項１７に記載の方法。
【請求項１９】
前記特性の重み付けは、前記第２メデイアストリームからの信号の前記特性に関連させて、前記第１メデイアストリームからの信号の割合の変更を含む請求項１６に記載の方法。
【請求項２０】
前記特性の重み付けは、前記携帯通信機器のユーザの入力データに依存する請求項１９に記載の方法。
【請求項２１】
前記割合の変更は、０と１００％との間の範囲の中で各特性の変更を備える請求項１９に記載の方法。
【請求項２２】
出力メデイアストリームが第１型式の信号を備え、携帯通信機器からの通信セッション中に送信されるべき出力メデイアストリームを形成する携帯通信機器であって、
第１メデイアストリームを発生するために提供される少なくとも１つの発生ユニットと、
前記発生ユニットに接続され、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに合成するために提供される第１合成ユニットと、
ユーザ入力に依存して前記発生ユニットおよび前記合成ユニットを制御する制御ユニットと、を備える携帯通信機器。
【請求項２３】
前記第１合成ユニットが前記第１および第２メデイアストリームの両方の前記第１型式の信号を合成するために提供されており、
前記出力メデイアストリームが前記第１型式および第２型式の信号を備える、携帯通信機器からの通信セッション中に送信されるべき出力メデイアストリームを形成するための携帯通信機器であって、
第２合成ユニットと、をさらに備え、
前記第２合成ユニットを使用して、前記第１メデイアストリームの前記第２型式の信号と前記第２メデイアストリームの前記第２型式の信号を合成する請求項２２に記載の携帯通信機器。
【請求項２４】
前記第２メデイアストリームのための蓄積部を提供するメモリユニットをさらに備える請求項２２に記載の携帯通信機器。
【請求項２５】
ユーザ入力を提供するためのユーザ入力インターフェースをさらに備える請求項２２に記載の携帯通信機器。
【請求項２６】
前記機器は、前記出力メデイアストリームの中で、前記同じ第１メデイアストリームからの他の型式の信号に関連させて、前記第１メデイアストリームからの１の型式の信号の同期を提供するためのマルチプレクシングユニットと、をさらに備える請求項２３に記載の携帯通信機器。
【請求項２７】
前記出力メデイアストリームの中で、同期した信号を提供する遅延ユニットをさらに備える請求項２３に記載の携帯通信機器。
【請求項２８】
前記遅延ユニットは、前記第１メデイアストリームと合成する前に、前記第２メデイアストリームからの信号の同期を提供する請求項２７に記載の携帯通信機器。
【請求項２９】
前記遅延ユニットは、前記同じ第２メデイアストリームからの他の型式の信号に関連して、１の型式の信号の同期を提供する請求項２８に記載の携帯通信機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯通信機器における少なくとも２つのメデイアストリームのリアルタイム混合に関する。特に、本発明は、リアルタイム送信された出力メデイアストリームを提供するため、少なくとも２つのメデイアストリームをリアルタイム混合する方法および機器に関する。
【背景技術】
【０００２】
多くの第３世代携帯端末は、３ＧＰＰ仕様３２４Ｍに基づくビデオ電話（Video Telephony(VT)）アプリケーションが実装されると予測される。このＶＴアプリケーションは、リアルタイム音声及び映像情報を含む通信により、個人と個人との間の接続を可能とする。これらのアプリケーションは、音声と画像情報の両方を含んだ１つの単一映像ストリームの記録及び発生を備える。
【０００３】
もし、携帯通信機器において２つの異なるメデイアストリームを合成することが可能であれば、１つのストリームの音声と他のストリームからの音声とを交換するとか、１つのストリームの画像情報と他のストリームの画像情報とを置き換える等の、多くの魅力ある機能を提供することが可能である。
【０００４】
ＶＴを使用する興味深い方法のひとつに、"show & tell”と呼ばれる使い方がある。これは、音声および画像情報を含む録画されたビデオを再生しているとき、声（音声）がこのストリームに同時に追加される。
【０００５】
さらに、或る消費者は、明らかに不適当な場所で、またはセキュリテイの理由から他人が見ることを許されていない場所で撮影されたことを問題にする。明らかなリアルタイム動画は、たとえば２つの異なる動画の合成であり、その１つは場所を映し、他の１つは消費者を映す。
【０００６】
本発明は、移動体ＶＴアプリケーションの利用をどの様に促進するか、そしてビデオ電話で使われる時に整合性の問題をどの様に取り扱うことが出来るかに関連する。
【０００７】
したがって、少なくとも１つがリアルタイムストリームである２つの別々の入力ストリームに基づいた出力メデイアストリームを提供可能な方法および機器の要求がある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、したがって、出力メデイアストリームが第１（リアルタイム）メデイアストリームと第２メデイアストリームの混合物である、携帯通信機器から送信されている前記リアルタイム同期出力メデイアストリームを提供する課題を解決するものである。
【０００９】
これは、携帯通信機器で第１メデイアストリームをリアルタイムに発生し、前記出力メデイアストリームを形成するために、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに合成することを提供することで達成される。
本発明の1つの目的は、第１リアルタイムメデイアストリームと第２メデイアストリームからなるリアルタイム出力メデイアストリームを形成する方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面によれば、この目的は、メデイアストリームが第１型式の信号よりなり、携帯通信機器からの通信セッション中に送信される出力メデイアストリームを形成するための方法であって、
前記携帯通信機器において第１メデイアストリームをリアルタイムに発生し、
前記出力メデイアストリームを形成するために、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに合成する、ステップを備える方法により達成される。  本発明の第２の側面は、前記第１の側面の特徴を含む方法であって、前記出力メデイアストリームは第２型式の信号を備える。
【００１１】
本発明の第３の側面は、前記第１の側面の特徴を含む方法であって、前記出力メデイアストリームを送信するステップをさらに備える。
【００１２】
本発明の第４の側面は、前記第１の側面の特徴を含む方法であって、他の機器との接続を確立するステップをさらに備える。
【００１３】
本発明の第５の側面は、前記第４の側面の特徴を含む方法であって、前記接続は回路スイッチ型接続である。
【００１４】
本発明の第６の側面は、前記第１の側面の特徴を含む方法であって、前記ステップの少なくとも１つは、前記携帯通信機器のユーザからの入力データに依存する。
【００１５】
本発明の第７の側面は、前記第１の側面の特徴を含む方法であって、前記合成するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームからの第２型式の信号との合成を備える。
【００１６】
本発明の第８の側面は、前記第１の側面の特徴を含む方法であって、前記合成するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームの前記第１型式の信号との合成を備える。
【００１７】
本発明の第９の側面は、前記第８の側面の特徴を含む方法であって、前記合成するステップは、前記第１メデイアストリームからの第２型式の信号と、前記第２メデイアストリームからの前記信号とを合成するステップをさらに備える。
【００１８】
本発明の第１０の側面は、前記第８の側面の特徴を含む方法であって、前記合成するステップは、前記第１メデイアストリームからの信号と、前記第２メデイアストリームからの前記第２型式の信号とを合成するステップをさらに備える。
【００１９】
本発明の第１１の側面は、前記第１０の側面の特徴を含む方法であって、前記合成するステップは、前記第１メデイアストリームからの前記第２型式の信号と、前記第２メデイアストリームからの信号とを合成するステップをさらに備える。
【００２０】
本発明の第１２の側面は、前記第１１の側面の特徴を含む方法であって、前記合成するステップは、前記出力メデイアストリームの中に前記第２メデイアストリームからの同期した信号を提供するために、合成する前に、同じメデイアストリームの他の形式の信号に関連させて、前記第２メデイアストリームの１の型式の信号を遅延するステップをさらに備える。
【００２１】
本発明の第１３の側面は、前記第１０の側面の特徴を含む方法であって、前記合成するステップは、前記第１型式の信号と、前記第２型式の信号を別々に合成するステップをさらに備える。
【００２２】
本発明の第１４の側面は、前記第９の側面または前記第１１の側面の特徴を含む方法であって、前記合成するステップは、前記出力メデイアストリームの中に前記第１メデイアストリームからの同期した信号を提供するために、同じメデイアストリームの他の形式の信号に関連させて、前記出力メデイアストリームの中の１の型式の信号を遅延するステップをさらに備える。
【００２３】
本発明の第１５の側面は、前記第９の側面の特徴を含む方法であって、前記第１型式の信号が音声信号である場合、前記信号を合成するステップは、前記第１型式の信号を重畳するステップをさらに備える。
【００２４】
本発明の第１６の側面は、前記第１５の側面の特徴を含む方法であって、前記重畳するステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの音声信号の特性の重み付けをするステップをさらに備える。
【００２５】
本発明の第１７の側面は、前記第９の側面の特徴を含む方法であって、前記第１型式の信号が画像信号である場合、前記信号を合成するステップは、前記第１型式の信号を混合するステップをさらに備える。
【００２６】
本発明の第１８の側面は、前記第１７の側面の特徴を含む方法であって、前記混合ステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの画像信号の特性の重み付けをするステップをさらに備える。
【００２７】
本発明の第１９の側面は、前記第１６の側面の特徴を含む方法であって、前記特性の重み付けをするステップは、前記第２メデイアストリームからの信号の特性に関連させて、前記第１メデイアストリームからの信号の割合を変えるステップを含む。
【００２８】
本発明の第２０の側面は、前記第１９の側面の特徴を含む方法であって、前記特性の重み付けをするステップは、前記携帯通信機器のユーザの入力データに依存する。
【００２９】
本発明の第２１の側面は、前記第１９の側面の特徴を含む方法であって、前記割合を変える前記ステップは、０と１００％との間の範囲の中で各特性を変えるステップを備える。
【００３０】
本発明の他の目的は、第１リアルタイムメデイアストリームと第２メデイアストリームよりなるリアルタイム出力メデイアストリームを形成するための携帯通信機器を提供することである。
【００３１】
本発明の第２２の側面によれば、この目的は、出力メデイアストリームが第１型式の信号を備え、携帯通信機器からの通信セッション中に送信される出力メデイアストリームを形成する携帯通信機器であって、
第１メデイアストリームを発生するために提供される少なくとも１つの発生ユニットと、前記発生ユニットに接続され、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに合成するために提供される第１合成ユニットと、
ユーザ入力に依存して前記発生ユニットおよび前記第１合成ユニットを制御する制御ユニットと、を備える携帯通信機器で達成される。
【００３２】
本発明の第２３の側面は、前記第２２の側面を含む携帯通信機器であって、前記第１合成ユニットが前記第１および第２メデイアストリームの両方の前記第１型式の信号を合成するために提供され、前記出力メデイアストリームが前記第１型式および第２型式の信号を備える携帯通信機器からの通信セッション中に送信される出力メデイアストリームを形成するための携帯通信機器であって、第２合成ユニットと、をさらに備え、前記第２合成ユニットを使用して、前記第１メデイアストリームからの前記第２型式の信号と前記第２メデイアストリームからの前記第２型式の信号を合成する。
【００３３】
本発明の第２４の側面は、前記第２２の側面を含む携帯通信機器であって、前記第２メデイアストリームのための蓄積部を提供するメモリユニットをさらに備える。
【００３４】
本発明の第２５の側面は、前記第２２の側面を含む携帯通信機器であって、コントロールユニットに接続されて、それにより発生ユニットおよび全ての合成ユニットがユーザ入力にしたがって制御される、ユーザ入力を提供するためのユーザ入力インターフェースをさらに備える。
【００３５】
本発明の第２６の側面は、前記第２３の側面を含む携帯通信機器であって、前記出力メデイアストリームの中で、前記同じ第１メデイアストリームからの他の型式の信号に関連させて、前記第１メデイアストリームからの１の型式の信号の同期を提供するためのマルチプレクシングユニット（２２０）をさらに備える。
【００３６】
本発明の第２７の側面は、前記第２３の側面を含む携帯通信機器であって、前記出力メデイアストリームの中で、同期した信号を提供する遅延ユニットをさらに備える。
【００３７】
本発明の第２８の側面は、前記第２７の側面を含む携帯通信機器であって、前記遅延ユニットは、前記第１メデイアストリームと合成する前に、前記第２メデイアストリームからの信号の同期を提供する。
【００３８】
本発明の第２９の側面は、前記第２８の側面を含む携帯通信機器であって、前記遅延ユニットは、前記同じ第２メデイアストリームからの他の型式の信号に関連して、１の型式の信号の同期を提供する。
【００３９】
本発明は、第１リアルタイムメデイアストリームが第２第２メデイアストリームと合成された出力メデイアストリームを提供する。これは、前記２つのメデイアストリームが、たとえば多くの異なる魅力ある機能を提供するために多くの方法で合成される点において特徴を有する。
【００４０】
移動体機器のユーザは、通信相手に別々にビデオカメラ画像を送る代わりに、先立って録画された映像や音声を、先に録画された映像にリアルタイムの声または音声を混合しながら送信することが可能となり、それにより、通信相手に、相手が実際にいる場所とは違う場所にいることの認識を提供できる。そのような効果は、先に録画された映像の中に、ユーザの顔のような動画情報を混合することでさらに強調される。
【００４１】
ビデオ電話の呼び出しを受けた時、移動体映像応答装置を提供するために、呼び出しに対してカメラからのリアルタイムビデオカメラ画像を送らずに、動画または静止画を含み、メモリに蓄積されている先に録画された映像応答メッセージを再生するように決めることが可能である。
【００４２】
会話の途中で、通信機器のユーザは、ＶＴセッションの出力メデイアストリームの中に提供することで、映像または静止画の情報内容を即座に共有することが可能である。これは、すなわち、同時マルチメデイアを可能とする使い方が可能である。
【００４３】
他の例は、ＶＴセッションの立ち上がり時に、先に録画された映像ファイルの送信の使用であって、そこでは、ファイルは通信料金の減額に適する広告を含むことが出来る。
【００４４】
この明細書で、用語（備える／備えている）が使われるときは、その特徴、構造、ステップ、構成物の存在を特定するが、１または１以上の他の特徴、構造、ステップ、構成物、またはそれらのグループの存在を排除するものではない点を強調しておく。
【発明の効果】
【００４５】
本発明によれば、少なくとも１つがリアルタイムストリームである２つの別々の入力ストリームに基づいた出力メデイアストリームを提供可能な方法および機器を提供することが出来る。
【発明を実施するための最良の形態】
【００４６】
本発明は、携帯通信機器からの通信セッション中に送信される同期した出力メデイアストリームの形成に関する。
【００４７】
本願の好ましい実施例による特徴は、通信機器の３Ｇ−３２４Ｍアプリケーションで得られる。これを達成するために、Ｈ．２４５プロトコルの柔軟性がアップデートされたＳＷ/ＨＷアーキテクチャと共に利用される。
【００４８】
次に、携帯通信機器から送信される同期した出力メデイアストリームをリアルタイムに提供する方法および本発明に係る携帯通信機器のそれぞれを図示する、図１と図２を参照する。
【００４９】
この好ましい実施例によれば、前記方法は携帯通信機器２００と他の通信機器との間で接続を確立する、ステップ１０２で始まるもので、それを使って携帯通信機器のユーザはＶＴ通信セッションを確立することを希望する。これはユーザがユーザ入力インターフェース２０２を介してＶＴセッションを選択することでなされ、この選択に基づき、制御ユニット２０４は送信ユニット２２２に他の機器とのＶＴセッションを設定する。音声および画像情報、すなわち、第１第２型式の信号の両方を有する第１メデイアストリームの発生のステップ１０４は、共に制御ユニット２０４で制御される音声発生ユニット２０６および画像発生ユニット２０８で実行される。これは、画像発生ユニット２０８の中に構成されているカメラで画像を、そして音声発生ユニット２０６の中に有するマイクロフォンで音声を記録することでなされる。
【００５０】
本実施例によれば、第１メデイアストリームは、音声および画像情報の両方で構成される。次に、第２メデイアストリームを提供するステップ１０６は、メモリユニット２１０から前記メデイアストリームを得ることで実行される。またこれは、ユーザ入力に依存した制御ユニットの制御を介してなされる。この好ましい実施例において、このメモリユニットは携帯通信機器２００に含まれて構成された内部メモリである。第２メデイアストリームは混合された音声および画像情報を含むので、このストリームはこれら２つの信号を分離するように分解される。これはデマルチプレックスユニット２１２で実行される。この好ましい実施例によれば、混合するのに好ましいフォーマットを得るために、デマルチプレックスユニット２１２は画像フォーマットのデコーデイングを実行する。好ましいフォーマットは、例えばＹＵＶフォーマットである。このデマルチプレックスユニット２１２は、さらに音声情報を好ましいフォーマットにデコードする。この音声フォーマットは、たとえばＰＣＭフォーマットである。このデマルチプレックスユニット２１２は、合成ユニット２１６および２１８において、同じ型式の情報を合成するステップを助けて音声および／または画像情報のビットレートを変換するために、さらにビットレート変換能力を有する。第１および第２メデイアストリームはこうして音声および画像情報をそれぞれ含んでいるデコードされた分離した型式の信号を含む。
【００５１】
本発明によれば、上記した異なる信号型式の分解およびデコードは異なる量の時間を消耗する。この好ましい実施例においては、通常の場合、画像処理経路は音声処理経路より、より多くの時間を必要とする。第２メデイアストリームから、順次同期した音声および画像情報よりなる出力メデイアストリームを得るために、この第２ストリームからの音声情報は、遅延ユニット２１４での遅延するステップ１０８を受ける。ここでの遅延量は、さらに異なる処理ステップの時間の違いに基づき制御ユニットにより決定される。しかしながら、ここで使われる遅延量は、また第１メデイアストリームの音声と画像情報との間の時間差に依存する。第２メデイアストリームに有効な遅延ユニット２１４は、したがって、出力メデイアストリームに有効なマルチプレックスユニット２２０による引き続く同期の１部分、すなわち第１メデイアストリームの中で、音声と画像情報との間のタイミングの違いによる部分を補償しなければならない。
【００５２】
音声と画像のような分離した形の情報は合成が前提となる。両方のストリームからの音声情報は、ステップ１１０にあるように第１合成ユニット２１６で合成される。第２合成ユニット２１８は、同様にステップ１１２で両ストリームからの画像情報を合成する。音声情報の合成は、第１ストリームの音声情報を第２ストリームの音声情報に重畳することで行われる。この合成はさらに第１ストリームからの音声情報と第２ストリームからの音声情報の特性の重み付けを含む。これは他のストリームからの音声情報の特性に関連させて１つのストリームからの音声情報の特性の変更を網羅する。
【００５３】
本発明の好ましい本実施例によれば、第１合成ユニット２１６は、合成された音声情報をＡＭＲのような好ましいフォーマットへの符号化を含む。
【００５４】
画像情報については、合成ユニット２１８が第１ストリームからの画像情報と第２ストリームからの画像情報をａ合成と呼ばれる処理で合成するが、このａ合成はこの分野の当業者には良く知られており、ここではさらに説明はしない。しかしながら、この画像情報の合成は、第１ストリームおよび第２ストリームからの画像情報の特性の重み付けを含む。第１合成ユニット２１６による音声情報の合成と同様に、第２合成ユニット２１８での特性の重み付けは、他のストリームからの画像情報の特性に関連させて１のストリームからの画像情報の特性の変更を含む。
【００５５】
音声および画像情報の特性の重み付けは、ユーザ入力インターフェース２０２を介してユーザから得られたユーザ入力データに依存する。
【００５６】
さらに、この好ましい実施例によれば、第２合成ユニット２１８は、合成画像情報をＭＰＥＧ−４のような好ましいフォーマットへの符号化を含む。
【００５７】
２つの異なるストリームからの同じ型式の情報を合成するステップは、マルチプレクシングユニット２２０によるステップ１１４の出力メデイアストリームの形成に引き続いて行われる。
【００５８】
マルチプレクシングユニット２２０は、さらに第１メデイアストリームからの２つの型式の情報の間で内部同期を行う、すなわちこのストリームからの音声を画像情報に同期させるために同期能力を含む。この同期では、第１ストリームにおける音声情報と画像情報との時間差が考慮される。しかしながら、また、一方では音声情報が合成ユニットを通過するのに要する時間と、他方では画像情報が合成ユニットを通過するのに要する時間との間の時間差も考慮する。これらの必要とされた期間は、主として合成されるメデイアストリームに音声および／または画像情報が存在することに依存する。
【００５９】
第１メデイアストリームからの情報と、第２ストリームの同期情報を含む出力メデイアストリームが形成されると、合成された合成出力ストリームは、送信ユニット２２２によりステップ１１６でリアルタイム送信されることになる。
【００６０】
図２に示した携帯通信機器を参照すると、制御ユニット２０４は、ユーザ入力データインターフェース２０２からのユーザ入力データを受信した際にこれらを制御するため、全ての他の実行ユニットに接続されている。第１メデイアストリームを発生するステップ、ステップ１０４、第２メデイアストリームの提供、ステップ１０６および音声情報を合成するステップ、ステップ１１０、画像情報の合成およびステップ１１２は、ユーザ入力データを要求する。
【００６１】
さらに、音声または画像情報のいずれか正しい形式の情報を遅延させるため、遅延ユニットにおいて正しい型式の情報であることを前提に遅延を調整するため、第２合成ユニット２１２と制御ユニット２０４との間に帰還信号系が含まれる。
【００６２】
本発明は、たとえば次のように色々な方法で変形することが出来る。
【００６３】
第１メデイアストリームは、ただ画像情報だけ、ただ音声情報だけ、あるいは両方の組み合わせを備えることが可能である。第２メデイアストリームもまた、ただ画像情報だけ、ただ音声情報だけ、あるいは両方の組み合わせを備えることが可能である。第１および第２メデイアストリームのこれら全ての変形例は、組み合わせることが可能である。メモリユニットは、機器の中に固定することも、携帯通信機器に接続または挿入可能なメモリステイックまたは他のメモリユニットのような差し替え可能なユニットとすることも可能である。
【００６４】
画像情報は第１または第２ストリームの中に、動画、または静止画と動画の両方の組み合わせとして提供することが出来る。
【００６５】
第２メデイアストリームの音声情報の処理は、同じストリームの画像情報の処理より時間が掛かるが、これは、同期した情報を含む出力２メデイアストリームを得るために、第２メデイアストリームの画像情報は音声情報との関係において遅延される必要があるからである。
【００６６】
第２メデイアストリームは、さらに多くの異なるコードのいずれかを用いてコード化された音声および画像情報を含む。第１および第２合成ユニットは、さらに重畳された音声情報と合成された画像情報を多くの異なるフォーマットにコード化するコード化能力を有する。
【００６７】
他の実施例によれば、単一のメデイアストリーム発生ユニットからの単一の混合された第１メデイアストリームとして、第１メデイアストリームは提供される。この場合、音声情報と画像情報とを別々に合成するステップの前に、付加的なユニットとしてこの混合されたメデイアストリームを分解するデマルチプレックスユニットが必要である。
【００６８】
他の実現可能な変形例は、この方法のステップを異なる順序で実行することにある。
【００６９】
さらに、２つ以上の異なる型式の情報を持つ出力メデイアストリームを形成するのと同様に、２つ以上のメデイアストリームから出力メデイアストリームを形成することが可能である。さらに、マルチメデイアストリームからの情報を合成することで、出力メデイアストリームを形成することが可能である。
【００７０】
本発明のさらに他の実施例においては、第１および第２リアルタイムメデイアストリームは混合される。この場合、第２メデイアストリームはリアルタイムで携帯通信機器に提供される。この実施例の１例は、たとえば携帯機器の前面に設置されたカメラからの１のリアルタイムメデイアストリームと、たとえば携帯機器の後面に設置された同じカメラからの他のリアルタイムメデイアストリームとを合成することである。異なる、あるいは反対の方向に定められた２つのカメと共に、たとえば観光スポットの前に立って、腕を伸ばして手に携帯機器を保持することは、音声および画像情報を含む自分のメデイアストリームを、自分が現在いる場所、すなわち観光スポットの音声および画像を含む第２メデイアストリームに合成するのを可能とする。このように、たとえば２番目の人を探すことを必要とせず、音声および画像情報を含むリアルタイムストリームに自分自身を含ませるのは簡単であり、便利である。
【００７１】
前記するように、本発明は、第１メデイアストリームを第２メデイアストリームに混合することにより、リアルタイムで出力メデイアストリームを形成する方法および機器である。
【００７２】
メデイアストリームの混合の提供は、たとえば多くの魅力ある機能を提供する。
【００７３】
別に映像カメラ画像を通信相手に送る代わりに、携帯機器のユーザは先に録画された映像に声または音声情報を混合して、先に録画された映像または音声を送信することが可能である。この混合はリアルタイムですぐに実行されるので、受信相手は、ユーザが実際居る所とは異なる、例えば贅沢な休暇リゾート地等の他の場所に居る印象を受けると思う。  ユーザの顔を先に録画された映像に混合するなど、動く画像情報を混合することによって、この効果はさらに強調される。
【００７４】
これは、たとえば、通信相手がセキュリテイの理由からその場所を見ることが許されない場合等の他の状況でも応用できる。
【００７５】
ビデオ電話の呼び出しを受けた時、ユーザは呼び出し相手にカメラからのリアルタイムビデオカメラ画像を送信する代わりに、メモリに蓄積され動画像または静止画像を含む録画された映像応答メッセージを再生するように決めることが可能である。この特徴は、この様に携帯映像応答装置として用いることが出来る。ユーザは生の映像カメラをＯＮとしようとは思わないかも知れないので、ＶＴ呼び出し応答し、しかもまだ呼び出し相手からの写真を受信する可能性がある時、これは非常に有用である。
【００７６】
会話している間、通信機器のユーザはメデイアファイル交換の担い手として映像または静止画像等の内容情報を即時に共有することができ、同時化マルチメデイアを可能とする。
【００７７】
ＶＴセッッションのセットアップ中に宣伝広告を含ますことが可能な録画映像ファイルを送信すれば、減額された通信費用の適格性がある。
【００７８】
本発明は、同封の図面に関連してさらに詳細に説明される。
【図面の簡単な説明】
【００７９】
【図１】携帯通信機器から送信されるリアルタイムに同期出力メデイアストリームを提供する方法を示し、前記出力メデイアストリームは第１メデイアストリームと第２メデイアストリームとの混合物である。
【図２】図１の方法によって発生される同期出力メデイアストリームを提供する携帯通信機器を描く。
【図１】
2007527128.tif 000003
【図２】
2007527128.tif 000004
【手続補正書】
【提出日】平成17年3月22日(2005.3.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メデイアストリームが第１型式の信号を備え、携帯通信機器（２００）からの通信セッション中に送信されるべき出力メデイアストリームを形成するための方法であって、
前記携帯通信機器において第１メデイアストリームをリアルタイムに発生し（ステップ１０４）、
前記出力メデイアストリームを形成するために、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに混合する（ステップ１１０、１１２および１１４）、ステップを備える方法。
【請求項２】
前記出力メデイアストリームは、第２型式の信号を備える請求項１に記載の方法。
【請求項３】
前記出力メデイアストリームを送信するステップ（ステップ１１６）をさらに備える請求項１に記載の方法。
【請求項４】
他の機器との接続を確立するステップ（ステップ１０２）をさらに備える請求項１に記載の方法。
【請求項５】
前記接続は、回路スイッチ型接続である請求項４に記載の方法。
【請求項６】
前記ステップの少なくとも１つは、前記携帯通信機器のユーザからの入力データに依存する前記請求項のいずれか１項に記載の方法。
【請求項７】
前記混合するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームの第２型式の信号との混合を備える請求項１に記載の方法。
【請求項８】
前記混合するステップは、前記第１メデイアストリームからの第１型式の信号と、前記第２メデイアストリームからの前記第１型式の信号との混合を備える請求項１に記載の方法。
【請求項９】
前記混合するステップは、前記第１メデイアストリームからの第２型式の信号と、前記第２メデイアストリームからの前記信号との混合をさらに備える請求項８に記載の方法。
【請求項１０】
前記混合するステップは、前記第１メデイアストリームからの信号と、前記第２メデイアストリームからの前記第２型式の信号との混合をさらに備える請求項８に記載の方法。
【請求項１１】
前記混合するステップは、前記第１メデイアストリームからの前記第２型式の信号と、前記第２メデイアストリームからの信号との混合をさらに備える請求項１０に記載の方法。
【請求項１２】
前記混合するステップは、
前記出力メデイアストリームの中に前記第２メデイアストリームからの同期した信号を提供するために、混合する前に、前記同じメデイアストリームの他の形式の信号に関連させて、前記第２メデイアストリームの１の型式の信号を遅延するステップ（ステップ１０８）をさらに備える請求項１１に記載の方法。
【請求項１３】
前記混合するステップは、前記第１型式の信号と、前記第２型式の信号の別々な混合（ステップ１１０および１１２）をさらに備える請求項１０乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記混合するステップは、
前記出力メデイアストリームの中に前記第１メデイアストリームからの同期した信号を提供するために、前記同じメデイアストリームの他の形式の信号に関連させて、前記出力メデイアストリームの中の１の型式の信号の遅延をさらに備える請求項９または１１に記載の方法。
【請求項１５】
前記第１型式の信号が音声信号である場合、前記信号を混合するステップは、前記第１型式の信号を重畳するステップをさらに備える請求項９に記載の方法。
【請求項１６】
前記重畳するステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの音声信号の特性の重み付けを備える請求項１５に記載の方法。
【請求項１７】
前記第１型式の信号が画像信号である場合、前記信号を混合するステップは、前記第１型式の信号を混合するステップをさらに備える請求項９に記載の方法。
【請求項１８】
前記混合ステップは、前記第１メデイアストリームおよび前記第２メデイアストリームからの画像信号の特性の重み付けをさらに備える請求項１７に記載の方法。
【請求項１９】
前記特性の重み付けは、前記第２メデイアストリームからの信号の前記特性に関連させて、前記第１メデイアストリームからの信号の割合の変更を含む請求項１６または１８に記載の方法。
【請求項２０】
前記特性の重み付けは、前記携帯通信機器のユーザの入力データに依存する請求項１９に記載の方法。
【請求項２１】
前記割合の変更は、０と１００％との間の範囲の中で各特性の変更を備える請求項１９に記載の方法。
【請求項２２】
出力メデイアストリームが第１型式の信号を備え、携帯通信機器（２００）からの通信セッション中に送信されるべき出力メデイアストリームを形成する携帯通信機器（２００）であって、
第１メデイアストリームを発生するために提供される少なくとも１つの発生ユニット（２０６、２０８）と（ステップ１０４）、
前記発生ユニットに接続され、前記第１メデイアストリームと第２メデイアストリームをリアルタイムに混合するために提供される第１混合ユニット（２１６）と（ステップ１１０または１１２）、
ユーザ入力に依存して前記発生ユニットおよび前記混合ユニット（２１６）を制御する制御ユニット（２０４）と、を備える携帯通信機器（２００）。
【請求項２３】
前記第１混合ユニット（２１６）が前記第１および第２メデイアストリームの両方の前記第１型式の信号を混合する（ステップ１１０または１１２）ために提供されており、
前記出力メデイアストリームが前記第１型式および第２型式の信号を備える、携帯通信機器（２００）からの通信セッション中に送信されるべき出力メデイアストリームを形成するための携帯通信機器（２００）であって、
第２混合ユニット（２１８）と、をさらに備え、
前記第２混合ユニット（２１８）を使用して、前記第１メデイアストリームの前記第２型式の信号と前記第２メデイアストリームの前記第２型式の信号を混合する請求項２２に記載の携帯通信機器（２００）。
【請求項２４】
前記第２メデイアストリームのための蓄積部を提供するメモリユニット（２１０）をさらに備える請求項２２または２３に記載の携帯通信機器（２００）。
【請求項２５】
ユーザ入力を提供するためのユーザ入力インターフェース（２０２）をさらに備える請求項２２乃至２４のいずれか１項に記載の携帯通信機器（２００）。
【請求項２６】
前記機器（２００）は、前記出力メデイアストリームの中で、前記同じ第１メデイアストリームからの他の型式の信号に関連させて、前記第１メデイアストリームからの１の型式の信号の同期を提供するためのマルチプレクシングユニット（２２０）と、をさらに備える請求項２３に記載の携帯通信機器（２００）。
【請求項２７】
前記出力メデイアストリームの中で、同期した信号を提供する遅延ユニット（２１４）をさらに備える請求項２３乃至２５のいずれか１項に記載の携帯通信機器（２００）。
【請求項２８】
前記遅延ユニット（２１４）は、前記第１メデイアストリームと混合する前に、前記第２メデイアストリームからの信号の同期を提供する請求項２７に記載の携帯通信機器（２００）。
【請求項２９】
前記遅延ユニット（２１４）は、前記同じ第２メデイアストリームからの他の型式の信号に関連して、１の型式の信号の同期を提供する請求項２８に記載の携帯通信機器（２００）。
【国際調査報告】
2007527128.tif 000005
2007527128.tif 000006
2007527128.tif 000007