(57)【特許請求の範囲】
【請求項１】
ユーザからの料金の支払いによって画像情報を作成する画像情報作成装置であって、
ユーザから料金を受け取るための入金部と、
外部装置と接続する通信インタフェース部と、
利用者からの指示に応答して撮影を開始し、画像情報を生成する撮像手段と、
上記画像情報を表示する手段と、
表示された画像に対するユーザからの承認指示に応答して、ユーザが上記入金部で支払った料金の額に応じて決まるコピー可能回数と上記画像情報とを含む送信情報を作成し、上記インタフェース部を介して、画像配信サーバまたは上記利用者が所有する端末装置に送信する制御手段とを有することを特徴とする画像情報作成装置。
【請求項２】
請求項１に記載の画像情報作成装置において、
更に、前記コピー可能回数とそれに対応する料金とを表示するための表示部を備えたことを特徴とする画像情報作成装置。
【請求項３】
請求項１に記載の画像情報作成装置において、
更に、背景情報を選択する手段と、
選択された背景情報と前記画像情報を画像合成する手段とを有することを特徴とする画像情報作成装置。
【請求項４】
請求項１に記載の画像情報作成装置において、
更に、前記撮像手段による撮影中に音声情報を取得する手段を備え、
前記制御手段が、前記コピー可能回数および画像情報と上記音声情報とを含む送信情報を前記端末装置または画像配信サーバに送信することを特徴とする画像情報作成装置。
【請求項５】
請求項１〜請求項４の何れかに記載の画像情報作成装置において、
前記制御手段が、前記画像情報を特定するＩＤ情報を作成し、該ＩＤ情報を含む前記送信情報を前記端末装置または画像配信サーバに送信することを特徴とする画像情報作成装置。
【請求項６】
請求項１〜請求項４の何れかに記載の画像情報作成装置において、
前記制御手段が、前記画像情報を特定するＩＤ情報を作成し、前記画像配信サーバには、該ＩＤ情報を付加した前記送信情報を送信し、前記端末装置には、前記画像情報に代えて該ＩＤ情報を付加した送信情報を送信することを特徴とする画像情報作成装置。
【請求項７】
ユーザからの料金の支払いによって画像情報を作成する画像情報作成装置および複数の通信端末との間で、データを送受信する画像配信サーバであって、
上記画像情報作成装置および複数の通信端末と通信するための通信インタフェース部と、
上記通信インタフェース部を介して、上記画像情報作成装置から、画像情報と、該画像情報を特定する第１のＩＤと、ユーザから支払われた料金の額に応じて決まるコピー可能回数とを受信したとき、上記第１のＩＤおよびコピー可能回数と対応付けて、上記画像情報を蓄積装置に格納する手段と、
上記通信インタフェース部を介して、上記ユーザが所有する通信端末から、画像情報の宛先と第２のＩＤとを含む配信要求を受信したとき、上記蓄積装置から第１のＩＤが上記第２のＩＤと一致する画像情報を検索し、該画像情報を上記宛先に配信する手段と、
画像情報の配信の都度、上記画像情報と対応するコピー可能回数を更新しておき、コピー可能回数が所定値に達した後は、当該画像情報の配信を抑制する手段とを備えたことを特徴とする画像配信サーバ。
【請求項８】
ユーザからの料金の支払いによって画像情報を作成する画像情報作成装置と、配信サーバと、通信端末とからなり、それぞれが通信インタフェースを介して他の装置とデータを送受信する画像情報提供システムであって、
上記画像情報作成装置が、ユーザから料金を受け取るための入金部と、画像情報を生成する手段と、ユーザが上記入金部で支払った料金の額に応じて決まるコピー可能回数を上記画像情報に付加して、上記通信インタフェースを介して上記ユーザの通信端末に送信する手段とを備え、
上記通信端末が、上記画像情報作成装置から上記通信インタフェースを介して受信した画像情報およびコピー可能回数を記憶する記憶装置と、上記記憶装置に記憶された画像情報を宛先を指定して上記通信インタフェースを介して上記配信サーバに送信する手段と、上記画像情報の送信回数が上記コピー可能回数に達した後は、該画像情報の送信を抑止する制御手段とを備え、
上記配信サーバが、上記通信インタフェースを介して、上記通信端末から受信した画像情報を指定された宛先に配信することを特徴とする画像情報提供システム。
【請求項９】
ユーザからの料金の支払いによって画像情報を作成する画像情報作成装置と、画像配信サーバと、通信端末とからなり、それぞれが通信インタフェースを介して無線または有線で他の装置とデータを送受信する画像情報提供システムであって、
上記画像情報作成装置が、ユーザから料金を受け取るための入金部と、画像情報を生成する手段と、該画像情報に対応したＩＤ情報を生成する手段と、上記通信インタフェースを介して、ユーザが上記入金部で支払った料金の額に応じて決まるコピー可能回数を上記画像情報およびＩＤ情報と共に上記画像配信サーバに送信し、上記ＩＤ情報を上記通信端末に送信する手段とを有し、
上記通信端末が、上記画像情報作成装置から上記通信インタフェースを介して受信したＩＤ情報を保存する手段と、画像情報の宛先と上記ＩＤ情報と指定した配信要求を上記通信インタフェースを介して上記画像配信サーバに送信する手段とを有し、
上記画像配信サーバが、上記画像情報作成装置から上記通信インタフェースを介して受信した画像情報を上記ＩＤ情報およびコピー可能回数と対応付けて格納する蓄積装置と、上記通信端末から上記通信インタフェースを介して受信した配信要求が示すＩＤ情報に基いて上記蓄積装置から画像情報を検索し、該画像情報を上記配信要求が示す宛先に上記通信インタフェースを介して配信する手段と、画像情報の配信の都度、上記画像情報と対応するコピー可能回数を更新しておき、コピー可能回数が所定値に達した画像情報については、宛先への配信を拒否する手段とを有することを特徴とする画像情報提供システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，動画像および音声情報を作成する動画像情報作成装置と、動画像情報作成装置から入力した動画像および音声情報を伝送・受信する携帯マルチメディア端末、および、動画像情報作成・配信システムに係わる。
【０００２】
【従来の技術】
動画像および音声あるいは音楽信号などの音情報は国際標準規格 ISO/IEC 14496（MPEG-4）等を用いることにより、数十kbit/秒（以下bpsと略する）程度に圧縮して伝送することができる。また、一定時間の映像・音声信号をMPEG-4を用いて圧縮し、得られた符号データを１つあるいは映像、音声の２つのファイルとして電子メールデータ（テキスト情報）とあわせて送信することができる。図１に映像・音声ファイルを電子メールデータに添付して送受信するマルチメディア端末間の映像・音声ファイル送信動作を説明する。
【０００３】
図１は、従来のマルチメディア端末による、映像・音声ファイルの送受信を表す図である。送信端末１は入力した映像・音声を圧縮して伝送路２を介して、配信サーバ（あるいは例えばメールサーバ）３に転送する。配信サーバ３は受信したデータの宛先を解読し、宛先に該当する受信端末５に、メールを伝送路４を介して転送する。あるいは、配信サーバ３は受信端末５が配信サーバ３に接続することを監視し、接続したことを確認した時に、伝送路４を介して端末５にメールが到来している旨、あるいはメール自体を受信端末５に転送する。
【０００４】
図２は図１の送信端末１の詳細図である。送信端末１では、文字入力デバイス１１、カメラ２１、マイク３１から、それぞれ、文字入力情報（例えば押下キー情報）１２、映像信号２２、音声信号３２が入力される。文字入力情報１２は編集装置１３にて解読され、文字コード１４となりメモリ１５のテキスト情報を格納している領域に格納される。文字コード１４は編集コード（挿入、削除、ポインター移動等）である場合もある。映像信号２２は映像エンコーダ２３に入力され、例えばMPEG-4にて定められた方式に従い、映像符号２４に変換される。生成された映像符号２４はメモリ１５に格納される。音声信号３２は音声エンコーダ３３にて、例えばMPEG-4にて定められた方式に従い、音声符号３４に変換され、メモリ１５に格納される。送信端末ユーザの指示により、まず、送信端末１は、配信サーバ３を呼び出し、伝送路２を確立する。次に、メモリ１５に格納されたテキスト情報（メールの宛先、本文等）、映像符号、音声符号を、メモリより読み出し、通信IF１７、伝送路２を介して、サーバへ送信する。
【０００５】
図３は伝送路２上での、送信情報の様子を表した模式図である。送信情報は図の左の情報から先に伝送される。まず最初に宛先５０が伝送され、続いてテキスト情報５１、音声情報５２、映像情報５３が伝送される。なお、テキスト情報は音声情報で代用できるため伝送しないことも可能であるが、以下の説明ではテキスト情報と、音声情報は双方とも受信側に伝送すること前提として説明を行う。
【０００６】
図４は配信サーバ３の詳細図である。配信サーバ３の動作は２つのフェーズから構成される。第1のフェーズは送信端末１からのデータ（以下メールデータ）の受信であり、伝送路２から、通信IF４１を介して入力された情報４２をバッファ４５に格納する。このとき、必要に応じて課金制御回路４３にて、配信サーバが受信した情報量あるいは通信時間、通信回数に応じた料金を送信者に対して課金するための記録をとる。第2のフェーズは、第1のフェーズが終了した後の任意の時刻から開始される。第2のフェーズにおいては、通信制御回路４７がバッファに格納されたメールデータ４６を読出し、その宛先を解読する。そして、通信IF４９に指示をして、宛先に該当する端末、すなわちこの例では受信端末５を呼び出す。受信端末５との伝送路４が確立した時点で、バッファ４５に格納されているメール情報のテキスト情報、音声情報、映像情報を読出し、通信IF４９、伝送路４を介して、受信端末５にメールデータを送信する。
【０００７】
図５は受信端末５の詳細図である。受信端末５では配信サーバ３からの呼び出しを受けると、通信IF６０により、配信サーバ５との間に伝送路４を確立する。そして、配信サーバ３から伝送されたメール情報を、通信IF６０を介してメモリ６２に格納する。この時点でメモリ６２に格納されている情報はテキスト情報、音声符号、映像符号である。受信端末５のユーザは、制御回路７９（例えば、キー入力操作等）により、受信したメール情報を選択し、テキスト情報６３をテキスト表示処理６４を介して表示デバイス６６上に表示して読むことができる。また、必要に応じて映像符号７１、音声符号７５を読み出し、それぞれ映像デコーダ７２、音声デコーダ７６にて映像信号７３、音声信号７７を再生し、映像は表示デバイス６６、音声はスピーカ７８を介して出力を行うこともできる。
【０００８】
なお、特開平１１−２８４９７３号公報にはメモリの小さい携帯端末を用いて動画像を記録する場合、通信手段を介してホストにデータを転送し、記憶する技術が開示してあるがこれは上記の変形例として考えられる。即ち、送信端末の基本的構成は変わらない。また、コピー許容回数の設定については何ら触れられていない。
【０００９】
【発明が解決しようとする課題】
以上述べた従来のマルチメディア通信端末では，映像情報符号を生成するために画像入力カメラ２１および、映像エンコーダ２３を実装する必要があり、コストが高価になる上、多くの電力を必要とするため送信端末１を駆動する電池の寿命が短くなり、より大容量の電池を搭載することにより端末のサイズが大きくなり携帯性が損なわれる。
【００１０】
【課題を解決するための手段】
上記課題は，撮像ならびに符号化する機能を、送信端末から分離し、設置することにより解決できる。
【００１１】
【発明の実施の形態】
以下，本発明の第１の実施例について，図６を用いて説明する。動画像・音声データを送信したいユーザは自らの送信端末１１０を動画像情報作成装置１００へ接続する。動画像情報作成装置１００は動画像およびそれに付随する音声をとりこみ映像・音声符号１０１として送信端末１１０へ転送する。ユーザは送信端末１１０に映像・音声符号１０１を蓄積し、それに宛先情報、テキスト（メール）情報を付加した後、配信サーバ１２０へデータを転送する。送信端末装置としては携帯電話器、携帯型ＰＣなどが想定される。配信サーバにおいては受信した宛先を解読し、宛先に該当する受信端末５に映像・音声情報のついたテキスト情報を転送する。
【００１２】
ここでは説明の便宜上機能別に送信端末、受信端末と称しているが、これらは送受信の機能を合わせ持った端末であって良い。したがって、送信端末と言ってもそれが受信機能を持たないことを意味するものではない。同様に、受信端末と言ってもそれが送信機能を持たないことを意味するものではない。画像を取り扱う端末は送信専用端末、受信専用端末、送受信機能を持った端末を総称して、画像通信端末という。
【００１３】
図７は、図６の動画像情報作成装置１００の詳細図である。撮影装置であるカメラにより撮影し、当該カメラから入力した映像、およびマイクから入力した音声はそれぞれ、送信端末１と同様に、符号化され、映像符号２４、音声符号３４としてメモリ１３０に格納される。これら符号２４、３４はそれぞれ、符号１４０および符号１４４として映像デコーダ１４１、音声デコーダ１４５により解読され、表示デバイス１４３および、スピーカ１４７にて再生され、内容を確認することができる。この時点で動画像情報作成装置に対して入金部１３６によって定められた料金が支払われている、あるいは支払いが確実に行われることが確認されていれば、課金制御部１３５は、映像符号２４および音声符号３４のコピー回数情報１３６を経由してコピー回数制御部１３７へ通知する。料金とコピー回数の関係は、例えば、３００円ならば５回コピー可能、５００円ならば１０回コピー可能、のように予め定めておいて構わない。また、1種類の料金だけでも構わない。コピー回数設定部１３７はメモリ１３０より映像符号２４および音声符号３４を信号線３８から読み出し、符号の中の、予め定められたコピー可能回数フィールドに先のコピー回数情報を書き込み、再びメモリ１３０へコピー回数限定情報付きの映像・音声符号１３９を書き戻す。その後に、コピー回数限定情報付きの映像・音声符号１０１はメモリ１３０より読み出され、通信ＩＦ１３２を経由して送信端末１１０へと送信される。制御部３５は動画像情報作成装置１００の利用者による撮像及び録音のトリガとなる操作に応答してエンコーダ２３，３３にその動作の開始を指示し、一定時間後(例えば５〜２０秒後)その動作の終了を指示する。また、制御部３５は利用者の操作に応答してデコーダ１４１，１４５を動作させ、画像と音声の再生を行なわしめる。更に、制御部３５は利用者の操作に応答して通信ＩＦ１３２を起動してコピー回数限定情報付きの映像・音声符号１０１を送信端末１１０に転送せしめる。
【００１４】
ここで、図８によって動画像情報作成装置での動作の流れの一例を説明する。これは後で述べる変形例の一部を含めた典型的な動作の流れの一つを示したものである。始めに利用者は送信端末に当たる携帯端末を通信ＩＦ１３２に接続する（２００１）。通信ＩＦ１３２はその携帯端末へ情報を転送できるかを確認する（２００２）。次にメモリ１３０に予め記憶された情報と制御部３５の制御によりコピー可能回数とそれに対応する金額とを表示する（２００３）。これは携帯端末の接続前から常時表示しておいても良い。利用者は所望のコピー回数を画面に触れることであるいはキーを押すことで選択する（２００４）。そして示された金額のお金を入金部３６に入れる（２００５）。すると、表示デバイスの画面は背景画像の選択画面に切り替わる。これを見て利用者は所望の背景を選択する（２００６）。選択された背景画像は表示デバイスの画面に表示される（２００７）。背景画像の表示は必ずしもなくとも良い。このときは直ぐに撮影のステップに入る。別な背景画像が良いと判断すればステップ２００６へ戻る。これで良いと利用者が判断すれば、撮影開始のボタンを押すなど撮影開始の指示をする。例えば、ここで利用者の姿とメッセージを記録する。このようにして撮影が開始される（２００９）。
【００１５】
一定の時間撮影がなされたら撮影を停止する（２０１０）。その後撮影した動画像を表示し、利用者が望むように撮影できたかどうかを判断させる。うまく行かなかったと判断されその旨が入力されるとステップ２００９に戻る。ＯＫの入力があると入金によって決まったコピー可能回数と符号化された動画像と音の情報が作成される（２０１３）。そして、これが通信ＩＦ１３２を通して携帯端末へ取り込まれる（２０１４）。
【００１６】
なお、ここでは触れなかったが背景となる音楽を撮影と同時に流しても良い。
【００１７】
図９は送信端末１１０の詳細図である。送信端末１１０では、動画像情報作成装置１００から伝送路１０１、通信ＩＦ１５０経由で受信した、コピー回数限定情報付き映像・音声符号を、メモリ１５に格納する。この処理の前あるいは後に、文字入力デバイス１１、編集部１３により、テキスト情報１４をメモリ１５に格納する。テキスト情報１４および映像・音声符号１０１を受信端末に対して送信する時には、まず、コピー回数制御部１５２がコピー回数限定情報付き映像・映像符号の中のコピー可能回数フィールドを読み出し、コピー可能回数を調べ、コピー可能回数が１以上である場合は、この値を１減じ、メモリ１５内のコピー可能回数フィールドへ書き戻す。さらに、コピー回数限定映像符号をメモリ１５内にコピーし、そのコピー可能回数フィールドを「コピー不可」を表す情報に設定した送信映像データを用意する。これらの作業が終了した後に、通信ＩＦ１７を介して、配信サーバに対し、宛先情報、テキストデータ、送信映像符号データ、音声符号データを送信する。
【００１８】
制御部３７は上記の処理において以下の制御を行なう。通信ＩＦ１５０に関してはデータの受信を確認し、メモリ１５への格納を指示する。コピー回数制御部１５２及び通信ＩＦ１７に関しては、コピー回数制御部１５２に残りのコピー可能回数を問い合わせ、残りのコピー可能回数を得る。そして、残りのコピー可能回数が０でないときは通信ＩＦに送信を許し、残りのコピー可能回数が０であれば通信ＩＦの通信を抑止する。
【００１９】
図１０は図７および図９における、コピー回数制御の例を説明する図である。一番上は図７の映像エンコーダ２３と音声エンコーダ３３から出力された符号をメモリ１３０に書き込んだ直後の符号の様子である。音声符号５３および映像符号５２は多重化され、音声・映像符号５００とされ、そのヘッダ部にコピー可能回数を示すフィールド５０１が用意される。この時点ではコピー可能回数は不定である。なお、不定とする代わりに予め定めておいた値を設定しても構わない。入金確認によりコピー回数が決定されると、音声・映像符号５００はメモリから読み出され、音声・映像符号５０１に示すように、コピー可能回数フィールドに入金額に応じた値（図１０の例では５回）が書き込まれ,再びメモリ１３０に書き戻される。コピー可能回数フィールドの値は、送信端末が該当するストリームをコピーして送信することのできる回数を示し、この値が０になると、同一端末上で再生はできるが、該当データを別の端末に送信することはできなくなる。この後、音声・映像符号５０１は送信端末１１０に転送され,メモリ１５に格納される。送信端末１１０から、受信端末５に音声・映像符号を送信するときは、メモリ１５に格納された音声・映像符号は音声・データ符号５０２に示すように、コピー可能回数５０７が４に減じられ、さらに、コピーされた音声・映像符号５０４のコピー可能回数５０８は０（コピー不可）にセットされる。このとき、コピー可能回数フィールドの値を実際にコピー可能な回数のフィールドと実際にコピー可能な回数から一意に求められる検証用のフィールド(例えば、パリティビット)にて構成し、これらを暗号化すると不正なコピー可能回数の改ざんがなされるのをより防止できる。即ち、検査者が該当フィールドを解読し、実際のコピー可能回数から求められる検証用値が検証用フィールドの値と一致していれば改ざんがなかったことが確かめられる。なお、検査者は送信端末内、受信端末内、配信サーバ内の何れに設置されていても構わない。
【００２０】
図１１は本発明の第2の実施例である。第1の実施例と異なる部分は、音声・映像符号は送信端末に伝送されるのではなく、信号線１０２を経由して配信サーバ１６０に転送され、配信サーバ１６３に接続された蓄積装置１２３に格納される点である。送信端末１６１は動画像情報作成装置１６０から音声・映像符号のIDのみを受け取る。送信端末１６１が受信端末５に対して、音声・映像符号を送信するときには、図１２に示すように、宛先５０、テキスト（メール）情報５１に、音声・映像符号ID１６５を付加して、配信サーバ１６３に送信する。配信サーバ１６３では音声・映像符号ID１６５に該当する音声・映像符号を蓄積装置１２３から検索して、宛先５０、テキスト情報５１に付して受信端末５に送信する。
【００２１】
図１３に動画像情報作成装置１６０の詳細図を示す。図のメモリ１３０より左側の部分、すなわち映像、音声のエンコード、デコードの部分は図７の動画像情報作成装置１００と同一である。生成された音声・映像符号はメモリ１３０に格納される。このとき、図１０に示したコピー可能回数フィールドは特になくても構わない。ID発行部１７０ではメモリに格納された音声・映像符号に対してユニークなID１７２を生成する。そして、課金制御部１３５では音声・映像符号を生成したユーザから入金部３６から徴収した、あるいは徴収が確実な料金の額に応じて、コピー可能回数１３６を設定し、通信IF１３２にて音声・映像符号ID１７２と多重して、音声・映像符号ID１０３として配信サーバに送信される。これと同時に音声・映像符号１３１もメモリから読み出され、音声・映像符号１０２として配信サーバに送信される。一方、音声・映像符号ID１７２とコピー可能回数１３６は通信IF１７３にて多重され、音声・映像符号ID１０１として、送信端末１６１に送信される。
【００２２】
図１４に動画像情報作成装置の装置側から見た動作例の概略のフローチャートを示す。初期状態では動画像情報作成装置はその表示デバイス１４３にデモ映像あるいはカメラ２１から取り込んだ画像の折り返し画像等を表示しておく（処理２３０）。この時点では、常時課金制御部１３５にてユーザから所定の料金が支払われたか否かを判定して(処理２３１)、所定の料金が支払われるのを待つ。所定の料金が支払われた後は、処理２３２に移り、カメラ２１にて被写体を撮影し映像・音声符号を生成する（処理２３３）。この後、ユーザに対して撮影した映像を実際に購入するか否かを確認する(処理２３４)。購入を確認した場合は処理２３５に移り、確認できない場合は、処理２３２へ戻り、再度撮影を実行する。処理２３５では、音声・映像符号ID１７２を生成、配信サーバ１６３と通信回線を設定し（処理２３６）、配信サーバ１６３に対し、上記で説明したように、音声・映像符号ID１７２、音声・映像符号１３１を送信し(処理２３７，２３８)、配信サーバ１６３との通信を切断する。次に通信端末１６１に対して、通信を開始し、音声・映像符号ID１７２及びコピー制限回数をマージした信号１０１を送信する。
【００２３】
図１５は配信サーバ１６３の詳細図である。配信サーバ１６３の動作は主に２つのフェーズに分かれる。第1のフェーズは動画像情報作成装置１６０との通信であり、第2のフェーズは送信端末１６１との通信である。１つの音声・映像符号に対する第1のフェーズは必ず第2のフェーズに先立ち実行され、また、第2のフェーズは複数回繰り返されることがある。
【００２４】
第1のフェーズでは通信IF２００を介して、動画像情報作成装置１６０から、音声・映像符号ID１０３と、音声・映像符号１０２とを受信する。受信した音声・映像符号ID１０３は音声・映像符号ID管理部２０５に転送される。音声・映像符号ID管理部２０５では、まず、受信した音声・映像符号IDからIDとコピー可能回数を抽出し、記憶装置２０６内の所定の箇所に格納する。これに付随して、音声・映像符号を蓄積装置１２３内にて格納する位置情報を生成して、記憶装置２０６内の該当IDに関連付けを行い格納する。音声・映像符号の格納位置情報は格納位置情報１２１として蓄積装置１２３に通知され、同時に、入力した音声・映像符号１０２が信号線２０１、セレクタ２０２を介して信号線１２２へ出力される。蓄積装置１２３では格納位置情報１２１の示す位置に、信号線１２２上の音声・映像符号が格納される。
【００２５】
第2のフェーズの説明に移る前に、記憶装置２０６に格納される、音声・映像符号IDの管理テーブルのデータ構造の例を図１６に示す。記憶装置２０６の内部は図１６のような表構造になっており、各音声・映像符号ID６００毎にコピー可能回数６０１、音声・映像符号保存位置６０２が記録されている。また、合わせて、IDの保存期限６０３を記録することにより、記憶装置２０６のデータ量が無限に増大することを防止できる。例えば符号ID０の場合は、行６０５に示すように、あと５回コピー可能で、データは１０００番地に格納されており、保存期限は00/06/20である。行６０８の符号IF３のようにコピー可能回数が０になると、音声・映像符号の送信ができなくなる。これは、音声・映像符号ＩＤ管理部２０５が記憶装置２０６内の管理テーブルのコピー可能回数を管理しており、１回転送すると、１減じると共に、０になればゲート２１５を制御して送信を禁止する。
【００２６】
配信サーバ１６３の動作説明に戻り、配信サーバ１６３の動作の第2のフェーズでは、送信端末１６１から通信IF２１０を介して、音声・映像符号ID２１１と、宛先、テキスト情報２１２が伝送される。音声・映像符号ID２１１はID管理部２０５に入力される。ID管理部２０５では記憶装置２０６に格納された情報から、IDが音声・映像符号ID２０５に一致するものを検索し、その音声・映像符号が格納されている位置情報を得る。そして、蓄積装置１２３に対して、格納位置情報１２１を出力し、蓄積装置１２３内の音声・映像符号を読み出す。読み出した音声・映像符号はセレクタ２０２を経由して、音声・映像符号２１３となり、通信IF２１４を経由して、テキスト情報２１２と共に受信端末５へと転送される。
【００２７】
図１７に送信端末１６１の詳細図を示す。送信端末１６１の動作は３つのフェーズに分けられる。第１のフェーズでは動画像情報作成装置１６０からの音声・映像符号ID１０２を受信し、メモリ１５に保存する。第２のフェーズでは文字入力デバイス１１、編集部１３により宛先およびテキスト情報並びに音声・映像符号ＩＤ付加の有無を示す情報を生成する第３のフェーズでは生成した宛先およびテキスト情報と、フェーズ１で受信し、メモリ１５に格納されている音声・映像符号IDが通信IF１７を介して、配信サーバ１６３に送信される。１つの音声・映像符号に対する第1のフェーズは必ず第2、第３のフェーズに先立ち実行され、第２のフェーズは第３のフェーズに先立ち実行され、また、第2のフェーズは複数回繰り返されることがある。
【００２８】
図１８は第図１３の動画像情報作成装置１６０の映像エンコード部分２００の変形例である。図１８ではカメラ２１で撮影した映像２２と、あらかじめ蓄積してある背景映像２２１の中からユーザが１つの背景映像２２２を選択し、これらを映像合成部２２３にて合成して新たな合成映像２２４を生成し、エンコードして、映像符号２４を生成する。合成の手法としては、例えば、カメラ２１を用いた被写体の撮影の背景に青色の壁等を設置し、合成部にて特定の色成分（この場合は青）の部分はカメラの撮影した映像２２ではなく背景映像２２２を用いる、クロマキーの技術を使用することができる。
【００２９】
図１９は、図１３の動画像情報作成装置の音声エンコード部２１０の変形例である。図１８の映像の場合と同様に、マイク３１より入力した音を、ユーザが背景音２３１の中から選択した背景音２３２と、音合成部２３３にて合成して、新たな音声２３４を生成し、エンコードして、音声符号３４を生成する。
【００３０】
図２０は図１３の動画像情報作成装置１６０の映像エンコード部分２００の第２の変形例である。図２０ではカメラ２１から入力した映像２２は、映像エンコーダ２４０にて、背景部分が除去され、被写体のみが、オブジェクト符号化される。オブジェクト符号化の例としてはMPEG-4のshape coding等を用いることができる。これに、背景映像を予め符号化して生成した、背景符号より、ユーザの選択した背景符号２４２を多重化部２４３にて多重することにより、背景映像と、被写体映像の２オブジェクトからなる映像符号２４が生成される。なお、この符号をデコードするためには図５の受信端末５の映像デコーダ７２はオブジェクト符号のデコード機能を兼ね備えている必要がある。
【００３１】
図２１は、背景映像と被写体映像との合成を配信サーバ３１０にて行う例である。図１１と異なる点は、背景映像選択信号３０４が追加された点と、配信サーバ３１０にて背景映像蓄積装置３１２が接続された点、配信サーバ３１０にて被写体画像（音声・映像符号１０２の映像符号）と背景映像符号３１３の合成（多重）が行なわれる点である。
【００３２】
図２２は、図２１の動画像情報作成装置３００の詳細図である。図１３の動画像情報作成装置１６０と異なる点は、ユーザが撮影時に背景映像選択部３０１にて、背景映像を選択（背景映像３０２）し、この選択信号を背景映像選択信号３０４として配信サーバに送信する点である。
【００３３】
図２３は、図２１の配信サーバ３１０の詳細図である。図１５の配信サーバ１２０と異なる点は、背景映像選択信号３０４を受信する機能が追加された点と、受信した背景映像選択信号３２１を用いて、背景読出制御３２２にて、該当する背景映像の位置情報３１１を生成し、背景映像蓄積装置３１２へ送信し、背景映像蓄積装置３１２の中の、該当する背景映像符号３１３を読み出す点と、読み出した背景映像符号を多重部３２３にて、被写体の映像符号１２３（蓄積装置１２３に格納してある）と多重化（合成）する点である。
【００３４】
図２４は第２の実施例のコピー可能回数を更新するコピー可能回数更新サーバ４００の例である。図ではコピー回数を更新するための２つの方法を示している。第1の方法は、送信端末１６１が伝送路２にて音声・映像符号IDと追加コピー可能数を伝送し、コピー可能回数更新サーバ４００内の課金処理部２１０で、該当する料金を徴収する場合である。第2の方法は、コピー可能回数追加端末（例えば、動画像作成装置内に設置）にコピー可能回数更新をアシストする機能を付加し、動画像作成装置にて該当料金を徴収し、コピー可能回数更新サーバ４００へは、伝送路１０３を介して、音声・映像符号IDと追加コピー数を送信する方法である。いずれの場合も、音声・映像符号IDと追加コピー数の情報はID管理４０３に入力され、ID管理４０３は第15図の表を格納している記憶装置２０６の該当音声・符号IDのコピー可能回数値を、指定された値だけ歩進させる。
【００３５】
図２５は図２４の第２の方法に用いる、コピー可能回数追加端末４５０の詳細図である。コピー可能回数追加端末４５０では、まず、送信端末１６１と伝送路１０１にて通信を行い、音声・映像符号ID４５２を得る。これにあわせて、課金処理部４５４が料金の徴収を行い、料金の情報がコピー回数追加部４５３へ通知される。コピー回数追加部４５３では料金に応じた、追加コピー回数４５６を設定し、この追加コピー回数４５６と音声・映像符号ID４５２が通信IF４５７、伝送路１０３を介してコピー可能回数更新サーバ４００へ通知される。
【００３６】
以下の変形例も、本発明に含まれる。
【００３７】
図１１あるいは図２１において、動画像情報作成装置１６０あるいは３００から、送信端末１６１へは音声・映像符号ＩＤ１０１のみが転送される例を説明したが、撮影した映像を確認する目的で音声・映像符号を転送しても構わない。この場合は通信端末１６１に転送した音声・映像符号は他の端末に伝送できないように、通常のファイルやテキスト情報とは別の転送不可を示す位置に配置され管理される。
【００３８】
本発明の実施例では、課金は動画像情報作成装置において、撮影毎に実行しているが、図１１あるいは図２１においては、課金要求情報を動画像情報作成装置から配信サーバに送信し、配信サーバにおいて、該当送信端末の通話料、データ通信料等に追加して課金を行い、課金が確認された時点で確認情報を動画像情報作成装置に返送し、動画像情報作成装置は以降、動画像情報作成装置において課金した場合と同様に処理を続けても構わない。
【００３９】
音声・映像符号の生成に対する料金はコピー回数に対応して設定する例を示したが、これに併せてあるいはこれに代わって、撮影の時間、入力する画面のサイズ、符号のデータ量の１つあるいはこれらの組み合わせに対応して設定してもよい。
【００４０】
各実施例では、受信端末は配信サーバから自動的にデータを送信されることを前提として説明をおこなったが、受信端末から配信サーバに対して接続を行い、受信端末宛のデータの有無を配信サーバに対して問い合わせ、該当データがあった場合に、データを受信端末内に伝送することも本発明に含まれる。
【００４１】
本発明の実施例のいずれの場合も、動画像情報作成装置と送信端末、配信サーバ間、送信端末と配信サーバ間、配信サーバと受信端末間は有線伝送でも、無線伝送でも構わない。また、回線交換でもパケット交換でも構わない。また、第１，３の実施例において、配信サーバと音声・映像合成サーバとの間は有線、無線いずれでも構わない。また、回線交換、パケット交換いずれでも構わない。配信サーバと音声・映像合成サーバは同一の装置であっても構わない。なお、動画像情報作成装置と送信端末間および画像入力端末と配信サーバ間を有線伝送にすることにより、比較的データの多い音声・映像符号を（無線に比べ）確実に、高速に、低コストで伝送することができる。図１１、図２１の例では動画像情報作成装置と送信端末間は音声・映像符号を伝送しないため、必ずしも有線伝送を行う必然性は少ないが、有線にて通信を行うと、商品（符号データ）を確実に伝送できることにより、ユーザに対して安心感を与える効果がある。また、動画像情報作成装置と送信端末の間のデータのやりとりは通信回線を使用しなくても構わない。例えば、脱着可能な記憶デバイス、具体的にはフラッシュメモリ、フラッシュメモリカード等の不揮発メモリや、フロッピーディスク、MD,CD-R,DVD RAM等を用いて、データの授受を行っても構わない。
【００４２】
実施例の説明では音声・映像符号とメールデータは送信あるいは受信端末にて同一メモリ上に格納されるように説明したが、音声・映像符号はメールデータに比べてデータ量が多いため、端末の外部記憶装置（例えば、着脱可能なフラッシュメモリ、ＨＤ、ＦＤ等）に格納しても構わない。
【００４３】
送信端末と受信端末はそれらの機能を分けて説明を行ったが、図２６に示すように、双方の機能を兼ね備える送信端末でも構わない。この場合、メモリ１５は兼用することが可能である。さらに、図２６の編集機能１３、映像デコーダ７２、音声デコーダ７６をソフトウェアで実現した例が図２７の送受信端末１０１０である。上記のソフトウェア処理はCPU１０１１で実行され、表示画像あるいは表示文字は表示用メモリ１０１３を介して、音声あるいはオーディオはオーディオ出力１０１４を介して、それぞれ出力される。なお、表示メモリ・制御部１０１３のメモリはメインメモリ１０１２と兼用することも可能である。図２７では、通信IF１７は通信IF１７と通信IF６０を併合して１つのブロックとしている。図２７の送受信端末１０１０の具体例としては、携帯電話などが上げられる。
【００４４】
図２６の別の変形例が図２８の送受信端末１０２０である。送受信端末１０２０は文字入力デバイス１１（例えばキーボード、マウス）、表示デバイス６６（例えばモニタ）、スピーカ７８が端末外部に接続され、さらに、外部記憶装置１０２２および、これを制御する外部記憶IF１０２１が増設されている。外部記憶装置１０２２はハードディスクあるいはフラッシュメモリ等で構成され、編集機能１３、映像デコーダ７２、音声デコーダ７６のソフトウェアや、通信制御、コピー回数制御のソフトウェアを格納することもできる。外部記憶装置１０２２は先に説明した脱着可能な記憶デバイスと兼用でも構わないし、さらに送受信端末１０２０に別の外部記憶IFを設置して脱着可能なデバイスと、固定（ハードディスク等の通常活線挿抜しない）デバイスを双方設置しても構わない。図２８の通信端末１０２０の具体例としてはパーソナルコンピュータ、ハンドヘルドコンピュータ、電子手帳、携帯情報端末等が上げられる。
【００４５】
本発明の実施例のいずれの場合も、信号線１０１を用いる通信IF（例えば通信IF１５０）と信号線２あるいは信号線４あるいは双方を用いる通信IF（例えば通信IF１７）は、同一の伝送方式を用いることによって共通化を図ることができる。
【００４６】
図１５の配信サーバはデータの通信処理部５５０と音声・映像符号管理部５５１の２つの部分にわけることができる。これら２つの部分は物理的に異なる場所に設置しても構わない。また、通信処理部と音声・映像符号処理部は独立して設置することも可能である。即ち、音声・映像符号ＩＤに、符号ＩＤだけでなく符号処理部の位置情報(例えばＵＲＬ)を格納し、通信処理部はこの音声・映像符号ＩＤをメールの一部として受信者に転送する。受信者は音声・映像符号ＩＤの内容を解読して、改めて、符号処理部にアクセスし、所定の符号を入手する。また、この他にも蓄積装置１２３、背景映像蓄積装置３１２もそれぞれ物理的に異なる場所に設置しても構わない。これらの間のデータの通信は有線、無線いずれでも構わないし、回線交換、パケット交換いずれでもかまわない。
【００４７】
音声・映像符号ＩＤは動画像情報作成装置から配信サーバあるいは送信端末、送信端末から配信サーバへ伝送される間、暗号化されていると、音声・映像符号ＩＤを第３者が不正に使用することを防止する効果がある。なお、動画像情報作成装置から送信端末間は有線による１対１の通信であればデータの暗号化の必要性はなくなる。送信端末から配信サーバに音声・映像符号ＩＤを送信する時は、音声・映像符号ＩＤに併せて送信端末を一意的に識別できる情報を付加するか、送信端末のみが知りうる暗号鍵を用いてＩＤを暗号化することにより、不正防止に効果がある。
【００４８】
本発明の実施例のいずれの場合も、ハード、ソフトあるいはハード・ソフト混在のいずれの手法によって実現しても構わない。ソフトで実現する場合、例えば、送信端末１１０内において、コピー回数を制御する部分のプログラムは、予め端末内に格納しておくことを想定している。ただし、このソフトウェアを画像入力端末１００からダウンロード、あるいは配信サーバ１２０よりダウンロード、あるいは別の通信可能なサーバからダウンロードすることも可能である。本発明の実施例のいずれの場合も、受信端末５においては、受信した音声・映像符号をコピー、すなわち、別の端末に転送することは行わない前提で説明した。これを実現するためには、以下の２つのいずれかの制御機能が必要となる。
【００４９】
第１の制御機能例は、受信した音声・映像符号を他者に対して送信できない機能を実装する例である。第１の制御機能例を実現するには、受信した音声・映像符号を格納する際、特別なフラグを立てる、あるいは特別な領域に保存する等の処理をすることにより、他の送信可能なファイル、データと区別する必要がある。
【００５０】
第２の制御機能例は、受信端末に送信端末と同様のコピー可能回数制御を実装する例である。図１０の例では、符号５０３に示すように、受信した音声・映像符号のコピー可能回数は０としてあるため、送信端末と同様のコピー可能回数制御を実装しておけば、特別な処理を行わないでも受信符号はコピー不可の状態となる。さらに、第２の制御機能を実装した場合、送信者が受信者に対してコピー回数を指定する機能を実現できる。すなわち、送信端末が音声・映像符号を送信する際に、コピー可能回数のフィールドに１以上の値（例えば２）を書き込んで送信した場合には、受信者はその値（例えば２回）まで、受信符号を転送することが可能となる。この場合、送信端末側の伝送後のコピー可能回数は、伝送前の値から、コピー可能回数のフィールドに記入した値プラス１の値を減じた値になる（上記の例では伝送前の値から３を減じる）。
【００５１】
図２５のコピー回数追加端末４５０は、音声・映像符号が受信されたもの、すなわち、動画像情報作成装置に接続し、音声・映像符号あるいは音声・映像符号IDを受信した端末（オリジナル端末）と異なる端末からコピー回数追加の要求を受けた場合は、この要求を拒否することができる。このためには、端末がコピー回数追加端末の接続時に、端末固有のIDを送信し、かつ音声・映像符号にオリジナル端末のIDを埋め込み、コピー回数追加端末４５０にて接続端末のIDと音声・映像符号内の端末IDとを比較し、同一であることを確認した後に、コピー回数追加処理を行えば実現できる。
【００５２】
音声・映像符号のコピー可能回数フィールドに、予め定めた値を書き込むことにより、任意回数コピー可能である旨を示すことができる。例えば、予め定めた値としては、−１あるいは、フィールドで表現できる最大値などがあげられる。
【００５３】
本発明の実施例で通信端末は、音声・映像符号を、テキスト情報に付加して伝送することを前提として説明を行ったが、テキスト情報は必ずしも必要ではない、すなわち、送信先の宛先情報と音声・映像符号（あるいは符号ＩＤ）のみを送信して構わない。また、音声の代わりに、より周波数帯域の広い音楽信号（オーディオ信号）を入力・符号化・伝送することも可能である。また、映像の代わりに静止画を使用する場合も本発明に包含される。また、この他にも、静止画、映像、音声、オーディオの組み合わせ含むテキスト情報を使用する場合も本発明に含まれる。この場合、コピー可能回数はテキスト情報のコピー可能回数を示すことになり、テキスト情報内の所定のフィールドに記入される。
【００５４】
コピー可能回数の情報は映像、静止画、音声、オーディオ、テキストのそれぞれのメディアに対して、それぞれ独立に設定しても構わない。この場合、これらメディアを統合して転送（コピー）する場合には、それぞれのコピー可能回数の最小値を確認して、コピー可能か否かを確認する必要がある。さらに、転送後は全てのメディアのコピー可能回数を１減じる必要がある。
【００５５】
本発明では料金が支払われたことを条件として撮像機を動作させ、支払われた料金に応じたコピー可能回数をこの撮像機で写した画像情報に付加することとして説明した。しかし、料金に代わるもので撮像機を動作させても構わない。例えば、ユーザへの広告の提示を条件としても構わない。この場合、提示した広告の本数、長さ、内容に応じたコピー可能回数を画像情報に付加することが考えられる。その他、ユーザにゲームをさせ、そのゲームの結果に応じて撮像機を動作させることも考えられる。この場合、ゲームの得点に応じたコピー可能回数を画像情報に付加することが考えられる。
【００５６】
本発明の実施例のいずれの場合も「コピー」という言葉を、別の端末へ通信手段を用いて送信（転送）することと定義して説明を行ったが、同一端末内部でのデータの複写処理を含めても構わない。すなわち、例えば、図２８において、動画像情報作成装置から通信IF150経由で入力しメモリ１０１２に格納した音声・映像符号を外部記憶１０２２に書き込む操作を「コピー」と定義した場合も本発明に包含される。この場合の具体例は、入力した符号のコピー可能回数が５回で、外部記憶１０２２に１回複写を行うと、複写時に、外部記憶１０２２へ書き込む符号のコピー可能回数は０とし、同時にメモリ１０１２上の符号のコピー可能回数を４に設定する例である。
【００５７】
【発明の効果】
このように，画像入力機能を送信端末から分離することにより、送信端末の処理量を低減し、端末の小型化、端末電池の長寿命化を実現できるようになる他、背景合成などの高機能なサービスも容易に提供できるようになる。
【図面の簡単な説明】
【図１】従来のマルチメディアデータ通信の構成図。
【図２】図１の送信端末の構成図。
【図３】図１の送信データの模式図。
【図４】図１の配信サーバの構成図。
【図５】図１の受信端末の構成図。
【図６】本発明によるマルチメディアデータ通信の構成図。
【図７】図６の画像入力端末の構成図。
【図８】動画像情報作成装置での動作の流れを示す図。
【図９】図６の送信端末の構成図。
【図１０】音声・映像符号データの模式図。
【図１１】本発明のマルチメディアデータ通信の第2の実施例を示す図。
【図１２】図１１の送信端末の出力符号の模式図。
【図１３】図１１の画像入力端末の構成図。
【図１４】図１１の画像入力端末の処理のフローチャート。
【図１５】図１１の配信サーバの構成図。
【図１６】図１５の記憶装置内のデータ構造の例を示す図。
【図１７】図１１の送信端末の構成図。
【図１８】画像入力端末における背景合成の構成図。
【図１９】画像入力端末における音声合成の構成図。
【図２０】画像入力端末における背景合成の変形例の構成図。
【図２１】配信サーバにおける映像合成の構成図。
【図２２】図２１の画像入力端末の構成図。
【図２３】図２１の映像合成機能を有する配信サーバの構成図。
【図２４】コピー可能回数更新サーバの構成図。
【図２５】コピー可能回数追加端末の構成図。
【図２６】図９の送信端末と図５の受信端末の機能を兼ね備える端末を示す図。
【図２７】図２６の送受信端末の第１の変形例を示す図。
【図２８】図２６の送受信端末の第２の変形例を示す図。
【符号の説明】
１は送信端末，３は配信サーバ，５は受信端末，１００は動画像情報作成装置、１０１は音声・映像符号、１１０は送信端末、１０１は音声・映像符号ID,１０２は音声・映像符号、１２３は音声・映像蓄積装置，２０６は音声・映像符号IDの管理テーブル、３１０は映像合成機能を有する配信サーバ、４００はコピー可能回数更新サーバ、４５０はコピー可能回数追加端末である。
【図１】
0003967871.tif 000002
【図２】
0003967871.tif 000003
【図３】
0003967871.tif 000004
【図４】
0003967871.tif 000005
【図５】
0003967871.tif 000006
【図６】
0003967871.tif 000007
【図７】
0003967871.tif 000008
【図８】
0003967871.tif 000009
【図９】
0003967871.tif 000010
【図１０】
0003967871.tif 000011
【図１１】
0003967871.tif 000012
【図１２】
0003967871.tif 000013
【図１３】
0003967871.tif 000014
【図１４】
0003967871.tif 000015
【図１５】
0003967871.tif 000016
【図１６】
0003967871.tif 000017
【図１７】
0003967871.tif 000018
【図１８】
0003967871.tif 000019
【図１９】
0003967871.tif 000020
【図２０】
0003967871.tif 000021
【図２１】
0003967871.tif 000022
【図２２】
0003967871.tif 000023
【図２３】
0003967871.tif 000024
【図２４】
0003967871.tif 000025
【図２５】
0003967871.tif 000026
【図２６】
0003967871.tif 000027
【図２７】
0003967871.tif 000028
【図２８】
0003967871.tif 000029