(57)【要約】【課題】映像等のデータを符号化して送受信する通信機器において、符号化処理の量を低減することにより、装置の小型化、及び消費電力、処理性能のオーバーヘッドを低減する。【解決手段】符号化データを受信する受信部１０５と、受信された符号化データの蓄積開始を指示する蓄積制御部５と、蓄積開始が指示された時点に受信された符号化データを復号化してローカルデコードデータを生成するビデオ復号化部３と、ローカルデコードデータを符号化するフレーム内符号化処理部５ａと、フレーム内符号化処理部５ａにより符号化されたローカルデコードデータに、蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積するデータ蓄積部６とから構成される。【選択図】      図１
2004229121.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを受信する受信手段と、
受信された符号化データの蓄積開始を指示する蓄積制御部と、
受信された符号化データを復号化してローカルデコードデータを生成する復号化部と、
蓄積が開始された時点に生成された前記ローカルデコードデータを符号化する符号化部と、
前記符号化部により符号化された前記ローカルデコードデータに、蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積するデータ蓄積部と
から構成されることを特徴とする符号化データ蓄積システム。
【請求項２】
蓄積開始の指示がある以前に受信されたデータを保持するメモリ部を備え、
前記メモリ部に保持されたデータは、当該受信に係る一連の符号化データの先頭データと、該先頭データに後続する差分データとから生成されたものであり、
前記復号部は、メモリ部に保持されたデータと、蓄積が開始された時点に受信された符号化データとに基づいて復号化を行い、前記ローカルデコードデータを生成することを特徴とする請求項１に記載の符号化データ蓄積システム。
【請求項３】
前記データ蓄積部は、前記ローカルデコードデータの後方に、当該ローカルデコードデータの生成に用いられた符号化データを付加し、これに前記蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積することを特徴とする請求項１又は２に記載の符号化データ蓄積システム。
【請求項４】
前記符号化部により符号化されたデータを送信する送信部を有することを特徴とする請求項１乃至３に記載の符号化データ蓄積システム。
【請求項５】
前記蓄積開始の指示に応じて、前記ローカルデコードデータを保持する退避メモリ部を備え、前記符号化部は、前記退避メモリ部に保持されたローカルデコードデータを符号化することを特徴とする請求項１乃至４に記載の符号化データ蓄積システム。
【請求項６】
符号化データを受信するステップ（１）と、
受信された符号化データを復号化してローカルデコードデータを生成するステップ（２）と、
蓄積が開始された時点に生成された前記ローカルデコードデータを符号化するステップ（３）と、
前記ステップ（３）により符号化された前記ローカルデコードデータに、蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積するステップ（４）と
から構成されることを特徴とする符号化データ蓄積方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルテレビ電話の通信機器における符号化データ蓄積システム及び符号化データ蓄積方法に関する。
【０００２】
【従来の技術】
従来、テレビ電話等、映像の送受信が可能な通信機器では、送受信に係る映像を録画する機能が備えられている（例えば、特許文献１）。図７は、特許文献１で示された従来の録画可能なテレビ電話の構成を示すブロック図である。
【０００３】
同図においてテレビ電話は、映像符号化回路６８と、映像復号化回路６９と、カメラ６０と、Ａ／Ｄ変換回路６１と、フォーマット変換回路６２と、多重分離回路６３と、逆フォーマット変換回路６４と、画像蓄積回路６５と、Ｄ／Ａ変換回路６６と、モニタ６７とを備えている。
【０００４】
このような構成の従来のテレビ電話では、カメラ６０で撮像されたアナログデータは、Ａ／Ｄ変換回路６１によりデジタル化され、フォーマット変換回路６２により所定の画像サイズ等にフオーマット変換され、ビデオ入力データ１０１として映像符号化回路６８に入力され、この映像符号化回路６８において送信ビデオ符号化データ１０２に符号化され、音声データとともに多重分離回路６３で、相手端末に送られる。
【０００５】
一方、相手端末から送られてきた受信符号化データは、多重分離回路６３で分離され、受信ビデオ符号化データ１０３として映像復号化回路６９に入力され、ビデオ出力データ８１に復号化され、逆フォーマット変換回路６４により映像が所定の画像サイズに逆変換された後、Ｄ／Ａ変換回路６６によりアナログ化されてモニタ６７に表示される。
【０００６】
一般的に、符号化データは、フレーム間符号化されており、任意のタイミングで録画したい場合、相手からの符号化データをそのまま記録すると、フレーム間符号化データのみが蓄積されることになる。映像は、フレーム内符号化から始まる符号化データでないと映像が適正に表示されないことから、図８に示すように、先頭データが存在しないフレーム間符号化のみの符号化データを復号化・表示した場合、フレーム間の差分映像しか表示されない。
【０００７】
そのため、相手端末からの画像をテレビ電話側で蓄積したい場合は、符号化データを映像復号化回路６９で復号し、これを逆フォーマット変換回路６４において変換した出力デジタル画像を、画像蓄積回路６５に蓄積している。
【０００８】
【特許文献１】
特開平６−１５３１８７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来のように、復号化したデジタル画像を蓄積すると、画像容量が増大するという問題がある。例えば、６４ｋｂｐｓ、画像サイズが１７６＊１４４画素、１０フレーム／ｓで圧縮されてきたデータを１分蓄積する場合、受信した符号化データを蓄積すれば、４８０ｋＢで蓄積可能であるが、復号化したデジタル画像を蓄積する場合、１７６＊１４４＊１．５（輝度信号と色差信号）＊１０ｆｒ／ｓ＊６０＝２２．８ＭＢとなる。このため、大容量の蓄積手段及び処理能力の高い演算装置を備える必要が生じ、特に携帯電話などの小型、軽量化、小電力化の障害となっている。
【００１０】
そこで、本発明は、上記のような課題を解決するためになされたもので、映像等のデータを符号化して送受信する通信機器において、符号化処理の量を低減することにより、装置の小型化、及び消費電力、処理性能のオーバーヘッドを低減することのできる符号化データ蓄積システム及び符号化データ蓄積方法を提供することをその目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明は、符号化データを受信し、受信された符号化データを復号化してローカルデコードデータを生成し、蓄積が開始された時点に生成されたローカルデコードデータを符号化し、この符号化されたローカルデコードデータに、蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積する。
【００１２】
この発明によれば、符号化されたデータの受信中にデータの記録指示があった場合、受信された符号化データを復号してローカルデコード画像を生成し、このローカルデコードデータのうち、蓄積開始時に生成されたローカルデコードデータからフレーム内符号化データを作成し、これを先頭データとして、記録開始時以降に相手端末からの送信されてくる符号化データに付加することにより、フレーム内符号化から始まるストリームを作成し蓄積することができる。これにより、符号化されたデータを蓄積することができ、蓄積容量を縮小することができるとともに、蓄積時には、受信開始時の符号化データのみを復号化及び符号化すればよいため、処理負荷の軽減を図ることができる。
【００１３】
この結果、本発明によれば、任意のタイミングで相手からのフレーム間されてきた符号化データを、フレーム内符号化データから始まるデータに変換し蓄積することが可能となり、途中録音可能なテレビ電話を実現する際、録音機能をつけることによる消費電力、処理性能のオーバーヘッドを低減することができる。
【００１４】
上記発明においては、蓄積開始の指示がある以前の受信に係る一連の符号化データの先頭データと、先頭データに後続する差分データとから生成されたデータを保持し、この保持されたデータと、蓄積が開始された時点に受信された蓄積開始時符号化データとに基づいて復号化を行い、ローカルデコードデータを生成することが好ましい。
【００１５】
この場合には、随時、先頭データと差分データとから最新のデータを保持することができるため、受信開始時が先頭データ受信時から経過していても、最新のデータを用いてローカルデコードデータを生成することができ、記録画像の劣化を回避することができる。
【００１６】
上記発明においては、ローカルデコードデータを符号化したデータの後方に、当該ローカルデコードデータの生成に用いられた符号化データを付加し、これに蓄積開始が指示された時点以降に受信された符号化データを結合して蓄積することが好ましい。この場合には、ローカルデコードデータを生成する際に、受信開始時におけるフレームについてのフレーム内符号化と併せて、受信開始時符号化データとローカルデコードデータを符号化した符号化データとの間でフレーム間符号化処理を行えるため、画像の劣化をより確実に回避することができる。
【００１７】
上記発明においては、符号化部により符号化されたデータを送信することが好ましい。この場合には、送信用の符号化処理手段と、蓄積用の符号化処理手段とを共用することができるため、装置の小型化、軽量化、消費電力の低減を実現することができる。
【００１８】
上記発明においては、蓄積開始の指示に応じて、ローカルデコードデータを一時的に保持しておき、この一時的に保持されたローカルデコードデータを符号化することが好ましい。この場合には、例えば、送信用の符号化処理手段を蓄積用の符号化処理手段とを共用する場合であっても、送信の最中に受信した符号化データを退避メモリ等に退避しておくことにより、送信最中に受信したデータを記録することが可能となる。
【００１９】
【発明の実施の形態】
［第１実施形態］
（符号化データ蓄積システムの構成）
以下に、本発明の実施形態に係る符号化データ蓄積システムについて詳細に説明する。図１（ａ）及び（ｂ）は、第１実施形態に係る符号化データ蓄積システムの内部構造を示すブロック図である。
【００２０】
同図に示すように、本実施形態に係る符号化データ蓄積システムは、テレビ電話や携帯端末など、映像の送受信を行う機能を有する通信端末に適用されるものであり、本実施形態では、図１（ａ）に示すように、通信端末１０内に備えられた、符号化復号化処理部１００や、データ蓄積部６、液晶モニタなどの表示部１０６、データの送受信を行うアンテナ制御部１０７、通信端末１０に内蔵されたＣＣＤなどの内部撮像部１０８、ビデオカメラ２０等の外部機器を接続する外部機器インターフェース（Ｉ／Ｆ）１０９、操作部１１０等を備えている。そして、符号化復号化処理部１００は、図１（ｂ）に示すように、内蔵撮像部１０８やビデオカメラ２０等で撮像されたビデオ入力データ１０１やデータ蓄積部６に蓄積されたデータを相手端末へビデオ符号化データとして、アンテナ制御部１０７を通じて送信する機能と、相手端末から受信されたビデオ符号化データを表示・蓄積する機能とを備えている。
【００２１】
具体的に、符号化復号化処理部１００における、相手端末へビデオ符号化データを送信する機能としては、ビデオ符号化部１と、符号化フレームメモリ２と、送信部１０４とを有している。また、相手端末から受信したビデオ符号化データを表示・蓄積する機能としては、受信部１０５と、表示部１０６と、ビデオ復号化部３と、復号化フレームメモリ４と、蓄積制御部５と、データ蓄積部６とを有している。そして、本実施形態では、受信したビデオ符号化データ１０３をデータ蓄積部６に蓄積する際、蓄積制御部５を使用する。
【００２２】
ビデオ符号化部１は、ビデオカメラ２０やビデオレコーダ等の外部機器や内部撮像部１０８などの撮像装置から入力されたビデオ入力データ１０１を符号化して送信部１０４に出力し、送信部１０４を通じて相手端末にデータを送信するモジュールである。符号化フレームメモリ２は、ビデオ符号化部１が使用するローカルデコード画像を蓄積制御部５を介してデータ蓄積部６から取得し、保持する記憶装置である。
【００２３】
ビデオ復号化部３は、相手端末から受信されたビデオ符号化データをリアルタイムで復号するモジュールであり、復号されたデータは、表示部１０６に出力される。また、このビデオ復号化部３は、操作部１２０によるユーザー操作に基づく蓄積制御信号１２０に応じて、相手端末からのビデオ符号化データの一部（途中録画が開始された時点（Ｋ）の符号化データ）を復号してローカルデコード画像として復号化フレームメモリ４に蓄積するとともに、（Ｋ＋１）以降の符号化データを復号することなく、そのまま蓄積制御部５に入力する。
【００２４】
復号化フレームメモリ４は、ビデオ復号化部３から出力されたデータを順次蓄積する記憶手段であり、復号されたローカルデコード画像Ａ３を記憶するとともに、復号されていないそのままの符号化データも記憶する。
【００２５】
データ蓄積部６は、相手端末から受信されたビデオデータや、相手端末へ送信するためのビデオ符号化データを蓄積する記憶装置であり、その動作は蓄積制御部５により制御される。
【００２６】
蓄積制御部５は、操作部１２０によるユーザー操作に基づく蓄積制御信号１２０に従って、データ蓄積部６に蓄積に蓄積されたデータの読み出し、書き込みを行うモジュールであり、ＣＰＵ等の演算装置により実現される。この蓄積制御部５は、復号化フレームメモリ４を介して、ビデオ復号化部３が復号したローカルデコード画像Ａ３をフレーム内符号化を行うフレーム内符号化処理部５ａを備えている。また、この蓄積制御部５は、路カールでコード画像を符号化したデータに、復号されていないデータを結合してデータ蓄積部６に蓄積する。
【００２７】
（符号化データ蓄積システムの動作）
以上説明した構成を有する符号化データ蓄積システムは、以下のように動作する。図２は、処理動作の概要を示す説明図である。なお、ここでは、先頭表示フレームから第Ｋ番目（Ｋ＝２）に相当するフレームのローカルデコード画像Ａ３に対してフレーム内符号化を行う場合を例に説明する。
【００２８】
（１）映像の送信
外部機器インターフェース１０９を通じて、又は自端末の内蔵撮像部１０８などから入力されたビデオ入力データ１０１は、ビデオ符号化部１において、符号化データ１０２に映像符号化され、送信部１０４からアンテナ制御部１０９を通じて、相手端末へ送信される。
【００２９】
（２）受信映像の表示・蓄積
一方、相手端末から受信されたビデオ符号化データ１０３は、ビデオ復号化部３において復号化処理され順次表示される。このときビデオ復号化部３では、先頭符号化データＩと、この先頭符号化データＩ以降に受信された最新の差分符号化データＰとにより随時ローカルデコード画像が復号化フレームメモリ４に記録されている。
【００３０】
蓄積制御部５は、外部から蓄積指示を蓄積制御信号１２０から受けた場合、復号化フレームメモリ４及びビデオ復号化部３に対して、記録開始を指示する。ここでは、Ｐ３が受信された時点で記録開始が指示され、その時点の符号化データＰ３がローカルデコード画像Ａ３として復号化フレームメモリ４に格納されている。
【００３１】
蓄積制御部５は、フレーム内符号化処理部５ａにより復号化フレームメモリ４のローカルデコード画像（図２におけるＡ３）をデータＩ’に対してフレーム内符号化処理を行い、引き続き相手端末から受信した後続するデータ（図２におけるＰ４以降の符号化データ）をフレーム内符号化したデータＩ’の後にそのまま付加して、蓄積停止指示を受けるまで、データ蓄積部６に蓄積する（図２における蓄積データ１３２）。
【００３２】
この結果、蓄積データ１３２は、必ずフレーム内符号化データＩ’から始まるデータとして蓄積されるため、ユーザがデータの途中から記録を実行した場合であっても、先頭からの画像データＢ３〜Ｂｎが表示可能となる。
【００３３】
（変更例）
以上説明した構成を有する符号化データ蓄積システム及び方法は、以下のような変更を加えることができる。図３は、変更例に係る符号化データ蓄積システムの処理動作の概要を示す説明図である。
【００３４】
本変更例では、蓄積制御部３０において、ローカルデコードデータから生成された符号化データＩ’に、ローカルデコードデータの生成に用いられた符号化データＰ３を結合し、その後方に受信された符号化データＰ４以降を結合して蓄積することを特徴とする。
【００３５】
このように、ローカルデコードデータのフレーム内符号化だけでなく、その後に、符号化データＩとＰ３間で、フレーム間符号化を行うことにより、Σ｜Ａ３−Ｂ３｜＞Σ｜Ａ３−Ｂ３‘｜とすることができ、フレーム内符号化による表示画像に生じる劣化を少なくすることができる。
【００３６】
詳述すると、蓄積された符号化データを復号した場合、Ａ３のデータとＢ３のデータが異なるときには、Ｂ３，Ｂ４…の画像は、Ａ３をフレーム内符号化することにより歪みが生じるため、その結果、Σ｜Ａ３−Ｂ３｜はゼロでなくなり、後続の表示画像に歪みが生じる。本変更例によれば、フレーム内符号化に引き続きフレーム間符号化を行うことによって、復号化フレームメモリ４のデータを符号化した際の歪みを極力少なくすることができ、表示画像の劣化を回避することができる。
【００３７】
［第２実施形態］
次に、第２実施形態に係る符号化データ蓄積システムについて詳細に説明する。図４は、第２実施形態に係る符号化データ蓄積システムの内部構造を示すブロック図である。本実施形態では、上述した第１実施形態における符号化復号化処理部１００に代えて符号化復号化処理部１００’を備えており、この符号化復号化処理部１００’は、上述した第１実施形態の構成に加えて、退避メモリ１１を備えたことを特徴とする。
【００３８】
すなわち、図４に示すように、蓄積制御部３０に退避メモリ１１が接続されており、蓄積制御部３０からの一時蓄積データを蓄積する。また、本実施形態において、蓄積制御部３０は、符号化フレームメモリ２に接続されており、前述した第１実施形態におけるフレーム内符号化処理部５ａに代えて、フレーム内符号化処理をビデオ符号化部１に実行させる機能を備えている。
【００３９】
以上説明した構成を有する符号化データ蓄積システムは、以下のように動作する。図５は、処理動作の概要を示す説明図である。
【００４０】
（１）映像の送信
自端末のカメラやビデオレコーダなどから入力されたビデオ入力データ１０１は、ビデオ符号化部１において、符号化データ１０２に映像符号化され、相手端末へ送信される。
【００４１】
（２）受信映像の表示・蓄積
相手端末から受信されたビデオ符号化データ１０３は、ビデオ復号化部３において復号化処理され表示部において表示される。このときビデオ復号化部３では、先頭データＩと、この先頭データＩ以降に受信された最新の差分データＰとにより随時ローカルデコード画像が復号化フレームメモリ４に記録されている。
【００４２】
蓄積制御部３０は、外部から蓄積制御信号１２０を受けた場合、蓄積開始時に受信された復号化フレームメモリ４のデータ（Ａ３）を一旦、符号化又は復号化では使用されない記憶領域である退避メモリ１１に退避すると同時に、引き続き受信した符号化データＰ３を、蓄積停止指示である蓄積制御信号１２０を受けるまで一時蓄積データ２０１としてデータ蓄積部６へ一時蓄積する。
【００４３】
蓄積停止指示があった時点、又は相手端末にデータを送信するための符号化部の動作が停止した時点で、退避メモリ１１のデータは、符号化フレームメモリ２を通じてビデオ符号化部１に送出され、ビデオ符号化部１においてフレーム内符号化を行い、ビデオ符号化部１の出力データである符号化データ１０２を、データ蓄積部６などに一旦蓄積していた一時蓄積データ２０１の先頭に挿入し、退避蓄積データ２０２を生成し、再度、最終蓄積データ２０３としてデータ蓄積部６に格納する。
【００４４】
蓄積された最終蓄積データ２０３は、ユーザが読み出したい場合、フレーム内符号化データから開始される符号化データで蓄積されているので、先頭から表示可能となる。また、特に、本実施形態では、符号化処理を、データ送信時に用いられる符号化処理手段であるビデオ符号化部１を、受信データの蓄積のための符号化処理手段に用いることができるため、データ蓄積のための特別な符号化処理手段を省略することが可能となり、装置の小型化を実現することができる。
【００４５】
（変更例）
上記第１実施形態と同様に、この第２実施形態においても、上記同様の変更を加えることができる。図６は、第２実施形態の変更例を示す説明図である。
【００４６】
本変更例では、ビデオ復号化部３で復号されたローカルデコードデータＡ３を退避メモリ１１に保持するとともに、符号化データＰ３をデータ蓄積部６にそのまま一時蓄積しておく。
【００４７】
そして、蓄積停止指示があった時点、又は相手端末にデータを送信するための符号化部の動作が停止した時点で、退避メモリ１１のデータＡ３は、符号化フレームメモリ２を通じてビデオ符号化部１に送出され、ビデオ符号化部１においてフレーム内符号化されて符号化データＩ’として退避メモリ１１に戻される。退避メモリ１１では、
行い、ビデオ符号化部１から入力された符号化データＩ’に、ローカルデコードデータの生成に用いられた符号化データＰ３を結合し、その後方に受信された符号化データＰ４以降を結合して蓄積する。
【００４８】
このように、ローカルデコードデータＡ３のフレーム内符号化だけでなく、その後に、符号化データＩ’とＰ３との間で、フレーム間符号化を行うことにより、Σ｜Ａ３−Ｂ３｜＞Σ｜Ａ３−Ｂ３‘｜とすることができ、フレーム内符号化による表示画像に生じる劣化を少なくすることができる。
【００４９】
【発明の効果】
以上説明したように、本発明の符号化データ蓄積システム及び符号化データ蓄積方法によれば、先頭データが存在しない符号化データを受信最中に途中記録するような場合であっても、画質が劣化することなく蓄積することができるとともに、蓄積データの容量を低減することができる。この結果、本発明によれば、映像等のデータを符号化して送受信する通信機器において、符号化処理の量を低減することにより、装置の小型化、及び消費電力、処理性能のオーバーヘッドを低減することができる。
【図面の簡単な説明】
【図１】第１実施形態に係る符号化データ蓄積システムの内部構成を示すブロック図である。
【図２】第１実施形態に係る符号化データ蓄積システムの動作処理を示す説明図である。
【図３】第１実施形態の変更例に係る符号化データ蓄積システムの動作処理を示す説明図である。
【図４】第２実施形態に係る符号化データ蓄積システムの内部構成を示すブロック図である。
【図５】第２実施形態に係る符号化データ蓄積システムの動作処理を示す説明図である。
【図６】第２実施形態の変更例に係る符号化データ蓄積システムの動作処理を示す説明図である。
【図７】従来の符号化データ蓄積システムの内部構成を示すブロック図である。
【図８】従来の符号化データ蓄積システムの動作処理を示す説明図である。
【符号の説明】
Ａ３…ローカルデコード画像
Ｂ３〜Ｂｎ…画像データ
Ｉ…先頭符号化データ
Ｐ…差分符号化データ
１…ビデオ符号化部
２…符号化フレームメモリ
３…ビデオ復号化部
４…復号化フレームメモリ
５…蓄積制御部
５ａ…フレーム内符号化処理部
６…データ蓄積部
１１…退避メモリ
２０…ビデオカメラ（外部撮像機器）
３０…蓄積制御部
６０…カメラ
６１…変換回路
６２…フォーマット変換回路
６３…多重分離回路
６４…逆フォーマット変換回路
６５…画像蓄積回路
６６…変換回路
６７…モニタ
６８…映像符号化回路
６９…映像復号化回路
８１…ビデオ出力データ
１００，１００’…符号化復号化処理部
１０１…ビデオ入力データ
１０２…符号化データ
１０３…ビデオ符号化データ
１０４…送信部
１０５…受信部
１０６…表示部
１０７…アンテナ制御部
１０８…内蔵撮像部
１０９…外部機器インターフェース
１１０…操作部
１２０…蓄積制御信号
１３２…蓄積データ
２０１…一時蓄積データ
２０２…退避蓄積データ
２０３…最終蓄積データ
【図１】
2004229121.tif 000003
【図２】
2004229121.tif 000004
【図３】
2004229121.tif 000005
【図４】
2004229121.tif 000006
【図５】
2004229121.tif 000007
【図６】
2004229121.tif 000008
【図７】
2004229121.tif 000009
【図８】
2004229121.tif 000010