【手続補正書】
【提出日】平成16年4月9日(2004.4.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は動画データ受信装置に係り、詳細には、カラー画像データの圧縮と、カラー画像の静止画または動画を圧縮して送受信する動画データ受信装置に関する。


【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そこで、本発明は上記した従来技術の課題を解決するためになされたもので、フレーム間の相関関係を利用して送信されたデータに対して、任意のフレーム位置から再生することが可能なデータ形式で保存することが可能な動画データ受信装置を提供することを目的とする。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
（２）実施形態の詳細
図１は、本実施形態の動画データ受信装置を用いた動画データ通信システムのシステム構成を表したものである。
この図に示すように、動画データ通信システムは画像の撮像と送信を行う動画データ送信装置１と、この動画データ送信装置１で撮像した画像データの受信と表示を行う動画データ受信装置２とから構成されている。動画データ受信装置２は、動画データ送信装置１における画像の撮像を遠隔操作することができるようになっている。
この動画データ通信システムは、撮像した動画像を携帯電話等の無線通信により送受信するもので、例えば、建築現場などの進捗状況の監視や報告、人間が常にいることができない場所の遠隔監視、火事やダムの調査、遠隔地で撮影したニュース映像の伝送、テレビ番組やイベントなどの演出ツール、等として広く利用することができる。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
画像伝送装置６は、図示しないが、画像データの送受信に関する各種制御を行うＣＰＵと、このＣＰＵによる各種制御のためのプログラムが格納されたＲＯＭと、画像データ等を格納するメモリ（フラッシュメモリ、Ｓ−ＲＡＭ等）と、ＮＴＳＣ信号をＲＧＢ信号に変換する変換部と、画像データを圧縮する圧縮部と、ビデオカメラ４、制御部５、携帯電話７、モデム８、電源ケーブル等を接続するための各種接続端子と、その他の装置等を備えている。
画像伝送装置６は、動画データ受信装置２からカメラ位置変更コマンドを受信して、制御部５に供給すると共に、ビデオカメラ４から供給される画像データを変換部でＮＴＳＣ信号からＲＧＢ信号に変換し、その画像データを圧縮部により、後述するＴＩＭ法により圧縮して圧縮画像データとする。画像伝送装置６は、この圧縮画像データのヘッダにカメラの位置情報（パン、チルト、ズーム値）および、送信フレームの撮像日時に関する時間データを付加して動画データ受信装置２に送信するようになっている。
圧縮画像データの送信は、携帯電話７とモデム８の内、動画データ送信装置１との通信回線が接続されている側を介して送信されるが、主として携帯電話７が使用されるようになっている。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
一方、動画データ受信装置２は、主として、携帯電話９と、この携帯電話９が接・断されるパーソナルコンピュータ１０（以下、単にパソコン１０という）とから構成されている。
携帯電話９と携帯電話７は、主として、デジタル移動通信網を介した９６００ｂｐｓの高速通信により接続されるが、他の通信方法を使用するようにしてもよい。例えば、ＩＳＤＮ（Integrated Services Digital Network）や、通常の電話回線網、インターネット、ＦＡＸ通信網、ＰＨＳ、無線衛星通信、光通信等の各種のデータ通信網を介した通信を行うようにしてもよい。また、送受信側の各携帯電話７、９についても、各種電話機を使用することもでき、両電話機の種類として異なる機種を使用するようにしてもよい。更に、動画データ送受信装置１、２間の通信速度についても、携帯電話７、９、やモデム８の通信能力に応じて自動的に設定されるようにしてもよい。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
図２は、動画データ通信システムの動画データ送信装置１、動画データ受信装置２によるＴＩＭ圧縮、伸張処理機能をブロックで表したものである。
動画データ送信装置１は、各ピクセルが輝度信号Ｙと、色差信号Ｕ、Ｖを有する画像データをビデオカメラ４から獲得するＹＵＶ獲得部１１と、ブロックエンコード部１２と、変換されたブロック成分のフレーム間およびフレーム内一致を判断し符号化するコンプレス部１３、および符号化されたデータを送信する送信部１４を備えている。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
ブロックエンコード部１２は、ＹＵＶ獲得部１１で獲得した画像データを所定のｎ×ｍサイズのブロックに分割する分割部１２１と、ブロックを構成する各ピクセルのＹＵＶデータからそのブロックのブロック成分（ブロック輝度成分ｙａ、ｙｂ、ブロック色成分ｕ、ｖおよび、ビットマップｂｍ）を生成するエンコード部１２２を備えている。
コンプレス部１３は、現時点で符号化処理の対象となっている現フレームについてのブロック成分が１フレーム分格納される現フレームバッファ１３１と、１フレーム前のブロック成分が１フレーム分格納される前フレームバッファ１３２、およびブロック成分の一致または不一致に応じた符号化によってデータ符号化を行う符号化部１３３を備えている。


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
デコンプレス部２３は、符号化されたブロックデータを元のブロック成分に復号する復号化部２３１と、現在復号化処理が行われているフレームについての復号化後のブロック成分が順次格納される１フレーム分の現フレームバッファ２３２、１フレーム分の現フレームバッファ２３２から供給される１フレーム前のブロック成分が格納される前フレームバッファ２３３、および、符号化部２３４を備えている。
符号化部２３４は、所定フレーム毎に、現フレームバッファ２３２に順次格納される現フレームについての復号されたブロック成分をそのフレーム内で符号化することで、キーフレームを作成するようになっている。


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
画像データがブロックエンコード部１２に供給されると、分割部１２１は、画像データを各フレーム毎に、４×２、２×４、８×４、８×８等の任意のサイズに分割する。本実施形態では、図３に示すように、４ピクセル×４ピクセルの各ブロックに分割する。そして、原画１フレーム当たりの解像度は分割サイズの整数倍であれば任意であるが、本実施形態では、１フレーム当たり６４０ピクセル×４８０ピクセル＝３０７，２００ピクセルの解像度で構成されている。従って、原画１フレームは分割部１２１によって１６０ブロック×１２０ブロック＝１９，２００ブロックに分割される。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
なお、撮像した動画像のうちの１番最初のフレームに対し、符号化部１３３はフレーム内での圧縮処理を行った後にキーフレームとして送信部１４に供給する。すなわち、符号化部１３３では、図６に示す、前フレームバッファ１３２からの前フレームブロックＰｆを除く、他の比較ブロックＰｂ、Ｐｒｌ、Ｐｒ、Ｐｒｒのブロック成分と処理ブロックＣｂのブロック成分とを比較することで
図７（ａ）（ｂ）に示す符号化規則に従ってコード化を行う。


【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図９は、ブロック成分一致条件によるデータ復号化の概念を説明するためのものである。
この図に示すように、現在復号化部２３１において復号化の処理対象になっている、現フレームバッファ２３２の３行３列目のブロック（斜線で示す）を処理ブロックＤｂブロックとする。また、この処理ブロックＤｂに対して、前フレームバッファ２３３の同一位置である３′行３′列目に格納されている前フレームブロックをＰｆとし、現フレームバッファ２３２において、処理ブロックの１つ前に符号化処理をした２行３列目のブロックを直前ブロックＰｂとし、１列前の第２列について、処理ブロックＣｂの左上（２行２列目）を左上ブロックＰｒｌ、真上（３行２列）を真上ブロックＰｒ、右上（４行２列）を右上ブロックＰｒｒとする。
また、復号化部２３１による復号化前の処理ブロックを〔Ｄｂ〕とし、復号化後の処理ブロックをＤｂとする。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
記憶装置１６０は、読み書き可能な記録媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。この記憶装置１６０に使用される記憶媒体としては、主としてハードディスクが使用されるが、後述の記憶媒体駆動装置１７０で使用される記憶媒体の内の読み書き可能な記憶媒体を使用するようにしてもよい。
記憶装置１６０には、画像伝送装置６に接続可能なビデオカメラ４の種別と、各ビデオカメラの制御可能な事項に関する情報（ズーム、パン、チルト範囲等）や、動画データ送信装置１に接続するためのダイヤル番号が格納される。ランダムアクセスファイル記憶部２５には、ランダムアクセスファイルエリア２５ａから供給されるランダムアクセスファイルが格納される。


【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
記憶装置１６０のプログラム格納エリアは、パソコン１０を動作させるＯＳ等の基本プログラムの他、本実施形態による画像データ受信関連プログラム等の各種アプリケーションプログラムが格納されるようになっている。本実施形態の動画データ受信装置２では、ＴＩＭ法による圧縮された画像データについて、復号化部２３１およびブロックデコード部２２により、再生するためのプログラムや、符号化部２３４によりキーフレームを作成するためのプログラム、さらに、後述するアクセスフレーム指定画面の表示と指定されたインデックスアイコンに対応するキーフレームからランダムアクセスファイルの動画を再生するためのプログラムが格納されている。
また、動画データ送信装置１から送信される圧縮画像データが、暗号化されている場合には、対応するキーによる解読を行うためのプログラムも記憶装置１６０に格納される。


【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
記憶媒体駆動装置１７０は、ＣＰＵ１１１が外部の記憶媒体からコンピュータプログラムを読み込むための駆動装置である。この記憶媒体に記録されているコンピュータプログラムには、本実施形態のパソコン１０により実行される画像データ受信関連のアプリケーションプログラム、および、そこで使用される辞書、データ等が含まれる。
ここで、記憶媒体とは、コンピュータプログラムが記憶される記憶媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、メモリチップやＩＣカード等の半導体記憶媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ（相変化書換型光ディスク）等の光学的に情報が読み取られる記憶媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙（および、紙に相当する機能を持った媒体）を用いた記憶媒体、その他各種方法でコンピュータプログラムが記憶される記憶媒体が含まれる。本実施形態のパソコン１０において使用される記憶媒体としては、主として、ＣＤ−ＲＯＭやフレキシブルディスクが使用される。
記憶媒体駆動装置１７０は、これらの各種記憶媒体からコンピュータプログラムを読み込む他に、フレキシブルディスクのように書き込み可能な記憶媒体である場合にはＲＡＭ１１３や記憶装置１６０のデータ等を書き込むことが可能である。


【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
本動画データ受信装置を構成するパソコン１０では、ＣＰＵ１１１が、記憶媒体駆動装置１７０にセットされた外部の記憶媒体からコンピュータプログラムを読み込んで、記憶装置１６０に格納（インストール）する。そして、本実施形態による画像データ受信関連のプログラムを実行する場合、記憶装置１６０から該当プログラムをＲＡＭ１１３に読み込み、実行するようになっている。
但し、記憶装置１６０からではなく、記憶媒体駆動装置１７０により外部の記憶媒体から直接ＲＡＭ１１３に読み込んで実行することも可能である。
また、パソコン１０によっては、本実施形態の画像データ受信関連のプログラムを予めＲＯＭ１１２に記録しておき、これをＣＰＵ１１１が実行するようにしてもよい。


【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
通信制御装置１８０は、携帯電話９の接続端子を有しており、ビデオカメラ４を遠隔操作するためのカメラ位置変更コマンドの送信を行うと共に、図２（ｂ）に示す受信部２４として機能して動画データ送信装置１からの圧縮画像データの受信を行うようになっている。また、通信制御装置１８０は、他のパソコン等との間でテキストデータやビットマップデータ等の各種データの送受信を行うことができるようになっている。
入出力ＩＦ１９０は、表示装置１５０に表示された画像や文字その他各種印刷を行う印刷装置や、音声や音楽等の出力を行うスピーカ等を接・断するためのインターフェースである。印刷装置としては、レーザプリンタ、ドットプリンタ、インクジェットプリンタ、ページプリンタ、感熱式プリンタ、熱転写式プリンタ、等の各種印刷装置が使用される。


【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
ランダムアクセスファイルのキーフレームから作成したインデックスアイコン１５１が１３個以上ある場合には、次の表示画面で表示されるようになっている。表示されていない他のインデックスアイコンを表示する場合には、表示画面右端に表示されている垂直方向のスクロールバー内のつまみ１５３を、マウス１４０の操作により下方向に移動するか、キーボード１３０のカーソル移動キーの操作によりファイルアイコンの反転表示位置を下方に移動させる。
ユーザは、表示画面に表示された各インデックスアイコンの反転表示位置をキーボード１３０又はマウス１４０の操作により、希望するインデックスアイコンの位置に移動し、マウスの左クリックまたはエンターキー／実行キー操作により選択する。
インデックスアイコンが指定されると、制御部１１０は、対応するキーフレーム以降の各フレームを、順次復号化部２３１とブロックデコード部２２の各機能により再生し、表示装置１５０に順次表示する。


【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
また、動画データ受信装置で作成するキーフレームは、フレームをフレーム内圧縮して（例えば、フレームｅ′）ランダムアクセスファイル記憶部２５に格納したが、フレーム内圧縮しないで格納してもよい。すなわち、１フレーム内の全ブロックについて、復号化部２３１での復号化が終了した後、現フレームバッファ２３２内のデータを前フレームバッファ２３３に格納すると共に、フレーム内圧縮をしていないキーフレームとしてランダムアクセスファイル記憶部２５にそのまま格納するようにしてもよい。
また、符号化部２３４は、現フレームバッファ２３２に格納されている処理ブロックＤｂ、Ｐｂ、Ｐｒｌ、Ｐｒ、Ｐｒｒに基づいて、キーフレームのフレーム内圧縮処理を行ったが、前フレームバッファ２３３に格納されている各復号化後のブロックデータに基づいてキーフレームのフレーム内圧縮を行うようにしてもよい。


【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
また、本実施形態では、処理ブロックＣｂの全ブロック成分が、Ｐｆ、Ｐｂ、Ｐｒｌ、Ｐｒ、ｐｒｒのいずれとも一致していない場合、類似ブロックの選択対象として図７（ｂ）に示すように、ＰｆとＰｂを使用したが、これに限定されず、任意のブロックを予め決めておき、それとの間で類似ブロックを選択するようにしてもよい。例えば、選択対象として、ＰｆとＰｒの２つの場合、Ｐｆ、Ｐｒ、Ｐｂの３つの場合等を使用してもよい。
さらに、本実施形態では、処理ブロックＣｂとの全ブロック成分が一致しているか否かを判断する対象として、Ｐｆ、Ｐｂ、Ｐｒｌ、Ｐｒ、ｐｒｒを使用したが、本発明では、他に、一致する頻度が高いＰｆ、Ｐｂ、Ｐｒの３つを対象としてもよい。比較対象を少なくすることで、ソフトウェアによる処理を一層容易にすることができる。


【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
更に、説明した動画データ通信システムでは、フレーム間の相関関係を利用した画像圧縮方法としてＴＩＭ圧縮について説明したが、フレーム間の相関関係を利用した他の圧縮についても適用可能である。例えば、図１３で説明した差分データを利用した圧縮や、特開平５−２２７５４７号公報に記載されているＦＳＴ圧縮により圧縮される動画データに対して本実施形態の動画データ受信装置を使用するようにしてもよい。
ＦＳＴ圧縮は、Ａ／Ｄ変換したビデオ信号を２種類の参照値の一方を表す複数のピクセルとビットマップとからなるマトリクスのブロックにコード化し、コード化されたブロック内の非冗長性情報を発見し特定しコード化し、各ブロックを直前のフレームの対応するブロックと比較することにより、ブロック間の冗長性およびフレーム間の冗長性を除去し、更に、現在のカラー値を直前のカラー値に対する差の形でコード化することにより情報量を圧縮するものである。
このＦＳＴ圧縮は、ＲＧＢデータに対して、ｎ×ｍビットからなるブロックなのに対して、輝度値および２つのカラーＡカラー又はＢカラーのいずれがその各ピクセルを示すかを表すビットマップ（ｂｍ）からなる、ブロック成分を生成する。そして、生成したブロック成分を、本実施形態における符号化部と類似方法により、前のブロック、直前のフレームと比較して所定の符号化規則に従って符号化するものである。