(57)【要約】【構成】ネットワークカメラシステムはカメラ１２を含み、カメラ１２では、イメージセンサ２０から出力される被写界像の各々がＨ２６４エンコーダ３２ａによって符号化される。これら被写界像のうち、Ｈ２６４エンコーダ３２ａによってＢフレームとして符号化されるべき被写界像の各々はまた、ＪＰＥＧエンコーダ２８により符号化される。ＣＰＵ３２は、こうして得られるＨ２６４フレームおよびＪＰＥＧフレームを互いに多重して送信する。受信側では、受信したＪＰＥＧフレームのうち所望のものを選択して、選択したＪＰＥＧフレームの各々をＪＰＥＧデコーダによりデコードする一方、受信したＨ２６４フレームのうち選択したＪＰＥＧフレームに対応するものを除くＨ２６４フレームの各々をデコードする。【効果】送受信データ量を抑制しつつ、受信側が同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力できる。【選択図】図２
2009021728.tif 000002
【特許請求の範囲】
【請求項１】
被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を送信する送信装置と、前記送信装置によって送信された被写界像の各々を受信する受信装置を備える送受信システムであって、
前記送信装置は、
前記撮影手段から出力される被写界像の各々を第１方式で符号化する第１符号化手段、
前記第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、および
前記第１符号化手段によって符号化された第１符号化被写界像と、前記第２符号化手段によって符号化された第２符号化被写界像を互いに多重して送信する送信手段を含み、
前記受信装置は、
前記送信装置によって送信された第１符号化被写界像および第２符号化被写界像の各々を受信する受信手段、
前記受信手段によって受信された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および
前記選択手段によって選択された第２符号化被写界像の各々を前記第２方式で復号化する一方、前記受信手段によって受信された第１符号化被写界像のうち前記選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を前記第１方式で復号化する復号化手段を含む、送受信システム。
【請求項２】
前記送信手段は、
前記第１符号化手段によって符号化された第１符号化被写界像の各々に時間情報を割り当てる第１割り当て手段、
前記第２符号化手段によって符号化された第２符号化被写界像の各々に、対応する第１符号化被写界像との間で共通の時間情報を割り当てる第２割り当て手段を含み、
前記復号化手段は、共通の時間情報が割り当てられた第１符号化被写界像および第２符号化被写界像を互いに対応するものとみなす、請求項１記載の送受信システム。
【請求項３】
前記受信装置は、前記復号化手段によって復号化された被写界像の各々を時間情報に基づく順序で出力する出力手段をさらに含む、請求項２記載の送受信システム。
【請求項４】
前記第１方式はフレーム内符号化およびフレーム間符号化のいずれかを被写界像毎に選択して符号化を行う方式であり、
前記第２方式はフレーム内符号化しか行わない方式であり、
前記既定条件は前記第１符号化手段によってフレーム間符号化されるべき被写界像であるという条件を含む、請求項３記載の送受信システム。
【請求項５】
前記第１方式はＭＰＥＧ方式であり、
前記第２方式はＪＰＥＧ方式であり、
前記既定条件はＢフレームとして符号化されるべき被写界像であるという条件を含む、請求項４記載の送受信システム。
【請求項６】
前記選択手段は、対応する第１符号化被写界像が復号不能となった第２符号化被写界像を選択する、請求項１ないし５のいずれかに記載の送受信システム。
【請求項７】
前記選択手段は、対応する第１符号化被写界像がフレーム間符号化によるものである第２符号化被写界像を選択する、請求項５記載の送受信システム。
【請求項８】
前記選択手段は、対応する第１符号化被写界像がＢフレームである第２符号化被写界像を選択する、請求項７記載の送受信システム。
【請求項９】
前記復号化手段は、早送りモードが選択されたとき、前記受信手段によって受信された第２符号化被写界像と、前記受信手段によって受信された第１符号化被写界像のうちＩフレームおよびＰフレームを復号化する、請求項８記載の送受信システム。
【請求項１０】
前記復号化手段は、早戻しモードが選択されたとき、前記受信手段によって受信された第２符号化被写界像と、前記受信手段によって受信された第１符号化被写界像のうちＩフレームを復号化する、請求項８または９記載の送受信システム。
【請求項１１】
送信された第１符号化被写界像および第２符号化被写界像の各々を受信し、受信した第２符号化被写界像のうち所望の第２符号化被写界像を選択し、選択した第２符号化被写界像の各々を第２方式で復号化する一方、受信した第１符号化被写界像のうち選択した第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する、受信装置と協働する送信装置であって、
被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を前記第１方式で符号化する第１符号化手段、
前記第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、および
前記第１符号化手段によって符号化された第１符号化被写界像と、前記第２符号化手段によって符号化された第２符号化被写界像を互いに多重して送信する送信手段を含む、送信装置。
【請求項１２】
被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を第１方式で符号化し、かつ前記第１方式で符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化して、符号化した第１符号化被写界像と符号化した第２符号化被写界像を互いに多重して送信する、送信装置と協働する受信装置であって、
前記送信装置によって送信された第１符号化被写界像および第２符号化被写界像の各々を受信する受信手段、
前記受信手段によって受信された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および
前記選択手段によって選択された第２符号化被写界像の各々を前記第２方式で復号化する一方、前記受信手段によって受信された第１符号化被写界像のうち前記選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を前記第１方式で復号化する復号化手段を含む、受信装置。
【請求項１３】
被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を処理する処理装置であって、
前記撮影手段から出力される被写界像の各々を第１方式で符号化する第１符号化手段、
前記第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、
前記第２符号化手段によって符号化された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および
前記選択手段によって選択された第２符号化被写界像の各々を前記第２方式で復号化する一方、前記第１符号化手段によって符号化された第１符号化被写界像のうち前記選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を前記第１方式で復号化する復号化手段を含む、処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、送受信システムに関し、特にたとえば、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を送信する送信装置と、送信装置によって送信された被写界像の各々を受信する受信装置を備える、送受信システムに関する。
【背景技術】
【０００２】
この種のシステムの一例が、特許文献１に開示されている。この背景技術では、送信装置は、撮影手段から出力される被写界像の各々に基づいて、動画像データおよび静止画像データを作成する。作成された動画像データおよび静止画像データには、固有情報が被写界像毎に付加される。そして、動画像データは受信装置へと送信され、静止画像データは送信装置内に保存される。
【０００３】
受信装置は、動画像データの受信中に、特定の被写界像の静止画像データを固有情報により要求する。送信装置は、受信装置から固有情報の通知を受けると、保存された静止画像データのうち、通知された固有情報に対応する静止画像データを送信する。
【特許文献１】特開２００５−７９８６８号公報［H04N 7/173, 5/76, 5/765, 5/91］
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、静止画像データは、送信装置内に保存され、受信装置から要求を受けてはじめて送信されるので、リアルタイム性が低い。また、送信されるのは、作成された静止画像データのうち、受信装置から通知された固有情報に対応する部分に限られる。このため、受信装置は、動画画像データおよび静止画像データを選択的かつリアルタイムに出力することができない。
【０００５】
なお、作成された静止画像データを保存せずに、作成された動画像データと同時に送信すれば、選択的かつリアルタイムな出力は可能となるが、一般にフレームあたりのデータ量は静止画像の方が動画像よりも格段に多いため、送受信データ量が膨大となる。
【０００６】
それゆえに、この発明の主たる目的は、送受信データ量を抑制しつつ、受信側が同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力できる、送受信システムを提供することである。
【課題を解決するための手段】
【０００７】
第１の発明に従う送受信システムは、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を送信する送信装置と、送信装置によって送信された被写界像の各々を受信する受信装置を備える送受信システムであって、送信装置は、撮影手段から出力される被写界像の各々を第１方式で符号化する第１符号化手段、第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、および第１符号化手段によって符号化された第１符号化被写界像と、第２符号化手段によって符号化された第２符号化被写界像を互いに多重して送信する送信手段を含み、受信装置は、送信装置によって送信された第１符号化被写界像および第２符号化被写界像の各々を受信する受信手段、受信手段によって受信された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および選択手段によって選択された第２符号化被写界像の各々を第２方式で復号化する一方、受信手段によって受信された第１符号化被写界像のうち選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する復号化手段(S31, S49, S69, 52a, 46)を含む。
【０００８】
第１の発明に従う送受信システム(10：実施例で相当する部分を例示する参照符号。以下同じ)では、被写界を繰り返し撮影する撮影手段(20)から出力される被写界像の各々は送信装置(12)によって送信され、送信された被写界像の各々は受信装置(14)によって受信される。
【０００９】
送信装置では、撮影手段から出力される被写界像の各々が第１符号化手段(32a)によって第１方式で符号化される。第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々は、第２符号化手段(28)によって第２方式で符号化される。送信手段(24, 30, S11~S17)は、第１符号化手段によって符号化された第１符号化被写界像と、第２符号化手段によって符号化された第２符号化被写界像を互いに多重して送信する。
【００１０】
受信装置では、送信装置によって送信された第１符号化被写界像および第２符号化被写界像の各々は、受信手段(40)によって受信される。選択手段(S25~S29, S43~S47, S63~S67)は、受信された第２符号化被写界像のうち所望の第２符号化被写界像を選択する。復号化手段(S31, S49, S69, 52a, 46)は、選択された第２符号化被写界像の各々を第２方式で復号化する一方、受信された第１符号化被写界像のうち選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する。
【００１１】
第１の発明によれば、送信装置が撮影手段から出力される被写界像の各々を第１方式および第２方式でそれぞれ符号化して同時に送信し、受信装置は、受信した第２符号化被写界像のうち所望の第２符号化被写界像を選択して、選択した第２符号化被写界像の各々を第２方式で復号化する一方、受信した第１符号化被写界像のうち選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化するので、同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力できる。
【００１２】
また、送信装置が第２方式による符号化の対象を既定条件で絞り込むことで、受信装置との間で送受信されるデータ量を抑制できる。
【００１３】
第２の発明に従う送受信システムは、第１の発明に従属し、送信手段は、第１符号化手段によって符号化された第１符号化被写界像の各々に時間情報を割り当てる第１割り当て手段、および第２符号化手段によって符号化された第２符号化被写界像の各々に、対応する第１符号化被写界像との間で共通の時間情報を割り当てる第２割り当て手段を含み、復号化手段は、共通の時間情報が割り当てられた第１符号化被写界像および第２符号化被写界像を互いに対応するものとみなす。
【００１４】
第２の発明では、第１割り当て手段(S13)は、送信される第１符号化被写界像の各々に時間情報を割り当てる。送信される第２符号化被写界像の各々には、第２割り当て手段(S17)によって、対応する第１符号化被写界像との間で共通の時間情報が割り当てられる。復号化にあたって、共通の時間情報が割り当てられた第１符号化被写界像および第２符号化被写界像は、互いに対応するものとみなされる。
【００１５】
第３の発明に従う送受信システムは、第２の発明に従属し、受信装置は、復号化手段によって復号化された被写界像の各々を時間情報に基づく順序で出力する出力手段をさらに含む。
【００１６】
第３の発明では、復号化された被写界像の各々は、出力手段(S85~ S89)によって時間情報に基づく順序で出力される。
【００１７】
第２および第３の発明によれば、第１符号化被写界像および第２符号化被写界像を選択的に復号しつつ、出力される被写界像の連続性を確保できる。
【００１８】
第４の発明に従う送受信システムは、第３の発明に従属し、第１方式はフレーム内符号化およびフレーム間符号化のいずれかを被写界像毎に選択して符号化を行う方式であり、第２方式はフレーム内符号化しか行わない方式であり、既定条件は第１符号化手段によってフレーム間符号化されるべき被写界像であるという条件を含む。
【００１９】
第４の発明では、撮影手段から出力される被写界像の各々は、第１符号化手段によってフレーム内符号化およびフレーム間符号化のいずれか一方で符号化される。第１符号化手段によってフレーム間符号化される被写界像の各々はまた、第２符号化手段によってフレーム内符号化される。
【００２０】
第４の発明によれば、フレーム間符号化による第１符号化被写界像にそれぞれ対応する第２符号化被写界像を作成するので、フレーム内符号化による第１符号化被写界像の欠落に伴って、フレーム間符号化による第１符号化被写界像の各々が復号不能となった場合にも、対応する第２符号化被写界像を出力することで、出力被写界像の欠損を回避できる。
【００２１】
第５の発明に従う送受信システムは、第４の発明に従属し、第１方式はＭＰＥＧ方式であり、第２方式はＪＰＥＧ方式であり、既定条件はＢフレームとして符号化されるべき被写界像であるという条件を含む。
【００２２】
第５の発明では、撮影手段から出力される被写界像の各々は、第１符号化手段によってＭＰＥＧ（Moving Picture Experts Group）方式で符号化される。ＭＰＥＧ方式では、ＧＯＰ（Group of Pictures）を構成する１５フレームのうち１フレームだけが、Ｉフレームとしてフレーム内符号化される。残り１４フレームのうち、４フレームはＰフレームとして、１０フレームはＢフレームとして、それぞれフレーム間符号化される。第１符号化手段によってＢフレームとしてフレーム間符号化される被写界像の各々はまた、第２符号化手段によってＪＰＥＧ（Joint Photographic Coding Experts Group）方式でフレーム内符号化される。
【００２３】
第５の発明によれば、Ｂフレームにそれぞれ対応するＪＰＥＧフレームを作成することで、１ＧＯＰつまり１５フレームあたり１０個のＪＰＥＧフレームが作成される結果となり、ＰフレームおよびＢフレームにそれぞれ対応するＪＰＥＧフレームを作成する場合と比べて、送受信データ量が抑制される。
【００２４】
第６の発明に従う送受信システムは、第１ないし第５の発明のいずれかに従属し、選択手段は、対応する第１符号化被写界像が復号不能となった第２符号化被写界像を選択する。
【００２５】
第６の発明によれば、第２符号化被写界像のうち、対応第１符号化被写界像が復号不能となった第２符号化被写界像が復号されるので、出力被写界像の欠損を回避できる。
【００２６】
第７の発明に従う送受信システムは、第５の発明に従属し、選択手段は、対応する第１符号化被写界像がフレーム間符号化によるものである第２符号化被写界像を選択する。
【００２７】
第７の発明によれば、第２符号化被写界像のうち、対応第１符号化被写界像がフレーム間符号化によるものである第２符号化被写界像が復号されるので、出力被写界像の品質を高めることができる。
【００２８】
第８の発明に従う送受信システムは、第７の発明に従属し、選択手段は、対応する第１符号化被写界像がＢフレームである第２符号化被写界像を選択する。
【００２９】
第８の発明では、Ｂフレームの代わりにＪＰＥＧフレームを利用する。
【００３０】
第９の発明に従う送受信システムは、第８の発明に従属し、復号化手段は、早送りモードが選択されたとき、受信手段によって受信された第２符号化被写界像と、受信手段によって受信された第１符号化被写界像のうちＩフレームおよびＰフレームを復号化する。
【００３１】
一般に、ＭＰＥＧの早送りモードでは、Ｂフレームはスキップされる。第８の発明によれば、早送り時、Ｂフレームの位置にＪＰＥＧフレームを挿入することが可能となり、被写界像の動きを滑らかにできる。
【００３２】
第１０の発明に従う送受信システムは、第８または第９の発明に従属し、復号化手段は、早戻しモードが選択されたとき、受信手段によって受信された第２符号化被写界像と、受信手段によって受信された第１符号化被写界像のうちＩフレームを復号化する。
【００３３】
一般に、ＭＰＥＧの早戻しモードでは、ＰフレームおよびＢフレームはスキップされる。第１０の発明によれば、早戻し時、Ｂフレームの位置にＪＰＥＧフレームを挿入することが可能となり、被写界像の動きを滑らかにできる。
【００３４】
第１１の発明に従う送信装置は、次のような受信装置と協働する：受信装置は、送信された第１符号化被写界像および第２符号化被写界像の各々を受信し、受信した第２符号化被写界像のうち所望の第２符号化被写界像を選択し、選択した第２符号化被写界像の各々を第２方式で復号化する一方、受信した第１符号化被写界像のうち選択した第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する。そして送信装置は、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を第１方式で符号化する第１符号化手段、第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、および  第１符号化手段によって符号化された第１符号化被写界像と、第２符号化手段によって符号化された第２符号化被写界像を互いに多重して送信する送信手段を含む。
【００３５】
第１２の発明に従う受信装置は、次のような送信装置と協働する：送信装置は、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を第１方式で符号化し、かつ第１方式で符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化して、符号化した第１符号化被写界像と符号化した第２符号化被写界像を互いに多重して送信する。そして受信装置は、送信装置によって送信された第１符号化被写界像および第２符号化被写界像の各々を受信する受信手段、受信手段によって受信された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および選択手段によって選択された第２符号化被写界像の各々を第２方式で復号化する一方、受信手段によって受信された第１符号化被写界像のうち選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する復号化手段を含む。
【００３６】
第１１の発明および第１２の発明の各々によっても、第１の発明と同様に、受信装置が同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力でき、また、送信装置と受信装置との間で送受信されるデータ量を抑制できる。
【００３７】
第１３の発明に従う処理装置は、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を処理する処理装置であって、撮影手段から出力される被写界像の各々を第１方式で符号化する第１符号化手段、第１符号化手段によって符号化されるべき被写界像のうち既定条件を満足する被写界像の各々を第２方式で符号化する第２符号化手段、第２符号化手段によって符号化された第２符号化被写界像のうち所望の第２符号化被写界像を選択する選択手段、および選択手段によって選択された第２符号化被写界像の各々を第２方式で復号化する一方、第１符号化手段によって符号化された第１符号化被写界像のうち選択手段によって選択された第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像の各々を第１方式で復号化する復号化手段を含む。
【００３８】
第１３の発明によれば、同一の被写界を表す異なる種類の被写界像を選択的に出力でき、また、符号化／復号化のための処理量を抑制できる。
【発明の効果】
【００３９】
この発明によれば、送受信データ量を抑制しつつ、受信側が同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力することができる。
【００４０】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００４１】
図１を参照して、この実施例のネットワークカメラシステム１０はカメラ１２を含む。カメラ１２は、インターネットなどのネットワーク１６を介してＰＣ１４と接続される。
【００４２】
図２を参照して、カメラ１２はイメージセンサ２０を含む。被写界の光学像は、イメージセンサ２０の受光面つまり撮像面に照射され、撮像面では光電変換によって被写体の光学像に対応する電荷つまり生画像信号が生成される。ＣＰＵ３２は、露光および読み出しの繰り返しをイメージセンサ２０に命令する。イメージセンサ２０は、露光とこれにより生成された生画像信号の読み出しを、たとえば３０分の１秒周期で繰り返し実行する。イメージセンサ２０からは、被写体の光学像に対応する生画像信号が出力される。
【００４３】
出力された生画像信号は、カメラ処理回路２２によって色分離，ＹＵＶ変換などの処理を施され、これによってＹＵＶ形式の画像データが生成される。生成された画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６の撮像エリア２６ａ（図４参照）に書き込まれる。
【００４４】
ＣＰＵ３２は、Ｈ２６４エンコーダ３２ａを含んでおり、メモリ制御回路２４を通して撮像エリア２６ａから画像データをフレーム単位で読み出して、読み出された画像データにＨ２６４エンコーダ３２ａによるエンコード処理を施す。これにより生成されたＨ２６４符号化画像データ（Ｈ２６４フレーム）は、メモリ制御回路２４を通してＳＤＲＡＭ２６のＨ２６４エンコードエリア２６ｂ（図４参照）に書き込まれる。
【００４５】
ＣＰＵ３２はまた、撮像エリア２６ａに格納された画像データのうち、Ｈ２６４エンコーダ３２ａ側でＢフレームとしてエンコードされるべき画像データに対するエンコード処理を、ＪＰＥＧエンコーダ２８に命令する。ＪＰＥＧエンコーダ２８は、メモリ制御回路２４を通して撮像エリア２６ａからＢフレームに対応する画像データを読み出し、読み出された画像データにＪＰＥＧエンコードを施す。これにより生成されたＪＰＥＧ符号化画像データ（ＪＰＥＧフレーム）は、メモリ制御回路２４を通してＳＤＲＡＭ２６のＪＰＥＧエンコードエリア２６ｃ（図４参照）に書き込まれる。
【００４６】
このように、カメラ１２では、画像データをＨ２６４方式でエンコードする処理と並行して、同じ画像データのＢフレームに相当する部分をＪＰＥＧ方式でエンコードする処理が実行される。
【００４７】
より詳しくは、図６（Ａ）を参照して、Ｈ２６４フォーマットでは、“Ｉ”，“Ｂ”および“Ｐ”の３つのフレームタイプが規定されている。周知の如く、Ｉフレームはフレーム内符号化（イントラ符号化）により作成されるフレームであり、ＰフレームおよびＢフレームの各々はフレーム間符号化（インター符号化）により作成されるビデオフレームである。Ｐフレームでは過去のＩ，Ｐフレームが参照されるのに対し、Ｂフレームでは通常、過去および未来のＩ，Ｐフレームが参照される。Ｉフレームは１５フレーム毎に作成され、Ｉフレームから始まる１５個のフレームによって１つのＧＯＰが形成される。ＧＯＰは、１個のＩフレームと４個のＰフレームと１０個のＢフレームを含む。
【００４８】
ＣＰＵ３２からＪＰＥＧエンコーダ２８へは、ＪＰＥＧエンコードすべきフレームを示す制御信号、つまり撮像エリア２６ａに格納された画像データのどこからどこまでがエンコード対象であるかを示す制御信号が与えられる。ＪＰＥＧエンコーダ２８は、与えられた制御信号に従ってエンコード処理を実行する。これによって、１ＧＯＰ期間つまり０．５秒間あたり、１０個のＢフレームにそれぞれ対応する１０個のＪＰＥＧフレームが作成される結果となる。
【００４９】
Ｈ２６４エンコードエリア２６ｂに格納された画像データつまりＨ２６４フレーム（Ｉ，Ｐ，Ｂフレーム）はその後、メモリ制御回路４２によってたとえば０．５秒周期つまり１ＧＯＰ単位で送信エリア２６ｄにコピーされる。ＣＰＵ３２はまた、１ＧＯＰのコピーが完了する度に、このＧＯＰに含まれる１０個のＢフレームにそれぞれ対応する１０個のＪＰＥＧフレームを、メモリ制御回路４２を介してＪＰＥＧエンコードエリア２６ｃから送信エリア２６ｄにコピーする。これによって、ＧＯＰとＪＰＥＧフレームとは、送信エリア２６ｄにおいて、たとえば図６（Ｂ）に示すような態様で、互いに多重される結果となる。
【００５０】
ＣＰＵ３２はまた、クロック回路３２ｂをさらに含んでおり、送信エリア２６ｄに格納されたＧＯＰの各フレームに対して、クロック回路３２ｂの出力に基づくタイムスタンプを付与する。タイムスタンプは、対応フレームの再生タイミングを決定するための情報であり、ＰＣ側で再生を行うとき参照される。
【００５１】
ＣＰＵ３２はまた、送信エリア２６ｄに格納された各ＪＰＥＧフレームに対して、対応するＢフレームに付与されたものと同じタイムスタンプを付与する。したがって、図６（Ａ）に示すように、ＧＯＰに含まれる一連の１５フレームにタイムスタンプとして“１”，“２”，“３”，“４”，…，“１５”が付与された場合、ＧＯＰ先頭から２番目のＢフレームに対応するＪＰＥＧフレームにはタイムスタンプとして“２”が付与され、３番目のＢフレームに対応するＪＰＥＧフレームには“３”が付与される結果となる。
【００５２】
なお、タイムスタンプは、たとえば、図７（Ａ）の要領でＨ２６４符号化画像データに埋め込まれ、かつ図７（Ｂ）の要領でＪＰＥＧフレームに埋め込まれる。図７（Ａ）を参照して、ＧＯＰは、ヘッダと、図６（Ａ）に示した１５個のフレームに相当する１５個のパックを含む。タイムスタンプは、ヘッダ内に、対応フレームのサイズを示すフレームサイズ，対応フレームのタイプを示すフレームタイプ，および対応フレームのＧＯＰ先頭からの距離を示すオフセットなどと共に、パック毎に記述される。図７（Ｂ）を参照して、ＪＰＥＧフレームは、ヘッダとパックを含む。タイムスタンプは、ヘッダ内に、フレームサイズ，フレームタイプなどと共に記述される。
【００５３】
こうして送信エリア２６ｄに格納された多重画像データはその後、たとえば１秒周期で、通信Ｉ／Ｆ３０によってネットワーク１６経由でＰＣ１４に送信される。したがって、１秒間につき、２ＧＯＰと、この２ＧＯＰに含まれる２０個のＢフレームにそれぞれ対応する２０個のＪＰＥＧフレームとが、カメラ１２からＰＣ１４に送信される結果となる。
【００５４】
図３を参照して、ＰＣ１４は、通信Ｉ／Ｆ４０を含む。カメラ１２から送信された多重画像データは、通信Ｉ／Ｆ４０によって受信される。受信された多重画像データは、メモリ制御回路４２を介してＳＤＲＡＭ４４の受信エリア４４ａ（図５参照）に書き込まれる。こうして、受信エリア４４ａには、多重画像データが毎秒２ＧＯＰ相当（つまり２ＧＯＰプラス２０ＪＰＥＧフレーム）の速さで蓄積されていく。
【００５５】
キー入力装置５６によって通常再生モードが選択されたとき、ＣＰＵ５２は、受信エリア４４ａに蓄積されたＨ２６４符号化画像データをＧＯＰ単位で検索して、欠落フレームの有無を判別する。この判別処理は、ＧＯＰのヘッダ（図７（Ａ）参照）に記述された情報（以下“ヘッダ情報”）に基づく。
【００５６】
ここで欠落フレームなしと判別されると、ＣＰＵ５２は、受信エリア４４ａのＧＯＰをＳＤＲＡＭ４４のデコード待ちエリア４４ｂ（図５参照）にコピーする。一方、欠落フレームありと判別されると、ＣＰＵ５２は、まず、いずれか１つの欠落フレームおよびこれを参照するフレームの各々に付されたタイムスタンプをヘッダ情報に基づいて算出する。次に、算出された各タイムスタンプについて、これと一致（もしくは十分近接）するタイムスタンプが付与されたＪＰＥＧフレームを受信エリア４４ａから代替フレームとして選出する。
【００５７】
ＣＰＵ５２は、このような選出処理を全ての欠落フレームについて実行した後、選出された代替フレームと、受信エリア４４ａのＨ２６４フレームのうち欠落フレームを参照するもの以外のフレームをデコード待ちエリア４４ｂにコピーする。
【００５８】
ＣＰＵ５２はその後、デコード待ちエリア４４ｂに格納されたＨ２６４フレームおよび代替フレームを、Ｈ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によってデコードする。こうしてデコードされたフレームは、メモリ制御回路４２によってＳＤＲＡＭ４４の表示エリア４４ｃ（図５参照）に、タイムスタンプ順に書き込まれる。
【００５９】
ＬＣＤドライバ４８は、表示エリア４４ｃに格納されたフレームを、クロック回路５２ｂの出力を参照しつつメモリ制御回路４２を通して１倍速で順方向に読み出し、読み出されたフレームの画像データでＬＣＤモニタ５０を駆動する。この結果、被写界の通常再生動画像がモニタ画面に表示される。
【００６０】
こうして表示される通常再生動画像では、ネットワーク１６上でＨ２６４フレームの欠落が生じても、欠落したＨ２６４フレーム（およびこれを参照するＨ２６４フレーム）の位置に対応ＪＰＥＧフレーム（すなわち共通のタイムスタンプを持つＪＰＥＧフレーム）が挿入されるので、画飛びのない滑らかな動きが実現される。
【００６１】
このような通常再生処理の一例を図８に示す。図８を参照して、受信エリア４４ａ内のＧＯＰにおいて、先頭から５番目のフレームが欠落したとする。この欠落フレームはＢフレームなので、これを参照するフレームは存在しない。よって、欠落フレームのタイムスタンプである“５”がヘッダ情報（図７（Ａ）参照）に基づいて算出され、そして、受信エリア４４ａ内のＪＰＥＧフレームの中から、算出結果と同じ“５”をタイムスタンプとして持つＪＰＥＧフレームが代替フレームとして選出される。
【００６２】
したがって、デコード待ちエリア４４ｂには、受信エリア４４ａ内の全てのＨ２６４フレームと、受信エリア４４ａ内のＪＰＥＧフレームのうち欠落した５番目のＢフレームに対応するＪＰＥＧフレームとがコピーされる。表示エリア４４ｃでは、欠落Ｂフレームの位置に対応ＪＰＥＧフレームが挿入され、こうして得られた表示データは、順方向に１倍速で出力される。
【００６３】
通常再生処理の他の一例を図９に示す。この例は、ＧＯＰ先頭のＩフレームが欠落した場合であり、ＩフレームはＧＯＰ内の他の１４フレームによって参照されるので、ＧＯＰ全体が復号不能となる。このため、ＧＯＰを構成する各フレームのタイムスタンプつまり“１”，“２”，…，“１５”が算出されるが、“１”，“４”，“７”，“１０”，“１３”については該当するＪＰＥＧフレームが存在しないので、代替フレームは、“２”，“３”，“５”，“６”，“８”，“９”，“１１”，“１２”，“１４”，“１５”に該当する１０個となる。
【００６４】
したがって、デコード待ちエリア４４ｂには、１０個の代替フレームだけがコピーされる。表示エリア４４ｃでは、各Ｂフレームの位置に対応ＪＰＥＧフレームが挿入され、こうして得られた表示データは、順方向に１倍速で出力される。
【００６５】
キー入力装置５６によって早送り（ｓ倍速）モードが選択されたとき、ＣＰＵ５２は、受信エリア４４ａに蓄積されたＨ２６４符号化画像データを検索して、各Ｂフレームのタイムスタンプを検出する。次に、検出されたタイムスタンプと一致するタイムスタンプが付与されたＪＰＥＧフレームを受信エリア４４ａから代替フレームとして選出する。したがって、受信エリア４４ａにｎＧＯＰ相当のデータが蓄積されている場合、１０ｎ個の代替フレームが選出されることになる。
【００６６】
ＣＰＵ５２はその後、受信エリア４４ａのＩ，Ｐフレームおよび代替フレームをデコード待ちエリア４４ｂにコピーする。そして、デコード待ちエリア４４ｂに格納されたＨ２６４フレームおよび代替フレームをＨ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によりデコードする。デコードされたフレームは、メモリ制御回路４２によってＳＤＲＡＭ４４の表示エリア４４ｃに、タイムスタンプ順に書き込まれる。
【００６７】
ＬＣＤドライバ４８は、表示エリア４４ｃに格納されたフレームを、クロック回路５２ｂの出力を参照しつつメモリ制御回路４２を通してｓ倍速で順方向に読み出し、読み出されたフレームの画像データでＬＣＤモニタ５０を駆動する。この結果、被写界の早送り動画像がモニタ画面に表示される。
【００６８】
こうして表示される早送り動画像では、従来省略されていたＢフレームの位置に対応ＪＰＥＧ画像が挿入されているので、滑らかな動きが実現される。
【００６９】
このような早送り処理の一例を図１０に示す。図１０を参照して、まず、受信エリア４４ａ内の各Ｂフレームのタイムスタンプつまり“２”，“３”，“５”，“６”，“８”，“９”，…が検出される。そして、検出結果と同じ“２”，“３”，“５”，“６”，“８”，“９”，…をタイムスタンプとして持つＪＰＥＧフレームが、受信エリア４４ａから代替フレームとして選出される。
【００７０】
したがって、デコード待ちエリア４４ｂには、Ｈ２６４フレームのうちＩ，Ｐフレームと、１０個の代替フレームとがコピーされる。表示エリア４４ｃでは、各Ｂフレームの位置に対応ＪＰＥＧフレームが挿入され、こうして得られた表示データは、順方向にｓ倍速で再生される。
【００７１】
キー入力装置５６によって早戻し（−ｔ倍速）再生モードが選択されたとき、ＣＰＵ５２は、前述の早送りの場合と同様に、受信エリア４４ａに蓄積されたＨ２６４符号化画像データを検索して各Ｂフレームのタイムスタンプを検出し、検出したタイムスタンプと一致（または十分近接）するタイムスタンプが付与されたＪＰＥＧフレームを受信エリア４４ａから代替フレームとして選出する。
【００７２】
ＣＰＵ５２はその後、受信エリア４４ａのＩフレームおよび代替フレームをデコード待ちエリア４４ｂにコピーする。そして、デコード待ちエリア４４ｂに格納されたＨ２６４フレームおよび代替フレームをＨ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によりデコードする。デコードされたフレームは、メモリ制御回路４２によってＳＤＲＡＭ４４の表示エリア４４ｃに、タイムスタンプ順に書き込まれる。
【００７３】
ＬＣＤドライバ４８は、表示エリア４４ｃに格納されたフレームを、クロック回路５２ｂの出力を参照しつつメモリ制御回路４２を通してｔ倍速で逆方向に読み出し、読み出したフレームの画像データでＬＣＤモニタ５０を駆動する。この結果、被写界の早戻し動画像がモニタ画面に表示される。
【００７４】
こうして表示される早戻し画像では、従来省略されていたＰ，ＢフレームのうちＢフレームの位置に対応ＪＰＥＧ画像が挿入されているので、滑らかな動きが実現される。
【００７５】
このような早戻し処理の一例を図１１に示す。図１１を参照して、早送り用の場合と同様に、受信エリア４４ａ内の各Ｂフレームのタイムスタンプが検出され、検出結果と同じ“２”，“３”，“５”，“６”，“８”，“９”，…をタイムスタンプとして持つＪＰＥＧフレームが、受信エリア４４ａから代替フレームとして選出される。
【００７６】
したがって、デコード待ちエリア４４ｂには、Ｈ２６４フレームのうちＩフレームと、１０個の代替フレームとがコピーされる。表示エリア４４ｃでは、各Ｂフレームの位置に対応ＪＰＥＧフレームが挿入され、こうして得られた表示データは、逆方向にｔ倍速で再生される。
【００７７】
ネットワークカメラシステム１０が以上のような動作を行うにあたって、カメラ側のＣＰＵ３２は、図１２に示すタイムスタンプ付与タスクを実行する。なお、このタスクは、電源オン／オフ操作に応答して起動／終了される。また、このフロー図に対応するプログラムは、フラッシュメモリ３４に格納されている。
【００７８】
一方、ＰＣ側のＣＰＵ５２は、図１３に示す通常再生用メインタスクと、図１４に示す早送り（ｓ倍速）用メインタスクと、図１５に示す早戻し（−ｔ倍速）用メインタスクと、図１６に示す表示制御タスクを実行する。通常再生用メインタスクは通常再生モードが選択されたとき起動され、早送り用メインタスクは早送りモードが選択されたとき起動され、そして早戻し用メインタスクは早送りモードが選択されたとき起動される。一方、表示制御タスクは、これら３つのモードのいずれかが選択されたとき起動される。
【００７９】
したがって、通常再生モードでは通常再生用メインタスクおよび表示制御タスクが並列的に実行され、早送りモードでは早送り用メインタスクおよび表示制御タスクが並列的に実行され、早戻しモードでは早戻し用メインタスクおよび表示制御タスクが並列的に実行される。なお、これらのフロー図に対応するプログラムは、フラッシュメモリ５４に格納されている。
【００８０】
まず、ＣＰＵ３２の動作を説明する。図１２を参照して、ステップＳ１１では、新たなＧＯＰがＨ２６４エンコードエリア２６ｂから送信エリア２６ｄ（図４参照）にコピーされたか否かを判別し、ＮＯと判別すると待機する。ステップＳ１１でＹＥＳと判別すると、ステップＳ１３に移って、ＧＯＰ内の各フレームにクロック回路３２ｂの出力に基づくタイムスタンプを付与する。付与された１５個のタイムスタンプは、ＧＯＰのヘッダ（図７（Ａ）参照）に記述される。
【００８１】
続くステップＳ１５では、ＧＯＰ内の１０個のＢフレームに対応する１０個のＪＰＥＧフレームを送信エリア２６ｄにコピーする。そしてステップＳ１７で、送信エリア２６ｄに格納された各ＪＰＥＧフレームに対応Ｂフレームと同一のタイムスタンプを付与する。付与されたタイムスタンプは、ＪＰＥＧフレームのヘッダ（図７（Ｂ）参照）に記述される。そして、ステップＳ１１に戻る。
【００８２】
次に、ＣＰＵ５２の動作を説明する。図１３を参照して、キー入力装置５６によって通常再生モードが選択されると、ステップＳ２１で、受信エリア４４ａに２ＧＯＰ相当の画像データが蓄積されたか否かを判別する。ここでＮＯと判別すると待機し、ＹＥＳと判別するとステップＳ２３に進む。ステップＳ２３では、受信エリア４４ａ内の２ＧＯＰにフレームの欠落があるか否かをＧＯＰ毎のヘッダ情報（図７（Ａ）参照）に基づいて判別し、ＮＯと判別するとステップＳ２１に戻る。
【００８３】
ステップＳ２３でＹＥＳと判別すると、ステップＳ２５〜Ｓ２９のループを通じ、各欠落フレームについて代替フレームの選出を行う。すなわち、ステップＳ２５では、全ての欠落フレームについて代替フレームが選択されたか否かを判別し、ＮＯと判別するとループを抜けてステップＳ３１に移る。
【００８４】
ステップＳ２５でＹＥＳと判別するとステップＳ２７で、未だ代替フレームが選択されていない欠落フレームの中のいずれか１つおよびこの欠落フレームを参照するフレームの各々を対象として、タイムスタンプの算出を行う。そしてステップＳ２９で、算出された各タイムスタンプについて、これと一致（または十分近接）するタイムスタンプが付されたＪＰＥＧフレームを、受信エリア４４ａから代替フレームとして選出する。そして、ステップＳ２５に戻る。
【００８５】
ステップＳ３１では、受信エリア４４ａ内のフレームのうち、欠落フレームを参照するもの以外のＨ２６４フレーム、および代替フレームとして選択されたＪＰＥＧフレームを、デコード待ちエリア４４ｂに書き込む。
【００８６】
そしてステップＳ３３で、デコード待ちエリア４４ｂに格納されたＨ２６４フレームおよびＪＰＥＧフレームを、Ｈ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によってデコードする。そして、ステップＳ２１に戻る。デコードされたフレームは、表示エリア４４ｃ（図５参照）にタイムスタンプ順に書き込まれる。
【００８７】
図１４を参照して、早送り（ｓ倍速：たとえばｓ＝２）モードが選択されると、ステップＳ４１で、受信エリア４４ａにｎＧＯＰ（たとえばｎ＝６０）相当の画像データが蓄積されたか否かを判別する。ここでＮＯと判別すると待機し、ＹＥＳと判別すると、ステップＳ４３〜Ｓ４７のループを通じ、ｎＧＯＰ内の各Ｂフレームについて代替フレーム選出を行う。すなわち、ステップＳ４３では、ｎＧＯＰ内の全てのＢフレームについて代替フレームが選択されたか否かを判別し、ＮＯと判別するとループを抜けてステップＳ４９に移る。
【００８８】
ステップＳ４３でＹＥＳと判別するとステップＳ４５で、未だ代替が選択されていないＢフレームの中のいずれか１つのタイムスタンプを検出する。そしてステップＳ４７で、算出されたタイムスタンプと一致（または十分近接）するタイムスタンプが付されたＪＰＥＧフレームを、受信エリア４４ａから代替フレームとして選出する。そして、ステップＳ４３に戻る。
【００８９】
ステップＳ４９では、受信エリア４４ａ内のフレームのうち、Ｉ，Ｐフレーム、および代替フレームとして選択されたＪＰＥＧフレームを、デコード待ちエリア４４ｂに書き込む。
【００９０】
そしてステップＳ５１で、デコード待ちエリア４４ｂ内に格納されたＨ２６４フレームおよびＪＰＥＧフレームを、Ｈ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によってデコードする。そして、ステップＳ４１に戻る。デコードされたフレームは、表示エリア４４ｃにタイムスタンプ順に書き込まれる。
【００９１】
図１５を参照して、早戻し（−ｔ倍速：たとえばｔ＝３）モードが選択されると、ステップＳ６１で、受信エリア４４ａにｍＧＯＰ（たとえばｍ＝９０）相当の画像データが蓄積されたか否かを判別する。ここでＮＯと判別すると待機し、ＹＥＳと判別すると、ステップＳ６３〜Ｓ６７のループを通じ、ｍＧＯＰ内の各Ｂフレームについて代替フレーム選出を行う。すなわち、ステップＳ６３では、ｍＧＯＰ内の全てのＢフレームについて代替フレームが選択されたか否かを判別し、ＮＯと判別するとループを抜けてステップＳ６９に移る。
【００９２】
ステップＳ６３でＹＥＳと判別するとステップＳ６５で、未だ代替が選択されていないＢフレームの中のいずれか１つのタイムスタンプを検出する。そしてステップＳ６７で、算出されたタイムスタンプと一致（または十分近接）するタイムスタンプが付されたＪＰＥＧフレームを、受信エリア４４ａから代替フレームとして選出する。そして、ステップＳ６３に戻る。
【００９３】
ステップＳ６９では、受信エリア４４ａ内のフレームのうち、Ｉフレーム、および代替フレームとして選択されたＪＰＥＧフレームを、デコード待ちエリア４４ｂに書き込む。
【００９４】
そしてステップＳ７１で、デコード待ちエリア４４ｂに格納されたＨ２６４フレームおよびＪＰＥＧフレームを、Ｈ２６４デコーダ５２ａおよびＪＰＥＧデコーダ４６によってデコードする。そして、ステップＳ６１に戻る。デコードされたフレームは、表示エリア４４ｃにタイムスタンプ順に書き込まれる。
【００９５】
図１６を参照して、上記３つのメインタスクのいずれかと並列的に実行される表示制御タスクでは、ステップＳ８１およびＳ８３を通じて現在のモードを判別する。すなわち、ステップＳ８１では現モードが早送りモードであるか否かを判別し、ステップＳ８３では現モードが早戻しモードであるか否かを判別する。
【００９６】
ステップＳ８１およびＳ８３の各々でＮＯと判別すると、通常再生モードと見なし、ステップＳ８５に移る。ステップＳ８５では、ＬＣＤドライバ４８に命じて、表示エリア４４ｃに格納されたフレームを順方向に１倍速で表示する通常再生処理を実行させる。これにより、通常再生動画像がモニタ画面に表示される。
【００９７】
ステップＳ８１でＹＥＳと判別するとステップＳ８７に移り、表示エリア４４ｃに格納されたフレームを順方向にｓ倍速で表示する早送り処理を実行させる。これにより、早送り動画像がモニタ画面に表示される。ステップＳ８３でＹＥＳと判別するとステップＳ８７に移り、表示エリア４４ｃに格納されたフレームを逆方向にｔ倍速で表示する早戻し処理を実行させる。これによって、早戻し動画像がモニタ画面に表示される。ステップＳ８５〜Ｓ８９のいずれかが実行されると、ステップＳ８１およびＳ８３の判別処理に戻る。
【００９８】
以上から明らかなように、この実施例では、カメラ１２において、イメージセンサ２０から出力される被写界像の各々がＨ２６４エンコーダ３２ａによりエンコード（符号化）される。イメージセンサ２０から出力される被写界像のうち、Ｈ２６４エンコーダ３２ａによってＢフレームとしてエンコードされるべき被写界像の各々はまた、ＪＰＥＧエンコーダ２８によってエンコードされる。ＣＰＵ３２は、こうして得られるＨ２６４フレームおよびＪＰＥＧフレームを互いに多重して送信する（Ｓ１１〜Ｓ１７）。
【００９９】
ＰＣ１４においては、ＣＰＵ５２が受信されたＪＰＥＧフレームのうち所望のものを選択し（Ｓ２５〜Ｓ２９，Ｓ４３〜Ｓ４７，Ｓ６３~Ｓ６７）、ＪＰＥＧデコーダ４６は選択されたＪＰＥＧフレームの各々をデコード（復号化）し、Ｈ２６４デコーダ５２ａは選択されたＪＰＥＧフレームに対応するもの以外のＨ２６４フレームの各々をデコードする。
【０１００】
このように、カメラ１２がイメージセンサ２０から出力される被写界像の各々をＨ２６４方式およびＪＰＥＧ方式でそれぞれエンコードして同時に送信し、ＰＣ１４は、受信したＪＰＥＧフレームのうち所望のＪＰＥＧフレームを選択して、選択したＪＰＥＧフレームの各々をデコードする一方、受信したＨ２６４フレームのうち選択したＪＰＥＧフレームに対応するものを少なくとも除くＨ２６４フレームの各々をデコードする。このため、ＰＣ１４は、同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力できる。
【０１０１】
また、カメラ１２が、ＪＰＥＧエンコードの対象を、ＢフレームとしてＨ２６４エンコードされる被写界像に絞り込むことで、ＰＣ１４との間で送受信されるデータ量を抑制できる。
【０１０２】
なお、この実施例では、動画符号化方式として、ＭＰＥＧ方式の一種であるＨ２６４方式を用いたが、これに代えて、ＭＰＥＧ４方式など他のＭＰＥＧ方式を用いてもよい。ＭＰＥＧ方式以外にも、Ｍｏｔｉｏｎ−ＪＰＥＧなど任意の動画符号化方式を用いることができる。また、静止画符号化方式としてＪＰＥＧ方式を用いたが、これに代えて、ＧＩＦなど任意の静止画符号化方式を用いることができる。
【０１０３】
以上では、ネットワークカメラシステム１０について説明したが、この発明は、被写界を繰り返し撮影する撮影手段から出力される被写界像の各々を送信する送信装置と、送信装置によって送信された被写界像の各々を受信する受信装置を備える、送受信システムに適用できる。そして、このような送受信システムでは、送受信データ量を抑制しつつ、受信側が同一の被写界を表す異なる種類の被写界像を選択的かつリアルタイムに出力できる、という効果が得られる。
【０１０４】
また、この発明は、送受信を行わない単なる処理装置に適用することも可能である。このような処理装置は、撮影手段（イメージセンサ２０）から出力される被写界像の各々を第１方式（Ｈ２６４方式）で符号化し、第１方式で符号化されるべき被写界像のうち既定条件を満足する被写界像（Ｂフレーム）の各々を第２方式（ＪＰＥＧ方式）で符号化し、第２方式で符号化された第２符号化被写界像のうち所望の第２符号化被写界像（Ｂフレームに対応するＪＰＥＧフレーム）を選択し、そして、選択した第２符号化被写界像の各々を第２方式で復号化する一方、第１方式で符号化された第１符号化被写界像のうち選択した第２符号化被写界像に対応するものを少なくとも除く第１符号化被写界像（Ｉ，Ｐフレーム）の各々を第１方式で復号化する。
【０１０５】
これにより、エンコード／デコードのための処理量を抑止しつつ、同一の被写界を表す異なる種類の被写界像を選択的に出力できる、という効果が得られる。
【図面の簡単な説明】
【０１０６】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】図１実施例に適用されるカメラの構成例を示すブロック図である。
【図３】図１実施例に適用されるＰＣの構成例を示すブロック図である。
【図４】カメラのＳＤＲＡＭに適用されるメモリマップの一例を示す図解図である。
【図５】ＰＣのＳＤＲＡＭに適用されるメモリマップの一例を示す図解図である。
【図６】（Ａ）はカメラで実行されるエンコード処理の一例を示す図解図であり、（Ｂ）はカメラで実行される多重処理の一例を示す図解図である。
【図７】（Ａ）はＨ２６４フォーマットのＧＯＰ構造を示す図解図であり、（Ｂ）はＪＰＥＧフォーマットのフレーム構造を示す図解図である。
【図８】ＰＣで実行されるデコード処理の一例を示す図解図である。
【図９】ＰＣで実行されるデコード処理の他の一例を示す図解図である。
【図１０】ＰＣで実行されるデコード処理のその他の一例を示す図解図である。
【図１１】ＰＣで実行されるデコード処理のさらにその他の一例を示す図解図である。
【図１２】カメラ側のＣＰＵ動作の一部を示すフロー図である。
【図１３】ＰＣ側のＣＰＵ動作の一部を示すフロー図である。
【図１４】ＰＣ側のＣＰＵ動作の他の一部を示すフロー図である。
【図１５】ＰＣ側のＣＰＵ動作のその他の一部を示すフロー図である。
【図１６】ＰＣ側のＣＰＵ動作のさらにその他の一部を示すフロー図である。
【符号の説明】
【０１０７】
１０  …ネットワークカメラシステム
１２  …カメラ
１４  …ＰＣ
１６  …ネットワーク
２０  …イメージセンサ
２４，４２  …メモリ制御回路
２６，４４  …ＳＤＲＡＭ
２８  …ＪＰＥＧエンコーダ
３０，４０  …通信Ｉ／Ｆ
３２，５２  …ＣＰＵ
３２ａ  …Ｈ２６４エンコーダ
４６  …ＪＰＥＧデコーダ
５２ａ  …Ｈ２６４デコーダ
【図１】
2009021728.tif 000003
【図２】
2009021728.tif 000004
【図３】
2009021728.tif 000005
【図４】
2009021728.tif 000006
【図５】
2009021728.tif 000007
【図６】
2009021728.tif 000008
【図７】
2009021728.tif 000009
【図８】
2009021728.tif 000010
【図９】
2009021728.tif 000011
【図１０】
2009021728.tif 000012
【図１１】
2009021728.tif 000013
【図１２】
2009021728.tif 000014
【図１３】
2009021728.tif 000015
【図１４】
2009021728.tif 000016
【図１５】
2009021728.tif 000017
【図１６】
2009021728.tif 000018