(57)【要約】【課題】動画のリアルタイム配信と、高品質な動画記録の両立を可能とする技術を提供する。【解決手段】デジタルカメラ１００は、撮影手段１５０により撮影した動画を記憶手段１２０に格納する。送信フレーム選択手段１３０は、リアルタイムな動画配信を実現するために、記憶手段１２０に格納されたフレームのうち、最新のものを優先して記録再生装置２００へ送信するとともに、配信状況に応じて、余裕のあるときにスキップしていたフレームを送信する。記録再生装置２００は、デジタルカメラ１００から最新のフレームを受信すると、それを表示手段２３０に表示してリアルタイムに再生する一方、画像データを適宜第一記憶部２５２に退避しつつ、動画合成手段２１０により順に所定の形式のファイルに格納する。【選択図】　　　　図１
2004135081.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して動画を配信する画像配信装置と、
前記動画を記録再生する記録再生装置と、を含み、
前記画像配信装置は、
配信すべき動画を構成するフレームを取得する取得手段と、
前記取得手段により取得されたフレームを格納する記憶手段と、
前記記憶手段から次に送信するフレームを選択する選択手段と、
前記選択手段により選択されたフレームを送信する通信手段と、を含み、
前記記録再生装置は、
前記画像配信装置から受信したフレームを一時的に保持する第一記憶部と、
受信したフレームを表示するか否かを判定する出力判定手段と、
前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、
前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、
前記動画ファイルを格納する第二記憶部と、を含み、
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする画像配信システム。
【請求項２】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが複数前記記憶手段に格納されているとき、それらのうち最新のフレームを選択することを特徴とする請求項１に記載の画像配信システム。
【請求項３】
前記動画は、他のフレームを参照せずに符号化された第１フレームと、そのフレームよりも前のフレームを参照して符号化された第２フレームと、そのフレームの前後のフレームを参照して符号化された第３フレームにより構成され、各フレームに表示順を示すフレーム番号を付し、前記第１フレームおよび前記第２フレームの周期をＭ、既に送信した第１フレームまたは第２フレームのフレーム番号のうち最大のフレーム番号をＸとするとき、
前記選択手段は、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されているときは、それらの第１フレームのうち最も大きいフレーム番号の第１フレームを選択し、
前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されておらず、Ｘより大きいフレーム番号の第２フレームが格納されているときは、それらの第２フレームのうち最も小さいフレーム番号の第２フレームを選択し、
前記記憶手段にＸより大きいフレーム番号の第１フレームおよび第２フレームが格納されておらず、Ｘ−Ｍより大きくＸより小さいフレーム番号の第３フレームが格納されているときは、それらの第３フレームのうち最も小さいフレーム番号の第３フレームを選択する
ことを特徴とする請求項１に記載の画像配信システム。
【請求項４】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されていないとき、前記記憶手段に格納されたフレームのうち最古のフレームを選択することを特徴とする請求項１から３のいずれかに記載の画像配信システム。
【請求項５】
前記出力判定手段は、受信したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする請求項１から４のいずれかに記載の画像配信システム。
【請求項６】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを受信するまで、受信したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを受信したときに、受信したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項１から５に記載の画像配信システム。
【請求項７】
ネットワークを介して動画を配信する画像配信装置であって、
配信すべき動画を構成するフレームを取得する取得手段と、
前記取得手段により取得されたフレームを格納する記憶手段と、
前記記憶手段から次に送信するフレームを選択する選択手段と、
前記選択手段により選択されたフレームを送信する通信手段と、を含み、
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする画像配信装置。
【請求項８】
動画を取得して記録再生する記録再生装置であって、
動画を構成するフレームを取得する取得手段と、
取得したフレームを一時的に保持する第一記憶部と、
取得したフレームを表示するか否かを判定する出力判定手段と、
前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、
前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、
前記動画ファイルを格納する第二記憶部と、を含み、
前記出力判定手段は、取得したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする記録再生装置。
【請求項９】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項８に記載の記録再生装置。
【請求項１０】
ネットワークを介して動画を配信する方法であって、
配信すべき動画を構成するフレームを取得する工程と、
取得されたフレームを記憶手段に格納する工程と、
前記記憶手段から次に送信するフレームを選択する工程と、
選択されたフレームを送信する工程と、を含み、
前記選択する工程は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択することを特徴とする方法。
【請求項１１】
動画を取得して記録再生する方法であって、
動画を構成するフレームを取得する工程と、
取得したフレームを一時的に記憶手段に保持する工程と、
取得したフレームを表示するか否かを判定する工程と、
表示すると判定されたフレームを表示する工程と、
前記記憶手段に保持されたフレームから所定の形式の動画ファイルを生成する工程と、を含み、
前記判定する工程は、取得したフレームが、前記表示する工程により表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定することを特徴とする方法。
【請求項１２】
前記生成する工程は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記記憶手段に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記記憶手段に格納されていれば、そのフレームも前記動画ファイルに記録することを特徴とする請求項１１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像配信技術に関し、とくに動画をリアルタイムに配信し、その動画を記録再生する技術に関する。
【０００２】
【従来の技術】
デジタルビデオカメラなどの撮影装置が広く普及し、誰もが手軽に動画を撮影し、その動画を記録媒体に記録して保存したり、ネットワークを介して配信したりすることができるようになっている。とくに、動画撮影機能と通信機能の双方を有する装置の登場により、撮影した動画をその場で配信することが可能となった。このような装置によれば、撮影者の周囲の画像を、遠隔にいる第三者に対してほぼリアルタイムに配信することができ、また、受信側では、その動画を再生し、さらに記録媒体に記録しておくこともできる。
【０００３】
リアルタイム性を重視して動画を配信する方法として、ネットワークトラフィックの状況を考慮し、画質やフレームレートを落としてデータ量を削減して動画データを配信する技術が提案されている（たとえば、特許文献１参照）。
【０００４】
また、画質を重視して動画を配信する方法として、配信側は撮影した動画データを、画質を落とさずに配信し、受信側はその動画データを一旦メモリに蓄積し、所定量のデータが蓄積された後に再生を開始する技術が提案されている（たとえば、特許文献２参照）。
【０００５】
【特許文献１】
特開平８−３１７３８４号公報　（全文）
【特許文献２】
特開平１０−３０８９２５号公報　（全文）
【０００６】
【発明が解決しようとする課題】
しかしながら、動画配信において、リアルタイム性と画質はトレードオフの関係にあり、リアルタイム性を重視するならば、特許文献１に提案されている通り、ある程度画質を落としてデータ量を削減する必要があり、画質を重視するならば、特許文献２に提案されている通り、ネットワークの状況に応じて多少の遅延が生じるのは止むを得ない。
【０００７】
本発明は、そうした課題に鑑みてなされたものであり、その目的は、動画のリアルタイム配信と、高品質な動画記録の両立を可能とする技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様は画像配信システムに関する。この画像配信システムは、ネットワークを介して動画を配信する画像配信装置と、前記動画を記録再生する記録再生装置と、を含み、前記画像配信装置は、配信すべき動画を構成するフレームを取得する取得手段と、前記取得手段により取得されたフレームを格納する記憶手段と、前記記憶手段から次に送信するフレームを選択する選択手段と、前記選択手段により選択されたフレームを送信する通信手段と、を含み、前記記録再生装置は、前記画像配信装置から受信したフレームを一時的に保持する第一記憶部と、受信したフレームを表示するか否かを判定する出力判定手段と、前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、前記動画ファイルを格納する第二記憶部と、を含み、前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【０００９】
ここで、「フレーム」は、動画を構成する画像の単位であり、ＭＰＥＧにおけるピクチャ、フレームに準ずる「フィールド」等の概念を含む。「新しい」フレームとは、動画において、あるフレームよりも時間的に後に記録または再生されるフレームを指す。取得手段が、記録順または再生順にフレームを取得する場合は、あるフレームよりも後に取得されたフレームと同義である。新しいフレームを優先して送信することにより、取得した動画をリアルタイムに配信することが可能となる。逆に、あるフレームよりも時間的に前に記録または再生されるフレームを、「古い」フレームと呼ぶ。
【００１０】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが複数前記記憶手段に格納されているとき、それらのうち最新のフレームを選択してもよい。最新のフレームを優先して送ることにより、記録再生装置側の遅延時間を最小限に抑えることができる。
【００１１】
前記動画は、他のフレームを参照せずに符号化された第１フレームと、そのフレームよりも前のフレームを参照して符号化された第２フレームと、そのフレームの前後のフレームを参照して符号化された第３フレームにより構成され、各フレームに表示順を示すフレーム番号を付し、前記第１フレームおよび前記第２フレームの周期をＭ、既に送信した第１フレームまたは第２フレームのフレーム番号のうち最大のフレーム番号をＸとするとき、前記選択手段は、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されているときは、それらの第１フレームのうち最も大きいフレーム番号の第１フレームを選択し、前記記憶手段にＸより大きいフレーム番号の第１フレームが格納されておらず、Ｘより大きいフレーム番号の第２フレームが格納されているときは、それらの第２フレームのうち最も小さいフレーム番号の第２フレームを選択し、前記記憶手段にＸより大きいフレーム番号の第１フレームおよび第２フレームが格納されておらず、Ｘ−Ｍより大きくＸより小さいフレーム番号の第３フレームが格納されているときは、それらの第３フレームのうち最も小さいフレーム番号の第３フレームを選択してもよい。第１フレーム、第２フレーム、第３フレームは、それぞれ、ＭＰＥＧにおけるＩピクチャ、Ｐピクチャ、Ｂピクチャであってもよい。
【００１２】
前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されていないとき、前記記憶手段に格納されたフレームのうち最古のフレームを選択してもよい。時間的に余裕のあるときに、送信せずにスキップしていたフレームを送ることで、全てのフレームを記録再生装置に送信する。このとき、古いものから順に送ることにより、記録再生装置側の記録処理を円滑に進めることができる。
【００１３】
前記出力判定手段は、受信したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定してもよい。これにより、動画のリアルタイムな再生が可能となる。受信したフレームが、表示中のフレームよりも古いフレームであったときは、そのフレームは表示しない。
【００１４】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを受信するまで、受信したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを受信したときに、受信したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。これにより、全てのフレームを順に動画ファイルに記録することができるので、欠落フレームのない高品質な動画の記録が可能となる。
【００１５】
本発明の別の態様は、画像配信装置に関する。この画像配信装置は、ネットワークを介して動画を配信する画像配信装置であって、配信すべき動画を構成するフレームを取得する取得手段と、前記取得手段により取得されたフレームを格納する記憶手段と、前記記憶手段から次に送信するフレームを選択する選択手段と、前記選択手段により選択されたフレームを送信する通信手段と、を含み、前記選択手段は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【００１６】
本発明のさらに別の態様は、記録再生装置に関する。動画を取得して記録再生する記録再生装置であって、動画を構成するフレームを取得する取得手段と、取得したフレームを一時的に保持する第一記憶部と、取得したフレームを表示するか否かを判定する出力判定手段と、前記出力判定手段により表示すると判定されたフレームを表示する表示手段と、前記第一記憶部に保持されたフレームから所定の形式の動画ファイルを生成する動画合成手段と、前記動画ファイルを格納する第二記憶部と、を含み、前記出力判定手段は、取得したフレームが、前記表示手段に表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定する。
【００１７】
前記動画合成手段は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記第一記憶部に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記第一記憶部に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。
【００１８】
本発明のさらに別の態様は、画像配信方法に関する。この方法は、ネットワークを介して動画を配信する方法であって、配信すべき動画を構成するフレームを取得する工程と、取得されたフレームを記憶手段に格納する工程と、前記記憶手段から次に送信するフレームを選択する工程と、選択されたフレームを送信する工程と、を含み、前記選択する工程は、既に送信した全てのフレームよりも新しいフレームが前記記憶手段に格納されているとき、そのフレームを優先して選択する。
【００１９】
本発明のさらに別の態様は、記録再生方法に関する。この方法は、動画を取得して記録再生する方法であって、動画を構成するフレームを取得する工程と、取得したフレームを一時的に記憶手段に保持する工程と、取得したフレームを表示するか否かを判定する工程と、表示すると判定されたフレームを表示する工程と、前記記憶手段に保持されたフレームから所定の形式の動画ファイルを生成する工程と、を含み、前記判定する工程は、取得したフレームが、前記表示する工程により表示中のフレームよりも後に表示すべきフレームであったとき、そのフレームを表示すると判定する。
【００２０】
前記生成する工程は、前記動画ファイルに記録した最終フレームにつづくフレームを取得するまで、取得したフレームを一時的に前記記憶手段に退避し、前記最終フレームにつづくフレームを取得したときに、取得したフレームを前記動画ファイルに記録し、さらにそのフレームにつづくフレームが前記記憶手段に格納されていれば、そのフレームも前記動画ファイルに記録してもよい。
【００２１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００２２】
【発明の実施の形態】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像配信システム１０の全体構成を示す。画像配信システム１０は、画像配信装置の一例としてのデジタルカメラ１００と、デジタルカメラ１００により撮影された動画を記録再生する記録再生装置２００とを備える。デジタルカメラ１００および記録再生装置２００は、ネットワークの一例としてのインターネット２０により接続されており、インターネット２０を介して画像が配信される。
【００２３】
本実施の形態のデジタルカメラ１００は、撮影した動画をリアルタイムに記録再生装置２００へ配信するために、配信状況に応じて、配信するフレームを適宜選択して送信する。すなわち、動画を構成するフレームを単に撮影順に送信するのではなく、あるフレームの送信中に複数のフレームが撮影されてバッファに蓄えられていた場合は、それらのうち最新のフレームを優先して送る。単に撮影順にフレームを送信する場合、記録再生装置２００により再生される動画の再生速度は、フレームの転送速度に依存することとなり、１つのフレームの送信に要する時間がフレームの撮影間隔よりも長いときは、記録再生装置２００側における遅延時間が次第に大きくなっていき、リアルタイム性が破綻する。したがって、本実施の形態では、あるフレームの送信に要する時間が撮影間隔よりも長かったとき、配信するフレームを適宜間引くことにより撮影の進行に追随させ、リアルタイムな動画の配信を実現する。スキップされたフレームは、１フレームの送信時間が撮影間隔よりも短かった場合など、時間的余裕が生じたときに適宜挿入して配信することで、全てのフレームを記録再生装置２００に配信する。
【００２４】
記録再生装置２００は、再生に関しては、受信したフレームが最新のフレームであるとき、そのフレームを表示することにより、動画をリアルタイムに再生する。また、記録に関しては、受信するフレームが撮影順に並んでいないとき、すなわち、スキップされたフレームがあるときは、スキップされたフレーム以降のフレームを適宜バッファに蓄えつつ、撮影順に並び替えて記録する。これにより、動画のリアルタイム表示と、欠落フレームのない高品質な動画記録の両立を可能とする。
【００２５】
デジタルカメラ１００は、主に、制御手段１１０、記憶手段１２０、送信フレーム選択手段１３０、通信手段１４０、取得手段の一例としての撮影手段１５０、およびそれらを電気的に接続するバス１０２を備える。通信手段１４０は、インターネット２０を介して動画を記録再生装置２００へ送信するためのモデム、ネットワークモジュールなどの構成を含む。撮影手段１５０は、動画を撮影するためのＣＣＤなどの撮像素子、音声を取得するためのマイク、画像および音声信号を処理するためのＡ／Ｄコンバータ、符号化器などの構成を含む。動画を構成する各フレームの画像データおよび音声データは、撮影された後、記憶手段１２０に保持される。記憶手段１２０は、デジタルカメラ１００を制御するためのプログラムのプログラムエリアまたはワークエリアとしても使用される。
【００２６】
制御手段１１０は、デジタルカメラ１００を統括的に制御する。送信フレーム選択手段１３０は、記憶手段１２０に蓄積されているフレームの中から記録再生装置２００へ送信すべきフレームを選択する。これらの構成は、ハードウェア的にはコンピュータのＣＰＵやメモリなどの構成で実現でき、ソフトウェア的にはプログラムなどによって実現できるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろな形で実現できる。動画配信時の制御手段１１０および送信フレーム選択手段１３０の動作の詳細については、図面を参照しつつ後述する。
【００２７】
記録再生装置２００は、主に、動画合成手段２１０、取得手段の一例としての通信手段２２０、表示手段２３０、制御手段２４０、記憶手段２５０、出力判定手段２６０、およびそれらを電気的に接続するバス２０２を備える。通信手段２２０は、インターネット２０を介して動画をデジタルカメラ１００から受信するためのモデム、ネットワークモジュールなどの構成を含む。表示手段２３０は、動画を再生表示するための液晶モニタなどの表示装置、音声を出力するためのスピーカ、画像および音声信号を処理するためのＤ／Ａコンバータ、復号器などの構成を含む。記憶手段２５０は、ＲＡＭなどの記憶素子からなる第一記憶部２５２と、ハードディスクなどの記録媒体からなる第二記憶部２５４を含む。動画を構成する各フレームの画像データおよび音声データは、受信した後、第一記憶部２５２に一時的に保持される。第二記憶部２５４は、動画合成手段２１０により所定のファイルフォーマットに変換された動画ファイルを格納する。第一記憶部２５２は、記録再生装置２００を制御するためのプログラムのプログラムエリアまたはワークエリアとしても使用される。
【００２８】
制御手段２４０は、記録再生装置２００を統括的に制御する。動画合成手段２１０は、第一記憶部２５２に一時的に格納されているフレームを順に取り出し、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどのファイルフォーマットに符号化して第二記憶部２５４に格納する。出力判定手段２６０は、受信したフレームを表示手段２３０に表示するか否かを判定する。これらの構成も、ハードウェア、ソフトウェアの組合せによっていろいろな形で実現できる。記録再生時の制御手段２４０、動画合成手段２１０、および出力判定手段２６０の動作の詳細については、図面を参照しつつ後述する。
【００２９】
図２は、動画を構成する各フレームのデータ構造を示す。フレーム４００は、ヘッダ４１０と画像データ４２０を含む。ヘッダ４１０は、撮影順を示すフレーム番号を格納するフレーム番号欄４０２、フレームタイプを格納するフレームタイプ欄４０４、フレームの総バイト数を格納するデータサイズ欄４０６、およびデータの破損確認用のチェックサム欄４０８を含む。フレームタイプ欄４０４は、たとえばＭＰＥＧの場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどの符号化タイプを格納する。
【００３０】
図３は、本実施の形態の画像配信方法の手順を示すフローチャートである。本実施の形態では、動画をＭｏｔｉｏｎＪＰＥＧ形式で配信する。デジタルカメラ１００は、まず、動画ファイルのヘッダ情報を送信し（Ｓ１００）、送信済み最大フレーム番号を示す制御変数Ｘに０をセットする（Ｓ１０２）。つづいて、記憶手段１２０に格納されたフレームのうち、最新のフレームの番号を制御変数Ｙにセットする（Ｓ１０４）。ＸがＹよりも小さければ（Ｓ１０６のＹ）、送信済みのフレームよりも後に撮影されたフレームが記憶手段１２０に格納されているので、リアルタイム性を保証するために、最新のフレームである、フレーム番号がＹのフレームを記録再生装置２００に送信し（Ｓ１０８）、送信済み最大フレーム番号ＸをＹに変更する（Ｓ１１０）。このとき、フレーム番号がＸより大きくＹより小さいフレームはスキップされる。ここで、記憶手段１２０に格納されたフレームを全て送信し、かつ撮影が終了している場合は（Ｓ１１４のＹ）、画像の配信を終了する。記憶手段１２０にフレームが格納されているか、または撮影が続行されている場合は（Ｓ１１４のＮ）、Ｓ１０４に戻り、動画の配信を続ける。
【００３１】
Ｓ１０６において、ＸがＹ以上であれば（Ｓ１０６のＮ）、既に最新のフレームの送信が終了しているので、スキップされていたフレームを送信すべく、記憶手段１２０に格納されているフレームのうちフレーム番号が最小のフレームを記録再生装置２００に送信する（Ｓ１１２）。このとき、記憶手段１２０に残っているいずれのフレームを送信してもよいが、本実施の形態では、記録再生装置２００における記録処理を円滑に進めるため、フレーム番号が小さいものから順に送信することにする。
【００３２】
デジタルカメラ１００は、フレームを記録再生装置２００に送信したとき、そのフレームをいったん送信待ち行列から削除し、記録再生装置２００からの受信確認応答を待つ。受信確認応答の最大待ち時間を、たとえば１５００ミリ秒などと設定し、その時間を過ぎても記録再生装置２００から受信確認応答を受信しなかった場合は、そのフレームを再び送信待ち行列に登録して、時間的余裕のあるときに再送する。これにより、送信エラーによるフレームの欠落を防ぐことができる。
【００３３】
図４は、本実施の形態の記録再生方法の手順を示すフローチャートである。記録再生装置２００は、動画の受信を開始すると、ＭｏｔｉｏｎＪＰＥＧ形式の動画ファイルを生成し、受信したヘッダ情報を書き込む（Ｓ２００）。つづいて、受信済み最大フレーム番号を示す制御変数Ｌに０をセットし、書き込み済み最終フレーム番号を示す制御変数Ｍに０をセットする（Ｓ２０２）。デジタルカメラ１００からフレームを受信すると、受信確認応答をデジタルカメラ１００に送信し、制御変数Ｎにそのフレームの番号をセットする（Ｓ２０４）。ここで、出力判定手段２６０は、ＬとＮの値を比較し、受信したフレームを表示手段２３０に出力するか否かを判定する（Ｓ２０６）。ＬがＮよりも小さければ（Ｓ２０６のＹ）、受信したフレームは最新のフレームであるから、そのフレームを表示手段２３０に表示し（Ｓ２０８）、受信済み最大フレーム番号ＬをＮに更新する（Ｓ２１０）。ＬがＮ以上であれば（Ｓ２０６のＮ）、受信したフレームは最新のフレームではなく、スキップされていたフレームであるから、Ｓ２０８およびＳ２１０をスキップし、このフレームは表示せず、受信済み最大フレーム番号Ｌも更新しない。
【００３４】
つづいて、受信したフレームのフレーム番号Ｎが、書き込み済み最終フレーム番号Ｍの次の番号であるか否かを判断する（Ｓ２１２）。Ｎ＝Ｍ＋１でなければ（Ｓ２１２のＮ）、ＭとＮの間の番号のフレームがスキップされているので、スキップされたフレームを受信するまで、フレーム番号Ｎの画像データを第一記憶部２５２に一時的に退避し（Ｓ２２２）、Ｓ２０４に戻り、次のフレームの処理に移る。Ｎ＝Ｍ＋１であれば（Ｓ２１２のＹ）、動画合成手段２１０は、受信したフレームの画像データをファイルに追記し（Ｓ２１４）、さらに、第一記憶部２５２にＮに続くフレーム番号の画像データが退避されていれば、それをファイルに追記する（Ｓ２１６）。そして、書き込んだ最終フレーム番号をＭに代入する（Ｓ２１８）。ここで、第一記憶部２５２に格納されたフレームを全てファイルに記録し、かつ全フレームの受信が終了している場合は（Ｓ２２０のＹ）、ファイルをクローズして（Ｓ２２４）、処理を終了する。第一記憶部２５２にフレームが退避されているか、またはフレームの受信が続行されている場合は（Ｓ２２０のＮ）、Ｓ２０４に戻り、処理を続ける。
【００３５】
図５は、デジタルカメラ１００から動画が配信され、記録再生装置２００により記録再生される様子を模式的に示す。まず、動画の配信手順について説明する。時刻ｔ１に、撮影手段１５０により第１フレームが撮像され、記憶手段１２０に格納される。送信フレーム選択手段１３０は、最新のフレームである第１フレームを選択し、通信手段１４０を介して記録再生装置２００へ送信する。第１フレームの送信中、時刻ｔ２に、第２フレームが撮影され、記憶手段１２０に格納される。第１フレームの送信が完了すると、送信フレーム選択手段１３０は、送信済み最大フレーム番号Ｘを「１」に更新し、記憶手段１２０に格納されたフレームのうち最大フレーム番号のフレームである第２フレームを選択して送信する。
【００３６】
第２フレームの送信中、時刻ｔ３に第３フレームが、時刻ｔ４に第４フレームが撮影され、それぞれ記憶手段１２０に格納される。第２フレームの送信が完了すると、送信フレーム選択手段１３０は、送信済み最大フレーム番号Ｘを「２」に更新し、つづいて最新のフレームである第４フレームを選択して送信する。このとき、第３フレームはスキップされる。
【００３７】
第４フレームの送信中、時刻ｔ５に第５フレームが撮影され記憶手段１２０に格納される。第４フレームの送信が完了すると、Ｘが「４」に更新され、つづいて第５フレームが送信される。第５フレームの送信中、時刻ｔ６に第６フレームが撮影され格納される。ここで、通信エラーなどにより、記録再生装置２００が第５フレームを受信できなかったとする。このとき、受信確認応答が戻ってこないので、Ｘは再び「４」に戻される。
【００３８】
第５フレームの送信に失敗したが、直ちに再送するのではなく、既に第６フレームが撮影されているので、リアルタイム性を保証するために、先に最新のフレームである第６フレームを送信する。第６フレームの送信が完了すると、Ｘが「６」に更新される。このとき、まだ第７フレームの撮影は完了していないので、最新のフレームを送ることはできない。したがって、第７フレームの撮影が完了するまでの時間を利用して、送信していなかったフレームを送信する。ここでは、記憶手段１２０に格納されているフレームのうち、最小のフレーム番号である第３フレームが送信される。
【００３９】
第３フレームの送信中、時刻ｔ７に第７フレームが撮影され格納される。第３フレームの送信が完了すると、つづいて最新のフレームである第７フレームが送信される。このとき、Ｘは更新されず、「６」のままである。第７フレームの送信が完了すると、Ｘが「７」に更新される。第８フレームの撮影は完了していないので、記憶手段１２０中の最小フレーム番号である第５フレームが送信される。第５フレームの送信が完了すると、送信中に撮影が完了していた第８フレームが送信される。
【００４０】
次に、動画の記録再生手順について説明する。記録再生装置２００は、第１フレームを受信すると、出力判定手段２６０がそのフレームを表示手段２３０に表示するとともに、動画合成手段２１０が画像データをファイルに格納する。このとき、受信済み最大フレーム番号Ｘは「１」に更新され、書き込み済み最終フレーム番号Ｙも「１」に更新される。つづいて、第２フレームを受信すると、出力判定手段２６０は、受信したフレーム番号Ｎの値「２」と、Ｌの値「１」を比較し、ＮがＬよりも大きいので、最新フレームであると判断し、表示手段２３０に出力するとともに、Ｌを「２」に更新する。動画合成手段２１０は、Ｎの値「２」がＭの値「１」の次の番号であるから、第２フレームをファイルに追記し、Ｍを「２」に更新する。
【００４１】
つづいて、第４フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「４」に更新される。しかし、受信したフレーム番号「４」は、書き込み済み最終フレーム番号「２」の次の番号ではないから、第４フレームはファイルには追記されず、スキップされた第３フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４２】
つづいて、第６フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「６」に更新される。しかし、受信したフレーム番号「６」は、書き込み済み最終フレーム番号「２」の次の番号ではないから、第６フレームはファイルには追記されず、スキップされている第３および第５フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４３】
つづいて、第３フレームを受信すると、そのフレームは最新のフレームではないので、表示手段２３０に出力されず、引き続き第６フレームが表示される。受信したフレーム番号「３」は、書き込み済み最終フレーム番号「２」の次の番号であるから、第３フレームがファイルに追記され、さらに、第一記憶部２５２に退避されていた第４フレームがファイルに追記される。このとき、書き込み済み最終フレーム番号Ｍが「４」に更新される。
【００４４】
つづいて、第７フレームを受信すると、そのフレームは最新のフレームであるから、表示手段２３０に出力され、Ｌは「７」に更新される。しかし、受信したフレーム番号「７」は、書き込み済み最終フレーム番号「４」の次の番号ではないから、第７フレームはファイルには追記されず、スキップされている第５フレームを受信するまでの間、第一記憶部２５２に退避される。
【００４５】
つづいて、第５フレームを受信すると、そのフレームは最新のフレームではないので、表示手段２３０に出力されず、引き続き第７フレームが表示される。受信したフレーム番号「５」は、書き込み済み最終フレーム番号「４」の次の番号であるから、第５フレームがファイルに追記され、さらに、第一記憶部２５２に退避されていた第６および第７フレームがファイルに追記される。このとき、書き込み済み最終フレーム番号Ｍが「７」に更新される。
【００４６】
以上、説明したように、本実施の形態の画像配信システム１０によれば、動画のリアルタイム配信を実現するために、配信状況に応じて適宜フレームをスキップして配信しつつ、最終的には全てのフレームを配信することで、欠落フレームのない高品質な動画記録が可能となる。
【００４７】
（第２の実施の形態）
第１の実施の形態では、動画をＭｏｔｉｏｎＪＰＥＧ形式で配信したが、本実施の形態では、動画をＭＰＥＧ形式で配信する。本実施の形態の画像配信システム１０の全体構成は、図１に示した第１の実施の形態の画像配信システム１０の全体構成と同様である。以下、本実施の形態の画像配信方法および記録再生方法の手順について説明する。
【００４８】
図６は、本実施の形態の画像配信方法の手順を示すフローチャートである。図８に、この例の説明に用いるＭＰＥＧファイルのピクチャ構成を示す。デジタルカメラ１００は、まず、動画ファイルのヘッダ情報を送信し（Ｓ３００）、送信済みＩまたはＰピクチャの最大フレーム番号を示す制御変数Ｘに０をセットするとともに、Ｉ、Ｐピクチャの周期Ｍを設定する（Ｓ３０２）。本実施の形態では、図８に示すように、Ｍ＝３である。つづいて、送信フレーム選択手段１３０は、記憶手段１２０に格納されたピクチャの中に、Ｘよりも大きい番号のＩピクチャがあるか否かを判定する（Ｓ３０４）。Ｘより大きい番号のＩピクチャがあるときは（Ｓ３０４のＹ）、対象となるＩピクチャのうち最もフレーム番号が大きい、すなわち最新のＩピクチャを選択して記録再生装置２００へ送信し（Ｓ３０６）、Ｘにそのフレーム番号を代入する（Ｓ３０８）。
【００４９】
Ｓ３０４において、Ｘより大きい番号のＩピクチャがなかったときは（Ｓ３０４のＮ）、次に、記憶手段１２０の中にＸより大きい番号のＰピクチャがあるか否かを判定する（Ｓ３１０）。Ｘより大きい番号のＰピクチャがあるときは（Ｓ３１０のＹ）、対象となるＰピクチャのうち最もフレーム番号が小さいＰピクチャを選択して送信し（Ｓ３１２）、Ｘにそのフレーム番号を代入する（Ｓ３１４）。
【００５０】
Ｓ３１０において、Ｘより大きい番号のＰピクチャがなかったときは（Ｓ３１０のＮ）、次に、記憶手段１２０の中にＸ−Ｍより大きくＸよりも小さい番号のＢピクチャがあるか否かを判定する（Ｓ３１６）。Ｘ−Ｍより大きくＸより小さい番号のＢピクチャがあるときは（Ｓ３１６のＹ）、対象となるＢピクチャのうち最もフレーム番号が小さいＢピクチャを選択して送信する（Ｓ３１８）。このとき、Ｘは更新されない。
【００５１】
Ｓ３１６において、Ｘ−Ｍより大きくＸよりも小さい番号のＢピクチャがなかったときは、最新のピクチャはないので、スキップされていたピクチャを送信すべく、記憶手段１２０に格納されたピクチャのうち最も小さいフレーム番号のピクチャを選択して送信する（Ｓ３２０）。Ｓ３０６、Ｓ３１２、Ｓ３１８、またはＳ３２０において、ピクチャを送信したとき、記憶手段１２０に格納されたピクチャを全て送信し、かつ撮影が終了している場合は（Ｓ３２２のＹ）、画像の配信を終了する。記憶手段１２０にピクチャが格納されているか、または撮影が続行されている場合は（Ｓ３２２のＮ）、Ｓ３０４に戻り、動画の配信を続ける。
【００５２】
最新のピクチャを優先して送信し、余裕のあるときにスキップしていたピクチャを送信するのは、第１の実施の形態と同様であるが、本実施の形態では、ＭＰＥＧのピクチャの種類により、送信する順が異なる。すなわち、Ｉピクチャは他のピクチャを参照せずに復号することができるから、単純に最新のピクチャを送信すればよいが、ＰおよびＢピクチャについては、復号に際して過去のピクチャを参照する必要があるため、一つのＧＯＰ内ではスキップせずに古いピクチャから順に送信しなければならない。そのため、Ｓ３１２およびＳ３１８では、対象となるＰまたはＢピクチャのうち、フレーム番号が最も小さいものを選択して送信している。Ｓ３０６において、対象となるＩピクチャが複数あったとき、古い方のＩピクチャはスキップされることになるが、一つのＧＯＰに一つのＩピクチャが存在するピクチャ構成の場合、これは、そのＩピクチャが属するＧＯＰの全てのピクチャをスキップすることを意味する。
【００５３】
図７は、本実施の形態の記録再生方法の手順を示すフローチャートである。記録再生装置２００は、動画の受信を開始すると、ＭＰＥＧ形式の動画ファイルを生成し、受信したヘッダ情報を書き込む（Ｓ４００）。つづいて、受信済みＩ、Ｐピクチャの最大フレーム番号を示す制御変数Ｆｒ、書き込み済みピクチャの最終フレーム番号を示す制御変数Ｆｗ、および表示済みピクチャの最終フレーム番号を示す制御変数Ｆｄに０をセットする（Ｓ４０２）。
【００５４】
デジタルカメラ１００からピクチャを受信すると、受信確認応答をデジタルカメラ１００に送信し、ピクチャタイプＴにそのピクチャのピクチャタイプを、フレーム番号Ｆにそのピクチャのフレーム番号をセットする（Ｓ４０４）。出力判定手段２６０は、ＦとＦｄの値を比較し、受信したピクチャを表示手段２３０に出力するか否かを判定する（Ｓ４０６）。ＦがＦｄよりも小さければ（Ｓ４０６のＮ）、受信したピクチャは表示中のピクチャよりも過去のピクチャであるから、表示処理をスキップして、Ｓ４１６に進む。ＦがＦｄよりも大きければ（Ｓ４０６のＹ）、受信したピクチャは表示中のピクチャよりも新しいピクチャである。ここで、ピクチャタイプがＩまたはＰで、かつＦがＦｒよりも大きければ（Ｓ４０８のＹ）、受信済みＩ、Ｐピクチャの最大フレーム番号ＦｒをＦに更新し（Ｓ４１０）、受信したピクチャをデコードして表示待ちバッファに展開する（Ｓ４１２）。直ちに表示せずに、いったん表示待ちバッファに退避するのは、そのＩまたはＰピクチャよりも先に表示すべきＢピクチャが、この後に送信される可能性があるからである。
【００５５】
Ｓ４０８において、ピクチャタイプがＩまたはＰピクチャでないか、またはＦがＦｒ以下であるとき（Ｓ４０８のＮ）、ピクチャタイプがＢピクチャで、かつその前後のＩ、Ｐピクチャが受信されて第一記憶部２５２に格納されている場合は（Ｓ４１４のＹ）、そのＢピクチャをデコードして表示待ちバッファに展開する（Ｓ４１２）。Ｓ４０８とＳ４１４のいずれの条件にも該当しない場合は（Ｓ４１４のＮ）、受信したピクチャは表示されず、Ｓ４１６に進む。
【００５６】
つづいて、受信したピクチャのフレーム番号Ｆが、書き込み済みピクチャの最終フレーム番号Ｆｗの次の番号であるか否かを判断する（Ｓ４１６）。Ｆ＝Ｆｗ＋１でなければ（Ｓ４１６のＮ）、ＦとＦｗの間のフレーム番号のピクチャがスキップされているので、スキップされたピクチャを受信するまで、フレーム番号Ｆの画像データを第一記憶部２５２に一時的に退避し（Ｓ４１８）、Ｓ４０４に戻り、次のピクチャの処理に移る。Ｆ＝Ｆｗ＋１であれば（Ｓ４１６のＹ）、動画合成手段２１０は、受信したピクチャの画像データをファイルに追記し（Ｓ４２０）、さらに、第一記憶部２５２にＦに続くフレーム番号の画像データが退避されていれば、それをファイルに追記する（Ｓ４２２）。そして、書き込んだ最終フレーム番号をＦｗに代入する（Ｓ４２４）。ここで、第一記憶部２５２に格納されたフレームを全てファイルに記録し、かつ全フレームの受信が終了している場合は（Ｓ４２６のＹ）、ファイルをクローズして（Ｓ４２８）、処理を終了する。第一記憶部２５２にフレームが退避されているか、またはフレームの受信が続行されている場合は（Ｓ４２６のＮ）、Ｓ４０４に戻り、処理を続ける。
【００５７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を述べる。
【００５８】
実施の形態では、ＭｏｔｉｏｎＪＰＥＧおよびＭＰＥＧ方式により動画を配信する例について説明したが、本発明の技術は、その他の方式による動画配信にも適用可能である。その場合、その方式に応じて、フレームの配信順および表示順を設定すればよい。
【００５９】
実施の形態では、画像配信装置の一例として、デジタルカメラについて説明したが、その他の動画撮影機能を有する装置であってもよい。また、自身が撮影機能を有さず、動画を構成するフレームを取得して配信する装置にも、本発明の技術を適用可能である。
【００６０】
【発明の効果】
本発明によれば、動画のリアルタイム配信と、高品質な動画記録の両立を実現することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像配信システムの全体構成を示す図である。
【図２】動画を構成する各フレームのデータ構造を示す図である。
【図３】第１の実施の形態に係る画像配信方法の手順を示すフローチャートである。
【図４】第１の実施の形態に係る記録再生方法の手順を示すフローチャートである。
【図５】デジタルカメラから動画が配信され、記録再生装置により記録再生される様子を模式的に示す図である。
【図６】第２の実施の形態に係る画像配信方法の手順を示すフローチャートである。
【図７】第２の実施の形態に係る記録再生方法の手順を示すフローチャートである。
【図８】第２の実施の形態に係る画像配信システムにおいて配信されるＭＰＥＧファイルのピクチャ構成を示す図である。
【符号の説明】
１０　画像配信システム、　１００　デジタルカメラ、　１１０　制御手段、１２０　記憶手段、　１３０　送信フレーム選択手段、　１４０　通信手段、１５０　撮影手段、　２００　記録再生装置、　２１０　動画合成手段、　２２０　通信手段、　２３０　表示手段、　２４０　制御手段、　２５０　記憶手段、　２５２　第一記憶部、　２５４　第二記憶部、　２６０　出力判定手段。
【図１】
2004135081.tif 000003
【図２】
2004135081.tif 000004
【図３】
2004135081.tif 000005
【図４】
2004135081.tif 000006
【図５】
2004135081.tif 000007
【図６】
2004135081.tif 000008
【図７】
2004135081.tif 000009
【図８】
2004135081.tif 000010