(57)【特許請求の範囲】
【請求項１】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有し、何れか１つが主符号化装置とされ、残りが従符号化装置とされる複数の符号化装置と、
前記主符号化装置に設けられ、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部と、
前記従符号化装置に設けられ、前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部と、
を含む符号化システム。
【請求項２】
前記主同期処理部は、前記従符号化装置へ前記設定信号を送信してから次の前記垂直同期信号が入力されるよりも前に、前記従符号化装置から前記符号化処理部の設定状態を示す状態信号を受信したか否かに基づいて、前記複数の符号化装置の同期状態を判断する
請求項１に記載の符号化システム。
【請求項３】
前記主同期処理部は、垂直同期信号が入力されてから次の垂直同期信号が入力されるまでの期間に、前記従符号化装置から、前記期間に符号化処理すべきフレーム画像についての前記符号化処理部の符号化処理状態を示す状態信号を受信したか否かに基づいて、前記複数の符号化装置の同期状態を判断する
請求項１に記載の符号化システム。
【請求項４】
前記複数の符号化装置の各々に設けられ、前記映像信号に含まれる水平同期信号を計数する計数部を更に備え、
前記従同期処理部は、前記状態信号に前記計数部による計数値を含めて送信し、
前記主同期処理部は、前記従符号化装置から受信した前記状態信号に含まれる計数値に基づいて、前記複数の符号化装置の同期状態を判断する
請求項１に記載の符号化システム。
【請求項５】
前記複数の符号化装置の各々に設けられ、前記映像信号に含まれる水平同期信号を計数する計数部を更に備え、
前記従同期処理部は、前記計数値に基づいて前記複数の符号化装置における自装置の同期状態を判断し、該判断結果を前記状態信号に含めて送信し、
前記主同期処理部は、前記状態信号に含まれる判断結果から、前記複数の符号化装置の同期状態を判断する
請求項１に記載の符号化システム。
【請求項６】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置であって、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備え、前記主符号化装置として機能する符号化装置。
【請求項７】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置であって、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部を備えた符号化装置。
【請求項８】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準として符号化する符号化処理部を各々が有する複数の符号化装置の何れか１つを主符号化装置とし、前記複数の符号化装置の前記主符号化装置を除く符号化装置を従符号化装置としたときに、
前記主符号化装置が、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替えタイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視し、
前記従符号化装置が、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する符号化方法。
【請求項９】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する処理を実行させるためのプログラム。
【請求項１０】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する処理を実行させるためのプログラム。
【請求項１１】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する処理を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１２】
映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか１つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する処理を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
様々な映像（動画像）、例えば、ＨＤ（High Definition）映像やＨＤ映像を超える高解像度の映像等を伝送するための様々な技術が知られている。【０００３】
例えば、複数の表示装置を組合せて１画面の表示を行うため、フレーム画像を複数に分割し、該分割した画像の画像データの各々を符号化装置で符号化し、符号化したデータの各々の送信タイミングを調整する技術が提案されている。【０００４】
また、符号化の際に、フレーム画像を複数に分割した分割画像毎の画像データを、既存の符号化装置を複数台用いて符号化して伝送する方法も知られている。この場合、既存の符号化装置を使用できるため、専用装置を開発するより、低コストでシステムを構成することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０９００８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、複数台の符号化装置を使う方法では、各符号化装置の電源投入タイミングと起動に要する時間の個体差等により、起動完了タイミングがばらつき、各符号化装置の符号化開始タイミングが同期しないことがある。一方、入力映像の特徴に合わせて動的に符号化パラメータを変更し、映像品質を向上させたいという要望もある。しかしながら、従来の装置では、動的に符号化パラメータを変更したくても、複数の符号化装置が符号化パラメータを同じタイミングで切替えることができなかった。【０００７】
図１５に、複数の符号化装置間において、符号化開始タイミングが同期せず、符号化パラメータの切替えが同期しない例を示す。ここでは、Ｉフレーム、Ｐフレーム、及びＢフレームの３種類のフレームを含むＭＰＥＧ(Moving Picture Experts Group)方式の符号化を行う符号化装置を例示した。図１５に示されるように、ＭＰＥＧ方式で符号化されたフレーム群は、Ｉフレームから次のＩフレームの１つ前のフレームまでのフレームの集合を１つのグループとするＧＯＰ（Group of Picture)構造になっている。また、符号化パラメータが変更された場合、変更後の符号化パラメータは、グループの先頭のＩフレームから適用される。このため、各符号化装置間で同期がとれていないと、例えば、外部（図１５では全体制御装置として例示してある）から符号化パラメータの切替えのコマンドを一斉に各符号化装置に送信しても、符号化パラメータの適用タイミングにばらつきが生じてしまう。【０００８】
この状態で符号化された複数の画像データを復号して合成すると、符号化パラメータの変更に伴って画像分割の境界が目立つなどの映像品質劣化が発生するため、動的に符号化パラメータを最適化する手段が使えないという問題がある。【０００９】
なお、符号化装置間の同期をとる手法として、同期専用のインタフェースを各符号化装置に設け、外部から符号化処理を開始させる処理コマンドや符号化パラメータを変更させる処理コマンドと同期信号とを各符号化装置に直接送信する方法が考えられる。【００１０】
しかしながら、この手法では、各符号化装置が単体で動作する際には必要のない同期専用のインタフェースを追加的に設ける必要があるため、既存の符号化装置を流用して符号化処理を実現する方法と比較して、コストが嵩む。【００１１】
また、複数台の符号化装置を同期して使用するシステムにおいて、全符号化装置が正常に同期しているか否かを確認するには、従来は、復号装置側で復号された映像を目視するしかなかった。これでは、異常が発生しても素早く対処することができない。【００１２】
開示の技術は、コストをかけずに同期状態を監視しながら複数の符号化装置の符号化パラメータをフレーム単位で同期させて動的に切替えることを目的とする。
【課題を解決するための手段】
【００１３】
開示の技術は、映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準として符号化する符号化処理部を各々が有する複数の符号化装置で符号化する。複数の符号化装置の何れか１つが主符号化装置とされ、前記複数の符号化装置の前記主符号化装置を除く符号化装置を従符号化装置とされる。【００１４】
前記主符号化装置は、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替えタイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を前記従符号化装置に送信する。このとき、前記主符号化装置は、前記垂直同期信号を基準として前記設定信号を送信する。【００１５】
また、前記主符号化装置は、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する。【００１６】
前記従符号化装置は、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する。
【発明の効果】
【００１７】
開示の技術は、コストをかけずに同期状態を監視しながら複数の符号化装置の符号化パラメータをフレーム単位で同期させて動的に切替えることができる、という効果を有する。
【図面の簡単な説明】
【００１８】
【図１Ａ】実施形態に係る符号化側画像処理システムの構成図である。
【図１Ｂ】実施形態に係る復号側画像処理システムの構成図である。
【図２】符号化装置の機能構成図である。
【図３】符号化装置のハードウェア構成図である。
【図４】本実施形態の符号化システムの動作を模式的に説明する図である。
【図５】マスタである符号化装置の同期処理部により実行される同期処理ルーチンのフローチャートである。
【図６】マスタである符号化装置の同期処理部により実行される符号化処理結果情報処理ルーチンのフローチャートである。
【図７】スレーブである符号化装置の同期処理部により実行される同期処理ルーチンのフローチャートである。
【図８】スレーブである符号化装置の同期処理部により実行される符号化処理結果情報処理ルーチンのフローチャートである。
【図９】正常動作時のタイミングチャートの一例を示す図である。
【図１０】コマンド発行による設定段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
【図１１】符号化処理実行段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
【図１２】マスタである符号化装置の同期処理部により実行される変形例としての同期処理ルーチンのフローチャートである。
【図１３】第１エラー判定処理を示すフローチャートである。
【図１４】第２エラー判定処理を示すフローチャートである。
【図１５】複数の符号化装置間において、符号化開始タイミングが同期せず、符号化パラメータの切替えが同期しない従来技術を説明する説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して開示の技術の実施形態を詳細に説明する。
【００２０】
図１Ａには、本実施形態に係る符号化側画像処理システム１０が示されている。符号化側画像処理システム１０は、画像分割装置１２及び符号化システム１４を備えている。画像分割装置１２は、複数のフレーム画像の画像データ、垂直同期信号、及び水平同期信号を含む映像信号を取得する。映像信号は、ＨＤ(High Definition)画像の信号であってもよいし、ＳＤ（Standard Definition）画像の信号であってもよいし、ＨＤ画像よりも高解像度の画像の信号であってもよい。画像分割装置１２は、該映像信号に含まれるフレーム画像の画像データを複数（ここではｎ個：ｎは２以上の整数）の画像データ（以下、分割画像データと呼称する）に分割する。画像分割装置１２は、分割したｎ個の分割画像データ毎に、分割画像データ、垂直同期信号、及び水平同期信号を含む映像信号を生成する。画像分割装置１２で生成された映像信号を、画像分割装置１２により画像データが分割される前の映像信号と区別するため、分割映像信号と呼称する。
【００２１】
符号化システム１４は、互いにＬＡＮ(Local Area Network)１６を介して接続されたｎ個の符号化装置Ｅ１〜Ｅｎを備えている。符号化システム１４は、画像分割装置１２により生成されたｎ個の分割映像信号を取得して、ｎ個の分割映像信号に含まれる分割画像データの各々をｎ個の符号化装置Ｅ１〜Ｅｎにより符号化する。
【００２２】
本実施形態では、ｎ個の符号化装置Ｅ１〜Ｅｎが、各々汎用のＬＡＮ  Ｉ／Ｆ（Interface)３８（後述）を有し、通信方式の１種であるＬＡＮ１６を介して双方向に通信する例について説明するが、通信方式をＬＡＮ１６に限定するものではない。後述するように、マスタ（主符号化装置）としての符号化装置と、スレーブ（従符号化装置）としての符号化装置の各々とが、互いに双方向に通信可能な汎用の通信方式であればよい。
【００２３】
図１Ｂには、本実施形態に係る復号側画像処理システム２０が示されている。復号側画像処理システム２０は、画像合成装置２２及び復号システム２４を備えている。復号システム２４は、ＬＡＮ２６に接続されたｎ個の復号装置Ｄ１〜Ｄｎを備え、符号化側画像処理システム１０により符号化されたｎ個の分割画像データがＬＡＮ２６経由で入力されると、該ｎ個の復号装置Ｄ１〜Ｄｎが該ｎ個の分割画像データを復号する。ここでは、分割画像データがＬＡＮ２６経由でｎ個の復号装置Ｄ１〜Ｄｎに入力される例について説明したが、ｎ個の復号装置Ｄ１〜Ｄｎに分割画像データを入力する通信方式は、ＬＡＮ２６に限定されるものではない。画像合成装置２２は、復号システム２４により復号されたｎ個の分割画像データを合成して１つのフレーム画像を生成する。
【００２４】
図２は、符号化装置Ｅ１〜Ｅｎの機能構成図である。
【００２５】
本実施形態において、ｎ個の符号化装置Ｅ１〜Ｅｎのうち、何れか１つの符号化装置（ここでは符号化装置Ｅ１とする）がマスタとして動作し、それ以外の符号化装置（ここでは、符号化装置Ｅ２〜Ｅｎ）がスレーブとして動作する。
【００２６】
図２に示すように、マスタとして動作する符号化装置Ｅ１は、信号入力部３０、同期処理部３２、符号化処理部３４、符号化ストリーム送信部３６、及びＬＡＮ  Ｉ／Ｆ３８を備えている。
【００２７】
信号入力部３０には、分割画像データ、垂直同期信号、及び水平同期信号を含む分割映像信号が入力される。信号入力部３０は、Ａ端子、Ｂ端子、及びＣ端子を備えている。信号入力部３０は、分割映像信号から抽出した垂直同期信号をＡ端子から出力し、分割映像信号から抽出した水平同期信号をフレーム画像単位でカウントしたカウント値をＢ端子から出力し、分割画像データをＣ端子から出力する。
【００２８】
同期処理部３２には、信号入力部３０のＡ端子から出力された垂直同期信号と、Ｂ端子から入力されたライン数のカウント値とが入力される。
【００２９】
同期処理部３２は、ｎ個の符号化装置Ｅ１〜Ｅｎの符号化処理部３４による符号化処理開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、符号化処理部３４に対する設定を行わせる設定信号をスレーブに送信する。このとき、同期処理部３２は、垂直同期信号を基準とするタイミングで設定信号を送信するものとする。また、同期処理部３２は、自装置の符号化処理部３４の設定も行う。
【００３０】
更にまた、同期処理部３２は、スレーブとしての符号化装置Ｅ２〜Ｅｎから符号化処理部３４の設定状態や符号化処理結果等、符号化処理部３４の状態を示す状態信号を受信する。また、同期処理部３２には、自装置の符号化処理部３４から、符号化処理の処理結果を示す情報（符号化処理結果情報）も入力される。これにより、同期処理部３２は、ｎ個の符号化装置Ｅ１〜Ｅｎの符号化処理の同期状態を監視する。
【００３１】
符号化処理部３４は、同期処理部３２により符号化開始タイミングや符号化パラメータが設定される。符号化処理部３４には、信号入力部３０のＡ端子から出力された垂直同期信号及びＣ端子から出力された分割画像データが入力される。符号化処理部３４は、同期処理部３２による設定に従って、垂直同期信号を基準とするタイミングで分割画像データに符号化処理を施す。本実施形態では、符号化処理部３４は、ＭＰＥＧ(Moving Picture Experts Group)方式で符号化処理を行うものとするが、これに限定されず、例えば、Ｈ２６４等、Ｈ２６ｘ系の符号化方式で符号化を行うものであってもよい。
【００３２】
ここで、符号化処理部３４が符号化処理に使用する符号化パラメータの具体例としては、例えば、解像度を示すパラメータが挙げられる。複雑な絵柄の映像の場合には、解像度が低下しても、その解像度の低下が認識されにくい傾向がある。一方、単純な絵柄の映像の場合には、解像度の低下が認識されやすい傾向がある。解像度は圧縮率が高くなるほど低くなるため、入力される映像信号の複雑さ（粗さ）に応じて圧縮率を設定することができる。
【００３３】
例えば、符号化システム１４に分割映像信号を符号化する前に、映像信号の各フレーム画像の複雑さを画像処理により予め認識し、符号化装置Ｅ１が、該認識結果を別途取得して圧縮率を求めるようにしてもよい。例えば、符号化装置Ｅ１に、複雑さを示す値と予め定められた圧縮率とを対応付けて登録したテーブルを記憶した記憶部を設け、該記憶部を参照して圧縮率を求めるようにしてもよい。また、符号化装置Ｅ１〜Ｅｎの各々が画像認識を行って複雑さを求め、該複雑さを示す情報を符号化装置Ｅ１が取得して圧縮率を判断するようにしてもよい。また、外部装置から符号化パラメータとしての圧縮率が符号化装置Ｅ１に入力されるようにしてもよい。
【００３４】
また、動きが速い映像と動きの遅い映像とでは、動きが速い映像の方が、解像度が少々低下しても認識されにくい傾向がある。従って、映像信号が示す映像の動きに応じて、上記と同様に、符号化パラメータとしての圧縮率を求めてもよい。
【００３５】
更にまた、ＭＰＥＧ方式で符号化されたフレームには、Ｉフレーム、Ｂフレーム、及びＰフレームの３種類のフレームがある。
【００３６】
Ｉフレームは、画面内予測符号化方法により符号化されたフレームであり、動画像データが空間方向に相関が高いことを利用する。すなわち、画面内予測符号化方法は、他のフレーム画像を用いず、符号化対象となるフレーム画像の情報のみで符号化対象のフレーム画像を符号化する方法である。画面内予測符号化方法を、「フレーム内予測符号化方法」と呼称する場合もある。
【００３７】
Ｂフレーム及びＰフレームは、画面間予測符号化方法により符号化されたフレームであり、動画像データが時間方向に相関が高いことを利用する。動画像データでは、一般的に、時間的に近いフレーム画像は類似度が高いため、既に符号化したフレーム画像を復号した復号画像を参照して符号化対象のフレーム画像の符号化を行うことで、冗長性を取り除くことが可能である。画面間予測符号化方法を、「フレーム間予測符号化方法」と呼称する場合もある。過去のフレームから一方向のフレーム間予測を行って差分を符号化したものがＰフレームであり、過去と未来の２つのフレームから二方向のフレーム間予測を行い差分を符号化したものがＢフレームである。Ｂフレームは、３つのフレームの中で最も圧縮効率が高い。
【００３８】
このように、Ｂフレーム及びＰフレームは、既に符号化されたフレームを用いて符号化するものであるため、ＧＯＰ(Group Of Picture)と呼ばれる１つのＩフレームを含むフレーム群単位での符号化処理が基本となる。Ｉフレームに比べて、ＰフレームやＢフレームはデータ量が小さくなるため、ＧＯＰ長を長くする（ＰフレームやＢフレームの数を多くする）と、全体のデータ量を小さくすることができる。しかし、ＧＯＰ長を長くしすぎると、誤差が大きくなり、動きが速い映像においては画質が劣化することにもなる。従って、動きの速さに応じて、「ＩＢＢＰ」のフレーム構造からＢフレームをなくして「ＩＰＰＰ」のフレーム構造に変更したり、Ｂフレームの数を少なくしてＧＯＰ長を短くし、「ＩＢＰ」というフレーム構造に変更したりする等の調整をしてもよい。
【００３９】
以上説明したように、圧縮率、解像度、ＧＯＰ長、或いはフレーム構造等を符号化パラメータとして符号化処理部３４に設定することで、符号化処理部３４では、設定された符号化パラメータに応じた符号化処理が行われる。
【００４０】
符号化処理部３４は、符号化処理の処理結果を示す情報（符号化処理結果情報）を同期処理部３２に出力する。
【００４１】
符号化ストリーム送信部３６は、符号化処理部３４で符号化処理された分割画像データをＬＡＮ  Ｉ／Ｆ３８を介して外部装置に出力する。
【００４２】
ＬＡＮ  Ｉ／Ｆ３８は、ＬＡＮ１６に接続された装置と双方向で通信を行うための汎用のインタフェースである。
【００４３】
スレーブとして動作する符号化装置Ｅ２〜Ｅｎ（図２ではＥｎのみ図示）は、信号入力部３０、同期処理部４２、符号化処理部３４、符号化ストリーム送信部３６、及びＬＡＮ  Ｉ／Ｆ（Interface）３８を備えている。ここで、符号化装置Ｅ１に含まれる構成と同じ構成については、同じ符号を付して説明を省略し、ここでは、同期処理部４２について説明する。
【００４４】
同期処理部４２には、信号入力部３０のＡ端子から出力された垂直同期信号と、Ｂ端子から入力されたライン数のカウント値とが入力される。また、符号化装置Ｅ１からＬＡＮ  Ｉ／Ｆ３８を介して受信された設定信号も入力される。
【００４５】
同期処理部４２は、符号化装置Ｅ１から受信した設定信号に応じて、自装置の符号化処理部３４の設定を行う。また、同期処理部４２には、自装置の符号化処理部３４から、符号化処理の処理結果を示す情報（符号化処理結果情報）も入力される。同期処理部４２は、ＬＡＮ  Ｉ／Ｆ３８を介して符号化装置Ｅ１に対して自装置の符号化処理部３４の状態を示す状態信号を送信する。
【００４６】
図３は、符号化装置Ｅ１〜Ｅｎのハードウェア構成図である。
【００４７】
図３に示されるように、符号化装置Ｅ１〜Ｅｎは、ＣＰＵ(Central Processing Unit)５６を備えている。ＣＰＵ５６は、ＣＰＵバス６４を介して、信号入力回路５０、符号化ＬＳＩ(Large Scale Integration)５４、ＲＡＭ(Random Access Memory)５８、ＲＯＭ(Read Only Memory )６０、及びＬＡＮコントローラ６２に接続されている。
【００４８】
信号入力回路５０は、図２の信号入力部３０を実現する回路である。信号入力回路５０には、ラインカウンタレジスタ５２が設けられている。ラインカウンタレジスタ５２には、分割映像信号から抽出された水平同期信号が入力される。ラインカウンタレジスタ５２は、入力された水平同期信号をフレーム画像単位でカウントし、該カウントしたカウント値をレジスタに保持し、該保持したカウントしたカウント値をＢ端子から出力する。また、信号入力回路５０は、入力された分割映像信号から垂直同期信号を抽出してＡ端子から出力すると共に、該分割映像信号から分割画像データを抽出してＣ端子から出力する。
【００４９】
符号化ＬＳＩ５４は、図２の符号化処理部３４及び符号化ストリーム送信部３６の機能を備えたハードウェアである。ＬＡＮコントローラ６２は、図２のＬＡＮ  Ｉ／Ｆ３８の機能を備えたハードウェアである。
【００５０】
ＲＡＭ５８は、ＣＰＵ５６のワークメモリ等として使用される。ＲＯＭ６０は、ＣＰＵ５６が実行する同期処理プログラムが記録された記録媒体である。符号化装置Ｅ１のＣＰＵ５６がＲＯＭ６０に記録されたマスタの同期処理プログラムを実行することにより、ＣＰＵ５６は、図２の同期処理部３２として動作する。また、符号化装置Ｅ２〜ＥｎのＣＰＵ５６がＲＯＭ６０に記録されたスレーブの同期処理プログラムを実行することにより、ＣＰＵ５６は、図２の同期処理部４２として動作する。
【００５１】
次に、本実施形態の符号化システム１４の作用について説明するが、以下では、符号化装置Ｅ１が送信（発行）する設定信号を「コマンド」と呼称する。また、符号化装置Ｅ２〜Ｅｎが送信する状態信号として、符号化処理部３４の設定完了を通知する設定通知信号と、符号化処理部３４の符号化処理の完了を通知する符号化処理通知信号の２種類を例に挙げて説明する。以下、設定通知信号を単に「設定通知」といい、符号化処理通知信号を単に「符号化処理通知」という。
【００５２】
本実施形態の符号化システム１４は、図４に示すように、マスタとしての符号化装置Ｅ１から、スレーブとしての符号化装置Ｅ２〜Ｅｎに対して、垂直同期信号を基準としたタイミングでコマンドを発行する。ここでは、垂直同期信号をＬレベルのパルス信号として表わした。本実施形態では、符号化装置Ｅ１は、垂直同期信号のＨレベルからＬレベルへの立ち下がりタイミングをトリガとしてコマンドを生成し、該生成したコマンドを発行するものとする。符号化装置Ｅ１から発行されるコマンドには、符号化処理開始タイミングを設定するためのコマンドや、符号化パラメータの切替えを設定するためのコマンドがある。
【００５３】
符号化装置Ｅ２〜Ｅｎ（以下、ｎ＝１６の場合を例示して説明する）は、正常動作時には、コマンド発行後、次の垂直同期信号が入力されるまでの期間に該コマンドを受信し、該コマンドに応じて符号化処理部３４を設定する。また、符号化装置Ｅ１は、コマンド発行と共に、自装置の符号化処理部３４に対する設定を行う。
【００５４】
なお、図４では、符号化装置Ｅ２〜Ｅ１６のコマンドの受信タイミングが同一となっているが、符号化装置Ｅ２〜Ｅ１６のコマンド受信処理を模式的に示しただけであり、実際にはコマンドの受信タイミングが同一となることは保証されていない。
【００５５】
符号化処理部３４は、垂直同期信号の入力をトリガとして分割画像データの符号化処理を開始する。本実施形態では、符号化装置Ｅ１〜Ｅ１６の各符号化処理部３４は、コマンドが発行された後に入力された垂直同期信号の立ち下がりタイミングで、一斉に該コマンドに応じて行われた設定に従って、入力された分割画像データの符号化処理を行う。
【００５６】
なお、本実施形態では、垂直同期信号が入力されてから次の垂直同期信号が入力されるまでの期間が、１フレーム分の画像データを符号化する期間とされるため、該期間をフレーム期間と呼称する。
【００５７】
図４に示されるように、コマンドが発行されたフレーム期間の１つ後のＩフレーム期間から、コマンドによる設定が適用されて各符号化処理部３４の符号化処理が開始される。その後は、次に符号化パラメータを切替えるコマンドが発行されるまでは、設定中の符号化パラメータを適用した符号化処理が継続される。
【００５８】
ここでは、図示を省略したが、符号化装置Ｅ１〜Ｅ１６の各々は、各符号化装置の電源投入タイミングのバラツキ及び起動に要する時間の個体差により、起動完了タイミングにばらつきが生じることがある。従って、符号化装置Ｅ１〜Ｅ１６を起動した後に、まず符号化装置Ｅ１から各符号化装置Ｅ２〜Ｅ１６に対して符号化開始タイミングを各符号化処理部３４に設定するためのコマンドを出力するものとする。このコマンドは、符号化装置Ｅ１〜Ｅ１６のうち、起動完了タイミングのばらつきを考慮して、全符号化装置Ｅ１〜Ｅ１６の起動が完了したと推定されるタイミングの後に出力される。符号化装置Ｅ２〜Ｅ１６は、コマンドに従って、自装置の符号化処理部３４の符号化開始タイミングを設定する。また、符号化装置Ｅ１は、該コマンド発行と共に、自装置の符号化処理部３４の符号化開始タイミングを設定する。
【００５９】
符号化開始タイミングを設定するコマンドの発行後、コマンドが発行されたフレーム期間の１つ後のフレーム期間から、コマンドによる設定が適用されて各符号化処理部３４の符号化処理が開始される。従って、各符号化装置Ｅ１〜Ｅ１６は、起動後、最初に符号化開始タイミングを設定するコマンドが符号化装置Ｅ１から出力されるまでは、待機状態とされる。符号化開始タイミングを設定するコマンドに、符号化パラメータの設定に関する情報を含めて出力することもできる。符号化装置Ｅ２〜Ｅ１６は、次のフレーム期間までに該コマンドに含まれる情報に従って符号化パラメータを自装置の符号化処理部３４に設定する。符号化開始タイミングを設定するコマンドに、符号化パラメータの設定に関する情報を含めない場合には、デフォルトで符号化処理部３４に記憶されている符号化パラメータが適用されるものとしてもよい。
【００６０】
なお、本実施形態では、符号化装置Ｅ１〜Ｅ１６の同期状態の監視が、外部装置を介入させずに自律的に行われる。以下、コマンドの発行と同期状態の監視について、具体例を挙げて説明する。
【００６１】
図５は、符号化装置Ｅ１の同期処理部３２により実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、垂直同期信号が入力されたタイミングで開始される。
【００６２】
ステップ１００において、同期処理部３２は、現在のフレーム期間においてコマンドを発行する必要があるか否か判断する。例えば、符号化システム１４が、電源投入されて起動された直後であれば、符号化処理を開始させる符号化処理開始タイミングを設定させるためのコマンドを各スレーブに対して発行する必要がある。また、例えば画像処理によって認識された映像に含まれるオブジェクトの動きの速さや映像の複雑度に応じて、符号化パラメータを変更する必要があると判断した場合には、符号化パラメータを変更するコマンドをスレーブに対して発行する必要がある。
【００６３】
ここでは、コマンド発行の必要性を、マスタである符号化装置Ｅ１が、起動直後か否か、或いは画像処理により認識した結果に応じて判断する例を挙げたが、符号化装置Ｅ１〜Ｅ１６の何れかが判断するようにしてもよい。また、外部装置から強制的に符号化パラメータの変更を指示する指示情報を符号化システム１４に入力し、該入力した結果が符号化装置Ｅ１の同期処理部３２に入力されるようにしてもよい。
【００６４】
同期処理部３２は、ステップ１００において肯定判断した場合には、ステップ１０２において、発行が必要なコマンド（本実施形態では、符号化開始タイミングの設定或いは符号化パラメータの設定のためのコマンド）を生成して発行する。符号化装置Ｅ１は、同期管理に利用できるよう、コマンドを識別するための識別番号を含めてコマンドを生成してもよい。
【００６５】
同期処理部３２は、ステップ１００において否定判断した場合には、ステップ１０２をスキップする。
【００６６】
ステップ１０４において、同期処理部３２は、スレーブである符号化装置Ｅ２〜Ｅ１６から、設定通知が受信されたか否かを判断する。ステップ１０４で肯定判断した場合には、同期処理部３２は、ステップ１０６において、該設定通知に含まれるステータスを予め定められた記憶領域に保存した後、その内容を確認する。
【００６７】
ステータスがＯＫ（成功）を示していた場合には、該設定通知を送信したスレーブにおいて、現フレーム期間において発行したコマンドに従って符号化処理部３４の設定が現フレーム期間に正常に終了したことを示すものである。従って、同期処理部３２は、エラー処理は行わずに、ステップ１０４に戻る。
【００６８】
また、設定通知に含まれるステータスがＮＧ（失敗）を示していた場合、設定通知を送信したスレーブにおいて、コマンドに応じた設定が該コマンドを発行したフレーム期間内に正常に終了しなかったことを示す。従って、ステップ１０８において、第１エラー処理を実行する。
【００６９】
第１エラー処理として、例えば、全符号化装置Ｅ１〜Ｅ１６の符号化処理を一時停止して、ＮＧとなった設定を再度行わせるためのコマンドを再発行する等のリトライ処理を行ってもよい。また、符号化側画像処理システム１０のシステム管理者に異常が発生したことを通知するようにしてもよい。
【００７０】
また、同期処理部３２は、ステップ１０４で否定判断した場合には、ステップ１１０において、符号化処理通知を受信したか否かを判断する。ステップ１１０で肯定判断した場合には、同期処理部３２は、ステップ１１２において、該符号化処理通知に含まれるステータスを確認する。
【００７１】
ステータスがＯＫ（成功）を示していた場合には、該符号化処理通知を送信したスレーブにおいて、現フレーム期間において実行すべきフレームの分割画像データの符号化が現フレーム期間に正常に終了したことを示すものである。従って、同期処理部３２は、エラー処理は行わずに、ステップ１０４に戻る。
【００７２】
また、符号化処理通知に含まれるステータスがＮＧ（失敗）を示していた場合には、設定通知を送信したスレーブにおいて、分割画像データの符号化が該分割画像データを符号化すべきフレーム期間に正常に終了しなかったことを示すものである。従って、ステップ１１４において第２エラー処理を実行する。
【００７３】
第２エラー処理として、例えば、全符号化装置Ｅ１〜Ｅ１６の符号化処理を一時停止して、ＮＧとなったフレームの符号化処理を再度行わせるためのコマンドを再発行する等のリトライ処理を行ってもよい。また、符号化側画像処理システム１０のシステム管理者に異常が発生したことを通知するようにしてもよい。
【００７４】
また、同期処理部３２は、ステップ１１０において否定判断した場合には、ステップ１１６に進み、自装置の符号化処理部３４から符号化処理状態情報が入力されたか否かを判断する。同期処理部３２は、ステップ１１６において否定判断した場合には、ステップ１０４に戻り、肯定判断した場合には、ステップ１１８の符号化処理結果情報処理を行う。
【００７５】
図６は、符号化装置Ｅ１の同期処理部３２により実行される符号化処理結果情報処理ルーチンのフローチャートである。
【００７６】
同期処理部３２に、自装置の符号化処理部３４から符号化処理結果情報が入力されると、同期処理部３２は、ステップ１５０において、符号化処理が正常終了したのか否かを判断する。
【００７７】
具体的には、同期処理部３２は、符号化処理結果情報が符号化完了を示していた場合には、符号化処理部３４で完了した符号化処理が、現フレーム期間で実行されるべきフレームの符号化処理であったのか否かを判断する。
【００７８】
仮に、符号化完了した分割画像データのフレームが、現フレーム期間より前のフレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了しなかったと判断される。また、符号化完了した分割画像データのフレームが、現フレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了したと判断される。更に、同期処理部３２は、符号化処理結果情報が符号化失敗を示していた場合には、符号化処理部３４において何らかの異常が発生したことを示しているため、符号化処理は正常に終了しなかったと判断される。
【００７９】
同期処理部３２は、ステップ１５０において、肯定判断した場合には、ステップ１５２において、自装置の符号化処理部３４の符号化処理のステータスとして、ＯＫ（成功）を示すデータを保存する。
【００８０】
同期処理部３２は、ステップ１５０において、否定判断した場合には、ステップ１５４において、自装置の符号化処理部３４の符号化処理のステータスとして、ＮＧ（失敗）を示すデータを保存する。そして、ステップ１５６において、同期処理部３２は、前述した第２エラー処理を行う。
【００８１】
このように、符号化装置Ｅ１は、符号化装置Ｅ２〜Ｅ１６の符号化処理部３４の符号化処理状態だけでなく、自装置の符号化処理部３４の符号化処理状態も把握して、同期状態を監視するようにしている。
【００８２】
なお、自装置の符号化処理部３４に対する符号化パラメータ等の設定結果は、同期処理部３２自身が設定した時点で把握できるため、図示を省略した。
【００８３】
図７は、符号化装置Ｅ２〜Ｅ１６の同期処理部４２により実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、符号化装置Ｅ２〜Ｅ１６が起動したときに開始される。
【００８４】
ステップ２００において、同期処理部４２は、符号化装置Ｅ１からコマンドを受信したか否かを判断する。同期処理部４２は、ステップ２００において肯定判断した場合には、ステップ２０２において、コマンドに応じて自装置の符号化処理部３４を設定する。
【００８５】
ステップ２０４において、同期処理部４２は、信号入力部３０のＢ端子から出力された最新のカウント値を参照し、該カウント値が予め定められた閾値を超えているか否かを判断する。ここでカウント値が閾値を超えている場合には、コマンドに対する設定完了を示す設定通知をマスタである符号化装置Ｅ１に送信しても、コマンド発行と同一のフレーム期間内に設定通知が届かない可能性が高い。これではマスタ側で同期確認ができない。また、コマンドが発行されたフレーム期間の終了と同時に設定処理が完了した場合には、次の垂直同期信号が入力されたと同時に開始すべき符号化処理が間に合わない。そこで、同期処理部４２は、ステップ２０６において、ＮＧのステータスを含む設定通知を生成して符号化装置Ｅ１に送信する。
【００８６】
なお、ステップ２０４において、ステップ２００でコマンドを受信したとき、或いは設定処理を開始したときのカウント値と、予め定められた閾値（この閾値は、上記設定完了時点のカウント値と比較される上記閾値よりも小さくなる）とを比較して判断してもよい。例えば、符号化装置Ｅ１からのコマンドが、該コマンドが発行されたフレーム期間内において、設定処理に必要な時間がとれないほどに遅延して到着する場合もある。このような場合でも、コマンド受信時、或いは設定開始時のカウント値と閾値とを比較して、カウント値が閾値より大きければＮＧのステータスを含む設定通知を生成することができる。この場合、同期処理部４２は、設定が完了する前に設定通知を送信してもよい。同期がとれないことを迅速に符号化装置Ｅ１に伝えることができるためである。
【００８７】
また、ステップ２０４において、カウント値が閾値以下である場合には、ステップ２０８において、ＯＫのステータスを含む設定通知を生成して符号化装置Ｅ１に送信する。
【００８８】
なお、設定通知には、どのコマンドに対する設定通知であるのかが符号化装置Ｅ１で判断可能なように、符号化装置Ｅ２〜Ｅ１６は、該コマンドの識別番号を含めて設定通知を生成し、送信することができる。
【００８９】
また、同期処理部４２は、ステップ２００において否定判断した場合には、ステップ２１０に進み、自装置の符号化処理部３４から符号化処理状態情報が入力されたか否かを判断する。同期処理部４２は、ステップ２１０において否定判断した場合には、ステップ２００に戻り、肯定判断した場合には、ステップ２１２の符号化処理結果情報処理を行う。図８は、符号化装置Ｅ２〜Ｅ１６の同期処理部４２により実行される符号化処理結果情報処理ルーチンのフローチャートである。
【００９０】
同期処理部４２に、自装置の符号化処理部３４から符号化処理結果情報が入力されると、同期処理部４２は、ステップ２５０において、符号化処理が正常終了したのか否かを判断する。
【００９１】
具体的には、同期処理部４２は、符号化処理結果情報が符号化完了を示していた場合には、符号化処理部３４で完了した符号化処理が、現フレーム期間で実行されるべきフレームの符号化処理であったのか否かを判断する。
【００９２】
仮に、符号化完了した分割画像データのフレームが、現フレーム期間より前のフレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了しなかったと判断される。また、符号化完了した分割画像データのフレームが、現フレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了したと判断される。更に、同期処理部４２は、符号化処理結果情報が符号化失敗を示していた場合には、符号化処理部３４において何らかの異常が発生したことを示しているため、符号化処理は正常に終了しなかったと判断される。
【００９３】
同期処理部４２は、ステップ２５０において、肯定判断した場合には、ステップ２５２において、自装置の符号化処理部３４の符号化処理のステータスとして、ＯＫ（成功）を含む符号化処理通知を生成して符号化装置Ｅ１に送信する。
【００９４】
同期処理部４２は、ステップ２５０において、否定判断した場合には、ステップ２５４において、自装置の符号化処理部３４の符号化処理のステータスとして、ＮＧ（失敗）を含む符号化処理通知を生成して送信する。
【００９５】
以上説明したように、符号化装置Ｅ１〜Ｅ１６が動作することにより、マスタとしての符号化装置Ｅ１は、符号化装置Ｅ１〜Ｅ１６の同期状態を監視することができる。
【００９６】
ここで、図９〜図１１のタイミングチャートを用いて、具体例を挙げて説明する。なお、ＨＤ画像が処理対象である場合には、フレーム画像単位のライン総数（水平同期信号の総数）は、1125本となるが、ここでは、100本単位でライン数を図示した。
【００９７】
図９は、正常動作時のタイミングチャートの一例を示す図である。
【００９８】
図９において、１〜５の数字により、各符号化装置Ｅ１〜Ｅ１６が実行する処理が示されている。１は、コマンド発行処理、２は、コマンド受信処理、３は、符号化処理部３４に対する設定処理、４は、スレーブから送信された設定通知或いは符号化処理通知の受信処理（スレーブ通知受信処理）、５は、符号化処理状態検出・通知処理を示す。
【００９９】
まず、符号化装置Ｅ１において、（１）に示すようにコマンド発行処理１が行われて、何らかのコマンドが生成され、スレーブ側の符号化装置Ｅ２〜Ｅ１６に送信される（図５のステップ１０２も参照）。
【０１００】
スレーブ側の符号化装置Ｅ２〜Ｅ１６では、コマンド受信処理２によりコマンドを受信すると（図７のステップ２００も参照）、該受信したコマンドに従って、符号化処理部３４を設定する設定処理３が行われる（図７のステップ２０２も参照）。設定処理後は、設定通知（ステータスＯＫ）が生成され、符号化装置Ｅ１に送信される（図７のステップ２０８も参照）。また、コマンドを発行した符号化装置Ｅ１も、自装置の符号化処理部３４の設定処理３を行う。
【０１０１】
符号化装置Ｅ１は、（２）に示すように、スレーブ通知受信処理４により符号化装置Ｅ２〜Ｅ１６から送信された設定通知を受信する（図５のステップ１０４、Ｙ、ステップ１０６、ＯＫ））。
【０１０２】
コマンドを発行したフレーム期間の１つ後のフレーム期間において、符号化装置Ｅ１〜Ｅ１６の符号化処理部３４の各々が垂直同期信号をトリガとして、設定に応じた符号化処理を開始する。符号化装置Ｅ１は、図６に示す処理ルーチンにより自装置の符号化処理部３４の符号化処理の状態（ＯＫ）を検出する。また、符号化装置Ｅ２〜Ｅ１６は、図８に示す処理ルーチンにより自装置の符号化処理部３４の符号化処理の状態を検出し、（３）に示すように、符号化処理通知を生成して符号化装置Ｅ１に送信する。本例では、フレーム期間内に正常に符号化処理が終了しているため、ＯＫを示すステータスを含む符号化処理通知が符号化装置Ｅ１に送信される（図８のステップ２５２も参照）。
【０１０３】
図１０は、コマンド発行による設定段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
【０１０４】
まず、符号化装置Ｅ１において、（１）に示すようにコマンド発行処理１が行われて、何らかのコマンドが生成され、符号化装置Ｅ２〜Ｅ１６に送信される（図５のステップ１０２も参照）。
【０１０５】
符号化装置Ｅ２〜Ｅ１５では、コマンド受信処理２によりコマンドを受信すると、該受信したコマンドに従って、符号化処理部３４を設定する設定処理３が行われる。設定処理後は、設定通知（ステータスＯＫ）が生成され、符号化装置Ｅ１に送信される（図７のステップ２０８も参照）。
【０１０６】
ただし、符号化装置Ｅ１６だけは、ネットワーク伝搬遅延等により、コマンドが発行されたフレーム期間の終了間際に設定処理３が完了している。設定処理３が完了した時点で入力されたカウント値を１１００とし、該カウント値と比較される閾値を１０００とすると、図７のステップ２０４において肯定判断されることとなる。従って、符号化装置Ｅ１６では、設定通知（ステータスＮＧ）が生成され、該設定通知が、（４）に示すように符号化装置Ｅ１に送信される（図７のステップ２０６も参照）。また、コマンドを発行した符号化装置Ｅ１も、自装置の符号化処理部３４の設定処理３を行う。
【０１０７】
符号化装置Ｅ１は、（２）に示すように、スレーブ通知受信処理４により符号化装置Ｅ２〜Ｅ１５から送信された設定通知を受信する（図５のステップ１０４、Ｙ、ステップ１０６、ＯＫ）。
【０１０８】
コマンドが発行されたフレーム期間の１つ後のフレーム期間において、符号化装置Ｅ１〜Ｅ１５の符号化処理部３４の各々が垂直同期信号をトリガとして、設定に応じた符号化処理を開始する。符号化装置Ｅ１は、図６に示す処理ルーチンにより自装置の符号化処理部３４の符号化処理の状態を検出する。また、符号化装置Ｅ２〜Ｅ１５は、（３）に示すように、ＯＫを示すステータスを含む符号化処理通知を符号化装置Ｅ１に送信する（図８のステップ２５２も参照）。
【０１０９】
一方、符号化装置Ｅ１６では、設定処理の完了が遅れたため、次に入力された垂直同期信号をトリガとして符号化処理を開始することができない。符号化装置Ｅ１６から送信された設定通知は、コマンドが発行されたフレーム期間の１つ後のフレーム期間において符号化装置Ｅ１により受信される（図５のステップ１０６、ＮＧも参照）。これにより、符号化装置Ｅ１は、符号化装置Ｅ１６の同期がとれていないことを把握する。従って、第１エラー処理として、例えば、（５）に示すように、リトライ処理等が行われる（図５のステップ１０８も参照）。
【０１１０】
図１１は、符号化処理実行段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
【０１１１】
図１１の（１）、（２）に示すように、コマンド発行から設定処理までは、正常に終了し同期がとれている。これにより、コマンドが発行されたフレーム期間の１つの後のフレーム期間から該設定に基づいた符号化処理が開始されるが、符号化装置Ｅ１〜Ｅ１５までは、フレーム期間内に正常に符号化処理が終了している。従って、符号化装置Ｅ１は、図６に示す処理ルーチンにより自装置の符号化処理部３４の符号化処理の状態（ＯＫ）を検出する。また、符号化装置Ｅ２〜Ｅ１５は、また、符号化装置Ｅ２〜Ｅ１５は、（３）に示すように、ＯＫを示すステータスを含む符号化処理通知が符号化装置Ｅ１に送信する（図８のステップ２５２も参照）。
【０１１２】
一方、本例において、符号化装置Ｅ１６では、１フレーム分の符号化処理を１フレーム期間内に終了できず、次のフレーム期間まで処理が跨いでしまっている。これは、例えば、分割映像信号の入力タイミングがずれた、或いは、符号化装置Ｅ１６自体に異常が発生した、或いは、符号化装置Ｅ１６への電力供給が符号化処理途中で途絶えた等により、こうした事態が発生することがある。
【０１１３】
従って、符号化装置Ｅ１６では、フレーム期間内に正常に符号化処理が終了しなかったため、（４）に示すように、ＮＧを示すステータスを含む符号化処理通知が符号化装置Ｅ１に送信される（図８のステップ２５４も参照）。
【０１１４】
符号化装置Ｅ１６から送信された符号化処理通知は、次のフレーム期間において符号化装置Ｅ１により受信される（図５のステップ１１０、Ｙも参照）。符号化処理通知のステータスはＮＧを示している（図５のステップ１１２、ＮＧも参照）。これにより、符号化装置Ｅ１は、符号化装置Ｅ１６の同期がとれていないことを把握する。従って、第２エラー処理として、例えば、リトライ処理やエラー発生をシステム管理者に通知する等が行われる（図５のステップ１１４も参照）。
【０１１５】
なお、コマンドが発行されたフレーム期間より後のフレーム期間に、スレーブがコマンドを受信した場合等には、カウント値がリセットされて、スレーブ側で、水平同期信号のカウント値だけでは同期状態が判断できないことがある。従って、例えば、符号化装置Ｅ１〜Ｅ１６において、垂直同期信号もカウントするよう第２のカウンタを設けてもよい。そして、符号化装置Ｅ１は、垂直同期信号のカウント値をコマンドに含めて送信する。符号化装置Ｅ２〜Ｅ１６は、コマンドに含まれる垂直同期信号のカウント値と、設定完了時点、或いは符号化処理完了時点の垂直同期信号のカウント値とを比較し、互いに異なっていれば、水平同期信号のカウント値を確認することなく同期が外れていると判断できる。この場合、ＮＧのステータスを含む設定通知を生成して符号化装置Ｅ１に送信する。また、符号化装置Ｅ２〜Ｅ１６は、コマンドに含まれる垂直同期信号のカウント値と、設定完了時点、或いは符号化処理完了時点の垂直同期信号のカウント値とが同一であれば、水平同期信号のカウント値と閾値とを上記説明したように比較して、判断すればよい。
【０１１６】
以上、スレーブ側が自分自身で設定及び符号化処理のＯＫ・ＮＧの判断を行い、マスタ側がスレーブから受信した通知に応じて同期状態を把握する例について説明したが、マスタ側が各スレーブの設定及び符号化処理のＯＫ・ＮＧの判断を行うようにしてもよい。こにより、例えば、コマンドがスレーブに到着しない、或いはコマンドの到着が著しく遅延する場合等においても迅速に同期状態を把握できるため、有効な手法である。
【０１１７】
例えば、マスタである符号化装置Ｅ１は、コマンドを送信したフレーム期間内に、スレーブである符号化装置Ｅ２〜Ｅ１６の少なくとも１つから設定通知を受信しなかった場合には同期がとれていないと判定することができる。また、符号化装置Ｅ１は、コマンドを送信したフレーム期間内に、スレーブである符号化装置Ｅ２〜Ｅ１６から設定通知を受信した場合には同期がとれていると判定することができる。
【０１１８】
また、符号化装置Ｅ１は、符号化処理を実行するフレーム期間内において、スレーブである符号化装置Ｅ２〜Ｅ１６の少なくとも１つから符号化処理通知を受信しなかった場合には同期がとれていないと判定することができる。符号化装置Ｅ１は、符号化処理を実行するフレーム期間内において、スレーブである符号化装置Ｅ２〜Ｅ１６から符号化処理通知を受信した場合には同期がとれていないと判定することができる。
【０１１９】
この場合、スレーブは、設定や符号化処理が正常に終了したかを判定する必要はなく、設定処理或いは符号化処理が完了した時点で、ステータスを含まない設定通知や符号化処理通知を生成して符号化装置Ｅ１に送信することができる。
【０１２０】
以下、図１２〜１４を参照して、マスタ側でスレーブの設定や符号化処理のＯＫ・ＮＧの判断を行う例について説明する。
【０１２１】
図１２に示す同期処理ルーチンは、符号化装置Ｅ１の同期処理部３２により図５に示す同期処理ルーチンに代えて実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、垂直同期信号が入力されたタイミングで開始される。
【０１２２】
ステップ３００において、同期処理部３２は、上記図５のステップ１００と同様に、現在のフレーム期間においてコマンドを発行する必要があるか否か判断する。
【０１２３】
同期処理部３２は、ステップ３００において肯定判断した場合には、ステップ３０２において、発行が必要なコマンド（本実施形態では、符号化開始タイミングの設定、或いは符号化パラメータの設定のためのコマンド）を生成して発行する。
【０１２４】
次に、ステップ３１０において、同期処理部３２は、符号化装置Ｅ２〜Ｅ１６から、設定通知が受信されたか否かを判断する。ステップ３１０で肯定判断した場合には、同期処理部３２は、ステップ３１４において、該設定通知を送信した送信元の符号化装置の識別番号（ＩＤ）を記憶する。ステップ３１４の後は、ステップ３１０に戻る。
【０１２５】
また、同期処理部３２は、ステップ３１０で否定判断した場合には、ステップ３１２において、符号化処理通知を受信したか否かを判断する。ステップ３１２で肯定判断した場合には、同期処理部３２は、ステップ３１６において、該符号化処理通知を送信した送信元の符号化装置の識別番号（ＩＤ）を記憶する。ステップ３１６の後は、ステップ３１０に戻る。
【０１２６】
なお、符号化装置Ｅ２〜Ｅ１６は、符号化処理した分割画像データが属するフレーム画像がどのフレーム画像であるかが把握できる識別番号を符号化処理通知に含めて符号化装置Ｅ１に送信してもよい。また、前述したように、垂直同期信号をカウントするカウンタを符号化装置Ｅ１〜Ｅ１６に設けた場合には、符号化処理を開始したときの垂直同期信号のカウント値を、符号化処理通知に含めるようにしてもよい。この場合には、ステップ３１６において、符号化処理通知に含まれるフレーム画像の識別番号、或いは垂直同期信号のカウント値に対応付けて符号化装置Ｅ１〜Ｅ１６のＩＤを記憶するようにしてもよい。これにより、符号化装置Ｅ１は、符号化処理通知を受信した場合に、どのフレーム画像の分割画像データに対する符号化処理通知かを迅速に把握でき、後述する第２エラー判定処理におけるステップ３６０の判定に利用できる。
【０１２７】
また、同期処理部３２は、ステップ３１２で否定判断した場合には、ステップ３１８において、符号化処理結果情報が入力されたか否かを判断する。ステップ３１８で肯定判断した場合には、同期処理部３２は、ステップ３２０において、図６を用いて説明した、符号化処理結果情報処理を実行する。同期処理部３２は、ステップ３２０の後は、ステップ３１０に戻る。また、同期処理部３２は、ステップ３１８で否定判断した場合にも、ステップ３１０に戻る。
【０１２８】
また、同期処理部３２は、ステップ３００において否定判断した場合には、ステップ３０４において、現フレーム期間が、コマンドを発行したフレーム期間（コマンド発行フレーム期間）の１つ後のフレーム期間であるか否かを判定する。
【０１２９】
ステップ３０４において肯定判断した場合には、ステップ３０６において、第１エラー判定処理を行う。図１３は、第１エラー判定処理を示すフローチャートである。
【０１３０】
ステップ３５０において、同期処理部３２は、１つ前のフレーム期間において、全スレーブ（符号化装置Ｅ２〜Ｅ１６）から、発行したコマンドに対する設定通知を受信済みか否かを判断する。前述したように、同期処理部３２は、ステップ３１４において、設定通知を送信したスレーブのＩＤを記憶するようにしている。同期処理部３２は、該記憶しているＩＤを確認することでステップ３５０の判断を行う。
【０１３１】
同期処理部３２は、ステップ３５０において肯定判断した場合には、符号化装置Ｅ１〜Ｅ１６の符号化処理部３４に対する設定処理が、コマンドを発行したフレーム期間内に正常に終了したことを示しているため、エラー処理等は行わず、ステップ３５４に進む。
【０１３２】
一方、同期処理部３２は、ステップ３５０において否定判断した場合には、符号化装置Ｅ２〜Ｅ１６の何れかにおいて符号化処理部３４に対する設定処理が正常に終了しなかったことを示しているため、ステップ３５２において、前述した第１エラー処理を実行する。
【０１３３】
なお、ここでは、符号化装置Ｅ１は、自装置の符号化処理部３４の設定は正常に終了しているものとして説明した。
【０１３４】
次に、ステップ３５４において、同期処理部３２は、１つ前のフレーム期間に符号化処理が実行されたか否かを判断する。同期処理部３２は、ステップ３５４で肯定判断した場合には、ステップ３５６において、第２エラー判定処理を行う。第２エラー判定処理の詳細は後述する。また、同期処理部３２は、ステップ３５４で否定判断した場合には、本処理ルーチンを終了する。
【０１３５】
同期処理部３２は、ステップ３０６の第１エラー判定処理の後は、ステップ３１０に進み、上記説明した処理を行う。
【０１３６】
また、同期処理部３２は、図１２のステップ３０４において否定判断した場合には、ステップ３０８において、第２エラー判定処理を行う。また、上記ステップ３５４で肯定判断した場合にも、この第２エラー判定処理が行われる。図１４は、第２エラー判定処理を示すフローチャートである。
【０１３７】
ステップ３６０において、同期処理部３２は、１つ前のフレーム期間において、該フレーム期間に受信すべき符号化処理通知を全スレーブ（符号化装置Ｅ２〜Ｅ１６）から受信したか否かを判断する。
【０１３８】
前述したように、同期処理部３２は、ステップ３１６において、符号化処理通知を送信したスレーブのＩＤを記憶するようにしている。同期処理部３２は、該記憶しているＩＤを確認することでステップ３６０の判断を行う。
【０１３９】
なお、符号化装置Ｅ２〜Ｅ１６が、符号化処理通知に、フレーム画像の識別番号、或いは垂直同期信号のカウント値を含めて生成した場合には、符号化装置Ｅ１は、該識別番号及びカウント値毎に記憶された符号化装置ＩＤを確認する。すなわち、ステップ３６０では、符号化装置Ｅ１は、１つ前のフレーム期間において処理すべきフレーム画像の識別番号、或いは垂直同期信号のカウント値に対応付けられて記憶されている符号化装置ＩＤを確認すればよい。
【０１４０】
同期処理部３２は、ステップ３６０で肯定判断した場合には、符号化装置Ｅ１〜Ｅ１６の符号化処理部３４において符号化処理が同一フレーム期間内に同期して正常に終了したことを示しているため、本処理ルーチンを終了する。
【０１４１】
一方、同期処理部３２は、ステップ３６０において否定判断した場合には、符号化装置Ｅ２〜Ｅ１６の何れかにおいて符号化処理が同期して正常に終了しなかったことを示しているため、ステップ３６２において、前述した第２エラー処理を実行する。
【０１４２】
ここでは、符号化装置Ｅ１は、自装置の符号化処理は正常に終了しているものとして説明したが、自装置の符号化処理が正常に終了しなかった場合にも第２エラー処理を実行すればよい。
【０１４３】
同期処理部３２は、ステップ３０８の第２エラー判定処理の後は、ステップ３１０に進み、上記説明した処理を行う。
【０１４４】
なお、符号化装置Ｅ１が、主体的に各符号化装置Ｅ２〜Ｅ１６の符号化処理部３４の状態を判断して同期状態の監視を行う手法は、上記例に限定されない。
【０１４５】
例えば、各符号化装置Ｅ２〜Ｅ１６が、設定通知及び符号化処理通知に、信号入力部３０のＢ端子から出力されたカウント値を含めて符号化装置Ｅ１に送信し、符号化装置Ｅ１は、該カウント値を参照して同期状態を監視するようにしてもよい。
【０１４６】
具体的には、例えば、符号化処理部３４に対する設定処理に関しては、各符号化装置Ｅ２〜Ｅ１６は、自装置の符号化処理部３４に対する設定が完了したときに入力された水平同期信号のカウント値を設定通知に含めて生成する。符号化装置Ｅ１は、該設定通知に含まれるカウント値が、予め定められた閾値以下の場合には、コマンドを発行したフレーム期間内に設定処理が正常に終了したと判断することができる。また、符号化装置Ｅ１は、該設定通知に含まれるカウント値が、該閾値を超えていた場合には、コマンドを発行したフレーム期間内に設定処理が正常に終了しなかったと判断することができる。
【０１４７】
また、設定通知に、各符号化装置Ｅ２〜Ｅ１６がコマンドを受信したときに入力された水平同期信号のカウント値を含めてもよい。そして、符号化装置Ｅ１は、このカウント値と予め定められた閾値とを比較して、設定処理が正常に終了したか否かを判断することができる。カウント値が閾値より大きければ、コマンドを受信してから次の垂直同期信号が入力される間での期間が短く、次の垂直同期信号が入力されるまでに設定処理を完了することができなかったと推定されるためである。
【０１４８】
また、設定通知に、各符号化装置Ｅ２〜Ｅ１６がコマンドを受信したときに入力されたカウント値、及び符号化処理部３４に対する設定が完了したときに入力されたカウント値の両方を含めるようにしてもよい。符号化装置Ｅ１は、両方のカウント値の各々と、異なる２つの閾値とを用いて比較処理を行い、同期状態を監視することができる。
【０１４９】
また、コマンドが発行されたフレーム期間より後のフレーム期間に、スレーブがコマンドを受信した場合には、スレーブから送信される設定通知に含まれるカウント値は、該後のフレーム期間におけるカウント値となる。この場合には、マスタは、コマンドが発行されたフレーム期間より後のフレーム期間に設定通知を受信することとなるため、カウント値により判断するまでもなく同期が外れたことを把握できる。
【０１５０】
また、各符号化装置Ｅ２〜Ｅ１６は、符号化処理通知についても、同様に、符号化処理が完了したときに入力された水平同期信号のカウント値を含めて生成し、符号化装置Ｅ１に送信することができる。符号化装置Ｅ１は、該カウント値と予め定められた閾値とを比較して、同一フレーム期間内に同一フレーム画像の分割画像データが各符号化装置Ｅ２〜Ｅ１６で符号化処理されたか否かを把握できる。
【０１５１】
なお、前述したように、符号化処理通知に、符号化処理した分割画像データが属するフレーム画像がどのフレーム画像であるかが把握できる識別番号を含めて生成してもよい。１フレーム期間内で符号化処理が完了しなかった場合（図１１も参照）において送信された符号化処理通知については、符号化装置Ｅ１は、水平同期信号のカウント値を参照するまでもなく、同期が外れたことを把握できる。また、前述したように、垂直同期信号をカウントするカウンタを符号化装置Ｅ１〜Ｅ１６に設けた場合には、符号化処理を開始したときの垂直同期信号のカウント値を、符号化処理通知に含めるようにしてもよい。この場合には、符号化装置Ｅ１は、符号化処理通知に含まれる垂直同期信号のカウント値を参照することで、該符号化処理通知を送信した符号化装置の符号化処理の同期が外れたか否かを把握できる。
【０１５２】
更にまた、符号化装置Ｅ１は、コマンドを生成した時点、或いはコマンドを発行する直前の水平同期信号のカウント値を含むコマンドを発行するようにしてもよい。そして、各符号化装置Ｅ２〜Ｅ１６は、コマンドを受信したときのカウント値、設定処理が完了したときのカウント値と共に、符号化装置Ｅ１から受信したコマンドに含まれていたカウント値を含めて設定通知を生成し、符号化装置Ｅ１に送信するようにしてもよい。これにより、符号化装置Ｅ１〜Ｅｎの何れかの同期が外れた等の異常が発生した場合に、該カウント値を異常の解析に利用できる。
【０１５３】
なお、符号化装置Ｅ１が各符号化装置Ｅ２〜Ｅ１６の設定及び符号化処理のＯＫ・ＮＧの判断を行う手法と、各符号化装置Ｅ２〜Ｅ１６自身が設定及び符号化処理のＯＫ・ＮＧの判断を行う手法の双方を組合せて同期状態の監視を行うようにしてもよい。
【０１５４】
更に、上記ではマスタ及びスレーブの同期処理のプログラムがＲＯＭ６０に記憶されている態様を説明したが、同期処理のプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。
【０１５５】
なお、同期処理部３２及び同期処理部４２は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能であり、同期処理部３２及び同期処理部４２を例えば電子回路等で実現することも可能である。
【０１５６】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【図１Ａ】
0005854127.tif 000002
【図１Ｂ】
0005854127.tif 000003
【図２】
0005854127.tif 000004
【図３】
0005854127.tif 000005
【図４】
0005854127.tif 000006
【図５】
0005854127.tif 000007
【図６】
0005854127.tif 000008
【図７】
0005854127.tif 000009
【図８】
0005854127.tif 000010
【図９】
0005854127.tif 000011
【図１０】
0005854127.tif 000012
【図１１】
0005854127.tif 000013
【図１２】
0005854127.tif 000014
【図１３】
0005854127.tif 000015
【図１４】
0005854127.tif 000016
【図１５】
0005854127.tif 000017