(57)【要約】【課題】低コストで、かつ、容易にマルチアングルストリームを生成することができるストリームエンコーダを提供する。【解決手段】ストリームエンコーダであって、第１及び第２のアングルの映像データを受け取り、符号化して、その結果をそれぞれ第１及び第２の符号化された映像データとして出力するビデオエンコーダと、前記第１の符号化された映像データを格納する第１のビデオバッファと、前記第２の符号化された映像データを格納する第２のビデオバッファとを備える。前記ビデオエンコーダは、第１の予測メモリと第２の予測メモリとを有するものであり、前記第１又は第２のアングルの映像データの１フレーム周期に２フレーム以上の符号化処理が可能なように構成されているものである動き補償予測符号化器を備える。【選択図】図１
2008005112.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２のアングルの映像データを受け取り、符号化して、その結果をそれぞれ第１及び第２の符号化された映像データとして出力するビデオエンコーダと、
前記第１の符号化された映像データを格納する第１のビデオバッファと、
前記第２の符号化された映像データを格納する第２のビデオバッファとを備え、
前記ビデオエンコーダは、
前記第１又は第２のアングルの映像データに対する１フレームの符号化が完了する毎に、切り替えを行うように制御する第１のアングル制御信号を出力する第１のアングル制御部と、
前記第１のアングル制御信号に従って、前記第１又は第２のアングルの映像データを選択して出力するフレームセレクタと、
前記フレームセレクタの出力に対して符号化を行い、その結果を前記第１又は第２の符号化された映像データとして出力する動き補償予測符号化器と、
前記第１のアングル制御信号に従って、前記第１の符号化された映像データを前記第１のビデオバッファに出力し、前記第２の符号化された映像データを前記第２のビデオバッファに出力するバッファセレクタとを有するものであり、
前記動き補償予測符号化器は、
第１の予測メモリと、
第２の予測メモリと、
前記第１のアングル制御信号に従って、前記第１及び第２のアングルの映像データについての参照画像を前記第１及び第２の予測メモリにそれぞれ出力するメモリセレクタと、
前記第１のアングル制御信号に従って、前記第１の予測メモリ又は前記第２の予測メモリのいずれか一方に格納されている参照画像を用いて、動き補償予測処理を行う動き補償予測部とを有し、かつ、
前記第１又は第２のアングルの映像データの１フレーム周期に２フレーム以上の符号化処理が可能なように構成されている
ことを特徴とするストリームエンコーダ。
【請求項２】
請求項１記載のストリームエンコーダにおいて、
前記第１及び第２の符号化された映像データと、前記第１及び第２の符号化された映像データに対して共通の符号化されたオーディオデータとから、１つのストリームを作成して出力するシステムエンコーダをさらに備え、
前記システムエンコーダは、
第２のアングル制御信号に従って、前記第１のビデオバッファ又は前記第２のビデオバッファから、前記第１の符号化された映像データ又は前記第２の符号化された映像データを選択して出力するビデオセレクタと、
前記ビデオセレクタで選択された符号化された映像データのビデオフレームの数が所定のフレーム数に達する毎に、切り替えを行うように制御する信号を前記第２のアングル制御信号として出力する第２のアングル制御部と、
受け取った前記第１の符号化された映像データ又は前記第２の符号化された映像データからビデオパケットヘッダを生成して出力するビデオパケット生成部と、
前記第２のアングル制御信号によって前記第１の符号化された映像データが選択された場合には、前記符号化されたオーディオデータからオーディオパケットを生成して出力するオーディオパケット生成部と、
前記オーディオパケットを格納するオーディオパケット保持部と、
前記第２のアングル制御信号によって前記第１の符号化された映像データが選択された場合には、前記オーディオパケット生成部から出力された前記オーディオパケットを、前記第２のアングル制御信号によって前記第２の符号化された映像データが選択された場合には、前記オーディオパケット保持部に保持されている前記オーディオパケットを選択して出力するオーディオセレクタとを有し、かつ、
前記第１又は第２のアングルの映像データの１フレーム周期に、前記第１又は第２の符号化された映像データを２フレーム以上処理が可能なように構成されている
ことを特徴とするストリームエンコーダ。
【請求項３】
請求項２記載のストリームエンコーダにおいて、
前記システムエンコーダは、
前記ビデオパケットヘッダを格納するビデオパケットヘッダ保持部をさらに有するものであり、
前記ビデオパケット生成部は、
前記第２のアングル制御信号に従って、前記ビデオパケットヘッダの生成、又は、前記ビデオパケットヘッダ保持部から前記ビデオパケットヘッダの読み出しを行って出力するものである
ことを特徴とするストリームエンコーダ。
【請求項４】
請求項１記載のストリームエンコーダにおいて、
前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影倍率を示す撮影倍率情報を出力するカメラ制御部と、
前記第１及び第２のカメラのうち撮影倍率が他方のカメラより低いカメラが撮影する映像において、前記撮影倍率情報に基づいて、前記他方のカメラが撮影する映像と重複する部分を算出して、前記重複する部分を符号化の処理に対する負荷が少ない映像に変換する重複映像変換部とをさらに備える
ことを特徴とするストリームエンコーダ。
【請求項５】
請求項４記載のストリームエンコーダにおいて、
前記カメラ制御部から受け取った撮影倍率情報に基づいて、前記重複する部分の境界が、符号化する際のマクロブロックの境界と一致するように前記第１及び第２のカメラの撮影倍率を調整する信号を前記カメラ制御部に出力する倍率検出補正部をさらに備える
ことを特徴とするストリームエンコーダ。
【請求項６】
請求項４記載のストリームエンコーダにおいて、
前記撮影倍率が他方より低いカメラが撮影する映像において、前記他方が撮影する映像と重複する部分が占める割合に応じて、それぞれの映像を符号化する際のビットレートを求めて、ビットレート情報として出力するビットレート調整部をさらに備え、
前記ビデオエンコーダは、
前記第１のアングル制御信号と、前記ビットレート情報とに基づいて、前記第１及び第２のアングルの映像データを符号化する際のビットレートを調整する符号化制御部をさらに有するものである
ことを特徴とするストリームエンコーダ。
【請求項７】
請求項１記載のストリームエンコーダにおいて、
前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラとのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影倍率を示す撮影倍率情報を出力するカメラ制御部と、
前記第１及び第２のカメラのうち撮影倍率が他方のカメラより低いカメラが撮影する映像において、前記撮影倍率情報に基づいて、前記他方のカメラが撮影する映像と重複する部分を算出して、前記撮影倍率が他方のカメラより低いカメラが撮影する映像に、前記他方のカメラが撮影する映像の範囲を示す表示を合成して出力するズーム領域情報付与部とをさらに備える
ことを特徴とするストリームエンコーダ。
【請求項８】
請求項１記載のストリームエンコーダにおいて、
前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラとのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影方向を示す撮影方向情報を出力するカメラ制御部と、
前記撮影方向情報に基づいて、前記第１のカメラ及び前記第２のカメラの設置位置及び撮影方向の変化を検出し、前記設置位置又は前記撮影方向のいずれかの変化を検出した場合は、前記第１及び第２のアングルの映像データの映像を同時に表示するように制御する信号を出力するカメラずれ検出部とをさらに備える
ことを特徴とするストリームエンコーダ。
【請求項９】
第１の符号化映像データ、及び前記第１の符号化映像データと同一の方向が前記第１の符号化映像データより高倍率で撮影されて得られた第２の符号化映像データを含むストリームデータを読み込んで出力するデータ読込部と、
前記データ読込部が出力したストリームデータを受け取って、前記第１及び第２の符号化映像データに分離して出力するデータ転送部と、
前記第１の符号化映像データをデコードして、第１の映像データとして出力する第１のデコーダと、
前記第２の符号化映像データをデコードして、第２の映像データとして出力する第２のデコーダと、
前記第２の映像データを前記第１の映像データの映像と重複する部分の大きさの映像のデータに変換して出力するリサイズ処理部と、
前記第１の映像データの映像の前記重複する部分に、前記リサイズ処理部で変換後の映像を重ねるように合成して出力する合成部とを備える
ことを特徴とするストリームデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像に対するストリームデータを生成又は復号化する装置に関する。
【背景技術】
【０００２】
民生用ビデオカメラが一般的になり、なかでもＤＶＤ（digital versatile disc）ビデオカメラは近年急速に普及している。ＤＶＤの記録方式の規格の１つであるＤＶＤ−Ｖｉｄｅｏ規格ではマルチアングル機能が定義されており、映像を複数のカメラアングルで記録し、ユーザーがアングルを自由に選択して再生することができる。
【０００３】
マルチアングル機能で使用するストリームデータの生成においては、別々に撮影された複数のストリームに対して、特定のオーサリングツールなどを使用して加工する必要があり、それを扱うユーザにも専門知識が必要である。
【０００４】
そこで、複数のチャンネルから入力された映像及び音声等を複数のエンコーダで符号化し、符号化されたそれぞれのストリームデータからＶＯＢＵ（video object unit）及びＩＬＶＵ（interleaved unit）を生成し、チャンネル毎に生成されたＩＬＶＵをインタリーブすることにより、複数チャンネルの映像をリアルタイムに記録することができる、記録媒体への多チャンネル記録装置が、例えば、下記特許文献１に開示されている。
【特許文献１】特開平１１−１０３４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の記録装置などでは、１つのビデオエンコーダで処理するためには、入力される映像を時分割で処理する必要があり、映像チャンネル毎には動き補償予測の処理ができないという問題があった。
【０００６】
また、符号化するチャンネルを切り替えるタイミングが不明確であり、１フレーム（もしくはフィールド）内に、全てのチャンネルに対する符号化の完了を保証することができないという課題があった。
【０００７】
本発明は、低コストで、かつ、容易にマルチアングルストリームを生成することができるストリームエンコーダを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、請求項１の発明が講じた手段は、ストリームエンコーダとして、第１及び第２のアングルの映像データを受け取り、符号化して、その結果をそれぞれ第１及び第２の符号化された映像データとして出力するビデオエンコーダと、前記第１の符号化された映像データを格納する第１のビデオバッファと、前記第２の符号化された映像データを格納する第２のビデオバッファとを備え、前記ビデオエンコーダは、前記第１又は第２のアングルの映像データに対する１フレームの符号化が完了する毎に、切り替えを行うように制御する第１のアングル制御信号を出力する第１のアングル制御部と、前記第１のアングル制御信号に従って、前記第１又は第２のアングルの映像データを選択して出力するフレームセレクタと、前記フレームセレクタの出力に対して符号化を行い、その結果を前記第１又は第２の符号化された映像データとして出力する動き補償予測符号化器と、前記第１のアングル制御信号に従って、前記第１の符号化された映像データを前記第１のビデオバッファに出力し、前記第２の符号化された映像データを前記第２のビデオバッファに出力するバッファセレクタとを有するものであり、前記動き補償予測符号化器は、第１の予測メモリと、第２の予測メモリと、前記第１のアングル制御信号に従って、前記第１及び第２のアングルの映像データについての参照画像を前記第１及び第２の予測メモリにそれぞれ出力するメモリセレクタと、前記第１のアングル制御信号に従って、前記第１の予測メモリ又は前記第２の予測メモリのいずれか一方に格納されている参照画像を用いて、動き補償予測処理を行う動き補償予測部とを有し、前記第１又は第２のアングルの映像データの１フレーム周期に２フレーム以上の符号化処理が可能なように構成されているものである。
【０００９】
請求項１の発明によると、２つの映像データをそれぞれ異なる予測メモリに保持して、それぞれに対して独立して動き補償予測の処理を行い、それぞれ異なるビデオバッファに出力する。このため、２つの映像チャンネルの符号化を１つのビデオエンコーダでおこなうことができる。また、各映像の１フレームの符号化が完了する毎に、処理対象とする映像を切り替えるので、１フレーム周期内に複数のチャンネルの映像を符号化することが確実に可能となる。
【００１０】
請求項２の発明は、請求項１記載のストリームエンコーダにおいて、前記第１及び第２の符号化された映像データと、前記第１及び第２の符号化された映像データに対して共通の符号化されたオーディオデータとから、１つのストリームを作成して出力するシステムエンコーダをさらに備え、前記システムエンコーダは、第２のアングル制御信号に従って、前記第１のビデオバッファ又は前記第２のビデオバッファから前記第１の符号化された映像データ又は前記第２の符号化された映像データを選択して出力するビデオセレクタと、前記ビデオセレクタで選択された符号化された映像データのビデオフレームの数が所定のフレーム数に達する毎に、切り替えを行うように制御する信号を前記第２のアングル制御信号として出力する第２のアングル制御部と、前記第２のアングル制御信号によって前記第１の符号化された映像データが選択された場合には、前記符号化されたオーディオデータからオーディオパケットを生成して出力するオーディオパケット生成部と、前記オーディオパケットを格納するオーディオパケット保持部と、前記第２のアングル制御信号によって前記第１の符号化された映像データが選択された場合には、前記オーディオパケット生成部から出力された前記オーディオパケットを、前記第２のアングル制御信号によって前記第２の符号化された映像データが選択された場合には、前記オーディオパケット保持部に保持されている前記オーディオパケットを選択して出力するオーディオセレクタとを有し、前記第１又は第２のアングルの映像データの１フレーム周期に、前記第１又は第２の符号化された映像データを２フレーム以上処理が可能なように構成されているものである。
【００１１】
請求項２の発明によると、所定の数のビデオフレームを処理する毎に２つの映像データを切り替えて処理をおこなう。このため、リアルタイムにマルチアングルストリームの映像データを作成できる。
【００１２】
請求項３の発明は、請求項２記載のストリームエンコーダにおいて、前記システムエンコーダは、受け取った前記第１の符号化された映像データ又は前記第２の符号化された映像データからビデオパケットヘッダを生成して出力するビデオパケット生成部と、前記ビデオパケットヘッダを格納するビデオパケットヘッダ保持部とをさらに有するものであり、前記ビデオパケット生成部は、前記第２のアングル制御信号に従って、前記ビデオパケットヘッダの生成、又は、前記ビデオパケットヘッダ保持部から前記ビデオパケットヘッダの読み出しを行って出力するものである。
【００１３】
請求項３の発明によると、２つの映像データの処理において、共通のビデオパケットヘッダを使用する。このため、処理の負荷を軽減できる。
【００１４】
請求項４の発明は、請求項１記載のストリームエンコーダにおいて、前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラとのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影倍率を示す撮影倍率情報を出力するカメラ制御部と、前記第１及び第２のカメラのうち撮影倍率が他方のカメラより低いカメラが撮影する映像において、前記撮影倍率情報に基づいて、前記他方のカメラが撮影する映像と重複する部分を算出して、前記重複する部分を符号化の処理に対する負荷が少ない映像に変換する重複映像変換部とをさらに備えるものである。
【００１５】
請求項４の発明によると、２つの映像で重複する部分を符号化の処理に対する負荷が少ない映像に変換する。このため、処理の負荷を軽減できる。
【００１６】
請求項５の発明は、請求項４記載のストリームエンコーダにおいて、前記カメラ制御部から受け取った撮影倍率情報に基づいて、前記重複する部分の境界が、符号化する際のマクロブロックの境界と一致するように前記第１及び第２のカメラの撮影倍率を調整する信号を前記カメラ制御部に出力する倍率検出補正部をさらに備えるものである。
【００１７】
請求項５の発明によると、２つの映像で重複する部分をマクロブロックの境界と一致させる。このため、重複する部分を符号化する場合に処理を軽減できる。
【００１８】
請求項６の発明は、請求項４記載のストリームエンコーダにおいて、前記撮影倍率が他方より低いカメラが撮影する映像において、前記他方が撮影する映像と重複する部分が占める割合に応じて、それぞれの映像を符号化する際のビットレートを求めて、ビットレート情報として出力するビットレート調整部をさらに備え、前記ビデオエンコーダは、前記第１のアングル制御信号と、前記ビットレート情報とに基づいて、前記第１及び第２のアングルの映像データを符号化する際のビットレートを調整する符号化制御部をさらに有するものである。
【００１９】
請求項６の発明によると、２つの映像の画質に差をつけることができる。このため、主となる映像の画質を向上させることができる。
【００２０】
請求項７の発明は、請求項１記載のストリームエンコーダにおいて、前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラとのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影倍率を示す撮影倍率情報を出力するカメラ制御部と、前記第１及び第２のカメラのうち撮影倍率が他方のカメラより低いカメラが撮影する映像において、前記撮影倍率情報に基づいて、前記他方のカメラが撮影する映像と重複する部分を算出して、前記撮影倍率が他方のカメラより低いカメラが撮影する映像に、前記他方のカメラが撮影する映像の範囲を示す表示を合成して出力するズーム領域情報付与部とをさらに備えるものである。
【００２１】
請求項７の発明によると、２つの映像の重複する部分を表示によって判別することが容易にできるようになる。
【００２２】
請求項８の発明は、請求項１記載のストリームエンコーダにおいて、前記第１のアングルの映像データを出力する第１のカメラ、及び前記第１のカメラと同一の方向を撮影し、前記第２のアングルの映像データを出力する第２のカメラとのそれぞれの撮影倍率を制御し、前記第１及び第２のカメラのそれぞれの撮影方向を示す撮影方向情報を出力するカメラ制御部と、前記撮影方向情報に基づいて、前記第１のカメラ及び前記第２のカメラの設置位置及び撮影方向の変化を検出し、前記設置位置又は前記撮影方向のいずれかの変化を検出した場合は、前記第１及び第２のアングルの映像データの映像を同時に表示するように制御する信号を出力するカメラずれ検出部とをさらに備えるものである。
【００２３】
請求項８の発明によると、カメラの設置位置又は撮影方向のずれが起こった場合は、モニタリング映像が自動的に切り替わるようにすることができる。このため、カメラの設置位置又は撮影方向のずれが生じたことを容易に知ることができる。
【００２４】
請求項９の発明は、第１の符号化映像データ、及び前記第１の符号化映像データと同一の方向が前記第１の符号化映像データより高倍率で撮影されて得られた第２の符号化映像データを含むストリームデータを読み込んで出力するデータ読込部と、前記データ読込部が出力したストリームデータを受け取って、前記第１及び第２の符号化映像データに分離して出力するデータ転送部と、前記第１の符号化映像データをデコードして、第１の映像データとして出力する第１のデコーダと、前記第２の符号化映像データをデコードして、第２の映像データとして出力する第２のデコーダと、前記第２の映像データを前記第１の映像データの映像と重複する部分の大きさの映像のデータに変換して出力するリサイズ処理部と、前記第１の映像データの映像の前記重複する部分に、前記リサイズ処理部で変換後の映像を重ねるように合成して出力する合成部とを備えるものである。
【００２５】
請求項９の発明によると、２つの映像で重複する部分がサイズの小さいデータに変換されたマルチアングルストリームの映像データを再生できる。
【発明の効果】
【００２６】
本発明によれば、複数のチャンネルの映像に対して、単一のエンコーダ内でチャンネル毎に独立して処理を行うので、チャンネル毎にエンコーダを備える必要がなく、低コストで処理を行うことができる。また、リアルタイムで処理を行えるので、編集作業を行うことなく、複数の映像を合成してマルチアングルストリームを作成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るストリームエンコーダの構成を示すブロック図である。図１のストリームエンコーダ１００は、フレームバッファ１０４及び１０５と、ビデオエンコーダ１０６と、オーディオエンコーダ１０７と、ビデオバッファ１０８及び１０９と、オーディオバッファ１１０と、エンコーダ制御部１１１と、システムエンコーダ１１２と、ナビ情報作成部１１３と、ストリームバッファ１１４とを備えている。
【００２９】
エンコーダ制御部１１１は、システムエンコーダ１１２に対して記録の開始や停止などの制御を行う。ここで、ビデオエンコーダ１０６、オーディオエンコーダ１０７は、システムエンコーダ１１２に連動して動作が制御されるものとし、またその動作は同一のシステムクロックに同期して行われるものとする。
【００３０】
カメラ１０１及び１０２は、映像取り込み周期（フレーム周期）Ｖｓｙｎｃに同期してそれぞれ１フレームの映像を取り込む。取り込まれたフレームデータは、フレームバッファ１０４及び１０５に格納される。
【００３１】
ここで、カメラ１０１より取り込まれた映像を第１のアングルの映像、カメラ１０２より取り込まれた映像を第２のアングルの映像と定義する。
【００３２】
エンコーダ制御部１１１により記録開始の要求が発行されると、ビデオエンコーダ１０６は、１Ｖｓｙｎｃ毎に、フレームバッファ１０４、１０５から取得した１フレームのデータを交互に１フレームずつ符号化し、符号化したビデオストリームをそれぞれビデオバッファ１０８、１０９に格納する。ビデオエンコーダ１０６は、１Ｖｓｙｎｃ当たり２フレーム以上を符号化する処理能力を有する。
【００３３】
オーディオエンコーダ１０７は、マイク１０３より入力された音声を符号化し、符号化したオーディオストリームをオーディオバッファ１１０に格納する。
【００３４】
システムエンコーダ１１２は、インタリーブの単位ごとに、第１及び第２のアングルのビデオストリームと、第１及び第２のアングルに対して共通のオーディオストリームとを多重化し、システムエンコードして符号化されたストリームをストリームバッファ１１４に格納する。システムエンコーダ１１２は、２つのビデオを処理するために１Ｖｓｙｎｃ当たり２フレーム以上を符号化する処理能力を有する。
【００３５】
システムエンコーダ１１２は、それぞれのアングルに対する符号化が完了する毎に、符号化の完了通知をナビ情報作成部１１３に通知する。
【００３６】
図２は、ＤＶＤビデオ規格におけるセルを構成するＮＶ＿ＰＣＫ（navigation pack）の構成図である。ＶＯＢＵ情報は、ＮＶ＿ＰＣＫのＤＳＩ＿Ｐａｃｋｅｔ（disk search information packet）のＶＯＢＵ＿ＳＲＩ（search information）の各フィールドを更新するための情報であり、公知の技術により作成される。
【００３７】
ナビ情報作成部１１３は符号化の完了通知を受け取ると、ＶＯＢＵ情報を元に、ストリームバッファ１１４に格納されているＶＯＢＵ＿ＳＲＩの各フィールドに対して、情報の書き込みを行う。
【００３８】
本発明では、このＶＯＢＵ情報を、２つのアングルに対して保持することを特徴とし、この情報を符号化の完了通知を受け取る毎に、交互に切り替えて使用及び更新することによりナビ情報の一貫性を保つことができる。
【００３９】
図３は、図１のビデオエンコーダ１０６の構成を示すブロック図である。ビデオエンコーダ１０６は、動き補償予測符号化器１４０と、アングル制御部１４８と、フレームセレクタ１４９と、バッファセレクタ１５０とを備えている。動き補償予測符号化器１４０は、符号化制御部１４１と、ＤＣＴ（discrete cosine transform）部１４２と、量子化部１４３と、逆量子化部１４４と、逆ＤＣＴ部１４５と、予測メモリ１４６，１５２と、動き補償予測部１４７と、メモリセレクタ１５１と、減算器１５３と、加算器１５４とを備えている。
【００４０】
アングル制御部１４８は、フレームセレクタ１４９と、バッファセレクタ１５０と、メモリセレクタ１５１と、動き補償予測部１４７とに、第１のアングルの映像に対する符号化処理又は第２のアングルの映像に対する符号化処理のいずれか一方を指定する制御信号を出力する。
【００４１】
アングル制御部１４８は、符号化開始直後は、第１のアングルの映像に対する符号化処理を指定し、ＤＣＴ部１４２から１フレームの符号化処理の完了通知を受け取るたびに、第１のアングルの映像と第２のアングルの映像の指定を切り替える。
【００４２】
各アングルのフレームデータは、システムクロックに同期して、フレームバッファ１０４、１０５に格納される。
【００４３】
フレームセレクタ１４９は、第１のアングルの映像が指定された場合は、次のシステムクロックに同期してフレームバッファ１０４からＤＣＴ部１４２へフレームを転送し、第２のアングルの映像が指定された場合は即座に、フレームバッファ１０５からＤＣＴ部１４２へフレームを転送する。
【００４４】
バッファセレクタ１５０は、量子化部１４３から出力された圧縮されたビデオデータを、第１のアングルの映像が指定された場合はビデオバッファ１０８に、第２のアングルの映像が指定された場合はビデオバッファ１０９に格納する。
【００４５】
メモリセレクタ１５１は、加算器１５４が逆ＤＣＴ部１４５の出力と動き補償予測部１４７の出力とを加算したデータを、第１のアングルの映像が指定された場合は予測メモリ１４６に、第２のアングルの映像が指定された場合は予測メモリ１５２に格納する。
【００４６】
動き補償予測部１４７は、動き補償予測の参照画像として使用するデータを、第１のアングルの映像が指定された場合は予測メモリ１４６から、第２のアングルの映像が指定された場合には予測メモリ１５２から取得する。動き補償予測部１４７は、取得したデータを用いて動き補償予測を行う。
【００４７】
図４は、図１のシステムエンコーダ１１２の構成を示すブロック図である。システムエンコーダ１１２は、ビデオ解析部１６１と、ビデオパケット生成部１６２と、オーディオ解析部１６３と、オーディオパケット生成部１６４と、マルチプレクサ１６５と、パック生成部１６６と、符号化ユニット生成部１６７と、アングル制御部１６８と、ビデオセレクタ１６９と、オーディオパケット保持部１７０と、オーディオセレクタ１７１とを備えている。
【００４８】
アングル制御部１６８は、ビデオ解析部１６１と、ビデオセレクタ１６９と、オーディオパケット生成部１６４と、オーディオセレクタ１７１とに、第１のアングルの映像に対する符号化処理又は第２のアングルの映像に対する符号化処理のいずれかを指定する制御信号を出力する。
【００４９】
アングル制御部１６８は、ビデオ解析部１６１からビデオフレームの検出を受信し、このフレーム数がインタリーブの単位（符号化ユニット、例えば１５フレーム）に達する毎に、アングルの切り替えを行う。
【００５０】
ビデオセレクタ１６９は、第１のアングルの映像の符号化処理が指定された場合はビデオバッファ１０８に格納されている第１のビデオストリームを、第２のアングルの映像の符号化処理が指定されるとビデオバッファ１０９に格納されている第２のビデオストリームをビデオ解析部１６１に出力する。
【００５１】
オーディオパケット生成部１６４は、第１のアングルの映像の符号化処理が指定された場合は、オーディオ解析部１６３が出力するストリームからパケットを生成し、オーディオセレクタ１７１に転送すると共に、オーディオパケット保持部１７０にも転送し、オーディオパケット保持部１７０は生成されたオーディオパケットを保持する。一方、第２のアングルの映像の符号化処理が指定された場合は、オーディオパケットの生成を停止する。
【００５２】
オーディオセレクタ１７１は、第１のアングルの映像の符号化処理が指定された場合はオーディオパケット生成部１６４が出力するオーディオパケットを受け取って、第２のアングルの映像の符号化処理が指定された場合はオーディオパケット保持部１７０が保持するオーディオパケットを読み出して、マルチプレクサ１６５に出力する。
【００５３】
システムエンコーダ１１２は、前述したように符号化するビデオストリームを切り替えながら処理しており、一方のビデオストリームを符号化している際には、他方のビデオストリームをバッファリングしておく必要がある。
【００５４】
以下では、システムエンコーダ１１２が１Ｖｓｙｎｃ当たりビデオ３フレームの符号化を行う処理能力を有するとして、ビデオバッファ１０８、１０９のバッファサイズに関して説明する。
【００５５】
図５は、図１のカメラ１０１及び１０２から取り込まれた映像の、図１のビデオバッファ１０８及び１０９におけるフレームの蓄積を示す説明図である。カメラ１０１及び１０２から取り込まれた第１のアングルの映像及び第２のアングルの映像それぞれのフレームがＶｓｙｎｃ毎に処理され、蓄積されるイメージを示している。横軸はＶｓｙｎｃであり１目盛りが１Ｖｓｙｎｃを示す。縦軸は蓄積されているフレーム数であり、１つの□（箱）が１フレームを示している。
【００５６】
記録開始後、第１のアングルの映像に関してはＶｓｙｎｃ毎に生成されたフレームが処理されるのに対して、第２のアングルの映像に関しては処理されずに蓄積される。第１のアングルの映像に対して１５フレーム分の処理が完了すると、次に第２のアングルの映像に対しての処理が開始される。
【００５７】
この時点で第２のアングルの映像に関しては、１５Ｖｓｙｎｃ分のフレームが蓄積されていることになる。次に、１Ｖｓｙｎｃで３フレームの符号化を行う場合は、第２のアングルの映像に対して蓄積された１５フレームを、蓄積された順に処理する。この蓄積された１５フレームは５Ｖｓｙｎｃで処理されるが、この間に新たな５フレームが蓄積されることになる。第２のアングルの映像に対して、前述の１５フレームの処理が完了すると、第１のアングルの映像に対しての処理に切り替えられる。
【００５８】
この時点で第１のアングルの映像に関しては、５フレームが蓄積されていることになる。蓄積されたフレームが処理されると、残りのフレームはＶｓｙｎｃ毎に処理することになる。この間、第２のアングルの映像に関しては、再び１０Ｖｓｙｎｃ分のフレームが蓄積され、合計１５Ｖｓｙｎｃ分のフレームが蓄積されていることになる。以降は、図５の１５〜２９Ｖｓｙｎｃの間と同じ処理が繰り返される。
【００５９】
その結果、ビデオバッファ１０８は５フレーム、ビデオバッファ１０９は１６フレーム分のストリームを蓄積できるバッファサイズを用意すればよいことがわかる。
【００６０】
以上のように、１Ｖｓｙｎｃ内で取得するフレームバッファ、格納するビデオバッファ、参照及び更新する予測メモリを、第１のアングルの映像及び第２のアングルの映像とで交互に切り替えて処理することにより、２つの映像を符号化することができるようになり、１つのビデオエンコーダでマルチアングルストリームを作成することが可能となる。
【００６１】
また、ビデオエンコーダが１Ｖｓｙｎｃ内に２フレーム以上を符号化することを保証することで、リアルタイムに２つのアングルに対する映像を符号化することが可能となる。
【００６２】
また、システムエンコーダが第１のアングルの映像及び第２のアングルの映像をインタリーブする単位で切り替えながら処理することにより、１つのシステムエンコーダでマルチアングル形式のストリームを生成することが可能となる。
【００６３】
図６は、図１のストリームエンコーダ１００により生成されたビデオストリームの構成図である。このビデオストリームを図１のＤＶＤ１１５に記録することにより、ＤＶＤ−Ｖｉｄｅｏ規格に準拠したマルチアングルコンテンツが格納されたＤＶＤを作成することができる。
【００６４】
このように本発明によれば、１つのビデオエンコーダ及び１つのシステムエンコーダによって２つの映像に対する符号化処理が可能となり、ハードウェア資源を削減することができる。
【００６５】
（第２の実施形態）
図７は、本発明の第２の実施形態に係るシステムエンコーダ２１２の構成を示すブロック図である。本実施形態においては、図１のストリームエンコーダ１００において、システムエンコーダ１１２に代えてシステムエンコーダ２１２を用いる。図７のシステムエンコーダ２１２は、図４に示す構成において、ビデオパケットヘッダ保持部１８２を更に備えるものである。
【００６６】
ビデオパケット生成部１６２は、アングル制御部１６８より第１のアングルの映像の符号化処理が指定されると、ビデオパケットを生成すると同時に、生成したパケットヘッダを、ビデオパケットヘッダ保持部１８２に出力する。
【００６７】
ビデオパケットヘッダ保持部１８２は、パケットヘッダを保持する。
【００６８】
また、ビデオパケット生成部１６２は、アングル制御部１６８より第２のアングルの映像の符号化処理が指定されると、新たにパケットヘッダを生成せず、ビデオパケットヘッダ保持部１８２に保持されているパケットヘッダを使用する。
【００６９】
また、ビデオパケットヘッダ保持部１８２は、ストリームに依存しないパラメータの場合のみ、ビデオパケットヘッダを保持する。例えばＤＶＤ規格ではＤＴＳのフィールドはストリームに依存するため、この場合、ビデオパケットヘッダ保持部１８２はパケットヘッダを保持せず、ビデオパケット生成部１６２は、第２のアングルの映像に対してビデオパケットを生成する際にも、第１のアングルの映像と同様に、パケットヘッダを生成する必要がある。
【００７０】
以上のように、ビデオパケット生成部１６２は、第１のアングルの映像の符号化時に生成したビデオパケットをビデオパケットヘッダ保持部１８２に保持させ、第２のアングルの映像の符号化時には、ビデオパケットヘッダ保持部１８２が保持するパケットヘッダを使用する。このため、第２のアングルの映像の符号化時におけるパケットヘッダ生成処理を省略することが可能となり、システムエンコーダ２１２の処理負荷を削減することが可能となる。
【００７１】
（第３の実施形態）
第３の実施形態に係るストリームエンコーダについて、以下に説明する。第１の実施形態のストリームエンコーダにおいて、２つのカメラが同位置から同じ方向を撮影していた場合、２つのカメラから出力される映像には重複部分が存在する。第３の実施形態では、２つの映像の重複部分の一方を動きの無い映像に変換して記録させることで、符号化の負荷を軽減する。
【００７２】
図８は、本発明の第３の実施形態に係るストリームエンコーダの構成を示すブロック図である。図８のストリームエンコーダ２００は、図１のストリームエンコーダ１００において、ナビ情報作成部１１３に代えてナビ情報作成部２０２を備え、更に、重複映像変換部２０１と、カメラ制御部２０６とを備えるものである。
【００７３】
カメラ１０１及び１０２は、同じ位置から同じ方向を撮影する。カメラ１０１からは、副映像として全景の映像が出力される。カメラ１０２からは、主映像としてカメラ１０１の倍率よりも高倍率の映像が出力される。
【００７４】
フレームバッファ１０４は、カメラ１０１が出力した映像を一時記憶する。フレームバッファ１０５は、カメラ１０２が出力した映像を一時記憶する。
【００７５】
カメラ制御部２０６は、カメラ１０１及び１０２の制御を行い、カメラ１０１及び１０２それぞれの倍率を倍率情報として出力する。
【００７６】
重複映像変換部２０１は、カメラ制御部２０６から取得したカメラ１０１及び１０２の倍率情報を元に、フレームバッファ１０４と、フレームバッファ１０５とに保持された映像の重複部分を検出し、フレームバッファ１０４が保持する映像について重複部分を変化量のない映像に変換する。
【００７７】
フレームバッファ１０４及び１０５が保持する映像は、ビデオエンコーダ１０６によって符号化される。
【００７８】
ナビ情報作成部２０２は、ナビ情報を作成する他に、重複映像変換部２０１から２つのカメラの倍率情報を受け取り、ＮＶ＿ＰＣＫ書き込み時に倍率情報に関してもＤＶＤ１１５へ書き込む。
【００７９】
図８のその他のブロックは、第１の実施形態と同様の処理をおこなう。
【００８０】
図９は、２つの映像における重複領域変換についての説明図である。図９（ａ）は、図８のカメラ１０１の入力映像イメージについて示す説明図である。図９（ｂ）は、図８のカメラ１０２の入力映像イメージについて示す説明図である。図９（ｃ）は、図８のカメラ１０１の入力映像について重複領域を変換して符号化したイメージについて示す説明図である。図９（ｄ）は、図８のカメラ１０２の入力映像を符号化したイメージについて示す説明図である。
【００８１】
図９（ａ）は副映像が入力されているものとし、図９（ｂ）は主映像が入力されているものとした場合、図９（ａ）に破線で示した領域ＴＡ１は、図９（ｂ）を縮小した同じ映像である。重複映像変換部２０１は、フレームバッファ１０４において、図９（ａ）に破線で示した領域ＴＡ１の領域を図９（ｃ）に示したように黒く変換する。映像を再生する場合は、図９（ｃ）のように黒く変換した部分に関しては、図９（ｂ）をそのまま符号化した図９（ｄ）の映像及びその映像撮影時の倍率情報を元に復元することが可能である。
【００８２】
図１０は、２つの映像における重複領域変換の処理手順を示すフローチャートである。重複映像変換部２０１は、カメラ１０１及び１０２の倍率情報を取得する（ステップＳ２０１）。カメラ倍率については、例えば、カメラの制御モジュール内でカメラ倍率が保持されたレジスタあるいは変数などを参照することにより取得する。
【００８３】
重複映像変換部２０１は、カメラ１０１及び１０２それぞれの倍率の関係から、重複領域を計算する（ステップＳ２０２）。各映像の縦幅をA、横幅をB、カメラ１０１の倍率をX1、カメラ１０２の倍率をX2とし、x-y平面状の中心座標(0,0)に映像の中心があるとし、図９（ａ）に示す重複領域の点ｐ，ｑ，ｒ，ｓそれぞれの座標をp（px,py）,q(qx,qy),r(rx,ry),s(sx,sy)とした場合、重複領域は次の式、すなわち、
px = (B/2)*(X1/X2)
py = (A/2)*(X1/X2)
qx = -(B/2)*(X1/X2)
qy = (A/2)*(X1/X2)
rx = -(B/2)*(X1/X2)
ry = -(A/2)*(X1/X2)
sx = (B/2)*(X1/X2)
sy = -(A/2)*(X1/X2)
で求められる。
【００８４】
次に、重複映像変換部２０１は、映像データを変換する領域を求める（ステップＳ２０３）。この時、映像データを変換する単位はマクロブロック単位で行う。
【００８５】
重複映像変換部２０１は、ステップＳ２０３で決定された領域の映像データを変換する（ステップＳ２０４）。例えば、映像データの輝度情報や色差情報等を黒色の情報に変換する。この処理によって、映像を符号化する際に、重複領域の分の負荷が軽減される。
【００８６】
次にナビ情報作成部２０２は、重複映像変換部２０１から２つのカメラの倍率情報を受け取り、記録媒体の自由に書き込める領域、例えばＤＶＤの場合、ベンダユニーク領域に書き込む（ステップＳ２０５）。
【００８７】
図１１は、図１０のステップＳ２０３で処理する映像データを変換する領域についての説明図である。ＲＡ１は、２つのカメラで撮影した映像の重複する領域を示す。ＲＡ２は、重複する領域をマクロブロック単位に区切った領域を示している。
【００８８】
次に映像データを変換する領域の計算方法を示す。例えば、マクロブロックの縦横サイズを既知の値(C,D)とし、マクロブロック数が偶数個であるとした場合、変換領域のマクロブロックの個数は、
x軸正方向    ((B/2*(X1/X2))/D)個
x軸負方向    ((B/2*(X1/X2))/D)個
y軸正方向    ((A/2*(X1/X2))/C)個
y軸負方向    ((A/2*(X1/X2))/C)個
となる。
【００８９】
図１２は、図８のストリームエンコーダ２００を用いて記録された映像データを再生するストリームデコーダの構成を示すブロック図である。図１２のストリームデコーダ３００は、読み込み制御部３０１と、転送制御部３０２と、倍率制御部３０３と、リサイズ処理部３０４と、合成部３０５と、アングル切替制御部３０６と、セレクタ３０７と、データ読込部３１７と、ストリームバッファ３１８と、データ転送部３１９と、デコーダ３２０と、デコーダ３２１とを備えている。
【００９０】
読み込み制御部３０１は、アングル切り替えが有効な場合、データ読込部３１７に対し、両アングルのデータをＤＶＤ３１５から読み出すように制御を行う。
【００９１】
データ読込部３１７は、読み込み制御部３０１からの制御要求に応じて、ＤＶＤ３１５から再生するストリームデータを読み出す。
【００９２】
ストリームバッファ３１８は、データ読込部３１７が読み出したストリームデータを一時的に保持しておく。
【００９３】
転送制御部３０２は、転送条件に応じて、データ転送部３１９に対し転送要求を出す。
【００９４】
データ転送部３１９は、転送制御部３０２からの要求に応じて、ストリームバッファ３１８からデコーダ３２０、或いはデコーダ３２１へストリームデータを転送する。
【００９５】
デコーダ３２０は、再生時にストリームデータのデコードを行う。
【００９６】
デコーダ３２１は、アングル切り替え要求が入った場合、切り替えるアングルのストリームデータをデコードする。
【００９７】
倍率制御部３０３は、リサイズ処理部３０４に対して倍率切り替え制御を行う。
【００９８】
リサイズ処理部３０４は、デコーダ３２０から入力された画像サイズを変換する。
【００９９】
合成部３０５は、２つ以上の画像を合成し、１つの画像として出力する。
【０１００】
アングル切替制御部３０６は、例えば、アプリケーションモジュールなどの変数を参照することによりアングル切り替えの有無を判断し、アングル切り替え要求を各ブロックに出力する。
【０１０１】
セレクタ３０７は、アングル切替制御部３０６から受けたアングル切り替え要求に応じて、１つの映像を選択し、モニタ３２２に出力する。
【０１０２】
以上のように構成されたストリームデコーダを用いてマルチアングルストリームを再生した場合のマルチアングル出力イメージについて説明する。
【０１０３】
図１３は、図１２のストリームデコーダ３００において映像が再生される処理の説明図である。図１３（ａ）は、図８のカメラ１０１で撮影され、図１２のＤＶＤ３１５に記録されている映像を示す説明図である。図１３（ｂ）は、図８のカメラ１０２で撮影され、図１２のＤＶＤ３１５に記録されている映像を示す説明図である。図１３（ｃ）は、図１２のモニタ３２２に出力される映像を示す説明図である。
【０１０４】
図１２のストリームデコーダ３００は、副映像である図１３（ａ）の映像を出力する際、図１３（ｂ）の主映像を図１３（ａ）のＴＡ２の黒く変換された領域に合成し出力する。
【０１０５】
図１４は、図１２のストリームデコーダ３００における映像再生の処理手順を示すフローチャートである。処理が開始されると、アングル切替制御部３０６はアングル切り替えの有無を判断し、アングル切り替えが有効な場合はステップＳ３０２、無効な場合はステップＳ３０８に進む（ステップＳ３０１）。
【０１０６】
次にステップＳ３０２では、読み込み制御部３０１がデータ読込部３１７に対して、第１のアングルの映像及び第２のアングルの映像の両方のデータをストリームバッファ３１８へ読み出すように要求を出し、データ読込部３１７は、ＤＶＤ３１５からストリームデータを読み込む（ステップＳ３０２）。
【０１０７】
転送制御部３０２は、データ転送部３１９に転送要求を行い、第２のアングルの映像のストリームデータは、デコーダ３２０へ転送され、デコードされる（ステップＳ３０３）。
【０１０８】
転送制御部３０２は、続けてデータ転送部３１９に転送要求を行い、第１のアングルの映像のストリームデータは、デコーダ３２１へ転送され、デコードされる（ステップＳ３０４）。ステップＳ３０４での転送先のデコーダはステップＳ３０３での転送先とは異なるため、例えばＤＭＡ（direct memory access）を使って転送する場合、ステップＳ３０３とは異なるチャンネルを使用し、ステップＳ３０３と同タイミングで転送することも可能である。また、デコーダ３２０とデコーダ３２１は同期が取れており、同タイミングで同ＰＴＳ（presentation time stamp）の映像出力が可能であるものとする。
【０１０９】
次に倍率制御部３０３は、ＤＶＤ３１５から読み出した倍率情報を元に、リサイズ処理部３０４に対してリサイズ要求を出す（ステップＳ３０５）。リサイズの倍率は、例えば倍率値をQとし、記録時のカメラ１０１の倍率をX1、カメラ１０２の倍率をX2とした場合、以下の式、すなわち、
Q=X2/X1
で表せる。
【０１１０】
次に合成部３０５は、第１のアングルの映像と第２のアングルの映像とを重ね合わせて合成し、セレクタ３０７に出力する（ステップＳ３０６）。
【０１１１】
図１５は、図１４のステップＳ３０６において再生映像が合成される処理の説明図である。合成部３０５は、例えば、図１５のように映像出力プレーンがＡからＥまであった場合、第１のアングルの映像を映像出力プレーンＡに、第２のアングルの映像を映像出力プレーンＢに割り当てて、同時に出力することにより、第１のアングルの映像と第２のアングルの映像とを合成する。
【０１１２】
アングル切替制御部３０６は、第１のアングルの映像と第２のアングルの映像とを合成した映像を出力するように、セレクタ３０７を制御する（ステップＳ３０７）。
【０１１３】
続けてステップＳ３０１でアングル切り替えが無効と判定された場合の処理について説明する。
【０１１４】
読み込み制御部３０１は、データ読込部３１７に対して、第２のアングルの映像のデータをストリームバッファ３１８へ読み出すように要求を出し、データ読込部３１７は、ＤＶＤ３１５からストリームデータを読み込む（ステップＳ３０８）。
【０１１５】
転送制御部３０２は、データ転送部３１９に対して、ストリームバッファ３１８からストリームデータを転送するように要求を出し、データ転送部３１９は、ストリームバッファ３１８からデコーダ３２０へストリームデータを転送し、ストリームデータは、デコードが行われて、セレクタ３０７へ出力される（ステップＳ３０９）。
【０１１６】
アングル切替制御部３０６は、映像を出力するようにセレクタ３０７を制御する（ステップＳ３１０）。
【０１１７】
以上のように、第３の実施形態によれば、図８の重複映像変換部２０１が、２つのカメラの入力映像の重複部分を２つのカメラの関係から決定し、一方の映像情報(輝度情報、色差情報等)を動きの無い黒色データに変換することにより、ストリームエンコーダ２００の符号化の負荷が軽減される。
【０１１８】
（第４の実施形態）
本発明の第４の実施形態に係るストリーム合成方法及びストリームエンコーダについて、以下に説明する。
【０１１９】
図１０のステップＳ２０３において説明した重複領域の変換処理において、マクロブロックにまたがった重複領域の符号化は負荷軽減に寄与しない。第４の実施形態では、重複領域がマクロブロックにまたがらないようにカメラの倍率調整を行うことで、第３の実施形態よりもさらに符号化時の処理の負荷を軽減する。
【０１２０】
図１６は、本発明の第４の実施形態に係るストリームエンコーダの構成を示すブロック図である。図１６のストリームエンコーダ４００は、図８のストリームエンコーダ２００において、更に、倍率検出補正部４０１を備えるものである。
【０１２１】
カメラ制御部２０６は、カメラ１０１の倍率あるいは、カメラ１０２の倍率が変更されたタイミングで、倍率情報を倍率検出補正部４０１に渡す。
【０１２２】
倍率検出補正部４０１は、カメラ１０１及び１０２の倍率の相互の関係に基づいて、重複領域のサイズがマクロブロックのサイズの整数倍となる倍率情報を算出して、カメラ制御部２０６に出力する。
【０１２３】
カメラ制御部２０６は、倍率検出補正部４０１から受け取った倍率情報に基づいて、カメラ１０１の倍率を調整する。
【０１２４】
図１７は、カメラの倍率調整の処理手順を示すフローチャートである。
【０１２５】
カメラ制御部２０６は、カメラ１０１及び１０２から倍率情報を取得し、倍率検出補正部４０１に倍率情報を出力する（ステップＳ４０１）。
【０１２６】
倍率検出補正部４０１は、カメラ１０１及び１０２の映像の重複領域を計算する（ステップＳ４０２）。重複領域の計算は、第３の実施形態に係るストリームエンコーダ２００と同様の方法で行う。
【０１２７】
重複領域のサイズがマクロブロックのサイズの整数倍かどうかを比較する（ステップＳ４０３）。
【０１２８】
次に、ステップＳ４０３における比較の方法について説明する。映像の縦幅をA、横幅をB、カメラ１０１の倍率をX1、カメラ１０２の倍率をX2とした場合、重複領域のサイズSは、以下の式、すなわち、
S=[{A*(X1/X2)}*{B*(X1/X2)}]
で求められる。
【０１２９】
また、マクロブロックの縦幅をC、横幅をD、とした場合、マクロブロックのサイズMは以下の式、すなわち、
M=C*D
で求められる。
【０１３０】
重複領域のサイズSをマクロブロックのサイズMで割った値が整数になるかどうかを判定することにより、比較することができる。
【０１３１】
カメラ１０１の倍率を調整し、ステップＳ４０１の処理に戻る（ステップＳ４０４）。倍率の調整方法は例えば、カメラの縦幅に対する重複領域の縦幅の比率と、変更後の倍率とカメラの縦幅との積に対するマクロブロックの整数倍の黒領域の縦幅の比率とが等しくなるため、マクロブロックの整数倍の黒領域の縦幅をEとして、ステップＳ４０３の計算で用いた変数を利用すると求める倍率は、以下の式、すなわち、
X1=X2*E/A
で求められる。
【０１３２】
図１８は、図１７のステップＳ４０４において、カメラの倍率を調整する処理の説明図である。ＲＡ３は、２つのカメラで撮影した映像の重複する領域を示す。ＲＡ４は、重複する領域をマクロブロック単位に区切った領域を示している。ステップＳ４０４では、重複領域のサイズをマクロブロックのサイズの整数倍とすることにより、図１８のようにＲＡ３とＲＡ４が一致する。
【０１３３】
倍率検出補正部４０１は、カメラ１０１及び１０２の確定した倍率情報を、重複映像変換部２０１に渡す（ステップＳ４０５）。
【０１３４】
以上のように、第４の実施形態では、倍率検出補正部４０１がカメラ制御部１２２から取得した２つのカメラの倍率関係から、重複領域を計算し、マクロブロックの単位に合わせてカメラ制御部１２２に対して倍率情報のフィードバックを行うことで、第３の実施形態における２つのカメラの映像の重複領域の変換の無駄を省き、符号化時の処理の負荷を軽減することができる。
【０１３５】
（第５の実施形態）
第５の実施形態では、第３の実施形態における撮影時のモニタリング方法について説明する。２台のカメラが撮影している映像を１台のモニタに表示する方法としては、片方のカメラの映像のみを表示する方法、もしくは２台のカメラの映像を同時に１画面に表示する方法が一般的である。第５の実施形態では、２台のカメラが同位置に設置され、同方向を撮影し、倍率のみ異なっている場合において、広角撮影映像の中にズーム撮影している領域をフレームで示すことにより、１画面で広角映像とズーム映像の相対的な関係を容易に確認できるようにする。
【０１３６】
図１９は、本発明の第５の実施形態に係るストリームエンコーダの構成を示すブロック図である。図１９のストリームエンコーダ５００は、図８のストリームエンコーダ２００において、重複映像変換部２０１に代えてズーム領域情報付与部５０１を備え、更に、合成部５０２と、セレクタ５０３と、モニタ映像切替制御部５０４とを備えるものである。図１９では、オーディオエンコーダ１０７、ビデオバッファ１０８及び１０９、オーディオバッファ１１０、エンコーダ制御部１１１、システムエンコーダ１１２、ストリームバッファ１１４、ナビ情報作成部２０２は省略している。カメラ１０１，１０２の設置位置及び撮影方向は同一であり、カメラ１０１，１０２は撮影倍率のみ異なる。
【０１３７】
以下、図１９を参照しつつ、全体の動作について説明する。本実施形態において、カメラ１０１は広角の映像を撮影し、カメラ１０２はズームの映像を撮影する。
【０１３８】
カメラ１０１から入力された広角映像データはフレームバッファ１０４に格納される。同様に、カメラ１０２から入力されたズーム映像データはフレームバッファ１０５に格納される。
【０１３９】
カメラ制御部２０６は、カメラ１０１とカメラ１０２の倍率制御を行っている。カメラ１０１は広角映像を撮影し、カメラ１０２はズーム映像を撮影することから、カメラ１０１の倍率とカメラ１０２の倍率の関係は以下の条件、すなわち、
（カメラ１０１の倍率）  ＜＝  （カメラ１０２の倍率）
を満たす。
【０１４０】
カメラ１０１の倍率がカメラ１０２の倍率よりも大きくなるように要求された場合、上記条件を満たすようにカメラ１０２の倍率も大きくする。
【０１４１】
カメラ１０２の倍率がカメラ１０１の倍率よりも小さくなるように要求された場合、上記条件を満たすようにカメラ１０１の倍率も小さくする。
【０１４２】
なお、カメラ制御部２０６においては、カメラ１０１の倍率とカメラ１０２の倍率を独立に制御してもよい。ただし、カメラ１０１，カメラ１０２の倍率の大小関係が反転した場合には、後で説明するズーム領域情報付与部５０１に出力する広角映像が、カメラ１０１の映像からカメラ１０２の映像に切り替わる必要がある。
【０１４３】
ズーム領域情報付与部５０１は、カメラ制御部２０６から取得したカメラ１０１，カメラ１０２の倍率情報をもとに、広角映像に重ねる縁を作成する。また、作成した縁をフレームバッファ１０４が保持する広角映像に重ねてセレクタ５０３に出力する。広角映像に重ねる縁のサイズは以下の式、すなわち、
（サイズ補正係数）＝（広角撮影カメラの倍率）／（ズーム撮影カメラの倍率）
（縁の水平方向のサイズ）＝（サイズ補正係数）＊（広角映像の水平方向のサイズ）
（縁の垂直方向のサイズ）＝（サイズ補正係数）＊（広角映像の垂直方向のサイズ）
で求められる。
【０１４４】
図２０は、広角映像に縁を重ねる処理の説明図である。図２０における縁の挿入位置Ｘ，縁の挿入位置Ｙは以下の式、すなわち、
（縁の挿入位置Ｘ）＝（広角映像の水平方向のサイズ−縁の水平方向のサイズ）／２
（縁の挿入位置Ｙ）＝（広角映像の垂直方向のサイズ−縁の垂直方向のサイズ）／２
で求められる。
【０１４５】
モニタ映像切替制御部５０４は、ユーザの要求に応じてセレクタ５０３を切り替えて、モニタ５０６に出力する映像を選択する。
【０１４６】
図２１は、図１９のセレクタ５０３が切り替えることができる映像を示す説明図である。図２１（ａ）は、図１９のフレームバッファ１０４が保持する広角映像を示す説明図である。図２１（ｂ）は、図１９のフレームバッファ１０５が保持するズーム映像を示す説明図である。図２１（ｃ）は、フレームバッファ１０４が保持するズーム映像と、フレームバッファ１０５が保持する広角映像とを、図１９の合成部５０２が重ね合わせた映像を示す説明図である。図２１（ｄ）は、図１９のズーム領域情報付与部５０１が広角映像に縁を重ねた映像を示す説明図である。
【０１４７】
以上のように、同位置から同方向のマルチアングル撮影を行う場合に、撮影する２つのカメラの倍率情報から広角映像とズーム映像の相対的関係を求めることができ、その関係を広角映像の中にフレーム表示することで、記録時に広角映像を見ながらズーム領域を容易に確認することが可能となる。
【０１４８】
（第６の実施形態）
第６の実施形態では、２台のカメラの設置位置及び撮影方向がずれたことを検出し、モニタに表示する映像を自動的に２画面表示に切り替える方法について説明する。
【０１４９】
図２２は、本発明の第６の実施形態に係るストリームエンコーダの構成を示すブロック図である。図２２のストリームエンコーダ５５０は、図８のストリームエンコーダ２００において、カメラ制御部２０６及び重複映像変換部２０１に代えて、カメラ制御部５５１及びカメラずれ検出部５５２をそれぞれ備え、更に、合成部５０２と、セレクタ５５３と、モニタ映像切替制御部５０４とを備えるものである。図２２では、オーディオエンコーダ１０７、ビデオバッファ１０８及び１０９、オーディオバッファ１１０、エンコーダ制御部１１１、システムエンコーダ１１２、ストリームバッファ１１４、ナビ情報作成部２０２は省略している。
【０１５０】
以下、図２２を参照しつつ、全体の動作について説明する。
【０１５１】
カメラ５５４及びカメラ５５５は、ユーザの要求により左右に回転可能である。
【０１５２】
カメラ制御部５５１は、カメラ５５４とカメラ５５５の左右の回転を制御し、カメラ５５４とカメラ５５５の角度情報を管理する。なお、カメラ５５４及びカメラ５５５は、左右回転だけでなく上下に回転してもよい。また、カメラ５５４及びカメラ５５５は機器本体から着脱可能であってもよい。ただし、カメラ制御部５５１がカメラ５５４及びカメラ５５５の着脱状態を監視しておく必要がある。
【０１５３】
カメラずれ検出部５５２は、カメラ制御部５５１から取得したカメラ５５４，カメラ５５５の角度情報（もしくは着脱情報）から、カメラの設置位置及び撮影方向のずれを検出する。カメラの設置位置又は撮影方向のズレを検出した場合、セレクタ５５３にカメラずれ通知を行う。
【０１５４】
セレクタ５５３は、カメラずれ通知を受けると、フレームバッファ１０４が保持する広角映像とフレームバッファ１０５が保持するズーム映像とを合成部５０２が重ね合わせた映像（図２１（ｃ））を選択し、モニタ５０６に出力する。
【０１５５】
なお、図２１（ｃ）のようにズーム映像を全画面表示し、広角映像を画面右下に表示する必要はなく、２つの映像が１画面に納まるのであれば２つの表示映像はどのような配置、サイズであってもよい。
【０１５６】
以上のように、同位置から同方向のマルチアングル撮影において、２つのカメラの設置位置及び撮影方向のずれが発生した場合に、モニタリングの方法を自動的に２画面表示に切り替えることで、記録時のモニタ表示の設定切替の手間を省くことを可能とする。
【０１５７】
（第７の実施形態）
第３の実施形態では、２つのカメラの入力映像の重複部分を２つのカメラの撮影倍率の関係から決定し、重複した一方の領域を圧縮率の高いデータ（例えば１色の静止画データ）に置き換えることで、符号化時の処理の負荷を軽減した。第７の実施形態では、第３の実施形態における負荷軽減により獲得したエンコーダのリソースを、メインとなる映像（例えば高倍率で撮影している映像）の符号化において活用することで、メインとなる映像に対してより高画質な記録を行う。
【０１５８】
図２３は、本発明の第７の実施形態に係るストリームエンコーダの構成を示すブロック図である。図２３のストリームエンコーダ６００は、図８のストリームエンコーダ２００において、ビデオエンコーダ１０６に代えてビデオエンコーダ６０２を備え、更に、ビットレート調整部６０１を備えるものである。
【０１５９】
ビデオエンコーダ６０２は、図８のビデオエンコーダ１０６において、ビットレートをアングルに応じて変更する機能が追加されたものである。
【０１６０】
以下、図２３を参照しつつ、エンコーダのリソースの有効活用を実現する動作について説明する。
【０１６１】
ビットレート調整部６０１は、フレームバッファ１０４及び１０５で保持されるデータを符号化する際のビットレートを管理している。ビットレート調整部６０１は、フレームバッファ１０４のデータを符号化する際のビットレートを決定するために、重複映像変換部２０１から重複領域のサイズを取得する。取得した重複領域のサイズは、１画面の映像の中に占める重複領域の割合を求めるために利用される。１画面に占める重複領域の割合から以下の式、すなわち、
（フレームバッファ１０４のデータを符号化する際のビットレート）
＝（重複領域がない時のビットレート）＊（１−重複領域が占める割合）＋α
により、フレームバッファ１０４のデータを符号化するビットレートが決定される。
【０１６２】
なお、αは、単一なデータに置き換えられた重複領域が符号化される時の負荷を考慮した値であり、ビデオエンコーダに余裕があれば０と考えてもよい。
【０１６３】
ビットレート調整部６０１は上式により求めたビットレートを、フレームバッファ１０４のデータを符号化するためのビットレートとして、ビデオエンコーダ６０２に通知する。
【０１６４】
また、ビットレート調整部６０１は、フレームバッファ１０５のデータを符号化する際のビットレートを以下の式、すなわち、
（フレームバッファ１０５のデータを符号化する際のビットレート）
＝（重複領域がない時のビットレート）＊（１＋重複領域が占める割合）−α
により決定する。
【０１６５】
このため、フレームバッファ１０４のデータを符号化する際に低減されたビットレートが、フレームバッファ１０５のデータを符号化する際のビットレートに上乗せされることになる。
【０１６６】
ビットレート調整部６０１は、フレームバッファ１０５のデータを符号化するためのビットレートとして、上式により求めたビットレートをビデオエンコーダ６０２に通知する。
【０１６７】
図２４は、本発明の第７の実施形態に係るビデオエンコーダ６０２の構成を示すブロック図である。図２４のビデオエンコーダ６０２は、図３のビデオエンコーダ１０６において、符号化制御部１４１及びアングル制御部１４８に代えて、符号化制御部７０１及びアングル制御部７０２をそれぞれ備えるものである。
【０１６８】
以下、ビデオエンコーダ６０２の内部処理を、図２４を用いて説明する。
【０１６９】
ビデオエンコーダ６０２は、図２３のビットレート調整部６０１から、フレームバッファ１０４で保持されるデータに対するビットレート情報及びフレームバッファ１０５で保持されるデータに対するビットレート情報を受け取る。符号化制御部７０１は、受け取ったそれぞれのビットレート情報を保持する。
【０１７０】
アングル制御部７０２は、図２のアングル制御部１４８において、符号化するアングル切り替えのタイミングを符号化制御部７０１に通知する機能が追加されたものである。符号化制御部７０１は、アングル制御部７０２からアングル切り替えのタイミングを受け、各アングルにあったビットレートで符号化を行うように、各ブロックを制御する。
【０１７１】
以上のように、本実施の形態では、２つの映像に重複領域が存在する場合に、片方の映像の重複領域を単一なデータに置き換えることにより符号化負荷を低減するストリームエンコーダは、負荷低減することで獲得したエンコーダのリソースをメインとなる映像（重複領域が単一データに置き換わっていない映像）の符号化に割り当てることで、より高画質な記録をおこなうことができる。
【産業上の利用可能性】
【０１７２】
以上説明したように、本発明は、複数の映像をリアルタイムに符号化して合成し、１つのストリームを生成することができるので、ＤＶＤビデオカメラやＤＶＤレコーダ等のマルチアングル機能に対応する記録装置等について有用である。
【図面の簡単な説明】
【０１７３】
【図１】本発明の第１の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図２】ＤＶＤビデオ規格におけるセルを構成するＮＶ＿ＰＣＫの構成図である。
【図３】図１のビデオエンコーダ１０６の構成を示すブロック図である。
【図４】図１のシステムエンコーダ１１２の構成を示すブロック図である。
【図５】図１のカメラ１０１及び１０２から取り込まれた映像の、図１のビデオバッファ１０８及び１０９におけるフレームの蓄積を示す説明図である。
【図６】図１のストリームエンコーダにより生成されたビデオストリームの構成図である。
【図７】本発明の第２の実施形態に係る図１のシステムエンコーダ１１２の構成を示すブロック図である。
【図８】本発明の第３の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図９】２つの映像における重複領域変換についての説明図である。図９（ａ）は、図８のカメラ１０１の入力映像イメージについて示す説明図である。図９（ｂ）は、図８のカメラ１０２の入力映像イメージについて示す説明図である。図９（ｃ）は、図８のカメラ１０１の入力映像について重複領域を変換して符号化したイメージについて示す説明図である。図９（ｄ）は、図８のカメラ１０２の入力映像を符号化したイメージについて示す説明図である。
【図１０】２つの映像における重複領域変換の処理手順を示すフローチャートである。
【図１１】図１０のステップＳ２０３で処理する映像データを変換する領域についての説明図である。
【図１２】図８のストリームエンコーダを用いて記録された映像データを再生するストリームデコーダの構成を示すブロック図である。
【図１３】図１２のストリームデコーダにおいて映像が再生される処理の説明図である。図１３（ａ）は、図８のカメラ１０１で撮影され、図１２のＤＶＤ３１５に記録されている映像を示す説明図である。図１３（ｂ）は、図８のカメラ１０２で撮影され、図１２のＤＶＤ３１５に記録されている映像を示す説明図である。図１３（ｃ）は、図１２のモニタ３２２に出力される映像を示す説明図である。
【図１４】図１２のストリームデコーダにおける映像再生の処理手順を示すフローチャートである。
【図１５】図１４のステップＳ３０６において再生映像が合成される処理の説明図である。
【図１６】本発明の第４の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図１７】カメラの倍率調整の処理手順を示すフローチャートである。
【図１８】図１７のステップＳ４０４において、カメラの倍率を調整する処理の説明図である。
【図１９】本発明の第５の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図２０】広角映像に縁を重ねる処理の説明図である。
【図２１】図１９のセレクタ５０３が切り替えることができる映像を示す説明図である。図２１（ａ）は、図１９のフレームバッファ１０４が保持する広角映像を示す説明図である。図２１（ｂ）は、図１９のフレームバッファ１０５が保持するズーム映像を示す説明図である。図２１（ｃ）は、フレームバッファ１０４が保持するズーム映像と、フレームバッファ１０５が保持する広角映像とを、図１９の合成部５０２が重ね合わせた映像を示す説明図である。図２１（ｄ）は、図１９のズーム領域情報付与部５０１が広角映像に縁を重ねた映像を示す説明図である。
【図２２】本発明の第６の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図２３】本発明の第７の実施形態に係るストリームエンコーダの構成を示すブロック図である。
【図２４】本発明の第７の実施形態に係るビデオエンコーダ６０２の構成を示すブロック図である。
【符号の説明】
【０１７４】
１０，２０，４０，５０，５５，６０  ストリームエンコーダ
３０  ストリームデコーダ
１０１，１０２  カメラ
１０６，６０２  ビデオエンコーダ
１０８，１０９  ビデオバッファ
１１２  システムエンコーダ
１４０  動き補償予測符号化器
１４６，１５２  予測メモリ
１４７  動き補償予測部
１４８，１６８，７０２  アングル制御部
１４９  フレームセレクタ
１５０  バッファセレクタ
１５１  メモリセレクタ
１６２  ビデオパケット生成部
１６４  オーディオパケット生成部
１６９  ビデオセレクタ
１７０  オーディオパケット保持部
１７１  オーディオセレクタ
１８２  ビデオパケットヘッダ保持部
２０１  重複映像変換部
２０２  ナビ情報作成部
２０６，５５１  カメラ制御部
３０４  リサイズ処理部
３０５  合成部
３１７  データ読込部
３１９  データ転送部
３２０，３２１  デコーダ
４０１  倍率検出補正部
５０１  ズーム領域情報付与部
５５２  カメラずれ検出部
６０１  ビットレート調整部
７０１  符号化制御部
【図１】
2008005112.tif 000003
【図２】
2008005112.tif 000004
【図３】
2008005112.tif 000005
【図４】
2008005112.tif 000006
【図５】
2008005112.tif 000007
【図６】
2008005112.tif 000008
【図７】
2008005112.tif 000009
【図８】
2008005112.tif 000010
【図９】
2008005112.tif 000011
【図１０】
2008005112.tif 000012
【図１１】
2008005112.tif 000013
【図１２】
2008005112.tif 000014
【図１３】
2008005112.tif 000015
【図１４】
2008005112.tif 000016
【図１５】
2008005112.tif 000017
【図１６】
2008005112.tif 000018
【図１７】
2008005112.tif 000019
【図１８】
2008005112.tif 000020
【図１９】
2008005112.tif 000021
【図２０】
2008005112.tif 000022
【図２１】
2008005112.tif 000023
【図２２】
2008005112.tif 000024
【図２３】
2008005112.tif 000025
【図２４】
2008005112.tif 000026