(57)【特許請求の範囲】
【請求項１】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成する
ことを特徴とする動画像符号化装置。
【請求項２】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
基準時間選択部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、
前記制御部は、
前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、
前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる
ことを特徴とする動画像符号化装置。
【請求項３】
複数の動画像データを符号化する装置であって、
符号化部と、
ピクチャタイプ検出部と、
計測部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される第１の被参照ピクチャと、
前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャと、
前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、
前記制御部は、前記計測部によって計測された合計時間が前記動画像データのフレームレートに基づく所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成し、かつ、その第２の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成する
ことを特徴とする動画像符号化装置。
【請求項４】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
制御部とを備え、
前記複数の動画像データは、
他のピクチャの符号化のときに参照される第１の被参照ピクチャと、
前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の予測符号化方式と第２の予測符号化方式とを有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
前記符号化部は、前記第２の予測符号化方式では、当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記所定ビットストリームが生成されていない方に基づいてフレーム間予測符号化する
ことを特徴とする動画像符号化装置。
【請求項５】
請求項４において、
前記複数の動画像データは、
前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、
前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
前記制御部は、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化する
ことを特徴とする動画像符号化装置。
【請求項６】
請求項１〜請求項５のいずれか１つにおいて、
前記所定ビットストリームは、前記符号化部によってすでに符号化された動画像データのコピーストリームである
ことを特徴とする動画像符号化装置。
【請求項７】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させる
ことを特徴とする動画像符号化装置。
【請求項８】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
基準時間選択部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式と、前記第２の符号化方式よりも符号化に要する時間が短い第３の符号化方式とを有し、前記第１，第２，第３の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、
前記制御部は、
前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第３の符号化方式に従って符号化させ、
前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる
ことを特徴とする動画像符号化装置。
【請求項９】
複数の動画像データを符号化する装置であって、
符号化部と、
ピクチャタイプ検出部と、
計測部と、
制御部とを備え、
前記複数の動画像データは、
他のピクチャの符号化のときに参照される第１の被参照ピクチャと、
前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャと、
前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、
前記制御部は、前記計測部によって計測された合計時間が所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、かつ、その第２のピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に前記第２の符号化方式に従って符号化させる
ことを特徴とする動画像符号化装置。
【請求項１０】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
ピクチャタイプ検出部と、
制御部とを備え、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される第１の被参照ピクチャと、
前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、
前記符号化部は、第１の予測符号化方式と第２の予測符号化方式とをさらに有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
前記符号化部は、前記第２の予測符号化方式では、前記符号化部に当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記第２の符号化方式に従って符号化されていない方に基づいてフレーム間予測符号化する
ことを特徴とする動画像符号化装置。
【請求項１１】
請求項１０において、
前記複数の動画像データは、
前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、
前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化する
ことを特徴とする動画像符号化装置。
【請求項１２】
複数の動画像データを符号化する装置であって、
符号化部と、
計測部と、
制御部とを備え、
前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、
前記計測部は、さらに、前記符号化部によって動画像データのうち所定量のデータが符号化されるまでに要した部分符号化時間を計測し、
前記制御部は、前記符号化部が前記第２の符号化方式に従って動画像データを符号化しているときに、前記計測部によって計測された部分符号化時間が前記動画像データのフレームレートに基づいた部分所定時間を超過していないと判断すると、前記符号化部によって符号化されている動画像データのうち未だ符号化されていない部分を前記符号化に前記第１の符号化方式に従って符号化させる
ことを特徴とする動画像符号化装置。
【請求項１３】
複数の動画像データを符号化する方法であって、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記方法は、
前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、
前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、
前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、
前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、
前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、
前記ステップ（Ｅ）において選択された動画像データを符号化することなく、当該動画像データの符号化データに代わる所定ビットストリームを生成するステップ（Ｆ）とを備える
ことを特徴とする動画像符号化方法。
【請求項１４】
複数の動画像データを符号化する方法であって、
前記複数の動画像データは、
他の動画像データの符号化のときに参照される被参照ピクチャと、
前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
前記方法は、
第１の符号化方式に従って前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、
前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、
前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、
前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、
前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、
前記ステップ（Ｅ）において選択された動画像データを前記ステップ（Ａ）における第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式に従って符号化するステップ（Ｆ）とを備える
ことを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを符号化する装置および方法に関し、さらに詳しくは動画像データの符号化する時間が所定時間を超過した場合の異常系回避に関する。
【背景技術】
【０００２】
従来の動画像符号化装置は、フレームメモリに蓄積された動画像データを符号化する際、動画像データの符号化に必要な処理量（符号化処理量）を算出して、その算出した処理量が削減されるような処理を施している。具体的には、前方参照画像符号化や双方向参照符号化においてスライス層もしくはマクロブロック層以下の動き予測を簡易化することによって、符号化処理量を削減している。これにより、動画像データの符号化がフレームレートより算出される時間内に完了するように、符号化処理量が削減されている（例えば、特開２００５−５７７５０号公報参照）。
【特許文献１】特開２００５−５７７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の動画像符号化装置では、符号化を実行する前に、予め動画像データの符号化処理量を削減しているが、実際の符号化時間が所定時間（例えば、フレームレートより算出される時間）を超過してしまった場合、フレームメモリに新たな動画像データが上書きされてしまって、画像乱れが生じてしまう。また、符号化処理量が溢れることによってエラー通知が出力されると、処理が中断することにより符号化処理が時間的に不連続になってしまう。このように、符号化システムが破綻してしまうおそれがある。
【課題を解決するための手段】
【０００４】
この発明の１つの局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成する。
【０００５】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
【０００６】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、基準時間選択部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、前記制御部は、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる。
【０００７】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、符号化部における符号化時間の超過の度合いに応じて後に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。さらに、後に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準時間を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
【０００８】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、ピクチャタイプ検出部と、計測部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、前記制御部は、前記計測部によって計測された合計時間が前記動画像データのフレームレートに基づく所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成し、かつ、その第２の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成する。
【０００９】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、上記動画像符号化装置では、被参照画像と参照画像との集合を１つの単位として短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
【００１０】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他のピクチャの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の予測符号化方式と第２の予測符号化方式とを有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記所定ビットストリームが生成されていない方に基づいてフレーム間予測符号化する。
【００１１】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理が実行された動画像データを参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
【００１２】
なお、前記複数の動画像データは、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記制御部は、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化しても良い。
【００１３】
また、前記所定ビットストリームは、前記符号化部によってすでに符号化された動画像データのコピーストリームであっても良い。
【００１４】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させる。
【００１５】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
【００１６】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、基準時間選択部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式と、前記第２の符号化方式よりも符号化に要する時間が短い第３の符号化方式とを有し、前記第１，第２，第３の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、前記制御部は、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第３の符号化方式に従って符号化させ、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる。
【００１７】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、符号化部における符号化時間の超過の度合いに応じて後に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。さらに、後に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準時間を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
【００１８】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、ピクチャタイプ検出部と、計測部と、制御部とを備え、前記複数の動画像データは、他のピクチャの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、前記制御部は、前記計測部によって計測された合計時間が所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、かつ、その第２のピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に前記第２の符号化方式に従って符号化させる。
【００１９】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、被参照画像と参照画像との集合を１つの単位として短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
【００２０】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、前記符号化部は、第１の予測符号化方式と第２の予測符号化方式とをさらに有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記符号化部に当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記第２の符号化方式に従って符号化されていない方に基づいてフレーム間予測符号化する。
【００２１】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理が実行された動画像データを参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
【００２２】
なお、前記複数の動画像データは、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化しても良い。
【００２３】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、制御部とを備え、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、前記計測部は、さらに、前記符号化部によって動画像データのうち所定量のデータが符号化されるまでに要した部分符号化時間を計測し、前記制御部は、前記符号化部が前記第２の符号化方式に従って動画像データを符号化しているときに、前記計測部によって計測された部分符号化時間が前記動画像データのフレームレートに基づいた部分所定時間を超過していないと判断すると、前記符号化部によって符号化されている動画像データのうち未だ符号化されていない部分を前記符号化に前記第１の符号化方式に従って符号化させる。
【００２４】
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、動画像データの一部分の符号化が完了する毎に、符号化時間が予定時間を超過しているか否かを判断することによって、ピクチャ１枚分の動画像データの符号化が完了する前に、通常符号化処理に復帰することができる。これにより、符号化時間を過剰に短縮することを防ぐことができ、画質低下等を抑制することができる。
【００２５】
この発明の別の局面に従うと、動画像符号化方法は、複数の動画像データを符号化する方法であって、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記方法は、前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、前記ステップ（Ｅ）において選択された動画像データを符号化することなく、当該動画像データの符号化データに代わる所定ビットストリームを生成するステップ（Ｆ）とを備える。
【００２６】
上記動画像符号化方法では、動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
【００２７】
この発明の別の局面に従うと、動画像符号化方法は、複数の動画像データを符号化する方法であって、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記方法は、第１の符号化方式に従って前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、前記ステップ（Ｅ）において選択された動画像データを前記ステップ（Ａ）における第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式に従って符号化するステップ（Ｆ）とを備える。
【００２８】
上記動画像符号化方法では、動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
【発明の効果】
【００２９】
以上のように、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。
【発明を実施するための最良の形態】
【００３０】
以下、この発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
【００３１】
（第１の実施形態）
＜全体構成＞
図１は、この発明の第１の実施形態による動画像符号化装置の全体構成を示す。この動画像符号化装置は、フレームメモリ１０１と、符号化部１０２と、処理時間制御部１０と、バッファメモリ１０５とを備える。
【００３２】
フレームメモリ１０１は、外部からの動画像データをフレーム単位（ピクチャ単位）で順次格納する。なお、ここでは、フレームメモリ１０１は、６つの動画像データｆｒｍ１〜ｆｒｍ６を格納する。
【００３３】
符号化部１０２は、通常モードと短縮モードとの２つの符号化モードを有し、符号化処理制御部１０４によっていずれか一方の符号化モードに設定される。通常モードに設定されると、符号化部１０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。一方、短縮モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データを符号化しない。また、符号化部１０２は、ピクチャ１枚分の動画像データを取り込み始めるとデータ格納信号を出力し、取り込んだ動画像データの符号化を開始すると開始信号を出力し、ピクチャ１枚分の動画像データの符号化が完了すると、処理時間制御部１０に終了信号を出力する。
【００３４】
処理時間制御部１０は、符号化部１０２が動画像データの符号化に要した時間（符号化時間）に応じてフレームメモリ１０１，符号化部１０２，およびバッファメモリ１０５を制御する。処理時間制御部１０は、処理時間計測部１０３と、符号化処理制御部１０４とを含む。処理時間計測部１０３は、符号化部１０２から出力された終了信号を参照して、符号化時間を計測する。例えば、処理時間計測部１０３は、符号化部１０２からの開始信号を受けてから終了信号を受けるまでの時間を計測する。符号化処理制御部１０４は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間）を計算する。例えば、符号化処理制御部１０４は、符号化部１０２からのデータ格納信号を受け取ると、フレームレートに基づいて符号化部１０２が動画像データの符号化を完了しなければいけない時刻を求め、符号化部１０２からのデータ格納信号を受け取った時刻からその求めた時刻までの時間を算出する。さらに、符号化処理制御部１０４は、通常モードと短縮モードとの２つの符号化モードを有する。符号化処理制御部１０４は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間とを比較し、その比較の結果に応じて符号化部１０２の符号化モードおよび自己の符号化モードを変更する。短縮モードになると、符号化処理制御部１０４は、符号化部１０２が次に符号化する予定である動画像データをフレームメモリ１０１の中から削除するとともに、その動画像データの符号データに代わるコピーストリームをバッファメモリ１０５に格納する。コピーストリームは、先に符号化された動画像データと同一であることを示す符号語ビットストリームである。
【００３５】
バッファメモリ１０５は、符号化部１０２によって符号化された動画像データ（符号化動画像データ）を順次格納する。なお、ここでは、バッファメモリ１０５は、６つの符号化動画像データｃｏｄｅ１〜ｃｏｄｅ６を格納する。
【００３６】
＜通常符号化処理＞
ここで、図１に示した符号化部１０２および符号化処理制御部１０４による通常モードにおける処理について図２Ａを参照しつつ説明する。
【００３７】
〔ステップＳＴ１０１−１１〕
通常モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを取り込む。このとき、符号化部１０２は、データ格納信号を出力する。次に、符号化処理制御部１０４は、符号化部１０２からのデータ格納信号を受けると、動画像データのフレームレートに基づいて、その動画像データの符号化のために要することができる時間（予定時間）を算出する。
【００３８】
〔ステップＳＴ１０１−１２〕
次に、符号化部１０２は、通常モード用の符号化方式に従って、取り込んだ動画像データを符号化する。これにより、符号化動画像データが生成される。
【００３９】
〔ステップＳＴ１０１−１３〕
また、処理時間計測部１０３は、符号化部１０２からの開始信号，終了信号を受けて、符号化部１０２による動画像データの符号化に要した時間（符号化時間）を計測する。
【００４０】
〔ステップＳＴ１０１−１４〕
次に、符号化部１０２は、ステップＳＴ１０１−１２において生成した符号化動画像データをバッファメモリ１０５に格納する。
【００４１】
＜短縮符号化処理＞
次に、図１に示した符号化部１０２および符号化処理制御部１０４による短縮モードにおける処理について図２Ｂを参照しつつ説明する。
【００４２】
〔ステップＳＴ１０１−２１〕
短縮モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データを符号化しない。また、符号化処理制御部１０４は、符号化部１０２によって符号化される予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを削除する。これにより、フレームメモリ１０１は、ピクチャ１枚分の動画像データの領域が空になる。したがって、フレームメモリ１０１は、削除された動画像データの代わりに別の動画像データを格納することができる。
【００４３】
〔ステップＳＴ１０１−２２〕
また、符号化処理制御部１０４は、動画像データのフレームレートに基づいて、予定時間を算出する。
【００４４】
〔ステップＳＴ１０１−２３〕
次に、符号化処理制御部１０４は、直前に生成された符号化動画像データをバッファメモリ１０５の中から検出する。符号化処理制御部１０４は、バッファメモリ１０５の中から検出した符号化動画像データのコピーストリームを生成する。
【００４５】
〔ステップＳＴ１０１−２４〕
また、符号化処理制御部１０４は、コピーストリームの生成に要した時間を符号化時間として計測する。
【００４６】
〔ステップＳＴ１０１−２５〕
次に、符号化処理制御部１０４は、ステップＳＴ１０１−２３において生成したコピーストリームをバッファメモリ１０５に格納する。これにより、符号化部１０２によって符号化されなかった動画像データの符号化データに代わるビットストリームがバッファメモリ１０５に格納される。
【００４７】
＜動作＞
次に、図１に示した動画像符号化装置による動作について図３を参照しつつ説明する。      
【００４８】
〔ステップＳＴ１０１〕
まず、符号化部１０２および符号化処理制御部１０４は、符号化モードに応じた符号化処理（通常符号化処理または短縮符号化処理）を実行する。
【００４９】
〔ステップＳＴ１０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ１０３へ進む。
【００５０】
〔ステップＳＴ１０３〕
次に、符号化処理制御部１０４は、ステップＳＴ１０１において処理時間計測部１０３によって計測された符号化時間がステップＳＴ１０１において算出した予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ１０４へ進む。一方、そうでない場合にはステップＳＴ１０５へ進む。
【００５１】
〔ステップＳＴ１０４〕
次に、符号化処理制御部１０４は、自己の符号化モードおよび符号化部１０２の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ１０１へ進む。
【００５２】
〔ステップＳＴ１０５〕
一方、ステップＳＴ１０３において符号化時間が予定時間を超過していない場合、符号化処理制御部１０４は、自己の符号化モードおよび符号化部１０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ１０１へ進む。
【００５３】
＜具体例＞
ここで、図３に示した短縮符号化処理１について図４，図５を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で動画像符号化装置に入力されるものとする。また、図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
【００５４】
〔通常符号化処理〕
まず、符号化部１０２による符号化処理において時間超過が発生していない場合について図４を参照しつつ説明する。なお、ここでは、図１のフレームメモリ１０１は、６つのフレームメモリ１０１−１〜１０１−６から構成されているものとする。また、符号化モードは「通常モード」に設定されているものとする。
【００５５】
時刻ｔ０において、フレームメモリ１０１−１は、動画像データＩ０の取り込みを開始する。また、フレームメモリ１０１−１は、動画像データＩ０の取り込みが完了すると、その動画像データＩ０を保持する。
【００５６】
時刻ｔ１になると、フレームメモリ１０１−２は、動画像データＢ２の取り込みを開始する。また、フレームメモリ１０１−２は、動画像データＢ２の取り込みが完了すると、その動画像データＢ２を保持する。
【００５７】
時刻ｔ２になると、フレームメモリ１０１−３は、動画像データＢ３の取り込みを開始する。また、フレームメモリ１０１−３は、動画像データＢ３の取り込みが完了すると、その動画像データＢ３を保持する。
【００５８】
時刻ｔ３になると、符号化部１０２は、フレームメモリ１０１−１に格納された動画像データＩ０の符号化を開始する。フレームメモリ１０１−４は、動画像データＰ１の取り込みを開始する。また、フレームメモリ１０１−４は、動画像データＰ１の取り込みが完了すると、その動画像データＰ１を保持する。
【００５９】
時刻ｔ４になると、符号化部１０２は、動画像データＩ０の符号化を完了する。処理時間計測部１０３は、符号化部１０２からの開始信号，終了信号を受けて、符号化時間を計測する。符号化処理制御部１０４は、符号化時間が予定時間を超過していないと判断して、符号化部１０２の符号化モードおよび自己の符号化モードを変更しない。よって、符号化部１０２は、フレームメモリ１０１−１に格納された動画像データＩ０に基づいて、フレームメモリ１０１−４に格納された動画像データＰ１の符号化を開始する。一方、フレームメモリ１０１−５は、動画像データＢ５の取り込みを開始する。
【００６０】
時刻ｔ５になると、符号化部１０２は、動画像データＰ１の符号化を完了する。このときも符号化時間が予定時間を超過していないので、符号化部１０２は、フレームメモリ１０１−１，１０１−４に格納された動画像データＩ０，Ｐ１に基づいて、フレームメモリ１０１−２に格納された動画像データＢ２の符号化を開始する。一方、フレームメモリ１０１−６は、動画像データＢ６の取り込みを開始する。
【００６１】
時刻ｔ６になると、符号化部１０２は、動画像データＢ２の符号化を完了する。フレームメモリ１０１−２は、格納していた動画像データＢ２を破棄して、動画像データＰ４の取り込みを開始する。また、符号化部１０２は、フレームメモリ１０１−１，１０１−４に格納された動画像データＩ０，Ｐ１に基づいて、フレームメモリ１０１−３に格納された動画像データＢ３の符号化を開始する。
【００６２】
時刻ｔ７になると、符号化部１０２は、動画像データＢ３の符号化を完了する。フレームメモリ１０１−３は、格納していた動画像データＢ３を破棄する。また、フレームメモリ１０１−１は、格納していた動画像データＩ０を破棄して、動画像データＢ８の取り込みを開始する。
【００６３】
時刻ｔ８以降においても、時刻ｔ１〜ｔ７と同様の処理が実行される。
【００６４】
このような処理が実行されて、図４のように、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，・・・，Ｂ１２の順番で格納される。
【００６５】
〔短縮符号化処理〕
次に、符号化処理において時間超過が発生して、短縮符号化処理を実行する場合について図５を参照しつつ説明する。
【００６６】
時刻ｔ０〜ｔ１２では符号化処理の時間超過が発生していないので、通常モードと同様の処理が実行される。
【００６７】
ここで、時刻ｔ１２〜ｔ１３において、符号化部１０２による動画像データＢ８の符号化において時間超過が発生すると、符号化処理制御部１０４は、符号化時間が予定時間を超過していると判断する。符号化処理制御部１０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」にする。よって、符号化処理制御部１０４は、フレームメモリ１０１−３に格納された動画像データＢ９（次に符号化される予定である動画像データ）を破棄する。フレームメモリ１０１−３は、動画像データＢ９の取り込みを中止して、動画像データＰ１０の取り込みを開始する。符号化部１０２は、動画像データＢ８の符号化が完了すると、生成した符号化動画像データＢ８をバッファメモリ１０５に格納する。一方、符号化処理制御部１０４は、バッファメモリ１０５に格納された符号化像画像データＢ８（直前に生成された符号化動画像データ）のコピーストリームを生成し、生成したコピーストリームを動画像データＢ９の符号化データとしてバッファメモリ１０５に格納する。次に、符号化処理制御部１０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「通常モード」にする。
【００６８】
時刻ｔ１３になると、符号化部１０２は、フレームメモリ１０１−１ではなくフレームメモリ１０１−３に格納された動画像データＰ１０の符号化を開始する。
【００６９】
このような処理が実行されて、バッファメモリ１０５には、図５のように、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｂ８の順番で格納された後、コピーストリームである符号化動画像データＢ９が格納され、符号化動画像データＰ１０，Ｂ１１，Ｂ１２の順番で格納される。
【００７０】
＜効果＞
以上のように、符号化時間が予定時間よりも超過した場合に、次に符号化される予定である動画像データの符号化方法を変更することにより、次に符号化される動画像データの符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。
【００７１】
また、動画像データの符号化に超過時間が発生したときに、コピーストリームを符号化動画像データとしてバッファメモリに格納することにより、符号化部の負荷を軽減することができ、処理溢れの影響を複数フレームにかけて回復することができる。
【００７２】
さらに、フレームメモリは、動画像データが削除されることによって、別の動画像データを新たに格納することができる。これにより、余分なメモリを使用することなく、符号化処理を継続することができる。
【００７３】
なお、本実施形態では、符号化処理制御部は、符号化部によって次に符号化される予定である動画像データを短縮符号化処理の対象として選択しているが、短縮符号化処理の対象は、符号化時間が予定時間を超過してしまった動画像データよりも後に符号化される予定である動画像データのうちのいずれかであっても良い。また、短縮符号化の対象となる動画像データは、１つに限らず、複数であっても良い。
【００７４】
（第１の実施形態の変形例）
＜全体構成＞
この発明の第１の実施形態による動画像符号化装置の変形例を図６に示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部１０２−１および処理時間制御部１０−１を備える。その他の構成は図１と同様である。処理時間制御部１０−１は、図１に示した処理時間計測部１０３と、符号化処理制御部１０４−１とを備える。
【００７５】
符号化部１０２−１は、通常モードに設定されたときは、図１に示した符号化部１０２の動作を実行するが、短縮モードに設定されたときの動作が異なる。短縮モードに設定されると、符号化部１０２−１は、短縮モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。短縮モード用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。例えば、符号化部１０２−１は、短縮モード用に設定されると、動きベクトルの探索範囲を狭くしたり、双方向参照に代えて参照方向を前方の画像または後方の画像のみにしたり、フレーム間予測符号化に代えてイントラ符号化を実行したりする。
【００７６】
符号化処理制御部１０４−１は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間）を計算する。また、符号化処理制御部１０４−１は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間とを比較し、その比較の結果に応じて自己の符号化モードおよび符号化部１０２−１の符号化モードを変更する。
【００７７】
＜動作＞
次に、図６に示した動画像符号化装置による動作について説明する。この装置による動作は、図１に示した動画像符号化装置による動作（図３参照）と同様であるが、短縮符号化処理（図２Ｂ）が異なる。
【００７８】
＜短縮符号化処理＞
図６に示した符号化部１０２−１および符号化処理制御部１０４−１による短縮モードにおける処理について図７を参照しつつ説明する。
【００７９】
〔ステップＳＴ１０１−３１〕
短縮モードに設定されると、符号化部１０２−１は、符号化する予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを取り込む。このとき、符号化部１０２−１は、データ格納信号を出力する。次に、符号化処理制御部１０４−１は、符号化部１０２−１からのデータ格納信号を受けると、動画像データのフレームレートに基づいて、その動画像データの符号化のために要することができる時間（予定時間）を算出する。
【００８０】
〔ステップＳＴ１０１−３２〕
次に、符号化部１０２は、短縮モード用の符号化方式に従って、取り込んだ動画像データを符号化する。これにより、符号化動画像データが生成される。
【００８１】
〔ステップＳＴ１０１−３３，ＳＴ１０１−３４〕
次に、図２Ａに示したステップＳＴ１０１−１３，ＳＴ１０１−１４における処理と同様の処理が実行され、短縮モード用の符号化方式に従って生成された符号化動画像データがバッファメモリ１０５に格納される。
【００８２】
＜具体例＞
次に、符号化処理において時間超過が発生して、短縮符号化処理を実行する場合について図８を参照しつつ説明する。
【００８３】
時刻ｔ０〜ｔ１０では符号化部１０２−１による動画像データの符号化に時間超過が発生していないので、図４に示した通常符号化処理と同様の処理が実行される。
【００８４】
ここで、時刻ｔ１０〜ｔ１１において、符号化部１０２−１による動画像データＢ６の符号化において時間超過が発生すると、符号化処理制御部１０４−１は、処理時間計測部１０３によって計測された符号化時間が予定時間を超過していると判断する。ここで、符号化処理制御部１０４−１は、符号化部１０２−１の符号化モードを「短縮モード」にする。符号化部１０２−１は、動画像データＢ６の符号化が完了すると、符号化方式を短縮モード用の符号化方式に変更する。そして、符号化部１０２−１は、短縮モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＰ７の符号化を開始する。
【００８５】
次に、時刻ｔ１１になると、符号化部１０２−１は、動画像データＰ７の符号化を完了する。符号化処理制御部１０４−１は、符号化部１０２−１による動画像データＰ７の符号化が完了すると、符号化部１０２−１の符号化方式を「通常モード」にする。符号化部１０２−１は、通常モード用の符号化方式に従って、フレームメモリ１０１−１に格納された動画像データＢ８の符号化を開始する。
【００８６】
このような処理が実行されて、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｂ６の順番で格納された後、短縮モードの下で生成された符号化動画像データＰ７が格納され、符号化動画像データＢ８，Ｂ９，・・・，Ｂ１２の順番で格納される。
【００８７】
＜効果＞
以上のように、動画像データの符号化に超過時間が発生したときに、通常モードよりも符号化時間が短い短縮モードに切り換えることにより、符号化部の負荷を軽減することができる。これにより、画像乱れやシステム破綻を抑制することができ、符号化処理を継続することができる。
【００８８】
（第２の実施形態）
＜全体構成＞
図９は、この発明の第２の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した処理時間制御部１０に代えて、処理時間制御部２０を備える。その他の構成は図１と同様である。処理時間制御部２０は、ピクチャタイプ検出部２０１および符号化処理制御部２０４と、図１に示した処理時間計測部１０３とを含む。
【００８９】
ピクチャタイプ検出部２０１は、フレームメモリ１０１に格納された動画像データのピクチャタイプを検出する。つまり、ピクチャタイプ検出部２０１は、動画像データが「Ｉピクチャ」，「Ｐピクチャ」，「Ｂピクチャ」のうちいずれであるのかを検出する。
【００９０】
符号化処理制御部２０４は、符号化処理制御部１０４と同様の動作を実行するが、符号化部１０２の符号化モードおよび自己の符号化モードの制御についての処理が異なる。符号化処理制御部２０４は、ピクチャタイプ検出部２０１による検出結果と、処理時間計測部１０３による符号化時間の計測結果とに応じて、符号化部１０２の符号化モードおよび自己の符号化モードを変更する。
【００９１】
＜動作＞
次に、図９に示した動画像符号化装置による動作について図１０を参照しつつ説明する。ここでは、最初、符号化部１０２および符号化処理制御部２０４の符号化モードは「通常モード」に設定されている。
【００９２】
〔ステップＳＴ２０１〕
まず、通常符号化処理（図２Ａ）が実行される。
【００９３】
〔ステップＳＴ２０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ２０３へ進む。
【００９４】
〔ステップＳＴ２０３〕
次に、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードが「短縮モード」であるか否かを判断する。それらの符号化モードが「短縮モード」である場合にはステップＳＴ２０６へ進む。そうでない場合にはステップＳＴ２０４へ進む。
【００９５】
〔ステップＳＴ２０４〕
次に、符号化処理制御部２０４は、ステップＳＴ２０１において処理時間計測部１０３によって計測された符号化時間がステップＳＴ２０１において算出された予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ２０５へ進む。一方、そうでない場合にはステップＳＴ２０１へ進む。
【００９６】
〔ステップＳＴ２０５〕
次に、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ２０６へ進む。
【００９７】
〔ステップＳＴ２０６〕
次に、ピクチャタイプ検出部２０１は、符号化部１０２が次に符号化する予定である動画像データのピクチャタイプを検出する。次に符号化する予定である動画像データのピクチャタイプが「Ｂピクチャ」である場合にはステップＳＴ２０７へ進む。そうでない場合にはステップＳＴ２０１へ進む。
【００９８】
〔ステップＳＴ２０７〕
次に、ステップＳＴ２０６において「Ｂピクチャ」であると検出された動画像データに対して、短縮符号化処理（図２Ｂ）が実行される。これにより、符号化動画像データが生成される。
【００９９】
〔ステップＳＴ２０８〕
次に、短縮符号化処理が完了すると、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「通常モード」に設定する。次に、ステップＳＴ２０２へ進む。
【０１００】
＜具体例＞
ここで、図１０に示した短縮符号化処理（ステップＳＴ２０７における処理）について図１１を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で入力されるものとする。図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
【０１０１】
時刻ｔ０〜ｔ１０では符号化部１０２による動画像データの符号化に時間超過が発生していないので、通常モード（図４参照）と同様の処理が実行される。
【０１０２】
ここで、時刻ｔ１０〜ｔ１１において、符号化部１０２による動画像データＢ６の符号化において時間超過が発生すると、符号化処理制御部２０４は、処理時間計測部１０３によって計測された符号化時間が予定時間を超過していると判断する。ここで、符号化処理制御部２０４は、符号化部１０２に符号化モードおよび自己の符号化モードを「通常モード」から「短縮モード」にする。また、符号化部１０２による動画像データＢ６の符号化が完了すると、ピクチャタイプ検出部２０１は、次に符号化される予定である動画像データＰ７のピクチャタイプが「Ｐピクチャ」であると検出する。したがって、符号化部１０２および符号化処理制御部２０４は、動画像データＰ７に対して短縮符号化処理を実行せず通常符号化処理を実行する。
【０１０３】
時刻ｔ１１〜ｔ１２において、符号化部１０２による動画像データＰ７の符号化が完了すると、ピクチャタイプ検出部２０１は、符号化部１０２が次に符号化する予定である動画像データＢ８のピクチャタイプが「Ｂピクチャ」であると検出する。したがって、符号化部１０２および符号化処理制御部２０４は、動画像データＢ８に対して通常符号化処理ではなく短縮符号化処理を実行する。つまり、符号化部１０２は動画像データＢ８の符号化を実行しない。また、符号化処理制御部２０４は、フレームメモリ１０１−１に格納された動画像データＢ８を削除し、符号化動画像データＰ７のコピーストリームを符号化動画像データＢ８としてバッファメモリ１０５に格納する。フレームメモリ１０１−１は、動画像データＢ８の取り込みを中止して、動画像データＢ１１の取り込みを開始する。動画像データＢ８に対する短縮符号化処理が完了すると、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」から「通常モード」にする。
【０１０４】
時刻ｔ１２になると、符号化部１０２は、通常モードに従って、フレームメモリ１０１−３に格納された動画像データＢ９の符号化を開始する。
【０１０５】
このような処理が実行されて、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｐ７の順番で格納された後、コピーストリームである符号化動画像データＢ８が格納され、符号化動画像データＢ９，Ｐ１０，Ｂ１１，Ｂ１２の順番で格納される。
【０１０６】
＜効果＞
以上のように、短縮符号化処理の対象を被参照画像（ＩピクチャまたはＰピクチャ）ではなく参照画像（Ｂピクチャ）にすることにより、著しい画質の低下を抑制することができる。
【０１０７】
なお、図９に示した符号化部１０２に代えて図６に示した符号化部１０２−１を用いても同様の効果を得ることができる。つまり、ステップＳＴ２０７において図７に示した短縮符号化処理が実行されても良い。
【０１０８】
(第３の実施形態)
＜全体構成＞
図１２は、この発明の第３の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部３０２および処理時間制御部３０を備える。その他の構成は図１と同様である。処理時間制御部３０は、図１に示した処理時間計測部１０３と、符号化処理制御部３０４とを含む。
【０１０９】
符号化部３０２は、図１に示した符号化部１０２と同様の動作を実行するが、自己に有している符号化モードの種類が異なる。符号化部３０２は、通常モード，短縮モード１，短縮モード２，および短縮モード３の４つの符号化モードを有し、符号化処理制御部３０４によっていずれか１つの符号化モードに設定される。符号化部３０２は、符号化処理制御部３０４によって設定された符号化モードに従って、次に符号化される予定である動画像データを符号化する。短縮モード１用の符号化方式は、短縮モード２用の符号化方式よりも符号化に要する時間が短い。短縮モード２用の符号化方式は、短縮モード３用の符号化方式よりも符号化に要する時間が短い。短縮モード３用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。
【０１１０】
符号化処理制御部３０４は、符号化処理制御部１０４と同様の動作を実行するが、符号化部１０２の符号化モードおよび自己の符号化モードの制御についての処理が異なる。符号化処理制御部３０４は、符号化時間の超過の度合いに応じて、符号化部１０２の符号化モードおよび自己の符号化モードを制御する。詳しくは、符号化処理制御部３０４は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間１，予定時間２，予定時間３）を計算する。予定時間２は、予定時間１よりも短い。予定時間３は、予定時間２よりも短い。例えば、符号化処理制御部３０４は、符号化処理制御部１０４と同様に、動画像データのフレームレートに基づいて予定時間を算出し、予め定められた閾値１，閾値２（閾値１よりも短い），閾値３（閾値２よりも短い）をその算出した予定時間に加算することによって、「予定時間＋閾値１」を「予定時間１」とし、「予定時間＋閾値２」を「予定時間２」とし、「予定時間＋閾値３」を「予定時間３」として算出する。符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間１，予定時間２，および予定時間３との比較し、その比較の結果に応じて符号化部３０２の符号化モードおよび自己の符号化モードを変更する。
【０１１１】
＜動作＞
次に、図１２に示した動画像符号化装置による動作について図１３を参照しつつ説明する。
【０１１２】
〔ステップＳＴ３０１〕
まず、符号化部１０２および符号化処理制御部３０４は、符号化モードに応じた符号化処理（通常符号化処理，短縮符号化処理１〜短縮符号化処理３のいずれか１つ）を実行する。つまり、通常モードの場合、図２Ａに示したステップＳＴ１０１−１１〜ＳＴ１０１−１４における処理が実行され、短縮モード１〜短縮モード３の場合、図７に示したステップＳＴ１０１−３１〜ＳＴ１０１−３４における処理が実行される。なお、ステップＳＴ１０１−１１（図２Ａ）およびステップＳＴ１０１−３１（図７）では予定時間は１つしか求めていないが、ここでは、符号化処理制御部３０４は、予定時間１，予定時間２，予定時間３を算出する。
【０１１３】
〔ステップＳＴ３０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ３０３へ進む。
【０１１４】
〔ステップＳＴ３０３〕
次に、符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間がステップＳＴ３０１において算出された予定時間１を超過しているか否か判断する。符号化時間が予定時間１を超過していると判断すると、ステップＳＴ３０４へ進む。そうでない場合にはステップＳＴ３０５へ進む。
【０１１５】
〔ステップＳＴ３０４〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード１」に設定する。次に、ステップＳＴ３０１へ進む。
【０１１６】
〔ステップＳＴ３０５〕
一方、ステップＳＴ３０３において、符号化時間が予定時間１を超過していないと判断すると、符号化処理制御部３０４は、符号化時間がステップＳＴ３０１において算出された予定時間２を超過しているか否かを判断する。符号化時間が予定時間２を超過している場合にはステップＳＴ３０６へ進む。一方、そうでない場合にはステップＳＴ３０７へ進む。
【０１１７】
〔ステップＳＴ３０６〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード２」に設定する。次に、ステップＳＴ３０１へ進む。
【０１１８】
〔ステップＳＴ３０７〕
一方、ステップＳＴ３０５において、符号化時間が予定時間２を超過していないと判断すると、符号化処理制御部３０４は、符号化時間がステップＳＴ３０１において算出された予定時間３を超過しているか否かを判断する。符号化時間が予定時間３を超過している場合にはステップＳＴ３０８へ進む。そうでない場合にはステップＳＴ３０９へ進む。
【０１１９】
〔ステップＳＴ３０８〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード３」に設定する。次に、ステップＳＴ３０１へ進む。
【０１２０】
〔ステップＳＴ３０９〕
一方、ステップＳＴ３０７において、符号化時間が予定時間３を超過していないと判断すると、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ３０１へ進む。
【０１２１】
＜効果＞
以上のように、符号化部における符号化時間の超過の度合いに応じて次に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。
【０１２２】
なお、本実施形態では、符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間と３パターンの予定時間の各々と比較しているが、比較に用いる予定時間の個数は３つに限らない。
【０１２３】
また、短縮モード１に設定されたときに、符号化部３０２および符号化制御部３０４が、図２Ｂに示した短縮符号化処理を実行しても構わない。
【０１２４】
（第４の実施形態）
＜全体構成＞
図１４は、この発明の第４の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１２に示した処理時間制御部３０に代えて、処理時間制御部４０を備える。その他の構成は図１２と同様である。処理時間制御部４０は、図１に示した処理時間計測部１０３と、図９に示したピクチャタイプ検出部２０１と、閾値変更部４０１と、符号化処理制御部４０４とを含む。
【０１２５】
閾値変更部４０１は、ピクチャタイプ検出部２０１によるピクチャタイプの検出結果に応じて、符号化処理制御部４０４において符号化時間の超過の度合いを判断するために利用される閾値１，閾値２，閾値３を変更する。
【０１２６】
符号化処理制御部４０４は、符号化処理制御部３０４と同様の動作を実行するが、予定時間１，予定時間２，予定時間３の算出処理が異なる。符号化処理制御部３０４は、閾値変更部４０１によって設定された閾値１，閾値２，閾値３を用いて、予定時間１，予定時間２，予定時間３を算出する。
【０１２７】
＜動作＞
次に、図１４に示した動画像符号化装置による動作について図１５を参照しつつ説明する。
【０１２８】
〔ステップＳＴ４０１〕
まず、ピクチャタイプ検出部２０１は、符号化部３０２によって符号化される予定である動画像データのピクチャタイプを検出する。閾値変更部４０１は、ピクチャタイプ検出部２０１の検出結果に応じて、閾値１，閾値２，閾値３を設定する。例えば、閾値変更部４０１は、Ｉピクチャ用の閾値１，閾値２，閾値３と、Ｐピクチャ用の閾値１，閾値２，閾値３と、Ｂピクチャ用の閾値１，閾値２，閾値３とを予め格納しており、その中からピクチャタイプ検出部２０１によって検出されたピクチャタイプに応じた閾値１，閾値２，閾値３を選択する。なお、閾値２は閾値１よりも短く、閾値３は閾値２よりも短い。
【０１２９】
〔ステップＳＴ３０１〕
次に、ステップＳＴ３０１における処理と同様の処理が実行される。なお、ここでは、符号化処理制御部４０４は、閾値変更部４０１によって設定された閾値１，閾値２，閾値３を用いて、予定時間１，予定時間２，予定時間３を算出する。例えば、符号化処理制御部４０４は、動画像データのフレームレートに基づいて算出された予定時間に閾値変更部４０１によって算出された閾値１と加算することによって、予定時間１を算出する。
【０１３０】
〔ステップＳＴ３０２〜ＳＴ３０９〕
次に、ステップＳＴ３０２〜ＳＴ３０９における処理と同様の処理が実行される。
【０１３１】
＜閾値設定処理＞
次に、閾値変更部４０１による閾値設定処理（ステップＳＴ４０１における処理）について図１６を参照しつつ説明する。
【０１３２】
〔ステップＳＴ４０１−１〕
ピクチャタイプ検出部２０１は、符号化部３０２によって符号化されている動画像データのピクチャタイプが「Ｉピクチャ」であるか否かを検出する。その動画像データが「Ｉピクチャ」である場合にはステップＳＴ４０１−２へ進む。一方、そうでない場合にはステップＳＴ４０１−３へ進む。
【０１３３】
〔ステップＳＴ４０１−２〕
次に、閾値変更部４０１は、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｉピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
【０１３４】
〔ステップＳＴ４０１−３〕
一方、ステップＳＴ４０１−１において動画像データが「Ｉピクチャ」でない場合には、ピクチャタイプ検出部２０１は、符号化部４０２によって符号化されている動画像データのピクチャタイプが「Ｐピクチャ」であるか否かを検出する。その動画像データが「Ｐピクチャ」である場合にはステップＳＴ４０１−４へ進む。一方、そうでない場合にはステップＳＴ４０１−５へ進む。
【０１３５】
〔ステップＳＴ４０１−４〕
次に、閾値変更部４０１は、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｐピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
【０１３６】
〔ステップＳＴ４０１−５〕
一方、ステップＳＴ４０１−３においてピクチャタイプ検出部２０１によって動画像データが「Ｐピクチャ」でないと検出されると、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｂピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
【０１３７】
＜効果＞
以上のように、次に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準（予定時間１，予定時間２，予定時間３）を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
【０１３８】
なお、本実施形態では、符号化処理制御部４０４は、処理時間計測部１０３によって計測された符号化時間と３パターンの予定時間の各々と比較しているが、比較に用いる予定時間の個数は３つに限らない。
【０１３９】
（第５の実施形態）
＜全体構成＞
図１７は、この発明の第５の実施形態による動画像符号化装置の全体構成を示す。この装置は、図６に示した処理時間制御部１０−１に代えて、処理時間制御部５０を備える。その他の構成は図６と同様である。処理時間制御部５０は、図９に示したピクチャタイプ検出部２０１と、処理時間計測部５０３と、符号化処理制御部５０４とを含む。
【０１４０】
処理時間計測部５０３は、処理時間計測部１０３と同様に、符号化時間を計測する。また、処理時間計測部５０３は、１つのピクチャグループの符号化に要した時間（合計符号化時間）を計測する。ピクチャグループは、１つの被参照画像と、その被参照画像と次に符号化される被参照画像との間に存在する参照画像との集合を示す。詳しくは、処理時間計測部５０３は、ピクチャタイプ検出部２０１によって被参照画像（「Ｉピクチャ」または「Ｐピクチャ」）であると検出されてから次にピクチャタイプ検出部２０１によって被参照画像であると検出されるまでに計測した符号化時間を合計することによって、合計符号化時間を取得する。
【０１４１】
符号化処理制御部５０４は、符号化処理制御部１０４−１と同様の動作を実行するが、符号化部１０２−１の符号化モードの制御についての処理が異なる。符号化処理制御部５０４は、１つのピクチャグループの符号化に要することができる時間（合計予定時間）を算出する。詳しくは、符号化処理制御部５０４は、ピクチャタイプ検出部２０１によって「被参照画像」であると検出されてから次にピクチャタイプ検出部２０１によって被参照画像であると検出されるまでに算出した予定時間を合計することによって、合計予定時間を算出する。また、符号化処理制御部５０４は、処理時間計測部５０３によって計測された合計符号化時間と算出した合計予定時間とを比較し、その比較の結果に応じて符号化部１０２−１の符号化モードを変更する。
【０１４２】
＜動作＞
次に、図１７に示した動画像符号化装置による動作について図１８を参照しつつ説明する。
【０１４３】
〔ステップＳＴ５０１〕
まず、符号化モードに応じた符号化処理（通常符号化処理（図２Ａ）または短縮符号化処理（図２Ｂ））が実行される。
【０１４４】
〔ステップＳＴ５０２〕
次に、処理時間計測部５０３は、ステップＳＴ５０１において計測した符号化時間を合計符号化時間に加算する。一方、符号化処理制御部５０４は、ステップＳＴ５０１において算出した予定時間を合計予定時間に加算する。
【０１４５】
〔ステップＳＴ５０３〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ５０４へ進む。
【０１４６】
〔ステップＳＴ５０４〕
次に、ピクチャタイプ検出部２０１は、符号化部１０２−１によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に、符号化される予定である動画像データが被参照画像である場合にはステップＳＴ５０５へ進む。一方、そうでない場合にはステップＳＴ５０１へ進む。
【０１４７】
〔ステップＳＴ５０５〕
次に、符号化処理制御部５０４は、処理時間計測部５０３によって測定された合計符号化時間がステップＳＴ５０２において算出された合計予定時間を超過しているか否かを判断する。合計符号化時間が合計予定時間を超過している場合にはステップＳＴ５０６へ進む。そうでない場合にはステップＳＴ５０７へ進む。
【０１４８】
〔ステップＳＴ５０６〕
次に、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ５０１へ進む。
【０１４９】
〔ステップＳＴ５０７〕
また、ステップＳＴ５０５において、合計符号化時間が合計予定時間を超過していない場合、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「通常モード」に設定する。次に、ステップＳＴ５０１へ進む。
【０１５０】
＜具体例＞
ここで、図１８に示した処理について図１９を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で入力されるものとする。図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
【０１５１】
時刻ｔ０〜ｔ７では符号化部１０２−１による動画像データの符号化に時間超過が発生していないので、通常符号化処理（図４参照）と同様の処理が実行される。
【０１５２】
ここで、時刻ｔ７〜ｔ８において、符号化部１０２−１による動画像データＢ３の符号化において時間超過が発生したとする。ここで、ピクチャタイプ検出部２０１が符号化部１０２−１が次に符号化する予定である動画像データＰ４が「Ｐピクチャ」であると検出し、かつ、処理時間計測部５０３によって計測された合計符号化時間が合計予定時間を超過しているので、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「短縮モード」に設定する。よって、動画像データＢ３の符号化が完了すると、符号化部１０２−１は、短縮モード用の符号化方式に従って、フレームメモリ１０１−２に格納された動画像データＰ４の符号化を開始する。
【０１５３】
時刻ｔ８〜ｔ１０において、符号化部１０２−１は、動画像データＰ４の符号化が完了する。これにより、短縮符号化処理によって生成された符号化動画像データＰ４がバッファメモリ１０５に格納される。また、符号化部１０２−１は、動画像データＰ４と同様に、短縮モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＢ５の符号化を開始する。符号化部１０２−１による動画像データＢ５の符号化が完了すると、短縮符号化処理によって生成された符号化動画像データＢ５がバッファメモリ１０５に格納される。また、符号化部１０２−１は、フレームメモリ１０１−６に格納された動画像データＢ６の符号化を開始する。符号化部１０２−１による動画像データＢ６の符号化が完了すると、短縮符号化処理によって生成された符号化動画像データＢ６がバッファメモリ１０５に格納される。ここで、ピクチャタイプ検出部２０１は、符号化部１０２−１が次に符号化する予定である動画像データＰ７が「Ｐピクチャ」であると検出する。一方、符号化処理制御部５０４は、合計符号化時間が合計予定時間を超過していないと判断するので、自己の符号化モードおよび符号化部１０２−１の符号化モードを「通常モード」に設定する。
【０１５４】
時刻ｔ１０になると、符号化部１０２−１は、通常モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＰ７の符号化を開始する。
【０１５５】
時刻ｔ１１になると、符号化部１０２−１は、動画像データＰ７の符号化を完了する。これにより、通常符号化処理に従って生成された符号化動画像データＰ７がバッファメモリ１０５に格納される。
【０１５６】
このような処理が実行されて、図２０Ａのように、ピクチャグループ単位で符号化時間が超過しているか否かが判断されて、ピクチャグループ単位で、短縮符号化処理が実行される。
【０１５７】
＜効果＞
以上のように、ピクチャグループ単位で短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
【０１５８】
なお、本発明を適用するにあたって、処理時間が超過したときに画像取り込み用のフレームメモリが不足するため、補助フレームメモリが必要となる可能性がある。しかしながら、図２０Ｂのように、画像取り込みは画像の上部から順に行われるのに対し、符号化未完了の領域は画像の下部に集中しているため、未符号化領域に対して画像取り込みを行わない制御をすれば補助フレームメモリは必要ない。
【０１５９】
なお、図１７に示した符号化部１０２−１に代えて図１に示した符号化部１０２を用いても同様の効果を得ることができる。つまり、ステップＳＴ５０１において図２Ｂに示した短縮符号化処理が実行されても良い。
【０１６０】
（第６の実施形態）
＜全体構成＞
図２１は、この発明の第６の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部６０２および処理時間制御部６０を備える。その他の構成は図１と同様である。
【０１６１】
符号化部６０２は、図１に示した符号化部１０２と同様であるが、前方参照モードおよび後方参照モードの２つの符号化モードをさらに有する。符号化部６０２は、符号化処理制御部６０４によって前方参照モードになると、次に符号化される予定である動画像データを、その動画像データの前方に位置する被参照画像に基づいて、符号化する。また、符号化部６０２は、後方参照モードになると、次に符号化される予定である動画像データを、その動画像データの後方に位置する被参照画像に基づいて、符号化する。
【０１６２】
符号化処理制御部６０４は、符号化処理制御部１０４と同様の動作を実行するが、画像の乱れを抑制する抑制処理をさらに実行する。符号化処理制御部６０４は、ピクチャタイプ検出部２０１による検出結果に基づいて、符号化部６０２の符号化モードおよび自己の符号化モードを制御する。
【０１６３】
＜動作＞
次に、図２１に示した動画像符号化装置による動作について図２２を参照しつつ説明する。この動画像符号化装置は、図３に示した処理に加えて次の処理を実行する。
【０１６４】
〔ステップＳＴ６０１〕
ステップＳＴ１０１における処理が完了すると、符号化処理制御部６０４は、ステップＳＴ１０１において短縮符号化処理を実行したか否かを判断する。短縮符号化処理を実行した場合にはステップＳＴ６０２へ進む。一方、そうでない場合にはステップＳＴ１０２へ進む。
【０１６５】
〔ステップＳＴ６０２〕
次に、ピクチャタイプ検出部２０１は、ステップＳＴ１０１において短縮符号化処理が実行された動画像データのピクチャタイプを検出する。その動画像データが被参照画像（「Ｉピクチャ」または「Ｐピクチャ」）である場合にはステップＳＴ６０３へ進む。一方、そうでない場合にはステップＳＴ１０２へ進む。
【０１６６】
〔ステップＳＴ６０３〕
次に、抑制処理が実行される。抑制処理では、符号化処理制御部６０４は、符号化部６０２における動画像データの符号化の際にステップＳＴ１０１において短縮符号化処理が実行された動画像データ（フレームメモリ１０１から削除された動画像データ）が参照されないように、符号化部６０２の符号化モードおよび自己の符号化モードを制御する。抑制処理が完了すると、ステップＳＴ１０１へ進む。
【０１６７】
＜抑制処理＞
ここで、図２２に示した抑制処理（ステップＳＴ６０３における処理）について図２３，図２４を参照しつつ説明する。
【０１６８】
〔ステップＳＴ６０３−１〕
符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「通常モード」から「前方参照モード」に変更する。符号化部６０２は、前方参照モードになると、次に符号化される予定である動画像データを、ステップＳＴ１０８において短縮符号化処理が実行された動画像データを参照せず、次に符号化される予定である動画像データの前方に位置する被参照画像に基づいて、符号化する。例えば、図２５のように、符号化部６０２は、動画像データＩ０，Ｐ１の間に存在する動画像データＢ２，Ｂ３を符号化する際、短縮符号化処理が実行された動画像データＰ１を参照することなく動画像データＩ０を参照する。
【０１６９】
〔ステップＳＴ６０３−２〕
次に、符号化部６０２は、前方参照モードに従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
【０１７０】
〔ステップＳＴ６０３−３〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−４へ進む。
【０１７１】
〔ステップＳＴ６０３−４〕
次に、ピクチャタイプ検出部２０１は、符号化部６０２によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に符号化される予定である動画像データが被参照画像である場合にはステップＳＴ６０３−５へ進む。一方、そうでない場合にはステップＳＴ６０３−２へ進む。
【０１７２】
〔ステップＳＴ６０３−５〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「前方参照モード」から「通常モード」に変更する。
【０１７３】
〔ステップＳＴ６０３−６〕
次に、符号化部６０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
【０１７４】
〔ステップＳＴ６０３−７〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−８（図２４）へ進む。
【０１７５】
〔ステップＳＴ６０３−８〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「通常モード」から「後方参照モード」に変更する。符号化部６０２は、後方参照モードになると、次に符号化される予定である動画像データを、ステップＳＴ１０８（図３）において短縮符号化処理が実行された動画像データを参照せず、次に符号化される予定である動画像データの後方に位置する被参照画像に基づいて、符号化する。例えば、図２５のように、符号化部６０２は、動画像データＰ１，Ｐ４の間に存在する動画像データＢ５，Ｂ６を符号化する際、短縮符号化処理が実行された動画像データＰ１を参照することなく動画像データＰ４を参照する。
【０１７６】
〔ステップＳＴ６０３−９〕
次に、符号化部６０２は、後方参照モードに従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
【０１７７】
〔ステップＳＴ６０３−１０〕
次に、フレームメモリに格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−１１へ進む。
【０１７８】
〔ステップＳＴ６０３−１１〕
次に、ピクチャタイプ検出部２０１は、符号化部６０２によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に符号化される予定である動画像データが被参照画像である場合にはステップＳＴ６０３−１２へ進む。一方、そうでない場合にはステップＳＴ６０３−９へ進む。
【０１７９】
〔ステップＳＴ６０３−１２〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「後方参照モード」から「通常モード」に変更する。次に、ステップＳＴ１０１へ進む。
【０１８０】
＜効果＞
以上のように、短縮符号化処理が実行された動画像データ（ここでは、フレームメモリから削除された動画像データ）を参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
【０１８１】
また、短縮符号化が実行された動画像データを参照して符号化される予定である動画像データにおいて、レート制御による発生符号量の増加を抑制することができ、符号化時間を短縮することができる。また、短縮符号化が実行された動画像データを参照して符号化される予定である動画像データにおいて、双方向参照符号化ではなく前方参照符号化または後方参照符号化のみを実行することによって符号化時間を短縮することができる。
【０１８２】
なお、図２１に示した符号化部６０２に代えて、図６に示した符号化部１０２−１を用いても同様の効果を得ることができる。つまり、ステップＳＴ１０１において図７に示した短縮符号化処理が実行されても良い。
【０１８３】
（第７の実施形態）
＜全体構成＞
図２６は、この発明の第７の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部７０２および処理時間制御部７０を備える。その他の構成は図１と同様である。
【０１８４】
符号化部７０２は、ピクチャ１枚分の動画像データを取り込み始めるとデータ格納信号を出力し、その取り込んだ動画像データの符号化を開始すると開始信号を出力し、そのピクチャ１枚分の動画像データの符号化が完了すると終了信号を出力し、１つの動画像データのうち一部分の動画像データ（例えば、スライス単位のデータ）を取り込み始めると部分データ格納信号を出力し、その取り込んだ動画像データの一部分の符号化を開始すると部分開始信号を出力し、その動画像データの一部分の符号化が完了すると部分終了信号を出力する。また、符号化部７０２は、通常モードと部分短縮モードとの２つの符号化モードを有し、符号化処理制御部７０４によっていずれか一方の符号化モードに設定される。通常モードに設定されると、符号化部７０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。一方、部分短縮モードに設定されると、符号化部７０２は、部分短縮モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。部分短縮モード用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。
【０１８５】
処理時間計測部７０３は、符号化部７０２から出力された開始信号，終了信号を参照して、符号化時間を計測する。また、処理時間計測部７０３は、符号化部７０２から出力された部分開始信号，部分終了信号を参照して、動画像データの一部分の符号化に要した時間（部分符号化時間）を算出する。例えば、処理時間計測部７０３は、スライスラインの先頭の動画像データを格納したタイミング（符号化部７０２からの部分開始信号を受けたとき）から符号化部７０２からの部分終了信号を受けるまでの時間を計測する。
【０１８６】
符号化処理制御部７０４は、動画像データのフレームレートに基づいて、動画像データの符号化に要することができる時間（予定時間）を計算する。また、符号化処理制御部７０４は、動画像データのフレームレートに基づいて、動画像データの一部分の符号化に要することができる時間（部分予定時間）を算出する。例えば、符号化処理制御部７０４は、符号化部７０２からの部分データ格納信号を受け取ると、フレームレートに基づいて符号化部７０２が動画像データの一部分の符号化を完了しなければいけない時刻を求め、符号化部７０２からの部分終了信号を受け取った時刻からその求めた時刻までの時間を算出する。さらに、符号化処理制御部７０４は、処理時間計測部７０３によって計測された符号化時間と算出された予定時間との比較，および処理時間計測部７０３によって計測された部分符号化時間と算出された部分予定時間との比較を実行し、それらの比較の結果に応じて符号化部７０２の符号化モードを変更する。
【０１８７】
＜部分短縮符号化処理＞
ここで、図２６に示した符号化部７０２および符号化処理制御部７０４による部分短縮モードにおける処理について図２７を参照しつつ説明する。
【０１８８】
〔ステップＳＴ７０２−１〕
部分短縮モードに設定されるとき、符号化処理制御部７０４は、符号化部７０２からのデータ格納信号を受けると、動画像データのフレームレートに基づいて予定時間を算出する。
【０１８９】
〔ステップＳＴ７０２−２〕
次に、符号化部７０２は、符号化する予定である動画像データの一部分を取り込む。このとき、符号化部７０２は、部分データ格納信号を出力する。また、符号化処理制御部７０４は、動画像データのフレームレートに基づいて、その動画像データの一部分の符号化のために要することができる時間（部分予定時間）を算出する。
【０１９０】
〔ステップＳＴ７０２−３〕
次に、符号化部７０２は、部分短縮モード用の符号化方式に従って、取り込んだ動画像データの一部分の符号化を開始する。このとき、符号化部７０２は部分開始信号を出力する。
【０１９１】
〔ステップＳＴ７０２−４〕
次に、符号化部７０２は、動画像データの一部分の符号化を完了すると、部分終了信号を出力する。処理時間計測部７０３は、符号化部７０２からの部分終了信号を受けて、符号化部７０２による動画像データの一部分の符号化に要した時間（部分符号化時間）を計測する。
【０１９２】
〔ステップＳＴ７０２−５〕
次に、符号化処理制御部７０４は、符号化部７０２によってピクチャ１枚分の動画像データの符号化が完了したか否かを判断する。例えば、符号化処理制御部７０４は、符号化部７０４から終了信号が出力されたか否かを判断する。ピクチャ１枚分の符号化が完了している場合にはステップＳＴ７０２−８へ進む。一方、そうでない場合にはステップＳＴ７０２−６へ進む。
【０１９３】
〔ステップＳＴ７０２−６〕
次に、符号化処理制御部７０４は、符号化部７０２における符号化時間が予定時間内に収まっているか否かを判断する。つまり、符号化処理制御部７０４は、処理時間計測部７０３によって計測された部分符号化時間がステップＳＴ７０２−２において算出した部分予定時間を超過しているか否かを判断する。部分符号化時間が部分予定時間を超過している場合にはステップＳＴ７０２−２へ進む。そうでない場合にはステップＳＴ７０２−７へ進む。
【０１９４】
〔ステップＳＴ７０２−７〕
次に、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「部分短縮モード」から「通常モード」に変更する。符号化部７０２は、通常モード用の符号化方式に従って、動画像データのうち残りの部分を符号化する。
【０１９５】
〔ステップＳＴ７０２−８〕
次に、符号化部７０２は、ピクチャ１枚分の動画像データの符号化を完了すると、終了信号を出力する。符号化処理制御部７０４は、符号化部７０２から出力された開始信号，完了信号に基づいて、符号化時間を計測する。
【０１９６】
このようにして、図２９のように、部分符号化時間が部分予定時間内に収まるまでは部分短縮モード用の符号化方式に従って符号化され、部分符号化時間が部分予定時間内に収まった後は通常モード用の符号化方式に従って符号化される。
【０１９７】
＜動作＞
次に、図２６に示した動画像符号化装置による動作について図２８を参照しつつ説明する。
【０１９８】
〔ステップＳＴ７０１〕
まず、符号化部７０２および符号化処理制御部７０４は、符号化モードに応じた符号化処理（通常符号化処理または部分短縮符号化処理）を実行する。
【０１９９】
〔ステップＳＴ１０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ１０３へ進む。
【０２００】
〔ステップＳＴ１０３〕
次に、符号化処理制御部７０４は、処理時間計測部７０３によって計測された符号化時間が、算出した予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ７０２へ進む。一方、そうでない場合にはステップＳＴ１０５へ進む。
【０２０１】
〔ステップＳＴ７０２〕
次に、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「部分短縮モード」に設定する。次に、ステップＳＴ７０１へ進む。
【０２０２】
〔ステップＳＴ１０５〕
一方、ステップＳＴ１０３において、符号化時間が予定時間を超過していないと判断されると、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ７０１へ進む。
【０２０３】
＜効果＞
以上のように、動画像データの一部分の符号化が完了する毎に、符号化時間が予定時間を超過しているか否かを判断することによって、ピクチャ１枚分の動画像データの符号化が完了する前に、通常符号化処理に復帰することができる。これにより、符号化時間を過剰に短縮することを防ぐことができ、画質低下等を抑制することができる。
【産業上の利用可能性】
【０２０４】
本発明にかかる動画像符号化装置は、符号化時間を短縮することができるので、外部要因での稀な処理量増加による画像乱れやシステム破綻を防ぐことができ、低周波数な演算装置における画像符号化で異常が発生した際のシステム保証等としても有用である。
【図面の簡単な説明】
【０２０５】
【図１】この発明の第１の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図２Ａ】通常符号化処理について説明するためのフローチャートである。
【図２Ｂ】短縮符号化処理について説明するためのフローチャートである。
【図３】図１に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図４】通常符号化処理について説明するためのタイミングチャートである。
【図５】短縮符号化処理について説明するためのタイミングチャートである。
【図６】この発明の第１の実施形態による動画像符号化装置の変形例を示すブロック図である。
【図７】図６に示した動画像符号化装置による動作（短縮符号化処理）について説明するためのフローチャートである。
【図８】図７に示した短縮符号化処理について説明するためのタイミングチャートである。
【図９】この発明の第２の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図１０】図９に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図１１】図１０に示した短縮符号化処理について説明するためのタイミングチャートである。
【図１２】この発明の第３の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図１３】図１２に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図１４】この発明の第４の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図１５】図１４に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図１６】図１５に示したステップＳＴ４０１における処理について説明するためのフローチャートである。
【図１７】この発明の第５の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図１８】図１７に示した動画像符号化装置による動作を説明するためのフローチャートである。
【図１９】図１８に示した短縮符号化処理について説明するためのタイミングチャートである。
【図２０Ａ】ピクチャグループ単位で実行される短縮符号化処理について説明するための図である。
【図２０Ｂ】動画像データの取り込みについて説明するための図である。
【図２１】この発明の第６の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図２２】図２１に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図２３】図２２に示した抑制処理について説明するためのフローチャートである。
【図２４】図２２に示した抑制処理について説明するためのフローチャートである。
【図２５】抑制処理において参照される動画像データについて説明するための図である。
【図２６】この発明の第７の実施形態による動画像符号化装置の全体構成を示すブロック図である。
【図２７】図２６に示した動画像符号化装置による動作について説明するためのフローチャートである。
【図２８】図２７に示した部分短縮符号化処理について説明するためのフローチャートである。
【図２９】図２７に示した処理を説明するための図である。
【符号の説明】
【０２０６】
１０１    フレームメモリ
１０２，１０２−１，３０２，６０２，７０２    符号化部
１０３，５０３，７０３    処理時間計測部
１０４，１０４−１，２０４，３０４，４０４，５０４，６０４，７０４    符号化処理制御部
１０５    バッファメモリ
２０１    ピクチャタイプ検出部
１０〜７０    処理時間制御部
４０１    閾値変更部
１０〜７０    処理時間制御部
【図１】
0004623650.tif 000002
【図２】
0004623650.tif 000003
【図３】
0004623650.tif 000004
【図４】
0004623650.tif 000005
【図５】
0004623650.tif 000006
【図６】
0004623650.tif 000007
【図７】
0004623650.tif 000008
【図８】
0004623650.tif 000009
【図９】
0004623650.tif 000010
【図１０】
0004623650.tif 000011
【図１１】
0004623650.tif 000012
【図１２】
0004623650.tif 000013
【図１３】
0004623650.tif 000014
【図１４】
0004623650.tif 000015
【図１５】
0004623650.tif 000016
【図１６】
0004623650.tif 000017
【図１７】
0004623650.tif 000018
【図１８】
0004623650.tif 000019
【図１９】
0004623650.tif 000020
【図２０】
0004623650.tif 000021
【図２１】
0004623650.tif 000022
【図２２】
0004623650.tif 000023
【図２３】
0004623650.tif 000024
【図２４】
0004623650.tif 000025
【図２５】
0004623650.tif 000026
【図２６】
0004623650.tif 000027
【図２７】
0004623650.tif 000028
【図２８】
0004623650.tif 000029
【図２９】
0004623650.tif 000030