【手続補正書】
【提出日】平成20年5月14日(2008.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像符号化方法であって、
前記符号化を行ったピクチャの復元画像を前記メモリに記憶して前記参照ピクチャとするか否かを判定する判定ステップを有し、
前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャの間に、前記Ｂピクチャが複数枚存在するものであり、
前記判定ステップは、前記Ｉピクチャの復元画像と、前記Ｐピクチャの復元画像と、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、一部のＢピクチャの復元画像とを、前記参照ピクチャとすると判定することを特徴とする画像符号化方法。
【請求項２】
前記メモリに記憶されたピクチャの更新を行う更新ステップをさらに有し、
前記メモリに記憶された複数枚のピクチャのうち、主に前方向のインター予測で用いる参照ピクチャは第１の参照リストによって、主に後方向のインター予測で用いる参照ピクチャは第２の参照リストによってそれぞれ管理されるものであって、
前記更新ステップは、前記判定ステップにより前記参照ピクチャとすると判定されたＢピクチャの復元画像については、前記第１の参照リスト及び前記第２の参照リストに追加して、前記第１の参照リスト及び前記第２の参照リストの更新を行うことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記更新ステップは、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、符号化順序で最初のＢピクチャの復元画像を、前記第１の参照リスト及び前記第２の参照リストに追加することを特徴とする請求項２に記載の画像符号化方法。
【請求項４】
前記更新ステップは、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、符号化順序で最後のＢピクチャの復元画像を、前記第１の参照リスト及び前記第２の参照リストに追加することを特徴とする請求項２に記載の画像符号化方法。
【請求項５】
前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャは、奇数枚であり、
前記更新ステップは、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する奇数枚のＢピクチャのうち、符号化順序で真ん中のＢピクチャの復元画像を、前記第１の参照リスト及び前記第２の参照リストに追加することを特徴とする請求項２に記載の画像符号化方法。
【請求項６】
前記メモリに記憶されたピクチャの更新を行う更新ステップをさらに有し、
前記メモリに記憶された複数枚のピクチャのうち、主に前方向のインター予測で用いる参照ピクチャは第１の参照リストによって、主に後方向のインター予測で用いる参照ピクチャは第２の参照リストによってそれぞれ管理されるものであって、
前記更新ステップは、前記判定ステップにより前記参照ピクチャとすると判定されたＢピクチャの復元画像については、前記第１の参照リストのみに追加して、少なくとも前記第１の参照リストの更新を行うことを特徴とする請求項１に記載の画像符号化方法。
【請求項７】
メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像処理装置であって、
前記符号化が行われたピクチャの復元画像を前記メモリに記憶して前記参照ピクチャとするか否かを判定する判定手段を有し、
前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャの間に、前記Ｂピクチャが複数枚存在するものであり、
前記判定手段は、前記Ｉピクチャの復元画像と、前記Ｐピクチャの復元画像と、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、一部のＢピクチャの復元画像とを、前記参照ピクチャとすると判定することを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の画像処理方法は、メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像符号化方法であって、前記符号化を行ったピクチャの復元画像を前記メモリに記憶して前記参照ピクチャとするか否かを判定する判定ステップを有し、前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャの間に、前記Ｂピクチャが複数枚存在するものであり、前記判定ステップは、前記Ｉピクチャの復元画像と、前記Ｐピクチャの復元画像と、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、一部のＢピクチャの復元画像とを、前記参照ピクチャとすると判定することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の画像処理装置は、メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像処理装置であって、前記符号化が行われたピクチャの復元画像を前記メモリに記憶して前記参照ピクチャとするか否かを判定する判定手段を有し、前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャの間に、前記Ｂピクチャが複数枚存在するものであり、前記判定手段は、前記Ｉピクチャの復元画像と、前記Ｐピクチャの復元画像と、前記Ｉピクチャまたは前記Ｐピクチャの間に存在する複数枚のＢピクチャのうち、一部のＢピクチャの復元画像とを、前記参照ピクチャとすると判定することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明によれば、ＩピクチャまたはＰピクチャ間にあるＢピクチャが複数枚ある場合、Ｂピクチャのうち一部のＢピクチャの復元画像のみを参照ピクチャとしたので、参照ピクチャとするＩピクチャまたはＰピクチャの数を増やすことが可能になると共に、参照ピクチャの時間間隔を広げることが可能になる。これにより、インター予測の精度を向上させることが可能になる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
イントラ予測とインター予測の結果、最適な予測が選択部１１４で選択される。また、前記動きベクトルが、エントロピー符号化部１１５に送られ、前記差分画像データと共に符号化される。こうして出力ビットストリームが形成される。
Ｂピクチャセレクター１１６は、Ｂピクチャの符号化後、参照リストに加えるＢピクチャを選択する。Ｂピクチャを参照リストに加える場合は、メモリーコントローラー１１３に対し、Ｂピクチャを加えるように参照リストを更新するように伝える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
デジタルインターフェース１４１５は、IEEE1394やＵＳＢ（Universal Serial Bus）である。動画エンコード・デコード処理部１４０５でエンコードされる前のデータは表示部１４０８（例えばＬＣＤ表示パネル）へも送られる。ユーザーは、表示部１４０８に表示された画像を見ながら撮影画角や構図を決める。ＣＰＵ１４０９は各処理ブロックの制御を司っている。またＣＰＵ１４０９には操作指示入力部１６０１が接続され、操作指示入力部１６０１には動画撮影用のトリガボタン１６０２及び静止画撮影用のシャッターボタン１６０３が設けられている。ユーザーは、動画撮影用のトリガボタン１６０２を押す事で動画撮影記録の開始・停止を行う。この動画撮影用のトリガボタン１６０２は撮影記録中押し続けている必要は無く、一度押すと記録動作が開始され、もう一度押すと記録動作が停止する。動画撮影用のトリガボタン１６０２の操作に応じて、動画撮影記録が実行されると、動画エンコード・デコード処理部（画像処理部）１４０５でエンコード動作も実行される。この間、各実施形態で説明したような画像処理装置の動作が実行可能となる。また、再生時は、記録された動画データが記録再生制御部１４０６によって記録媒体１４０７から読み出され、動画エンコード・デコード処理部１４０５でエンコード時のインター予測における参照関係等の情報を用いつつデコードが行われて、表示部１４０８等でデコードされた表示画像を表示可能となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
エンコードされた静止画データはカード制御部１４１４によってメモリカード１４１２に記録される。再生時は記録された静止画データがカード制御部１４１４によってメモリカード１４１２から読み出され、静止画エンコード・デコード処理部１４１３でサムネイル画像のデコードや本画像のデコードが行われる。サムネイル画像をデコードするか本画像をデコードするかはＣＰＵ１４０９によって指示される。また、エンコードした静止画データを、デジタルインターフェース１４１５を通して外部に出力する事も出来る。デジタルインターフェースはIEEE1394やＵＳＢである。