(57)【要約】【課題】画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる画像符号化装置等を提供すること。【解決手段】画像符号化装置１００であって、符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部１０２と、参照インデックス割当部１０２により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで符号化対象ピクチャをフィールド符号化するとともに、参照インデックスを符号化する画像符号化部１０３とを備え、参照インデックス割当部１０２は、複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる。【選択図】図１
2010063092.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データをフィールド符号化する画像符号化装置であって、
前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部と、
前記参照インデックス割当部により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、
前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
画像符号化装置。
【請求項２】
前記参照インデックス割当部は、前記符号化対象ピクチャが、Ｐピクチャとしてフィールド符号化されるピクチャである場合、
前記２枚の参照ピクチャのうちの、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる
請求項１記載の画像符号化装置。
【請求項３】
前記参照インデックス割当部は、前記符号化対象ピクチャが、Ｂピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、
前記符号化対象ピクチャよりも時間的に前方にある前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる
請求項１記載の画像符号化装置。
【請求項４】
さらに、前記符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する判定部とを備え、
前記参照インデックス割当部は、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定された場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
請求項１記載の画像符号化装置。
【請求項５】
前記参照インデックス割当部はさらに、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定されなかった場合、前記他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに、前記一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
請求項４記載の画像符号化装置。
【請求項６】
前記判定部は、
ズームまたはパンしている動画像に前記符号化対象ピクチャが含まれることを示す情報を取得した場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定する
請求項４記載の画像符号化装置。
【請求項７】
前記判定部は、
符号化対象である前記符号化対象ピクチャと、過去の符号化対象ピクチャとから算出される値である特徴量が、所定の閾値以上である場合、符号化対象である前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判断する
請求項４記載の画像符号化装置。
【請求項８】
前記画像符号化部は、前記符号化対象ピクチャを含む複数のピクチャそれぞれをフィールド符号化し、
前記判定部は、前記画像符号化部による、前記符号化対象ピクチャのフィールド符号化より前の、フィールド符号化に用いられた複数の動きベクトルにより算出される値である特徴量が、予め定められた閾値以上である場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定する
請求項４記載の画像符号化装置。
【請求項９】
被写体像を撮像することで得られる動画像データをフィールド符号化するカメラであって、
請求項１記載の画像符号化装置と、
前記被写体像を撮像することで得られる動画像データを、前記入力画像データとして前記画像符号化装置に入力する撮像部と
を備えるカメラ。
【請求項１０】
さらに、前記カメラの撮影モードを切り替える撮影モード切替部を備え、
前記参照インデックス割当部は、前記撮影モード切替部により、前記カメラの撮影モードが所定の撮影モードに切り替えられた場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
請求項９記載のカメラ。
【請求項１１】
さらに、前記カメラがパンしている状態であること、または、前記カメラがズームしている状態であることを示す状態情報を取得する状態取得部を備え、
前記参照インデックス割当部は、前記状態取得部により前記状態情報が取得された場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
請求項９記載のカメラ。
【請求項１２】
入力画像データをフィールド符号化する画像符号化方法であって、
前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当て、
割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化し、
前記参照インデックスの割り当てでは、前記複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
画像符号化方法。
【請求項１３】
入力画像データをフィールド符号化する画像符号化集積回路であって、
前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当る参照インデックス割当部と、
前記参照インデックス割当部により割当られた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、
前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
画像符号化集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を圧縮符号化して光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディアに記録する画像符号化装置および画像符号化方法に関するものであり、特に、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４と略す）圧縮符号化方式により圧縮符号化を行う画像符号化装置、画像符号化方法、画像符号化集積回路、およびカメラに関する。
【背景技術】
【０００２】
デジタル映像技術の発展と共に、データ量の増大に対応してデジタル映像データを圧縮符号化する技術が発展しつつある。その発展は、映像データの特性を生かし、映像データに特化した圧縮符号化技術となって現れている。
【０００３】
また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮符号化技術における複雑な演算も可能となり、映像データの圧縮率は大幅に高まりつつある。
【０００４】
例えば、衛星および地上波デジタルハイビジョン放送で採用されている圧縮符号化技術は、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  ２）と呼ばれる圧縮符号化方式である。例えば、衛星デジタルハイビジョン放送はＭＰＥＧ２によって映像データを約１／３０に圧縮している。
【０００５】
ＭＰＥＧ２に続いて規格化された映像圧縮符号化方式の１つであるＨ．２６４圧縮符号化方式は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。
【０００６】
Ｈ．２６４は、光ディスクの１つの規格であるＢｌｕ−ｒａｙ、および、ハイビジョン映像をビデオカメラで記録するための規格であるＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の動画圧縮方式としても採用されており、幅広い分野での利用が期待されている。
【０００７】
しかし、Ｈ．２６４は、非特許文献１に開示されているように、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現しているため、演算量もＭＰＥＧ２と比べ大幅に増加している。
【０００８】
一般に、動画像の圧縮符号化においては、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行っている。具体的には、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック（マクロブロック）単位で動き量（動きベクトル）を検出し、検出した動きベクトルを考慮した予測を行うことにより予測精度を上げ、符号化効率を向上させている。
【０００９】
例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測値の残差を符号化することにより、符号化に必要な情報量を削減している。
【００１０】
動きベクトルを用いた符号化を行う場合、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録または伝送される。なお、ここで、動きベクトルの検出時に参照されるピクチャを参照ピクチャと呼ぶ。また、ピクチャとは１枚の画面を表す用語である。
【００１１】
動きベクトルはブロック単位で検出される。具体的には、符号化対象ピクチャ側のブロック（符号化対象ブロック）を固定しておき、参照ピクチャ側のブロック（参照ブロック）を探索範囲内で移動させる。このようにして符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
【００１２】
この動きベクトルを探索する処理を、動きベクトル検出と呼ぶ。また、似通っているかどうかの判断としては、符号化対象ブロックと参照ブロックの比較誤差を使用するのが一般的である。特に、絶対値差分和（ＳＡＤ：Ｓｕｍｍｅｄ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。
【００１３】
なお、参照ピクチャ全体の中で参照ブロックを探索すると演算量が膨大となるため、参照ピクチャの中で探索する範囲を制限することが一般的である。制限した範囲を探索範囲と呼ぶ。
【００１４】
また、画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをＩピクチャ、１枚の参照ピクチャから画面間予測符号化を行うものをＰピクチャ、最大２枚の参照ピクチャから画面間予測符号化を行うものをＢピクチャと呼ぶ。
【００１５】
なお、Ｂピクチャは任意の組み合わせとして２枚のピクチャを参照することが可能であり、その１枚目の参照ピクチャをＬ０予測の参照ピクチャ、２枚目の参照ピクチャをＬ１予測の参照ピクチャと呼ぶ。
【００１６】
Ｈ．２６４圧縮符号化方式においては、既に符号化した複数のピクチャから参照ピクチャを選択することができる。選択された各参照ピクチャはＲｅｆｅｒｅｎｃｅ  Ｉｎｄｅｘ（参照インデックス）という変数で管理され、動きベクトルを符号化する時は、動きベクトルがどのピクチャを参照するかという情報として、参照インデックスを同時に符号化する。
【００１７】
この参照インデックスは０以上の値を取り、値が小さいほど符号化後の情報量（符号量）が少なくなる。また、各参照ピクチャへの参照インデックスの割り当てを自由に設定することができる。そのため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さい参照インデックスを割り当てることにより、符号化効率を向上させることが可能となる。
【００１８】
例えば、Ｈ．２６４圧縮符号化方式で採用される算術符号化の一種であるＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）では、符号化対象のデータを２値化し、算術符号化する。
【００１９】
従って、参照インデックスも２値化および算術符号化されることになる。ここで、参照インデックスが“２”である場合の２値化後の符号長（２値信号長）さは、３ビットであり、参照インデックスが“１”である場合の２値信号長さは、２ビットである。また。参照インデックスが“０”である場合、２値化後の符号長（２値信号長）は、１ビットである。
【００２０】
このように、参照インデックスの値が小さいほど、２値信号長は短い。そのため、参照インデックスを符号化して得られる最終的な符号量も、参照インデックスの値が小さいほど、小さくなる傾向にある。
【００２１】
従来の参照インデックスの割り当て方法としては、例えば、符号化対象ピクチャと同パリティの関係にある参照ピクチャに、符号化対象ピクチャと逆パリティの関係にある参照ピクチャよりも番号の小さな参照インデックスを割り当てる方法がある。
【００２２】
この方法は、Ｈ．２６４圧縮符号化方式による映像記録機能を搭載した多くのビデオカメラで採用されている。ここで、符号化対象ピクチャと同パリティの関係にある参照ピクチャとは、符号化対象ピクチャと同一のフィールドに属する参照ピクチャを指す。
【００２３】
例えば、符号化対象ピクチャがトップフィールドであるならば、トップフィールドに属する参照ピクチャが同パリティの関係にある参照ピクチャとなる。
【００２４】
また、符号化対象ピクチャと逆パリティの関係にある参照ピクチャとは、符号化対象ピクチャと異なるフィールドに属する参照ピクチャを指す。例えば、符号化対象ピクチャがトップフィールドならば、ボトムフィールドに属する参照ピクチャが逆パリティの関係にある参照ピクチャとなる。
【００２５】
図１５を用いて、符号化対象ピクチャをＰピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法について説明する。
【００２６】
図１５は、符号化対象ピクチャをＰピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法の一例を示す図である。
【００２７】
図１５において、ピクチャＩ０はＩピクチャとして符号化するピクチャであり、ピクチャＰ１、ピクチャＰ６およびピクチャＰ７はＰピクチャとして符号化するピクチャであり、ピクチャＢ２、ピクチャＢ３、ピクチャＢ４およびピクチャＢ５はＢピクチャとして符号化するピクチャであることをそれぞれ表している。これらピクチャは画像符号化装置１００に入力された順序で図示されている。
【００２８】
なお、図中の矢印は、矢印の根元（出発点）にあたるピクチャを符号化するときに、矢印の先（到達点）にあたるピクチャを参照し得ることを示している。
【００２９】
符号化対象ピクチャをＰピクチャとして符号化する場合（図１５のピクチャＰ６およびピクチャＰ７が該当）、例えば、図１５に示すように、ピクチャＰ６の参照ピクチャとして、ピクチャＩ０およびピクチャＰ１の中から、ピクチャＰ６に含まれるマクロブロックごとに１枚が選択される。
【００３０】
さらに、符号化対象ピクチャであるピクチャＰ６と同パリティの関係にあるピクチャＩ０に参照インデックス０（図１５ではＲｅｆＩｄｘ０と記載）が割り当てられる。また、符号化対象ピクチャであるピクチャＰ６と逆パリティの関係にあるピクチャＰ１に参照インデックス１（図１５ではＲｅｆＩｄｘ１と記載）が割り当てられる。
【００３１】
同様に、ピクチャＰ７の参照ピクチャとして、ピクチャＰ１およびピクチャＰ６の中からピクチャＰ１に含まれるマクロブロックごとに一枚が選択される。さらに、符号化対象ピクチャであるピクチャＰ７と同パリティの関係にあるピクチャＰ１に参照インデックス０が割り当てられ、符号化対象ピクチャであるピクチャＰ７と逆パリティの関係にあるピクチャＰ６に参照インデックス１が割り当てられる。
【先行技術文献】
【非特許文献】
【００３２】
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４
【発明の概要】
【発明が解決しようとする課題】
【００３３】
上記従来の参照インデックスの割り当て方法は、画面内で静止している部分が多いシーンにおいては望ましい方法であると言える。その理由は、符号化対象ピクチャと逆パリティの関係にある参照ピクチャよりも、同パリティの関係にある参照ピクチャの方が符号化対象ピクチャとの相関が高いためである。
【００３４】
つまり、符号化対象ピクチャと逆パリティの関係にある参照ピクチャを参照する動きベクトルよりも、同パリティの関係にある参照ピクチャを参照する動きベクトルが多く検出されるためである。
【００３５】
しかしながら、画面内で動きのある部分が多いシーンでは、符号化対象ピクチャとの時間的な距離が近い参照ピクチャの方が符号化対象ピクチャとの相関が高い。そのため、符号化対象ピクチャとの時間的な距離が近い参照ピクチャを参照する動きベクトルが多く検出される。
【００３６】
例えば、図１５に示すように符号化対象ピクチャをＰピクチャとして符号化する場合に、符号化対象ピクチャが画面内で動きのある部分の多いシーンであった場合を想定する。
【００３７】
この場合、符号化対象ピクチャとの時間的な距離が近い、参照インデックス１が割り当てられた参照ピクチャを参照する動きベクトルが多く選ばれるようになる。その結果、符号化効率が低下するという課題があった。
【００３８】
本発明はかかる問題を解決するためになされたものであり、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる画像符号化装置等を提供することを目的とする。
【課題を解決するための手段】
【００３９】
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像データをフィールド符号化する画像符号化装置であって、前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部と、前記参照インデックス割当部により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる。
【００４０】
この構成により、画面内で動きのある部分が多いシーンを構成する各ピクチャを符号化する際に共に符号化される参照インデックスの符号量を従来よりも小さくできる。その結果、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる。
【００４１】
また、前記参照インデックス割当部は、前記符号化対象ピクチャが、Ｐピクチャとしてフィールド符号化されるピクチャである場合、前記２枚の参照ピクチャのうちの、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てるとしてもよい。
【００４２】
また、前記参照インデックス割当部は、前記符号化対象ピクチャが、Ｂピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、前記符号化対象ピクチャよりも時間的に前方にある前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てるとしてもよい。
【００４３】
これらの構成によれば、符号化対象ピクチャの符号化構造に応じて、参照インデックスの符号量を従来よりも小さくできる。また、符号化前に決定される情報に応じて参照インデックスの割り当てを制御するため、例えば処理の遅延を発生させることがない。
【００４４】
また、さらに、前記符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する判定部とを備え、前記参照インデックス割当部は、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定された場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
【００４５】
また、前記参照インデックス割当部はさらに、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定されなかった場合、前記他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに、前記一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
【００４６】
これらの構成により、符号化対象ピクチャが、画面内で動きのある部分が多いシーンに含まれるピクチャか否かに応じて、参照インデックスの割り当て方式を動的に変更することができる。
【００４７】
また、前記判定部は、ズームまたはパンしている動画像に前記符号化対象ピクチャが含まれることを示す情報を取得した場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定するとしてもよい。
【００４８】
この構成により、例えば、入力画像データを生成するカメラから、ズームしているか否か等の情報を取得することで、入力画像データ中に大きな動きが発生しているか否かを容易に判定することができる。
【００４９】
また、前記判定部は、符号化対象である前記符号化対象ピクチャと、過去の符号化対象ピクチャとから算出される値である特徴量が、所定の閾値以上である場合、符号化対象である前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判断するとしてもよい。
【００５０】
この構成により、符号化対象ピクチャを含む動画像そのものから得られる情報を利用して符号化対象ピクチャが動きのある画像であるか否かを判定することができる。つまり、より精度よく当該判定を行うことができるため、画質及び符号化効率をさらに高めることができる。
【００５１】
また、前記画像符号化部は、前記符号化対象ピクチャを含む複数のピクチャそれぞれをフィールド符号化し、前記判定部は、前記画像符号化部による、前記符号化対象ピクチャのフィールド符号化より前の、フィールド符号化に用いられた複数の動きベクトルにより算出される値である特徴量が、予め定められた閾値以上である場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定するとしてもよい。
【００５２】
この構成により、既に符号化されたピクチャを利用して符号化対象ピクチャが動きのある画像であるか否かを判定することができる。つまり、より精度よく当該判定を行うことができるため、画質及び符号化効率をさらに高めることができる。
【００５３】
なお、本発明は、画像符号化装置として実現できるだけではなく、当該画像符号化装置と撮像部とを備えるカメラとして実現することもできる。
【００５４】
また、本発明のカメラは、さらに、前記カメラの撮影モードを切り替える撮影モード切替部を備え、前記参照インデックス割当部は、前記撮影モード切替部により、前記カメラの撮影モードが所定の撮影モードに切り替えられた場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
【００５５】
また、さらに、前記カメラがパンしている状態であること、または、前記カメラがズームしている状態であることを示す状態情報を取得する状態取得部を備え、前記参照インデックス割当部は、前記状態取得部により前記状態情報が取得された場合、前記２枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
【００５６】
また、本発明は、当該画像符号化装置を構成する処理部による各処理を含む方法として実現することもできる。
【００５７】
また、上記の各画像符号化装置及びカメラを構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００５８】
本発明によれば、符号化対象ピクチャに時間的に近い参照ピクチャには、小さな値の参照インデックスが割り当てられる。そのため、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【図面の簡単な説明】
【００５９】
【図１】図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像符号化装置における画像符号化部の構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る画像符号化装置における参照インデックス割当部が実行する処理の一例を示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る画像符号化装置における参照インデックス割当部がＰピクチャの参照方式を決定する方法の一例を示す図である。
【図６】図６は、本発明の実施の形態１に係る画像符号化装置における参照インデックス割当部がＢピクチャの参照方式を決定する方法の一例を示す図である。
【図７】図７は、本発明の実施の形態１に係る画像符号化装置における参照インデックス割当部がＢピクチャの参照方式を決定する方法の他の例を示す図である。
【図８】図８は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図９】図９は、本発明の実施の形態２に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。
【図１１】図１１は、本発明の実施の形態３に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。
【図１２】図１２は、本発明に係る実施の形態の変形例におけるカメラの外観を示す斜視図である。
【図１３】図１３は、本発明に係る実施の形態の変形例におけるカメラの構成の一例を示すブロック図である。
【図１４】図１４は、実施の形態１の画像符号化装置における集積回路化の一例を示す図である。
【図１５】図１５は、符号化対象ピクチャをＰピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法の一例を示す図である。
【発明を実施するための形態】
【００６０】
以下に、本発明を実施するための形態について、図面を参照しながら説明する。
【００６１】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。
【００６２】
本発明の実施の形態１に係る画像符号化装置１００には、入力画像データと入力画像データの付加情報である入力画像付加情報とが入力される。
【００６３】
画像符号化装置１００は、入力された入力画像データをＨ．２６４圧縮符号化方式で符号化し、ストリームとして出力する。
【００６４】
なお、Ｈ．２６４圧縮符号化方式による符号化においては、１つのピクチャを１つまたは複数のスライスに分割し、そのスライスを処理単位としている。本発明の実施の形態１におけるＨ．２６４圧縮符号化方式による符号化では、１つのピクチャが１つのスライスとして扱う。なお、このことは、後述する本発明の実施の形態２および３においても同様である。
【００６５】
図１に示すように、画像符号化装置１００は、動きフラグ生成部１０１、参照インデックス割当部１０２および画像符号化部１０３を備える。
【００６６】
動きフラグ生成部１０１は、本発明の画像符号化装置における判定部の一例である。動きフラグ生成部１０１は、本実施の形態においては、入力画像データの付加情報である入力画像付加情報を受信する。さらに、受信した入力画像付加情報を基に生成した動きフラグ情報を参照インデックス割当部１０２に対して出力する。
【００６７】
なお、入力画像付加情報とは、例えば、画像符号化装置１００に画像データを入力するカメラが、ズームをしているか否かを示す情報、パンをしているか否かを示す情報およびチルトをしているか否かを示す情報などである。
【００６８】
このような内容を示す入力画像付加情報は、例えば、当該カメラが備える加速度センサなどから動きフラグ生成部１０１に入力される。
【００６９】
つまり、入力画像付加情報は、当該入力画像データに含まれる符号化対象ピクチャが、ズームまたはパンしている動画像など、大きな動きを示す一連のピクチャ群に含まれるが否かを示す情報である。また、入力画像付加情報は、入力画像データとともに画像符号化装置１００に入力される入力画像データに関する付加情報である。
【００７０】
なお、“パン”には、カメラを左右方向に振りながら動画を撮影する技法である“チルト”も含まれる。
【００７１】
参照インデックス割当部１０２は、入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる処理部である。
【００７２】
参照インデックス割当部１０２は、上記割り当て処理により割り当てた参照インデックスを含む情報を、参照インデックス情報として画像符号化部１０３に対して出力する。
【００７３】
参照インデックス割当部１０２における具体的な動作に関しては後述する。
画像符号化部１０３は、参照インデックス割当部１０２が出力した参照インデックス情報に従って、符号化対象ピクチャの画像データをＨ．２６４圧縮符号化方式により圧縮符号化する。
【００７４】
次に、図２を用いて、画像符号化部１０３の詳細な構成について説明する。
図２は、本発明の実施の形態１に係る画像符号化装置１００における画像符号化部１０３の構成を示すブロック図である。
【００７５】
図２に示すように、画像符号化部１０３は、入力画像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、予測モード判定部２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、加算部２１２、およびエントロピー符号化部２１３を備えている。
【００７６】
入力画像データメモリ２０１は、入力画像データを格納するメモリである。この入力画像データメモリ２０１が保持している情報は、面内予測部２０３、動きベクトル検出部２０４、予測モード判定部２０６、および差分演算部２０７により参照される。
【００７７】
動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されているローカルデコード画像を探索対象とし、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定する。
【００７８】
なお、この探索対象とするローカルデコード画像、つまり、参照ピクチャの特定には、参照インデックス割当部１０２から入力される参照インデックス情報が用いられる。
【００７９】
動きベクトル検出部２０４はさらに、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定し、決定したそれらの情報を動き補償部２０５およびエントロピー符号化部２１３に送信する。
【００８０】
動き補償部２０５は、動きベクトル検出部２０４から受信した情報に含まれる動きベクトルを用いて、参照画像データメモリ２０２に格納されているローカルデコード画像から予測画像に最適な画像領域を取り出し、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部２０６に出力する。
【００８１】
なお、この面間予測に用いられるローカルデコード画像、つまり、参照ピクチャの特定には、参照インデックス割当部１０２から入力される参照インデックス情報が用いられる。
【００８２】
面内予測部２０３は、参照画像データメモリ２０２に格納されているローカルデコード画像から同一画面内の符号化後の画素を用いて面内予測を行い、面内予測の予測画像を生成する。面内予測部２０３はさらに、生成した予測画像を予測モード判定部２０６に出力する。
【００８３】
予測モード判定部２０６は、予測モードを判定する。予測モード判定部２０６はさらに、その判定結果に基づき、面内予測部２０３により生成された予測画像と、動き補償部２０５により生成された予測画像を切り替えて出力する。
【００８４】
なお、予測モード判定部２０６において予測モードを判定する方法としては、例えば、面間予測と面内予測について、それぞれ入力画像と予測画像との各画素の差分絶対値和を求める。さらに、この値が小さい方を、採用する予測モードと判定する。
【００８５】
差分演算部２０７は、入力画像データメモリ２０１から符号化対象となる画像データを取得し、取得した画像データと予測モード判定部２０６から出力された予測画像との画素差分値を計算する。差分演算部２０７はさらに、計算した画素差分値を直交変換部２０８に出力する。
【００８６】
直交変換部２０８は、差分演算部２０７から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部２０９に出力する。
【００８７】
量子化部２０９は、直交変換部２０８から入力された周波数係数を量子化し、量子化した値、すなわち量子化値を、符号化すべきデータとしてエントロピー符号化部２１３および逆量子化部２１０に出力する。
【００８８】
逆量子化部２１０は、量子化部２０９から入力された量子化値を逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換部２１１に出力する。
【００８９】
逆直交変換部２１１は、逆量子化部２１０から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部２１２に出力する。
【００９０】
加算部２１２は、逆直交変換部２１１から入力される画素差分値と、予測モード判定部２０６から出力された予測画像を加算してローカルデコード画像を生成する。加算部２１２はさらに、そのローカルデコード画像を参照画像データメモリ２０２に出力する。
【００９１】
ここで、参照画像データメモリ２０２に記憶されるローカルデコード画像は、入力画像データメモリ２０１に記憶される入力画像と基本的には同じ画像である。
【００９２】
しかし、ローカルでコード画像は、画素差分値が、直交変換部２０８および量子化部２０９などで一旦直交変換および量子化処理をされた後、逆量子化部２１０および逆直交変換部２１１などで逆量子化および逆直交変換処理をされた結果を含んでいる。そのため、ローカルデコード画像は、量子化歪みなどの歪み成分を有している。
【００９３】
参照画像データメモリ２０２は、加算部２１２から入力されるローカルデコード画像を、参照インデックス割当部１０２から入力される参照インデックス情報に従って格納する。
【００９４】
例えば、参照インデックス情報が、入力されたローカルデコード画像を参照インデックス０として扱うという情報であった場合、該ローカルデコード画像に参照インデックス０のタグ情報を付与して管理する。
【００９５】
これにより、動きベクトル検出部２０４および動き補償部２０５は、上述のようにそれぞれの処理に必要なローカルデコード画像を特定することができる。
【００９６】
エントロピー符号化部２１３は、量子化部２０９から入力された量子化値および動きベクトル検出部２０４から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを出力ストリームとして出力する。
【００９７】
次に、図１および図２を参照しながら、以上のように構成された画像符号化装置１００が実行する処理について説明する。
【００９８】
まず、入力画像データが画像符号化部１０３に入力され、また入力画像付加情報が動きフラグ生成部１０１に入力される。
【００９９】
入力画像データは、画像符号化部１０３の入力画像データメモリ２０１に格納される。入力画像データは、例えば、１９２０画素×１０８０画素によって構成されている。
【０１００】
動きフラグ生成部１０１は、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定し、判定の結果を示す符号化フラグ情報を生成する。
【０１０１】
本実施の形態では、動きフラグ生成部１０１は、入力画像付加情報を参照することで、入力画像データに含まれる符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。
【０１０２】
その結果、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであると判定した場合は、ＯＮを示す動きフラグ情報を生成する。また、そうでない場合はＯＦＦを示す動きフラグ情報を生成する。動きフラグ生成部１０１はさらに、生成した動きフラグ情報を、参照インデックス割当部１０２へ出力する。
【０１０３】
次に、図３を用いて、動きフラグ生成部１０１が実行する処理の一例を説明する。
図３は、本発明の実施の形態１に係る画像符号化装置１００における動きフラグ生成部１０１が実行する処理の一例を示すフローチャートである。
【０１０４】
図３に示すように、動きフラグ生成部１０１は、入力画像データが、例えばカメラがパンしながら撮影され生成されたものであるか否か、つまり、入力画像データがパンをしている状態にあるか否かを判断する（Ｓ３０１）。
【０１０５】
Ｓ３０１においてパンをしている状態にあると判断された場合（Ｓ３０１でＹｅｓ）、動きフラグ生成部１０１はＯＮを示す動きフラグ情報を生成して参照インデックス割当部１０２へ出力する（Ｓ３０２）。
【０１０６】
また、Ｓ３０１においてパンをしている状態にないと判断された場合（Ｓ３０１でＮｏ）、動きフラグ生成部１０１はＯＦＦを示す動きフラグ情報を生成して参照インデックス割当部１０２へ出力する（Ｓ３０３）。
【０１０７】
次に、図４を用いて、参照インデックス割当部１０２が実行する処理の一例について説明する。
【０１０８】
図４は、本発明の実施の形態１に係る画像符号化装置１００における参照インデックス割当部１０２が実行する処理の一例を示すフローチャートである。
【０１０９】
参照インデックス割当部１０２は、動きフラグ生成部１０１から入力された動きフラグ情報に基づき、符号化対象ピクチャを符号化する際に、参照ピクチャにどのように参照インデックスを割り当てるかを示す参照方式などの情報を決定する。
【０１１０】
参照インデックス割当部１０２はさらに、決定したそれらの情報を参照インデックス情報として画像符号化部１０３に対出力する。
【０１１１】
参照インデックス割当部１０２は、動きフラグ生成部１０１から入力された動きフラグ情報がＯＮであるかＯＦＦであるかを判断する（Ｓ４０１）。参照インデックス割当部１０２は、Ｓ４０１において動きフラグ情報がＯＮであると判断した場合（Ｓ４０１でＹｅｓ）、動きフラグＯＮ時の参照方式を選択する（Ｓ４０２）。
【０１１２】
Ｓ４０１において動きフラグ情報がＯＦＦであると判断された場合、参照インデックス割当部１０２は、動きフラグＯＦＦ時の参照方式を選択する（Ｓ４０３）。
【０１１３】
参照インデックス割当部１０２は、選択したそれぞれの参照方式を示す参照インデックス情報を画像符号化部１０３に対して出力する。
【０１１４】
なお、動きフラグＯＮ時の参照方式および動きフラグＯＦＦ時の参照方式については後に詳しく述べる。動きフラグＯＮ時の参照方式を簡単に説明すると、符号化対象ピクチャに対して時間的に近い位置に存在する参照ピクチャに小さな値の参照インデックスを割り当てるように参照方式を決定する。
【０１１５】
画像符号化部１０３は、参照インデックス割当部１０２で決定された参照インデックス情報に基づいて動きベクトル検出、動き補償、面内予測、直交変換、量子化およびエントロピー符号化等の一連の圧縮符号化処理を実行する。
【０１１６】
なお、本発明の実施の形態１においては、画像符号化部１０３は、Ｈ．２６４圧縮符号化方式にしたがって入力画像データを圧縮符号化するものとする。また、このことは、後述する本発明の実施の形態２および３においても同様である。
【０１１７】
次に、図５、図６および図７を参照しながら、参照インデックス割当部１０２がどのように参照方式を決定するかについて説明する。
【０１１８】
図５は、本発明の実施の形態１に係る画像符号化装置１００における参照インデックス割当部１０２がＰピクチャについての参照方式を決定する方法の一例を示す図である。
【０１１９】
図６は、本発明の実施の形態１に係る画像符号化装置１００における参照インデックス割当部１０２がＢピクチャについての参照方式を決定する方法の一例を示す図である。
【０１２０】
図７は、本発明の実施の形態１に係る画像符号化装置１００における参照インデックス割当部１０２がＢピクチャについての参照方式を決定する方法の他の例を示す図である。
【０１２１】
まず、図５（ａ）および図５（ｂ）を参照しながら、Ｐピクチャについての参照方式を決定する方法の一例について説明する。
【０１２２】
図５は、具体的には、符号化対象ピクチャをＰピクチャとして符号化する場合における、（ａ）動きフラグ情報がＯＦＦ時の参照方式と（ｂ）動きフラグ情報がＯＮ時の参照方式とを示す図である。
【０１２３】
図５（ａ）および図５（ｂ）において、ピクチャＩ０はＩピクチャとして符号化するピクチャであり、ピクチャＰ１、ピクチャＰ６およびピクチャＰ７はＰピクチャとして符号化するピクチャであり、また、ピクチャＢ２、ピクチャＢ３、ピクチャＢ４およびピクチャＢ５はＢピクチャとして符号化するピクチャであることをそれぞれ表している。
【０１２４】
なお、これらピクチャは時間順序で表示されている。また、図中の矢印は、矢印の根元（出発点）にあたるピクチャを符号化するときに、矢印の先（到達点）にあたるピクチャを参照し得ることを示している。
【０１２５】
符号化対象ピクチャをＰピクチャとして符号化する場合（図５（ａ）のピクチャＰ６およびピクチャＰ７が該当）、例えば、図５（ａ）に示すように、ピクチャＰ６の参照ピクチャとしてピクチャＩ０およびピクチャＰ１の中からからピクチャＰ６のマクロブロックごとに１枚が選択される。つまり、ピクチャＰ６の参照ピクチャとしてピクチャＩ０およびピクチャＰ１が選択可能である。
【０１２６】
動きフラグ情報がＯＦＦ時の参照方式では、参照インデックス割当部１０２は、ピクチャＩ０に参照インデックス０（図５ではＲｅｆＩｄｘ０と記載）を割り当て、ピクチャＰ１に参照インデックス１（図５ではＲｅｆＩｄｘ１と記載）を割り当てる。
【０１２７】
また、参照インデックス割当部１０２は、同様に、ピクチャＰ７の参照ピクチャとして選択可能なピクチャＰ１およびピクチャＰ６のうち、ピクチャＰ１に参照インデックス０を、ピクチャＰ６に参照インデックス１を割り当てる。
【０１２８】
一方、動きフラグ情報がＯＮ時の参照方式では、参照インデックス割当部１０２は、例えば、図５（ｂ）に示すように、ピクチャＰ６の参照ピクチャとして選択可能なピクチャＩ０およびピクチャＰ１のうちの、ピクチャＰ６に近い一方の参照ピクチャであるピクチャＰ１に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＩ０に参照インデックス１を割り当てる。
【０１２９】
また、参照インデックス割当部１０２は、ピクチャＰ７の参照ピクチャとして選択可能なピクチャＰ１およびピクチャＰ６のうちの、ピクチャＰ７に近い一方の参照ピクチャであるピクチャＰ６に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ１に参照インデックス１を割り当てる。
【０１３０】
このように、参照インデックス割当部１０２は、符号化対象ピクチャが、Ｐピクチャとしてフィールド符号化されるピクチャである場合、２枚の参照ピクチャのうちの、符号化対象ピクチャとの時間的な距離が近い一方である、符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる。
【０１３１】
次に、図６（ａ）および図６（ｂ）を参照しながら、Ｂピクチャの参照方式を決定する方法の一例について説明する。
【０１３２】
図６は、具体的には、符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつ、Ｂピクチャとして符号化する場合におけるもので、（ａ）は動きフラグ情報がＯＦＦ時の参照方式を示す図であり、（ｂ）は動きフラグ情報がＯＮ時の参照方式を示す図である。また、図中の矢印の意味は、図５（ａ）および図５（ｂ）における意味と同じである。
【０１３３】
符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつ、Ｂピクチャとして符号化する場合（図６（ａ）のピクチャＢ２およびピクチャＢ３が該当）、例えば、図６（ａ）に示すように、ピクチャＢ２のＬ０予測の参照ピクチャとしてピクチャＩ０とおよびピクチャＰ１が選択可能であり、Ｌ１予測の参照ピクチャとしてピクチャＰ６およびピクチャＰ７が選択可能である。
【０１３４】
また、ピクチャＢ３のＬ０予測の参照ピクチャとしてピクチャＰ１およびピクチャＢ２が選択可能であり、Ｌ１予測の参照ピクチャとしてピクチャＰ６およびピクチャＰ７が選択可能である。
【０１３５】
動きフラグ情報がＯＦＦ時の参照方式では、参照インデックス割当部１０２は、ピクチャＢ２の複数の参照ピクチャのうち、ピクチャＩ０に参照インデックス０（図６（ａ）ではＲｅｆＩｄｘ０と記載）を割り当て、ピクチャＰ１に参照インデックス１（図６（ａ）ではＲｅｆＩｄｘ１と記載）を割り当てる。また、参照インデックス割当部１０２は、ピクチャＰ６に参照インデックス０を割り当て、ピクチャＰ７に参照インデックス１を割り当てる。
【０１３６】
また、参照インデックス割当部１０２は、ピクチャＢ３の複数の参照ピクチャのうち、ピクチャＰ１に参照インデックス０を割り当て、ピクチャＢ２に参照インデックス１を割り当て、ピクチャＰ６に参照インデックス１を割り当て、ピクチャＰ７に参照インデックス０を割り当てる。
【０１３７】
一方、動きフラグ情報がＯＮ時の参照方式では、参照インデックス割当部１０２は、例えば、図６（ｂ）に示すように、ピクチャＢ２のＬ０予測の参照ピクチャとして選択可能なピクチャＩ０およびピクチャＰ１のうちの、ピクチャＢ２に近い一方の参照ピクチャであるピクチャＰ１に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＩ０に参照インデックス１を割り当てる。
【０１３８】
また、参照インデックス割当部１０２は、ピクチャＢ２のＬ１予測の参照ピクチャとして選択可能なピクチャＰ６およびピクチャＰ７のうちの、ピクチャＢ２に近い一方の参照ピクチャであるピクチャＰ６に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ７に参照インデックス１を割り当てる。
【０１３９】
また、参照インデックス割当部１０２は、ピクチャＢ３のＬ０予測の参照ピクチャとして選択可能なピクチャＰ１およびピクチャＢ２のうちの、ピクチャＢ３に近い一方の参照ピクチャであるピクチャＢ２に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ１に参照インデックス１を割り当てる。
【０１４０】
また、参照インデックス割当部１０２は、ピクチャＢ３のＬ１予測の参照ピクチャとして選択可能なピクチャＰ６およびピクチャＰ７のうちの、ピクチャＢ３に近い一方の参照ピクチャであるピクチャＰ６に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ７に参照インデックス１を割り当てる。
【０１４１】
次に、図７（ａ）および図７（ｂ）を参照しながら、Ｂピクチャの参照方式を決定する方法の他の例について説明する。
【０１４２】
図７は、具体的には、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつ、Ｂピクチャとして符号化する場合におけるもので、（ａ）は動きフラグ情報がＯＦＦ時の参照方式を示す図であり、（ｂ）は動きフラグ情報がＯＮ時の参照方式を示す図である。図中の矢印の意味は、図５（ａ）および図５（ｂ）における意味と同じである。
【０１４３】
符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつ、Ｂピクチャとして符号化する場合（図７（ａ）のピクチャＢ４およびピクチャＢ５が該当）、例えば、図７（ａ）に示すように、ピクチャＢ４のＬ０予測の参照ピクチャとしてピクチャＢ２とおよびピクチャＢ３が選択可能であり、Ｌ１予測の参照ピクチャとしてピクチャＰ６およびピクチャＰ７が選択可能である。
【０１４４】
また、ピクチャＢ５のＬ０予測の参照ピクチャとしてピクチャＢ２およびピクチャＢ３が選択可能であり、Ｌ１予測の参照ピクチャとしてピクチャＰ６およびピクチャＰ７が選択可能である。
【０１４５】
動きフラグ情報がＯＦＦ時の参照方式では、参照インデックス割当部１０２は、ピクチャＢ４の複数の参照ピクチャのうち、ピクチャＢ２に参照インデックス０（図７（ａ）ではＲｅｆＩｄｘ０と記載）を割り当て、ピクチャＢ３に参照インデックス１（図７（ａ）ではＲｅｆＩｄｘ１）を割り当てる。また、参照インデックス割当部１０２は、ピクチャＰ６に参照インデックス０を割り当て、ピクチャＰ７に参照インデックス１を割り当てる。
【０１４６】
また、参照インデックス割当部１０２は、ピクチャＢ５の複数の参照ピクチャのうち、ピクチャＢ２に参照インデックス１を割り当て、ピクチャＢ３に参照インデックス０を割り当て、ピクチャＰ６に参照インデックス１を割り当て、ピクチャＰ７に参照インデックス０を割り当てる。
【０１４７】
一方、動きフラグ情報がＯＮ時の参照方式では、参照インデックス割当部１０２は、例えば、図７（ｂ）に示すように、ピクチャＢ４のＬ０予測の参照ピクチャとして選択可能なピクチャＢ２およびピクチャＢ３のうちの、ピクチャＢ４に近い一方の参照ピクチャであるピクチャＢ３に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＢ２に参照インデックス１を割り当てる。
【０１４８】
また、参照インデックス割当部１０２は、ピクチャＢ４のＬ１予測の参照ピクチャとして選択可能なピクチャＰ６およびピクチャＰ７のうちの、ピクチャＢ４に近い一方の参照ピクチャであるピクチャＰ６に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ７に参照インデックス１を割り当てる。
【０１４９】
また、参照インデックス割当部１０２は、ピクチャＢ５のＬ０予測の参照ピクチャとして選択可能なピクチャＢ２およびピクチャＢ３のうちの、ピクチャＢ５に近い一方の参照ピクチャであるピクチャＢ３に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＢ２に参照インデックス１を割り当てる。
【０１５０】
また、参照インデックス割当部１０２は、ピクチャＢ５のＬ１予測の参照ピクチャとして選択可能なピクチャＰ６およびピクチャＰ７のうちの、ピクチャＢ５に近い一方の参照ピクチャであるピクチャＰ６に参照インデックス０を割り当てる。また、他方の参照ピクチャであるピクチャＰ７に参照インデックス１を割り当てる。
【０１５１】
このように、参照インデックス割当部１０２は、符号化対象ピクチャが、Ｂピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、符号化対象ピクチャよりも時間的に前方にある前記２枚の参照ピクチャのうち、符号化対象ピクチャとの時間的な距離が近い一方である、符号化対象ピクチャと同パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる。
【０１５２】
以上説明したように、動きフラグ生成部１０１は、動きフラグ情報を入力画像データの入力画像付加情報から決定する。また、参照インデックス割当部１０２は、動きフラグ生成部１０１から入力される動きフラグ情報がＯＮの場合には、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように参照方式を決定する。
【０１５３】
また、参照インデックス割当部１０２は、動きフラグ生成部１０１から入力される動きフラグ情報がＯＦＦの場合には、符号化対象ピクチャと同パリティの関係にある参照ピクチャに値の小さな参照インデックスを割り当てるように参照方式を決定する。
【０１５４】
このように、参照ピクチャに対する参照インデックスの割り当てが制御されることにより、複数の参照ピクチャの中で、参照する動きベクトルが多い参照ピクチャの参照インデックスを小さい値、すなわち、情報量（符号量）の少ない値に設定することができる。そのため、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【０１５５】
なお、画像符号化装置１００は、符号化対象ピクチャが所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かの判定を行わなくてもよい。例えば、常に動いている被写体を監視するカメラから得られる動画像など、符号化対象となる動画像に含まれる各ピクチャが大きな動きを示す確率が高い場合、上記判定をすることなく、動きフラグ情報がＯＮ時の参照方式に決定してもよい。
【０１５６】
（実施の形態２）
図８は、本発明の実施の形態２に係る画像符号化装置８００の構成を示すブロック図である。
【０１５７】
図８に示すように、画像符号化装置８００は、動きフラグ生成部８０１、参照インデックス割当部１０２および画像符号化部１０３を備える。
【０１５８】
動きフラグ生成部８０１には、入力画像付加情報ではなく入力画像データそのものが入力される。動きフラグ生成部８０１は、入力された入力画像データの画素情報を用いて動きフラグ情報を生成し、生成した動きフラグ情報を参照インデックス割当部１０２に対して出力する。
【０１５９】
なお、参照インデックス割当部１０２および画像符号化部１０３は、本発明の実施の形態１と同様のものであるので同じ符号を付し、ここでは説明を省略する。
【０１６０】
次に、以上のように構成された画像符号化装置８００における動きフラグ生成部８０１が実行する処理について説明する。
【０１６１】
まず、入力画像データが、画像符号化部１０３とともに動きフラグ生成部８０１に入力される。動きフラグ生成部８０１は、入力された入力画像データの画素情報から、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。
【０１６２】
つまり、動きフラグ生成部８０１は、入力された入力画像データの画素情報から、入力画像データが大きな動きを含む画像であるか否かを判定する。
【０１６３】
動きフラグ生成部８０１は、この判定の結果、入力画像データが大きな動きを含む画像データであると判定した場合、ＯＮを示す動きフラグ情報を生成し、そうでない場合はＯＦＦを示す動きフラグ情報を生成する。動きフラグ生成部８０１は、生成した動きフラグ情報を参照インデックス割当部１０２へ出力する。
【０１６４】
次に、図９を用いて、動きフラグ生成部８０１が実行する処理の一例を説明する。
図９は、本発明の実施の形態２に係る画像符号化装置８００における動きフラグ生成部８０１が実行する処理の一例を示すフローチャートである。
【０１６５】
図９に示すように、動きフラグ生成部８０１は、入力画像データから前処理動きベクトル特徴量を算出する（Ｓ９０１）。動きフラグ生成部８０１はさらに、Ｓ９０１において算出された処理前画像の特徴量が予め定めた閾値以上であるか否かを判断する（Ｓ９０２）。
【０１６６】
つまり、動きフラグ生成部８０１は、符号化処理がなされる前の符号化対象ピクチャの特徴量が閾値以上であるか否かを判断する。
【０１６７】
動きフラグ生成部８０１は、算出した特徴量が予め定めた閾値以上であると判断した場合（Ｓ９０２でＹｅｓ）、ＯＮを示す動きフラグ情報を生成して出力する（Ｓ９０３）。
【０１６８】
また、動きフラグ生成部８０１は、算出した特徴量が予め定めた閾値よりも小さいと判断した場合（Ｓ９０２でＮｏ）、ＯＦＦを示す動きフラグ情報を生成して出力する（Ｓ９０４）。
【０１６９】
ここで、入力画像データから算出した処理前画像の特徴量とは、現在の符号化対象ピクチャと過去の符号化対象ピクチャとから算出される値である。具体的には、現在の入力画像と過去の入力画像から算出した、各動きベクトルのＸ成分・Ｙ成分の絶対値の和、または、２点間距離を表すユークリッドノルムの動きベクトルの大きさなどである。
【０１７０】
また、過去の入力画像とは、現在の入力画像を符号化する際に用いる参照ピクチャに相当する過去の入力画像でもよい。また、現在の入力画像の直前に入力された入力画像であってもよい。さらに、これらに限られるものではない。
【０１７１】
例えば、回路設計の都合などで上記のような所望の過去の入力画像を使用することができない場合、現在の入力画像の数フレーム前に入力されたような他の過去の入力画像で代用してもよい。
【０１７２】
また、現在の入力画像と過去の入力画像の動きベクトルとは、現在の入力縮小画像と過去の入力縮小画像に対して予め定められた探索範囲で動きベクトル検出を行い、この検出により得られた動きベクトルの代表ベクトルなどである。なお、現在の入力縮小画像、および、過去の入力縮小画像は、現在の入力画像と過去の入力画像を縮小して得られる。
【０１７３】
また代表ベクトルとは、動きベクトルの平均ベクトルが考えられるが、これに限るものではなく、統計処理などを用いて代表ベクトルを決定してもよい。
【０１７４】
なお、図９に示す処理の後の、画像符号化装置８００の処理の流れは、実施の形態１の画像符号化装置１００と同じである。つまり、図４に示すように、画像符号化部１０３が、ＯＮを示す動きフラグ情報を受信すると、フラグＯＮ時の参照方式が選択される。
【０１７５】
すなわち、画像符号化装置８００は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに値の小さな参照インデックスを割り当てるように参照方式を決定する。
【０１７６】
従って、実施の形態２の画像符号化装置８００は、実施の形態１の画像符号化装置１００と同じく、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【０１７７】
（実施の形態３）
図１０は、本発明の実施の形態３に係る画像符号化装置９００の構成を示すブロック図である。
【０１７８】
図１０において、画像符号化装置９００は、動きフラグ生成部９０１、参照インデックス割当部１０２および画像符号化部１０３を備える。
【０１７９】
動きフラグ生成部９０１は、画像符号化部１０３によって、現在の入力画像データ（現在の符号化対象ピクチャ）より以前に符号化され生成されたピクチャの画像符号化情報を用いて動きフラグ情報を生成する。動きフラグ生成部９０１は、生成した動きフラグ情報を参照インデックス割当部１０２に対して出力する。
【０１８０】
参照インデックス割当部１０２および画像符号化部１０３は、本発明の実施の形態１と同様のものであるので同じ符号を付し、ここでは説明を省略する。
【０１８１】
次に、以上のように構成された画像符号化装置９００における動きフラグ生成部９０１が実行する処理について説明する。
【０１８２】
まず、入力画像データが画像符号化部１０３に入力される。画像符号化部１０３は、本発明の実施の形態１および２と同様、参照インデックス割当部１０２が出力した参照方式決定情報に従って、入力画像データにおける符号化対象ピクチャの画像データを、Ｈ．２６４圧縮符号化方式により圧縮符号化して出力ストリームとして出力する。
【０１８３】
また、画像符号化部１０３は、入力画像データにおける符号化対象ピクチャの画像データの圧縮符号化に用いた情報である画像符号化情報を動きフラグ生成部９０１に出力する。
【０１８４】
動きフラグ生成部９０１は、画像符号化部１０３から出力された画像符号化情報を受信する。動きフラグ生成部９０１は、画像符号化部１０３によって現在の符号化対象ピクチャより以前に符号化され生成されたピクチャの画像符号化情報を用いて、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。つまり、入力画像データが大きな動きを含む画像であるか否かを判定する。
【０１８５】
動きフラグ生成部９０１は、入力画像データが大きな動きを含む画像データであると判定した場合はＯＮを示す動きフラグ情報を生成し、そうでない場合はＯＦＦを示す動きフラグ情報を生成する。動きフラグ生成部９０１は、生成した動きフラグ情報を参照インデックス割当部１０２へ出力する。
【０１８６】
なお、上記説明では、画像符号化部１０３から動きフラグ生成部９０１に対して画像符号化情報を送信するとした。しかし、これに限るものではなく、画像符号化部１０３は、動きフラグ生成部９０１に、画像符号化情報を含む出力ストリームを送信してもかまわない。
【０１８７】
ただしこの場合は、動きフラグ生成部９０１は、画像符号化部１０３から入力された出力ストリームから画像符号化情報を抽出する機能を備える必要がある。
【０１８８】
次に、図１１を用いて、動きフラグ生成部９０１が実行する処理の一例を説明する。
図１１は、本発明の実施の形態３に係る画像符号化装置９００における動きフラグ生成部９０１が実行する処理の一例を示すフローチャートである。
【０１８９】
図１１に示すように、動きフラグ生成部９０１は、まず、画像符号化部１０３によって現在の入力画像データより以前に符号化され出力されたピクチャの画像符号化情報から符号化動きベクトル特徴量を算出する（Ｓ１００１）。次に、動きフラグ生成部９０１は、Ｓ１００１において算出した符号化動きベクトル特徴量が予め定めた閾値以上であるか否かを判断する（Ｓ１００２）。
【０１９０】
Ｓ１００２において、符号化動きベクトル特徴量が予め定めた閾値以上であると判断された場合（Ｓ１００２でＹｅｓ）、動きフラグ生成部９０１は、参照インデックス割当部１０２に対してＯＮを示す動きフラグ情報を出力する（Ｓ１００３）。符号化動きベクトル特徴量が予め定めた閾値より小さいと判断された場合（Ｓ１００２でＮｏ）、動きフラグ生成部９０１は、参照インデックス割当部１０２に対してＯＦＦを示す動きフラグ情報を出力する（Ｓ１００４）。
【０１９１】
ここで、画像符号化部１０３によって現在の入力画像データより以前に符号化され出力されたピクチャの画像符号化情報とは、各マクロブロックで符号化された動きベクトルおよび動きベクトル以外のパラメータなどである。
【０１９２】
また、符号化動きベクトル特徴量とは、符号化後のピクチャに属する動きベクトルの平均値、当該ピクチャに属する動きベクトルの絶対値の平均値、および当該ピクチャに属する動きベクトルの分散などである。
【０１９３】
なお、図１１に示す処理の後の、画像符号化装置９００の処理の流れは、実施の形態１の画像符号化装置１００と同じである。つまり、図４に示すように、画像符号化部１０３が、ＯＮを示す動きフラグ情報を受信すると、フラグＯＮ時の参照方式が選択される。
【０１９４】
すなわち、画像符号化装置９００は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように参照方式を決定する。
【０１９５】
従って、実施の形態３の画像符号化装置９００は、実施の形態１の画像符号化装置１００と同じく、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【０１９６】
以上のように、本発明の実施の形態１〜３に係る画像符号化装置のそれぞれは、動きフラグ生成部１０１、または８０１、または９０１において、入力画像データの付加情報である入力画像付加情報、入力画像データの画素情報、または画像符号化部１０３によって生成された現在の入力画像データより以前に符号化したピクチャの画像符号化情報、の内のいずれかの情報に基づき動きフラグ情報を生成して参照インデックス割当部１０２へ出力する。
【０１９７】
また、参照インデックス割当部１０２は、符号化における参照方式を決定して画像符号化部１０３へ出力する。画像符号化部１０３は、参照インデックス割当部１０２から出力された参照方式に基づいて入力画像データを符号化してストリームを出力する。
【０１９８】
本発明の実施の形態１〜３に係る画像符号化装置のそれぞれは、上記の機能構成を備えることにより、入力画像データの特性にあわせて適切な参照インデックスの割り当てを行うことができるため、符号化効率を向上させることができる。
【０１９９】
なお、入力画像データの符号化における参照インデックスの割り当て方を決定する方法として、本発明の実施の形態１〜３においてそれぞれ３つの異なる方法を示し。しかしながら、これらの方法を組み合わせることにより、入力画像データの符号化における参照インデックスの割り当て方を決定してもかまわない。
【０２００】
以上、本発明の実施の形態１〜３について説明したが、本発明はこれに限定されるものではない。例えば、本発明の実施の形態１においては、入力画像付加情報として、入力画像データがパンをしている状態にあるか否かを示している情報を例に挙げた。
【０２０１】
しかしながら、入力画像付加情報によって示される内容は、これに限るものではなく、入力画像付加情報は、入力画像データがズームをしている状態にあるか否かを示す情報、あるいは、入力画像データがチルトをしている状態にあるか否かを示す情報であってもかまわない。
【０２０２】
また、本発明の実施の形態１〜３においては、入力画像データの画素情報、入力画像データの付加情報である入力画像付加情報、および入力画像データより以前に符号化されたピクチャの画像符号化情報、の内の少なくとも１つの情報を用いて、動きフラグ情報を生成する場合を例に挙げた。
【０２０３】
しかしながら、動きフラグ情報の生成手法はこれに限るものではなく、ＭＰＥＧ２の符号化ストリームをデコードしてＨ．２６４圧縮符号化方式で符号化する場合、例えば、ＭＰＥＧ２の符号化ストリームをデコードする際に得た各マクロブロックの動きベクトルの平均ベクトルなどから動きフラグ情報を生成してもよい。
【０２０４】
また、本発明の実施の形態１〜３においては、Ｂピクチャの符号化では４枚の参照ピクチャの中から動きベクトルの参照ピクチャを選ぶことができる場合を説明した。しかし、これに限るものではなく、例えば、３枚の参照ピクチャの中から動きベクトルの参照ピクチャを選ぶことができる場合に、本発明を適用させてもよい。
【０２０５】
また、本発明の実施の形態１〜３においては、符号化対象ピクチャが、Ｐピクチャであるかどうか、Ｂピクチャであるかどうかに関わらず、全てのピクチャについて、参照インデックスの割り当てを適応的に切り替える場合を例に挙げて説明した。しかし、これに限るものではなく、例えば、Ｐピクチャのみに対して本発明を適用してもよいし、ボトムフィールドのみに本発明を適用させてもよい。
【０２０６】
また、本発明の実施の形態１〜３においては、圧縮符号化方式としてＨ．２６４を用いた場合を例に挙げた。しかし、これに限るものではなく、参照インデックスを割り当てて参照ピクチャを管理する機能を持つ圧縮符号化方式に対して本発明を適用してもよい。
【０２０７】
以上のように、本発明の画像符号化装置は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように、入力画像データの符号化における参照インデックスの割り当て方を決定する。
【０２０８】
つまり、符号化により得られる符号量の増加を抑制するように符号化処理を行うため、入力画像データの符号化効率を高めることができる。
【０２０９】
したがって、本発明に係る画像符号化装置は、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能である。
【０２１０】
なお、本発明は、図１２および図１３に示すようなカメラ１２００として実現することもできる。
【０２１１】
図１２は、本発明に係る実施の形態の変形例におけるカメラ１２００の外観を示す斜視図である。
【０２１２】
図１３は、本発明に係る実施の形態の変形例におけるカメラ１２００の構成の一例を示すブロック図である。
【０２１３】
図１２および図１３に示すカメラ１２００は、被写体像を撮像することで得られた動画像データを符号化し、記録媒体に記録する、または、外部装置に送信する撮像装置である。
【０２１４】
カメラ１２００は、画像符号化装置１００と、撮像部１２１０と、撮影モード切替部１２２０と、状態取得部１２３０とを備える。
【０２１５】
画像符号化装置１００は、実施の形態１に示したものと同じものであるので同じ符号を付し、以下では説明を省略する。
【０２１６】
撮像部１２１０は、被写体像を撮像する構成要素であって、光学レンズおよびイメージセンサ等を有する。撮像部１２１０が撮像することにより得られた動画像データは、入力画像データとして、画像符号化装置１００に入力される。
【０２１７】
状態取得部１２３０は、カメラ１２００が、パンしている状態であること、またはズームしている状態であること等を示す状態情報を取得する構成要素である。
【０２１８】
状態取得部１２３０は、例えば、カメラ１２００が備えるズームボタン（図示せず）および加速度センサ（図示せず）などから状態情報を取得する。
【０２１９】
撮影モード切替部１２２０は、カメラ１２００の撮影モードを切り替える構成要素である。撮影モード切替部１２２０は、例えばカメラ１２００のユーザの指示を取得し、指示に応じた撮影モードに切り替えるよう、撮像部１２１０に指示する。撮像部１２１０は、指示された撮影モードに応じて、ズームまたは絞り等を変化させる。
【０２２０】
このように構成されたカメラ１２００の動作を簡単に説明する。
例えば、カメラ１２００がパンしながら風景を撮影している場合、状態取得部１２３０は、例えば加速度センサから、カメラ１２００がパンしていることを示す状態情報を取得する。
【０２２１】
状態取得部１２３０は、取得した状態情報を、画像符号化装置１００の動きフラグ生成部１０１に出力する。動きフラグ生成部１０１は、カメラ１２００がパンしていることを示す状態情報を受け取ると、ＯＮを示す動きフラグ情報を生成して参照インデックス割当部１０２へ出力する（図３のＳ３０２）。
【０２２２】
その後、参照インデックス割当部１０２は、動きフラグＯＮ時の参照方式を選択する（図４のＳ４０２）。つまり、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスが割り当てられる。
【０２２３】
これにより、カメラ１２００がパンしていることにより、画面内で動きのある部分が多いシーンが発生した場合であっても、符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【０２２４】
なお、参照インデックス割当部１０２は、ＯＮを示す動きフラグ情報ではなく、カメラ１２００がパンしていること等を示す状態情報を受け取ってもよい。つまり、参照インデックス割当部１０２は、当該状態情報を受け取ることで、動きフラグＯＮ時の参照方式を選択してもよい。
【０２２５】
また、例えば、ユーザから、撮影モード切替部１２２０に、「スポーツモード」に切り替える指示がなされた場合を想定する。
【０２２６】
なお、「スポーツモード」は、本発明のカメラにおける所定の撮影モードの一例である。「スポーツモード」とは、例えば、動きまわる選手を追いかけながら撮影する際に選択される撮影モードである。
【０２２７】
この場合、撮影モード切替部１２２０は、撮像部１２１０に「スポーツモード」に切り替える指示を行うとともに、画像符号化装置１００の動きフラグ生成部１０１に、「スポーツモード」に切り替わることを示す情報を出力する。
【０２２８】
動きフラグ生成部１０１は、カメラ１２００が「スポーツモード」に切り替わることを示す情報を受け取ると、ＯＮを示す動きフラグ情報を生成して参照インデックス割当部１０２へ出力する（図３のＳ３０２）。
【０２２９】
その後、参照インデックス割当部１０２は、動きフラグＯＮ時の参照方式を選択する（図４のＳ４０２）。つまり、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスが割り当てられる。
【０２３０】
これにより、カメラ１２００のユーザが、画面内で動きのある部分が多いシーンが発生するような撮影行動を行った場合であっても、符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
【０２３１】
なお、参照インデックス割当部１０２は、ＯＮを示す動きフラグ情報ではなく、カメラ１２００が「スポーツモード」に切り替わることを示す情報を受け取ってもよい。つまり、参照インデックス割当部１０２は、カメラ１２００が所定の撮影モードに切り替わることを示す情報を受け取ることで、動きフラグＯＮ時の参照方式を選択してもよい。
【０２３２】
このように、カメラ１２００は、カメラ１２００がパンしているか等の状態を取得し、その状態に応じて、参照ピクチャに対する参照インデックスの割り当て方を制御することができる。
【０２３３】
さらに、カメラ１２００は、ユーザによる明示的な指示により決定される撮影モードに応じて、参照ピクチャに対する参照インデックスの割り当て方を制御することもできる。
【０２３４】
つまり、カメラ１２００は、ユーザに意識させることなく、カメラ１２００の状態に応じて、画質および符号化効率を向上させるように、参照ピクチャに対する参照インデックスの割り当て方を決定することができる。また、カメラ１２００は、ユーザの明示の指示による撮影モードの切り替えに応じて、画質および符号化効率を向上させるように、参照ピクチャに対する参照インデックスの割り当て方を決定することもできる。
【０２３５】
また、本発明は、本発明の実施の形態１〜３における各手段を備える画像符号化装置として提供することができるばかりでなく、画像符号化装置が具備する各手段を各ステップとする画像符号化方法や、画像符号化装置が具備する機能を実現する画像符号化集積回路、および画像符号化方法を実現することができる画像符号化プログラムを提供することも可能である。
【０２３６】
そして、この画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
【０２３７】
また、画像符号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成してもよいし、複数チップで構成してもよい。例えば、メモリ以外の機能ブロックを１チップＬＳＩで構成してもよい。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
【０２３８】
図１４は、実施の形態１の画像符号化装置１００における集積回路化の一例を示す図である。
【０２３９】
図１４に示すＬＳＩ２００は、本発明の画像符号化集積回路の一例であり、画像符号化装置１００が備える複数の機能ブロックを含む集積回路の一例である。
【０２４０】
なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。
【０２４１】
また、実施の形態２の画像符号化装置８００および実施の形態３の画像符号化装置９００のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。
【０２４２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０２４３】
さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。
【０２４４】
また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としてもよい。
【産業上の利用可能性】
【０２４５】
本発明に係る画像符号化装置、画像符号化方法、および画像符号化集積回路は、より高画質、またはより高効率にＨ．２６４などの圧縮符号化方式による映像の符号化を実現することができるため、パーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダおよびカメラ付き携帯電話機等に適用できる。
【０２４６】
また、本発明に係るカメラは、同じく、より高画質、またはより高効率にＨ．２６４などの圧縮符号化方式による映像の符号化を実現することができるため、家庭用および業務用のビデオカメラ等に適用できる。
【符号の説明】
【０２４７】
１００、８００、９００    画像符号化装置
１０１、８０１、９０１    動きフラグ生成部
１０２    参照インデックス割当部
１０３    画像符号化部
２００    ＬＳＩ
２０１    入力画像データメモリ
２０２    参照画像データメモリ
２０３    面内予測部
２０４    動きベクトル検出部
２０５    動き補償部
２０６    予測モード判定部
２０７    差分演算部
２０８    直交変換部
２０９    量子化部
２１０    逆量子化部
２１１    逆直交変換部
２１２    加算部
２１３    エントロピー符号化部
１２００    カメラ
１２１０    撮像部
１２２０    撮影モード切替部
１２３０    状態取得部
【図１】
2010063092.tif 000003
【図２】
2010063092.tif 000004
【図３】
2010063092.tif 000005
【図４】
2010063092.tif 000006
【図５】
2010063092.tif 000007
【図６】
2010063092.tif 000008
【図７】
2010063092.tif 000009
【図８】
2010063092.tif 000010
【図９】
2010063092.tif 000011
【図１０】
2010063092.tif 000012
【図１１】
2010063092.tif 000013
【図１２】
2010063092.tif 000014
【図１３】
2010063092.tif 000015
【図１４】
2010063092.tif 000016
【図１５】
2010063092.tif 000017