(57)【要約】【課題】マルチストリームの符号化の際においてメモリアクセスを軽減することのできる符号化装置を提供する。【解決手段】符号化装置は、前記符号化対象画像がＮｏｎＢａｓｅＶｉｅｗの画像である場合、当該画像と所定の順序関係を有する、既に符号化された他の第２種画像についての空間変化量を当該符号化対象画像についての空間変化量として取得し、前記符号化対象画像に対応するＢａｓｅＶｉｅｗの画像についての時間変化量を当該符号化対象画像の時間変化量として取得し、前記空間変化量及び前記時間変化量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定し、決定した１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う。【選択図】図１
2012222482.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象を一の視点から表した第１種画像の列と、他の視点から表した第２種画像の列とからなるマルチストリームを符号化する符号化装置であって、
前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、
前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する前記第１種画像とから得られる第１相違量を取得する第１相違量取得手段と、
前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する、既に符号化された別の第１種画像とから得られる第２相違量を取得する第２相違量取得手段と、
前記第１相違量及び前記第２相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定する決定手段と、
前記決定手段で決定された１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備える
ことを特徴とする符号化装置。
【請求項２】
前記第１相違量は、前記別の第２種画像が前記第１種画像を参照して符号化した際のイントラマクロブロック数であり、
前記第２相違量は、前記第１種画像が前記別の第１種画像を参照して符号化した際のイントラマクロブロック数である
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記第１相違量は、前記第１種画像と、前記別の第２種画像とから得られる動きベクトル量であり、
前記第２相違量は、前記第１種画像と、前記別の第１種画像とから得られる動きベクトル量である
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記決定手段は、
第１の閾値と前記第１の閾値より大きい値である第２の閾値とを用いた、前記第１相違量との大小関係及び前記第２相違量との大小関係から、当該符号化対象画像について符号化する際の参照方向を１つ以上決定し、決定した１つ以上の参照方向それぞれから参照画像を特定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記符号化装置は、さらに、
前記マルチストリームの符号化時点でのビットレートが高く、且つフレームレートが低い場合には前記第１及び前記第２の閾値それぞれの値を大きくし、符号化時点でのビットレートが低く、且つフレームレートが高い場合には前記第１及び前記第２の閾値それぞれの値を小さくする閾値変更手段を備える
ことを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記符号化対象画像が第２種画像であり、且つ種別がＰピクチャーである場合において、
前記決定手段は、
前記第２相違量が前記第１の閾値以下である場合、及び前記第２相違量が前記第１の閾値より大きく且つ前記第２の閾値以下であり、前記第１相違量が前記第２の閾値以下である場合には、参照方向を前記第２種画像の列の前方のみと決定し、
前記第２相違量が前記第１の閾値より大きく且つ前記第２の閾値以下であり、前記第１相違量が前記第２の閾値以下である場合、及び前記第２相違量が前記第２の閾値より大きく且つ前記第１相違量が前記第２の閾値以下である場合には、参照方向を前記第１種画像の列の方向のみと決定し、
前記第１相違量及び前記第２相違量とも前記第２の閾値より大きい場合には、参照方向を前記第２種画像の列の前方、及び前記第１種画像の列の方向２方向と決定する
ことを特徴とする請求項４に記載の符号化装置。
【請求項７】
前記符号化対象画像が第２種画像であり、かつ種別がＢピクチャーである場合において、
前記第２相違量取得手段は、
前記符号化対象画像に対応する第１種画像と、当該第１種画と所定の順序関係を有し、且つ前方に存在する前方第１種画像とから得られる前方用第２相違量を前記第２相違量として取得し、さらに前記第１種画像と、当該第１種画像と所定の順序関係を有し、且つ後方に存在する後方第１種画像とから得られる後方用第２相違量を取得し、
前記決定手段は、
第１相違量が前記第１の閾値以下である場合には前記符号化対象画像の参照方向を、前記第１種画像の列の方向のみを参照方向と決定し、
前記前方用第２相違量が第１の閾値以下である場合には参照方向を前記第２種画像の列の前方のみと決定し、前記後方用第２相違量が第１の閾値以下である場合には参照方向を前記第２種画像の列の後方のみと決定し、
前記第１相違量及び前記前方用第２相違量の双方ともが前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の前方、及び前記第１種画像の列の方向の２方向と決定し、
前記第１相違量及び前記後方用第２相違量の双方ともが前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の列の後方、及び前記第１種画像の列の方向の２方向と決定し、
前記第１相違量が前記第２の閾値以上であって、且つ前記前方第２相違量及び前記後方第２相違量の双方が前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の列の前方及び後方の２方向と決定し、
その他の組み合わせにおいては、参照方向を前記第２種画像の列の前方と後方、及び前記第１種画像の列の方向の３方向と決定する
ことを特徴とする請求項６に記載の符号化装置。
【請求項８】
前記第１相違量取得手段は、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する第１種画像とから得られる第１相違量を取得する代わりに、前記符号化対象画像における画像周波数と、当該符号化対象画像で表される一時点の再生対象について前記第１動画ストリームから取得される第１種画像の周波数との差分を前記第１相違量として取得する
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
前記第２相違量取得手段は、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する別の第１種画像とから得られる第２相違量を取得する代わりに、当該符号化対象画像における代表点の位置と、当該符号化対象画像と所定の順序関係を有する他の第２種画像における前記代表点の位置とから得られる画素移動量を前記第２相違量として取得する
ことを特徴とする請求項１に記載の符号化装置。
【請求項１０】
撮影対象を一の視点から表した第１種画像の列と、他の視点から表した第２種画像の列とからなるマルチストリームを符号化する、画像取得手段と第１相違量取得手段と第２相違量取得手段と決定手段と符号化手段とを備える符号化装置で用いられる符号化方法であって、
前記画像取得手段が、前記マルチストリームから符号化対象画像を逐次取得する画像取得ステップと、
前記第１相違量取得手段が、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する前記第１種画像とから得られる第１相違量を取得する第１取得ステップと、
前記第２相違量取得手段が、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する、既に符号化された別の第１種画像とから得られる第２相違量を取得する第２取得ステップと、
前記決定手段が、前記第１相違量及び前記第２相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定する決定ステップと、
前記符号化手段が、前記決定ステップで決定された１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化ステップとを含む
ことを特徴とする符号化方法。
【請求項１１】
撮影対象を一の視点から表した第１種画像の列と、他の視点から表した第２種画像の列とからなるマルチストリームを符号化する、画像取得手段と第１相違量取得手段と第２相違量取得手段と決定手段と符号化手段とを備える符号化装置で用いられるコンピュータ読み取り可能なプログラムであって、
前記画像取得手段に、前記マルチストリームから符号化対象画像を逐次取得させる画像取得ステップと、
前記第１相違量取得手段に、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する前記第１種画像とから得られる第１相違量を取得させる第１取得ステップと、
前記第２相違量取得手段に、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する、既に符号化された別の第１種画像とから得られる第２相違量を取得させる第２取得ステップと、
前記決定手段に、前記第１相違量及び前記第２相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定させる決定ステップと、
前記符号化手段に、前記決定ステップで決定された１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行わせる符号化ステップとを含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチストリームに含まれる画像を符号化する符号化装置に関するものである。
【背景技術】
【０００２】
マルチストリーム符号化技術は、３Ｄテレビ（３ＤＴＶ）、自由視点テレビ（ＦＴＶ：Ｆｒｅｅｖｉｅｗｐｏｉｎｔ  ＴＶ）、及び複数のカメラによる監視等の用途に不可欠である。しかしながら、マルチストリームを符号化するには、従来シングルストリームに比べ２倍以上の情報量を符号化する必要がある。そこで、マルチストリームを高効率に符号化するための技術として、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）  ＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４）Ｐａｒｔ１０  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）標準／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ，  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｅｃｔｏｒ）  Ｈ．２６４勧告（以下、ＭＰＥＧ−４ＡＶＣ標準）に基づいた多視点符号化（ＭＶＣ：Ｍｕｌｔｉ  Ｖｉｅｗ  Ｃｏｄｉｎｇ）が規格化として策定されている。
【０００３】
マルチストリームを高効率に符号化するためには、それぞれの視点をエンコードし、Ｖｉｅｗ間参照（Ｉｎｔｅｒ−ｖｉｅｗ  ｒｅｆｅｒｅｎｃｅ）を考慮することで、高効率な参照の予測を達成する。Ｖｉｅｗ間参照とは、一の視点での画像を符号化する場合に、他の視点での画像を参照することをいう。また、Ｖｉｅｗ内参照とは、一の画像を符号化する場合に、同一の視点での他の画像を参照することをいう。
【０００４】
ここで、図１５を使用して、Ｖｉｅｗ間及びＶｉｅｗ内参照方法に関して説明する。図１５の左側映像（以後、ＢａｓｅＶｉｅｗ）はシングルストリーム記録と同様のＶｉｅｗ内参照を使用した符号化を行う。一方、右側映像（以後、ＮｏｎＢａｓｅＶｉｅｗ）は、例えば図１５のＰ―１１のように、復号化されたＢａｓｅＶｉｅｗに基づいて同時間軸の別視点の画像Ｐ−４を参照（つまり、Ｖｉｅｗ間参照）、及び同一Ｖｉｅｗ内の画像Ｐ−８を参照して符号化する。また、図１５のＢ−９については、Ｖｉｅｗ間参照による画像Ｂ−２を参照、及びＶｉｅｗ内における前方参照（画像Ｐ−８を参照）と後方参照（画像Ｐ−１１を参照）による参照を行うこととなる。
【０００５】
すなわち、ＮｏｎＢａｓｅＶｉｅｗの画像の符号化は、Ｖｉｅｗ内参照とＶｉｅｗ間参照の双方を行う（特許文献１参照）。これにより、最適な参照画像を判断し高効率な符号化を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５０９４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記のような符号化を行った場合、従来のシングルストリームの符号化時に比べて多くの参照アクセスが発生してしまう。なぜなら、シングルストリームの符号化ではＶｉｅｗ内参照のみでよいが、マルチストリーム、特にＮｏｎＢａｓｅＶｉｅｗのシーケンスを符号化する際には、Ｖｉｅｗ間参照(同時間軸のＢａｓｅＶｉｅｗ画像)及びＶｉｅｗ内参照の双方を行う必要があるからである。そこで、ＮｏｎＢａｓｅＶｉｅｗのシーケンスをＶｉｅｗ間参照することで、ＮｏｎＢａｓｅＶｉｅｗ側の参照画像の出力を無くし、メモリアクセス処理量を削減するという方法もあるが、空間変化量が大きいシーンでは、Ｖｉｅｗ間参照がＶｉｅｗ内参照するよりも低効率となることがあるため、一意にＶｉｅｗ間参照すると、符号化効率が低下し従来のストリームと比べ著しい画質劣化を引き起こしてしまう。
【０００８】
そこで、本発明は、上記の問題に鑑みて、マルチストリームの符号化の際においてメモリアクセスを軽減することのできる符号化装置、符号化方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、撮影対象を一の視点から表した第１種画像の列と、他の視点から表した第２種画像の列とからなるマルチストリームを符号化する符号化装置であって、前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する前記第１種画像とから得られる第１相違量を取得する第１相違量取得手段と、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する、既に符号化された別の第１種画像とから得られる第２相違量を取得する第２相違量取得手段と、前記第１相違量及び前記第２相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定する決定手段と、前記決定手段で決定された１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備えることを特徴とする。
【発明の効果】
【００１０】
上記構成によると、符号化装置は、決定手段で決定された１つ以上の参照画像を用いて符号化対象の画像を符号化するので、メモリへは決定された１つ以上の参照画像のみを読み込めばよい。そのため、従来と比較してメモリへの読み込み回数を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置１の構成を示すブロック図である。
【図２】上限閾値Ｇ１０２及び下限閾値Ｇ１０３と、変化量との関係を示す図である。
【図３】メモリ２０の領域の一例を示す図である。
【図４】符号化処理の動作を示す流れ図である。
【図５】Ｐピクチャー参照判断処理の動作を示す流れ図である。
【図６】Ｂピクチャー参照判断処理の動作を示す流れ図である。
【図７】複数枚決定処理の動作を示す流れ図である。図８へ続く。
【図８】複数枚決定処理の動作を示す流れ図である。図７から続き、図９へ続く。
【図９】複数枚決定処理の動作を示す流れ図である。図８から続く。
【図１０】Ｐピクチャーである画像（Ｐ−１１）を符号化対象とした場合の符号化の具体例を示す図である。
【図１１】Ｂピクチャーである画像（Ｂ−９）を符号化対象とした場合の符号化の具体例を示す図である。
【図１２】画像周波数情報を用いた場合の符号化を説明する図である。
【図１３】画素移動量を用いた場合の符号化を説明する図である。
【図１４】イントラマクロブロック数と画像周波数情報との組み合わせた場合の変化量判定する処理動作を示す流れ図である。
【図１５】マルチストリームにおける従来の符号化を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
１．実施の形態
１．１  画像処理装置１について
画像処理装置１は、符号化装置１０とメモリ２０とを有している。
【００１３】
符号化装置１０は、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗとならなるマルチストリームに含まれる画像の符号化を行う。また、メモリ２０は、符号化前の画像、符号化された画像や符号化処理の結果等の符号化処理に係る情報を格納するものである。
【００１４】
ここで、マルチストリームにおいて、ＢａｓｅＶｉｅｗは各時点における撮影対象を一の視点から表した画像の列からなり、ＮｏｎＢａｓｅＶｉｅｗは当該撮影対象を他の視点から表した画像の列からなるものである。
【００１５】
以下、符号化装置１０及びメモリ２０について詳細に説明する。
１．２  符号化装置１０の構成
図１は、本実施の形態に係る符号化装置１０の構成を示す図である。符号化装置１０は、画像入力部１０１、空間変化量判断部１０２、時間変化量判断部１０３、参照判断部１０４、参照画像アクセス部１０５及び符号化部１０６から構成されている。
【００１６】
（１）画像入力部１０１
画像入力部１０１は、符号化対象となる画像の入力を受け付けるものである。
画像入力部１０１は、受け付けた符号化対象の画像をメモリ２０へ格納する。
【００１７】
（２）空間変化量判断部１０２
空間変化量判断部１０２は、空間的な画像の変化量、つまりＶｉｅｗ間での画像の変化量を判断するものである。
【００１８】
具体的には、空間変化量判断部１０２は、ＮｏｎＢａｓｅＶｉｅｗに属する符号化対象の画像について、ＮｏｎＢａｓｅＶｉｅｗに属し、且つ所定の順序関係を有する既に符号化された
種別がＰピクチャーである画像（参照候補の画像）と、当該画像に対応するＢａｓｅＶｉｅｗに属する画像との間における画像の変化量（画像の空間変化量）を取得する。ここで、所定の順序関係とは、符号化を行う際の符号化順序である。
【００１９】
ここでは、画像の変化量としてイントラマクロブロック数を用いる。イントラマクロブロックとは、フレーム間予測が行えずフレーム内予測による符号化を行ったマクロブロックである。イントラ符号化を選択されるということは、参照画像との変化量が大きい、かつ符号効率が悪いことを示す。
【００２０】
また、空間変化量判断部１０２は、図２に示すように、上限閾値Ｇ１０２と下限閾値Ｇ１０３を用いて、取得した空間変化量の度合を大、中、小に切り分ける。その結果をメモリ２０へ格納する。ここで、変化量が大とは、変化量が上限閾値Ｇ１０２より大きい、変化量が中とは、変化量が下限閾値Ｇ１０３以上上限閾値Ｇ１０２以下である、変化量が小とは、変化量が下限閾値Ｇ１０３より小さい、ことをいう。ここで、上限閾値Ｇ１０２と下限閾値Ｇ１０３とは、符号化装置１０の製造時点で、設計者等により予め定められた値である。
【００２１】
（３）時間変化量判断部１０３
時間変化量判断部１０３は、時間的な画像の変化量、つまりＶｉｅｗ内での画像の変化量を判断するものである。
【００２２】
具体的には、時間変化量判断部１０３は、ＮｏｎＢａｓｅＶｉｅｗに属する符号化対象の画像について、ＢａｓｅＶｉｅｗに属し、且つ符号化対象の画像に対応する種別がＰピクチャーである画像と、当該画像と所定の順序関係を有する既に符号化された種別がＰピクチャーである画像との間における画像の変化量（画像の時間変化量）を取得する。ここでは、空間変化量の場合と同様に、画像の変化量としてイントラマクロブロック数を用いる。
【００２３】
また、時間変化量判断部１０３は、図２に示す上限閾値Ｇ１０２と下限閾値Ｇ１０３を用いて、取得した時間変化量の度合を大、中、小に切り分ける。その結果をメモリ２０へ格納する。
【００２４】
なお、符号化対象の画像がＢピクチャーである場合には、時間変化量は２つ取得される。なぜなら、種別がＰピクチャーであるＮｏｎＢａｓｅＶｉｅｗに属する参照候補の画像は前方と、後方の２つ存在するため、これら画像それぞれについて時間変化量を取得する。以降において、前方の画像との時間変化量を前方時間変化量と、後方の画像との時間変化量を後方時間変化量という。
【００２５】
（４）参照判断部１０４
参照判断部１０４は、符号化対象の画像について取得した空間変化量及び時間変化量を基に、当該符号化対象の画像が参照すべき参照方向と参照枚数とを決定するものである。
【００２６】
具体的には、参照判断部１０４は、メモリ２０に格納された空間変化量及び時間変化量それぞれの度合の組み合わせにより、度合の小さい変化量に基づいて参照すべき参照方向と参照枚数とを決定する。
【００２７】
（５）参照画像アクセス部１０５
参照画像アクセス部１０５は、参照判断部１０４による判断結果（参照すべき参照方向と参照枚数）で特定される１つ以上の参照画像をメモリ２０に読み書きするものである。
【００２８】
（６）符号化部１０６
符号化部１０６は、画像入力部１０１で受け付け、メモリ２０に格納された符号化対象画像を、参照画像アクセス部１０５でアクセスした１つ以上の参照画像を用いて符号化するものである。
【００２９】
符号化部１０６は、符号化された画像及び符号化処理の結果等の符号化処理に係る情報をメモリに格納する。
１．３  メモリ２０について
メモリ２０には、符号化対象の画像が画像入力部１０１により格納される。
【００３０】
また、図３に示すように、符号化された画像毎に、符号化データ格納領域２０１、符号化結果格納領域２０２及び変化量判断結果格納領域２０３を有する格納領域が割り当てられている。符号化データ格納領域２０１には、符号化部１０６で符号化された画像が格納される。
【００３１】
符号化結果格納領域２０２には、符号化データ格納領域２０１に格納された符号化された画像について、当該画像がＮｏｎＢａｓｅＶｉｅｗの画像であって、Ｖｉｅｗ間参照による符号化がされた場合には当該Ｖｉｅｗ間参照におけるイントラマクロブロック数と、直近にＶｉｅｗ内参照がされた場合のイントラマクロブロック数とが格納される。また、Ｖｉｅｗ内参照による符号化がされた場合には当該画像と対応するＢａｓｅＶｉｅｗに属する画像のＶｉｅｗ内参照におけるイントラマクロブロック数と、直近にＶｉｅｗ間参照がされた場合のイントラマクロブロック数とが格納される。つまり、符号化に用いられなかった一のＶｉｅｗ参照については過去のイントラマクロブロック数が引き継がれていく。ＮｏｎＢａｓｅＶｉｅｗの一の符号化対象画像を符号化する際において空間変化量を取得する場合に、取得対象となるＮｏｎＢａｓｅＶｉｅｗの一の画像について引き継がれたイントラマクロブロック数が対応付いているときには、当該イントラマクロブロック数を当該一の画像と当該一の画像に対するＢａｓｅＶｉｅｗの画像とのＶｉｅｗ間におけるイントラマクロブロック数として扱う。
【００３２】
なお、ＢａｓｅＶｉｅｗ内における画像の符号化では、Ｖｉｅｗ内参照しか行われないため、Ｖｉｅｗ内参照時のイントラマクロブロック数が格納される。
変化量判断結果格納領域２０３には、符号化対象の画像を符号化する際に空間変化量判断部１０２及び時間変化量判断部１０３それぞれで判断された空間変化量及び時間変化量の度合（大、中、小）が格納される。
【００３３】
１．４  動作
（１）符号化処理
ここでは、符号化装置１０が行う符号化に係る処理について、図４に示す流れ図を用いて説明する。
【００３４】
参照判断部１０４は、符号化対象の画像がＮｏｎＢａｓｅＶｉｅｗシーケンスのものであるか否かを判断する（ステップＳ５）。
符号化対象の画像がＮｏｎＢａｓｅＶｉｅｗシーケンスのものであると判断する場合（ステップＳ５における「Ｙｅｓ」）、参照判断部１０４は、符号化対象の画像の種別を判断する（ステップＳ１０）。
【００３５】
符号化対象の画像の種別がＰピクチャーであると判断する場合（ステップＳ１０における「Ｐピクチャー」）、参照判断部１０４は、Ｐピクチャー参照判断処理を行い、当該符号化対象の画像を符号化する際に参照すべき参照方向及び参照枚数を決定する（ステップＳ１５）。
【００３６】
符号化対象の画像の種別がＢピクチャーであると判断する場合（ステップＳ１０における「Ｂピクチャー」）、参照判断部１０４は、Ｂピクチャー参照判断処理を行い、当該符号化対象の画像を符号化する際に参照すべき参照方向及び参照枚数を決定する（ステップＳ２０）。
【００３７】
符号化対象の画像の種別がＩピクチャーであると判断する場合（ステップＳ１０における「Ｉピクチャー」）、Ｐピクチャー参照判断処理の実行後、及びＢピクチャー参照判断処理の実行後において、符号化部１０６は、符号化対象の画像について符号化を行う（ステップＳ２５）。具体的には、符号化対象の画像がＩピクチャーである場合には従来と同様にＩピクチャーの符号化を行う。また、Ｐピクチャー参照判断処理の実行後、及びＢピクチャー参照判断処理の実行後においては、参照判断部１０４で決定した参照方向及び参照枚数に基づいて特定される１つ以上の参照画像を用いて符号化する。
【００３８】
符号化部１０６は、符号化した画像を、当該画像に割り当てられたメモリ２０内の格納領域２００の符号化データ格納領域２０１へ書き込む（ステップＳ３０）。なお、このとき、符号化処理の結果等の符号化処理に係る情報（イントラマクロブロック数）についても符号化結果格納領域２０２へ書き込む。
【００３９】
（２）Ｐピクチャー参照判断処理
ここでは、図４のステップＳ１５で行われるＰピクチャー参照判断処理について、図５に示す流れ図を用いて説明する。
【００４０】
参照判断部１０４は、時間変化量判断部１０３で判断された時間変化量の度合が大中小の何れであるかを判断する（ステップＳ１００）。
時間変化量が小であると判断する場合（ステップＳ１００における「変化量小」）、参照判断部１０４は、空間変化量判断部１０２で判断された空間変化量の度合が小であるか否かを判断する（ステップＳ１０５）。
【００４１】
空間変化量が小であると判断する場合（ステップＳ１０５における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ内参照のみで符号化すると決定する（ステップＳ１２０）。なお、この場合、符号化対象の画像は、以降の符号化において非被参照画像として扱う。ここで、非被参照画像とは、符号化時において本来であれば参照すべき画像であるが、参照しない画像のことをいう。符号化部１０６は、符号化対象の画像が非被参照画像である画像を本来なら参照する場合には、当該画像の代わりに当該画像が参照する別の画像を参照して、符号化対象の画像を符号化する。また、符号化対象の画像が非被参照画像である場合には、符号化部１０６は、上述したステップＳ３０において、符号化結果の情報として当該画像が非被参照画像である旨を符号化結果格納領域２０２へ格納する。
【００４２】
空間変化量が小でないと判断する場合（ステップＳ１０５における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ内参照のみで符号化すると決定する（ステップＳ１２５）。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。
【００４３】
時間変化量が中であると判断する場合（ステップＳ１００における「変化量中」）、参照判断部１０４は、空間変化量の度合が大であるか否かを判断する（ステップＳ１１０）。
【００４４】
空間変化量が大であると判断する場合（ステップＳ１１０における「Ｙｅｓ」）、参照判断部１０４はステップＳ１２５を実行する。
空間変化量が大でないと判断する場合（ステップＳ１１０における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ間参照のみで符号化すると決定する（ステップＳ１３０）。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。
【００４５】
時間変化量が大であると判断する場合（ステップＳ１００における「変化量大」）、参照判断部１０４は、空間変化量の度合が大であるか否かを判断する（ステップＳ１１５）。
【００４６】
空間変化量が大でないと判断する場合（ステップＳ１１５における「Ｎｏ」）、参照判断部１０４はステップＳ１３０を実行する。
空間変化量が大であると判断する場合（ステップＳ１１５における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間参照及びＶｉｅｗ内参照の双方を用いて符号化すると決定する（ステップＳ１３５）。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。
【００４７】
（３）Ｂピクチャー参照判断処理
ここでは、図４のステップＳ２０で行われるＢピクチャー参照判断処理について、図６に示す流れ図を用いて説明する。
【００４８】
参照判断部１０４は、空間変化量判断部１０２で取得された空間変化量の度合が小であるか否かを判断する（ステップＳ２００）。
空間変化量が小であると判断する場合（ステップＳ２００における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間参照のみで符号化すると決定する（ステップＳ２２５）。
【００４９】
空間変化量が小でないと判断する場合（ステップＳ２００における「Ｎｏ」）、参照判断部１０４は、前方時間変化量が小であるか否かを判断する（ステップＳ２０５）。
前方時間変化量が小であると判断する場合（ステップＳ２０５における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき画像（ここでは前方の画像）が非被参照画像であるか否かを判断する（ステップＳ２１０）。
【００５０】
非被参照画像でないと判断する場合には（ステップＳ２１０における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ内参照であって且つ本来参照すべき前方の画像（以下、第１前方画像という。）のみを参照して符号化すると決定する（ステップＳ２３０）。
【００５１】
非被参照画像であると判断する場合には（ステップＳ２１０における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ内参照であって且つ本来参照すべき画像が参照する前方の画像（以下、第２前方画像）のみを参照して符号化すると決定する（ステップＳ２３５）。
【００５２】
前方時間変化量が小でないと判断する場合（ステップＳ２０５における「Ｎｏ」）、参照判断部１０４は、後方時間変化量が小であるか否かを判断する（ステップＳ２１５）。
後方時間変化量が小であると判断する場合（ステップＳ２１５における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき画像（ここでは後方の画像）が非被参照画像であるか否かを判断する（ステップＳ２２０）。
【００５３】
非被参照画像でないと判断する場合には（ステップＳ２２０における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ内参照であって且つ本来参照すべき後方の画像（以下、第１後方画像という。）のみを参照して符号化すると決定する（ステップＳ２４５）。
【００５４】
非被参照画像であると判断する場合には（ステップＳ２２０における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ内参照であって且つ本来参照すべき画像が参照する後方の画像（以下、第２後方画像）のみを参照して符号化すると決定する（ステップＳ２４０）。
【００５５】
後方時間変化量が小でないと判断する場合（ステップＳ２１５における「Ｎｏ」）、参照判断部１０４は、複数枚決定処理を行い、参照すべき参照方向と参照枚数とを決定する（ステップＳ２５０）。
【００５６】
（４）複数枚決定処理
ここでは、図６のステップＳ２５０で行われる複数枚決定処理について、図７から図９に示す流れ図を用いて説明する。
【００５７】
参照判断部１０４は、空間変化量判断部１０２で取得された空間変化量の度合が中であるか否かを判断する（ステップＳ３００）。
空間変化量が中であると判断する場合（ステップＳ３００における「Ｙｅｓ」）、参照判断部１０４は、前方時間変化量が中であるか否かを判断する（ステップＳ３０５）。
【００５８】
前方時間変化量が中であると判断する場合（ステップＳ３０５における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき画像（ここでは前方の画像）が非被参照画像であるか否かを判断する（ステップＳ３１５）。  
【００５９】
前方の画像が非被参照画像であると判断する場合には（ステップＳ３１５における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間及び第２前方画像による２画面参照により符号化すると決定する（ステップＳ３６５）。
【００６０】
前方の画像が非被参照画像でないと判断する場合には（ステップＳ３１５における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ間及び第１前方画像による２画面参照により符号化すると決定する（ステップＳ３７０）。
【００６１】
前方時間変化量が中でないと判断する場合（ステップＳ３０５における「Ｎｏ」）、参照判断部１０４は、後方時間変化量が中であるか否かを判断する（ステップＳ３２０）。
後方時間変化量が中であると判断する場合（ステップＳ３２０における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき画像（ここでは後方の画像）が非被参照画像であるか否かを判断する（ステップＳ３３０）。  
【００６２】
後方の画像が非被参照画像であると判断する場合には（ステップＳ３３０における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間及び第２後方画像による２画面参照により符号化すると決定する（ステップＳ３７５）。
【００６３】
後方の画像が非被参照画像でないと判断する場合には（ステップＳ３３０における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ間及び第１後方画像による２画面参照により符号化すると決定する（ステップＳ３８０）。
【００６４】
後方時間変化量が中でないと判断する場合（ステップＳ３２０における「Ｎｏ」）、参照判断部１０４は、本来参照すべき前方の画像が非被参照画像であるか否かを判断する（ステップＳ３３５）。
【００６５】
前方の画像が非被参照画像であると判断する場合には（ステップＳ３３５における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき後方の画像が非被参照画像であるか否かを判断する（ステップＳ３４５）。
【００６６】
後方の画像が非被参照画像であると判断する場合には（ステップＳ３４５における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間、第２前方画像及び第２後方画像による３画面参照により符号化すると決定する（ステップＳ３８５）。
【００６７】
後方の画像が非被参照画像でないと判断する場合には（ステップＳ３４５における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ間、第２前方画像及び第１後方画像による３画面参照により符号化すると決定する（ステップＳ３９０）。
【００６８】
前方の画像が非被参照画像でないと判断する場合には（ステップＳ３３５における「Ｎｏ」）、参照判断部１０４は、本来参照すべき後方の画像が非被参照画像であるか否かを判断する（ステップＳ３５０）。
【００６９】
後方の画像が非被参照画像であると判断する場合には（ステップＳ３５０における「Ｙｅｓ」）、参照判断部１０４は、Ｖｉｅｗ間、第１前方画像及び第２後方画像による３画面参照により符号化すると決定する（ステップＳ３９５）。
【００７０】
後方の画像が非被参照画像でないと判断する場合には（ステップＳ３５０における「Ｎｏ」）、参照判断部１０４は、Ｖｉｅｗ間、第１前方画像及び第１後方画像による３画面参照により符号化すると決定する（ステップＳ４００）。
【００７１】
空間変化量が中でないと判断する場合（ステップＳ３００における「Ｎｏ」）、参照判断部１０４は、前方時間変化量が大であるか否かを判断する（ステップＳ３１０）。
前方時間変化量が大であると判断する場合（ステップＳ３１０における「Ｙｅｓ」）、参照判断部１０４の処理は、ステップＳ３３５に移行する。
【００７２】
前方時間変化量が大でないと判断する場合（ステップＳ３１０における「Ｎｏ」）、参照判断部１０４は、後方時間変化量が大であるか否かを判断する（ステップＳ３２５）。
後方時間変化量が大であると判断する場合（ステップＳ３２５における「Ｙｅｓ」）、参照判断部１０４の処理は、ステップＳ３３５に移行する。
【００７３】
後方時間変化量が大でないと判断する場合（ステップＳ３２５における「Ｎｏ」）、参照判断部１０４は、本来参照すべき前方の画像が非被参照画像であるか否かを判断する（ステップＳ３４０）。
【００７４】
前方の画像が非被参照画像であると判断する場合には（ステップＳ３４０における「Ｙｅｓ」）、参照判断部１０４は、本来参照すべき後方の画像が非被参照画像であるか否かを判断する（ステップＳ３５５）。
【００７５】
後方の画像が非被参照画像であると判断する場合には（ステップＳ３５５における「Ｙｅｓ」）、参照判断部１０４は、第２前方画像及び第２後方画像による２画面参照により符号化すると決定する（ステップＳ４０５）。
【００７６】
後方の画像が非被参照画像でないと判断する場合には（ステップＳ３５５における「Ｎｏ」）、参照判断部１０４は、第２前方画像及び第１後方画像による２画面参照により符号化すると決定する（ステップＳ４１０）。
【００７７】
前方の画像が非被参照画像でないと判断する場合には（ステップＳ３４０における「Ｎｏ」）、参照判断部１０４は、本来参照すべき後方の画像が非被参照画像であるか否かを判断する（ステップＳ３６０）。
【００７８】
後方の画像が非被参照画像であると判断する場合には（ステップＳ３６０における「Ｙｅｓ」）、参照判断部１０４は、第１前方画像及び第２後方画像による２画面参照により符号化すると決定する（ステップＳ４１５）。
【００７９】
後方の画像が非被参照画像でないと判断する場合には（ステップＳ３６０における「Ｎｏ」）、参照判断部１０４は、第１前方画像及び第１後方画像による２画面参照により符号化すると決定する（ステップＳ４２０）。
【００８０】
１．５  具体例
（１）Ｐピクチャーの符号化について
ここでは、Ｐピクチャーである画像（Ｐ−１１）を符号化対象として、図１０を用いて本実施の形態の具体例を説明する。
【００８１】
従来、画像（Ｐ−１１）を符号化する場合には、ＢａｓｅＶｉｅｗの画像（Ｐ−４）及びＮｏｎＢａｓｅＶｉｅｗの画像（Ｐ−８）の双方を参照している。
本実施の形態では、Ｖｉｅｗ間参照及びＶｉｅｗ内参照の双方を行う代わりに、先ず画像（Ｐ−１）と画像（Ｐ−８）との空間変化量、及び画像（Ｐ−４）と画像（Ｐ−１）との時間変化量を取得する。これは、符号化対象の画像（Ｐ−１１）と画像（Ｐ−８）との画像の変化量、及び画像（Ｐ−１１）と画像（Ｐ−４）との画像の変化量はともに少ないという前提の基、画像（Ｐ−１）と画像（Ｐ−８）との空間変化量と、画像（Ｐ−４）と画像（Ｐ−１１）との空間変化量は同様の変化量であると推測されるためである。また、画像（Ｐ−１）と画像（Ｐ−４）における時間変化量と、画像（Ｐ−８）と画像（Ｐ−１１）とにおける時間変化量は同様の変化量であると推測されるためである。
【００８２】
このとき、符号化装置１０の参照判断部１０４は、既に符号化された複数のＰピクチャー画像についての空間変化量及び時間変化量を用いて、変化量の小さい方を特定する。参照判断部１０４は、特定した変化量に係るView参照、例えば、時間変化量の方が小さい場合には、View内参照のみを行うとし、符号化対象の画像について符合化に用いる１つの画像を特定することができる。また、ともに変化量が大きい場合には従来と同様にView内参照及びView間参照の双方を行って符号化が行われる。
【００８３】
（２）Ｂピクチャーの符号化について
ここでは、Ｂピクチャーである画像（Ｂ−９）を符号化対象として、図１１を用いて本実施の形態の具体例を説明する。
【００８４】
従来、画像（Ｂ−９）を符号化する場合には、ＢａｓｅＶｉｅｗの画像（Ｂ−２）及びＮｏｎＢａｓｅＶｉｅｗの２つの画像（Ｐ−８、Ｐ−１１）を参照している。
本実施の形態では、Ｖｉｅｗ間参照及びＶｉｅｗ内参照の双方を行う代わりに、画像（Ｐ−１）と画像（Ｐ−８）との空間変化量、画像（Ｂ−２）と画像（Ｐ−１）との時間変化量（前方）、及び画像（Ｂ−２）と画像（Ｐ−４）との時間変化量（後方）を取得する。これは、Ｐピクチャーの符号化と同様に、画像（Ｐ−１）と画像（Ｐ−８）との空間変化量と、画像（Ｂ−２）と画像（Ｂ−９）との空間変化量は同様の変化量であると推測されるためである。また、画像（Ｐ−１）と画像（Ｂ−２）における時間変化量と、画像（Ｐ−８）と画像（Ｂ−９）とにおける時間変化量は同様の変化量、及び画像（Ｐ−４）と画像（Ｂ−２）における時間変化量と、画像（Ｐ−１１）と画像（Ｂ−９）とにおける時間変化量は同様の変化量であると推測されるためである。
【００８５】
このとき、符号化装置１０の参照判断部１０４は、Pピクチャーの符号化と同様に、既に符号化された複数のＰピクチャー画像についての空間変化量及び時間変化量を用いて、変化量の小さい方を特定する。参照判断部１０４は、特定した変化量に係るView参照を行うとし、符号化対象の画像について符合化に用いる１つの画像を特定することができる。また、ともに変化量が大きい場合には従来と同様にView内参照における前方参照及び後方参照と、View間参照の全てを行って符号化が行われる。
【００８６】
２．変形例
以上、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。
【００８７】
（１）上記実施の形態において、上限閾値Ｇ１０２と下限閾値Ｇ１０３とは固定的な値としたが、これに限定されない。
これら閾値は、１フレームに割り当てられる符号量に応じて変更するようにしてもよい。
【００８８】
１フレームに割り当てられる符号量が大きい場合、多少の符号化効率が悪くても、高圧縮する必要がなく画質劣化に繋がらない。そのため、図２に示す上限閾値Ｇ１０２及び下限閾値Ｇ１０３それぞれの値を大きくし、空間変化量を小と判定されやすくすることで、少ない参照枚数で符号化を行えるようになる。これにより、画質劣化することなく、省電力を図ることが可能となる。
【００８９】
この１フレームに割り当てられる符号量は符号化時のモード（ビットレート、フレームレート）によって変わるため、モードによって閾値を変えることで、システムに応じた省電力を実現できる。
【００９０】
また、消費電力削減を優先させたい場合には、空間変化量判断部１０２、時間変化量判断部１０３の変化量判定に用いる上限閾値Ｇ１０２及び下限閾値Ｇ１０３の双方を上げることで複数面参照になりにくくすることで実現可能である。
【００９１】
また、符号化効率を優先させたい場合には、空間変化量判断部１０２、時間変化量判断部１０３の変化量判定に用いる上限閾値Ｇ１０２及び下限閾値Ｇ１０３の双方を下げることで複数面数参照になりやすくすることで実現可能である。  
【００９２】
また、参照判断部１０４での判定方法を変えることで同様の効果を得ることも可能である。
（２）上記実施の形態において、空間変化量及び時間変化量の判断にイントラマクロブロック数を使用したが、これに限定されない。
【００９３】
例えば、符号化部１０６から出力される符号化結果にある動きベクトル量で判断するとしてもよい。この動きベクトル量についてもイントラマクロブロック数を使用する場合と同様に、符号化対象の画像が従来参照すべき第１参照画像と、当該第１参照画像が参照すべき第２参照画像との変化量、つまり動きベクトル量を用いる。ここで、動きベクトル量とは、フレーム間予測した場合の動き量を示すものである。動きベクトル量が大きいことは、参照画像の変化量が大きいと判断でき、また符号化効率が悪いと判断することができる。動きベクトル量を使用することで、イントラマクロブロック数を用いた判定と同様の効果を得ることができる。
【００９４】
また、符号化部１０６からの符号化情報以外に、空間変化量の判断に用いる情報として、画像入力部１０１から出力される画像周波数情報を用いてもよい。画像周波数情報は、図１２（ａ）の領域３００に示すように隣接する画素に差分が多い場合を高周波（図１２（ｂ）参照。）、図１２（ａ）の領域３０１に示すように隣接する画素に差分が少ない場合を低周波（図１２（ｂ）参照。）とする。符号化処理では、高周波であればあるほど符号化効率が悪くなるという特徴があるため、周波数情報を空間変化量（符号化効率）として使用することで、イントラマクロブロック数を用いた判定と同様の効果を得ることが可能である。また、空間変化量と同様に、時間変化量の判断情報に対しても同様に、画像周波数情報を用いてもよい。
【００９５】
または、画像入力部１０１から出力される画素移動量を用いてもよい。画素移動量とは、あるブロック（枠）の代表点を１点定め、その点が次のフレームにおいて、どれだけ移動したかを表したものである。図１３（ａ）は、フレームＦ１００と次フレームＦ１０１とにおいて、代表点Ｐ１００の移動を示すものである。参照判断部１０４は、まずフレームＦ１００における代表点Ｐ１００の情報を保持する。そして次フレームＦ１０１における代表点Ｐ１００の位置を取得し、保持している情報と取得した情報とから移動した距離を算定する。図１３（ｂ）は、フレームＦ１００とフレームＦ１０１とを重ねたものであり、フレームＦ１００で定めた代表点Ｐ１００が、Ｐ１０１まで移動していることがわかる。この移動した距離を画素移動量とする。そして、参照判断部１０４は、Ｖｉｅｗ内参照する場合の参照画像と、符号化画像の画素移動量を時間変化量として使用する。画素移動量が大きい場合、符号化時にイントラマクロブロックとなる可能性が高く、かつイントラ符号化したとしても符号効率が悪くなる。
【００９６】
（３）上記実施の形態では、空間変化量及び時間変化量について、一つの情報（イントラマクロブロック数）で判断しているが、空間変化量及び時間変化量のそれぞれについて、複数の情報を組み合わせて判断するとしてもよい。
【００９７】
例えば、イントラマクロブロックは周波数によって符号化効率が大きく変わる。低周波なイントラマクロブロックは高効率、高周波なイントラマクロブロックは低効率という符号化の特性がある。この特徴を生かして、イントラマクロブロック数と、画像周波数情報との組み合わせにより変化量を判断することで、より判定精度をあげることができる。
【００９８】
イントラマクロブロック数と、画像周波数情報との組み合わせた場合の変化量判定方法について、図１４に示す流れ図を用いて説明する。
参照判断部１０４は、イントラマクロブロック数が大、中、小の何れであるかを判断する（ステップＳ５００）。
【００９９】
イントラマクロブロック数が小と判断する場合（ステップＳ５００における「少ない」）、参照判断部１０４は、変化量は小と判断する（ステップＳ５１５）。
イントラマクロブロック数が中であると判断する場合（ステップＳ５００における「中間値」）、参照判断部１０４は、さらに画像周波数が低周波であるか否かを判断する（ステップＳ５０５）。
【０１００】
低周波であると判断する場合（ステップＳ５０５における「Ｙｅｓ」）、参照判断部１０４は、変化量は小と判断する（ステップＳ５１５）。
低周波でないと判断する場合（ステップＳ５０５における「Ｎｏ」）、参照判断部１０４は、変化量は中と判断する（ステップＳ５２０）。
【０１０１】
イントラマクロブロック数が大であると判断する場合（ステップＳ５００における「多い」）、参照判断部１０４は、さらに画像周波数が低周波であるか否かを判断する（ステップＳ５１０）。
【０１０２】
低周波であると判断する場合（ステップＳ５１０における「Ｙｅｓ」）、参照判断部１０４は、変化量は中と判断する（ステップＳ５２０）。
低周波でないと判断する場合（ステップＳ５１０における「Ｎｏ」）、参照判断部１０４は、変化量は大と判断する（ステップＳ５２５）。
【０１０３】
（４）上記実施の形態において、時間変化量及び空間変化量とも小さい場合、参照判断部１０４は、Ｖｉｅｗ間参照のみで符号化すると決定したが、これに限定されない。
時間変化量及び空間変化量とも小さい場合、参照判断部１０４は、Ｖｉｅｗ内参照のみで符号化してもよい。
【０１０４】
（５）上記実施の形態において、メモリ２０に対して、符号化データ格納領域２０１、符号化結果格納領域２０２及び変化量判断結果格納領域２０３を１つの組として、画像単位毎に領域を割り当てが、これに限定されない。
【０１０５】
全ての画像についての符号化データを格納する領域、全ての画像についての符号化結果を画像と対応付けて格納する領域、及び全ての画像についての変化量判断結果を画像と対応付けて格納する領域に分けてもよい。
【０１０６】
つまり、一の画像に対して、当該画像についての符号化結果及び変化量判断結果が特定できるようになっていればよい。
（６）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
【０１０７】
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
（７）上記実施の形態及び変形例を組み合わせるとしてもよい。
【０１０８】
（８）なお、本発明における「第１種画像」とは、実施の形態における「ＢａｓｅＶｉｅｗ」の画像に相当するものであり、「第２種画像」とは、実施の形態における「ＮｏｎＢａｓｅＶｉｅｗ」の画像に相当するものである。
【０１０９】
３．補足
（１）本発明の一実施態様である、撮影対象を一の視点から表した第１種画像の列と、他の視点から表した第２種画像の列とからなるマルチストリームを符号化する符号化装置は、前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する前記第１種画像とから得られる第１相違量を取得する第１相違量取得手段と、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する、既に符号化された別の第１種画像とから得られる第２相違量を取得する第２相違量取得手段と、前記第１相違量及び前記第２相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき１つ以上の参照画像を決定する決定手段と、前記決定手段で決定された１つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備えることを特徴とする。
【０１１０】
この構成によると、符号化装置は、決定手段で決定された１つ以上の参照画像を用いて符号化対象の画像を符号化するので、メモリへは決定された１つ以上の参照画像のみを読み込めばよい。そのため、従来と比較してメモリへの読み込み回数を削減することができる。
【０１１１】
（２）ここで、前記第１相違量は、前記別の第２種画像が前記第１種画像を参照して符号化した際のイントラマクロブロック数であり、前記第２相違量は、前記第１種画像が前記別の第１種画像を参照して符号化した際のイントラマクロブロック数であるとしてもよい。
【０１１２】
また、前記第１相違量は、前記第１種画像と、前記別の第２種画像とから得られる動きベクトル量であり、前記第２相違量は、前記第１種画像と、前記別の第１種画像とから得られる動きベクトル量であるとしてもよい。
【０１１３】
この構成によると、符号化装置は、画像の変化量として、イントラマクロブロック数、又は動きベクトル量を用いることができる。これら情報は、符号化された画像から取得可能なものであるので、符号化対象の画像の変化量として代用することができる。
【０１１４】
（３）ここで、前記決定手段は、第１の閾値と前記第１の閾値より大きい値である第２の閾値とを用いた、前記第１相違量との大小関係及び前記第２相違量との大小関係から、当該符号化対象画像について符号化する際の参照方向を１つ以上決定し、決定した１つ以上の参照方向それぞれから参照画像を特定するとしてもよい。
【０１１５】
この構成によると、符号化装置は、第１の閾値及び第２の閾値を用いた変化量の度合に応じて、参照方向を決定するので、変化量に応じた参照画像を決定することができる。
（４）ここで、前記符号化装置は、さらに、前記マルチストリームの符号化時点でのビットレートが高く、且つフレームレートが低い場合には前記第１及び前記第２の閾値それぞれの値を大きくし、符号化時点でのビットレートが低く、且つフレームレートが高い場合には前記第１及び前記第２の閾値それぞれの値を小さくする閾値変更手段を備えるとしてもよい。
【０１１６】
この構成によると、符号化装置は、第１の閾値及び第２の閾値を変更するので、例えば、符号化時のモード（ビットレート、フレームレート）に応じた適切な値を設定することができる。
【０１１７】
（５）ここで、前記符号化対象画像が第２種画像であり、且つ種別がＰピクチャーである場合において、前記決定手段は、前記第２相違量が前記第１の閾値以下である場合、及び前記第２相違量が前記第１の閾値より大きく且つ前記第２の閾値以下であり、前記第１相違量が前記第２の閾値以下である場合には、参照方向を前記第２種画像の列の前方のみと決定し、前記第２相違量が前記第１の閾値より大きく且つ前記第２の閾値以下であり、前記第１相違量が前記第２の閾値以下である場合、及び前記第２相違量が前記第２の閾値より大きく且つ前記第１相違量が前記第２の閾値以下である場合には、参照方向を前記第１種画像の列の方向のみと決定し、前記第１相違量及び前記第２相違量とも前記第２の閾値より大きい場合には、参照方向を前記第２種画像の列の前方、及び前記第１種画像の列の方向２方向と決定するとしてもよい。
【０１１８】
この構成によると、符号化装置は、符号化対象の画像の種別がＰピクチャーである場合において、当該画像について１つ以上の参照画像を決定することができる。
（６）ここで、前記符号化対象画像が第２種画像であり、かつ種別がＢピクチャーである場合において、前記第２相違量取得手段は、前記符号化対象画像に対応する第１種画像と、当該第１種画と所定の順序関係を有し、且つ前方に存在する前方第１種画像とから得られる前方用第２相違量を前記第２相違量として取得し、さらに前記第１種画像と、当該第１種画像と所定の順序関係を有し、且つ後方に存在する後方第１種画像とから得られる後方用第２相違量を取得し、前記決定手段は、第１相違量が前記第１の閾値以下である場合には前記符号化対象画像の参照方向を、前記第１種画像の列の方向のみを参照方向と決定し、前記前方用第２相違量が第１の閾値以下である場合には参照方向を前記第２種画像の列の前方のみと決定し、前記後方用第２相違量が第１の閾値以下である場合には参照方向を前記第２種画像の列の後方のみと決定し、前記第１相違量及び前記前方用第２相違量の双方ともが前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の前方、及び前記第１種画像の列の方向の２方向と決定し、前記第１相違量及び前記後方用第２相違量の双方ともが前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の列の後方、及び前記第１種画像の列の方向の２方向と決定し、前記第１相違量が前記第２の閾値以上であって、且つ前記前方第２相違量及び前記後方第２相違量の双方が前記第１の閾値以上前記第２の閾値以下である場合には参照方向を前記第２種画像の列の前方及び後方の２方向と決定し、その他の組み合わせにおいては、参照方向を前記第２種画像の列の前方と後方、及び前記第１種画像の列の方向の３方向と決定するとしてもよい。
【０１１９】
この構成によると、符号化装置は、符号化対象の画像の種別がＢピクチャーである場合において、当該画像について１つ以上の参照画像を決定することができる。
（７）ここで、前記第１相違量取得手段は、前記符号化対象画像が第２種画像である場合に、当該第２種画像と所定の順序関係を有する、既に符号化された別の第２種画像と、当該別の第２種画像に対応する第１種画像とから得られる第１相違量を取得する代わりに、前記符号化対象画像における画像周波数と、当該符号化対象画像で表される一時点の再生対象について前記第１動画ストリームから取得される第１種画像の周波数との差分を前記第１相違量として取得するとしてもよい。
【０１２０】
この構成によると、符号化装置は、第１相違量として、空間周波数を用いることができる。通常、隣接する画素に差分が多い場合には出力される空間周波数は高周波となり、隣接する画素に差分が少ない場合には空間周波数は低周波となる。そこで、符号化装置は、この特性を用いることで、符号化対象画像の空間変化量を取得することができる。
【０１２１】
（８）ここで、前記第２相違量取得手段は、前記符号化対象画像が第２種画像である場合に、当該第２種画像に対応する第１種画像と、当該第１種画像と所定の順序関係を有する別の第１種画像とから得られる第２相違量を取得する代わりに、当該符号化対象画像における代表点の位置と、当該符号化対象画像と所定の順序関係を有する他の第２種画像における前記代表点の位置とから得られる画素移動量を前記第２相違量として取得するとしてもよい。
【０１２２】
この構成によると、符号化装置は、第２相違量として、画素移動量を用いることができる。通常、符号化対象の画像と、参照画像とにおいて、ある代表点の移動量が大きいと、これらの画像間における画像の相違が大きいと考えられる。そこで、符号化装置は、この特性を用いることで、同列中の画像の変化量を取得することができる。
【産業上の利用可能性】
【０１２３】
本発明は、マルチストリームの符号化を行う符号化装置の用いることができ、最適な参照画像アクセス処理を行い高効率なマルチストリームの符号化を可能とする。
また、符号化に伴う参照画像のアクセス数を削減することで省電力を図れるため、例えば、デジタルカメラ、ビデオカメラをはじめ、マルチストリームを符号化する製品にて幅広く利用することができる。
【符号の説明】
【０１２４】
１    画像処理装置
１０    符号化装置
１０１    画像入力部
１０２    空間変化量判断部
１０３    時間変化量判断部
１０４    参照判断部
１０５    参照画像アクセス部
１０６    符号化部
２００    格納領域
２０１    符号化データ格納領域
２０２    符号化結果格納領域
２０３    変化量判断結果格納領域
【図１】
2012222482.tif 000003
【図２】
2012222482.tif 000004
【図３】
2012222482.tif 000005
【図４】
2012222482.tif 000006
【図５】
2012222482.tif 000007
【図６】
2012222482.tif 000008
【図７】
2012222482.tif 000009
【図８】
2012222482.tif 000010
【図９】
2012222482.tif 000011
【図１０】
2012222482.tif 000012
【図１１】
2012222482.tif 000013
【図１２】
2012222482.tif 000014
【図１３】
2012222482.tif 000015
【図１４】
2012222482.tif 000016
【図１５】
2012222482.tif 000017