(57)【要約】【課題】  グラデーション画像を多く含むと想定される撮影モードに対して、符号化画質を改善または維持する。【解決手段】  符号化部１０５は撮像部１０１の出力画像を符号化する。イントラスムージング処理決定部１０４は、撮影モード設定部１０２からの撮影モード情報が、グラデーション画像を多く含む可能性の高い撮影モードを示す場合に、画面内予測モードにおいて符号化ブロック境界の参照画素の線形補間を有効化する信号を供給する。符号化部１０５は、イントラスムージング処理決定部１０４の出力に従い、画面内予測モードでは、符号化ブロック境界の参照画素の線形補間を有効化する。【選択図】  図１
2018050151.tif 000002
【特許請求の範囲】
【請求項１】
設定された撮影モードに従い被写体を撮像する撮像手段を符号化する画像符号化装置であって、
前記撮像手段の出力画像を符号化ブロック単位で符号化する符号化手段であって、画面内予測モードにおいて符号化ブロック境界の参照画素を線形補間するモードを有する符号化手段と、
前記符号化手段が符号化対象ブロック画像に対して前記画面内予測モードでの参照画像の線形補間処理の適用を決定するイントラスムージング処理決定手段であって、前記撮像手段に設定される撮影モードがグラデーション画像を所定以上に含む可能性のある所定撮影モードである場合に、前記線形補間の有効化を前記符号化手段に指示するイントラスムージング処理決定手段
とを有することを特徴とする画像符号化装置。
【請求項２】
前記所定撮影モードが、夜景撮影モード、星空モード、星空インターバルモード及びタイムラプスモードのいずれかであることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
更に、前記撮像手段の設置状態を取得する撮影状態取得手段を有し、
前記イントラスムージング処理決定手段は、前記撮像手段に設定される撮影モードがグラデーション画像を所定以上に含む可能性のある所定撮影モードであり、前記撮影状態取得手段により取得される前記設置状態が固定設置状態を示す場合に、前記線形補間の有効化を前記符号化手段に指示する
ことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記撮影状態取得手段は、前記撮像手段に対する加速度センサ、ＧＰＳセンサ及び三脚着脱検知手段の一つ以上を有することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記撮影状態取得手段は、前記加速度センサの出力がいずれの空間軸方向についても加速度が発生していないことを示す場合に、前記固定設置状態を前記イントラスムージング処理決定手段に通知することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記撮影状態取得手段は、前記ＧＰＳセンサの出力が所定の時間間隔で複数回取得した位置情報に差分が無いことを示す場合に、前記固定設置状態を前記イントラスムージング処理決定手段に通知することを特徴とする請求項４に記載の画像符号化装置。
【請求項７】
前記撮影状態取得手段は、前記三脚着脱検知手段の出力が三脚または一脚の装着を示す場合に、前記固定設置状態を前記イントラスムージング処理決定手段に通知することを特徴とする請求項４に記載の画像符号化装置。
【請求項８】
設定された撮影モードに従い被写体を撮像する撮像手段の出力画像を符号化する画像符号化方法であって、
前記撮像手段に設定される撮影モードがグラデーション画像を所定以上に含む可能性のある所定撮影モードである場合に、画面内予測モードにおいて符号化ブロック境界の参照画素の線形補間を有効化するイントラスムージング処理決定ステップと、
前記撮像手段の前記出力画像を符号化ブロック単位で符号化する符号化ステップであって、前記線形補間の有効化に従い、前記画面内予測モードにおいて符号化ブロックの境界の参照画素を線形補間する符号化ステップ
とを有することを特徴とする画像符号化方法。
【請求項９】
設定された撮影モードに従い被写体を撮像する撮像手段を符号化するコンピュータプログラムであって、コンピュータを、
前記撮像手段の出力画像を符号化ブロック単位で符号化する符号化手段であって、画面内予測モードにおいて符号化ブロック境界の参照画素を線形補間するモードを有する符号化手段と、
前記符号化手段が符号化対象ブロック画像に対して前記画面内予測モードでの参照画像の線形補間処理の適用を決定するイントラスムージング処理決定手段であって、前記撮像手段に設定される撮影モードがグラデーション画像を所定以上に含む可能性のある所定撮影モードである場合に、前記線形補間の有効化を前記符号化手段に指示するイントラスムージング処理決定手段
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法及びコンピュータプログラムに関し、特に、画面内予測を用いる画像符号化装置、画像符号化方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、被写体を動画撮影することで得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。
【０００３】
動画圧縮方式としては、フレーム間動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式及びＨ．２６４方式が一般的に用いられている。近年では、より複雑な予測方式を用いて高効率に圧縮可能なＨＥＶＣ方式（ＩＳＯ／ＩＥＣ２３００８−２）が用いられるようになっている。
【０００４】
ＨＥＶＣ方式では、Ｈ．２６４方式に対して圧縮効率を向上させるためのさまざま改良が採用されている。その一つとして、画面内予測処理時に近接画素間の相関関係を利用して符号化効率を高めるため、符号化ブロックに隣接する参照画素にフィルタ処理を施す技術が知られている。特に、このフィルタ処理において、色の濃淡や明暗が段階的に少しずつ変化するグラデーション領域に対して、視覚的な品質を高めるための特別なフィルタ処理を条件により適用できるようになっている。
【０００５】
図８を参照して、グラデーション領域用フィルタ処理の必要性を簡単に説明する。図８（ａ）は、グラデーション領域内にブロック境界がある場合の画素値の変化例を示す。横軸は、画素を示し、縦軸は輝度値を示す。Ｈ．２６４方式では、ブロック単位で圧縮処理を行うので、符号化対象ブロック周辺に隣接する符号化済み画素ブロック間でブロック境界の画素が不連続になる。この結果、画面内予測を採用する符号化画像ブロックにおいて、ブロック境界の参照画素間で画素値が不連続な値となったまま予測画像を生成することになる。そうすると、図８（ｂ）に示すように、予測画像に擬似輪郭が発生してしまう。図８（ｂ）では、符号化対象ブロックの中心に右上から左下に接続する線状に擬似輪郭が発生する様子を示す。
【０００６】
このような問題に対し、特許文献１には、規格で定められている画素位置よりもさらに広範囲に参照画素を定義して予測値を生成する方法が記載されている。特許文献２には、符号化ブロック単位でグラデーション検出を行い、グラデーション画像と判定した画像ブロックにおいては、画面内予測の画素サイズを規格上最小のサイズに設定することが記載されている。
【０００７】
そこで、ＨＥＶＣ方式では、隣接するブロック境界の参照画素両端の画素値と平均値との差の絶対値が、輝度のビット深度に応じて決定される閾値未満である場合、参照画素の中を線形補間するイントラスムージング処理が定義されている。ただし、この処理を適用するためには、ブロック境界間の画素値の差に加え、以下の３条件をすべて満たす必要がある。第１に、周波数変換を行う画素ブロックサイズ（Ｔｒａｓｎｆｏｒｍ  Ｕｎｉｔサイズ：ＴＵサイズ）が３２×３２画素であること。第２に、方向性予測のモード値（ｐｒｅｄＭｏｄeＩｎｔｒａ）が、１（ＤＣ予測）、１０（水平方向予測）及び２６（垂直方向予測）のいずれでもないこと。第３に、シーケンスパラメータセット（以下、「ＳＰＳ」と呼ぶ）の変数ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であること。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２４５０８８公報
【特許文献２】特開２０１１−２３９３６５公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
引用文献１に記載の技術は、Ｈ．２６４方式に限定されるものであり、ＨＥＶＣ方式を採用する動画符号化装置には適用できない。
【００１０】
引用文献２に記載の技術は、ＨＥＶＣ方式のイントラスムージング処理に依らない方法である。しかし、マクロブロック単位での処理になるので、符号化ピクチャ全体および動画シーケンス全体で符号化効率を必ずしも高めることができない。
【００１１】
ＨＥＶＣ方式のイントラスムージング処理を採用する方式において、ＳＰＳ中の変数ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇを常に１にすると、符号化シーケンスすべてに対して線形補間フィルタ処理が適用される。この方法では、入力画像の絵柄によっては画像の解像感が損なわれてしまい、必ずしも視覚特性を向上できない場合がある。
【００１２】
本発明は、入力画像に応じて適応的にイントラスムージング処理の適用を決定できる、ＨＥＶＣ方式を適用可能な画像符号化装置、画像符号化方法及びコンピュータプログラムを提示することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明に係る画像符号化装置は、設定された撮影モードに従い被写体を撮像する撮像手段を符号化する画像符号化装置であって、前記撮像手段の出力画像を符号化ブロック単位で符号化する符号化手段であって、画面内予測モードにおいて符号化ブロック境界の参照画素を線形補間するモードを有する符号化手段と、前記符号化手段が符号化対象ブロック画像に対して前記画面内予測モードでの参照画像の線形補間処理の適用を決定するイントラスムージング処理決定手段であって、前記撮像手段に設定される撮影モードがグラデーション画像を所定以上に含む可能性のある所定撮影モードである場合に、前記線形補間の有効化を前記符号化手段に指示するイントラスムージング処理決定手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、グラデーション画像を多く含む可能性のある撮影モードか否かにより、画面内予測モードでの参照画像の線形補間処理を制御するので、簡単な処理により符号化画質を維持または改善できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例１の概略構成ブロック図である。
【図２】実施例１の符号化部の概略構成ブロック図である。
【図３】実施例１の動作フローチャートである。
【図４Ａ】実施例１の符号化データ構造例である。
【図４Ｂ】実施例１のパラメータセットのリンク例である。
【図５】実施例２の概略構成ブロック図である。
【図６】実施例２の構成と使用例である。
【図７】実施例２の動作フローチャートである。
【図８】従来技術で発生する擬似輪郭の説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１７】
図１は、本発明に係る画像符号化装置の一実施例を導入した撮像装置の概略構成ブロック図を示す。図１に示す撮像装置は、撮像部１０１、撮影モード設定部１０２、操作部１０３、イントラスムージング処理決定部１０４および符号化部１０５から構成されている。
【００１８】
撮像部１０１は、ＣＣＤセンサ等の撮像素子、撮像素子に被写体光学像を入射する光学系、及び、撮像素子の出力画像信号をデジタル化し、所定の映像フォーマットの動画像データとして出力する画像処理部からなる。
【００１９】
撮影モード設定部１０２は、操作部１０３によるユーザ操作と撮影シーンに合わせて、予め定めたホワイトバランス、色調及びシャッタスピード等の各種カメラパラメータの組み合わせを撮影モードとして撮像部１０１に設定する機能を有する。操作部１０３は、ジョグダイヤル、選択キー、決定キー及びモード設定キー等の種々のキー、及びタッチパネルからなる。
【００２０】
本実施例は、撮影モードの一つとして、撮像装置を固定設置し、被写体を所定の一定間隔で定点撮影するのに適したモード、例えば、星空インターバル動画モードを有する。以後、星空インターバル動画モードとして説明をするが、夜景撮影モード、星空モード、微速度撮影、タイムラプスモード及び低速度撮影などの、撮像装置本体を固定して撮影する所定撮影モードに、本発明は適用可能である。
【００２１】
撮影モード設定部１０２は、操作部１０３からの記録開始の指示に応じて、撮像部１０１に設定する撮影モードをイントラスムージング処理決定部１０４に通知する。
【００２２】
イントラスムージング処理決定部１０４は、撮影モード設定部１０２から通知される撮影モード情報から、符号化すべき画像中にグラデーション画像を所定以上に含む可能性のある上述の所定撮影モードか否かを判断する。所定撮影モードの場合に、イントラスムージング処理決定部１０４は、画面内予測モードでイントラスムージング処理を有効にすることを指示する指示信号（スムージング有効化指示信号）を符号化部１０５に出力する。例えば、星空インターバル記録モードでは、星空が撮影されることから、符号化部１０５の入力画像には、イントラスムージング処理に適したグラデーション画像が多く含まれる。
【００２３】
符号化部１０５は、撮像部１０１から出力される動画像データを、イントラスムージング処理決定部１０４からの通知信号を参照しつつ、ＨＥＶＣ方式で圧縮符号化し、得られた符号データを所定のビットストリーム形式で出力する。
【００２４】
図２は、符号化部１０５の概略構成ブロック図を示す。符号化部１０５は、撮像部１０１からの動画像データをフレーム単位でフレームメモリ２０１に格納する。フレームメモリ２０１は、他に、動き予測処理で用いる参照画像データを格納する。
【００２５】
イントラ予測部２０２は、フレームメモリ２０１に格納されたフレーム画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の参照画素データから生成される複数のイントラ予測画像との相関を計算する。イントラ予測部２０２には、イントラスムージング処理決定部１０４の出力信号も入力する。イントラスムージング処理決定部１０４からスムージング有効化指示信号が入力する場合、イントラ予測部２０２は、イントラ予測のための予測画像の生成において符号化ブロック境界の参照画素に対する線形補間処理を有効にする。イントラ予測部２０２は、最も相関の高いイントラ予測方式を選択し、イントラ・インター判定部２０４に通知する。
【００２６】
インター予測部２０３は、フレームメモリ２０１に格納される符号化対象ブロックの原画像データと符号化済みの画像データとの間で、符号化ブロック単位で画素データ同士のパターンマッチングを行い、動きベクトルを算出する。インター予測部２０３は、算出した動きベクトルをイントラ・インター判定部２０４に供給する。
【００２７】
イントラ・インター判定部２０４は、イントラ予測部２０２とインター予測部２０３の出力結果に基づいて適用すべき予測モードを決定し、予測画像生成部２０５に出力する。例えば、イントラ・インター判定部２０４は、イントラ予測部２０２の出力に従い、符号化対象画像ブロックについて予測画像を生成し、この予測画像と符号化対象ブロック画像との予測誤差を算出する。イントラ・インター判定部２０４はまた、インター予測部２０３で求めた動きベクトルに従い、参照画像から予測画像を生成し、この予測画像と符号化対象ブロック画像との予測誤差を算出する。そして、イントラ・インター判定部２０４は両予測誤差を比較し、小さい方の予測方式を、符号化に適用すべき予測モードとする。イントラ予測部２０２及び／またはインター予測部２０３が予測誤差の算出までを実行している場合、イントラ・インター判定部２０４は、不足する予測誤差を算出した上で、比較し、適用すべき予測モードを決定すればよい。
【００２８】
予測画像生成部２０５は、イントラ・インター判定部２０４で決定された予測モードに応じて予測画像を生成する。予測画像生成部２０５には、イントラスムージング処理決定部１０４の出力信号も入力する。イントラスムージング処理決定部１０４がスムージング有効化指示信号を出力する場合、先に説明したように、符号化対象画像はグラデーション画像ということになる。予測画像生成部２０５は、グラデーション画像の場合、イントラ予測モード、ＴＵサイズが３２×３２画素、そして、方向性予測のモード値が１、１０及び２６のいずれでもないという３条件を、適用すべき符号化条件が満たすかどうかを判定する。これらの３条件を満たすとき、予測画像生成部２０５は、線形補間処理を施した参照画素から予測画像を生成する。
【００２９】
減算器２１４は、フレームメモリ２０１からの符号化すべき画像データから、予測画像生成部２０５からの予測画像を減算する。減算器２１４での減算により生成される差分画像データは、整数変換部２０６に入力する。整数変換部２０６は、減算器２１４からの差分画像データを符号化ブロック単位で空間周波数領域に変換する。整数変換部２０６の整数変換は、周波数変換の一例である。
【００３０】
量子化部２０７は、目標符号量に基づいて量子化係数を算出し、整数変換部２０６から出力される空間周波数領域の係数データを量子化する。量子化された係数データは、エントロピー符号化部２０８と逆量子化部２１０に入力する。
【００３１】
エントロピー符号化部２０８は、量子化部２０７からの量子化された係数データをエントロピー符号化する。例えば、エントロピー符号化部２０８は、インター予測の場合、動き予測で用いたベクトル値を、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用して情報圧縮する。エントロピー符号化部２０８は、圧縮後の符号化データをビットストリーム生成部２１３に供給する。
【００３２】
ビットストリーム生成部２１３は、エントロピー符号化部２０８からの符号化データに復号に必要なパラメータを含むヘッダ情報を付加し、所定のストリーミング形式で出力する。復号処理に必要なパラメータは、例えば、ＳＰＳ及びピクチャパラメタセット（以下、「ＰＰＳ」という。）を含む。ビットストリーム生成部２１３はまた、符号化画像においてイントラスムージング処理を適用したピクチャに対しＳＰＳ中のｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールド値を１としたヘッダを参照するように関連付ける。イントラスムージング処理を適用した符号化ピクチャに対するＳＰＳおよびＰＰＳヘッダとの関連付け方法の詳細と、ビットストリームのデータ構造との関係は。後述する。ビットストリーム生成部２１３の出力は、例えば、メモリカードまたはハードディスクなどの図示しない記録媒体に記録される。
【００３３】
符号量制御部２０９は、エントロピー符号化部２０８が出力する符号化データの符号量を取得し、ビットレート及びバッファモデルに基づいて１ピクチャ当たりの目標符号量を算出し、量子化部２０７の量子化係数をフィードバック制御する。
【００３４】
ローカルでの復号処理に関係する部分を説明する。逆量子化部２１０は、量子化部２０７からの量子化した係数データに量子化係数を乗算することで逆量子化する。これにより、係数データが再構成される。逆整数変換部２１１は、逆量子化部２１０から出力される係数データを画素データに逆整数変換する。加算器２１５は、逆整数変換部２１１の出力に予測画像生成部２０５からの予測画像データを加算する。これにより、画像データが復元される。加算器２１５の出力画像データは参照画像データとして予測画像生成部２０５とループフィルタ２１２に供給される。
【００３５】
ループフィルタ２１２は、加算器２１５の出力画像データに、ブロック境界で発生する符号化歪みを軽減するフィルタ処理を施し、フレームメモリ２０１に格納する。
【００３６】
撮影モード設定部１０２、イントラスムージング処理決定部１０４及び符号化部１０５の一部または全部の機能は、コンピュータ上で動作するコンピュータプログラムによっても実現されうる。
【００３７】
図３は、本実施例の符号化処理のフローチャートを示す。図３に示す処理は、撮影モード設定部１０２、イントラスムージング処理決定部１０４および符号化部１０５により実行される。図３に示す処理は、コンピュータ上で実行可能なコンピュータプログラムによっても実現可能である。撮影モード設定部１０２（または、全体を制御する図示しないＣＰＵ）が、撮像部１０１から符号化部１０５に新たにフレーム画像データが入力するタイミング、または、予め設定された動作状態チェックのタイミングで、図３に示す処理を実行する。
【００３８】
Ｓ３０１で、撮影モード設定部１０２は、操作部１０３に対するユーザ操作等をトリガーとして記録開始状態かどうかを判断する。記録開始状態でない場合（Ｓ３０１でＦＡＬＳＥ），図３に示すフローを終了する。記録開始状態である場合（Ｓ３０１でＴＲＵＥ）、Ｓ３０２に移行する。
【００３９】
Ｓ３０２で、イントラスムージング処理決定部１０４は、撮影モード設定部１０２から、撮像部１０１に現在設定されている撮影モードを示す撮影モード情報を取得する。Ｓ３０３で、イントラスムージング処理決定部１０４は、撮影モード設定部１０２からの撮影モード情報により、撮像部１０１の撮影モードが星空インターバルモードかどうかを判断する。設定されている撮影モードが星空インターバルモードである場合（Ｓ３０３でＴＲＵＥ）、イントラスムージング処理決定部１０４は、イントラスムージング処理有効化信号（オンまたは高）を符号化部１０５に出力し、Ｓ３０４に移行する。星空インターバルモードでない場合（Ｓ３０３でＦＡＬＳＥ）、イントラスムージング処理決定部１０４は、符号化部１０５へのイントラスムージング処理有効化信号をオフまたは低にして、Ｓ３０６に移行する。
【００４０】
Ｓ３０４で、符号化部１０５は、イントラスムージング処理決定部１０４の出力（イントラスムージング処理有効化信号＝高）に従い、イントラスムージング処理を有効化して入力フレーム画像データを符号化する。Ｓ３０５で、ビットストリーム生成部２１３は、符号化したピクチャデータについて、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇを１に設定したＳＰＳとスライスヘッダを関連付けたビットストリームを生成する。
【００４１】
Ｓ３０６で、符号化部１０５は、イントラスムージング処理決定部１０４の出力（イントラスムージング処理有効化信号＝低）に従い、フレーム画像データを、イントラスムージング処理を無効にして圧縮符号化する。Ｓ３０７で、ビットストリーム生成部２１３は、符号化したピクチャデータについて、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇを０に設定したＳＰＳとスライスヘッダを関連付けてビットストリーム生成する。
【００４２】
ビットストリーム生成部２１３から出力されるビットストリームデータの構造を説明する。図４Ａは、ステップＳ３０５およびＳ３０７において、イントラスムージング処理を有効にした場合のビットストリーム構造例を示し、図４Ｂは、パラメータセットの参照関係を示す。
【００４３】
図４Ａに示すように、ＨＥＶＣ方式の符号化ビットストリ-ムでは、Ｈ．２６４方式と同じく複数のアクセスユニット（以下、「ＡＵ」という。）が復号順に連続したデータ構造が採用されている。各ＡＵは、画面単位に復号化可能な符号化データから成る。ＡＵは、開始位置を示すアクセスユニットデリミタ（ＡＵＤ）、復号時に必要な各種パラメータを持つビデオパラメタセット（ＶＰＳ）、及び、ＳＰＳまたはＰＰＳと呼ばれる複数のＮＡＬユニットから構成される。実際のマクロブロック単位で符号化されたデータは、スライスデータとしてヘッダパラメタに続いて１ピクチャずつ格納される。
【００４４】
ＳＰＳと呼ばれるヘッダ情報及びＰＰＳと呼ばれるヘッダ情報はいずれも、規格上、ストリーム途中で変更可能である。例えば、絵柄に応じて量子化マトリクス及びデブロッキングフィルタ強度等のパラメータをＡＵ単位にリロードできる。この機能を実現するには、ストリーム出力のタイミングで、符号化スライスデータと、この符号化スライスデータを復号する際に必要なヘッダ情報とを、それぞれのヘッダ情報に含まれる識別子（ＩＤ）によって関連付ける。
【００４５】
図４Ｂは、ＶＰＳ、ＳＰＳ、ＰＰＳ及びスライスデータ間の参照関係を示す。ＶＰＳは、当該ＶＰＳを識別するためのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ。ＳＰＳは、当該ＳＰＳが参照するＶＰＳのＩＤを付したｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄと、当該ＳＰＳを識別するためのｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ。同様に、ＰＰＳは、当該ＰＰＳが参照するＳＰＳのＩＤを付したｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄと、当該ＰＰＳを識別するｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ。スライスヘッダは、当該スライスが参照するＰＰＳのＩＤと、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを収容する。これら識別情報のリンクに基づいて、図４Ｂに矢印で示す参照関係のように、スライスデータからＰＰＳ、ＰＰＳからＳＰＳ、そしてＳＰＳからＶＰＳへと同じＩＤとなるヘッダ情報の関連づけを行う。これにより、ＡＵ単位で異なるヘッダを参照できるようになる。
【００４６】
図４Ｂに示す例では、スライス０およびスライス１に該当する入力画像の撮影モードが星空インターバルモード以外であり、スライス２に該当する部分が星空インターバルモードの画像である。この結果、これらスライス０，１に対して、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が０のＳＰＳ０を参照する構成になっている。スライス２に対しては、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１のＳＰＳ２を参照するようになっている。これにより、スライス２の復号時には、スムージング処理を用いた予測画像を生成してブロック境界の歪みの無い再生画像を得ることができる。
【００４７】
ステップＳ３０５，Ｓ３０７で行うイントラスムージング処理の有効または無効の設定は、符号化済みのスライスデータが生成された後に、それぞれ対応するフラグ値を有するＳＰＳを予め用意してから関連づけるようにしても良い。
【００４８】
このように、実施例１では、スライス単位でイントラスムージング処理の有効・無効を切り替えることができる。イントラスムージング処理の有効・無効を記録開始時点の撮影モードで一意に決定するので、迅速且つ容易にイントラスムージング処理の有効・無効を決定できる。
【実施例２】
【００４９】
固定設置した定点撮影の状況にあるかを検出する撮影状態取得手段を設け、固定設置されている場合にはイントラスムージング処理の有効化するようにした実施例２を説明する。
【００５０】
図５は、実施例２を採用する撮像装置の概略構成ブロック図を示す。実施例１と同じ構成要素には同じ符号を付してある。実施例１に対して、加速度センサ５１１、ＧＰＳセンサ５１２、三脚接点検知部５１３及び撮影状態取得部５１４が追加され、これら要素により、撮像装置本体が固定設置されているかどうかを判定する。イントラスムージング処理決定部５０４は、撮影モード設定部１０２からの撮影モード情報に加えて、撮影状態取得部５１４の出力にも従い、符号化部１０５のイントラスムージング処理の有効・無効を制御する。
【００５１】
加速度センサ５１１は、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を用いた作成された小型の加速度計であり、地球の重力加速度を計測して撮像装置の傾きを検出する機能を有する。加速度センサ５１１は、取得した加速度情報を撮影状態取得部５１４に出力する。
【００５２】
ＧＰＳセンサ５１２は、ＧＰＳ（Global Positioning System）衛星からの電波を受信して、当該撮影装置が地球上のどこにいるかを正確に割り出す機能を有する。ＧＰＳセンサ５１２は、取得した３次元位置座標情報（緯度、経度、高度）を撮影状態取得部５１４に出力する。
【００５３】
三脚接点検知部５１３は三脚着脱検知手段として、撮像装置の底面に設けられる三脚取り付け用ネジ穴（図６（ａ）参照）への三脚または一脚の取り付け（図６（ｂ），（ｃ）参照）を検知する圧電スイッチからなる。三脚接点検知部５１３は、三脚取り付けを検知すると、検知信号を撮影状態取得部５１４に出力する。図７（ａ）は、図５に示す撮像装置の底面図を示す。図７（ｂ）は、三脚を取り付けた状態の正面図を示し、図７（ｃ）は一脚を取り付けた状態の正面図を示す。
【００５４】
撮影状態取得部５１４は、加速度センサ５１１、ＧＰＳセンサ５１２および三脚接点検知部５１３の出力に従い、当該撮影装置が固定設置状態にあるかどうかを判断し、その判断結果をイントラスムージング処理決定部５０４に供給する。例えば、加速度センサ５１１の出力値として、いずれの空間軸方向についても加速度が発生していない場合に、撮影状態取得部５１４は、固定設置状態であると判断する。ＧＰＳセンサ５１２の出力値が所定の時間間隔で複数回取得した位置情報に差分が無い場合、撮影状態取得部５１４は、固定設置状態であると判断する。また、三脚接点検知部５１３の出力値が、三脚（または一脚）の装着を示す場合に、撮影状態取得部５１４は、固定設置状態と判断する。
【００５５】
なお、固定設置状態か否かを判断するのに、加速度センサ５１１、ＧＰＳセンサ５１２および三脚接点検知部５１３は固定設置状態の判定に必要な手段の例示であり、必要な範囲でこれらのうちの何れか１以上を有すれば良い。また、メニュー操作によりユーザが固定設置状態を、撮影モード設定部１０２を介してイントラスムージング処理決定部５０４に通知するようにしてもよい。
【００５６】
図７は、図５に示す実施例２の動作フローチャートを示す。図７を参照して、実施例２における、設置状態判定を用いたイントラスムージング処理判定処理を説明する。
【００５７】
ステップＳ７０１，Ｓ７０２，Ｓ７０３の処理はそれぞれ、ステップＳ３０１，Ｓ３０２，Ｓ３０３の処理と同様であるので、説明を省略する。星空インターバルモードである場合（Ｓ７０３でＴＲＵＥ）、Ｓ７０４に移行する。星空インターバルモードでない場合（Ｓ７０３でＦＡＬＳＥ）、イントラスムージング処理決定部５０４は、符号化部１０５へのイントラスムージング処理有効化信号をオフまたは低にして、Ｓ７０８に移行する。
【００５８】
Ｓ７０４で、イントラスムージング処理決定部５０４は、撮影状態取得部５１４から撮像装置の設置状況と設置姿勢情報を取得する。Ｓ７０５で、イントラスムージング処理決定部５０４は、固定撮影状態、則ちイントラスムージング処理に適したグラデーション画像を含む画像データを長時間記録するシチュエーションに適した固定設置状態にあるかどうかを判定する。固定設置状態にある場合（Ｓ７０５でＴＲＵＥ）、イントラスムージング処理決定部１０４は、イントラスムージング処理有効化信号（オンまたは高）を符号化部１０５に出力し、Ｓ７０６に移行する。固定設置状態にない場合（Ｓ７０５でＦＡＬＳＥ）、イントラスムージング処理決定部５０４は、符号化部１０５へのイントラスムージング処理有効化信号をオフまたは低にして、Ｓ７０８に移行する。
【００５９】
ステップＳ７０６，Ｓ７０７，Ｓ７０８，Ｓ７０９の処理はそれぞれ、Ｓ３０４，Ｓ３０５，Ｓ３０６，Ｓ３０７の処理と同じであるので、詳細な説明を省略する。
【００６０】
撮像装置が固定設定状態にない場合、符号化部には、グラデーション画像が連続的に入力する可能性は低いと考えられる。そこで、本実施例では、撮影モードにかかわりなく、固定設定状態のときには一律にイントラスムージング処理を無効にすることで、グラデーション画像判定の処理負担を軽減している。
【００６１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018050151.tif 000003
【図２】
2018050151.tif 000004
【図３】
2018050151.tif 000005
【図４Ａ】
2018050151.tif 000006
【図４Ｂ】
2018050151.tif 000007
【図５】
2018050151.tif 000008
【図６】
2018050151.tif 000009
【図７】
2018050151.tif 000010
【図８】
2018050151.tif 000011