(57)【要約】【課題】２つの画像を符号化する際に、そのうちの１つの画像については目標画質に基づく量子化制御を行いつつ、全体の発生符号量の増大を抑制する技術を提供する。【解決手段】第１の画像及び第２の画像に対して量子化を伴う符号化処理を行う符号化手段であって、前記第１の画像及び前記第２の画像のうちの一方は前記第１の画像及び前記第２の画像のうちの他方に基づいて生成された画像である、符号化手段と、目標画質に基づいて前記第１の画像の前記量子化を制御し、目標符号量に基づいて前記第２の画像の前記量子化を制御する制御手段と、を備えることを特徴とする画像符号化装置を提供する。【選択図】図３
2019097030.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像に対して量子化を伴う符号化処理を行う符号化手段であって、前記第１の画像及び前記第２の画像のうちの一方は前記第１の画像及び前記第２の画像のうちの他方に基づいて生成された画像である、符号化手段と、
目標画質に基づいて前記第１の画像の前記量子化を制御し、目標符号量に基づいて前記第２の画像の前記量子化を制御する制御手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記符号化処理により発生した前記第１の画像の符号量に基づいて前記目標符号量を決定する決定手段を更に備える
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記決定手段は、所定の符号量から前記第１の画像の前記符号量を減じることにより得られる値を前記目標符号量として用いる
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記制御手段は、前記第１の画像の画面全体で一定の量子化値が用いられるように前記第１の画像の前記量子化を制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
【請求項５】
前記制御手段は、前記符号化処理により発生する前記第２の画像の符号量が前記目標符号量を超えないように前記第２の画像の前記量子化を制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記符号化処理が行われた前記第１の画像及び前記第２の画像を相互に関連付けて記録する記録手段を更に備える
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
【請求項７】
前記記録手段は、前記符号化処理が行われた前記第１の画像及び前記第２の画像を１つのファイルとして記録する
ことを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
前記第２の画像は、前記第１の画像に基づいて生成された画像である
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像符号化装置。
【請求項９】
前記第２の画像は、前記第１の画像のサイズを縮小することにより生成された画像である
ことを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記符号化処理は、ＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)を伴う
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像符号化装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の画像符号化装置と、
前記第１の画像及び前記第２の画像のうちの前記他方を生成する撮像手段と、
前記第１の画像及び前記第２の画像のうちの前記他方に基づいて前記第１の画像及び前記第２の画像のうちの前記一方を生成する生成手段と、
を備えることを特徴とする撮像装置。
【請求項１２】
画像符号化装置が実行する画像符号化方法であって、
第１の画像及び第２の画像に対して量子化を伴う符号化処理を行う符号化工程であって、前記第１の画像及び前記第２の画像のうちの一方は前記第１の画像及び前記第２の画像のうちの他方に基づいて生成された画像である、符号化工程と、
目標画質に基づいて前記第１の画像の前記量子化を制御し、目標符号量に基づいて前記第２の画像の前記量子化を制御する制御工程と、
を備えることを特徴とする画像符号化方法。
【請求項１３】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、撮像装置、画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
動画像の国際標準符号化規格である、ＨＥＶＣ(High Efficiency Video Coding)符号化方式が普及し始めている。このＨＥＶＣ符号化方式において、新たに静止画プロファイルというものが導入された（非特許文献１参照）。これは、動画像符号化方式のＨＥＶＣにより静止画を符号化するためのプロファイルである。これにより、今後ＨＥＶＣを用いた静止画ファイルが普及するものと期待されている。
【０００３】
ＨＥＶＣでは、エントロピー符号化にＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)が用いられている。ＣＡＢＡＣには、圧縮率が高いという利点があるが、並列処理が困難であるという特徴がある。符号化処理を１ビットずつ逐次処理で行うため、符号量に比例して処理時間がかかることになる。なお、ＣＡＢＡＣは、ＨＥＶＣだけでなくＨ．２６４でも採用されている。
【０００４】
ＨＥＶＣの静止画ファイルのコンテナ形式の１つとして、ＭＰＦ(Multi Picture Format)の利用が想定されている。これは、複数の静止画を１つのファイルに収めることを想定した形式である。例えば、１つのファイルに対して、通常の撮影画像である静止画（メイン画像）に加えて、２ｋサイズ又は４ｋサイズなどに解像度変換を行った静止画（サブ画像）を同時に含めることができる。
【０００５】
従来の静止画用の符号化規格であるＪＰＥＧ(Joint Photographic Experts Group)では、画面内では量子化値が一定であり、一般的にノーマルやファインといった画質モードごとに量子化テーブルが用意されていた。例えば画像の符号化難易度（複雑性）に応じて量子化テーブルを変更するというようなことはされていない。これは、画質モードごとに画質レベルを一定にしたいためである。
【０００６】
ＨＥＶＣでこれと同様の処理を行う場合、画質モードごとに画面内の量子化値を一定にすることになる。本来、ＨＥＶＣではＣＵ(Coding Unit)ごとに量子化値を変化させることができるのだが、画質モードごとに予め決められた一定の量子化値を用いることにより、画質レベルを一定に保つことが可能となる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｈ．２６５／ＨＥＶＣ教科書、大久保  榮［監修］、鈴木輝彦、高村誠之、中条健［共編］、２０１３年１０月２１日発行
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、メイン画像及びサブ画像の両方について画質優先の量子化制御（例えば、画質モードに応じた、画面内で一定の量子化値を用いる制御）を行った場合、画像の符号化難易度（複雑性）によっては大幅に符号量が増大してしまう可能性がある。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、２つの画像を符号化する際に、そのうちの１つの画像については目標画質に基づく量子化制御を行いつつ、全体の発生符号量の増大を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、第１の画像及び第２の画像に対して量子化を伴う符号化処理を行う符号化手段であって、前記第１の画像及び前記第２の画像のうちの一方は前記第１の画像及び前記第２の画像のうちの他方に基づいて生成された画像である、符号化手段と、目標画質に基づいて前記第１の画像の前記量子化を制御し、目標符号量に基づいて前記第２の画像の前記量子化を制御する制御手段と、を備えることを特徴とする画像符号化装置を提供する。
【００１１】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１２】
本発明によれば、２つの画像を符号化する際に、そのうちの１つの画像については目標画質に基づく量子化制御を行いつつ、全体の発生符号量の増大を抑制することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置１００の構成を示すブロック図。
【図２】通常の量子化制御の場合の発生符号量と、第１の実施形態における発生符号量とを比較する概念図。
【図３】撮像装置１００が実行する符号化処理のフローチャート。
【図４】第２の実施形態における発生符号量の概念図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１５】
［第１の実施形態］
図１は、第１の実施形態に係る画像符号化装置を含む撮像装置１００の構成を示すブロック図である。以下では、ＨＥＶＣ符号化方式により符号化を行う例について説明するが、本実施形態の符号化方式はＨＥＶＣ符号化方式に限定されない。
【００１６】
本実施形態においては、撮像装置１００は、メイン画像とサブ画像の２つの画像（静止画）に対して符号化処理を行い、符号化された２つの画像を相互に関連付けて１つのファイルに記録する場合の処理について説明する。以下、複数の画像を１つのファイルに記録する記録方式をＭＰＦ(Multi Picture Format)と呼ぶ。
【００１７】
最初に、静止画１枚の符号化処理について説明する。なお、図１において、動画像に関するＨＥＶＣの機能ブロックについては図示を省略している。被写体からの光束が、レンズ１０１を通して撮像部１０２に入力される。撮像部１０２は、入力された光束をデジタル画素データに変換し、現像処理部１０３へ出力する。
【００１８】
現像処理部１０３は、ディベイヤー処理、キズ補正、ノイズ除去、ＹＣｂＣｒ形式への色変換などの各種画像処理を行う。画像処理後の、圧縮符号化を行うことができる形式になった画像が、これから符号化を行う対象である符号化対象画像として符号化フレームバッファ１０４に入力される。
【００１９】
イントラ予測部１０６は、符号化対象画像のブロックごとにイントラ予測（画面内予測）を行う。イントラ予測においては、イントラ予測部１０６は、符号化フレームバッファ１０４に格納されている符号化対象画像とイントラ予測部１０６の内部に保存されている過去に符号化済みの画面内の周辺画像とに基づいてイントラ予測を行い、予測モードを決定する。イントラ予測部１０６は、符号化対象画像と、決定された予測モードに従うイントラ予測画像との間で画素の差分を求め、差分画像を生成する。生成された差分画像は直交変換部１０７に出力される。
【００２０】
直交変換部１０７は、差分画像に対して離散コサイン変換を行うことにより変換係数を生成し、量子化部１０８に出力する。
【００２１】
量子化部１０８は、直交変換部１０７から送られてきた変換係数に対して、量子化制御部１０９が出力する量子化ステップ（量子化値）に従って量子化を行う。量子化された変換係数は、符号化ストリーム作成のために可変長符号化部１１０へ出力される。また、量子化された変換係数は、適応オフセット処理のパラメータ算出の際に必要となるローカルデコード画像を作成するために、逆量子化部１１２へ出力される。
【００２２】
可変長符号化部１１０は、量子化された変換係数に対してジグザグスキャン又はオルタネートスキャン等を行い、可変長符号化を行う。また、可変長符号化部１１０は、イントラ予測モード、量子化値、ブロック分割情報、適応オフセット処理用パラメータなどの符号化方式情報に対して可変長符号化を行う。可変長符号化部１１０は、符号化された変換係数に対して符号化された符号化方式情報を付加することにより、符号化ストリームを生成する。生成された符号化ストリームは、ストリームバッファ１１１に保存される。また、可変長符号化部１１０は、符号化の際にブロックごとの発生符号量を算出し、量子化制御部１０９に出力する。
【００２３】
符号化方式設定部１１３は、量子化制御部１０９での量子化制御方式を決定する。量子化制御部１０９は、可変長符号化部１１０から送られてくる発生符号量、及び符号化方式設定部１１３で決定された量子化制御方式に従い、量子化値を決定する。量子化制御部１０９での量子化制御方法の詳細については後述する。
【００２４】
逆量子化部１１２は、量子化部１０８から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部１１４に出力される。
【００２５】
逆直交変換部１１４は、送られてきた変換係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。生成された差分画像は動き補償部１１５に出力される。
【００２６】
動き補償部１１５は、イントラ予測部１０６から送られてきた予測画像と、逆直交変換部１１４から送られてきた差分画像とを加算することにより、ローカルデコード用の画像データを生成する。生成された画像データは、デブロッキングフィルタ部１１６に出力される。
【００２７】
デブロッキングフィルタ部１１６は、送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像は、適応オフセット処理部１１７に出力される。
【００２８】
適応オフセット処理部１１７は、バンドオフセット処理、エッジオフセット処理、又は何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置、エッジ方向、オフセット値などを決定する。適応オフセット処理部１１７は、適応オフセット処理用のパラメータ（適応オフセット処理としてどの処理を選択したかの情報、バンド位置、エッジ方向、オフセット値など）を符号化ストリームに含めるために、可変長符号化部１１０に出力する。
【００２９】
以上の処理により、１枚の静止画の符号化ストリームが作成される。
【００３０】
次に、１枚の静止画を撮影し、縮小処理を行わないメイン画像、及び縮小処理を行ったサブ画像の２枚の静止画を相互に関連付けて記録する場合の動作について説明する。ここでは、上で説明した現像処理部１０３により符号化フレームバッファ１０４に入力される符号化対象画像がメイン画像として用いられるものとする。
【００３１】
現像処理部１０３は、メイン画像を、符号化フレームバッファ１０４に加えて縮小処理部１０５へも出力する。縮小処理部１０５は、メイン画像に対して縮小処理を行い、サブ画像を生成する。生成されたサブ画像は、符号化フレームバッファ１０４に格納される。
【００３２】
符号化フレームバッファ１０４に格納されたメイン画像に対して、前述のように符号化処理が行われ、メイン画像の符号化ストリームがストリームバッファ１１１に保存される。メイン画像の符号化処理が行われた後に、サブ画像の符号化処理が行われ、サブ画像の符号化ストリームがストリームバッファ１１１に保存される。
【００３３】
メイン画像とサブ画像の両方の符号化ストリームが生成された後、それら２つの符号化ストリームは多重化部１１８に入力される。多重化部１１８は、ＭＰＦに従って２つの符号化ストリームの多重化処理を行い、ＭＰＦストリームを生成する。多重化部１１８は、ＭＰＦストリームを１つのファイルとして記録メディア１１９に記録する。
【００３４】
次に、撮像装置１００が実行する量子化制御の詳細について説明する。一般的に、静止画においては画面内で量子化値を一定にして符号化を行う。また、量子化値としては、画質モードなどに応じて予め決められた値が用いられる。このように決められた量子化値を用いて符号化を行うことで、画質レベルを保つことができるが、発生符号量は入力画像（符号化対象画像）に依存する。
【００３５】
符号化方式設定部１１３は、目標画質及び目標符号量を保持している。また、符号化方式設定部１１３は、現在の符号化対象画像がメイン画像であるかサブ画像であるかを示す情報を保持している。なお、ユーザが目標画質及び目標符号量を設定可能なように撮像装置１００を構成してもよい。
【００３６】
現在の符号化対象画像がメイン画像である場合、符号化方式設定部１１３は、量子化制御部１０９に対して目標画質を通知し、画質優先の量子化制御を行うように指示する。量子化制御部１０９は、その指示に従って量子化制御を行う。例えば、画質優先の量子化制御として、量子化制御部１０９は、従来の静止画の量子化制御と同様に、目標画質に基づいて画面内（画面全体）で一定の量子化値を決定する。このように量子化制御を行うことで、メイン画像の画質レベルを保つことができる。
【００３７】
現在の符号化対象画像がサブ画像である場合、符号化方式設定部１１３は、量子化制御部１０９に対して目標符号量を通知し、符号量優先の量子化制御を行うように指示する。量子化制御部１０９は、その指示に従って量子化制御を行う。例えば、符号化方式設定部１１３は、発生符号量が目標符号量に収まるように量子化制御を行う。この場合、可変長符号化部１１０は、ＣＵごとに発生符号量を算出して量子化制御部１０９に入力する。量子化制御部１０９は、ＣＵごとに発生符号量と目標符号量との乖離を見て、次のＣＵに使用する量子化値を決定する。このようにして、画面全体の発生符号量が目標符号量に収まるように量子化制御を行うことができる。
【００３８】
サブ画像の発生符号量は予め決められた（又はユーザにより設定された）目標符号量に抑えられるため、サブ画像が複雑な場合であっても発生符号量の増大が抑制される。そのため、一般的に、画面内で量子化値が一定の場合と比較して、少ない符号量でサブ画像の符号化を行うことができる。即ち、メイン画像及びサブ画像の両方を画面内で一定の量子化値を用いて量子化する場合と比較して、メイン画像の符号量とサブ画像の符号量の合計を少なくすることができる。
【００３９】
図２は、通常の量子化制御の場合の発生符号量と、第１の実施形態における発生符号量とを比較する概念図である。通常の量子化制御では、メイン画像及びサブ画像の両方について、画面内で一定の量子化値を用いた符号化が行われる。メイン画像の発生符号量２０１、サブ画像の発生符号量２０２の合計が全体の発生符号量となる。
【００４０】
本実施形態における量子化制御では、メイン画像については画面内（画面全体）で一定の量子化値を用いた符号化が行われる。また、サブ画像については発生符号量が目標符号量Ｔａｒｇｅｔ＿Ｐｉｃに収まるように（発生符号量が目標符号量を超えないように）符号化が行われる。メイン画像の発生符号量２０３は、通常の量子化制御におけるメイン画像の発生符号量２０１と同じになる。サブ画像の発生符号量２０４は、Ｔａｒｇｅｔ＿Ｐｉｃに収まるように量子化制御が行われるため、通常の量子化制御におけるサブ画像の発生符号量２０２よりも少なくなる。その結果、通常の量子化制御と比較し、サブ画像の発生符号量２０４が少ない分、全体としての発生符号量も少なくすることができる。
【００４１】
ＨＥＶＣでは、可変長符号化の方式として算術符号化であるＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)を用いて符号化を行っている。ＣＡＢＡＣでは、符号の発生確率を１ビットずつ更新するため、並列に処理を行うことが困難である。そのため、ＣＡＢＡＣの処理性能は、ＣＡＢＡＣに入力される符号量に依存する。符号量が少ないほど処理時間が短くなり、処理性能が上がることになる。
【００４２】
本実施形態によれば、通常の量子化制御が行われる符号化と比較し、メイン画像とサブ画像の合計の符号量を少なくすることができる。そのため、符号量を少なくした分、ＣＡＢＡＣにおける処理性能を上げることが可能となる。
【００４３】
図３は、撮像装置１００が実行する符号化処理のフローチャートである。なお、ここでは符号化処理のうち主に量子化制御に関係する処理について説明を行うものとし、その他の処理（例えば、イントラ予測処理など）については説明を省略する。また、本フローチャートにおける量子化部１０８、量子化制御部１０９、及び可変長符号化部１１０の機能は、任意のハードウェア又はソフトウェアにより実装可能である。例えば、ソフトウェアによる実装の場合、撮像装置１００のＣＰＵがＲＯＭに格納された制御プログラムをＲＡＭに展開して実行することにより、これらの機能を実現することができる。
【００４４】
Ｓ３０１で、量子化制御部１０９は、符号化方式設定部１１３から目標画質及び目標符号量を取得する。
【００４５】
Ｓ３０２で、量子化制御部１０９は、目標画質に基づいてメイン画像用の量子化値を決定し、決定した量子化値を量子化部１０８に通知する。
【００４６】
Ｓ３０３で、量子化部１０８は、量子化制御部１０９から通知されたメイン画像用の量子化値に基づいてメイン画像を量子化する。
【００４７】
Ｓ３０４で、可変長符号化部１１０は、量子化されたメイン画像に対して可変長符号化を行う。
【００４８】
続くＳ３０５乃至Ｓ３０７の処理は、サブ画像の全ＣＵの符号化が完了するまで、ＣＵごとに繰り返し実行される。
【００４９】
Ｓ３０５で、量子化制御部１０９は、目標符号量、可変長符号化部１１０からこれまでに通知されたサブ画像の発生符号量の合計、及び残りのＣＵの数に基づき、サブ画像全体の発生符号量が目標符号量に収まるようにサブ画像用の量子化値を決定する。量子化制御部１０９は、決定した量子化値を量子化部１０８に通知する。
【００５０】
Ｓ３０６で、量子化部１０８は、Ｓ３０５において量子化制御部１０９から通知されたサブ画像用の量子化値に基づいてサブ画像のＣＵを量子化する。
【００５１】
Ｓ３０７で、可変長符号化部１１０は、Ｓ３０６において量子化されたサブ画像のＣＵに対して可変長符号化を行い、発生符号量を量子化制御部１０９に通知する。
【００５２】
サブ画像の全ＣＵについてＳ３０５乃至Ｓ３０７の処理が行われると、メイン画像及びサブ画像の符号化が完了する。
【００５３】
以上説明したように、第１の実施形態によれば、撮像装置１００は、目標画質に基づいてメイン画像の量子化を制御し、目標符号量に基づいてサブ画像の量子化を制御する。これにより、全体の発生符号量の増大を抑制することが可能となる。
【００５４】
なお、上の説明においては、サブ画像はメイン画像のサイズを縮小することにより生成されるものとした。しかしながら、本実施形態のサブ画像はメイン画像の縮小画像に限定されず、メイン画像に基づいて生成された任意の種類の画像をサブ画像として使用することができる。
【００５５】
また、上の説明においては、目標画質に基づいてメイン画像（一方の画像）の量子化を制御し、目標符号量に基づいてサブ画像（他方の画像）の量子化を制御するものとしたが、メイン画像とサブ画像の関係は逆であってもよい。即ち、目標画質に基づいてサブ画像の量子化を制御し、目標符号量に基づいてメイン画像の量子化を制御するように撮像装置１００を構成してもよい。
【００５６】
また、上の説明においては、目標符号量に基づく量子化制御の例として、サブ画像の発生符号量が目標符号量を超えないように制御する構成を挙げた。しかしながら、目標符号量に基づく量子化制御はこれに限定されず、目標符号量を任意の観点で考慮した任意の量子化制御を、本実施形態における目標符号量に基づく量子化制御として採用することができる。例えば、撮像装置１００は、サブ画像の発生符号量が目標符号量の近傍になるように量子化制御を行ってもよい。
【００５７】
［第２の実施形態］
第２の実施形態では、メイン画像の発生符号量に基づいてサブ画像の目標符号量を決定する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００５８】
図３のＳ３０１で、量子化制御部１０９は、符号化方式設定部１１３からサブ画像の目標符号量を取得する代わりに、メイン画像とサブ画像を合わせた合計目標符号量を取得する。合計目標符号量は、例えば、必要とする性能に応じて予め決定される。例えば、連写性能等の制約などから符号化の処理時間が決められている場合に、その処理時間に間にあうような所定の符号量が合計目標符号量として用いられる。
【００５９】
図３のＳ３０４で、可変長符号化部１１０は、メイン画像に対して可変長符号化を行った後に、メイン画像全体の発生符号量を量子化制御部１０９に通知する。その後、量子化制御部１０９は、下記の式（１）に従って合計目標符号量からメイン画像全体の発生符号量を減じることにより、サブ画像の目標符号量を決定する。
Sub_Target_Pic  =  Total_Target_Pic  −  Main_Pic  ・・・（１）
ここで、Sub_Target_Picはサブ画像の目標符号量、Total_Target_Picは合計目標符号量、Main_Picはメイン画像全体の発生符号量を示す。
【００６０】
図３のその他の処理は、第１の実施形態と同様である。本実施形態の符号化処理によれば、メイン画像とサブ画像の合計の発生符号量が合計目標符号量(Total_Target_Pic)に収まるようにサブ画像の発生符号量が制御される。これにより、全体の発生符号量の増大を抑制することが可能となる。また、ＣＡＢＡＣの場合に、発生符号量の増大に伴う性能低下を抑制することが可能となる。
【００６１】
図４は、第２の実施形態における発生符号量の概念図である。メイン画像の符号化終了時に、メイン画像の発生符号量４０１が量子化制御部１０９に通知される。量子化制御部１０９は、上述の式（１）に従って、合計目標符号量(Total_Target_Pic)からメイン画像の発生符号量４０１を減じることにより、サブ画像の目標符号量(Sub_Target_Pic)を決定する。そして、量子化制御部１０９は、サブ画像の発生符号量４０２がサブ画像の目標符号量(Sub_Target_Pic)に収まるように、サブ画像の量子化制御を行う。その結果、メイン画像の発生符号量４０１とサブ画像の発生符号量４０２の合計が、合計目標符号量(Total_Target_Pic)に収まる。
【００６２】
以上説明したように、第２の実施形態によれば、撮像装置１００は、メイン画像の発生符号量に基づいてサブ画像の目標符号量を決定する。これにより、全体の発生符号量の増大を抑制することが可能となる。
【００６３】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１００…撮像装置、１０５…縮小処理部、１０７…直交変換部、１０８…量子化部、１０９…量子化制御部、１１０…可変長符号化部、１１１…ストリームバッファ、１１３…符号化方式設定部、１１８…多重化部、１１９…記録メディア
【図１】
2019097030.tif 000003
【図２】
2019097030.tif 000004
【図３】
2019097030.tif 000005
【図４】
2019097030.tif 000006