(57)【要約】【課題】瞳分割型の撮像センサを用いて取得した複数の画像に対して、より効率的な圧縮符号化を可能とする。【解決手段】符号化装置であって、それぞれが複数の光電変換部を有する単位画素が複数配置された撮像手段からの画像データを入力する入力手段と、前記画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段とを有し、前記符号化手段は、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を前記予測画素として選択する。【選択図】図１
2017220828.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数の光電変換部を有する単位画素が複数配置された撮像手段からの画像データを入力する入力手段と、
前記画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段と
を有し、
前記符号化手段は、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択する
ことを特徴とする符号化装置。
【請求項２】
前記符号化手段は、前記符号化対象の画素が同一の単位画素の複数の光電変換部に対応した複数の画素のうち最初に符号化される画素である場合、前記隣接する単位画素の光電変換部に対応した画素を前記予測画素として選択することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記符号化手段は、前記符号化対象の画素が前記最初に符号化される画素でない場合、前記同一の単位画素における他の光電変換部に対応した画素を前記予測画素として選択することを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記符号化手段は、前記符号化対象の画素が前記最初に符号化される画素でない場合、前記同一の単位画素における他の光電変換部に対応した画素と、前記隣接する単位画素の光電変換部に対応した画素との一方を前記予測画素として選択することを特徴とする請求項２に記載の符号化装置。
【請求項５】
前記符号化手段は、前記同一の単位画素における他の光電変換部に対応した画素、または、前記隣接する単位画素の光電変換部に対応した画素のうち、前記符号化対象の画素のデータとの差分がより小さくなる方を前記予測画素として選択することを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記単位画素が複数配置された画素領域のうち合焦領域を特定する特定手段を更に備え、
前記符号化手段は、
前記符号化対象の画素が前記合焦領域に含まれる単位画素の画素である場合、前記同一の単位画素における他の光電変換部に対応した画素を前記予測画素として選択し、
前記符号化対象の画素が前記合焦領域に含まれる単位画素の画素でない場合、前記隣接する単位画素の光電変換部に対応した画素を前記予測画素として選択する
ことを特徴とする請求項４に記載の符号化装置。
【請求項７】
前記撮像手段が撮像を行う場合の光学系の絞り値の情報を取得する取得手段を更に備え、
前記符号化手段は、
前記絞り値が所定の閾値以上の場合に、前記同一の単位画素における他の光電変換部に対応した画素を前記予測画素として選択し、
前記絞り値が所定の閾値より小さい場合に、前記隣接する単位画素の光電変換部に対応した画素を前記予測画素として選択する
ことを特徴とする請求項４に記載の符号化装置。
【請求項８】
前記符号化手段が生成した符号化データと、前記選択された予測画素に関する情報とを多重化して符号化ストリームを生成する多重化手段を更に備えることを特徴とする請求項４から７のいずれか１項に記載の符号化装置。
【請求項９】
前記多重化手段は、所定数の画素を符号化単位として前記符号化ストリームを生成し、
前記選択された予測画素に関する情報は、前記符号化ストリームごとに単一の情報が設定されることを特徴とする請求項８に記載の符号化装置。
【請求項１０】
前記符号化手段は、前記入力手段により入力された画素のデータを量子化する量子化手段を有し、
前記量子化手段により量子化された符号化対象の画素のデータと、前記量子化手段により量子化された前記予測画素のデータとの差分を符号化することを特徴とする請求項１から９のいずれか１項に記載の符号化装置。
【請求項１１】
前記符号化手段は、所定数の画素を含むブロックを単位として前記画像データを符号化し、
前記ブロックの先頭の前記単位画素における複数の前記光電変換部に対応した複数の画素のうち、最初に符号化される画素については前記量子化手段により量子化されたデータを出力し、前記ブロックにおける２番目以降に符号化される画素については前記予測画素のデータとの差分を符号化した結果を出力することを特徴とする請求項１０に記載の符号化装置。
【請求項１２】
それぞれが複数の光電変換部を有する単位画素が複数配置された撮像素子を含む撮像手段と、
前記撮像手段により得られた画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段と
を有し、
前記符号化手段は、前記符号化対象の画素と同じ単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを特徴とする撮像装置。
【請求項１３】
それぞれが複数の光電変換部を有する単位画素が複数配置された撮像手段からの画像データにおける前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段を有する符号化装置が実行する符号化方法であって、
前記符号化手段が、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化する工程であって、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを含む、工程を有することを特徴とする符号化方法。
【請求項１４】
コンピュータを請求項１から１１のいずれか１項に記載の符号化装置の符号化手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、撮像装置、符号化方法及びプログラムに関する。
【背景技術】
【０００２】
撮像センサにおいて１画素に対して２つの光電変換部を用い、撮影レンズの異なる瞳を通過した光を受光して画像信号を検出する技術が開発されている。この２つの画像信号には視差があるため、２つの画像の相関量を算出し、像ずれ量を求めることで位相差方式のデフォーカスマップの生成を行うことができる。このような１画素に対して複数の光電変換部を用いて分割された副画素ごとに画像信号を検出できる撮像センサのことを、瞳分割型の撮像センサと呼ぶことができる。
【０００３】
また、近年は４ｋテレビや４ｋビデオカメラが市場に出るなど、動画像の高解像度化、高フレームレート化が進んでいる。高解像度化、高フレームレート化にともない、撮像センサからの画像の読み出しデータ量が膨大になっている。このデータ量の増加にともない、撮像センサと画像処理エンジン間の伝送帯域がボトルネックになり、性能向上が図れないという問題がある。
【０００４】
そこで、撮像センサ内で画像データを符号化して圧縮することにより、撮像センサからの読み出しデータ量を削減するという方法が提案されている（特許文献１参照）。撮像センサ内での符号化を行う場合、処理の遅延が少なく、なるべく簡易的な回路で構成されることが望ましい。こういった処理に適した符号化方法として、DPCM（Differential Pulse Code Modulation）符号化方式がある（特許文献２参照）。DPCM符号化方式は、画像の空間的な相関性の高さを生かして、画素差分を取ることにより圧縮を行う方式であり、比較的簡単な回路で構成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2014-103543号
【特許文献２】特開2010-004514号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、瞳分割型の撮像センサを用いて取得した複数の画像に対してDPCM方式を用いて符号化を行う場合、複数の画像は互いに類似しているので、その相関性の高さを生かさなければ符号化効率が低下してしまう。
【０００７】
そこで、本発明は、瞳分割型の撮像センサを用いて取得した複数の画像に対して、より効率的な圧縮符号化を可能とする技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するための発明は、符号化装置であって、
それぞれが複数の光電変換部を有する単位画素が複数配置された撮像手段からの画像データを入力する入力手段と、
前記画像データにおける、前記光電変換部にそれぞれ対応した複数の画素のデータを符号化する符号化手段であって、予測画素のデータを用いて符号化対象の画素のデータを符号化する符号化手段とを有し、
前記符号化手段は、前記符号化対象の画素と同じ前記単位画素における他の光電変換部に対応した画素と、前記符号化対象の画素を含む単位画素に隣接する単位画素の光電変換部に対応した画素の一方を、前記予測画素として選択することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、瞳分割型の撮像センサを用いて取得した複数の画像に対して効率的な圧縮符号化を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】発明の実施形態に対応するカメラシステムの構成例を示す図。
【図２】発明の実施形態に対応する瞳分割型の撮像素子の構成例を示す図。
【図３】発明の実施形態に対応する符号化時の画像バッファ１０４におけるデータ蓄積状態を説明するための図。
【図４】発明の実施形態に対応する撮像画素符号化部１０５の構成例を示す図。
【図５】発明の実施形態に対応するA像及びＢ像の符号化方法を説明するための図。
【図６】発明の他の実施形態に対応する撮像画素符号化部１０５の構成例を示す図。
【図７】発明の実施形態３に対応するカメラシステムの構成例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１２】
［実施形態１］
以下、発明の実施形態に対応するカメラシステムの構成を説明する。図１は発明の実施形態におけるカメラシステム１０の構成の一例を示す図である。カメラシステム１０は、撮像装置１００と、画像処理装置１１０とを含んで構成される。図１のカメラシステム１０において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。カメラシステム１０は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなど、撮像機能を有する任意の装置とすることができる。以下、カメラシステム１０の各構成要素の構成及び機能について説明する。
【００１３】
まず、本実施形態において、撮像装置１００は瞳分割型撮像装置であり、光学系１０１、撮像素子部１０２、Ａ（アナログ）／Ｄ（デジタル）変換器１０３、画像バッファ１０４、撮像画素符号化部１０５を含む。光学系１０１は複数のレンズ群と絞り機構からなり、フォーカスレンズ（測距用レンズ）、ズーム用レンズ及び絞り機構を含むことができる。被写体から反射した入射光は光学系１０１を介して撮像素子部１０２で受光される。撮像素子部１０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）や、ＣＣＤ（Charge Coupled Device）で構成され、アナログ画像データをＡ／Ｄ変換器１０３に出力する。Ａ／Ｄ変換器１０３は、アナログ信号をデジタル信号に変換し、デジタル画像データを画像バッファ１０４へ出力する。
【００１４】
画像バッファ１０４には、符号化対象となる複数画素の画像データが入力される。画像バッファ１０４は、画素の符号化が行われるまで画素を保持しておく。同一画素成分の複数画素を一つの単位として符号化が行われる。本実施形態では、横方向ｎ画素を含む画素ブロックを一つの単位として符号化を行う例について説明する。符号化を行う画素ブロックの単位は、何画素単位でもよい。撮像画素符号化部１０５は、画像バッファ１０４に保持されている符号化対象画素を符号化し、符号化ストリームを生成する。撮像画素符号化部１０５は、符号化ストリームを画像処理装置１１０に出力する。符号化の詳細は、後に説明する。また、撮像素子部１０２、Ａ／Ｄ変換部１０３、画像バッファ１０４、及び撮像画素符号化部１０５を、一つの半導体集積回路チップとして構成することも可能である。
【００１５】
画像処理装置１１０は、撮像装置１００から受け取った符号化ストリームから、撮像画素復号部１１１が画像データを復号する。画像処理部１１２は、復号された画像データに対し、歪補正や色変換などの画像処理を実施する。また、画像処理部１１２は、画像データに基づいてデフォーカスマップの作成や、絞り値の決定等も行う。画像処理部１１２はまた、画像データを解析して絞り値の他に、露光時間、ピント位置等を決定し、これらを光学系の各構成要素を制御する制御部にフィードバックする。これにより、被写体像を常に適切な露出、ピント位置で捉え続けることが可能である。画像処理部１１２は、画像処理後の画像データを符号化部１１３に出力する。符号化部１１３は、画像データの圧縮符号化を行う。符号化部１１３での画像圧縮は、動画像であればH.264などの符号化方式に従って実施される。符号化部１１３は、符号化後の符号化ストリームを記録メディア１１４に出力し、記録を行う。
【００１６】
次に、図２を参照し、撮像素子部１０２の構成を説明する。図２は、本実施形態における撮像素子部１０２の構成例を示す図である。図２（ａ）は撮像素子部１０２を正面から見た場合の、２次元の画素配列を説明する図である。撮像素子部１０２は、２つの光電変換部を有する単位画素２００が縦横に整列した状態で画素領域２０５に複数配置されて構成されている。本実施形態では、説明の簡単のため画素領域２０５が水平７画素×垂直６画素の水平垂直配列から構成される例を示したが、実用上はさらに多数の画素が配置される。なお、以下特に断りのない限りは、本明細書を通じて、画素領域２０５の左上の単位画素２００を第１列目（ｘ＝１）、第１行目（ｙ＝１）の画素と定義する。
【００１７】
単位画素２００は、図２（ｂ）に示すように入射光を受光して電気信号に変換する一対の光電変換部２０１と２０２とを有するように構成され、その上部にカラーフィルタ２０３とマイクロレンズ２０４とが設けられている。各単位画素のカラーフィルタ２０３として、ベイヤー配列に対応した色のフィルタが割り当てられる。よって、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に設けられる。撮像画素符号化部１０５は、赤（Ｒ）の複数画素ごとや、青（Ｂ）の複数画素ごとのように、同一画素成分の複数画素について符号化を行う。
【００１８】
このような単位画素２００の構成において、光電変換部２０１、２０２はそれぞれ射出瞳における別々の領域の光を受光する。よって、光電変換部２０１と２０２の出力信号を比較することで位相差の検知が可能となる。ここで、光電変換部２０１により光電変換された画像信号に対応する第１の画像をＡ像、光電変換部２０２により光電変換された画像信号に対応する第２の画像をＢ像と、それぞれ称する。
【００１９】
本実施形態では、光電変換部２０１及び２０２から出力されるＡ像、Ｂ像のデータは、Ａ／Ｄ変換器１０３に対して１画素単位でＡ像とＢ像とが交互に入力される構成としている。また、本実施形態では、同一の単位画素内ではＡ像がＢ像よりも符号化順序で先行する。これ以外に、複数画素単位でＡ像とＢ像を交互に入力する構成や、１行単位でＡ像とＢ像とを交互に入力する構成としてもよい。また、Ｂ像の代わりにＡ像とＢ像とを加算したＡ＋Ｂ像を入力する構成としてもよい。この場合、画像バッファ１０４には、Ａ像とＡ＋Ｂ像とが格納されることになる。また、撮像画素符号化部１０５は、Ａ＋Ｂ像を読み出した後、同一位置のＡ像を減算することによりＢ像を生成し、符号化することができる。
【００２０】
次に、図３を参照して、画像バッファ１０４に格納される画素について説明する。図３は、本実施形態における撮像画素符号化部１０５が符号化を行う前に画像バッファ１０４に格納されている一つのブロックの画素の関係を説明するための図である。ここで、撮像素子部１０２において水平方向位置がx、垂直方向位置がyにある位置の画素のＡ像の画素値をＡ(ｘ、ｙ)、Ｂ像の画素値をＢ(ｘ、ｙ)と表記する。図３では、画素位置（ｘ、ｙ）から（ｘ＋ｎ−１、ｙ）の同一行のＡ像ｎ画素、Ｂ像ｎ画素のＡ像及びＢ像の各画素が画像バッファ１０４に格納されており、これらの画素に対して符号化を行うものとする。このように本実施形態の撮像画素符号化部１０５が実行する符号化処理では、入力画像データを所定数の画素で構成されるブロック（以下、「符号化ブロック」という）に分割し、符号化ブロック単位に符号化を行うものとする。
【００２１】
次に、図４を参照して、撮像画素符号化部１０５での符号化動作について説明する。図４は、本実施形態に対応する撮像画素符号化部１０５の構成例を示す。まず、入力された画像データは１画素ずつ量子化部４０１に送られ、量子化処理が行われる。量子化処理に用いる量子化パラメータは、例えば、符号化ブロックの符号量が所定の符号量になるように量子化制御部４０２で符号化単位ごとに決定され、量子化部４０１に設定される。量子化後のデータと、画像バッファ４０３に格納されている量子化済みのデータ（予測データ）との差分が可変長符号化部４０４に送られる。また量子化後のデータは、次の画素のための予測データとして使用するため、画像バッファ４０３に格納される。以下、符号化対象の画素を符号化するために使用される予測データを予測画素という。
【００２２】
可変長符号化部４０４は、差分データに対して所定の可変長符号化方式に従う可変長符号化を行う。所定の可変長符号化方式には、例えばハフマン符号、ゴロム符号などが含まれる。この可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。可変長符号化後の符号化データは、DPCM方式の符号化データとして多重化部４０５に送られる。ここで、ブロックの先頭画素のように予測画像が存在しない等の条件により、量子化後のデータをPCM方式の符号化データとして多重化部４０５に送る場合もある。即ち、ブロックの先頭の画素を符号化する際には量子化部４０１からのデータを選択して多重化部４０５に出力し、ブロックの先頭以外の画素を符号化する際には可変長符号化部４０４からの符号化データを選択して多重化部４０５に出力する。多重化部４０５では、符号化ブロックに含まれる各画素の符号化データと量子化制御部４０２から送られてくる量子化パラメータとを１本のストリームとして多重化し、符号化ストリームとして出力する。
【００２３】
次に、画像バッファ１０４に格納された画素の符号化処理手順を、図５を参照して説明する。図５は、発４の実施形態に対応するＡ像及びＢ像の画素の符号化手順を説明するための図である。まず、符号化対象の画素は、図３で示したＡ（ｘ、ｙ）〜Ａ（ｘ＋ｎ−１、ｙ）のｎ画素、およびＢ（ｘ、ｙ）〜Ｂ（ｘ＋ｎ−１、ｙ）のｎ画素である。本実施形態では、同一単位画素において符号化順序が最初（先）となるＡ像の画素について、符号化ブロック内の全てのＡ像の画素をまず符号化する。このとき、符号化対象のＡ像の画素と空間的に隣接する他の単位画素のＡ像の画素との差分を算出する。次いで、符号化済みの同一単位画素のＡ像の画素を使って、対応するＢ像の画素を順に符号化する。
【００２４】
本実施形態では、Ａ像のｎ画素が１画素ずつ順番に画像バッファ１０４から撮像画素符号化部１０５に入力され、符号化が行われる。このとき、図５（ａ）に示すように、ブロックの先頭画素（ブロック内でｘが最小値となる画素）Ａ（ｘ、ｙ）は、予測画素が存在しないので予測画素との差分を取らずに量子化後にPCM符号化データとして、そのまま多重化部４０５に出力する。また、図５では、Ａ（ｘ、ｙ）の量子化後のデータをＡＱ（ｘ、ｙ）、同様にＢ（ｘ、ｙ）の量子化後のデータをＢＱ（ｘ、ｙ）と表記している。量子化後のデータであるＡＱ（ｘ、ｙ）は、画像バッファ４０３に格納される。
【００２５】
次に２番目以降の画素については、まず図５（ｂ）に示すように、次の画素であるＡ（ｘ＋１、ｙ）の符号化時は、当該画素が属する単位画素に隣接する単位画素（隣接位置）のＡ像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測データに用いる。Ａ（ｘ、ｙ）の量子化後のデータであるＡＱ（ｘ＋１、ｙ）と予測データＡＱ（ｘ、ｙ）との間で差分を取り、可変長符号化が行われ、DPCM符号化データとして符号化する。これ以降は、図５（ｃ）に示すように、同様にしてＡ（ｘ＋２、ｙ）からＡ（ｘ＋ｎ−１、ｙ）まで、隣接する単位画素のＡ像の符号化済みのデータを予測画素として符号化を行う。
【００２６】
Ａ像についてＡＱ（ｘ、ｙ）)からＡＱ（ｘ＋ｎ−１、ｙ）までが画像バッファ４０３に格納されると、次はＢ像の画素の符号化を行う。Ｂ像のｎ画素が１画素ずつ順番に画像バッファ１０４から撮像画素符号化部１０５に入力され、符号化が行われる。本実施形態におけるＢ像の符号化処理では、予測画素として、隣接する単位画素のＢ像の符号化済みのデータではなく、同一単位画素内（同一位置）の符号化済みのＡ像の符号化済みのデータを用いる。これは、図２に示すようにＢ像同士の隣接位置の画素よりも、同一位置のＡ像とＢ像の画素の方が距離が近いため、より相関が高くなり、符号化効率を高めることができるからである。
【００２７】
図５（ｄ）に示すように、Ｂ（ｘ、ｙ）の符号化時には、予測画素として同一単位画素（ｘの値が同一）のA像の符号化済みのデータ、すなわちＡＱ（ｘ、ｙ）が用いられる。Ｂ（ｘ、ｙ）の量子化後のデータであるＢＱ（ｘ、ｙ）と予測画素ＡＱ（ｘ、ｙ）との間で差分を取り、可変長符号化が行われ、DPCM符号化データが生成される。これ以降は、図５（ｅ）に示すように、同様にしてＢ（ｘ、ｙ）)からＢ（ｘ＋ｎ−１、ｙ）まで、符号化対象のＢ像の画素と同一単位画素のＡ像の符号化済みデータを予測画素として符号化が行われ、Ａ像ｎ画素、Ｂ像ｎ画素の符号化ストリームが作成される。
【００２８】
本実施形態において撮像画素符号化部１０５の構成、符号化方法は、上述の構成、方法に限ったものではなく、画素差分を用いた符号化方式であれば、どんなものを用いてもよい。例えば、画素差分を取った後に量子化処理を行うような方式を用いてもよい。また撮像画素復号部１１１は、撮像画素符号化部１０５の符号化方式に対応させた復号方式を用いれば、どのような構成をとってもよい。
【００２９】
以上のように、本実施形態では、瞳分割型の撮像センサのＡ像の画素とＢ像の画素を、画素差分を用いて符号化を行う方式において、同一単位画素内のＡ像とＢ像とで参照する画素を切替えることができる。具体的に、Ａ像を符号化する場合には、隣接単位画素のＡ像の符号化済みのデータを予測データとして使用する一方、B像を符号化する場合は、同一単位画素内のA像の符号化済みのデータを予測データとして使用する。これにより、同一の単位画素に含まれる光電変換部から生成された画素の相関性の高さを生かすことができ、符号化効率を高めることができる。
【００３０】
［実施形態２］
実施形態１では、B像の符号化時に予測画素として同一位置のＡ像の符号化済みデータを用いた。これに対し本実施形態では、B像の符号化時の予測画素として、同一位置のA像の符号化済みデータと、隣接位置のB像の符号化済みデータとのいずれかを選択して用いる場合を説明する。本実施形態２と上述の実施形態１との相違点は、撮像画素符号化部１０５の構成にあり、その他の機能ブロックの構成及び動作については実施形態１と同様であるため説明は省略する。
【００３１】
本実施形態に対応する撮像画素符号化部１０５の構成例を図６に示す。図４に示した実施形態１における撮像画素符号化部１０５との違いは、予測画素選択部６０１が追加されている点である。本実施形態でも、実施形態１と同様、符号化ブロックとして同一行の（ｘ、ｙ）から（ｘ＋ｎ−１、ｙ）の画素位置にあるＡ（ｘ、ｙ）)からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素、およびＢ（ｘ、ｙ）)からＢ（ｘ＋ｎ−１、ｙ）のＢ像ｎ画素を符号化する場合について説明する。
【００３２】
まず、Ａ（ｘ、ｙ）からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素については符号化順に従い、隣接位置のＡ像の符号化済みのデータを予測画素として符号化を行う。次に、Ｂ像の先頭画素であるＢ（ｘ、ｙ）は、同一位置のＡ像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測画素として符号化を行う。次に、Ｂ像の次の画素であるＢ（ｘ＋１、ｙ）のための予測画素は、同一位置のＡ像の符号化済みのデータであるＡＱ（ｘ＋１、ｙ）と、隣接位置のＢ像の符号化済みのデータであるＢＱ（ｘ、ｙ）から選択する。
【００３３】
このときＡ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための、本実施形態に対応する選択方法を説明する。予測画素選択部６０１には、符号化対象画素であるＢ（ｘ＋１、ｙ）を量子化したＢＱ（ｘ＋１、ｙ）と予測画素候補であるＡＱ（ｘ＋１、ｙ）、ＢＱ（ｘ、ｙ）が入力される。予測画素選択部６０１は、符号化コストとしてそれぞれの予測画素候補との差分絶対値を算出し、差分絶対値の小さくなる符号化済み画素を予測画素として選択する。
【００３４】
すなわち、予測画素選択部６０１は、|ＢＱ（ｘ＋１、ｙ）−ＡＱ（ｘ＋１、ｙ）|と|ＢＱ（ｘ＋１、ｙ）−ＢＱ（ｘ、ｙ）|とをそれぞれ算出する。そして、２つの算出値を比較し、|ＢＱ（ｘ＋１、ｙ）−ＡＱ（ｘ＋１、ｙ）|の方が小さければ同一位置のＡ像の符号化済みのデータを予測画素として選択する。一方、|ＢＱ（ｘ＋１、ｙ）−ＢＱ（ｘ、ｙ）|の方が小さければ隣接位置のＢ像の符号化済みのデータを予測画素として選択する。
【００３５】
選択結果は、画像バッファ４０３に出力され画像バッファ４０３から読み出す画素を選択するために使用される。このようにして画像バッファ４０３から選択され、出力された予測画素と、符号化対象画素の量子化結果との差分が可変長符号化部４０４に出力され、可変長符号化が実行される。
【００３６】
また、予測画素選択部６０１は、Ａ像とＢ像のうちのどちらの予測画素を使用して符号化したのかの情報（予測情報）を多重化部４０５に送る。それ以降のB像のB(x+2,y)〜B(x+n-1,y)の画素についても同様に符号化を行う。多重化部４０５では、符号化データ、量子化パラメータとともに各画素の予測情報を多重化し、符号化ストリームとして出力する。
【００３７】
以上のように、本実施形態では同一位置のA像の画素を予測画素として用いる場合と、隣接位置のB像の画素を予測画素として用いる場合とを比較し、符号化コストの小さい方を選択することにより、符号化効率を高めることができる。
【００３８】
また、本実施形態においてはB像の予測画素として同一位置のA像を用いるか、隣接位置のB像を用いるかの予測情報を１画素ごとに符号化ストリームに付加したが、符号化ブロックごと共通で使用する単一の予測情報を１つ付加する構成にしてもよい。その場合、符号化ブロック内のｎ個のＢ画素について、あらかじめ同一位置のA像を予測画素とした場合の全体コスト、隣接位置のB像を予測画素とした場合の全体コストをそれぞれ算出し、符号化効率が良い方を選択すればよい。この点は、以下の実施形態でも同様である。
【００３９】
［実施形態３］
本実施形態では、実施形態２の変形例として、Ｂ像の画素を符号化する場合に、Ａ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための他の選択方法について説明する。具体的に、実施形態２では差分絶対値に基づき予測画素を選択したが、本実施形態では、符号化対象の画素が含まれる領域が合焦領域か否かに基づき予測画素を選択する場合を説明する。以下、上述の実施形態との相違部分について説明する。
【００４０】
図２に示すように、同一の単位画素から得られた同一位置のA像とB像は、隣接する単位画素のB像同士と比較して、空間的な距離が近いため、画素値の相関性が高いと考えられる。ただし、A像とB像とでは視差があるため、ピントがあっている（合焦）部分に関しては相関が高くなるが、ピントがあっていない（非合焦）部分に関しては、必ずしも相関が高くなるとは限らない。このことに鑑み、本実施形態では、処理対象の単位画素が属する領域がピントの合っている画素領域かどうかに応じて、予測画素の選択を自動的に行う。
【００４１】
本実施形態のカメラシステムの構成例を図７に示す。実施形態１との差異は、合焦検出部７０２を備えること、および合焦検出部７０２から撮像画素符号化部７０１へ、画素領域２０５のうちのどの領域にピントが合っているかのフォーカス領域情報が渡されることである。また、撮像画素符号化部７０１は、フォーカス領域情報を用いて予測画素を選択するように動作する。
【００４２】
画像処理部１１２は、符号化対象画素が含まれるフレーム画像の一つ前のフレーム画像のA像とB像の情報からデフォーカスマップを生成する。画像処理部１１２はデフォーカスマップを合焦検出部７０２に提供する。合焦検出部７０２は、取得したデフォーカスマップに基づいて、所定のデフォーカス量を閾値として、画素領域２０５を、ピントが合っている合焦領域とピントが合ってない非合焦領域とをそれぞれ特定する。合焦検出部７０２は、このピントが合っている合焦領域の情報をフォーカス領域情報として、撮像画素符号化部７０１へ出力する。
【００４３】
撮像画素符号化部７０１の構成例は図６（ｂ）に示す通りである。実施形態２の図６（ａ）の構成と相違点は、予測画素選択部６０２にフォーカス領域情報が入力され、それを用いて予測画素を選択する点である。本実施形態でも実施形態１と同様、(ｘ、ｙ）〜（ｘ＋ｎ−１、ｙ）の画素位置にある同一行のＡ（ｘ、ｙ）からＡ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素、およびＢ（ｘ、ｙ）〜Ｂ（ｘ＋ｎ−１、ｙ）のＢ像ｎ画素からなる符号化ブロックについて符号化を行う場合を説明する。まず、Ａ（ｘ、ｙ）〜Ａ（ｘ＋ｎ−１、ｙ）のＡ像ｎ画素については上述の実施形態と同様に隣接位置のＡ像の符号化済みのデータを予測画素として符号化を行う。次に、B像の先頭画素であるＢ（ｘ，ｙ）は、同一位置のA像の符号化済みのデータであるＡＱ（ｘ、ｙ）を予測画素として符号化を行う。次のＢ（ｘ＋１、ｙ）からＢ（ｘ＋ｎ−１、ｙ）を符号化する場合に、フォーカス領域情報を用いて予測画素の選択を行う。
【００４４】
予測画素選択部６０２は、これから符号化を行うB(x+1,y)の位置情報、およびフォーカス領域情報から、符号化対象画素であるＢ（ｘ＋１、ｙ）が合焦領域に含まれるか否か（当該画素に対してピントが合っている状態か）どうかを判定する。予測画素選択部６０２は、処理対象画素が合焦領域に含まれると判定すると、同一の単位画素のA像の符号化済みのデータであるＡＱ（ｘ＋１、ｙ）を予測画素として符号化を行う。一方、予測画素選択部６０２は処理対象画素が合焦領域に含まれていないと判定すると、隣接位置のB像の符号化済みのデータであるＢＱ（ｘ、ｙ）を予測画素として符号化を行う。同様にして、Ｂ（ｘ＋ｎ−１、ｙ）まで、処理対象画素が合焦領域に含まれているかに応じて予測画素の選択を行い、符号化を行う。
【００４５】
以上のように、処理対象の画素に対してピントが合っている状態かどうかに応じて、自動的に相関性の高い予測画素を選択することにより、符号化効率を高めることができる。
【００４６】
［実施形態４］
本実施形態では、実施形態２の更なる変形例として、Ｂ像の画素を符号化する場合に、Ａ像とＢ像のいずれかの符号化済みデータを予測画素として選択するための他の選択方法について説明する。具体的に、実施形態３ではフォーカス領域情報に基づき予測画素を選択したが、本実施形態では、絞り情報を用いて予測画素を選択する場合を説明する。以下、上述の実施形態との相違部分について説明する。
【００４７】
実施形態３で説明したように、合焦領域に属する画素ではA像とB像との画素値の相関性が高い。そして絞り情報に基づけば画素領域２０５のどの部分でピントが合っているかが推測できるので、本実施形態では、絞り情報に応じて予測画素の選択を行う。具体的に、絞り値が大きい場合は、被写界深度は深くなり画像領域中のほとんどの部分でピントが合っている状態になると考えられる。一方、絞り値が小さい場合は、被写界深度は浅くなり画像領域中でピントが合っている領域が少なくなると考えられる。そこで、絞り値が所定の閾値以上の場合、B像の符号化時に予測画素として同一位置のA像の符号化済みのデータを用いる。一方、絞り値が所定の閾値よりも小さい場合、B像の符号化時に予測画素として隣接位置のB像の符号化済みのデータを用いる。
【００４８】
絞り値は、例えば画像処理部１１２が、処理対象の画素が含まれるフレーム画像の一つ前のフレーム画像を解析して決定することができる。本実施形態では、画像処理部１１２が絞り値を実施形態３のフォーカス領域情報の代わりに予測画素選択部６０２に提供する。予測画素選択部６０２は、画像処理部１１２から取得した絞り値を所定の閾値と比較して、フレーム画像単位にＡ像とＢ像とのいずれかを選択する。或いは、画像処理部１１２が予め所定の閾値との比較を行ってＡ像とＢ像とのいずれかを使用するかを決定し、Ａ像またはＢ像を指定する信号を予測画素選択部６０２に提供してもよい。
【００４９】
このようにして、絞り情報を用いることで、予測画素として相関性の高い画素を選択することができる。なお、画像全域で絞り値は同一となるので、予測画素として同一位置のＡ像の符号化後の画素値を用いるのか、隣接位置のＢ像の符号化後の画素値を用いるのかの予測情報はフレーム画像全体について１回だけ送ればよい。
【００５０】
以上のように、本実施形態では、絞り値に応じて自動的に相関性の高い予測画素を選択することにより、符号化効率を高めることができる。
【符号の説明】
【００５１】
１００  撮像装置、１１０  画像処理装置
【図１】
2017220828.tif 000003
【図２】
2017220828.tif 000004
【図３】
2017220828.tif 000005
【図４】
2017220828.tif 000006
【図５】
2017220828.tif 000007
【図６】
2017220828.tif 000008
【図７】
2017220828.tif 000009