(57)【要約】【課題】画像データの圧縮における遅延の低減を図ることが可能な、画像処理装置、および画像処理方法を提供する。【解決手段】処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の第１分割領域からなる処理画像が分割された第２分割領域ごとに、第２分割領域それぞれに対応する順序で並び替える第１並び変え部と、第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する圧縮処理部と、圧縮された第２分割画像データを、処理画像全体に対応する順序で並び替える第２並び変え部と、を備える、画像処理装置が提供される。【選択図】図４
2015195526.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の前記第１分割領域からなる前記処理画像が分割された第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替える第１並び変え部と、
前記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する圧縮処理部と、
圧縮された前記第２分割画像データを、前記処理画像全体に対応する順序で並び替える第２並び変え部と、
を備える、画像処理装置。
【請求項２】
前記第１並び変え部は、
前記第１分割領域ごとに前記第１分割画像データの並び順を特定し、
前記第２分割領域それぞれに対応する前記第１分割領域の第１分割画像データを、前記第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替える、請求項１に記載の画像処理装置。
【請求項３】
前記処理対象の画像データは、複数の撮像素子を有する撮像デバイスにおける撮像により生成された画像データであり、
前記第１分割領域ごとの前記第１分割画像データの並び順は、前記第１分割領域それぞれに対応する撮像素子の読み出し順序に対応する、請求項２に記載の画像処理装置。
【請求項４】
前記第１分割領域は、前記処理画像が水平方向および垂直方向にそれぞれ２分割された４つの領域であり、
前記第２分割領域は、前記処理画像が垂直方向に２分割された２つの領域である、請求項１に記載の画像処理装置。
【請求項５】
前記第１分割画像データそれぞれを補正する補正部をさらに備え、
前記第１並び変え部は、前記補正部において補正された前記第１分割画像データを、並び替える、請求項１に記載の画像処理装置。
【請求項６】
処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の前記第１分割領域からなる前記処理画像が分割された第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替えるステップと、
前記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮するステップと、
圧縮された前記第２分割画像データを、前記処理画像全体に対応する順序で並び替えるステップと、
を有する、画像処理装置により実行される画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
画像データの圧縮符号化に係る技術が開発されている。画像データの圧縮符号化に係る技術としては、例えば、下記の特許文献１〜３に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９００７２０号公報
【特許文献２】特許第４２５４８６７号公報
【特許文献３】特許第４３５６０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像データを圧縮する場合には、画像データの圧縮が低遅延で行われることが望まれている。低遅延での画像データの圧縮は、処理対象となる画像データが、例えば、４Ｋ（Ｕｌｔｒａ  ＨＤ（High  Definition）。４０９６（水平方向）×２１６０（垂直方向）など）、４８０［フレーム／ｓｅｃ］などの、より広帯域な画像データである程、望まれる。
【０００５】
本開示では、画像データの圧縮における遅延の低減を図ることが可能な、新規かつ改良された画像処理装置、および画像処理方法を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の上記第１分割領域からなる上記処理画像が分割された第２分割領域ごとに、上記第２分割領域それぞれに対応する順序で並び替える第１並び変え部と、上記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する圧縮処理部と、圧縮された上記第２分割画像データを、上記処理画像全体に対応する順序で並び替える第２並び変え部と、を備える、画像処理装置が提供される。
【０００７】
また、本開示によれば、処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の上記第１分割領域からなる上記処理画像が分割された第２分割領域ごとに、上記第２分割領域それぞれに対応する順序で並び替えるステップと、上記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮するステップと、圧縮された上記第２分割画像データを、上記処理画像全体に対応する順序で並び替えるステップと、を有する、画像処理装置により実行される画像処理方法が提供される。
【発明の効果】
【０００８】
本開示によれば、画像データの圧縮における遅延の低減を図ることができる。
【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】画像データを圧縮することが可能な画像処理装置の構成の一例を示すブロック図である。
【図２】図１に示す画像処理装置において処理される画像データの一例を示す説明図である。
【図３】図１に示す画像処理装置において生じうる遅延の一例を示す説明図である。
【図４】本実施形態に係る画像処理装置の構成一例を示すブロック図である。
【図５】図４に示す画像処理装置において処理される画像データの一例を示す説明図である。
【図６Ａ】図４に示す圧縮処理部における処理の一例を説明するための説明図である。
【図６Ｂ】図４に示す圧縮処理部における処理の一例を説明するための説明図である。
【図７】図４に示す画像処理装置において生じうる遅延の一例を示す説明図である。
【図８】本実施形態に係る画像処理システムの一例を示す説明図である。
【図９】本実施形態に係る画像処理システムを構成する処理装置の、ハードウェア構成の概念の一例を示す説明図である。
【図１０】本実施形態に係る画像処理システムの構成の一例を示す説明図である。
【図１１】図１０に示す画像処理システムにおいて処理される画像データの一例を示す説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係る画像処理システム
４．本実施形態に係るプログラム
【００１３】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を主に例に挙げて、本実施形態に係る画像処理方法について説明する。なお、後述する本実施形態に係る画像処理方法の適用例に示すように、本実施形態に係る画像処理方法に係る処理は、複数の装置を有する画像処理システムにおいて行われることも可能である。
【００１４】
［１］画像データを圧縮することが可能な画像処理装置の構成の一例
本実施形態に係る画像処理方法について説明する前に、画像データを圧縮することが可能であると考えられる画像処理装置の構成の一例について説明する。
【００１５】
図１は、画像データを圧縮することが可能な画像処理装置１０の構成の一例を示すブロック図である。
【００１６】
画像処理装置１０は、例えば、撮像部１２と、第１並び替え部１４と、補正部１６と、圧縮処理部１８と、第２並び替え部２０とを備え、画像データを圧縮する。
【００１７】
画像処理装置１０では、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成されるプロセッサが、第１並び替え部１４、補正部１６、圧縮処理部１８、および第２並び替え部２０の役目を果たす。また、第１並び替え部１４、補正部１６、圧縮処理部１８、および第２並び替え部２０は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【００１８】
ここで、図１では、画像処理装置１０が、例えば、４Ｋ／４８０［フレーム／ｓｅｃ］などの広帯域な画像データを圧縮する際に処理時間を短縮するなどのために、並列処理を行う例を示している。具体的には、図１では、画像処理装置１０が、処理対象の画像データが示す画像（以下、「処理画像」と示す場合がある。）が、４つの領域に分けられ、分けられた４つの領域それぞれに対する処理を、並列に行っている例を示している。
【００１９】
以下では、処理画像が分けられた各領域を、「分割領域」と示す場合がある。また、以下では、Ｎ（Ｎは、２以上の整数）つの分割領域に対応する画像データを、「Ｎ系統の画像データ」と示す場合がある。
【００２０】
図２は、図１に示す画像処理装置１０において処理される画像データの一例を示す説明図である。図２のＡは、図１の撮像部１２から出力される画像データの一例を示しており、図２のＢは、図１の補正部１６および圧縮処理部１８において処理される画像データの一例を示している。また、図２のＣは、第２並び替え部２０から出力される画像データ（図１に示す出力データ）の一例を示している。
【００２１】
以下、図２を適宜参照しながら、図１に示す画像処理装置１０の構成の一例について説明する。
【００２２】
撮像部１２は、画像（静止画像、または、動画像）を撮像し、撮像された画像を示す画像データを生成する。以下では、撮像部１２が、４Ｋ／４８０［フレーム／ｓｅｃ］の動画像を撮像する場合を例に挙げる。
【００２３】
撮像部１２としては、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサと、信号処理回路とで構成される撮像デバイスが挙げられる。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。
【００２４】
また、撮像部１２は、４つの分割領域それぞれに対応する撮像素子の読み出し順序での読み出しに応じた、分割領域ごとの画像データを、第１並び替え部１４に伝達する。
【００２５】
図２のＡは、撮像部１２から出力される画像データの一例である。図２のＡに示すＲ１〜Ｒ４は、４つの分割領域の一例である。図２のＡでは、分割領域が、処理画像が、水平方向および垂直方向にそれぞれ２等分に分割された領域である場合を示している。
【００２６】
撮像部１２は、図２のＡのＲ１に示す図２における左上の領域、図２のＡのＲ２に示す図２における右上の領域、図２のＡのＲ３に示す図２における左下の領域、および図２のＡのＲ４に示す図２における右下の領域それぞれについて、下記のような画像データを第１並び替え部１４に伝達する。
・左上の領域（図２のＡのＲ１）：画像の左上に対応する撮像素子からの読み出しに応じた画像データ
・右上の領域（図２のＡのＲ２）：画像の右上に対応する撮像素子からの読み出しに応じた画像データ
・左下の領域（図２のＡのＲ３）：画像の左下に対応する撮像素子からの読み出しに応じた画像データ
・右下の領域（図２のＡのＲ４）：画像の右下に対応する撮像素子からの読み出しに応じた画像データ
【００２７】
第１並び替え部１４は、例えば、撮像部１２から伝達される４８０［フレーム／ｓｅｃ］の画像データを、４つの分割領域Ｒ１〜Ｒ４それぞれに対応する４系統の１２０［フレーム／ｓｅｃ］の画像データに変換する。図２のＢは、第１並び替え部１４において変換され、補正部１６および圧縮処理部１８が処理する画像データの一例を示している。
【００２８】
補正部１６は、４系統の画像データそれぞれを並列に補正する。図１では、補正部１６が第１補正部１６Ａ、第２補正部１６Ｂ、第３補正部１６Ｃ、および第４補正部１６Ｄを備える例を示しており、第１補正部１６Ａ、第２補正部１６Ｂ、第３補正部１６Ｃ、および第４補正部１６Ｄそれぞれが並列に処理を行う。
【００２９】
補正部１６における補正に係る処理としては、例えば、閾値処理などによって欠陥画素を判定し、欠陥画素と判定された画素に隣接する画素の画素値などを用いて、欠陥画素と判定された画素の画素値を補間する処理などが挙げられる。
【００３０】
圧縮処理部１８は、補正部１６において補正された４系統の画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する。図１では、圧縮処理部１８が第１圧縮処理部１８Ａ、第２圧縮処理部１８Ｂ、第３圧縮処理部１８Ｃ、および第４圧縮処理部１８Ｄを備える例を示しており、第１圧縮処理部１８Ａ、第２圧縮処理部１８Ｂ、第３圧縮処理部１８Ｃ、および第４圧縮処理部１８Ｄそれぞれが並列に処理を行う。
【００３１】
上記所定の方式としては、例えば、ウェーブレット変換が挙げられる。
【００３２】
第２並び替え部２０は、圧縮処理部１８から伝達される、圧縮された４系統の画像データを、処理画像全体に対応する１系統の４８０［フレーム／ｓｅｃ］の画像データに並べ替える。
【００３３】
図２のＣは、第２並び替え部２０から出力される画像データの一例である。第２並び替え部２０は、例えば図２のＣに示すように、処理画像の左上から水平方向への並べ替えを、垂直下方向に順に行うことによって、圧縮された４系統の画像データを並び替える。
【００３４】
画像処理装置１０は、例えば図１に示す構成によって、画像データを圧縮することができる。
【００３５】
しかしながら、画像処理装置１０は、４８０［フレーム／ｓｅｃ］の画像データを、一旦、４系統の１２０［フレーム／ｓｅｃ］の画像データに変換するので、画像処理装置１０では、第１並び替え部１４において、４Ｋ／４８０［フレーム／ｓｅｃ］の画像データのメモリへの書き込みと読み出しが発生する。そのため、画像処理装置１０を用いて画像データを圧縮する際には、広帯域であり、かつ１フレーム以上の画像データを記憶可能な容量を有するメモリを備える必要がある。
【００３６】
よって、画像処理装置１０を用いて画像データを圧縮する際には、メモリのサイズが大きくなり、画像処理装置１０の小型化が困難となることや、画像処理装置１０のコストが増加することなど、望ましくない事態が生じうる。
【００３７】
図３は、図１に示す画像処理装置１０において生じうる遅延の一例を示す説明図である。図３に示すＦｎ（ｎは、正の整数。）は、処理対象の画像データにおける各フレームの画像を示している。図３に示すＡは、等長化単位を、ウェーブレット変換の１水平単位であるＴＵ（Transfer  Unit。例えば、１６ライン単位に相当し、１フレームは、約１４０ＴＵである。）とした場合において生じうる遅延の一例を示している。また、図３に示すＢは、等長化単位を１フレームとした場合において生じうる遅延の一例を示している。
【００３８】
画像処理装置１０は、一旦、１２０［フレーム／ｓｅｃ］の画像データに変換するので、例えば、図３のＡ、図３のＢに示すように、画像処理装置１０を用いて画像データを圧縮する際には、処理に３フレーム以上の大きな遅延が生じる。
【００３９】
［２］本実施形態に係る画像処理方法の概要
次に、本実施形態に係る画像処理方法に係る処理について説明する。
【００４０】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）第１並び替え処理、（２）圧縮処理、および（３）第２並び替え処理を行う。
【００４１】
（１）第１並び替え処理
本実施形態に係る画像処理装置は、処理対象の画像データにおける第１分割領域それぞれに対応する画像データである第１分割画像データを、第２分割領域ごとに、第２分割領域それぞれに対応する順序で並び替える。
【００４２】
ここで、本実施形態に係る処理対象の画像データとしては、例えば、４Ｋや、ＨＤなど様々な解像度の画像（動画像、または、静止画像）を示す、画像データが挙げられる。具体例を挙げると、本実施形態に係る処理対象の画像データとしては、例えば、４Ｋ／４８０［フレーム／ｓｅｃ］や、ＨＤ／１０００［フレーム／ｓｅｃ］などの動画像を示す画像データが挙げられる。なお、本実施形態に係る処理対象の画像データが、上記に示す例に限られないことは、言うまでもない。
【００４３】
また、本実施形態に係る処理対象の画像データとしては、例えば、複数の撮像素子を有する撮像デバイスにおける撮像により生成された画像データ（以下、「撮像データ」と示す場合がある。）が挙げられる。また、本実施形態に係る処理対象の画像データは、記録媒体に記憶されている、撮像データなどの画像データであってもよい。以下では、本実施形態に係る処理対象の画像データが、撮像データである場合を例に挙げる。
【００４４】
本実施形態に係る処理対象の画像データは、例えば、ＲＡＷ画像を示す画像データであってもよいし、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）それぞれに対応する画像を示す複数の画像データであってもよい。
【００４５】
また、本実施形態に係る第１分割領域とは、処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された領域である。
【００４６】
本実施形態に係る第１分割領域としては、例えば、処理画像が水平方向および垂直方向にそれぞれ２分割された４つの領域が挙げられる。なお、本実施形態に係る第１分割領域は、上記４つの領域に限られず、分割数に応じた４以上の領域であってもよい。以下では、本実施形態に係る第１分割領域が、処理画像が水平方向および垂直方向にそれぞれ２等分に分割された４つの領域である場合を例に挙げる。
【００４７】
また、本実施形態に係る第２分割領域とは、例えば、処理画像が分割された領域であって、複数の第１分割領域からなる領域である。本実施形態に係る第２分割領域としては、例えば、処理画像が水平方向に分割された領域や、処理画像が垂直に分割された領域などが挙げられる。以下では、本実施形態に係る第２分割領域が、処理画像が垂直方向に分割された領域である場合を例に挙げる。
【００４８】
本実施形態に係る第２分割領域の具体例を挙げると、第２分割領域としては、処理画像が水平方向に２分割された２つの領域が挙げられる。なお、本実施形態に係る第２分割領域は、上記２つの領域に限られず、垂直方向の分割数に応じた３以上の領域であってもよい。以下では、本実施形態に係る第２分割領域が、処理画像が垂直方向に２分割された２つの領域である場合を例に挙げる。
【００４９】
より具体的には、本実施形態に係る画像処理装置は、第１分割領域ごとに第１分割画像データの並び順を特定する。ここで、処理対象の画像データが、複数の撮像素子を有する撮像デバイスにおける撮像により生成された撮像データである場合には、第１分割領域ごとに第１分割画像データの並び順は、第１分割領域それぞれに対応する撮像素子の読み出し順序に対応する。
【００５０】
本実施形態に係る画像処理装置は、例えば、第１分割領域ごとの並び順が設定されている第１順序情報（データ）に基づいて、第１分割領域ごとの第１分割画像データの並び順を特定する。本実施形態に係る第１順序情報は、例えば、ＲＯＭ（Read  Only  Memory）や、記憶部（後述する）、本実施形態に係る画像処理装置に接続されている外部記録媒体などの記録媒体に記憶され、本実施形態に係る画像処理装置は、当該記録媒体から第１順序情報を読み出すことによって、第１分割画像データの並び順を特定する。また、本実施形態に係る画像処理装置は、例えば、処理対象の画像データと共に本実施形態に係る第１順序情報を取得し、取得された第１順序情報に基づいて、第１分割画像データの並び順を特定してもよい。
【００５１】
第１分割領域ごとの第１分割画像データの並び順を特定すると、本実施形態に係る画像処理装置は、第２分割領域それぞれに対応する第１分割領域の第１分割画像データを、第２分割領域ごとに、第２分割領域それぞれに対応する順序で並び替える。
【００５２】
本実施形態に係る画像処理装置は、例えば、第２分割領域ごとの並び順が設定されている第２順序情報（データ）に基づいて、第２分割領域それぞれに対応する順序を特定する。本実施形態に係る第２順序情報は、例えば、ＲＯＭや、記憶部（後述する）、本実施形態に係る画像処理装置に接続されている外部記録媒体などの記録媒体に記憶され、本実施形態に係る画像処理装置は、当該記録媒体から第２順序情報を読み出すことによって、第２分割領域それぞれに対応する順序を特定する。ここで、第２順序情報が示す第２分割領域それぞれに対応する順序は、予め設定された固定の順序であってもよいし、ユーザ操作などに基づき設定された順序であってもよい。
【００５３】
本実施形態に係る第２分割領域それぞれに対応する順序での並び替えの一例については、後述する。
【００５４】
（２）圧縮処理
本実施形態に係る画像処理装置は、第２分割領域それぞれに対応する画像データ（以下、「第２分割画像データ」と示す。）それぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する。
【００５５】
本実施形態に係る所定の方式での変換としては、例えば、ウェーブレット変換や、離散コサイン変換（Discrete  Cosine  Transform。以下、「ＤＣＴ」と示す場合がある。）などが挙げられる。以下では、本実施形態に係る画像処理装置は、第２分割画像データをウェーブレット変換する場合を例に挙げる。
【００５６】
本実施形態に係る画像処理装置は、所定の方式で変換された画像データを、例えば、所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する。
【００５７】
ここで、本実施形態に係る所定の方式に対応する基準単位としては、例えば下記に示す例が挙げられる。
・ＴＵ（所定の方式が、ウェーブレット変換である場合）
・スライス（所定の方式が、ＤＣＴである場合）
【００５８】
また、本実施形態に係る基準単位に基づく所定の単位としては、例えば、基準単位そのものや、複数の基準単位、１フレームなどが挙げられる。以下では、本実施形態に係る所定の単位が、ＴＵである場合を主に例に挙げる。
【００５９】
なお、本実施形態に係る画像処理装置は、圧縮処理において、第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮することが可能な、任意の処理を行うことが可能である。
【００６０】
（３）第２並び替え処理
本実施形態に係る画像処理装置は、上記（２）の処理（圧縮処理）において圧縮された第２分割画像データを、処理画像全体に対応する順序で並び替える。
【００６１】
本実施形態に係る画像処理装置は、例えば、処理画像全体の並び順が設定されている第３順序情報（データ）に基づいて、処理画像全体に対応する順序を特定する。本実施形態に係る第３順序情報は、例えば、ＲＯＭや、記憶部（後述する）、本実施形態に係る画像処理装置に接続されている外部記録媒体などの記録媒体に記憶され、本実施形態に係る画像処理装置は、当該記録媒体から第３順序情報を読み出すことによって、処理画像全体に対応する順序を特定する。ここで、第３順序情報が示す処理画像全体に対応する順序は、予め設定された固定の順序であってもよいし、ユーザ操作などに基づき設定された順序であってもよい。
【００６２】
本実施形態に係る処理画像全体に対応する順序での並び替えの一例については、後述する。
【００６３】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（第１並び替え処理）、（２）の処理（圧縮処理）、および上記（３）の処理（第２並び替え処理）を行うことによって、処理対象の画像データが、所定の方式で変換され、量子化および符号化されて、処理対象の画像データが圧縮される。
【００６４】
なお、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第２並び替え処理）に限られない。
【００６５】
例えば、本実施形態に係る画像処理装置は、さらに、第１分割画像データそれぞれを補正する補正処理をさらに行ってもよい。
【００６６】
本実施形態に係る補正処理としては、例えば、欠陥画素と判定された画素の画素値を補間する補間処理が挙げられる。本実施形態に係る画像処理装置は、例えば、閾値処理などによって欠陥画素を判定し、欠陥画素と判定された画素に隣接する画素の画素値などを用いて、欠陥画素と判定された画素の画素値を補間する。
【００６７】
なお、本実施形態に係る補正処理は、上記補間処理に限られず、欠陥画素と判定された画素の画素値を補正することが可能な任意の画像処理が挙げられる。
【００６８】
本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理として、（４）補正処理をさらに行う場合、本実施形態に係る画像処理装置は、上記（１）の処理（第１並び替え処理）において、（４）補正処理において補正された第１分割画像データを、並び替える。
【００６９】
よって、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理として、（４）補正処理をさらに行う場合には、欠陥画素と判定された画素の画素値を補正しつつ、処理対象の画像データを圧縮することができる。
【００７０】
以下、本実施形態に係る画像処理方法に係る処理を実現することが可能な本実施形態に係る画像処理装置の構成の一例を挙げつつ、本実施形態に係る画像処理方法が用いられることにより奏される効果について説明する。
【００７１】
以下では、本実施形態に係る処理対象の画像データが、４Ｋ／４８０［フレーム／ｓｅｃ］の撮像データである場合を例に挙げる。また、以下では、本実施形態に係る第１分割領域が、処理画像が水平方向および垂直方向にそれぞれ２等分に分割された４つの領域であり、本実施形態に係る第２分割領域が、処理画像が水平方向に２分割された２つの領域である場合を例に挙げる。また、以下では、本実施形態に係る所定の方式での変換が、ウェーブレット変換である場合を例に挙げる。
【００７２】
（本実施形態に係る画像処理装置）
図４は、本実施形態に係る画像処理装置１００の構成一例を示すブロック図である。
【００７３】
画像処理装置１００は、例えば、撮像部１０２と、補正部１０４と、第１並び替え部１０６と、圧縮処理部１０８と、第２並び替え部１１０とを備える。
【００７４】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（Random  Access  Memory。図示せず）、外部装置と通信を行うための通信部（図示せず）、記憶部（図示せず）などを備えていてもよい。
【００７５】
制御部（図示せず）は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、画像処理装置１００において、補正部１０４、第１並び替え部１０６、圧縮処理部１０８、および第２並び替え部１１０のうちの１または２以上の役目を果たしてもよい。なお、補正部１０４、第１並び替え部１０６、圧縮処理部１０８、および第２並び替え部１１０のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【００７６】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００７７】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線または有線で通信を行う役目を果たす。ここで、通信部（図示せず）としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ（Radio  Frequency）回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００７８】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００７９】
図５は、図４に示す画像処理装置１００において処理される画像データの一例を示す説明図である。図５のＡは、図４の撮像部１０２から出力される画像データの一例を示しており、図５のＢは、図４の第１並び替え部１０６から出力される画像データの一例を示している。また、図５のＣは、図４の第２並び替え部１１０から出力される画像データ（図４に示す出力データ）の一例を示している。
【００８０】
以下、図５を適宜参照しながら、図４に示す画像処理装置１００の構成の一例について説明する。
【００８１】
撮像部１０２は、画像処理装置１００が備える撮像手段であり、画像（静止画像、または、動画像）を撮像し、撮像された画像を示す画像データを生成する。以下では、撮像部１０２が、４Ｋ／４８０［フレーム／ｓｅｃ］の動画像を撮像する場合を例に挙げる。
【００８２】
撮像部１０２としては、例えば、光学系のレンズと、ＣＭＯＳなどの撮像素子を複数用いたイメージセンサと、信号処理回路とで構成される撮像デバイスが挙げられる。信号処理回路は、例えば、ＡＧＣ回路やＡＤＣを備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。
【００８３】
また、撮像部１０２は、４つの第１分割領域それぞれに対応する撮像素子の読み出し順序での読み出しに応じた、第１分割領域ごとの第１分割画像データを、補正部１０４に伝達する。
【００８４】
図５のＡは、撮像部１０２から出力される画像データの一例である。図５のＡに示すＲ１〜Ｒ４は、４つの第１分割領域の一例である。図５のＡでは、第１分割領域が、処理画像が、水平方向および垂直方向にそれぞれ２等分に分割された領域である場合を示している。
【００８５】
撮像部１０２は、図５のＡのＲ１に示す図５における左上の領域、図５のＡのＲ２に示す図５における右上の領域、図５のＡのＲ３に示す図５における左下の領域、および図５のＡのＲ４に示す図５における右下の領域それぞれについて、下記のような第１分割画像データを補正部１０４に伝達する。
・左上の領域（図５のＡのＲ１）：画像の左上に対応する撮像素子からの読み出しに応じた画像データ
・右上の領域（図５のＡのＲ２）：画像の右上に対応する撮像素子からの読み出しに応じた画像データ
・左下の領域（図５のＡのＲ３）：画像の左下に対応する撮像素子からの読み出しに応じた画像データ
・右下の領域（図５のＡのＲ４）：画像の右下に対応する撮像素子からの読み出しに応じた画像データ
【００８６】
ここで、撮像部１０２を構成するイメージセンサは、例えば、撮像される画像の解像度に対応する数（例えば、４０９６（水平方向）×２１６０（垂直方向））よりも多くの数（例えば、４１６０（水平方向）×２１９２（垂直方向））の撮像素子を有する。撮像部１０２を構成するイメージセンサが、撮像される画像の解像度に対応する数よりも多くの数の撮像素子を有する場合、撮像部１０２を構成するイメージセンサから出力される画像データは、撮像される画像に対応する領域（いわゆる有効画像領域）の外側に、画像に対応しない領域（いわゆる無効領域）を有することとなる。
【００８７】
撮像部１０２を構成するイメージセンサが、撮像される画像の解像度に対応する数よりも多くの数の撮像素子を有する場合、撮像部１０２から出力される第１分割画像データには、無効領域に対応する撮像素子から読み出されたデータが含まれる。無効領域に対応する撮像素子から読み出されたデータは、例えば補正部１０４において、オフセット補正や、バラツキ補正に用いられる。
【００８８】
ここで、例えば補正部１０４が、無効領域に対応する撮像素子から読み出されたデータを用いてオフセット補正やバラツキ補正を行う場合には、無効領域に対応する撮像素子から順番に読み出されたデータの方が、処理を行い易い。そのため、撮像部１０２が補正部１０４に伝達する第１分割画像データの並び順は、例えば図５のＡのＲ１〜Ｒ４に示すような、無効領域に対応する撮像素子から順番に読み出される順序に対応することとなる。
【００８９】
なお、撮像部１０２が補正部１０４に伝達する第１分割画像データは、上記に示す例に限られない。例えば、撮像部１０２が補正部１０４に伝達する第１分割画像データの並び順は、複数の第１分割領域で同じであってもよい。
【００９０】
補正部１０４は、上記（４）の処理（補正処理）を主導的に行う役目を果たし、撮像部１０２から伝達される４系統の第１分割画像データそれぞれを並列に補正する。
【００９１】
図４では、補正部１０４が、例えば、図５のＡの領域Ｒ１に対応する第１分割画像データを処理する第１補正部１０４Ａと、図５のＡの領域Ｒ２に対応する第１分割画像データを処理する第２補正部１０４Ｂと、図５のＡの領域Ｒ３に対応する第１分割画像データを処理する第３補正部１０４Ｃと、図５のＡの領域Ｒ４に対応する第１分割画像データを処理する第４補正部１０４Ｄとを備える例を示している。画像処理装置１００では、例えば、複数のコアを有するプロセッサが補正部１０４として機能し、第１補正部１０４Ａ、第２補正部１０４Ｂ、第３補正部１０４Ｃ、および第４補正部１０４Ｄそれぞれには、プロセッサのコアがそれぞれ割り当てられる。そして、第１補正部１０４Ａ、第２補正部１０４Ｂ、第３補正部１０４Ｃ、および第４補正部１０４Ｄそれぞれは、並列に処理を行う。
【００９２】
補正部１０４における補正に係る処理としては、例えば、閾値処理などによって欠陥画素を判定し、欠陥画素と判定された画素に隣接する画素の画素値などを用いて、欠陥画素と判定された画素の画素値を補間する処理などが挙げられる。
【００９３】
第１並び替え部１０６は、上記（１）の処理（第１並び替え処理）を主導的に行う役目を果たし、第１分割画像データを、第２分割領域ごとに、第２分割領域それぞれに対応する順序で並び替える。
【００９４】
図５のＢは、第１並び替え部１０６から出力される画像データの一例である。図５のＢに示すＲ５、Ｒ６は、２つの第２分割領域の一例である。図５のＢでは、第２分割領域が、処理画像が、水平方向に２等分に分割された領域である場合を示している。
【００９５】
図４では、第１並び替え部１０６が、第１領域並び替え部１０６Ａと、第２領域並び替え部１０６Ｂとを備える例を示している。画像処理装置１００では、例えば、複数のコアを有するプロセッサが第１並び替え部１０６として機能し、第１領域並び替え部１０６Ａおよび第２領域並び替え部１０６Ｂそれぞれには、プロセッサのコアがそれぞれ割り当てられる。そして、第１領域並び替え部１０６Ａおよび第２領域並び替え部１０６Ｂそれぞれは、並列に処理を行う。
【００９６】
第１領域並び替え部１０６Ａは、第１補正部１０４Ａから伝達される第１分割画像データと第２補正部１０４Ｂから伝達される第１分割画像データとを、図５のＢの領域Ｒ５に示す第２分割領域に対応する順序で並び替える。具体的には、第１領域並び替え部１０６Ａは、例えば図５のＢのＲ５に示すように、第２分割領域の左上から水平方向への並べ替えを、垂直下方向に順に行うことによって、伝達される第１分割画像データを並び替える。
【００９７】
また、第２領域並び替え部１０６Ｂは、第３補正部１０４Ｃから伝達される第１分割画像データと第４補正部１０４Ｄから伝達される第１分割画像データとを、図５のＢの領域Ｒ６に示す第２分割領域に対応する順序で並び替える。具体的には、第２領域並び替え部１０６Ｂは、例えば図５のＢのＲ６に示すように、第２分割領域の左下から水平方向への並べ替えを、垂直上方向に順に行うことによって、伝達される第１分割画像データを並び替える。
【００９８】
なお、第１並び替え部１０６における第２分割領域ごとの並び替えの例は、図５のＢに示す例に限られない。例えば、第１並び替え部１０６は、複数の第２分割領域において、各第２分割領域に対応する第１分割画像データを同一の並び順で並び替えることも可能である。
【００９９】
圧縮処理部１０８は、上記（２）の処理（圧縮処理）を主導的に行う役目を果たし、第１並び替え部１０６から伝達される第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する。
【０１００】
図４では、圧縮処理部１０８が、第１領域並び替え部１０６Ａから伝達される第２分割画像データを圧縮する第１圧縮処理部１０８Ａと、第２領域並び替え部１０６Ｂから伝達される第２分割画像データを圧縮する第２圧縮処理部１０８Ｂとを備える例を示している。画像処理装置１００では、例えば、複数のコアを有するプロセッサが圧縮処理部１０８として機能し、第１圧縮処理部１０８Ａおよび第２圧縮処理部１０８Ｂそれぞれには、プロセッサのコアがそれぞれ割り当てられる。そして、第１圧縮処理部１０８Ａおよび第２圧縮処理部１０８Ｂそれぞれは、並列に処理を行う。
【０１０１】
第１圧縮処理部１０８Ａと第２圧縮処理部１０８Ｂとは、例えば、第２分割画像データに対してウェーブレット変換を行い、ウェーブレット変換された画像データを量子化し、可変長符号化して圧縮する。また、第１圧縮処理部１０８Ａと第２圧縮処理部１０８Ｂとは、例えばＤＣＴなど、画像データの圧縮に係る処理に用いることが可能な任意の方式で、第２分割画像データを変換してもよい。
【０１０２】
第１圧縮処理部１０８Ａと第２圧縮処理部１０８Ｂとが、ウェーブレット変換を行う場合には、第１圧縮処理部１０８Ａと第２圧縮処理部１０８Ｂとは、例えば、第２並び替え部１１０において並び替えを行った際に、ＴＵ単位が整合するように、ＴＵ単位を合わせる。
【０１０３】
図６Ａ、図６Ｂは、図４に示す圧縮処理部１０８における処理の一例を説明するための説明図である。図６Ａは、第１圧縮処理部１０８Ａにおけるウェーブレット変換のＴＵ単位の各成分の重心の組み合わせの一例を示しており、図６のＢは、第２圧縮処理部１０８Ｂにおけるウェーブレット変換のＴＵ単位の各成分の重心の組み合わせの一例を示している。
【０１０４】
第１領域並び替え部１０６Ａにおける第１分割画像データを並び替え順と、第２領域並び替え部１０６Ｂにおける第１分割画像データを並び替え順とが、例えば図５のＢのＲ５、Ｒ６に示す例の場合、第１圧縮処理部１０８Ａは、図６ＡのＡをＴＵ単位とし、第２圧縮処理部１０８Ｂは、図６ＢのＢをＴＵ単位とする。上記の場合には、第１圧縮処理部１０８Ａが図６ＡのＡをＴＵ単位として、第２圧縮処理部１０８Ｂが図６ＢのＢをＴＵ単位とすることによって、圧縮処理部１０８は、図５のＢのＲ５、Ｒ６に示す２つの第２分割領域におけるＴＵ単位を合わせることができる。
【０１０５】
圧縮処理部１０８は、例えば、記録媒体に記憶されている第２順序情報に基づいて、第２分割領域ごとの第２分割画像データの並び順を特定して、第２分割領域におけるＴＵ単位を合わせる。なお、本実施形態に係るＴＵ単位は、図６Ａ、図６Ｂに示す例に限られず、第２分割領域ごとの第２分割画像データの並び順に応じて変わりうる。
【０１０６】
第２並び替え部１１０は、上記（３）の処理（第２並び替え処理）を主導的に行う役目を果たし、圧縮処理部１０８から伝達される圧縮された第２分割画像データを、処理画像全体に対応する順序で並び替える。
【０１０７】
図５のＣは、第２並び替え部１１０から出力される画像データの一例である。第２並び替え部１１０は、例えば図５のＣに示すように、処理画像の左上から水平方向への並べ替えを、垂直下方向に順に行うことによって、伝達される圧縮された第２分割画像データを並び替える。
【０１０８】
画像処理装置１００は、例えば図４に示す構成によって、本実施形態に係る画像処理方法に係る上記（４）の処理（補正処理）、および上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第３並び替え処理）を行い、撮像部１０２において撮像により生成された画像データを圧縮する。
【０１０９】
ここで、画像処理装置１００は、圧縮処理部１０８において、第２分割領域ごとに第２分割画像データを圧縮した後に、第２並び替え部１１０で、圧縮された第２分割画像データを処理画像全体に対応する順序で並び替える。よって、画像処理装置１００は、並び替えの際に用いられるメモリ（フレームメモリ）の帯域と容量とを、画像データが圧縮される分、小さくすることができる。
【０１１０】
また、画像処理装置１００は、例えば、第１並び替え部１０６および圧縮処理部１０８の各部における処理を並列に行うので、各処理の際に用いられるメモリの帯域と容量とを、処理画像全体を処理する場合よりも小さくすることができる。
【０１１１】
また、例えば図４に示す構成によって処理を並列に行うことができるので、画像処理装置１００は、広帯域化を実現することができる。
【０１１２】
また、画像処理装置１００は、図１に示す画像処理装置１０のような、１２０［フレーム／ｓｅｃ］の画像データへの変換は行わない。よって、画像処理装置１００は、図１に示す画像処理装置１０において、１２０［フレーム／ｓｅｃ］の画像データに変換することにより生じる遅延が生じないので、遅延をより小さくすることができる。
【０１１３】
図７は、図４に示す画像処理装置１００において生じうる遅延の一例を示す説明図である。図７に示すＦｎは、処理対象の画像データにおける各フレームの画像を示している。図７に示すＡは、図３のＡと同様に、等長化単位を、ウェーブレット変換の１水平単位であるＴＵとした場合において生じうる遅延の一例を示している。また、図７に示すＢは、図３のＢと同様に、等長化単位を１フレームとした場合において生じうる遅延の一例を示している。
【０１１４】
図７のＡ、図７のＢに示すように、画像処理装置１００は、図１に示す画像処理装置１０のような１２０［フレーム／ｓｅｃ］の画像データへの変換を行わないので、図３のＡ、図３のＢに示す画像処理装置１０において生じる遅延よりも、より遅延を小さくなっていることが分かる。
【０１１５】
したがって、画像処理装置１００は、例えば図４に示す構成によって、画像データの圧縮における遅延の低減を図ることができる。
【０１１６】
なお、本実施形態に係る画像処理装置の構成は、図４に示す構成に限られない。
【０１１７】
例えば、本実施形態に係る画像処理装置が、外部の撮像デバイスにより撮像により生成された画像データや、記憶部（図示せず）などの記録媒体に記憶されている画像データを処理する場合には、本実施形態に係る画像処理装置は、撮像部１０２を備えていなくてもよい。
【０１１８】
また、本実施形態に係る画像処理装置は、（撮像部１０２を備えているか否かによらず、）補正部１０４を備えない構成をとることも可能である。
【０１１９】
本実施形態に係る画像処理装置が、上記いずれかの構成をとる場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第２並び替え処理）を行うことが可能である。
【０１２０】
よって、本実施形態に係る画像処理装置が、上記いずれかの構成をとる場合であっても、本実施形態に係る画像処理装置は、図４に示す画像処理装置１００と同様に、画像データの圧縮における遅延の低減を図ることができる。また、本実施形態に係る画像処理装置が、上記いずれかの構成をとる場合であっても、本実施形態に係る画像処理装置は、図４に示す画像処理装置１００と同様に、並び替えなどの各処理に用いられるメモリの帯域と容量とを小さくすることができる。
【０１２１】
（本実施形態に係る画像処理システム）
上記では、本実施形態に係る画像処理方法が、１つの画像処理装置に適用される例を示したが、本実施形態に係る画像処理方法は、複数の装置（画像処理装置）を有する画像処理システムにおいて行われることも可能である。そこで、次に、本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理システムについて説明する。
【０１２２】
［Ｉ］本実施形態に係る画像処理システムの一例の概要
図８は、本実施形態に係る画像処理システム１０００の一例を示す説明図である。図８に示す、画像処理システム１０００は、撮像装置２００（第１の画像処理装置の一例）と、処理装置３００（第２の画像処理装置の一例）とを有する。画像処理システム１０００は、撮像装置２００において撮像された画像を、処理装置３００が、Ｌｉｖｅ映像としてリアルタイムで外部装置に送信し、また、Ｒｅｐｌａｙ映像として非リアルタイムで外部装置に送信する、本実施形態に係る画像処理システムの一例である。
【０１２３】
また、画像処理システム１０００を構成する処理装置３００は、撮像装置２００において撮像された画像の一部の領域に対応する画像を、外部装置へ送信する機能（図８に示す“ＨＤ  Ｃｕｔ  Ｏｕｔ”）や、撮像装置２００において撮像された画像の一部の領域に対応する画像がダウンコンバートされた画像を、外部装置へ送信する機能（図８に示す“ＨＤ  Ｄｏｗｎ  Ｃｏｎｖ．”）を有していてもよい。また、画像処理システム１０００を構成する処理装置３００は、ネットワークを介して（または、直接的に）、外部装置に対して画像データを送信する機能を有していてもよい。
【０１２４】
図８では、処理装置３００が各種画像を示す画像データを送信する対象の外部装置として、外部装置４００Ａ、４００Ｂ、４００Ｃ、４００Ｄを示している。以下では、処理装置３００が画像データを送信する対象の外部装置４００Ａ、４００Ｂ、４００Ｃ、４００Ｄ、…を、総称して「外部装置４００」と示す。また、図８の外部装置４００Ｄに示すように、処理装置３００が送信した画像データは、さらに他の外部装置４００Ｅとの間で送受信されてもよい。
【０１２５】
撮像装置２００は、動画像を撮像し、撮像された動画像を示す画像データを、処理装置３００へ送信する。以下では、撮像装置２００が、４Ｋ／４８０［フレーム／ｓｅｃ］の動画像を撮像する場合を例に挙げる。
【０１２６】
処理装置３００は、撮像装置２００から送信される画像データを処理し、外部装置４００に対して、各種画像を示す画像データを送信する。図９は、本実施形態に係る画像処理システム１０００を構成する処理装置３００の、ハードウェア構成の概念の一例を示す説明図である。なお、処理装置３００の、ハードウェア構成の概念が、図９に示す例に限られないことは、言うまでもない。
【０１２７】
また、処理装置３００は、例えば、撮像装置２００における撮像を制御する、いわゆるカメラコントロール機能（ＣＣＵ機能）を有してもよい。
【０１２８】
［ＩＩ］  本実施形態に係る画像処理方法が適用される本実施形態に係る画像処理システムの構成の一例
次に、本実施形態に係る画像処理方法が適用される本実施形態に係る画像処理システムの構成の一例について、説明する。
【０１２９】
以下では、本実施形態に係る画像処理システムが、図８に示す画像処理システム１０００である場合を例に挙げる。なお、本実施形態に係る画像処理システムが、図８に示す画像処理システム１０００に限られないことは、言うまでもない。
【０１３０】
また、以下では、本実施形態に係る第１分割領域が、処理画像が水平方向および垂直方向にそれぞれ２等分に分割された４つの領域であり、本実施形態に係る第２分割領域が、処理画像が垂直方向に２分割された２つの領域である場合を例に挙げる。
【０１３１】
図１０は、本実施形態に係る画像処理システムの構成の一例を示す説明図であり、画像処理システム１０００を構成する撮像装置２００（第１の画像処理装置の一例）と、処理装置３００（第２の画像処理装置の一例）とを示している。
【０１３２】
図１１は、図１０に示す画像処理システム１０００において処理される画像データの一例を示す説明図である。図１１のＡは、図１０の撮像装置２００が備える撮像部２０２から出力される画像データの一例を示しており、図１１のＢは、図１０の撮像装置２００が備える並び替え部２０６から出力される画像データの一例を示している。また、図１１のＣは、図１０の処理装置３００が備える第２並び替え部３１４から出力される画像データの一例を示しており、図１１のＤは、図１０の処理装置３００が備える第２伸長部３２２から出力される画像データの一例を示している。
【０１３３】
以下、図１１を適宜参照しながら、図１０に示す画像処理システム１０００の構成の一例について説明する。
【０１３４】
［ＩＩ−１］撮像装置２００
撮像装置２００は、撮像部２０２と、補正部２０４と、並び替え部２０６と、圧縮処理部２０８と、通信部２１０とを備える。
【０１３５】
ここで、図１０に示す撮像装置２００では、補正部２０４が、上記（４）の処理（補正処理）を行う役目を果たし、並び替え部２０６が、上記（１）の処理（第１並び替え処理）を行う役目を果たす。また、図１０に示す撮像装置２００では、例えば、圧縮処理部２０８が、上記（２）の処理（圧縮処理）を行う役目を果たす。
【０１３６】
また、図１０に示す撮像装置２００では、撮像部２０２、補正部２０４、並び替え部２０６、および圧縮処理部２０８は、図４に示す画像処理装置１００の構成要素と下記のように対応する。
・撮像部２０２：画像処理装置１００の撮像部１０２
・補正部２０４：画像処理装置１００の補正部１０４
・並び替え部２０６：画像処理装置１００の第１並び替え部１０６
・圧縮処理部２０８：画像処理装置１００の圧縮処理部１０８
【０１３７】
また、撮像装置２００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、記憶部（図示せず）などを備えていてもよい。
【０１３８】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、撮像装置２００全体を制御する。また、制御部（図示せず）は、例えば、撮像装置２００において、補正部２０４、並び替え部２０６、および圧縮処理部２０８のうちの１または２以上の役目を果たしてもよい。なお、補正部２０４、並び替え部２０６、および圧縮処理部２０８のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０１３９】
撮像部２０２は、例えば図４の撮像部１０２と同様の構成、機能を有する。撮像部２０２は、画像（静止画像、または、動画像）を撮像し、撮像された画像を示す画像データを生成する。また、撮像部２０２は、４つの第１分割領域それぞれに対応する撮像素子の読み出し順序での読み出しに応じた、第１分割領域ごとの第１分割画像データを、補正部２０４に伝達する。
【０１４０】
補正部２０４は、例えば図４の補正部１０４と同様の機能を有し、撮像部２０２から伝達される４系統の第１分割画像データそれぞれを並列に補正する。
【０１４１】
図１０では、補正部２０４が、例えば、図１１のＡの領域Ｒ１に対応する第１分割画像データを処理する第１補正部２０４Ａと、図１１のＡの領域Ｒ２に対応する第１分割画像データを処理する第２補正部２０４Ｂと、図１１のＡの領域Ｒ３に対応する第１分割画像データを処理する第３補正部２０４Ｃと、図１１のＡの領域Ｒ４に対応する第１分割画像データを処理する第４補正部２０４Ｄとを備える例を示している。第１補正部２０４Ａ、第２補正部２０４Ｂ、第３補正部２０４Ｃ、および第４補正部２０４Ｄそれぞれは、並列に処理を行う。
【０１４２】
並び替え部２０６は、例えば図４の第１並び替え部１０６と同様の機能を有し、第１分割画像データを、第２分割領域ごとに、第２分割領域それぞれに対応する順序で並び替える。図１０では、並び替え部２０６が、第１領域並び替え部２０６Ａと、第２領域並び替え部２０６Ｂとを備え、第１領域並び替え部２０６Ａおよび第２領域並び替え部２０６Ｂが並列に処理を行う例を示している。
【０１４３】
図１１のＢは、並び替え部２０６から出力される画像データの一例である。図１１のＢに示すＲ５、Ｒ６は、２つの第２分割領域の一例である。図１１のＢでは、第２分割領域が、処理画像が、水平方向に２等分に分割された領域である場合を示している。
【０１４４】
第１領域並び替え部２０６Ａは、例えば図１１のＢのＲ５に示すように、図４に示す第１領域並び替え部１０６Ａと同様の順序で、第１補正部２０４Ａから伝達される第１分割画像データと第２補正部２０４Ｂから伝達される第１分割画像データとを、並び替える。また、第２領域並び替え部２０６Ｂは、例えば図１１のＢのＲ６に示すように、図４に示す第２領域並び替え部１０６Ｂと同様の順序で、第３補正部２０４Ｃから伝達される第１分割画像データと第４補正部２０４Ｄから伝達される第１分割画像データとを、並び替える。なお、並び替え部２０６における第２分割領域ごとの並び替えの例が、図１１のＢに示す例に限られないことは、言うまでもない。
【０１４５】
圧縮処理部２０８は、例えば図４の圧縮処理部１０８と同様の機能を有し、並び替え部２０６から伝達される第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する。図１０では、圧縮処理部２０８が、第１領域並び替え部２０６Ａから伝達される第２分割画像データを圧縮する第２圧縮処理部１０８Ａと、第２領域並び替え部２０６Ｂから伝達される第２分割画像データを圧縮する第２圧縮処理部２０８Ｂとを備え、第１圧縮処理部２０８Ａおよび第２圧縮処理部２０８Ｂが並列に処理する例を示している。
【０１４６】
通信部２１０は、圧縮処理部２０８から伝達される圧縮された第２分割画像データを、処理装置３００へ送信する。通信部２１０としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路などが挙げられる。
【０１４７】
撮像装置２００は、例えば図１０に示す構成によって、撮像により生成された画像データを圧縮し、圧縮された画像データを、処理装置３００へ送信する。
【０１４８】
［ＩＩ−２］処理装置３００
処理装置３００は、例えば、通信部３０２と、第１伸長部３０４と、フレーム加算部３０６と、第１並び替え部３０８と、第１現像部３１０と、第１出力部３１２と、第２並び替え部３１４と、再圧縮部３１６と、記録再生制御部３１８と、記録媒体３２０と、第２伸長部３２２と、第２現像部３２４と、第２出力部３２６とを備える。
【０１４９】
ここで、図１０に示す処理装置３００では、第２並び替え部３１４が、上記（３）の処理（第２並び替え処理）を行う役目を果たし、第２並び替え部３１４が、図４に示す画像処理装置１００の第２並び替え部１１０と対応する。
【０１５０】
また、処理装置３００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、記憶部（図示せず）などを備えていてもよい。
【０１５１】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、処理装置３００全体を制御する。また、制御部（図示せず）は、例えば、処理装置３００において、第１伸長部３０４、フレーム加算部３０６、第１並び替え部３０８、第１現像部３１０、第１出力部３１２、第２並び替え部３１４、再圧縮部３１６、記録再生制御部３１８、第２伸長部３２２、第２現像部３２４、および第２出力部３２６のうちの１または２以上の役目を果たしてもよい。なお、第１伸長部３０４、フレーム加算部３０６、第１並び替え部３０８、第１現像部３１０、第１出力部３１２、第２並び替え部３１４、再圧縮部３１６、記録再生制御部３１８、第２伸長部３２２、第２現像部３２４、および第２出力部３２６のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０１５２】
通信部３０２は、撮像装置２００から送信される圧縮された第２分割画像データを、受信する。通信部３０２としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路などが挙げられる。
【０１５３】
第１伸長部３０４は、通信部３０２により受信された第２分割画像データそれぞれを、復号、逆量子化し、所定の方式で逆変換することによって、伸長する。図１０では、第１伸長部３０４が、一方の第２分割画像データを処理する第１領域伸長部３０４Ａと、他方の第２分割画像データを処理する第２領域伸長部３０４Ｂとを備え、第１領域伸長部３０４Ａおよび第２領域伸長部３０４Ｂが並列に処理を行う例を示している。
【０１５４】
第１領域伸長部３０４Ａと第２領域伸長部３０４Ｂとは、例えば、圧縮された第２分割画像データを、撮像装置２００が備える圧縮処理部が用いる可変長符号化方式と対応する可変長復号方式で、復号する。また、第１領域伸長部３０４Ａと第２領域伸長部３０４Ｂとは、例えば、復号された画像データを逆量子化する。そして、第１領域伸長部３０４Ａと第２領域伸長部３０４Ｂとは、例えば逆ウェーブレット変換など、撮像装置２００が備える圧縮処理部が用いる所定の方式に対応する方式で逆変換する。
【０１５５】
第１並び替え部３０８は、第１伸長部３０４において伸長された第２分割画像データを、処理画像全体に対応する順序で並び替える。
【０１５６】
第１並び替え部３０８は、例えば、処理画像全体の並び順が設定されている順序情報（データ）に基づいて、処理画像全体に対応する順序を特定して、特定された順序で並び替える。本実施形態に係る順序情報は、例えば、ＲＯＭや、記憶部（後述する）、本実施形態に係る画像処理装置に接続されている外部記録媒体などの記録媒体に記憶され、処理装置３００は、当該記録媒体から順序情報を読み出すことによって、処理画像全体に対応する順序を特定する。ここで、順序情報が示す処理画像全体に対応する順序は、予め設定された固定の順序であってもよいし、ユーザ操作などに基づき設定された順序であってもよい。
【０１５７】
フレーム加算部３０６は、第１並び替え部３０８において伸長された画像データにフレームを加算する。図１０では、フレーム加算部３０６が、一方の伸長された第２分割画像データを処理する第１フレーム加算部３０６Ａと、他方の伸長された第２分割画像データを処理する第２フレーム加算部３０６Ｂとを備え、第１フレーム加算部３０６Ａおよび第２フレーム加算部３０６Ｂが並列に処理を行う例を示している。
【０１５８】
例えば、伸長された画像データが、４８０［フレーム／ｓｅｃ］の画像データである場合には、第１フレーム加算部３０６Ａと第２フレーム加算部３０６Ｂとは、例えば、８フレームを加算することによって、６０［フレーム／ｓｅｃ］の画像データに変換する。
【０１５９】
第１現像部３０６は、例えば、ＲＡＷ現像に係る各種処理を行うことによって、フレーム加算部３０６から伝達される画像データを、Ｌｉｖｅ映像を示す画像データとする。
【０１６０】
第１出力部３１２は、第１現像部３０６において処理された画像データ（Ｌｉｖｅ映像を示す画像データ）を、外部装置４００へ送信させる。第１出力部３１２は、例えば、通信部３０２を構成する通信デバイスや、処理装置３００に接続されている外部の通信デバイスに画像データを送信させる。
【０１６１】
第２並び替え部３１４は、図４に示す画像処理装置１００の第２並び替え部１１０と同様の機能を有し、通信部３０２により受信された第２分割画像データを、処理画像全体に対応する順序で並び替える。
【０１６２】
図１１のＣは、第２並び替え部３１４から出力される画像データの一例である。第２並び替え部３１４は、例えば、図１１のＣに示すように図４に示す第２並び替え部１１０と同様の順序で、通信部３０２により受信された第２分割画像データを並び替える。
【０１６３】
再圧縮部３１６は、第２並び替え部３１４から伝達される圧縮された画像データを伸長した後に、再度圧縮する。再圧縮部３１６は、例えば第１伸長部３０４と同様に、圧縮された画像データを復号、逆量子化することによって、伸長する。また、再圧縮部３１６は、例えば、伸長された画像データを、量子化、可変長符号化することによって、再度圧縮する。
【０１６４】
ここで、画像処理システム１０００では、処理装置３００は、撮像装置２００よりも消費電力の低減の要求が小さく、また、撮像装置２００よりもより処理能力が高いことが想定される。よって、処理装置３００の再圧縮部３１６は、撮像装置２００の圧縮処理部２０８よりもより高画質、高圧縮な圧縮方式に係る処理を行うことができる可能性が高い。
【０１６５】
よって、再圧縮部３１６は、例えば、撮像装置２００の圧縮処理部２０８における圧縮方式とは異なる圧縮方式を用いて、伸長された画像データを、再度圧縮する。具体例を挙げると、圧縮処理部２０８がＴＵ単位で量子化を行っていた場合、再圧縮部３１６はフレーム単位で量子化を行うことなど、より高画質、高圧縮な圧縮方式を用いて、伸長された画像データを、再度圧縮する。
【０１６６】
記録再生制御部３１８は、再圧縮部３１６により圧縮された画像データを、記録媒体３２０に記録する。ここで、記録媒体３２０としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
【０１６７】
また、記録再生制御部３１８は、記録媒体３２０に記憶されている圧縮された画像データを、６０［フレーム／ｓｅｃ］で読み出すことによって、６０［フレーム／ｓｅｃ］の画像データとして第２伸長部３２２へ伝達する。
【０１６８】
第２伸長部３２２は、第１伸長部３０４と同様に、記録再生制御部３１８から伝達される圧縮された画像データを、復号、逆量子化し、所定の方式で逆変換することによって、伸長する。
【０１６９】
図１１のＤは、第２伸長部３２２から出力される画像データの一例である。図１１のＤに示すように、第２伸長部３２２から出力される画像データの並び順は、図１１のＣに示す画像データと同一である。
【０１７０】
第２現像部３２４は、例えば、ＲＡＷ現像に係る各種処理を行うことによって、第２伸長部３２２から伝達される画像データを、Ｒｅｐｌａｙ映像を示す画像データとする。
【０１７１】
第２出力部３２６は、第２現像部３２４において処理された画像データ（Ｒｅｐｌａｙ映像を示す画像データ）を、外部装置４００へ送信させる。第２出力部３２６は、例えば、通信部３０２を構成する通信デバイスや、処理装置３００に接続されている外部の通信デバイスに画像データを送信させる。
【０１７２】
画像処理システム１０００が、例えば図１０に示す撮像装置２００と処理装置３００とを有することによって、Ｌｉｖｅ映像を示す画像データと、Ｒｅｐｌａｙ映像を示す画像データとを、外部装置へ送信することが可能なシステムが実現される。
【０１７３】
また、画像処理システム１０００が、例えば図１０に示す撮像装置２００と処理装置３００とを有することによって、本実施形態に係る画像処理方法に係る処理（上記（４）の処理（補正処理）、および上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第３並び替え処理））を、撮像装置２００と処理装置３００とにおいて分散して行うことが可能な、画像処理システムが実現される。
【０１７４】
ここで、画像処理システム１０００では、図１の画像処理装置１０のように、一旦、１２０［フレーム／ｓｅｃ］に変換する必要がないので、変換のためのメモリ（フレームメモリ）が不要であり、また、当該変換による遅延も発生しない。よって、画像処理システム１０００を構成する撮像装置２００は、画像処理装置１０の構成をとる場合よりも、小型化と低消費電力化を図ることができ、また、画像処理システム１０００における遅延をより低減することが可能となる。
【０１７５】
また、画像処理システム１０００の処理装置３００が備える第２並び替え部３１４が処理する画像データ（第２分割画像データ）は、圧縮された画像データであるので、第２並び替え部３１４における処理に係るメモリの帯域、および容量を小さくすることが可能となる。
【０１７６】
また、画像処理システム１０００では、処理装置３００が備える再圧縮部３１６が、撮像装置２００の圧縮処理部２０８における圧縮方式よりも、より高画質、高圧縮な圧縮方式を用いて、画像データを圧縮することができる可能性が高い。ここで、処理装置３００が備える再圧縮部３１６が、撮像装置２００の圧縮処理部２０８における圧縮方式よりも、より高画質、高圧縮な圧縮方式を用いて、画像データを圧縮する場合には、画像処理システム１０００では、記録媒体３２０に記憶される画像データの高画質化、および高圧縮化を実現することが可能であるよって、上記の場合には、画像処理システム１０００は、Ｒｅｐｌａｙ系の画像データの高画質化と高圧縮化（長時間記録）の両立を図ることができる。
【０１７７】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、撮像装置や、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、テレビ受像機、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像データを処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１７８】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第３並び替え処理）”や、“上記（１）の処理（第１並び替え処理）〜上記（３）の処理（第３並び替え処理）、および上記（４）の処理（補正処理）”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、画像データの圧縮における遅延の低減を図ることができる。
【０１７９】
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。
【０１８０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８１】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１８２】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１８３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１８４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の前記第１分割領域からなる前記処理画像が分割された第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替える第１並び変え部と、
前記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮する圧縮処理部と、
圧縮された前記第２分割画像データを、前記処理画像全体に対応する順序で並び替える第２並び変え部と、
を備える、画像処理装置。
（２）
前記第１並び変え部は、
前記第１分割領域ごとに前記第１分割画像データの並び順を特定し、
前記第２分割領域それぞれに対応する前記第１分割領域の第１分割画像データを、前記第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替える、（１）に記載の画像処理装置。
（３）
前記処理対象の画像データは、複数の撮像素子を有する撮像デバイスにおける撮像により生成された画像データであり、
前記第１分割領域ごとの前記第１分割画像データの並び順は、前記第１分割領域それぞれに対応する撮像素子の読み出し順序に対応する、（２）に記載の画像処理装置。
（４）
前記第１分割領域は、前記処理画像が水平方向および垂直方向にそれぞれ２分割された４つの領域であり、
前記第２分割領域は、前記処理画像が垂直方向に２分割された２つの領域である、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記第１分割画像データそれぞれを補正する補正部をさらに備え、
前記第１並び変え部は、前記補正部において補正された前記第１分割画像データを、並び替える、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
処理対象の画像データが示す処理画像が水平方向および垂直方向に分割された第１分割領域それぞれに対応する画像データである第１分割画像データを、複数の前記第１分割領域からなる前記処理画像が分割された第２分割領域ごとに、前記第２分割領域それぞれに対応する順序で並び替えるステップと、
前記第２分割領域それぞれに対応する画像データである第２分割画像データそれぞれを、所定の方式で変換し、量子化し、可変長符号化して圧縮するステップと、
圧縮された前記第２分割画像データを、前記処理画像全体に対応する順序で並び替えるステップと、
を有する、画像処理装置により実行される画像処理方法。
【符号の説明】
【０１８５】
１０、１００    画像処理装置
１２、１０２、２０２    撮像部
１４、１０６、３０８    第１並び替え部
１６、１０４、２０４    補正部
１８、１０８、２０８    圧縮処理部
２０、１１０、３１４    第２並び替え部
２００    撮像装置
２１０、３０２    通信部
３００    処理装置
４００、４００Ａ、４００Ｂ、４００Ｃ、４００Ｄ、４００Ｅ    外部装置
１０００    画像処理システム
【図１】
2015195526.tif 000003
【図２】
2015195526.tif 000004
【図３】
2015195526.tif 000005
【図４】
2015195526.tif 000006
【図５】
2015195526.tif 000007
【図６Ａ】
2015195526.tif 000008
【図６Ｂ】
2015195526.tif 000009
【図７】
2015195526.tif 000010
【図８】
2015195526.tif 000011
【図９】
2015195526.tif 000012
【図１０】
2015195526.tif 000013
【図１１】
2015195526.tif 000014