(57)【要約】【課題】所定の画像と選択領域の画像とを良好に取得し得る画像処理装置及び画像処理方法を提供する。【解決手段】画像を取得する取得手段と、画像の少なくとも一部を選択する選択領域を設定する設定手段と、設定手段による選択領域の設定に基づいて、他の領域の画素値を参照することなく復号化が可能な領域であるタイルに画像を分割する分割手段と、選択領域に対応するタイルを符号化する符号化手段とを有している。【選択図】図４
2018088600.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記画像の少なくとも一部を選択する選択領域を設定する設定手段と、
前記設定手段による前記選択領域の設定に基づいて、他の領域の画素値を参照することなく復号化が可能な領域であるタイルに前記画像を分割する分割手段と、
前記選択領域に対応する前記タイルを符号化する符号化手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記符号化手段は、前記選択領域以外の領域に対応する前記タイルをも符号化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択領域を表示画面に表示する表示制御手段を更に有し、
前記選択領域は、縦長であり、
前記表示画面が横長の状態である場合には、前記表示制御手段は、横長の状態の前記表示画面に縦長の前記選択領域を表示し、
前記表示画面が縦長の状態である場合には、前記表示制御手段は、縦長の状態の前記表示画面に縦長の前記選択領域を表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記表示画面に収まるように前記選択領域のサイズを設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択領域は、変更可能であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記選択領域は、移動、拡大及び縮小のうちの少なくともいずれかが可能であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得手段は、動画像を構成する複数の前記画像を順次取得し、
前記設定手段は、複数の前記画像を含むグループ・オブ・ピクチャの切り替わりの際に前記選択領域を変更することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記選択領域は、複数の候補のうちから選択されることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記取得手段を横長にした状態で取得された前記画像に対して前記分割手段によって行われる分割の態様と、前記取得手段を縦長にした状態で取得された前記画像に対して前記分割手段によって行われる分割の態様とが異なることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記設定手段は、画角の変更に応じて前記選択領域を拡大又は縮小することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記取得手段の姿勢が変化した場合であっても、前記選択領域のサイズを一定に保持することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記符号化手段は、前記取得手段の姿勢が変化した場合に、前記選択領域以外の部分に対応する前記タイルに所定データを用いることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記符号化手段は、前記画像が取得された際の前記取得手段の姿勢に依存することなく、前記選択領域を同一の方向にスキャンすることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記表示画面が被写体に向いている場合に、前記設定手段が前記選択領域の設定を行うことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１５】
所定の機器との通信が確立されている場合に、前記設定手段が前記選択領域の設定を行うことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１６】
前記選択領域に対応する前記タイルを順次符号化することによって生成される第１の画像群と、少なくとも前記選択領域以外の領域に対応する前記タイルを順次符号化することによって生成される第２の画像群とを生成するファイル生成手段を更に有することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
取得手段によって取得される画像の少なくとも一部を選択する選択領域を設定するステップと、
前記選択領域を設定するステップにおいて設定された前記選択領域に基づいて、他の領域の画素値を参照することなく復号化が可能な領域であるタイルに前記画像を分割するステップと、
前記選択領域に対応する前記タイルを符号化するステップと
を有することを特徴とする画像処理方法。
【請求項１８】
コンピュータに、
取得手段によって取得される画像の少なくとも一部を選択する選択領域を設定するステップと、
前記選択領域を設定するステップにおいて設定された前記選択領域に基づいて、他の領域の画素値を参照することなく復号化が可能な領域であるタイルに前記画像を分割するステップと、
前記選択領域に対応する前記タイルを符号化するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
動画像データを圧縮符号化する画像処理装置として、撮像装置や携帯型通信装置等が知られている。このような画像処理装置は、撮像部によって動画像信号を取得し、取得した動画像信号を圧縮符号化し、圧縮符号化が行われた動画像ファイルを記録媒体に記録する。携帯型通信装置は、画面を縦長の状態にして使用することが一般的である。このため、画像が横長であっても、縦長の状態の表示画面で画像の閲覧を行うユーザが存在する。このような状況の下、携帯型通信装置で画像の閲覧が行われることを想定し、縦長の画像、即ち、縦画像を撮影してＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）等にアップロードするユーザも存在する。一方、据置型のテレビ受信機等で画像を閲覧する場合には、横長の画面で画像が閲覧されるため、横長の画像、即ち、横画像を撮影することが望ましい。このような再生環境の多様化に伴い、撮像部を横長に保持した状態で、縦長の画像を取得し得る撮像装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２８６５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された撮像装置では、縦長の画像と横長の画像とを取得することはできなかった。ここで、横長の画像から縦長の画像を事後的に生成することも考えられるが、この場合には再エンコードを伴うため、こうして得られる縦長の画像は劣化した画像となってしまう。
【０００５】
本発明の目的は、所定の画像と選択領域の画像とを良好に取得し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、画像の撮像を行う撮像手段と、前記画像の少なくとも一部を選択する選択領域を設定する設定手段と、前記設定手段による前記選択領域の設定に基づいて、他の領域の画素値を参照することなく復号化が可能な領域であるタイルに前記画像を分割する分割手段と、前記選択領域に対応する前記タイルを符号化する符号化手段とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００７】
本発明によれば、所定の画像と選択領域の画像とを良好に取得し得る画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態による画像処理装置を示す外観図である。
【図２】第１実施形態による画像処理装置を示すブロック図である。
【図３】第１実施形態による画像処理装置に備えられている符号化処理部を示すブロック図である。
【図４】選択領域の表示の例を示す図である。
【図５】タイルの構成の例を示す図である。
【図６】第１実施形態による画像処理装置の動作を示すフローチャートである。
【図７】符号化処理の例を示すフローチャートである。
【図８】第２実施形態による画像処理装置の動作を示すフローチャートである。
【図９】符号化処理の例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の実施の形態を、添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。
【００１０】
［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について、図面を参照して詳細に説明する。図１は、本実施形態による画像処理装置を示す外観図である。本実施形態による画像処理装置１００は、撮影レンズ１１１（図２参照）によって撮像部１１２（図２参照）の画素アレイ（図示せず）に結像される被写体像を、操作部１０４を介してユーザによって行われる撮影指示に応じて撮影する。また、本実施形態による画像処理装置１００は、撮像部１１２によって取得される画像、即ち、画像データを符号化することによって、画像データのサイズを圧縮する。画像処理装置１００によって符号化された画像データは、例えば、着脱式の不揮発性の記録媒体１２０（図２参照）に記録されてもよいし、無線通信等を用いて外部機器１２７に転送されてもよい。この場合、外部機器１２７としては、画像ファイルを記録し得る機器等が挙げられる。また、本実施形態による画像処理装置１００は、撮影済みの画像や、撮影前のプレビュー画像等を表示部１１６の表示画面１２５に表示し得る。
【００１１】
本実施形態による画像処理装置１００、即ち、画像符号化装置は、撮像部（取得手段、撮像手段、撮像素子、イメージセンサ）１１２の姿勢（傾き）とは無関係に、縦長の画像、即ち、縦画像を常に撮影する縦撮影モード（縦画像撮影モード）を備えている。縦撮影モードにおいては、撮像部１１２が横長に保持されている場合であっても、縦長に保持されている場合であっても、縦長の画像が少なくとも取得される。本実施形態による画像処理装置１００は、縦撮影モードにおいては、撮像部１１２によって順次取得されるプレビュー画像が、表示部１１６の表示画面１２５に表示される。また、縦撮影モードにおいては、撮像部１１２によって取得される画像の少なくとも一部を選択する選択領域１２２が、表示部１１６の表示画面１２５に表示される。所望の縦長の画像を得ることができるように、選択領域１２２は例えば縦長の矩形に設定される。選択領域１２２は、後述するように、変更可能である。より具体的には、選択領域１２２は、後述するように、移動、拡大、縮小等が可能である。縦撮影モードにおいて、本実施形態による画像処理装置１００は、縦長の画像、即ち、縦画像のみならず、横長の画像、即ち、横画像をも同時に取得し得る。
【００１２】
本実施形態による画像処理装置１００のボディ（筐体、本体）１２３には、各種の操作ボタン等を含む操作部１０４が備えられている。ユーザは、これらの操作ボタンを適宜操作することによって、動画像の撮影の指示、静止画像の撮影の指示、撮影モードの変更、撮影済みの画像の表示等を行い得る。なお、ここでは、本実施形態による画像処理装置１００が、撮像装置、具体的には、デジタルスチルカメラである場合を例に説明するが、これに限定されるものではない。例えば、画像処理装置１００は、スマートフォン、カメラ付き携帯電話、デジタルビデオカメラ等であってもよい。
【００１３】
図２は、本実施形態による画像処理装置１００を示すブロック図である。図２に示すように、本実施形態による画像処理装置１００は、ＣＰＵ１０１と、メモリ１０２と、不揮発性メモリ１０３と、操作部１０４と、撮像部１１２と、画像処理部１１３と、符号化処理部１１４と、表示制御部１１５と、表示部１１６とを有している。更に、本実施形態による画像処理装置１００は、通信制御部１１７と、通信部１１８と、記録媒体制御部１１９と、傾き検知部１２１と、内部バス１３０とを有している。画像処理装置１００は、撮影レンズ１１１を用いて被写体の光学像を撮像部１１２の画素アレイに結像するが、撮影レンズ１１１は、画像処理装置１００のボディ１２３から、着脱不能であってもよいし、着脱可能であってもよい。また、画像処理装置１００は、記録媒体制御部１１９を介して画像データの書き込みや読み出しを記録媒体１２０に対して行うが、かかる記録媒体１２０は、画像処理装置１００から着脱可能であってもよいし、着脱不能であってもよい。
【００１４】
ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して画像処理装置１００の各部（各機能ブロック）の動作を制御する。ＣＰＵ１０１は、後述するように、撮像部１１２によって取得される画像の少なくとも一部を選択する選択領域１２２を設定する設定手段として機能し得る。また、ＣＰＵ１０１、即ち、設定手段は、表示画面１２５に収まるように選択領域１２２のサイズを設定する。また、ＣＰＵ１０１、即ち、設定手段は、所定条件下では、撮像部１１２の姿勢が変化した場合であっても、選択領域１２２のサイズを一定に保持する。また、ＣＰＵ１０１、即ち、設定手段は、複数の画像を含むグループ・オブ・ピクチャの切り替わりの際に選択領域１２２を変更する。また、ＣＰＵ１０１、即ち、設定手段は、表示画面１２５が被写体に向いている場合に、縦撮像モードでの動作、具体的には、選択領域１２２の設定等を行うようにすることもできる。また、ＣＰＵ１０１、即ち、設定手段は、外部機器１２７との通信が確立されている場合に、縦撮影モードでの動作を行うようにすることもできる。また、ＣＰＵ１０１は、ファイル生成手段としても機能し得る。かかるファイル生成手段は、選択領域１２２に対応するタイル１２６を順次符号化することによって第１の画像群を生成し得る。また、かかるファイル生成手段は、少なくとも選択領域１２２以外の領域に対応するタイル１２６を順次符号化することによって第２の画像群を生成し得る。
【００１５】
メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、画像処理装置１００の各部の動作を制御するためのコンピュータプログラム、画像処理装置１００の各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信される情報等を一時的に記録する。また、メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３や符号化処理部１１４等によって処理された画像や情報等を一時的に記録する。メモリ１０２は、これらを一時的に記録するために十分な記憶容量を備えている。
【００１６】
不揮発性メモリ１０３は、電気的に消去や記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３は、画像処理装置１００の各部の動作を制御するコンピュータプログラムや、画像処理装置１００の各部の動作に関するパラメータ等の情報を記憶する。かかるコンピュータプログラムによって、本実施形態による画像処理装置１００によって行われる各種動作が実現される。
【００１７】
操作部１０４は、画像処理装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、シャッターボタン等の各種ボタンを含んでおり、各種ボタンはスイッチやタッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って画像処理装置１００を制御する。なお、ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１が画像処理装置１００を制御する場合を例に説明したが、これに限定されるものではない。例えば、不図示のリモートコントローラや不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１が画像処理装置１００を制御してもよい。
【００１８】
撮影レンズ（レンズユニット）１１１は、ズームレンズやフォーカスレンズを含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ１１１は、後述するように、画角を変更するズーム手段として機能し得る。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整や絞り値（Ｆ値）の制御を行う。撮像部１１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部１１２としては、例えば、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等のエリアイメージセンサが用いられる。撮像部１１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、即ち、２次元的に配列された不図示の画素アレイを有している。かかる画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２は、撮像した画像を画像処理部１１３又はメモリ１０２に出力する。なお、撮像部１１２は、静止画像を取得することも可能である。
【００１９】
画像処理部１１３は、撮像部１１２から出力される画像データ、又は、メモリ１０２から読み出された画像データに対し、所定の画像処理を行う。かかる画像処理としては、例えば、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部１１３は、撮像部１１２によって取得された画像データを用いて、露光制御や測距制御等のための所定の演算処理を行う。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御や測距制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等がＣＰＵ１０１によって行われる。
【００２０】
符号化処理部１１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）やフレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理部１１４は、例えば、Ｈ．２６５（ＩＴＵ  Ｈ．２６５又はＩＳＯ／ＩＥＣ２３００８−２）方式によって符号化処理を行う。符号化処理部１１４は、後述するように、選択領域１２２の設定に基づいて、画像を複数のタイル１２６に分割する分割手段として機能し得る。また、符号化処理部１１４は、後述するように、選択領域１２２に対応するタイル１２６を符号化する符号化手段として機能し得る。また、符号化処理部１１４は、後述するように、選択領域１２２以外の領域に対応するタイル１２６をも符号化することができる。また、符号化処理部１１４は、後述するように、撮像部１１２の姿勢が変化した場合に、選択領域１２２以外の部分に対応するタイル１２６に所定データを用いるようにすることもできる。また、符号化処理部１１４は、後述するように、画像が撮像された際の撮像部１１２の姿勢に依存することなく、選択領域１２２を同一の方向にスキャンする。ただし、画像データの回転等が、ＣＰＵ１０１によって事前に適宜行われる。なお、符号化処理部１１４の詳細については、図３を用いて後述することとする。
【００２１】
表示制御部１１５は、表示部１１６を制御する。表示部１１６は、表示画面１２５を備えている。表示制御部１１５は、画像データに対してリサイズ処理や色変換処理等を行うことにより、表示部１１６の表示画面１２５に表示可能な画像を生成し、かかる画像、即ち、画像信号を表示部１１６に出力する。表示部１１６は、表示制御部１１５から送られてくる画像信号に基づいて、表示画面１２５に画像を表示する。表示部１１６は、表示画面１２５にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）機能を備えている。表示制御部１１５は、画像信号にＯＳＤ画像を重畳して表示部１１６に出力し得る。表示部１１６は、例えばバリアングルの表示部であり、例えば１８０度回転することができる。表示部１１６が例えば１８０度回転していることを示す情報が、表示部１１６から表示制御部１１５を介してＣＰＵ１０１に通知される。なお、表示部１１６が例えば１８０度回転している場合には、画像処理装置１００を例えば自撮り用、即ち、自分撮り用に用いることができる。なお、自撮り、即ち、自分撮りとは、撮影者が自分自身を被写体として撮影することである。表示部１１６は、例えば、液晶ディスプレイや有機ＥＬ等によって構成されている。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は操作部１０４としても機能し得る。表示制御部１１５は、選択領域１２２を表示画面１２５に表示する表示制御手段として機能し得る。選択領域１２２は、上述したように、例えば縦長の矩形に設定される。表示部１１６は、後述するように、表示画面１２５が横長の状態である場合には、横長の状態の表示画面１２５に縦長の選択領域１２２を表示する。また、表示部１１６は、後述するように、表示画面１２５が縦長の状態である場合には、縦長の状態の表示画面１２５に縦長の選択領域１２２を表示する。
【００２２】
通信制御部１１７は、ＣＰＵ１０１によって制御される。通信制御部１１７は、例えばＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適合する変調信号を生成して、かかる変調信号を通信部１１８に出力する。また、通信制御部１１７は、無線通信規格に適合する変調信号を、通信部１１８を介して受信し、受信した変調信号を復号し、復号した信号に応じた信号をＣＰＵ１０１に出力する。通信制御部１１７は、通信設定を記憶するためのレジスタを備えている。通信制御部１１７は、ＣＰＵ１０１からの制御によって、通信時の送受信感度を調整し得る。通信制御部１１７は、所定の変調方式で送受信を行うことができる。通信部１１８は、通信制御部１１７から供給される変調信号を外部に出力し、また、外部からの変調信号を受信するアンテナを備えている。また、通信部１１８には、通信用の回路等が備えられている。なお、ここでは、通信部１１８によって無線通信が行われる場合を例に説明したが、通信部１１８によって行われる通信は無線通信に限定されるものではない。例えば、配線等を用いた電気的な接続によって通信部１１８と外部機器１２７とが接続されてもよい。
【００２３】
記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０は、符号化された画像データ等を記録する。記録媒体１２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。かかるファイルとしては、例えば、ＭＰ４ファイル（ＩＳＯ／ＩＥＣ  １４４９６−１４：２００３）やＭＸＦ（Ｍａｔｅｒｉａｌ  ｅＸｃｈａｎｇｅ  Ｆｏｒｍａｔ）ファイル等が挙げられる。
【００２４】
傾き検知部（センサ傾き検知部）１２１は、撮像部１１２の傾き（姿勢）を検知する。傾き検知部１２１としては、例えば加速度センサが用いられる。加速度センサとしては、静電容量検出方式、ピエゾ抵抗方式等、様々な方式の加速度センサを適宜用い得る。静電容量検出方式の加速度センサは、センサ素子可動部と固定部との間の容量変化を検出する。ピエゾ抵抗方式の加速度センサは、センサ素子可動部と固定部とをつなぐバネ部分に配置されたピエゾ抵抗素子により、加速度によってバネ部分に発生した歪みを検出する。各々の機能ブロック１０１〜１０４，１１２〜１１５，１１７，１１９，１２１は、内部バス１３０を介しては互いにアクセス可能となっている。
【００２５】
＜符号化処理部＞
図３は、本実施形態による画像処理装置１００に備えられている符号化処理部１１４を示すブロック図である。図３においては、符号化処理部１１４とメモリ１０２とが抜き出して示されている。符号化処理部１１４は、例えば、動画圧縮規格の１つであるＨ．２６５の符号化方式によって符号化を行う。
【００２６】
画像分割部３０１は、選択領域１２２に基づいて、符号化の対象となる画像を複数の矩形領域、即ち、複数のタイルに分割する。Ｈ．２６５の符号化方式においては、タイルを用いた画面分割を行うことが可能である。タイルを用いれば、画像を任意の位置で縦横方向に分割することができる。タイルにおいては、フレーム内予測やフレーム間予測等の画素値の参照が途切れる。即ち、タイルは、他のタイル、即ち、他の矩形領域の画素値を参照することなく復号可能な矩形領域である。このため、各々のタイルは、独立して用いることが可能である。選択領域１２２の位置についての情報は、ＣＰＵ１０１から画像分割部３０１に与えられる。画像分割部３０１は、ＣＰＵ１０１から与えられる選択領域１２２についての情報に基づいて、符号化の対象となる画像を複数のタイルに分割する。画面分割においては、水平方向のタイル分割数ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１や、垂直方向のタイル分割数ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１等が適宜設定される。タイル構造が固定であるか任意であるかを示すタイル構造固定フラグｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇは、例えば、タイル構造が可変であることを示す０に設定される。矩形領域のサイズ、即ち、タイルのサイズは、水平方向の画素数と垂直方向の画素数とによって表される。但し、矩形領域の一つの辺に対応する画素数とアスペクト比とによって矩形領域のサイズ、即ち、タイルのサイズは特定することができるので、この限りではない。画像分割部３０１は、画面分割によって画定した各々のタイルに番号、即ち、タイル番号を付す。符号化対象の画像における各々のタイルの位置は、タイル番号によって特定し得る。なお、各々のタイルのサイズは、例えばＣＴＢ（Ｃｏｒｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）の数を示す情報によっても決定し得る。画像分割部３０１は、符号化処理中に、タイル毎の予測符号化条件を予測符号化方法決定部３０２に出力する。かかる予測符号化条件には、あるタイル内の着目画素ブロックを符号化する際、当該着目画素ブロック（符号化対象ブロック）の予測画素ブロックを取得する範囲を規定する情報が含まれる。なお、この点については、後に詳述することとする。
【００２７】
予測符号化方法決定部３０２は、画像分割部３０１から入力される画面分割情報と予測符号化条件とに基づいて、符号化対象領域内の各画素ブロックに対する予測符号化方法を決定する。予測符号化方法決定部３０２は、入力される画像信号と、メモリ１０２から読み出した符号化済みの画素値とから、簡易的なフレーム内予測又は動き検出を含むフレーム間予測処理を行うことによって、符号化効率を示す評価値を算出する。そして、予測符号化方法決定部３０２は、符号化効率が最良となる予測符号化方式を決定する。符号化対象の画素ブロックがＩスライスの場合には、予測符号化方法決定部３０２は、フレーム内の予測画素のブロックサイズと予測モードとを決定する。符号化画素ブロックがＰスライス又はＢスライスの場合には、フレーム内予測又はフレーム間予測の内、符号化効率の高い方を選択する。なお、フレーム内の全てのスライスがＩスライスであるフレームはＩフレームと称され、フレーム内の全てのスライスがＰスライスであるフレームはＰフレームと称され、フレーム内の全てのスライスがＢスライスであるフレームはＢフレームと称される。予測符号化方法決定部３０２は、フレーム内予測の場合には、フレーム内の予測画素のブロックサイズ、フレーム内予測モード等のフレーム内予測符号化用パラメータを決定する。また、予測符号化方法決定部３０２は、フレーム間予測の場合には、参照フレーム、画素ブロックの分割パターン、動きベクトル等のフレーム間予測符号化用パラメータを決定する。予測符号化方法決定部３０２は、決定した予測符号化用パラメータを予測符号化処理部３０３に出力する。
【００２８】
予測符号化処理部３０３は、符号化対象のフレーム中の着目タイル内の着目画素ブロックを符号化する際、以下のように動作する。即ち、予測符号化処理部３０３は、かかる際には、予測符号化方法決定部３０２によって決定された予測符号化用パラメータに応じて、メモリ１０２から読出した符号化済み画像から予測画素ブロックを生成する。そして、予測符号化処理部３０３は、着目画素ブロックと予測画素ブロックとの差分である予測残差ブロックを、直交変換・量子化部３０５に出力する。また、予測符号化処理部３０３は、予測画素ブロックを局所復号化部３０６にも出力する。
【００２９】
直交変換・量子化部３０５は、予測符号化処理部３０３から供給される予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部３０５は、符号量制御部３０７によって設定された量子化パラメータに応じた量子化ステップを用いて、直交変換処理により得られた係数を量子化する。直交変換・量子化部３０５は、量子化後の係数、即ち、量子化データを、エントロピー符号化部３０８と局所復号化部３０６とに出力する。
【００３０】
局所復号化部３０６は、直交変換・量子化部３０５から入力される量子化データに対して、逆量子化処理や逆直交変換処理を行うことによって、予測残差データを生成する。そして、局所復号化部３０６は、生成した予測残差データに、予測符号化処理部３０３から入力される予測画像を加算して復号化処理を行い、復号化処理によって得られた画素ブロックによって示される画像データをメモリ１０２に格納する。メモリ１０２に格納された復号化処理後の画像データは、フレーム内予測処理に利用される。更に、デブロッキングフィルタ処理が施された復号化データがメモリ１０２に保持される。メモリ１０２に保持されたデブロッキングフィルタ処理後の復号化データは、フレーム間予測処理にも利用される。
【００３１】
符号量制御部３０７は、符号化ピクチャバッファがオーバーフロー又はアンダーフローしないように、符号化データの符号量を制御する。符号量制御部３０７は、エントロピー符号化部３０８から供給されるエントロピー符号化後の発生符号量に基づいて、後続のフレームに対する量子化パラメータを生成し、生成した量子化パラメータを直交変換・量子化部３０５に供給する。
【００３２】
エントロピー符号化部３０８は、入力される量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部３０８は、入力される多値の量子化データを２値のデータに変換する２値化部と、２値化部によって生成される２値化データを格納する２値化データメモリとを有している。また、エントロピー符号化部３０８は、２値化データの発生確率をコンテキストに応じて計算し、計算によって求められた２値データの発生確率を保持するコンテキスト計算部を有する。また、エントロピー符号化部３０８は、コンテキスト計算部から供給される２値データの発生確率に応じて算術符号化を行う算術符号化部を有する。エントロピー符号化部３０８は、こうして符号化されたデータをタイル単位で多重化処理部３０９に出力するとともに、エントロピー符号化後の発生符号量を符号量制御部３０７に出力する。
【００３３】
多重化処理部３０９は、画像の符号化の開始の際には、符号化対象のフレームのサイズ、タイルの分割位置、タイルサイズ、タイル番号、主被写体が位置するタイル番号等の情報をファイルヘッダに格納する。なお、タイルを単位とするラスタースキャン順にタイル番号が付されることが、符号化、復号化を行う装置双方の共通事項である場合には、タイル番号を不要としてもよい。
【００３４】
＜選択領域の表示例＞
図４は、選択領域の表示の例を示す図である。図４は、プレビュー画面に選択領域１２２が表示されている状態を示している。図４（ａ）から図４（ｃ）は、撮像部１１２を横長にした状態で撮影が行われる場合、即ち、撮像部１１２によって横長の画像が取得される場合の例を示している。図４（ａ）に示す例においては、撮像部１１２によって取得される横長の画像、即ち、全体画像１２４が表示部１１６の表示画面１２５に表示され、当該全体画像１２４の範囲内に縦長の矩形の選択領域１２２が表示される。図４（ａ）に示す例においては、選択領域１２２の長辺のサイズと全体画像１２４の短辺のサイズとが一致している。このように、表示画面１２５に収まるように選択領域１２２のサイズが設定される。図４（ａ）に示す例においては、ユーザによる指示によって、選択領域１２２を左右に移動させることが可能である。また、図４（ａ）に示す例においては、選択領域１２２を横方向に拡大することも可能である。また、図４（ａ）に示す例においては、選択領域１２２を縮小することも可能である。なお、選択領域１２２の移動、拡大、縮小等は、操作部１０４に含まれる操作ボタン等をユーザが操作することによって行われてもよいし、ユーザによるタッチパネルの操作によって行われてもよい。選択領域１２２の縮小の方向は、縦方向のみであってもよいし、横方向のみであってもよいし、縦横両方向であってもよい。全体画像１２４と選択領域１２２とは、相似形であってもよいし、相似形でなくてもよい。
【００３５】
図４（ｂ）は、選択領域１２２のサイズを縮小した例を示している。図４（ｂ）に示す例においては、選択領域１２２の長辺のサイズが全体画像１２４の短辺のサイズよりも小さくなっている。このため、図４（ｂ）に示す例においては、ユーザによる指示によって、上下方向にも、左右方向にも選択領域１２２を移動させることが可能である。また、図４（ｂ）に示す例においては、選択領域１２２の拡大や縮小を行うことも可能である。なお、選択領域１２２の拡大や縮小は、縦方向のみであってもよいし、横方向のみであってもよいし、縦横両方向であってもよい。また、上述したように、全体画像１２４と選択領域１２２とは、相似形であってもよいし、相似形でなくてもよい。
【００３６】
図４（ｃ）は、選択領域１２２を複数の候補のうちから選択できるようにした場合を示している。ここでは、３つの選択領域１２２、即ち、選択領域１２２ａ〜１２２ｃが表示部１１６の表示画面１２５に表示される場合を例に示している。なお、個々の選択領域について説明する際には、符号１２２ａ〜１２２ｃを用い、選択領域一般について説明する際には符号１２２を用いることとする。ユーザによる指示によって、複数の選択領域１２２ａ〜１２２ｃのうちのいずれかが選択される。複数の選択領域１２２ａ〜１２２ｃは、相似形であってもよいし、相似形でなくてもよい。また、上述したように、全体画像１２４と選択領域１２２とは、相似形であってもよいし、相似形でなくてもよい。また、複数の選択領域１２２ａ〜１２２ｃのうちから選択された選択領域１２２を、移動してもよいし、拡大又は縮小してもよい。
【００３７】
図４（ｄ）は、撮像部１１２を縦長の姿勢にした状態で撮影が行われる場合、即ち、撮像部１１２によって縦長の画像が取得される場合の例を示している。図４（ｄ）に示す例においては、選択領域１２２の長辺のサイズと全体画像１２４の短辺のサイズとが一致している。図４（ｄ）に示す例においては、図４（ｂ）に示す例と同様に、ユーザによる指示によって、上下方向にも、左右方向にも選択領域１２２を移動させることが可能である。また、選択領域１２２の拡大や縮小を行うことも可能である。なお、選択領域１２２の拡大や縮小は、縦方向のみであってもよいし、横方向のみであってもよいし、縦横両方向であってもよい。また、上述したように、全体画像１２４と選択領域１２２とは、相似形であってもよいし、相似形でなくてもよい。また、全体画像１２４が選択領域１２２と同様に縦長であるため、選択領域１２２を最大化すれば、選択領域１２２のサイズと全体画像１２４のサイズとが一致する。なお、図４（ｄ）に示す例においては、全体画像１２４のうちの選択領域１２２以外の部分が表示画面１２５に表示されているが、全体画像１２４のうちの選択領域１２２以外の部分を撮影対象外として表示画面１２５に表示しないようにしてもよい。また、全体画像１２４のうちの選択領域１２２以外の部分に、所定のデータを用いた画像、即ち、所定の画像を表示するようにしてもよい。かかる所定のデータとしては、例えば黒色の画像等が挙げられる。即ち、全体画像１２４のうちの選択領域１２２以外の部分を、例えば黒色で塗りつぶすようにしてもよい。また、撮像部１１２の姿勢が変化した際に、選択領域１２２以外の部分に所定のデータを用いるようにしてもよい。例えば、撮像部１１２が横長の状態から縦長の状態に変化した際に、選択領域１２２以外の部分に所定のデータを用いるようにしてもよい。また、選択領域１２２を複数の候補のうちから選択できるようにしてもよい。更に、複数の候補のうちから選択した選択領域１２２を、移動してもよいし、拡大又は縮小してもよい。
【００３８】
＜タイルの構成＞
図５は、タイルの構成の例を示す図である。図５（ａ）は、撮像部１１２を横長にした状態で画像が取得された場合、即ち、撮像部１１２に備えられた画素アレイの長辺を水平にした状態で画像が取得された場合の例を示している。図５（ａ）の例においては、撮像部１１２によって取得される画像、即ち、全体画像１２４が、３つのタイル１２６に分割されている。なお、個々のタイルについて説明する際には、符号１２６Ａ１，１２６Ａ２，１２６Ｂを用い、タイル一般について説明する際には符号１２６を用いることとする。タイル１２６Ｂは、選択領域１２２に対応している。タイル１２６Ａ１とタイル１２６Ａ２とは、全体画像１２４のうちの選択領域１２２以外の部分に対応している。図５（ａ）における矢印の方向は、符号化の際に行われるラスタースキャンのスキャン方向を示している。例えば、タイル１２６Ａ１、タイル１２６Ａ２、タイル１２６Ｂの順にラスタースキャンが行われる。符号化処理は、ＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）単位で行われる。
【００３９】
図５（ｂ）は、撮像部１１２を縦長にした状態で画像が取得された場合、即ち、撮像部１１２に備えられた画素アレイの長辺を垂直にした状態で画像が取得された場合を示している。図５（ｂ）の例においては、撮像部１１２によって取得される画像、即ち、全体画像１２４が５つのタイルに分割されている。なお、個々のタイルについて説明する際には、符号１２６Ｃ１，１２６Ｃ２，１２６Ｃ３，１２６Ｃ４，１２６Ｄを用い、タイル一般について説明する際には符号１２６を用いることとする。タイル１２６Ｄは、選択領域１２２に対応している。タイル１２６Ｃ１、タイル１２６Ｃ２、タイル１２６Ｃ３、タイル１２６Ｃ４は、全体画像１２４のうちの選択領域１２２以外の部分に対応している。図５（ｂ）における矢印の方向は、符号化の際に行われるラスタースキャンのスキャン方向を示している。例えば、タイル１２６Ｃ１、タイル１２６Ｃ２、タイル１２６Ｃ３、タイル１２６Ｃ４、タイル１２６Ｄの順にラスタースキャンが行われる。図５（ａ）と図５（ｂ）とから分かるように、画像が撮像された際の撮像部１１２の姿勢に依存することなく、選択領域１２２は同一の方向にスキャンされる。ただし、画像データの回転等が、符号化の前に適宜行われる。
【００４０】
このように、撮像部１１２を横長にした状態で取得された画像の分割の態様と、撮像部１１２を縦長にした状態で取得された画像の分割の態様とは異なっている。なお、図５（ａ）に示すタイル１２６Ｂのサイズと図５（ｂ）に示すタイル１２６Ｄのサイズとは同一であってもよいし、同一でなくてもよい。撮像部１１２を横長にした状態で撮影が開始され、その後、撮像部１１２を縦長の状態にした場合には、タイル１２６Ｄのサイズとタイル１２６Ｂのサイズとを変化させることなく撮影を継続させることが可能である。このような場合には、撮像部１１２の姿勢が変化した場合であっても、選択領域１２２のサイズは一定に保持される。タイル１２６の構成は、図５（ａ）、図５（ｂ）に示す例に限定されるものではない。例えば、選択領域１２２が複数のタイル１２６によって構成されてもよい。
【００４１】
＜画像処理装置の動作＞
図６は、本実施形態による画像処理装置１００の動作を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、当該プログラムがＣＰＵ１０１によって実行されることによって、本実施形態による画像処理装置１００の動作が実現される。
【００４２】
ステップＳ６０１において、ＣＰＵ１０１は、撮影モードが縦撮影モードであるか否かを判定する。縦撮影モードとは、上述したように、撮像部１１２が横長の状態であっても、撮像部１１２が縦長の状態であっても、縦長の画像を取得する動作モードである。縦撮影モードであるか否かは、不揮発性メモリ１０３に記録されたモード設定値に基づいて判定される。縦撮影モードである場合には（ステップＳ６０１においてＹＥＳ）、ステップＳ６０２に移行する。縦撮影モードでない場合には（ステップＳ６０１においてＮＯ）、選択領域１２２を設定しないことを示す情報をＣＰＵ１０１がメモリ１０２に記録し、ステップＳ６０３に移行する。なお、以下のような場合に、縦撮影モードでの動作を行うようにしてもよい。即ち、外部機器１２７との通信が確立されている際に、縦撮影モードでの動作を行うようにしてもよい。この場合、外部機器１２７としては、例えば、自撮り用の機器、より具体的には、自撮り棒等が挙げられる。自撮り棒とは、撮影者が自分自身を被写体として撮影することができるようにするための棒状の機器である。自撮り棒の先端部に、本実施形態による画像処理装置１００が備え付けられる。例えば、通信制御部１１７及び通信部１１８を介して自撮り棒と画像処理装置１００との通信が確立されている場合に、縦撮影モードでの動作が実行されるようにしてもよい。また、表示部１１６の表示画面１２５が被写体、即ち、撮影者に向いている場合に、縦撮影モードでの動作が行われるようにしてもよい。
【００４３】
ステップＳ６０２において、ＣＰＵ１０１は、表示制御部１１５を制御することによって、図４を用いて上述したような選択領域１２２を、表示部１１６の表示画面１２５に表示する。複数の候補のうちから選択領域１２２を選択する場合には、選択領域１２２の複数の候補が表示部１１６の表示画面１２５に表示される。この場合、ＣＰＵ１０１は、操作部１０４を介してユーザによって行われる選択指示に基づいて、いずれかの選択領域１２２を選択する。また、ＣＰＵ１０１は、操作部１０４を介してユーザによって行われる選択領域１２２の変更の指示に基づいて、選択領域１２２の変更を行う。かかる変更としては、移動、拡大、縮小等が挙げられる。ＣＰＵ１０１は、複数の画像を含むグループ・オブ・ピクチャの切り替わりの際に選択領域１２２を変更する。こうして、操作部１０４を介してのユーザによる指示に基づいて、ＣＰＵ１０１が、選択領域１２２を設定する。ＣＰＵ１０１は、選択領域１２２の位置についての情報をメモリ１０２に記録する。この後、ステップＳ６０３に移行する。
【００４４】
ステップＳ６０３において、ＣＰＵ１０１は、撮影を実行するか否かを判定する。操作部１０４に含まれる画像記録開始ボタンが押されたか否かによって、撮影を実行するか否かが判定される。画像記録開始ボタンが押された場合には（ステップＳ６０３においてＹＥＳ）、ステップＳ６０４に移行する。画像記録開始ボタンが押されていない場合には（ステップＳ６０３においてＮＯ）、ステップＳ６０３が繰り返される。
【００４５】
ステップＳ６０４において、ＣＰＵ１０１は、符号化処理部１１４によって行われる符号化処理の前段階の設定、即ち、符号化処理の準備段階における設定を行う。具体的には、例えば、ＣＰＵ１０１は、図５を用いて上述したようなタイル１２６の構成の設定を行う。また、ＣＰＵ１０１は、どのようなファイルを記録するかについても決定する。第１の態様は、選択領域１２２についての画像群を含むファイルのみを記録するものであり、この場合には、１つのファイルが生成される。第２の態様は、選択領域１２２についての画像群を含む第１のファイルと、選択領域１２２以外の領域についての画像群を含む第２のファイルとを記録するものであり、この場合には、２つのファイルが生成される。第３の態様は、選択領域１２２についての画像群を含む第１のファイルと、全体画像１２４についての画像群を含む第２のファイルとを記録するものであり、この場合には２つのファイルが生成される。更に、ＣＰＵ１０１は、符号化処理を行うための各種レジスタの設定等を行い、符号化処理部１１４を動作させることが可能な状態にする。この後、ステップＳ６０５に移行する。
【００４６】
ステップＳ６０５において、ＣＰＵ１０１は、画像処理部１１３によってメモリ１０２に格納された画像データのアドレスを符号化処理部１１４に通知し、符号化処理部１１４に符号化処理の実行を命令する。なお、符号化処理部１１４において行われる符号化処理の詳細については、図７を用いて後述することとする。この後、ステップＳ６０６に移行する。
【００４７】
ステップＳ６０６において、ＣＰＵ１０１は、符号化処理部１１４により得られた符号化画像とシンタックス情報とを、記録媒体制御部１１９を介してストリームデータとして記録媒体１２０に記録する。上述した第１の態様の場合、即ち、選択領域１２２についての画像群を含むファイルのみを記録する場合には、選択領域１２２に対応する符号化画像と、当該符号化画像に関してのシンタックス情報とを、ストリームデータとして記録媒体１２０に記録する。上述した第２の態様の場合、即ち、選択領域１２２についての画像群を含む第１のファイルと、選択領域１２２以外の領域についての画像群を含む第２のファイルとを記録する場合には、以下のような動作が行われる。この場合、選択領域１２２に対応する符号化画像と、当該符号化画像に関してのシンタックス情報と、選択領域１２２以外の領域に対応する符号化画像と、当該符号化画像に対してのシンタックス情報とが、ストリームデータとして記録媒体１２０に記録される。上述した第３の態様の場合、即ち、選択領域１２２についての画像群を含む第１のファイルと、全体画像１２４についての画像群を含む第２のファイルとを記録する場合には、以下のような動作が行われる。この場合には、選択領域１２２に対応する符号化画像と、当該符号化画像に関してのシンタックス情報と、全体画像１２４に対応する符号化画像と、当該符号化画像に関してのシンタックス情報とが、ストリームデータとして記録媒体１２０に記録される。この後、ステップＳ６０７に移行する。
【００４８】
ステップＳ６０７において、ＣＰＵ１０１は、撮影が終了したか否かを判定する。ＣＰＵ１０１は、ユーザによって操作される操作部１０４からの信号に基づいて、撮影が終了したか否かを判定する。撮影が終了したとＣＰＵ１０１が判定した場合には（ステップＳ６０７においてＹＥＳ）、ステップＳ６０８に移行する。撮影が終了していないとＣＰＵ１０１が判定した場合には（ステップＳ６０７においてＮＯ）、ステップＳ６０１に移行する。
【００４９】
ステップＳ６０８において、ＣＰＵ１０１は、符号化処理部１１４に対して符号化処理の終了処理を行う。具体的には、符号化処理の終了を示す値を、符号化処理部１１４に備えられた不図示のレジスタに記録する。この後、ステップＳ６０９に移行する。
【００５０】
ステップＳ６０９において、ＣＰＵ１０１は、記録媒体制御部１１９を介して、記録媒体１２０に記録されているストリームデータ、即ち、符号化処理部１１４によって符号化された画像群を含むファイルを生成する。これにより、記録媒体１２０に記録された動画像データが、ファイルとして読み取り可能な状態となる。なお、上述した第１の態様の場合には、例えば１つのファイルが生成され、上述した第２の態様や第３の態様の場合には、例えば２つのファイルが生成される。こうして、本実施形態による画像処理装置１００の動作が終了する。なお、ＣＰＵ１０１は、こうして得られたファイル、即ち、動画像ファイルを、通信制御部１１７と通信部１１８とを介して、外部機器１２７に送信するようにしてもよい。この場合、外部機器１２７としては、例えば、ファイルを記録することが可能な機器等が挙げられる。ＣＰＵ１０１は、かかるファイルを外部機器１２７に送信する場合、かかるファイルを記録媒体１２０に記録しておくようにしてもよいし、記録しておかなくてもよい。
【００５１】
＜符号化処理＞
図７は、本実施形態による画像処理装置１００によって行われる符号化処理の例を示すフローチャートである。図７に示す符号化処理は、図６のステップＳ６０５に対応するものであり、ＣＰＵ１０１からの命令によって実行される。なお、ここでは、上述した第３の態様の場合、即ち、選択領域１２２についての画像群を含む第１のファイルと、全体画像１２４についての画像群を含む第２のファイルとが記録される場合を例に説明する。
【００５２】
ステップＳ７０１において、符号化処理部１１４は、画像分割部３０１によって画像の分割処理を行う。具体的には、符号化処理部１１４は、ステップＳ６０２においてメモリ１０２に記録された選択領域１２２の位置情報に基づいて、選択領域１２２をタイル１２６として設定する。例えば、図５（ａ）のような場合には、選択領域１２２がタイル１２６Ｂとして設定される。図５（ｂ）のような場合には、選択領域１２２がタイル１２６Ｄとして設定される。また、符号化処理部１１４は、選択領域１２２以外の部分をタイル１２６として設定する。例えば、図５（ａ）のような場合には、選択領域１２２以外の領域がタイル１２６Ａ１、１２６Ａ２として設定される。また、図５（ｂ）のような場合には、選択領域１２２以外の領域がタイル１２６Ｃ１、１２６Ｃ２、１２６Ｃ３、１２６Ｃ４として設定される。符号化処理部１１４は、こうして設定された各々のタイル１２６についての領域情報を、メモリ１０２に記録する。この後、ステップＳ７０２に移行する。
【００５３】
ステップＳ７０２において、符号化処理部１１４は、符号量制御部３０７において設定される量子化テーブルにおける値、即ち、量子化値を設定する。選択領域１２２に対応するタイル１２６Ｂ、１２６Ｄに対する量子化値は、十分な画質が得られるように、小さ目に設定してもよい。一方、選択領域１２２以外の領域に対応するタイル１２６Ａ１，１２６Ａ２，１２６Ｃ１，１２６Ｃ２，１２６Ｃ３，１２６Ｃ４に対する量子化値は、符号量を抑制すべく、大き目に設定してもよい。この後、ステップＳ７０３に移行する。なお、量子化値の設定は、このような態様に限定されるものではない。例えば、十分な符号量を得たい領域に対して、量子化値を小さく設定するようにしてもよい。
【００５４】
ステップＳ７０３において、符号化処理部１１４は、画像に対する符号化処理を実行する。符号化処理の詳細に関しては、図３を用いて上述したため、ここでは省略する。符号化処理部１１４は、符号化された画像データをメモリ１０２に格納する。この後、ステップＳ７０４に移行する。
【００５５】
ステップＳ７０４において、符号化処理部１１４は、シンタックス情報に様々な情報、即ち、諸情報を含める。選択領域１２２についての画像群を含む第１のファイルに用いられるシンタックス情報には、タイル１２６の構成を示す情報、選択領域１２２に対応するタイル１２６の範囲情報等を含める。全体画像１２４についての画像群を含む第２のファイルに用いられるシンタックス情報には、タイル１２６の構成を示す情報、選択領域１２２に対応する画像の有無を示す情報、選択領域１２２に対応するタイル１２６の範囲情報等を含める。そして、符号化処理部１１４は、かかるシンタックス情報をメモリ１０２に格納する。なお、ここでは、選択領域１２２に対応する画像の有無を示す情報、選択領域１２２に対応するタイル１２６の範囲情報をシンタックス情報に含める場合を例に説明したが、これに限定されるものではない。例えば、これらの情報を、コンテナ情報に含めてもよい。こうして、本実施形態による画像処理装置１００によって符号化処理が行われる。
【００５６】
なお、図７に示すような符号化処理は、ＣＰＵ１０１によって行うようにしてもよい。また、ここでは、選択領域１２２に対応する符号化データと全体画像１２４についての符号化データとを生成する場合を例に説明したが、これに限定されるものではない。例えば、選択領域１２２についての符号化データを生成することなく、全体画像１２４についての符号化データのみを生成するようにしてもよい。また、全体画像１２４についての符号化データを生成することなく、選択領域１２２についての符号化データのみを生成するようにしてもよい。また、タイル１２６の中にスライスが含まれていてもよい。
【００５７】
このように、本実施形態によれば、選択領域の設定に基づいて画像を分割し、選択領域に対応するタイルを符号化する。このため、選択領域に対応する画像を得ることができる。そして、選択領域以外の領域に対応するタイルをも符号化すれば、選択領域に対応する画像のみならず、全体画像をも得ることができる。このため、本実施形態によれば、横画像と縦画像の両方の符号化データを得ることができる。従って、本実施形態によれば、所定の画像と選択領域の画像とを良好に取得し得る画像処理装置を提供することができる。
【００５８】
［第２実施形態］
第２実施形態による画像処理装置及び画像処理方法について図面を参照して詳細に説明する。図１から図７に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置は、撮像部１１２の傾き（姿勢）に基づいた処理を行うものである。図８は、本実施形態による画像処理装置１００の動作を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、当該プログラムがＣＰＵ１０１によって実行されることによって、本実施形態による画像処理装置１００の動作が実現される。
【００５９】
ステップＳ８０１において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０１と同様に、撮影モードが縦撮影モードであるか否かを判定する。縦撮影モードである場合には（ステップＳ８０１においてＹＥＳ）、ステップＳ８０２に移行する。縦撮影モードでない場合には（ステップＳ８０１においてＮＯ）、選択領域１２２を設定しないことを示す情報をＣＰＵ１０１がメモリ１０２に記録し、ステップＳ８０４に移行する。
【００６０】
ステップＳ８０２において、ＣＰＵ１０１は、傾き検知部１２１によって撮像部１１２の傾きを示す情報を取得し、撮像部１１２の傾きを示す情報、即ち、センサ傾き情報をメモリ１０２に格納する。この後、ステップＳ８０３に移行する。
【００６１】
ステップＳ８０３において、ＣＰＵ１０１は、ステップＳ８０２においてメモリ１０２に格納されたセンサ傾き情報に基づいて、表示部１１６の表示画面１２５に選択領域１２２を表示する。選択領域１２２の表示は、上述したように、ＣＰＵ１０１が、表示制御部１１５を制御することによって行われる。具体的には、撮像部１１２が横長の状態であることをセンサ傾き情報が示している場合には、ＣＰＵ１０１は、例えば図４（ａ）から図４（ｃ）のいずれかのように選択領域１２２を表示する。撮像部１１２が縦長の状態であることをセンサ傾き情報が示している場合には、ＣＰＵ１０１は、例えば図４（ｄ）のように選択領域１２２を表示する。なお、図４（ｄ）に示す例においては、全体画像１２４のうちの選択領域１２２以外の部分が表示画面１２５に表示されているが、全体画像１２４のうちの選択領域１２２以外の部分を撮影対象外として表示画面１２５に表示しないようにしてもよい。また、全体画像１２４のうちの選択領域１２２以外の部分に、特定の画像を表示するようにしてもよい。かかる特定の画像としては、例えば黒色の画像等が挙げられる。即ち、全体画像１２４のうちの選択領域１２２以外の部分を、例えば黒色で塗りつぶすようにしてもよい。また、選択領域１２２を複数の候補のうちから選択できるようにしてもよい。更に、選択した選択領域１２２を、移動してもよいし、拡大又は縮小してもよい。また、ＣＰＵ１０１は、撮像部１１２が縦長の状態である場合には、選択領域１２２を表示しなくてもよい。ＣＰＵ１０１は、ユーザによって操作部１０４を介して行われる選択領域１２２の設定に基づいて、メモリ１０２に選択領域１２２の位置情報を記録する。この後、ステップＳ８０４に移行する。
【００６２】
ステップＳ８０４において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０３と同様に、撮影を実行するか否かを判定する。画像記録開始ボタンが押された場合には（ステップＳ８０４においてＹＥＳ）、ステップＳ８０５に移行する。画像記録開始ボタンが押されていない場合には（ステップＳ８０４においてＮＯ）、ステップＳ８０４が繰り返される。
【００６３】
ステップＳ８０５において、ＣＰＵ１０１は、ステップＳ８０２においてメモリ１０２に格納されたセンサ傾き情報に基づいて、撮像部１１２が縦長の状態であるか否かを判定する。ＣＰＵ１０１は、撮像部１１２が縦長の状態である場合には（ステップＳ８０５においてＹＥＳ）、ステップＳ８０６に移行する。撮像部１１２が縦長の状態でない場合（ステップＳ８０５においてＮＯ）、ステップＳ８０７に移行する。
【００６４】
ステップＳ８０６において、ＣＰＵ１０１は、撮影レンズ１１１の画角の変更に応じて選択領域１２２を拡大又は縮小する。なお、画角の変更は、撮影レンズ１１１に備えられているズームレンズを制御することによって行われる。例えば、撮影レンズ１１１のズームレンズが望遠側の終端まで到達している場合には、ＣＰＵ１０１は、表示部１１６に表示されている選択領域１２２のサイズを拡大する。撮像部１１２が縦長の状態となっているため、選択領域１２２のサイズは全体画像１２４のサイズまで拡大することが可能である。この後、ステップＳ８０７に移行する。
【００６５】
ステップＳ８０７において、ＣＰＵ１０１は、傾き検知部１２１によって撮像部１１２の傾きを示す情報を取得し、撮像部１１２の傾きを示す情報、即ち、センサ傾き情報をメモリ１０２に格納する。そして、ＣＰＵ１０１は、前回メモリ１０２に格納したセンサ傾き情報と、今回メモリ１０２に格納したセンサ傾き情報とが一致しているか否かを判断する。これらが一致していない場合には、撮影中において撮像部１１２の傾きが変更されたこととなる。ＣＰＵ１０１は、前回メモリ１０２に格納したセンサ傾き情報と今回メモリ１０２に格納したセンサ傾き情報とが一致してない場合には（ステップＳ８０７においてＹＥＳ）、ステップＳ８０８に移行する。ＣＰＵ１０１は、前回メモリ１０２に格納したセンサ傾き情報と今回メモリ１０２に格納したセンサ傾き情報とが一致している場合には（ステップＳ８０７においてＮＯ）、ステップＳ８０９に移行する。
【００６６】
ステップＳ８０８において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０４と同様に、符号化処理部１１４による符号化処理を行う前段階の設定を行う。この際、ＣＰＵ１０１は、撮像部１１２が横長の状態から縦長の状態に変化したか否かを、センサ傾き情報に基づいて判定する。そして、横長の状態から縦長の状態への変化が撮像部１１２において生じた場合には、ＣＰＵ１０１は、横長の状態から縦長の状態への変化が撮像部１１２において生じたことを示す情報を符号化処理部１１４のレジスタに設定する。ＣＰＵ１０１は、撮像部１１２の姿勢に応じて、図５を用いて上述したようなタイル１２６の構成の設定を行う。この後、ステップＳ８０９に移行する。
【００６７】
ステップＳ８０９において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０５と同様に、符号化処理を実行する。なお、符号化処理部１１４において行われる符号化処理の詳細については、図９を用いて後述することとする。この後、ステップＳ８１０に移行する。
【００６８】
ステップＳ８１０において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０６と同様に、符号化処理部１１４により生成された符号化画像とシンタックス情報とを、記録媒体制御部１１９を介してストリームデータとして記録媒体１２０に記録する。この後、ステップＳ８１１に移行する。
【００６９】
ステップＳ８１１において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０７と同様に、撮影が終了したか否かを判定する。撮影が終了したとＣＰＵ１０１が判定した場合には（ステップＳ８１１においてＹＥＳ）、ステップＳ８１２に移行する。撮影が終了していないとＣＰＵ１０１が判定した場合には（ステップＳ８１１においてＮＯ）、ステップＳ８０１に移行する。
【００７０】
ステップＳ８１２において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０８と同様に、符号化処理部１１４に対して符号化処理の終了処理を行う。この後、ステップＳ８１３に移行する。
【００７１】
ステップＳ８１３において、ＣＰＵ１０１は、図６を用いて上述したステップＳ６０９と同様に、ファイルを生成する処理を行う。こうして、本実施形態による画像処理装置１００の動作が終了する。
【００７２】
＜符号化処理＞
図９は、本実施形態による画像処理装置１００によって行われる符号化処理の例を示すフローチャートである。図９に示す符号化処理は、図８のステップＳ８０９に対応するものであり、ＣＰＵ１０１からの命令によって実行される。なお、ここでは、上述した第３の態様の場合、即ち、選択領域１２２についての画像群を含む第１のファイルと、全体画像１２４についての画像群を含む第２のファイルとが記録される場合を例に説明する。
【００７３】
ステップＳ９０１において、符号化処理部１１４は、レジスタに設定された情報に基づいて、横長の状態から縦長の状態への変化が撮像部１１２に生じたか否かを判定する。横長の状態から縦長の状態への変化が撮像部１１２に生じた場合には（ステップＳ９０１においてＹＥＳ）、ステップＳ９０２に移行する。横長の状態から縦長の状態への変化が撮像部１１２に生じていない場合には（ステップＳ９０１においてＮＯ）、ステップＳ９０３に移行する。
【００７４】
ステップＳ９０２において、符号化処理部１１４は、全体画像１２４のうちの選択領域１２２以外の部分を、所定のデータに変更する。この後、ステップＳ９０３に移行する。かかる所定のデータとしては、例えば黒色の画像等が挙げられる。即ち、全体画像１２４のうちの選択領域１２２以外の部分が、例えば黒色で塗りつぶされる。
【００７５】
ステップＳ９０３において、符号化処理部１１４は、図７を用いて上述したステップＳ７０１と同様に、画像分割部３０１によって画像の分割処理を行う。この後、ステップＳ９０４に移行する。
【００７６】
ステップＳ９０４において、符号化処理部１１４は、処理方向の決定を行う。横長の状態の撮像部１１２によって画像が撮像された場合には、図５（ａ）における左上の画素に対応するデータが画像データの先頭データであり、図５（ａ）における右下の画素に対応するデータが画像データの最終データである。この場合、メモリ１０２に格納されている画像データに対して回転させる処理を行うことを要しない。この場合、メモリ１０２に保持されている画像データに対して、例えば、タイル１２６Ａ１、タイル１２６Ａ２、タイル１２６Ｂの順に符号化処理が行われるように設定する。一方、図５（ｂ）に示すように、縦長の状態の撮像部１１２によって画像が撮像された場合、図５（ｂ）における左下の画素に対応するデータが画像データの先頭データであり、図５（ｂ）における右上の画素に対応するデータが画像データの最終データである。この場合、メモリ１０２に保持されている画像データに対して左方向に９０度回転させる処理が行われるような設定が行われる。そして、メモリ１０２に保持されている画像データに対して、例えば、タイル１２６Ｃ１、タイル１２６Ｃ２、タイル１２６Ｃ３、タイル１２６Ｃ４、タイル１２６Ｄの順に符号化処理が行われるような設定が行われる。この後、ステップＳ９０５に移行する。
【００７７】
ステップＳ９０５において、符号化処理部１１４は、図７を用いて上述したステップＳ７０２と同様に、符号量制御部３０７において設定される量子化テーブルにおける値、即ち、量子化値を設定する。この後、ステップＳ９０６に移行する。
【００７８】
ステップＳ９０６において、符号化処理部１１４は、図７を用いて上述したステップＳ７０３と同様に、符号化処理部１１４は、全体画像１２４に対して符号化処理を実行する。この後、ステップＳ９０７に移行する。
【００７９】
ステップＳ９０７において、符号化処理部１１４は、図７を用いて上述したステップＳ７０４と同様に、シンタックス情報に様々な情報、即ち、諸情報を含める。こうして、本実施形態における符号化処理が行われる。
【００８０】
このように、本実施形態によれば、撮像部１１２の傾きに基づいて、画像の分割の態様が適宜設定される。このため、本実施形態によれば、撮像部１１２の傾きが変化した場合であっても、縦長の画像と横長の画像とを並行且つ的確に取得することができる。従って、本実施形態によれば、所定の画像と選択領域の画像とを良好且つ的確に取得し得る画像処理装置を提供することができる。
【００８１】
［変形実施形態］
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。
例えば、上記実施形態では、選択領域１２２が縦長である場合を例に説明したが、これに限定されるものではない。例えば、横長の選択領域１２２を設定するようにしてもよい。この場合にも、縦長の画像と横長の画像とを並行して取得することができる。
また、上記実施形態では、画像処理装置１００が撮像部１１２を備えている場合を例に説明したが、画像処理装置１００は撮像部１１２を有していなくてもよい。例えば、画像処理装置１００の外部から入力手段（取得手段）を介して入力される画像を、本実施形態による画像処理装置１００によって符号化処理するようにしてもよい。
また、上記実施形態では、画像処理装置１００が表示部１１６を備えている場合を例に説明したが、表示部１１６が画像処理装置１００と別個に設けられていてもよい。
【００８２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８３】
１００…画像処理装置
１０１…ＣＰＵ
１１２…撮像部
１１４…符号化処理部
１１５…表示制御部
１１６…表示部
１１７…通信制御部
１１８…通信部
１２１…傾き検知部
１２２…選択領域
３０１…画像分割部
【図１】
2018088600.tif 000003
【図２】
2018088600.tif 000004
【図３】
2018088600.tif 000005
【図４】
2018088600.tif 000006
【図５】
2018088600.tif 000007
【図６】
2018088600.tif 000008
【図７】
2018088600.tif 000009
【図８】
2018088600.tif 000010
【図９】
2018088600.tif 000011