(57)【要約】【課題】画像のアスペクト比を合わせるために、画像の上下または左右に付与領域を付与した画像の符号化において、静止画の連写などの場合、それぞれの画像毎に付与領域が符号化されるため符号化の処理速度が低下してしまう。【解決手段】画像の上下または左右に付与領域が付与された符号化画像を生成する場合、少なくとも付与領域のみが含まれる領域が生成されるようにタイル状に領域分割を行い、画像の非付与領域の符号化よりも前に付与領域のみが含まれる領域を符号化して符号化画像を生成する。【選択図】図６
2020057898.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と
画像を符号化する符号化手段と
前記符号化手段は画像を領域分割して符号化する領域分割符号化手段を有し
前記符号化手段は画像の上下または左右に付与領域が付与された符号化画像を生成する場合、少なくとも前記付与領域のみが含まれる領域が生成されるようにタイル状に領域分割を行い、画像の非付与領域の符号化よりも前に前記付与領域のみが含まれる領域を符号化して符号化画像を生成することを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、表示領域指定手段をさらに有し、
前記表示領域指定手段による表示領域が前記非付与領域となるように表示領域を指定し符号化画像を生成することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
複数の符号化された画像を１つのファイルとして出力するファイル生成手段をさらに有し、
アスペクト比が異なる画像が含まれる複数の符号化された画像を１つのファイルとして出力する場合、少なくとも１つの画像は前記画像の上下または左右に付与領域が付与された符号化画像であることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
連続撮像手段と記憶手段をさらに有し、
前記画像の上下または左右に付与領域が付与された符号化画像を生成する場合、１枚目の画像で使用した付与領域のみが含まれる領域の符号化データを前記記憶手段に保持し、２枚目以降の画像で使用することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像符号化装置。
【請求項５】
前記付与領域のみが含まれる領域の画像は単一色の画像であることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像符号化装置。
【請求項６】
前記符号化手段は、ＨＥＶＣであることを特徴とする請求項１乃至請求項５の何れか一項に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画の符号化技術に関する。
【背景技術】
【０００２】
近年、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）において、Ｈ．２６４の後継となる次世代動画像符号化方式であるＨＥＶＣ（以降、ＨＥＶＣと記載する）の標準化が進められている。ＨＥＶＣでは、Ｍａｉｎ  Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ  ｐｒｏｆｉｌｅなどの静止画用のプロファイルが存在し、動画だけでなく静止画の符号化も行うことができる。
【０００３】
また、デジタルカメラやカメラ機能付き携帯電話などの静止画撮影において、撮影によって得られた撮影画像（以後、本画像と呼ぶ）とその縮小画像を対応付けて同一のファイルに格納するという画像データの記録形式が普及している。
【０００４】
縮小画像は、記録媒体に記録されている複数の画像データから所望の画像を探すためのインデックス表示や、表示機器に素早く表示するために使用される。
【０００５】
ここで、表示装置への親和性を考慮して、縮小画像は、汎用的な動画の画像サイズで記録するケースを考える。例えば、縮小画像の画像サイズは、ＦＵＬＬ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  水平１９８０、垂直１０８０の画像サイズで記録するケースを考える。以後、汎用的な動画の画像サイズで作成した縮小画像をサブ画像と呼ぶ。
【０００６】
サブ画像は撮影した画像の画角の確認にも使用されるため、画角は維持されている必要がある。このため、本画像とサブ画像のアスペクト比が異なる場合は、本画像を縮小した画像をクロップするのではなく、特許文献１のように画像の上下または左右に画像を付与してサブ画像を作成する。以後、上下または左右に付与される画像の領域を付与領域と呼ぶ。また、画角が維持されている画像領域を有効画像領域と呼ぶ。図１にサブ画像の例を示す。図１（ａ）は、有効画像領域の上下に付与領域を付与したサブ画像を示し、図１（ｂ）は、有効画像領域の左右に付与領域を付与したサブ画像を示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１８０７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の方法では、サブ画像の付与領域は全画素単一色の画像など、あらかじめ決められた画像により生成するが、画像に付与領域を付与した後に付与領域が符号化されるため、符号化の処理速度が低下してしまう。特に静止画の連写において、連写したそれぞれの画像毎に付与領域が符号化されるため、符号化の処理時間への影響が大きくなる。
【０００９】
そこで本発明は、画像のアスペクト比を合わせるために、画像の上下または左右に付与領域を付与した画像の符号化の処理速度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像符号化装置は、
画像を撮像する撮像手段と、画像を符号化する符号化手段と、前記符号化手段は画像を領域分割して符号化する領域分割符号化手段を有し、前記符号化手段は画像の上下または左右に付与領域が付与された符号化画像を生成する場合、少なくとも前記付与領域のみが含まれる領域が生成されるようにタイル状に領域分割を行い、画像の非付与領域の符号化よりも前に前記付与領域のみが含まれる領域を符号化して符号化画像を生成することを特徴とする画像符号化装置により達成される。
【発明の効果】
【００１１】
本発明に係る画像符号化装置によれば、画像のアスペクト比を合わせるために、画像の上下または左右に付与領域を付与した画像の符号化の処理速度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】サブ画像の有効画像領域と、有効画像領域の上下または左右に付与した付与領域を示した図である。
【図２】本発明の実施形態における符号化装置の装置構成を示した図である。
【図３】本発明の実施形態における符号化装置のブロック図である。
【図４】本発明の実施形態における符号化処理部の機能構成を模式的に示したブロック図である。
【図５】本発明の実施形態における符号化処理におけるタイル構成の一例を示した図である。
【図６】本実施例１における符号化装置の処理全体の一例を示したフローチャートである。
【図７】本実施例２における画像の符号化の画像サイズと画像の表示の範囲が異なる画像の一例を示した図である。
【図８】本実施例２における復号化装置の処理全体の一例を示したフローチャートである。
【図９】有効画像領域がＣＴＵ単位のサイズとならない場合の符号化の画像サイズ、タイル分割とその領域、付与領域、有効画像領域の一例を示している。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１４】
本発明における実施例１について、図面を参照して詳細に説明する。
【００１５】
＜装置構成＞
図２に、符号化装置１００の装置構成を示す。表示部１１６は画像や各種情報を表示する表示部である。操作部１０４はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、シャッターボタン、タッチパネル、コントローラホイール等の操作部材より成る操作部である。電源スイッチにより、電源のオンとオフを切り替える。シャッターボタンにより撮影指示を行う。
【００１６】
＜全体ブロック図＞
図３は、符号化装置１００のブロック構成を示す図である。符号化装置１００は、図３に示すように、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、操作部１０４、撮像レンズ１１１、撮像部１１２、画像処理部１１３、符号化処理部１１４、表示制御部１１５、表示部１１６、通信制御部１１７、通信部１１８、記録媒体制御部１１９、記録媒体１２０、及び内部バス１３０を有する。
【００１７】
ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、符号化装置１００の各部の動作を制御する。
【００１８】
メモリ１０２は、書き換え可能な揮発性メモリであり、一時的に符号化装置１００の各部の動作を制御するコンピュータプログラム、各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信した情報等を記録する。メモリ１０２は、撮像部１１２、画像処理部１１３、符号化処理部１１４等で処理した画像や情報を一時的に記録するための十分な記憶容量を備えている。
【００１９】
不揮発性メモリ１０３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３は、符号化装置１００の各部の動作を制御するコンピュータプログラム及び各部の動作に関するパラメータ等の情報を記憶する。ここでいう、コンピュータプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２０】
操作部１０４は、符号化装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、符号化装置１００の電源ボタン及びメニューボタン、シャッターボタン等を有し、各ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って符号化装置１００を制御する。なお、操作部１０４は、不図示のリモートコントローラから受信したリモコン信号や、不図示の携帯端末から通信制御部１１７を介して通知された要求に応じて符号化装置１００を制御してもよい。
【００２１】
撮像レンズ１１１は、ズームレンズ、フォーカスレンズを含むレンズ群、レンズ制御部、絞りなどにより構成される。撮像レンズ１１１は図示しないレンズ制御部を有し、ＣＰＵ１０１から送信される制御信号により、焦点の調整や絞り値（Ｆ値）を制御する。
【００２２】
撮像部１１２は、被写体の光学像を電気信号に変換する撮像素子を備える。撮像素子は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等で構成されるエリアイメージセンサである。撮像部１１２は撮像した画像を画像処理部１１３またはメモリ１０２に出力する。
【００２３】
画像処理部１１３は、撮像部１１２から出力されるデータ、又は、メモリ１０２から読み出されたデータに対し所定の画素補間、縮小といったリサイズ処理、アスペクト比を合わせるための画像の付与、色変換処理等を行う。また、画像処理部１１３では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてＣＰＵ１０１が露光制御、測距制御を行う。これにより、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理が行われる。
【００２４】
符号化処理部１１４は、入力された画像データを画面内予測及び画面間予測符号化することでデータサイズを圧縮する。符号化処理部１１４は、例えばＨＥＶＣ方式で圧縮処理を行う。符号化処理部１１４の詳細な説明は図４を用いて後述する。
【００２５】
表示制御部１１５は、表示部１１６を制御するための制御部である。表示制御部１１５は表示部１１６で表示可能な画像になるようにリサイズ処理や色変換処理等を行い、画像信号を表示部１１６に出力する。
【００２６】
表示部１１６は、表示制御部１１５からの画像データを液晶ディスプレイや有機ＥＬ等で構成されており、表示制御部１１５から送られてきた画像信号を表示する。表示部１１６はタッチパネルでありユーザからの操作を受け付ける操作部も兼ねる。
【００２７】
通信制御部１１７は、ＣＰＵ１０１に制御され、ＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適用した変調信号を生成して、通信部１１８へ出力する。また、通信制御部１１７は、通信部１１８より無線通信規格に適用した変調信号を受信して復号することでアナログ信号をデジタル信号変換してＣＰＵ１０１に通知する。また、通信制御部１０８は通信を設定するためのレジスタを持っており、ＣＰＵ１０１から制御されることで通信時の送受信感度を調整し、所定の変調方式で送受信をおこなうことができる。
【００２８】
通信部１１８は、通信制御部１１７から送られてくる変調信号を外部へ出力、もしくは外部からの変調信号を受信するアンテナ及び、アナログ回路等により構成される。
【００２９】
記録媒体制御部１１９は、記録媒体１２０を制御するための制御部であり、ＣＰＵ１０１から要求を受けて、記録媒体１２０を制御するための制御信号を出力する。
【００３０】
記録媒体１２０は、撮像され符号化された画像データを記録するための着脱式、または内蔵式の不揮発性メモリや磁気ディスク等から構成される。なお、ＣＰＵ１０１が記録媒体１２０に記録する場合には、記録媒体のファイルシステムに適応した形式でファイルデータとして保存する。ここでいうファイルデータとは、ＭＰ４ファイル（ＩＳＯ／ＩＥＣ  １４４９６−１４：２００３）やＭＸＦ（Ｍａｔｅｒｉａｌ  ｅＸｃｈａｎｇｅ  Ｆｏｒｍａｔ）ファイル等のコンテナを示す。
【００３１】
内部バス１３０は、ＣＰＵ１０１とメモリ１０２に各処理部がアクセスするための内部バスである。
【００３２】
＜符号化処理部１１４の詳細ブロック図＞
次に本発明を適用可能な実施形態であるＨＥＶＣで符号化する画像符号化装置の構成及び処理の流れについて図４に示すブロック図を参照しながら説明を行う。なお、本発明の説明ではタイルとスライスのサイズは同じサイズとするが、画像を垂直方向にのみ分割する場合は、タイルは分割せず、スライスのみ分割して処理してもよい。また、本発明は静止画を対象としているため、画面内符号化のみ説明し、画面間符号化の説明は省略する。
【００３３】
画面分割制御部３０１は、ＣＰＵ１０１からの指示により画面を分割しないケースを含めて、画面分割を制御する。スライスまたは及びタイルの分割が画面の分割に相当する。なお、スライスの分割数は、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１により水平方向が決まり、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１により垂直方向が決定される。
【００３４】
画面サイズは、水平、垂直方向の画素数で定義されるものとする。また、ここで言う画面サイズとは、水平、垂直方向の画素数で表されるものとする。
【００３５】
画面分割制御部３０１は、決定した座標位置で、符号化対象の画面をタイル状に分割した各領域（以下、この領域を単にタイルと呼ぶ）に番号（以下、タイル番号という）を付す。そして、タイル番号で示されるタイル番号と符号化対象の画面におけるタイルの位置とを対応づける。なお、各タイルのサイズはＣＴＢ（Ｃｏｒｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）の数を示す各種情報で決定される。
【００３６】
そして、画面分割制御部３０１は、符号化処理中に、タイル毎の予測符号化条件を予測符号化方法決定部３０２へ出力する。この予測符号化条件には、或るタイル内の着目画素ブロックを符号化する際、その着目画素ブロック（符号化対象ブロック）の予測画素ブロックを取得する範囲を規定する情報が含まれる（詳細後述）。
【００３７】
予測符号化方法決定部３０２は、画面分割部３０１から入力される画面分割情報及び予測符号化条件に基づき符号化対象画面内の各画素ブロックに対する予測方法を決定する。予測符号化方法決定部３０２は、入力される画像信号と符号化済みの復号画像を格納するメモリ１０２から読み出した符号化済み画素値から簡易的な画面内予測を行うことにより符号化効率を示す評価値を算出する。そして、その符号化効率が最適となる予測方式を決定する。
【００３８】
画面内予測画素ブロックサイズ及び予測モードを決定する。
【００３９】
予測符号化方法決定部３０２は、決定した予測符号化用パラメータを予測符号化処理部３０３へ出力する。
【００４０】
予測符号化処理部３０３は、符号化対象のフレーム中の着目タイル内の着目画素ブロックを符号化する際、予測符号化方法決定部３０２により決定された予測符号化用パラメータに応じて、メモリ１０２から読出した符号化済み画像から予測画素ブロックを生成する。
【００４１】
そして、着目画素ブロックと予測画素ブロックの差分である予測残差ブロックを、直交変換・量子化部３０５へ出力する。また、予測画素ブロックを、局所復号化部３０６にも出力する。
【００４２】
直交変換・量子化部３０５は、与えられた予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部３０５は、後述する符号量制御部３０７から設定された量子化パラメータに応じた量子化ステップを用いて、直交変換して得られた係数を量子化する。その量子化後の係数（量子化データ）はエントロピー符号化部３０８、局所復号化部３０６へ供給される。
【００４３】
局所復号化部３０６は、入力した量子化データに対し逆量子化処理、逆直交変換処理を行うことで、予測残差データを生成する。そして、局所復号化部３０６は、その予測残差データに、予測符号化処理部３０３から入力される予測画像を加算して復号化処理を行い、得られた画素ブロックが示す画像データをメモリ１０２へ格納する。メモリ１０２へ格納された復号後の画像データは、以降の画面内予測処理に利用される。更にデブロッキングフィルタ処理が施された復号化画像データをメモリ１０２へ保持する。
【００４４】
エントロピー符号化部３０８では、入力された量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部３０８は、このため入力される量子化データ（多値データ）を２値データに変換する２値化部、その２値化部により生成された２値化データを格納する２値化データ・メモリを有する。また、エントロピー符号化部３０８は、２値化データの発生確率をコンテキストに応じて計算し、保持するコンテキスト計算部、及びコンテキスト計算部により供給される発生確率に応じて算術符号化を行う算術符号化部を有する。こうして符号化したデータをタイル単位に多重化処理部３０９へ供給すると共に、発生符号量を符号量制御部３０７へ出力する。
【００４５】
符号量制御部３０７は、符号化ピクチャバッファをオーバーフロー、又はアンダーフローさせないように符号化データの符号量を制御する処理部である。（符号量制御部３０７は、エントロピー符号化部３０８から供給されるエントロピー符号化後の発生符号量を元に、後続して入力するフレームに対する量子化パラメータを生成し、直交変換・量子化部３０５へ供給する。）
多重化処理部３０９は、画像の符号化の開始時には、ファイルヘッダに（符号化対象のフレームのサイズ等の情報に加えて、）各タイルの分割位置と、設定された画面サイズ、タイル番号、並びに、主被写体が存在するタイル番号を示す情報を格納する。
【００４６】
なお、タイル番号が、タイルを単位とするラスタースキャン順に符番されることが、符号化、復号化を行う装置双方の共通事項である場合にはタイル番号は不要としてもよい。
【００４７】
＜画面分割制御部３０１によるタイル分割例＞
図５に、本発明の実施例における、タイル構成の一例を示す。
【００４８】
図５の（ａ）は、入力される画像データに対する有る時点におけるタイル構成の一例を示した図である。図５（ａ）は、水平方向に３つに分割されたタイル構成となっており、タイルＡ１、タイルＡ２、タイルＡ３の３つのタイルで構成されている。図５（ｂ）は垂直方向に３つに分割されたタイル構成となっており、タイルＡ１、タイルＢ１、タイルＣ１の３つのタイルで構成されている。
【００４９】
＜符号化装置１００の全体の処理フロー＞
図６に、符号化装置１００における処理全体の一例を示す。なお、本実施例におけるフローチャートの制御プログラムは、符号化装置１００の電源がＯＮの状態において、不揮発性メモリ１０３に格納されているプログラムをメモリ１０２に展開してＣＰＵ１０１が実行する。本実施例における符号化装置１００の制御プログラムは、定期的に処理を繰り返し実行してもよい。
【００５０】
Ｓ１００において、ＣＰＵ１０１は、本画像の画像サイズとサブ画像の画像サイズを決定する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１００からＳ１０１へ進める。
【００５１】
Ｓ１０１において、ＣＰＵ１０１は、サブ画像の画像サイズに応じてタイル分割数と各タイルの画像サイズを決定する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０１からＳ１０２へ進める。本実施例では、サブ画像のタイル構成は、図５（ａ）のように水平方向に３つに分割されたタイル構成で、タイルＡ１とタイルＡ３は付与領域であり、タイルＡ２は有効画像領域とする。
【００５２】
Ｓ１０２において、ＣＰＵ１０１は、サブ画像のタイル分割数とタイルサイズから付与領域が必要か判定する。Ｓ１０２において付与領域が必要と判定された場合、ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０２からＳ１０３へ進める。Ｓ１０２において付与領域が必要ではないと判定された場合、ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０２からＳ１０４へ進める。
【００５３】
Ｓ１０３において、ＣＰＵ１０１は、画像処理部１１３によりタイルＡ１の画像サイズの全画素黒の画像（以後、黒埋め画像と呼ぶ）を生成し、タイルＡ３の画像サイズの黒埋め画像を生成する。ＣＰＵ１０１は、符号化処理部１１４によりタイルＡ１の黒埋め画像とタイルＡ３の黒埋め画像をそれぞれ符号化し、メモリ１０２に記憶する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０３からＳ１０４へ進める。
【００５４】
Ｓ１０４において、ＣＰＵ１０１は、シャッターボタンが押されたか判定する。シャッターボタンが押された場合、ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０４からＳ１０５へ進める。シャッターボタンが押されていない場合、ＣＰＵ１０１は、Ｓ１０４の処理を繰り返す。
【００５５】
Ｓ１０５において、ＣＰＵ１０１は、撮像部１１２により撮影する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０５からＳ１０６へ進める。
【００５６】
Ｓ１０６において、ＣＰＵ１０１は、画像処理部１１３により本画像を生成し、メモリ１０２に記憶する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０６からＳ１０７へ進める。
【００５７】
Ｓ１０７において、ＣＰＵ１０１は、メモリ１０２から本画像を読み出して、符号化処理部１１４により符号化しメモリ１０２に記憶する。本画像の符号化データはＨＥＶＣストリームである。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０７からＳ１０８へ進める。
【００５８】
Ｓ１０８において、ＣＰＵ１０１は、メモリ１０２から本画像を読み出して、画像処理部１１３によりリサイズし、サブ画像の有効画像領域を生成し、メモリ１０２に記憶する。本実施例では、サブ画像の有効画像領域の画像サイズは、タイルＡ２と同じサイズとする。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０８からＳ１０９へ進める。
【００５９】
Ｓ１０９において、ＣＰＵ１０１は、メモリ１０２からサブ画像の有効画像領域を読み出して、符号化処理部１１４により符号化し、メモリ１０２に記憶する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１０９からＳ１１０へ進める。
【００６０】
Ｓ１１０において、ＣＰＵ１０１は、メモリ１０２からサブ画像の各タイルの符号化データを読み出して、シンタックス情報と結合してＨＥＶＣのストリームを生成する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１１０からＳ１１１へ進める。
【００６１】
Ｓ１１１において、ＣＰＵ１０１は、本画像のＨＥＶＣストリームとサブ画像のＨＥＶＣストリームをコンテナ化する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１１１からＳ１１２へ進める。
【００６２】
Ｓ１１２において、ＣＰＵ１０１は、コンテナ化したファイルを記録媒体制御部１１９により記録媒体１２０に記録する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ１１２からＳ１１３へ進める。
【００６３】
Ｓ１１３において、ＣＰＵ１０１は、撮影終了か判定する。Ｓ１１３において撮影終了の場合、ＣＰＵ１０１は、一連の処理を終了する。Ｓ１１３において撮影終了ではない場合、ＣＰＵ１０１は、本フローチャートにおける処理をＳ１１３からＳ１０４に戻す。
【００６４】
以上、本実施例における符号化装置１００により、画像のアスペクト比を合わせるために、画像に付与領域を付与して符号化する処理において、付与領域を符号化しておくことで符号化の処理速度を向上させることができる。
【００６５】
本実施例では、付与領域の黒埋め画像を生成して符号化したが、符号化装置において本画像とサブ画像の画像サイズの組み合わせは、限られた決められた組み合わせであるケースが多い。このため、不揮発性メモリに付与領域の符号化データを記録しておき、不揮発性メモリから付与領域の符号化データを読み出してもよい。
【００６６】
また、本実施例では、シャッターボタンが押される前にＳ１０２とＳ１０３の処理を行い付与領域の符号化データを生成したが、シャッターボタンが押された後にＳ１０２とＳ１０３の処理を行ってもよい。
【実施例２】
【００６７】
本発明の第２の実施例として、サブ画像の符号化のサイズとサブ画像の表示のサイズが異なる処理を示す。ＨＥＶＣでは、タイルのサイズはＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）単位となる。ＣＴＵが取り得る設定値は１６×１６、３２×３２、６４×６４のいずれかである。また、ＨＥＶＣでは最小タイルサイズが規定されている。このため、符号化のサイズと所望の表示サイズが一致しない場合がある。なお、装置構成は前述した実施例１と同等とし説明は省略する。
【００６８】
図７に、画像の符号化のサイズと画像の表示のサイズが異なる例を示す。ＨＥＶＣでは、
ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）のパラメータにより表示範囲を指定できる。具体的には、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔにより表示範囲を指定できる。
【００６９】
図７（ａ）は１タイルで構成された符号化画像の画像サイズと表示の範囲が異なる例である。図７（ｂ）は水平３分割にタイル分割された符号化画像の画像サイズと表示の範囲が異なる例である。
【００７０】
図８に、符号化画像の画像サイズと表示の範囲が異なる画像生成の一連の処理の流れを示す。なお、Ｓ２００、Ｓ２０２からＳ２０９、Ｓ２１１からＳ２１３の処理は、それぞれ図６のＳ１００、Ｓ１０２からＳ１０９、Ｓ１１１からＳ１１３と同様の処理であるため説明を省略する。
【００７１】
Ｓ２０１において、ＣＰＵ１０１は、サブ画像の画像サイズに応じてタイル分割数と各タイルの画像サイズを決定する。また、ＣＰＵ１０１は、画像の表示の範囲を決定する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ２０１からＳ２０２へ進める。
【００７２】
Ｓ２１０において、ＣＰＵ１０１は、メモリ１０２からサブ画像の各タイルの符号化データを読み出して、シンタックス情報と結合してＨＥＶＣのストリームを生成する。このシンタックス情報にはＳＰＳの表示範囲のシンタックスも含まれる。ＣＰＵ１０１は、本フローチャートにおける処理をＳ２１０からＳ２１１へ進める。
【００７３】
以上、本実施例における符号化装置１００により、画像のアスペクト比を合わせるために付与領域を付与して符号化する処理において、符号化画像の画像サイズと表示の範囲が異なる処理においても、符号化の処理速度を向上させることができる。
【００７４】
また、有効画像領域がＣＴＵ単位のサイズとならない場合は、図９のように処理をしてもよい。図９（ａ）は符号化の画像サイズ、タイル分割とその領域、付与領域、有効画像領域を示している。図９（ｂ）と図９（ｄ）は付与領域のみが含まれるタイルを示している。図９（ｃ）は有効画像領域に付与領域が付与されたタイルを示している。このようにタイル分割をすることで、有効画像領域が含まれるタイルの付与領域を少なくすることができるため符号化の処理速度を向上させることができる。
【００７５】
（他の実施例）
本発明に係る符号化装置１００は、本実施例で説明した符号化装置１００に限定されるものではない。
【００７６】
また、本実施例で説明した様々な処理及び機能は、コンピュータプログラムにより実現することも可能である。この場合、本発明に係るコンピュータプログラムは、コンピュータ（ＣＰＵ等を含む）で実行可能であり、本実施例で説明した様々な機能を実現することになる。
【００７７】
本発明に係るコンピュータプログラムは、コンピュータ上で稼動しているＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などを利用して、本実施例で説明した様々な処理及び機能を実現してもよいことは言うまでもない。
【００７８】
本発明に係るコンピュータプログラムは、コンピュータ読取可能な記録媒体から読み出され、コンピュータで実行されることになる。コンピュータ読取可能な記録媒体には、ハードディスク装置、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＲＯＭ等を用いることができる。また、本発明に係るコンピュータプログラムは、通信インターフェースを介して外部装置からコンピュータに提供され、当該コンピュータで実行されるようにしてもよい。
【符号の説明】
【００７９】
１００  符号化装置、１０１  ＣＰＵ、１０２  メモリ、１０３  不揮発性メモリ、
１０４  操作部、１１１  撮像レンズ、１１２  撮像部、１１３  画像処理部、
１１４  符号化処理部、１１５  表示制御部、１１６  表示部、１１７  通信制御部、
１１８  通信部、１１９  記録媒体制御部、１２０  記録媒体、１３０  内部バス、
３０１  画面分割部、３０２  予測符号化方法決定部、３０３  予測符号化処理部、
３０５  直交変換量子化部、３０６  局所復号化部、３０７  符号量制御部、
３０８  エントロピー符号化部、３０９  多重化処理部
【図１】
2020057898.tif 000003
【図２】
2020057898.tif 000004
【図３】
2020057898.tif 000005
【図４】
2020057898.tif 000006
【図５】
2020057898.tif 000007
【図６】
2020057898.tif 000008
【図７】
2020057898.tif 000009
【図８】
2020057898.tif 000010
【図９】
2020057898.tif 000011