(57)【要約】【課題】ビットレートを増加させず、分割画像の整数倍の全画素を符号化可能とする画像分割装置及び分割画像符号化装置を提供する。【解決手段】超高精細画像を画像分割装置１０２で分割し、マクロブロックと異なる位置に分割画像の境界線が存在する場合には、分割画像の境界線とマクロブロックの境界の間のパディング画像をブランキング期間中に分割画像符号化装置１０４に伝送し、分割画像符号化装置１０４はパディング画像を抽出して分割画像に合成し、合成後の画像を符号化する。【選択図】図１
2010226672.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像を分割して符号化する際に利用される画像分割装置であって、
符号化対象画像を分割する際に、分割画像を、有効画素領域と同じサイズの単純分割画像とするか、単純分割画像にパディング画像を付加した拡張分割画像とするかを決定する分割画像領域決定手段と、
前記分割画像領域決定手段によって決定した前記分割画像毎に、前記単純分割画像か前記拡張分割画像かを判断し、前記単純分割画像である場合には、該単純分割画像を画像信号用期間内に伝送し、前記拡張分割画像である場合には、前記拡張分割画像に含まれる単純分割画像を画像信号用期間内に伝送するとともに、前記拡張分割画像に含まれるパディング画像を前記画像信号用期間以外のブランキング期間内に伝送して前記拡張分割画像を分離伝送する、分割画像割り当て手段とを備え、
前記分割画像領域決定手段は、前記拡張分割画像のサイズを、拡張分割画像の画像幅については、前記有効画素領域の画像幅≦拡張分割画像の画像幅＜（前記有効画素領域の画像幅＋マクロブロック幅）、且つマクロブロック幅の整数倍となるように決定し、拡張分割画像の画像高さについては、前記有効画素領域の画像高さ≦拡張分割画像の画像高さ＜（前記有効画素領域の画像高さ＋マクロブロック高さ）、且つマクロブロック高さの整数倍となるように決定することを特徴とする画像分割装置。
【請求項２】
前記ブランキング期間は、画像信号における水平ブランキング期間及び／又は垂直ブランキング期間として設定されていることを特徴とする画像分割装置。
【請求項３】
前記符号化対象画像の画像サイズは３８４０画素×２１６０ライン又は７６８０画素×４３２０ラインであり、
前記有効画素領域の画像サイズは１９２０画素×１０８０ラインであり、
前記マクロブロックのサイズは１６画素×１６ラインであることを特徴とする、請求項１又は２に記載の画像分割装置。
【請求項４】
符号化対象画像を分割して符号化する際に利用される分割画像符号化装置であって、
請求項１〜３のいずれか一項に記載の画像分割装置からの分割画像を入力して、前記入力分割画像が、前記パディング画像を有する場合には、前記ブランキング期間中に伝送される前記パディング画像を抽出して前記拡張分割画像を形成するために合成して出力し、前記入力分割画像が前記パディング画像を有さない場合には、該入力分割画像を出力するパディング画像抽出合成部と、
前記パディング画像抽出合成部から出力される分割画像について、前記拡張分割画像である場合には、前記パディング画像を用いて当該分割画像を符号化し、前記単純分割画像である場合には、該単純分割画像の情報のみを用いて符号化する分割画像符号化部とを備えることを特徴とする分割画像符号化装置。
【請求項５】
前記ブランキング期間は、画像信号における水平ブランキング期間及び／又は垂直ブランキング期間として設定されており、
前記パディング画像抽出合成部は、前記パディング画像を前記水平ブランキング期間及び／又は前記垂直ブランキング期間から抽出することを特徴とする、請求項４に記載の分割画像符号化装置。
【請求項６】
符号化対象画像を分割して符号化する際に利用される画像分割装置として機能するコンピュータに、
（ａ）符号化対象画像を分割する際に、分割画像を、有効画素領域と同じサイズの単純分割画像とするか、単純分割画像にパディング画像を付加した拡張分割画像とするかを決定するステップと、
（ｂ）前記ステップ（ａ）により決定した前記分割画像毎に前記単純分割画像か前記拡張分割画像かを判断し、前記単純分割画像である場合には、該単純分割画像を画像信号用期間内に伝送し、前記拡張分割画像である場合には、前記拡張分割画像に含まれる単純分割画像を画像信号用期間内に伝送するとともに、前記拡張分割画像に含まれるパディング画像を前記画像信号用期間以外のブランキング期間内に伝送して前記拡張分割画像を分離伝送するステップとを実行させるためのプログラムであって、
前記ステップ（ａ）は、前記拡張分割画像のサイズを、拡張分割画像の画像幅については、有効画素領域の画像幅≦拡張分割画像の画像幅＜（前記有効画素領域の画像幅＋マクロブロック幅）、且つマクロブロック幅の整数倍となるように決定し、拡張分割画像の画像高さについては、前記有効画素領域の画像高さ≦拡張分割画像の画像高さ＜（前記有効画素領域の画像高さ＋マクロブロック高さ）、且つマクロブロック高さの整数倍となるように決定する、プログラム。
【請求項７】
符号化対象画像を分割して符号化する際に利用される分割画像符号化装置として機能するコンピュータに、
（ｃ）前記ステップ（ｂ）によって送出される分割画像を入力して、該分割画像が、前記パディング画像を有する分割画像である場合には、前記ブランキング期間中に伝送される前記パディング画像を抽出して前記拡張分割画像を形成するために合成して出力し、
それ以外の分割画像が入力された場合には、該分割画像を出力するステップと、
（ｄ）前記ステップ（ｃ）によって出力される分割画像について前記パディング画像を有する分割画像である場合には、前記パディング画像を用いて当該分割画像を符号化し、それ以外の場合には、該分割画像の情報のみを用いて符号化するステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を分割する画像分割装置、分割画像を圧縮符号化する分割画像符号化装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、４Ｋ×２Ｋ画像やスーパーハイビジョンなど、ＨＤＴＶの画素数を大幅に超える超高精細画像（ＵＨＤＴＶ）が開発されている。これらの超高精細画像は極めて情報量が多く、画素レートも著しく高い。そのため、超高精細画像全体を一度に圧縮符号化する装置を提供することは困難である。そこで、超高精細画像を圧縮符号化する場合、画像分割装置により超高精細画像をＨＤＴＶサイズに分割し、ＨＤＴＶ用の符号化装置により各分割画像を符号化することが多い。
【０００３】
このように高精細画像を分割し、元の画像よりも解像度の低い装置で圧縮符号化することは過去にも行われている。例えば、ＨＤＴＶ用の初期の符号化装置は、ＨＤＴＶ画像をＳＤＴＶ又はＳＤＴＶ以下のサイズに分割し、ＳＤＴＶ又はＳＤＴＶ以下のサイズ用の符号化装置を組み合わせてＨＤＴＶ画像を圧縮符号化していた。同様に、高精細画像の符号化装置を実現する際に、オーバーラップ領域を設けることなしに画像を単純に分割して符号化する技法が知られている（例えば、非特許文献１参照）。
【０００４】
また、高精細画像を分割して符号化する場合、分割境界を目立たなくさせる方法として、分割画像にオーバーラップ領域を設ける技法が知られている（例えば、特許文献１参照）。例えば、送信側では高精細画像に対して少なくとも水平方向に３２画素、垂直方向に３２ラインのオーバーラップ領域を設けた上で分割し、各分割画像を圧縮符号化して送信する。一方、受信側では圧縮符号化した各分割画像を受信して復号後にオーバーラップ領域を合成することで高精細画像を再現し、分割境界を目立たなくさせている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２３４０３号公報
【非特許文献】
【０００６】
【非特許文献１】黒住、“スーパーハイビジョンのＭＰＥＧ−２符号化、”映像情報メディア学会誌、ｖｏｌ．６１、ｎｏ．５、２００７、ｐ．６０８−６１１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、オーバーラップ領域を設けて高精細画像を分割する場合、オーバーラップの分だけビットレートが増加するという問題がある。
【０００８】
本発明の目的は、上記問題を解決するため、ビットレートを増加させず、かつ分割境界を目立たなくする態様で符号化対象画像（例えば、符号化対象の超高精細画像）を分割して符号化する、画像分割装置、分割画像符号化装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、符号化対象画像を符号化するための分割数で分割した結果の画像（単純分割画像）のサイズが符号化装置の符号化領域よりも小さいときに適用する技術であり、単純分割画像に付加するパディング画像には、隣接する単純分割画像の画像を用いることを特徴とする。
【００１０】
即ち、本発明に係る画像分割装置は、符号化対象画像を分割して符号化する際に利用される画像分割装置であって、符号化対象画像を分割する際に、分割画像を、有効画素領域と同じサイズの単純分割画像とするか、単純分割画像にパディング画像を付加した拡張分割画像とするかを決定する分割画像領域決定手段と、前記分割画像領域決定手段によって決定した前記分割画像毎に前記単純分割画像か前記拡張分割画像かを判断し、前記単純分割画像である場合には、該単純分割画像を画像信号用期間内に伝送し、前記拡張分割画像である場合には、前記拡張分割画像に含まれる単純分割画像を画像信号用期間内に伝送するとともに、前記拡張分割画像に含まれるパディング画像を前記画像信号用期間以外のブランキング期間内に伝送して前記拡張分割画像を分離伝送する、分割画像割り当て手段とを備え、前記分割画像領域決定手段は、前記拡張分割画像のサイズを、拡張分割画像の画像幅については、前記有効画素領域の画像幅≦拡張分割画像の画像幅＜（前記有効画素領域の画像幅＋マクロブロック幅）、且つマクロブロック幅の整数倍となるように決定し、拡張分割画像の画像高さについては、前記有効画素領域の画像高さ≦拡張分割画像の画像高さ＜（前記有効画素領域の画像高さ＋マクロブロック高さ）、且つマクロブロック高さの整数倍となるように決定することを特徴とする。
【００１１】
また、本発明に係る画像分割装置において、前記ブランキング期間は、画像信号における水平ブランキング期間及び／又は垂直ブランキング期間として設定されていることを特徴とする。
【００１２】
また、本発明に係る画像分割装置において、前記符号化対象画像の画像サイズは３８４０画素×２１６０ライン又は７６８０画素×４３２０ラインであり、前記有効画素領域の画像サイズは１９２０画素×１０８０ラインであり、前記マクロブロックのサイズは１６画素×１６ラインであることを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係る分割画像符号化装置は、請求項１〜３のいずれか一項に記載の画像分割装置からの分割画像を入力して、前記入力分割画像が、前記パディング画像を有する場合には、前記ブランキング期間中に伝送される前記パディング画像を抽出して前記拡張分割画像を形成するために合成して出力し、前記入力分割画像が前記パディング画像を有さない場合には、該入力分割画像を出力するパディング画像抽出合成部と、前記パディング画像抽出合成部から出力される分割画像について、前記拡張分割画像である場合には、前記パディング画像を用いて当該分割画像を符号化し、前記単純分割画像である場合には、該単純分割画像の情報のみを用いて符号化する分割画像符号化部と、を備えることを特徴とする。
【００１４】
また、本発明に係る分割画像符号化装置において、前記ブランキング期間は、画像信号における水平ブランキング期間及び／又は垂直ブランキング期間として設定されており、前記パディング画像抽出合成部は、前記パディング画像を前記水平ブランキング期間及び／又は前記垂直ブランキング期間から抽出することを特徴とする。
【００１５】
さらに、本発明は、本発明による画像分割装置及び／又は分割画像符号化装置をコンピュータとして構成し、該コンピュータを本発明による画像分割装置及び／又は分割画像符号化装置として機能させることができる。
【発明の効果】
【００１６】
本発明によれば、ビットレートを増加させず、かつ分割境界を目立たなくする態様で符号化対象画像（例えば、符号化対象の超高精細画像）を分割して符号化することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による実施例１の画像分割装置及び分割画像符号化装置の全体の構成図である。
【図２】本発明による実施例１の画像分割装置の構成図である。
【図３】本発明による実施例１の分割画像符号化装置の構成図である。
【図４】本発明による実施例１の画像分割装置及び分割画像符号化装置の処理の流れを説明する図である。
【図５】画像の４分割を表す図である。
【図６】本発明による実施例１の画像の分割を表す図である。
【図７】本発明による実施例１の分割及び分割画像符号化装置の内部処理を表す図である。
【図８】マクロブロック単位での処理を表す図である。
【図９】入力画像を（Ｎ×Ｍ）個に分割した図である。
【図１０】本発明による実施例２の分割画像の画像高さの決定方法の処理の流れを説明する図である。
【図１１】本発明による実施例２の分割画像の画像幅の決定方法の処理の流れを説明する図である。
【図１２】従来例の画像の分割を表す図である。
【図１３】従来例の画像の分割及び分割画像符号化装置の内部処理を表す図である。
【発明を実施するための形態】
【００１８】
最初に、本発明の説明に用いる用語について定義する。
【００１９】
［用語の定義］
画像の横方向の画素数を「画像幅」、画像の縦方向のライン数を「画像高さ」と定義する。
【００２０】
画像を圧縮する際に用いられるマクロブロックの横方向の画素数を「マクロブロック幅」、マクロブロックの縦方向のライン数を「マクロブロック高さ」と定義する。ＭＰＥＧ−２方式やＨ．２６４方式では、マクロブロック幅は１６画素、マクロブロック高さは１６ラインである。
【００２１】
分割して符号化しようとする高精細画像を「符号化対象画像」と定義し、このサイズを（org_Width、org_Height）と表記する。高精細映像としては例えば、org_Width＝３８４０、org_Height＝２１６０の場合や、org_Width＝７６８０、org_Height＝４３２０の場合が想定されている。
【００２２】
分割後の画像(分割画像)を符号化するために用いる符号化装置の有効画素の領域を、「符号化装置の有効画素領域」又は単に「有効画素領域」と定義し、有効画素領域のサイズを（valid_Width、valid_Height）と表記する。例えば、ＨＤＴＶ画像用の符号化装置では、valid_Width＝１９２０、valid_Height＝１０８０になる。
【００２３】
符号化装置が実際に符号化する領域を、「符号化装置の符号化領域」又は単に「符号化領域」と定義し、符号化領域のサイズを(enc_Width、enc_Height)と表記する。ＭＰＥＧ−２方式やＨ．２６４方式など、符号化方式の多くは画像幅、画像高さが、マクロブロック幅、マクロブロック高さの倍数でないと符号化できないため、有効画素領域よりサイズの広い符号化領域を符号化している。例えば、ＭＰＥＧ−２方式やＨ．２６４方式のＨＤＴＶ画像用の符号化装置では、enc_Width＝１９２０、enc_Height＝１０８８である。
【００２４】
有効画素領域より符号化領域の方が広いときに、有効画素領域の範囲外の符号化領域を黒信号などで埋めることを「パディング」という。そして、パディングで埋める領域を「パディング領域」と定義し、パディングに用いる画像を「パディング画像」と定義する。例えば、ＭＰＥＧ−２方式やＨ．２６４方式のＨＤＴＶ用符号化装置では、符号化領域が１９２０画素×１０８８ラインであるのに対し、有効画素領域が１９２０画素×１０８０ラインであるので、８ラインをパディングしている。なお、復号装置では、符号化領域を復号した後に、パディング領域は使用せず、有効画素領域のみを出力するため、パディングにどのような画像を使うかは、符号化装置側で自由に決定することができる。
【００２５】
符号化対象画像を符号化するために分割する数を「分割数」と定義する。水平方向の分割数をdiv_X、垂直方向の分割数をdiv_Yと表記すると、div_X＝org_Width／valid_Width、div_Y＝org_Heigh／valid_Heightと求まる。符号化対象画像を符号化するためには、符号化装置は（div_X×div_Y）個必要になる。
【００２６】
符号化対象画像を分割数で分割した結果の画像を、「単純分割画像」と定義する。単純分割画像のサイズは、符号化装置の有効画素領域のサイズ(valid_Width、valid_Height)と等しいか、小さくなる。例えば、前述の高精細映像の例(org_Width＝３８４０、org_Height＝２１６０、又はorg_Width＝７６８０、org_Height＝４３２０の場合)では、該画像を４分割又は１６分割してＨＤＴＶ用符号化装置で符号化する場合は、単純分割画像のサイズは、符号化装置の有効画素領域のサイズと等しくなる。
【００２７】
enc_Width＞valid_Width及び／又はenc_Height＞valid_Heightのときに、単純分割画像にパディング画像を付加した画像を、「拡張分割画像」と定義する。拡張分割画像のサイズは、符号化装置の符号化領域のサイズ(enc_Width、enc_Height)と等しい。
【００２８】
単純分割画像と拡張分割画像を総称したものを「分割画像」と定義する。分割画像の画像数は（div_X×div_Y）個である。
【実施例１】
【００２９】
本発明の実施形態について、まず画像分割装置及び分割画像符号化装置の構成について説明する。
【００３０】
［画像分割装置及び分割画像符号化装置の構成］
図１は、本発明による実施例１の画像分割装置１０２及び分割画像符号化装置１０４の全体の構成図である。画像分割装置１０２及び分割画像符号化装置１０４は、符号化対象画像入力端子１０１、画像分割装置１０２、ｎ個の分割画像伝送信号１０３−１〜１０３−ｎ、ｎ個の分割画像符号化装置１０４−１〜１０４−ｎ、制御部１０５及びｎ個の符号データ出力端子１０６−１〜１０６−ｎから構成される。
【００３１】
符号化対象画像入力端子１０１からは、符号化の対象となる符号化対象画像が入力される。画像分割装置１０２は、入力された符号化対象画像を単純分割画像又は拡張分割画像に分割し、符号化装置１０４に伝送する。
【００３２】
分割画像符号化装置１０４は、画像分割装置１０２から伝送される分割画像を符号化する。分割画像にパディング画像が含まれる場合には、パディング画像を抽出して合成し、合成後の画像を符号化する。そして、符号データを符号データ出力端子１０６から出力する。
【００３３】
符号データは、復号装置（図示しない）によって分割画像ごとに復号され、復号された画像は１つの画像に合成される。
【００３４】
制御部１０５は、画像分割装置１０２及び分割画像符号化装置１０４の動作を制御する。
【００３５】
図２は、画像分割装置１０２の構成図である。画像分割装置１０２は、分割画像領域決定部２０１及び分割画像割り当て部２０２から構成される。制御部１０５は、分割画像領域決定部２０１及び分割画像割り当て部２０２の動作を制御するため、分割画像領域決定部２０１及び分割画像割り当て部２０２には、制御部１０５からの制御信号が入力される。
【００３６】
分割画像領域決定部２０１は、画像分割装置１０２が分割画像符号化装置１０４に伝送する画像を、単純分割画像とするか拡張分割画像とするかを決定するとともに、分割画像のサイズを決定する。単純分割画像とするか拡張分割画像とするかは、後述するように、分割画像のサイズ、及び分割画像の位置によって決定する。
【００３７】
分割画像領域決定部２０１は、拡張分割画像の画像幅については、有効画素領域の画像幅≦拡張分割画像の画像幅＜（有効画素領域の画像幅＋マクロブロック幅）、且つマクロブロック幅の整数倍となるように決定し、拡張分割画像の画像高さについては、有効画素領域の画像高さ≦拡張分割画像の画像高さ＜（有効画素領域の画像高さ＋マクロブロック高さ）、且つマクロブロック高さの整数倍となるように決定する。一方、分割画像領域決定部２０１は、単純分割画像のサイズを有効画素領域のサイズに決定する。
【００３８】
単純分割画像にパディング画像を付加して拡張分割画像とするが、このパディング画像には、後述するように隣接する単純分割画像の画像を用い、パディング画像の分だけ分割画像をオーバーラップさせる。
【００３９】
分割画像割り当て部２０２は、分割画像領域決定部２０１で決定した分割画像毎に単純分割画像か拡張分割画像かを判断し、拡張分割画像であると判断した場合には、拡張分割画像内のパディング画像を拡張分割画像内の単純分割画像と分離伝送可能とし、異なるタイミングで分割画像符号化装置１０４に送出する。
【００４０】
図３は、分割画像符号化装置１０４の構成図である。分割画像符号化装置１０４は、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３から構成される。制御部１０５は、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３の動作を制御するため、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３には、制御部１０５からの制御信号が入力される。
【００４１】
パディング画像抽出合成部３０１は、画像分割装置１０２からの分割画像を入力する。入力画像がパディング画像を有する（拡張分割画像が単純分割画像とパディング画像とに分離して伝送されている）場合には、ブランキング期間中に伝送されるパディング画像を抽出し、パディング画像用メモリ３０２に書き込む。そして、パディング画像以外の画像（単純分割画像）を分割画像符号化部３０３に出力した後、続けてパディング画像をパディング画像用メモリ３０２から読み出し、分割画像符号化部３０３に出力する。分割画像が、パディング画像を有さない（単純分割画像が伝送されている）場合には、入力画像（単純分割画像）をそのまま分割画像符号化部３０３に出力する。
【００４２】
パディング画像用メモリ３０２は、パディング画像を一時的に記憶する。
【００４３】
分割画像符号化部３０３は、パディング画像抽出合成部３０１から入力される分割画像を符号化する。
【００４４】
次に、本発明による実施例１の画像分割装置１０２及び分割画像符号化装置１０４の処理の流れを詳細に説明する。
【００４５】
［画像分割装置及び分割画像符号化装置の動作］
ここでは、４Ｋ×２Ｋ画像として用いられることの多い画像幅３８４０画素×画像高さ２１６０ラインの符号化対象画像（org_Width＝３８４０、org_Height＝２１６０）を、水平方向に２分割（div_X＝２）、垂直方向に２分割（div_Y＝２）して、有効画素領域をＨＤＴＶのフレームサイズである１９２０画素×１０８０ライン（valid_Width＝１９２０、valid_Height＝１０８０）とし、ＭＰＥＧ−２を用いて圧縮符号化する場合を例にとって説明する。
【００４６】
図４は、本発明による実施例１の画像分割装置１０２及び分割画像符号化装置１０４の処理の流れを説明する図である。まず、ステップＳ４０１では、３８４０画素×２１６０ラインの符号化対象画像を分割画像割り当て部２０２に入力する。
【００４７】
ステップＳ４０２では、分割画像割り当て部２０２によって、ノイズ除去を行うプリフィルタ処理、色差信号の４：２：２形式から４：２：０形式へのサンプル数変換処理等を行う。そして、処理後の画像をフレームメモリ（図示しない）に書き込む。なお、プリフィルタ処理やサンプル数変換処理等は、符号化画質改善や画像フォーマット変換のために多くの符号化装置で行なっているステップであり、本発明において必須なステップではない。
【００４８】
ステップＳ４０３では、分割画像領域決定部２０１によって、分割画像領域を決定する。ＭＰＥＧ−２ビデオにおいては、シーケンス、ＧＯＰ（Group Of Pictures）、ピクチャ、スライス、マクロブロック、ブロックの各レイヤが存在する。マクロブロックは１６画素×１６ラインからなり、動き補償予測はマクロブロック単位で行われる。ブロックは８画素×８ラインからなり、ＤＣＴ（離散コサイン変換）や可変長符号化はブロック単位で行われる。マクロブロック単位での処理を実行するためには、画像幅及び画像高さが１６の倍数である必要がある。しかし、入力された符号化対象画像を分割した場合、図８に示すように、単純分割画像の画像幅又は画像高さが１６の倍数でない場合がある。この場合には、パディング画像を付加し、画像幅及び画像高さを１６の倍数にする。パディング領域は、図８では斜線部分である。
【００４９】
本実施例では、画像全体が４分割されるため、図１に示す分割画像伝送信号１０３の本数、分割画像符号化装置１０４の個数及び符号データ出力端子１０６の個数は４個となる。
【００５０】
図５に示すように、３８４０画素×２１６０ラインの画像を水平方向に２分割、垂直方向に２分割すると、画像［１，１］、画像［１，２］、画像［２，１］、画像［２，２］の４つの単純分割画像が生成され、各々の画像サイズは１９２０画素×１０８０ラインとなる。１９２０画素×１０８０ラインはＨＤＴＶ用符号化装置の有効画素領域のサイズと同じであるため、分割画像符号化部として従来のＨＤＴＶ用符号化装置を用いて符号化することができる。
【００５１】
１９２０画素×１０８０ラインは、画像幅は１６の倍数であるが、画像高さが１６の倍数でない。そこで、分割画像領域決定部２０１は、画像［１，１］、画像［１，２］については、拡張分割画像とする。拡張分割画像の画像幅については、１９２０画素≦拡張分割画像の画像幅＜（１９２０画素＋１６画素）、且つ１６の整数倍となるように、１９２０画素と決定する。拡張分割画像の画像高さについては、１０８０ライン≦拡張分割画像の画像高さ＜（１０８０ライン＋１６ライン）、且つ１６の整数倍となるように、１０８８ラインと決定する。
【００５２】
画像［２，１］、画像［２，２］については、後述するように、分割画像符号化部３０３で８ライン分のパディング領域を設けるため、単純分割画像のままとする。
【００５３】
ステップＳ４０４では、分割画像割り当て部２０２によって、分割画像領域決定部２０１で定めた領域に基づき、フレームメモリ（図示しない）から分割画像を読み出す。
【００５４】
図６に分割画像の割り当てを示す。画像［１，１］については、斜線に示す８ライン、すなわち画像［２，１］の上部８ラインをパディング画像とする。画像［１，２］については、斜線に示す８ライン、すなわち画像［２，２］の上部８ラインをパディング画像とする。本発明では、パディング画像として元画像の１０８１ライン〜１０８８ラインを使用し、１０８１ライン〜１０８８ラインをオーバーラップさせる点が従来と異なる。
【００５５】
本発明に係る元画像を用いてパディングする場合と、符号化装置内部で画像にパディングする場合との効果の違いを以下に説明する。符号化装置内部で画像にパディングする場合は、画像分割装置では画像にパディングせずに、分割画像を出力する。そして、後段の符号化装置の内部で画像サイズが１６の倍数となるように画像にパディングする。この場合の分割画像の割当てを図１２に示す。図１２（ａ）は符号化対象画像であり、図１２（ｂ）（ｃ）は、画像［１，１］について符号化装置内部でパディングにする場合について示している。符号化装置は、図１２（ｂ）に示す１９２０画素×１０８０ラインの画像が入力されると、図１２（ｃ）に示すように画像サイズが１６の倍数となるように８ライン分パディングする（斜線部分はパディング領域を示す）。そして、パディングされた１９２０画素×１０８８ラインの画像を符号化する。本発明と異なり、このパディングは符号化装置内部で行われるため、分割画面毎に独立して行われ、他の分割画像は参照しない。
【００５６】
符号化装置内部で行われる画像のパディングは、黒やグレイなどの単一色で行う方法や、最終ラインを繰り返す方法などがあるが、いずれの方法でも、他の分割画像を参照できない。したがって、画像［１，１］にパディングされた８ラインは、画像［２，１］の上部８ラインとは異なる画像となり、同様に画像［１，２］にパディングされた８ラインは、画像［２，２］の上部８ラインとは異なる画像となる。
【００５７】
この状態で符号化を行うと、パディング画像を有するマクロブロックについては、元画像とは異なる画像を含んだ状態で符号化することになるので、符号歪みが多く発生する。そのため、復号後に上下の画像をつなげると、分割境界線が目立つことになる。しかし、本実施例では元画像をパディング画像としているため、符号化装置内部で画像にパディングする場合よりも、復号後に上下の分割画像を接続する際の歪みを小さくすることが可能となる。
【００５８】
画像［２，１］、画像［２，２］については下側に分割画像が存在しないため、分割画像符号化部３０３の内部で８ライン分パディングする。そのため、画像［２，１］、画像［２，２］の画面下部は符号化歪みが多く発生するが、画像［２，１］、画像［２，２］の下部は、他画像と接続することがなく分割境界線が存在しないため、問題にならない。
【００５９】
画像［１，１］及び画像［２，１］の分割画像の割り当てについて、図７を用いて説明する。網掛けされた領域がパディング領域である。図７（ｂ）に示すように、１０８０ライン分（有効画素領域）の画像は従来と同様、画像信号用期間中に分割画像符号化装置１０４に伝送する。パディング画像については、ブランキング期間を利用して、ブランキング期間中に分割画像符号化装置１０４に伝送する。すなわち、有効画素領域とパディング領域を分離して伝送する。そして、図７（ｃ）に示すように、分割画像符号化装置１０４で、ブランキング期間に伝送された画像を合成する。
【００６０】
画像分割装置１０２から分割画像符号化装置１０４に画像を送出する際には、１フレームごとにフレームの開始を示す垂直ブランキング信号が送出され、１ラインごとにラインの開始を示す水平ブランキング信号が送出される。ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）の場合、垂直ブランキング信号が送出される垂直ブランキング期間は４５ラインであり、水平ブランキング信号が送出される水平ブランキング期間は２８０画素ある。したがって、ＨＤＴＶ画像サイズに分割した画像をＨＤ−ＳＤＩを用いて分割画像符号化装置１０４に伝送する場合、パディング画像は、ブランキング期間で十分伝送が可能である。
【００６１】
画像［１，１］及び画像［２，１］の分割画像の割り当てについて、本発明に係る分割画像装置を用いずに、符号化装置内部で画像にパディングする場合を、図１３を用いて説明する。この場合は、分割画像を割り当てる際、分割画像装置は画像のパディングを行わずに分割画像符号化装置に伝送する。そして、図１３（ｂ）に示すように、分割画像符号化装置で画像のパディングを行う。
【００６２】
ステップＳ４０５では、パディング画像抽出合成部３０１によって、パディング画像の有無を判断する。ブランキング期間中に画像が挿入されている場合には、当該画像をパディング画像として判断し（Ｓ４０５−Ｙｅｓ）、処理をステップＳ４０６に進める。ブランキング期間中に画像が挿入されていない場合には、パディング画像がないと判断し（Ｓ４０５−Ｎｏ）、ステップＳ４０７に処理を進める。
【００６３】
ステップＳ４０６では、パディング画像抽出合成部３０１によって、パディング画像を抽出し、パディング画像用メモリ３０２に書き込む。そして、パディング画像以外の画像を分割画像符号化部３０３に出力した後、続けてパディング画像用メモリ３０２からパディング画像を読み出し、分割画像符号化部３０３に出力する。なお、パディング画像を伝送するブランキング期間の位置によっては、パディング画像用メモリは不要な場合もある。
【００６４】
ステップＳ４０７では、パディング画像抽出合成部３０１は、入力された画像をそのまま分割画像符号化部３０３に伝送する。そして、８ライン分のパディングは、分割画像符号化部３０３によって行う。パディング画像は、従来の符号化装置と同様であり、黒やグレイなどの単一色を用いるか、最終ラインを繰り返し用いる。
【００６５】
ステップＳ４０８では、分割画像符号化部３０３によって、入力画像に対して、符号化（ＤＣＴ、量子化、動き補償予測、可変長符号化等）を行い、符号化データを画像出力端子１０５から出力する。分割画像符号化部３０３として、従来のＨＤＴＶ符号化装置を用いることができる。符号化の際、ステップＳ４０６で抽出したパディング画像（本発明によるパディング）であっても、ステップ４０７で内部でパディングしたパディング画像（従来方式）であっても、パディング画像のサイズは等しい。そのため、本発明を適用しても、符号化後のビットレートは従来とほぼ等しい。
【００６６】
ＨＤＴＶ符号化装置は分割画像が単純分割画像であり、パディング画像が存在しない１０８０ラインの画像が入力された場合、１６の倍数となるように８ライン分パディングして１０８８ラインとして符号化を行う。そのため、画像分割装置１０２で８ライン分パディングして１０８８ラインの分割画像を入力しても、ビットレートは増加しない。
【００６７】
さらに、オーバーラップ領域はパディング分だけに留まるため、復号画像を結合する際には影響を及ぼさない。つまり、分割符号化部の台数分の画素数を有効画像として伝送可能であり、ＨＤＴＶ符号化装置を４台用いれば、４Ｋ×２Ｋ画像（３８４０画素×２１６０ライン）の全ての画素を符号化することが可能である。
【００６８】
これに加え、分割及び符号化された画像は、従来の復号装置を用いて復号することが可能である。なぜならば、復号装置は、パディング領域を切り捨て、有効画像だけを出力するからである。したがって、パディング部分がどのように作られても、復号装置及びその後段の分割された復号画像を結合する装置に影響を与えない。
【実施例２】
【００６９】
次に、画像幅Ｗ画素、画像高さＨラインの符号化対象画像（org_Width＝Ｗ、org_Height＝Ｈ）を、水平方向にＭ分割（div_X＝Ｍ）、垂直方向にＮ分割（div_Y＝Ｎ）する場合について、実施例２として説明する。この場合、分割画像は（Ｎ×Ｍ）個生成されるため、図１に示す分割画像伝送信号１０３の本数、分割画像符号化装置１０４の個数及び符号データ出力端子１０６の個数も（Ｎ×Ｍ）個となる。
【００７０】
図９に符号化対象画像を（Ｎ×Ｍ）個に分割した図を示す。任意の位置の分割画像を［ｘ，ｙ］と表す。画像高さをＮ分割するため、１≦ｘ≦Ｎであり、画像幅をＭ分割するため、１≦ｙ≦Ｍである。
【００７１】
実施例２における動作は、図４と同様である。このうち、ステップＳ４０３の分割画像領域の決定について説明する。
【００７２】
図１０は、分割画像の画像高さの決定方法の処理の流れを説明するフローチャートである。ステップＳ１００１では、単純分割画像の画像高さ（Ｈ／Ｎ）が１６で割り切れるか否か判断する。割り切れない場合（ステップＳ１００１−Ｙｅｓ）は、ステップＳ１００２に処理を進め、割り切れる場合（ステップＳ１００１−Ｎｏ）は、ステップＳ１００４に処理を進める。
【００７３】
ステップＳ１００２では、分割画像［ｘ，ｙ］のｘの値がＮか否かを判断する。ｘがＮ以外の場合（ステップＳ１００２−Ｙｅｓ）は、ステップＳ１００３に処理を進め、ｘがＮの場合（ステップＳ１００２−Ｎｏ）は、ステップＳ１００４に処理を進める。
【００７４】
ステップＳ１００３では、単純分割画像にパディング画像を付加し、拡張分割画像とする。拡張分割画像の画像高さは、有効画素領域の画像高さ≦拡張分割画像の画像高さ＜（有効画素領域の画像高さ＋１６ライン）、且つ１６の整数倍となるように決定する。
【００７５】
ステップＳ１００４では、（Ｈ／Ｎ）が１６で割り切れる場合や、ｘ＝Ｎ、すなわち下側に分割画像が存在しない場合には、ラインをパディングしないことを、分割画像割り当て部２０２に指示する。
【００７６】
図１１は、分割画像の画像幅の決定方法の処理の流れを説明するフローチャートである。ステップＳ１１０１では、単純分割画像の画像幅（Ｗ／Ｍ）が１６で割り切れるか否か判断する。割り切れない場合（ステップＳ１１０１−Ｙｅｓ）は、ステップＳ１１０２に処理を進め、割り切れる場合（ステップＳ１１０１−Ｎｏ）は、ステップＳ１１０４に処理を進める。
【００７７】
ステップＳ１１０２では、分割画像［ｘ，ｙ］のｙの値がＭか否かを判断する。ｙがＭ以外の場合（ステップＳ１１０２−Ｙｅｓ）は、ステップＳ１１０３に処理を進め、ｙがＭの場合（ステップＳ１１０２−Ｎｏ）は、ステップＳ１１０４に処理を進める。
【００７８】
ステップＳ１１０３では、分割画像にパディング画像を付加し、拡張分割画像とする。拡張分割画像の画像幅は、有効画素領域の画像幅≦拡張分割画像の画像幅＜（有効画素領域の画像幅＋１６画素）、且つ１６の整数倍となるように決定する。
【００７９】
ステップＳ１１０４では、（Ｗ／Ｍ）が１６で割り切れる場合や、ｙ＝Ｍ、すなわち右側に分割画像が存在しない場合には、画素をパディングしないことを、分割画像割り当て部２０２に指示する。
【００８０】
このように本実施形態においては、任意の画像サイズから、任意のサイズの分割画像を生成し、符号化することができる。
【００８１】
前述した実施形態では、マクロブロックのサイズが１６画素×１６ラインの場合について説明したが、マクロブロックのサイズがａ画素×ｂラインの場合には、同様に、分割画像の画像幅がａの倍数、分割画像の画像高さがｂの倍数となるようにパディングする。
【００８２】
なお、前述した実施形態では、水平方向の分割数div_X（org_Width／valid_Width）、垂直方向の分割数div_Y（org_Heigh／valid_Height）が割り切れる場合についてのみ説明したが、割り切れない場合には余った部分を黒で埋める当により本発明を適用させることもできる。ただし、このような場合には、本発明を適用することなく、オーバーラップさせた方が良い画質が得られる。
【００８３】
ここで、画像分割装置１０２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、分割画像領域決定部２０１及び分割画像割り当て部２０２を機能させるための制御部１０５を中央演算処理装置（ＣＰＵ）と、少なくとも１つのメモリで構成される記憶部で実現できる。
【００８４】
更に、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、分割画像領域決定部２０１及び分割画像割り当て部２０２の有する機能を実現させることができる。更に、分割画像領域決定部２０１及び分割画像割り当て部２０２の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、画像分割装置１０２としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。
【００８５】
さらに、画像分割装置１０２として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【００８６】
同様に、分割画像符号化装置１０４として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３を機能させるための制御部１０５を中央演算処理装置（ＣＰＵ）と、少なくとも１つのメモリで構成される記憶部で実現できる。
【００８７】
更に、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３の有する機能を実現させることができる。更に、パディング画像抽出合成部３０１、パディング画像用メモリ３０２及び分割画像符号化部３０３の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、画像分割装置１０２としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。
【００８８】
さらに、分割画像符号化装置１０４として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【００８９】
上述の実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【産業上の利用可能性】
【００９０】
このように、本発明によれば、ビットレートを増加させず、かつ分割境界を目立たなくする態様で符号化対象画像（例えば、符号化対象の超高精細画像）を分割して符号化することができるので、画像を分割して符号化する任意の用途に有用である。
【符号の説明】
【００９１】
１０１  符号化対象画像入力端子
１０２  画像分割装置
１０３−１〜１０３−ｎ  分割画像伝送信号
１０４−１〜１０４−ｎ  分割画像符号化装置
１０５  制御部
１０６−１〜１０６−ｎ  符号データ出力端子
２０１  分割画像領域決定部
２０２  分割画像割り当て部
３０１  パディング画像抽出合成部
３０２  パディング画像用メモリ
３０３  分割画像符号化部
【図１】
2010226672.tif 000003
【図２】
2010226672.tif 000004
【図３】
2010226672.tif 000005
【図４】
2010226672.tif 000006
【図５】
2010226672.tif 000007
【図６】
2010226672.tif 000008
【図７】
2010226672.tif 000009
【図８】
2010226672.tif 000010
【図９】
2010226672.tif 000011
【図１０】
2010226672.tif 000012
【図１１】
2010226672.tif 000013
【図１２】
2010226672.tif 000014
【図１３】
2010226672.tif 000015