(57)【要約】  処理対象ブロックのエッジ検出結果に基づいて処理対象ブロックがエッジを含んでいるか判定を行い、エッジを含んでいる場合は平坦部検出を行い、平坦部検出の結果に基づいて処理対象ブロックが平坦部を含んでいるかの判定を行い、平坦部を含んでいる場合には、第１の直交変換サイズ群の中の一つを選択し、エッジを含んでいない場合または平坦部を含んでいない場合には、第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズの中の一つを選択する。
2010050106.tif 000002
【特許請求の範囲】
【請求項１】
複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
を含む画像符号化方法。
【請求項２】
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
請求項１の画像符号化方法。
【請求項３】
前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
請求項１の画像符号化方法。
【請求項４】
前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
請求項１の画像符号化方法。
【請求項５】
複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
直交変換サイズを選択する直交変換サイズ選択部と、
を備え、
前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する、
画像符号化装置。
【請求項６】
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記直交変換サイズ選択部は、前記第１の直交変換サイズ群の中の一つによる直交変換として、前記４×４画素単位の直交変換サイズを選択し、前記第２の直交変換サイズ群の中の一つによる直交変換として、前記８×８画素単位の直交変換サイズを選択する、
請求項５の画像符号化装置。
【請求項７】
前記エッジ検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値より大きい場合に前記エッジとするエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として前記エッジ判定部に出力する、
請求項５の画像符号化装置。
【請求項８】
前記平坦部検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値が平坦部検出しきい値より小さい場合に前記平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として前記平坦部判定部に出力する、
請求項５の画像符号化装置。
【請求項９】
請求項１の画像符号化方法に基づいて画像符号化処理を行う画像処理回路と、
前記画像処理回路に画像信号を出力するイメージセンサと、
前記イメージセンサへ被写体の光学像を結像する光学系と、
を備える、
撮像システム。
【請求項１０】
請求項５の画像符号化装置を含んで画像処理を行う画像処理回路と、
前記画像処理回路に画像信号を出力するイメージセンサと、
前記イメージセンサへ被写体の光学像を結像する光学系と、
を備える、
撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化において、符号化効率を高めたり高速処理を行ったり画質劣化を改善したりするために、画像の状態に応じて複数の直交変換サイズ（例えば４×４画素単位と８×８画素単位）を適応的に切り替えて動画像の符号化を行う技術に関する。
【背景技術】
【０００２】
本出願は、２００８年１０月２７日に出願された、明細書,図面、特許請求の範囲を含む日本特許出願２００８−２７５３４５号の全てを、ここに参照として本明細書に組み入れている。【０００３】
動画像データを符号化する標準技術として、ISO/IEC JTC1のMPEG（Moving Picture Experts Group）が策定したMPEG-4 Part10:Advanced Video Coding（略して、MPEG-4 AVC）がある。このMPEG-4 AVCでは、直交変換のブロックサイズとして４×４画素単位と８×８画素単位との直交変換サイズを選択することができる。４×４画素単位の直交変換は、量子化によって発生したノイズの影響範囲が狭いものとされている。また、８×８画素単位の直交変換は、複雑な模様での凹凸を再現しやすいがノイズの影響範囲が広いものとされている。処理ブロック単位で画像の状態に応じて直交変換サイズを選択し、直交変換を行うことにより符号化効率の向上を図ることや、画像符号化による画質劣化を改善することができる。【０００４】
特許文献１では、直交変換サイズを切り替えることにより、キャプションなどの文字画像を含むブロック画像の画質を改善する方法が開示される。文字画像を含むブロック画像は画素値の変化が急峻なエッジを多く含むため、画像符号化によるモスキートノイズが発生しやすい。特許文献１では、文字画像を含むブロック画像に対して４×４画素単位の直交変換を選択することでモスキートノイズが拡散する領域を小さくし、モスキートノイズを視覚的に認識させ難くすることで画質改善を図る。しかしながら、特許文献１では、直交変換サイズの選択方法としてエッジ検出などを使うことが言及されているのみであり、選択方法についての詳細な実施例は記載されていない。【０００５】
特許文献２では、エッジ検出による直交変換サイズの選択方法が開示されている。図１０は特許文献２の直交変換サイズ選択方法のフローを示す。その直交変換サイズ選択方法は、処理対象ブロックのエッジを検出するエッジ検出ステップＳ９１と、その検出結果に基づいて処理対象ブロックにエッジが存在するかを判定するエッジ判定ステップＳ９２と、エッジが存在すると判定した場合に４×４画素単位の直交変換を選択する４×４直交変換選択ステップＳ９３と、エッジが存在しないと判定した場合に８×８画素単位の直交変換を選択する８×８直交変換選択ステップＳ９４とから構成される。【０００６】
図１１は特許文献２の直交変換サイズ選択方法をキャプションなどの文字画像を含む画像に適用したときに４×４画素単位の直交変換が選択されるブロック画像を示す。画像下部にある文字画像を含むブロック画像に対して、４×４直交変換が選択されていることが分かる（太い実線で四角に囲った領域）。【０００７】
しかしながら、特許文献２には、４×４直交変換を選択したブロック画像では、特に処理対象のブロック画像がフレーム内の予測を行うイントラ予測モードである場合に、符号量が大きく増加するという不具合がある。４×４直交変換が選択されたブロックの符号量が増加する理由としては、イントラ予測を行うブロックサイズが直交変換サイズによって異なることが挙げられる。詳しくは次のとおりである。【０００８】
直交変換サイズが８×８画素単位である場合に、イントラ予測方式は８×８画素単位のイントラ予測方式が適用されるのに対し、直交変換サイズが４×４画素単位である場合には、イントラ予測方式は４×４画素単位のイントラ予測方式または１６×１６画素単位のイントラ予測方式が適用される。【０００９】
８×８画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を４個の８×８画素のブロック単位でイントラ予測を行い、４個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダ領域に格納する。【００１０】
これに対して、４×４画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を１６個の４×４画素のブロック単位でイントラ予測を行い、１６個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダに格納する。そのため、マクロブロックヘッダに格納するイントラ予測モードの数が多くなり、８×８画素単位のイントラ予測方式に比べて符号量が大幅に増加する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００８−４９８３号
【特許文献２】特開２００７-１１０５６８号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の直交変換サイズ選択方式では、図１１に示すように、文字画像だけでなくエッジの多い木の枝葉などを含むブロック画像に対しても４×４直交変換サイズを選択するため、４×４直交変換サイズを選択したブロック数が多くなり、符号量が増大するという問題がある。【００１３】
そこで、４×４直交変換サイズが選択されるブロック数を少なくすることを考える。エッジ検出またはエッジ判定の際のしきい値を調整し、４×４直交変換サイズが選択され難くすることはできる。しかしながら、この場合、図１２に示すように、モスキートノイズによる画質劣化を目立たせないようにしたい文字画像を含むブロック画像に対して、４×４直交変換サイズが選択されなくなってしまうという問題がある（“ＡＢＣＤＥ”の部分から太い四角の実線が消え、８×８直交変換サイズに変わっている）。【００１４】
本発明は、このような事情に鑑みて創作したものであり、文字画像などを含むブロックに対して直交変換サイズの選択を適正化することにより、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるようにすることを主たる目的とする。
【課題を解決するための手段】
【００１５】
本発明による画像符号化方法は、
複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
を含むものである。【００１６】
この構成においては、直交変換サイズの選択において、その選択の条件をより細かく設定している。すなわち、エッジの存在の判定に加えて平坦部の存在の判定を加味している。処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合には、第１の直交変換サイズ群の一つによる直交変換が選択される。処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の一つによる直交変換が選択される。これにより、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。【００１７】
上記構成の画像符号化方法において、
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
という態様がある。例えば、木の枝葉などのブロック画像に対しては、エッジは検出されるが平坦部は検出されないので、第１の直交変換群の一つ（４×４画素単位等）による直交変換が選択されることはなく、第２の直交変換サイズ群の一つ（８×８画素単位等）の直交変換を選択することになる。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換群の一つによる直交サイズが選択される。このようにして、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。【００１８】
また上記構成の画像符号化方法において、
前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
という態様がある。この構成によれば、エッジ検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速なエッジ検出を行うことが可能となる。【００１９】
また上記構成の画像符号化方法において、
前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
という態様がある。この構成によれば、平坦部検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速な平坦部検出を行うことが可能となる。【００２０】
本発明による画像符号化装置は、
複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
直交変換サイズを選択する直交変換サイズ選択部と、
を備え、
前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する。
【発明の効果】
【００２１】
本発明によれば、直交変換サイズの選択において、エッジの存在の判定に加えて平坦部の存在の判定を加えて選択を行うことで、選択の条件をより細かく設定している。そのため、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができ、主観的な画質改善に大きな効果がある。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の動作を示すフローチャートである。
【図２】図２は、本発明の実施の形態１における画像符号化方法の差分絶対値を算出する隣接画素の位置関係を示す図である。
【図３】図３は、本発明の実施の形態１における画像符号化方法の水平方向のエッジ検出の動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における画像符号化方法の垂直方向のエッジ検出の動作を示すフローチャートである。
【図５】図５は、本発明の実施の形態１における画像符号化方法の水平方向の平坦部検出の動作を示すフローチャートである。
【図６】図６は、本発明の実施の形態１における画像符号化方法の垂直方向の平坦部検出の動作を示すフローチャートである。
【図７】図７は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【図８】図８は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。
【図９】図９は、本発明の実施の形態３における撮像システムの構成を示すブロック図である。
【図１０】図１０は、従来の直交変換サイズ選択の動作を示すフローチャートである。
【図１１】図１１は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【図１２】図１２は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明にかかわる画像符号化方法および画像符号化装置の実施の形態を図面を用いて詳細に説明する。
【００２４】
（実施の形態１）
図１は本発明の実施の形態１における画像符号化方法の直交変換サイズ選択のフローチャートである。実施の形態１における画像符号化方法の直交変換サイズ選択方法は、エッジ検出ステップステップＳ１,エッジ判定ステップＳ２,平坦部検出ステップＳ３,平坦部判定ステップＳ４,４×４直交変換選択ステップＳ５,および８×８直交変換選択ステップＳ６を含む。
【００２５】
エッジ検出ステップＳ１では、画素値が急峻に変化するエッジを検出する。エッジ判定ステップＳ２では、エッジ検出ステップＳ１による検出結果に基づいて処理対象ブロックにエッジが含まれているかを判定する。平坦部検出ステップＳ３では、エッジ判定ステップＳ２で処理対象ブロックにエッジが含まれていると判定した場合に、処理対象ブロックにおいて、画素値がなだらかに変化する平坦な部分を検出する。平坦部判定ステップＳ４では、平坦部検出ステップＳ３による検出結果に基づいて処理対象ブロックに平坦部が含まれているか否かを判定する。４×４直交変換選択ステップＳ５では、平坦部判定ステップＳ４において平坦部が含まれていると判定した場合に４×４画素単位の直交変換を選択する。８×８直交変換選択ステップＳ６では、エッジ判定ステップＳ２において処理対象ブロックにエッジが含まれていないと判定した場合および平坦部判定ステップＳ４において処理対象ブロックに平坦部が含まれていないと判定した場合に、８×８画素単位の直交変換を選択する。なお、４×４画素単位は、第１の直交変換サイズ群を構成する直交変換サイズの一つであり、８×８画素単位は、第１の直交変換サイズ群より直交変換サイズサイズが大きい第２の直交変換サイズ群を構成する直交変換サイズの一つである。本実施の形態では、第１,第２の直交変換サイズ群はそれぞれ一つから構成されるが、第１,第２の直交変換サイズ群は複数から構成されてもよい。
【００２６】
なお、エッジ検出ステップＳ１では、処理対象ブロックに対して画素値が急峻に変化するエッジを検出する。エッジ検出の方法として、隣接画素の差分絶対値を用いて検出する方法がある。このエッジ検出方法では、隣接画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値（Ｔｈ１）より大きい場合にエッジとし、検出したエッジの数（Ｃｎｔ１）をカウントする。
【００２７】
図２は差分絶対値を算出する隣接画素の位置関係を示す。Ｈ１は水平方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示し、Ｖ１は垂直方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示す。ステップＳ１では、水平方向・垂直方向の差分絶対値がそれぞれ算出される。隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向のエッジ検出のフローは図３のようになる。以下、図３を参照して水平方向のエッジ検出のフローの詳細を説明する。
【００２８】
水平方向のエッジ検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）をエッジ検出しきい値（Ｔｈ１）と比較する差分絶対値比較ステップＳ４０と、差分絶対値（ＡｂｓＤｉｆｆ）がエッジ検出しきい値（Ｔｈ１）より大きい場合に、エッジの数（Ｃｎｔ１）を１増加させるエッジカウントステップＳ５０と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである“１６”より小さいかを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである“１６”より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
【００２９】
同様に、垂直方向のエッジ検出のフローは図４のようになる。以下、図４を参照して垂直方向のエッジ検出のフローの詳細を説明する。垂直方向エッジ検出のフローでは、水平方向エッジ検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられている。水平方向と垂直方向との両方向のエッジ検出を行うことで対象ブロックの水平方向と垂直方向を合わせたエッジの数（Ｃｎｔ１）を算出することができる。
【００３０】
エッジ判定ステップＳ２では、エッジ検出ステップＳ１でカウントしたエッジの数（Ｃｎｔ１）がエッジ判定しきい値（Ｔｈ２）より大きい場合に、処理対象ブロックにエッジが含まれていると判定し、エッジ判定しきい値（Ｔｈ２）以下の場合に、処理対象ブロックにエッジが含まれていないと判定する。
【００３１】
平坦部検出ステップＳ３では、処理対象ブロックに対して画素値がなだらかに変化する平坦部を検出する。平坦部を検出する方法として、エッジ検出と同様に隣接画素の差分絶対値を用いる方法がある。隣接画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値（Ｔｈ３）より大きい場合に平坦部と判定したうえで、この判定により検出した平坦部の数（Ｃｎｔ２）をカウントする。
【００３２】
隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向の平坦部検出のフローは図５のようになる。以下、水平方向の平坦部検出のフローを図５を参照して説明する。水平方向の平坦部検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）を平坦部検出しきい値（Ｔｈ３）と比較する差分絶対値比較ステップＳ４１と、差分絶対値（ＡｂｓＤｉｆｆ）が平坦部検出しきい値（Ｔｈ３）より小さい場合に、平坦部の数（Ｃｎｔ２）を１増加させる平坦部カウントステップＳ５１と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである“１６”より小さいか否かを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである“１６”より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
【００３３】
同様に、垂直方向の平坦部検出のフローは図６のようになる。以下、垂直方向の平坦部検出のフローを図６を参照して説明する。垂直方向平坦部検出のフローでは、水平方向平坦部検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられる。水平方向と垂直方向の平坦部検出を行うことで対象ブロックの水平方向と垂直方向を合わせた平坦部の数（Ｃｎｔ２）を算出することができる。
【００３４】
平坦部判定ステップＳ４では、平坦部検出ステップＳ３でカウントした平坦部の数が平坦部判定しきい値（Ｔｈ４）より大きい場合に、処理対象ブロックに平坦部が含まれていると判定し、平坦部判定しきい値（Ｔｈ４）以下の場合に、処理対象ブロックに平坦部が含まれていないと判定する。
【００３５】
第１の直交変換サイズ群の中の一つである４×４画素単位を選択するのは、処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合に限られ、処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の中の一つである８×８画素単位を選択するものとなっている。この点が、従来技術との比較において、本実施の形態の特徴となっている。
【００３６】
なお、第１,第２の直交変換サイズ群がそれぞれ複数から構成される場合、上述した画素単位の選択では、第１,第２の直交変換サイズ群それぞれの中の任意の画素単位が選択されればよい。
【００３７】
上記の判定結果により、木の枝葉などのブロック画像に対しては、エッジは検出するが平坦部は検出しないので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することはない。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することができる。
【００３８】
図７は実施の形態１の直交変換サイズ選択方法を用いた結果の直交変換サイズを示す。本実施の形態の直交変換サイズ選択方法により、木の枝葉などのエッジのみが含まれるブロックでは、第２の直交変換サイズ群の中の一つ（８×８直交変換サイズ等）が選択され、エッジも平坦部もともに存在する文字画像が含まれるブロックは第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）が選択されることが分かる。なお、一部ではあるが、木の幹の部分に対しても第１の直交変換サイズ群（４×４直交変換サイズ）が選択された結果となっている。木の部分において、第１の直交変換サイズ群が選択される領域は、従来技術の図１１と比べて大幅に削減されており、符号量の軽減が図られている。
【００３９】
なお、実施の形態１では、エッジ検出および平坦部検出の方法として隣接画素差分絶対値を用いる方法を説明したが、本発明ではこれに限るものではない。
【００４０】
（実施の形態２）
図８は本発明の実施の形態２における画像符号化装置Ａの構成を示すブロック図である。実施の形態３における画像符号化装置Ａは、ブロック分割部１と、エッジ検出部２と、エッジ判定部３と、平坦部検出部４と、平坦部判定部５と、直交変換サイズ選択部６と、セレクタ７と、第１直交変換部８と、第１量子化部９と、第２直交変換部１０と、第２量子化部１１と、セレクタ１２と、エントロピー符号化部１３と、逆量子化部１４と、逆直交変換部１５と、第１フレームメモリ１６と、イントラ予測部１７と、ブロッキングフィルタをかけるループフィルタ１８と、第２フレームメモリ１９と、インター予測部２０と、イントラ・インター判定部２１と、セレクタ２２とを備える。
【００４１】
ブロック分割部１は、入力画像において、ブロック毎の分割を行う。エッジ検出部２は、ブロック分割部１で得られたブロック画像（符号化対象ブロック）においてエッジの検出を行い、検出結果をエッジ情報として出力する。エッジ検出部２が行うエッジ検出は、実施の形態１で説明したエッジの検出と同様の方法によって行われる。
【００４２】
エッジ判定部３は、エッジ検出部２が出力するエッジ情報を、エッジ判定しきい値と比較することによりブロック画像にエッジが含まれているか否かを判定する。平坦部検出部４は、ブロック分割部１で得られたブロック画像において平坦部の検出を行い、検出結果を平坦部情報として出力する。平坦部検出部４が行う平坦部検出は、実施の形態１で説明した平坦部の検出と同様の方法によって行われる。
【００４３】
平坦部判定部５は、平坦部検出部４が出力する平坦部情報を、平坦部判定しきい値と比較することによりブロック画像に平坦部が含まれているか否かを判定する。直交変換サイズ選択部６は、エッジ判定部３と平坦部判定部５との判定結果に基づいて直交変換のサイズ選択を行う。セレクタ７は、直交変換サイズ選択部６から指示を受けて４×４直交変換サイズと８×８直交変換サイズとの切り替えを行う。なお、４×４直交変換サイズは、第１の直交変換サイズ群の中の一つの一例であり、８×８直交変換サイズは、第２の直交変換サイズ群の中の一つの一例であるのはいうまでもない。
【００４４】
第１直交変換部８は、４×４直交変換を行う。第１量子化部９は、第１直交変換部８で得られた変換係数に対して量子化を行う。第２直交変換部１０は、８×８直交変換を行う。第２量子化部１１は、第２直交変換部１０で得られた変換係数に対して量子化を行う。セレクタ１２は、直交変換サイズ選択部６から指示に基づいて、第１量子化部９と第２量子化部１１の出力の切り替えを行う。エントロピー符号化部１３は、セレクタ１２から出力された量子化係数を符号化する。
【００４５】
逆量子化部１４は、セレクタ１２から出力された量子化係数の逆量子化を行う。逆直交変換部１５は、逆量子化部１４で得られた変換係数を逆直交変換する。第１フレームメモリ１６は、逆直交変換部１５で得られた画像データに予測画像データを加算した画像データを記憶する。
【００４６】
イントラ予測部１７は、第１フレームメモリ１６に記憶されたフレーム内の画素を用いてイントラ予測を行う。ループフィルタ１８は、逆直交変換部１５で得られた画像データと予測画像データを加算した画像データおいてブロック歪の除去を行うデブロッキングフィルタをかける。第２フレームメモリ１９は、ループフィルタ１８でデブロッキングフィルタをかけられた画像データを記憶する。
【００４７】
インター予測部２０は、第２フレームメモリ１９に記憶された画像データを参照してフレーム間予測を行う。イントラ・インター判定部２１は、イントラ予測部１７で得られた情報とインター予測部２０で得られた情報とからイントラ・インター判定を行う。セレクタ２２は、イントラ・インター判定部２１による判定結果に基づいてイントラ予測部１７で得られた予測画像データとインター予測部２０で得られた予測画像データとのうちの一つを選択する。
【００４８】
上記の構成において、直交変換サイズ選択部６は、実施の形態１の方法により直交変換サイズ選択を行うように構成されている。したがって本実施の形態によれば、モスキートノイズが目立ってしまう文字画像などに対してのみ第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）を選択し、符号量の増加を抑えることができる。
【００４９】
なお、画像符号化装置Ａは典型的には半導体集積回路であるＬＳＩとして実現される。これらは個別に１チップ化してもよいし、一部またはすべてを含むように１チップ化してもよい。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００５０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００５１】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、バイオ技術の適用等が可能性としてあり得る。
【００５２】
（実施の形態３）
次に、本発明の実施の形態３を説明する。本実施の形態は、以上で説明した動画像符号化方法を利用した例えばデジタルスチルカメラやテレビ会議システム用カメラ等の撮像システム（映像システム）の一例を示す。
【００５３】
図９は本発明の実施の形態３の撮像システムの構成を示すブロック図である。この撮像システムでは、光学系３１を通って入射した画像光はイメージセンサ３２上に結像されて光電変換される。光電変換によって得られた電気信号はＡ/Ｄ変換回路３３によりデジタル値に変換された後、例えば図８に示した画像符号化装置Ａを含む画像処理回路３４に供給される。画像処理回路３４は、Ｙ/Ｃ処理,エッジ処理,画像の拡大縮小,およびＭＰＥＧ/ＪＰＥＧ（Joint Photographic Experts Group）等の画像圧縮/伸張処理,画像圧縮されたストリームの制御等の信号処理が実施される。画像符号化装置Ａは、実施の形態２で説明した画像符号化装置Ａと同様の構成を備える。
【００５４】
この撮像システムによって画像処理された信号は、記録系/転送系３５においてメディアへの記録またはインターネット等を介する伝送が行われる。記録または転送された信号は再生系３６により再生される。イメージセンサ３２および画像処理回路３４はタイミング制御回路３７により制御され、光学系３１,記録系/転送系３５,再生系３６,およびタイミング制御回路３７は各々システム制御回路３８により制御される。
【００５５】
なお、図９に示した撮像システムでは、光学系３１からの画像光をイメージセンサ３２で光電変換してＡ/Ｄ変換回路３３に入力したカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にＡ/Ｄ変換回路３３に入力してもよい。
【産業上の利用可能性】
【００５６】
本発明の技術は、複数の直交変換サイズの直交変換の選択において、エッジの存在の判定に加えて平坦部の存在の判定を加味し、選択の条件をより細かく設定しているので、文字画像などを含むブロックに対して直交変換サイズの選択をより適正なものとでき、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるため、文字画像の画質性能が求められるテレビ会議システム向けの画像符号化技術等として有用である。
【符号の説明】
【００５７】
Ａ  画像符号化装置
１  ブロック分割部
２  エッジ検出部
３  エッジ判定部
４  平坦部検出部
５  平坦部判定部
６  直交変換サイズ選択部
７  セレクタ
８  第１直交変換部
９  第１量子化部
１０  第２直交変換部
１１  第２量子化部
１２  セレクタ
１３  エントロピー符号化部
１４  逆量子化部
１５  逆直交変換部
１６  第１フレームメモリ
１７  イントラ予測部
１８  ループフィルタ
１９  第２フレームメモリ
２０  インター予測部
２１  イントラ・インター判定部
２２  セレクタ
３１  光学系
３２  イメージセンサ
３３  Ａ/Ｄ変換回路
３４  画像処理回路
３５  記録系/転送系
３６  再生系
３７  タイミング制御回路
３８  システム制御回路
Ｓ１  エッジ検出ステップ
Ｓ２  エッジ判定ステップ
Ｓ３  平坦部検出ステップ
Ｓ４  平坦部判定ステップ
Ｓ５  ４×４直交変換選択ステップ
Ｓ６  ８×８直交変換選択ステップ
Ｓ１０  垂直方向初期設定ステップ
Ｓ２０  水平方向初期設定ステップ
Ｓ３０  水平方向差分絶対値算出ステップ
Ｓ３１  垂直方向差分絶対値算出ステップ
Ｓ４０  差分絶対値比較ステップ
Ｓ４１  差分絶対値比較ステップ
Ｓ５０  エッジ数カウントステップ
Ｓ５１  平坦部数カウントステップ
Ｓ６０  水平方向対象画素移動ステップ
Ｓ７０  水平画素位置判定ステップ
Ｓ８０  垂直方向対象画素移動ステップ
Ｓ９０  垂直画素位置判定ステップ
【図１】
2010050106.tif 000003
【図２】
2010050106.tif 000004
【図３】
2010050106.tif 000005
【図４】
2010050106.tif 000006
【図５】
2010050106.tif 000007
【図６】
2010050106.tif 000008
【図７】
2010050106.tif 000009
【図８】
2010050106.tif 000010
【図９】
2010050106.tif 000011
【図１０】
2010050106.tif 000012
【図１１】
2010050106.tif 000013
【図１２】
2010050106.tif 000014
【手続補正書】
【提出日】平成23年4月6日(2011.4.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化において、符号化効率を高めたり高速処理を行ったり画質劣化を改善したりするために、画像の状態に応じて複数の直交変換サイズ（例えば４×４画素単位と８×８画素単位）を適応的に切り替えて動画像の符号化を行う技術に関する。
【背景技術】
【０００２】
動画像データを符号化する標準技術として、ISO/IEC JTC1のMPEG（Moving Picture Experts Group）が策定したMPEG-4 Part10:Advanced Video Coding（略して、MPEG-4 AVC）がある。このMPEG-4 AVCでは、直交変換のブロックサイズとして４×４画素単位と８×８画素単位との直交変換サイズを選択することができる。４×４画素単位の直交変換は、量子化によって発生したノイズの影響範囲が狭いものとされている。また、８×８画素単位の直交変換は、複雑な模様での凹凸を再現しやすいがノイズの影響範囲が広いものとされている。処理ブロック単位で画像の状態に応じて直交変換サイズを選択し、直交変換を行うことにより符号化効率の向上を図ることや、画像符号化による画質劣化を改善することができる。
【０００３】
特許文献１では、直交変換サイズを切り替えることにより、キャプションなどの文字画像を含むブロック画像の画質を改善する方法が開示される。文字画像を含むブロック画像は画素値の変化が急峻なエッジを多く含むため、画像符号化によるモスキートノイズが発生しやすい。特許文献１では、文字画像を含むブロック画像に対して４×４画素単位の直交変換を選択することでモスキートノイズが拡散する領域を小さくし、モスキートノイズを視覚的に認識させ難くすることで画質改善を図る。しかしながら、特許文献１では、直交変換サイズの選択方法としてエッジ検出などを使うことが言及されているのみであり、選択方法についての詳細な実施例は記載されていない。
【０００４】
特許文献２では、エッジ検出による直交変換サイズの選択方法が開示されている。図１０は特許文献２の直交変換サイズ選択方法のフローを示す。その直交変換サイズ選択方法は、処理対象ブロックのエッジを検出するエッジ検出ステップＳ９１と、その検出結果に基づいて処理対象ブロックにエッジが存在するかを判定するエッジ判定ステップＳ９２と、エッジが存在すると判定した場合に４×４画素単位の直交変換を選択する４×４直交変換選択ステップＳ９３と、エッジが存在しないと判定した場合に８×８画素単位の直交変換を選択する８×８直交変換選択ステップＳ９４とから構成される。
【０００５】
図１１は特許文献２の直交変換サイズ選択方法をキャプションなどの文字画像を含む画像に適用したときに４×４画素単位の直交変換が選択されるブロック画像を示す。画像下部にある文字画像を含むブロック画像に対して、４×４直交変換が選択されていることが分かる（太い実線で四角に囲った領域）。
【０００６】
しかしながら、特許文献２には、４×４直交変換を選択したブロック画像では、特に処理対象のブロック画像がフレーム内の予測を行うイントラ予測モードである場合に、符号量が大きく増加するという不具合がある。４×４直交変換が選択されたブロックの符号量が増加する理由としては、イントラ予測を行うブロックサイズが直交変換サイズによって異なることが挙げられる。詳しくは次のとおりである。
【０００７】
直交変換サイズが８×８画素単位である場合に、イントラ予測方式は８×８画素単位のイントラ予測方式が適用されるのに対し、直交変換サイズが４×４画素単位である場合には、イントラ予測方式は４×４画素単位のイントラ予測方式または１６×１６画素単位のイントラ予測方式が適用される。
【０００８】
８×８画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を４個の８×８画素のブロック単位でイントラ予測を行い、４個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダ領域に格納する。
【０００９】
これに対して、４×４画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を１６個の４×４画素のブロック単位でイントラ予測を行い、１６個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダに格納する。そのため、マクロブロックヘッダに格納するイントラ予測モードの数が多くなり、８×８画素単位のイントラ予測方式に比べて符号量が大幅に増加する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−４９８３号
【特許文献２】特開２００７-１１０５６８号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来の直交変換サイズ選択方式では、図１１に示すように、文字画像だけでなくエッジの多い木の枝葉などを含むブロック画像に対しても４×４直交変換サイズを選択するため、４×４直交変換サイズを選択したブロック数が多くなり、符号量が増大するという問題がある。
【００１２】
そこで、４×４直交変換サイズが選択されるブロック数を少なくすることを考える。エッジ検出またはエッジ判定の際のしきい値を調整し、４×４直交変換サイズが選択され難くすることはできる。しかしながら、この場合、図１２に示すように、モスキートノイズによる画質劣化を目立たせないようにしたい文字画像を含むブロック画像に対して、４×４直交変換サイズが選択されなくなってしまうという問題がある（"ＡＢＣＤＥ"の部分から太い四角の実線が消え、８×８直交変換サイズに変わっている）。
【００１３】
本発明は、このような事情に鑑みて創作したものであり、文字画像などを含むブロックに対して直交変換サイズの選択を適正化することにより、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるようにすることを主たる目的とする。
【課題を解決するための手段】
【００１４】
本発明による画像符号化方法は、
複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
を含むものである。
【００１５】
この構成においては、直交変換サイズの選択において、その選択の条件をより細かく設定している。すなわち、エッジの存在の判定に加えて平坦部の存在の判定を加味している。処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合には、第１の直交変換サイズ群の一つによる直交変換が選択される。処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の一つによる直交変換が選択される。これにより、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。
【００１６】
上記構成の画像符号化方法において、
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
という態様がある。例えば、木の枝葉などのブロック画像に対しては、エッジは検出されるが平坦部は検出されないので、第１の直交変換群の一つ（４×４画素単位等）による直交変換が選択されることはなく、第２の直交変換サイズ群の一つ（８×８画素単位等）の直交変換を選択することになる。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換群の一つによる直交サイズが選択される。このようにして、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。
【００１７】
また上記構成の画像符号化方法において、
前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
という態様がある。この構成によれば、エッジ検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速なエッジ検出を行うことが可能となる。
【００１８】
また上記構成の画像符号化方法において、
前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
という態様がある。この構成によれば、平坦部検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速な平坦部検出を行うことが可能となる。
【００１９】
本発明による画像符号化装置は、
複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
直交変換サイズを選択する直交変換サイズ選択部と、
を備え、
前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する。
【発明の効果】
【００２０】
本発明によれば、直交変換サイズの選択において、エッジの存在の判定に加えて平坦部の存在の判定を加えて選択を行うことで、選択の条件をより細かく設定している。そのため、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができ、主観的な画質改善に大きな効果がある。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の動作を示すフローチャートである。
【図２】図２は、本発明の実施の形態１における画像符号化方法の差分絶対値を算出する隣接画素の位置関係を示す図である。
【図３】図３は、本発明の実施の形態１における画像符号化方法の水平方向のエッジ検出の動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における画像符号化方法の垂直方向のエッジ検出の動作を示すフローチャートである。
【図５】図５は、本発明の実施の形態１における画像符号化方法の水平方向の平坦部検出の動作を示すフローチャートである。
【図６】図６は、本発明の実施の形態１における画像符号化方法の垂直方向の平坦部検出の動作を示すフローチャートである。
【図７】図７は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【図８】図８は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。
【図９】図９は、本発明の実施の形態３における撮像システムの構成を示すブロック図である。
【図１０】図１０は、従来の直交変換サイズ選択の動作を示すフローチャートである。
【図１１】図１１は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【図１２】図１２は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明にかかわる画像符号化方法および画像符号化装置の実施の形態を図面を用いて詳細に説明する。
【００２３】
（実施の形態１）
図１は本発明の実施の形態１における画像符号化方法の直交変換サイズ選択のフローチャートである。実施の形態１における画像符号化方法の直交変換サイズ選択方法は、エッジ検出ステップステップＳ１,エッジ判定ステップＳ２,平坦部検出ステップＳ３,平坦部判定ステップＳ４,４×４直交変換選択ステップＳ５,および８×８直交変換選択ステップＳ６を含む。
【００２４】
エッジ検出ステップＳ１では、画素値が急峻に変化するエッジを検出する。エッジ判定ステップＳ２では、エッジ検出ステップＳ１による検出結果に基づいて処理対象ブロックにエッジが含まれているかを判定する。平坦部検出ステップＳ３では、エッジ判定ステップＳ２で処理対象ブロックにエッジが含まれていると判定した場合に、処理対象ブロックにおいて、画素値がなだらかに変化する平坦な部分を検出する。平坦部判定ステップＳ４では、平坦部検出ステップＳ３による検出結果に基づいて処理対象ブロックに平坦部が含まれているか否かを判定する。４×４直交変換選択ステップＳ５では、平坦部判定ステップＳ４において平坦部が含まれていると判定した場合に４×４画素単位の直交変換を選択する。８×８直交変換選択ステップＳ６では、エッジ判定ステップＳ２において処理対象ブロックにエッジが含まれていないと判定した場合および平坦部判定ステップＳ４において処理対象ブロックに平坦部が含まれていないと判定した場合に、８×８画素単位の直交変換を選択する。なお、４×４画素単位は、第１の直交変換サイズ群を構成する直交変換サイズの一つであり、８×８画素単位は、第１の直交変換サイズ群より直交変換サイズサイズが大きい第２の直交変換サイズ群を構成する直交変換サイズの一つである。本実施の形態では、第１,第２の直交変換サイズ群はそれぞれ一つから構成されるが、第１,第２の直交変換サイズ群は複数から構成されてもよい。
【００２５】
なお、エッジ検出ステップＳ１では、処理対象ブロックに対して画素値が急峻に変化するエッジを検出する。エッジ検出の方法として、隣接画素の差分絶対値を用いて検出する方法がある。このエッジ検出方法では、隣接画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値（Ｔｈ１）より大きい場合にエッジとし、検出したエッジの数（Ｃｎｔ１）をカウントする。
【００２６】
図２は差分絶対値を算出する隣接画素の位置関係を示す。Ｈ１は水平方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示し、Ｖ１は垂直方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示す。ステップＳ１では、水平方向・垂直方向の差分絶対値がそれぞれ算出される。隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向のエッジ検出のフローは図３のようになる。以下、図３を参照して水平方向のエッジ検出のフローの詳細を説明する。
【００２７】
水平方向のエッジ検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）をエッジ検出しきい値（Ｔｈ１）と比較する差分絶対値比較ステップＳ４０と、差分絶対値（ＡｂｓＤｉｆｆ）がエッジ検出しきい値（Ｔｈ１）より大きい場合に、エッジの数（Ｃｎｔ１）を１増加させるエッジカウントステップＳ５０と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである"１６"より小さいかを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである"１６"より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
【００２８】
同様に、垂直方向のエッジ検出のフローは図４のようになる。以下、図４を参照して垂直方向のエッジ検出のフローの詳細を説明する。垂直方向エッジ検出のフローでは、水平方向エッジ検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられている。水平方向と垂直方向との両方向のエッジ検出を行うことで対象ブロックの水平方向と垂直方向を合わせたエッジの数（Ｃｎｔ１）を算出することができる。
【００２９】
エッジ判定ステップＳ２では、エッジ検出ステップＳ１でカウントしたエッジの数（Ｃｎｔ１）がエッジ判定しきい値（Ｔｈ２）より大きい場合に、処理対象ブロックにエッジが含まれていると判定し、エッジ判定しきい値（Ｔｈ２）以下の場合に、処理対象ブロックにエッジが含まれていないと判定する。
【００３０】
平坦部検出ステップＳ３では、処理対象ブロックに対して画素値がなだらかに変化する平坦部を検出する。平坦部を検出する方法として、エッジ検出と同様に隣接画素の差分絶対値を用いる方法がある。隣接画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値（Ｔｈ３）より小さい場合に平坦部と判定したうえで、この判定により検出した平坦部の数（Ｃｎｔ２）をカウントする。
【００３１】
隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向の平坦部検出のフローは図５のようになる。以下、水平方向の平坦部検出のフローを図５を参照して説明する。水平方向の平坦部検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）を平坦部検出しきい値（Ｔｈ３）と比較する差分絶対値比較ステップＳ４１と、差分絶対値（ＡｂｓＤｉｆｆ）が平坦部検出しきい値（Ｔｈ３）より小さい場合に、平坦部の数（Ｃｎｔ２）を１増加させる平坦部カウントステップＳ５１と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである"１６"より小さいか否かを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである"１６"より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
【００３２】
同様に、垂直方向の平坦部検出のフローは図６のようになる。以下、垂直方向の平坦部検出のフローを図６を参照して説明する。垂直方向平坦部検出のフローでは、水平方向平坦部検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられる。水平方向と垂直方向の平坦部検出を行うことで対象ブロックの水平方向と垂直方向を合わせた平坦部の数（Ｃｎｔ２）を算出することができる。
【００３３】
平坦部判定ステップＳ４では、平坦部検出ステップＳ３でカウントした平坦部の数が平坦部判定しきい値（Ｔｈ４）より大きい場合に、処理対象ブロックに平坦部が含まれていると判定し、平坦部判定しきい値（Ｔｈ４）以下の場合に、処理対象ブロックに平坦部が含まれていないと判定する。
【００３４】
第１の直交変換サイズ群の中の一つである４×４画素単位を選択するのは、処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合に限られ、処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の中の一つである８×８画素単位を選択するものとなっている。この点が、従来技術との比較において、本実施の形態の特徴となっている。
【００３５】
なお、第１,第２の直交変換サイズ群がそれぞれ複数から構成される場合、上述した画素単位の選択では、第１,第２の直交変換サイズ群それぞれの中の任意の画素単位が選択されればよい。
【００３６】
上記の判定結果により、木の枝葉などのブロック画像に対しては、エッジは検出するが平坦部は検出しないので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することはない。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することができる。
【００３７】
図７は実施の形態１の直交変換サイズ選択方法を用いた結果の直交変換サイズを示す。本実施の形態の直交変換サイズ選択方法により、木の枝葉などのエッジのみが含まれるブロックでは、第２の直交変換サイズ群の中の一つ（８×８直交変換サイズ等）が選択され、エッジも平坦部もともに存在する文字画像が含まれるブロックは第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）が選択されることが分かる。なお、一部ではあるが、木の幹の部分に対しても第１の直交変換サイズ群（４×４直交変換サイズ）が選択された結果となっている。木の部分において、第１の直交変換サイズ群が選択される領域は、従来技術の図１１と比べて大幅に削減されており、符号量の軽減が図られている。
【００３８】
なお、実施の形態１では、エッジ検出および平坦部検出の方法として隣接画素差分絶対値を用いる方法を説明したが、本発明ではこれに限るものではない。
【００３９】
（実施の形態２）
図８は本発明の実施の形態２における画像符号化装置Ａの構成を示すブロック図である。実施の形態３における画像符号化装置Ａは、ブロック分割部１と、エッジ検出部２と、エッジ判定部３と、平坦部検出部４と、平坦部判定部５と、直交変換サイズ選択部６と、セレクタ７と、第１直交変換部８と、第１量子化部９と、第２直交変換部１０と、第２量子化部１１と、セレクタ１２と、エントロピー符号化部１３と、逆量子化部１４と、逆直交変換部１５と、第１フレームメモリ１６と、イントラ予測部１７と、ブロッキングフィルタをかけるループフィルタ１８と、第２フレームメモリ１９と、インター予測部２０と、イントラ・インター判定部２１と、セレクタ２２とを備える。
【００４０】
ブロック分割部１は、入力画像において、ブロック毎の分割を行う。エッジ検出部２は、ブロック分割部１で得られたブロック画像（符号化対象ブロック）においてエッジの検出を行い、検出結果をエッジ情報として出力する。エッジ検出部２が行うエッジ検出は、実施の形態１で説明したエッジの検出と同様の方法によって行われる。
【００４１】
エッジ判定部３は、エッジ検出部２が出力するエッジ情報を、エッジ判定しきい値と比較することによりブロック画像にエッジが含まれているか否かを判定する。平坦部検出部４は、ブロック分割部１で得られたブロック画像において平坦部の検出を行い、検出結果を平坦部情報として出力する。平坦部検出部４が行う平坦部検出は、実施の形態１で説明した平坦部の検出と同様の方法によって行われる。
【００４２】
平坦部判定部５は、平坦部検出部４が出力する平坦部情報を、平坦部判定しきい値と比較することによりブロック画像に平坦部が含まれているか否かを判定する。直交変換サイズ選択部６は、エッジ判定部３と平坦部判定部５との判定結果に基づいて直交変換のサイズ選択を行う。セレクタ７は、直交変換サイズ選択部６から指示を受けて４×４直交変換サイズと８×８直交変換サイズとの切り替えを行う。なお、４×４直交変換サイズは、第１の直交変換サイズ群の中の一つの一例であり、８×８直交変換サイズは、第２の直交変換サイズ群の中の一つの一例であるのはいうまでもない。
【００４３】
第１直交変換部８は、４×４直交変換を行う。第１量子化部９は、第１直交変換部８で得られた変換係数に対して量子化を行う。第２直交変換部１０は、８×８直交変換を行う。第２量子化部１１は、第２直交変換部１０で得られた変換係数に対して量子化を行う。セレクタ１２は、直交変換サイズ選択部６から指示に基づいて、第１量子化部９と第２量子化部１１の出力の切り替えを行う。エントロピー符号化部１３は、セレクタ１２から出力された量子化係数を符号化する。
【００４４】
逆量子化部１４は、セレクタ１２から出力された量子化係数の逆量子化を行う。逆直交変換部１５は、逆量子化部１４で得られた変換係数を逆直交変換する。第１フレームメモリ１６は、逆直交変換部１５で得られた画像データに予測画像データを加算した画像データを記憶する。
【００４５】
イントラ予測部１７は、第１フレームメモリ１６に記憶されたフレーム内の画素を用いてイントラ予測を行う。ループフィルタ１８は、逆直交変換部１５で得られた画像データと予測画像データを加算した画像データおいてブロック歪の除去を行うデブロッキングフィルタをかける。第２フレームメモリ１９は、ループフィルタ１８でデブロッキングフィルタをかけられた画像データを記憶する。
【００４６】
インター予測部２０は、第２フレームメモリ１９に記憶された画像データを参照してフレーム間予測を行う。イントラ・インター判定部２１は、イントラ予測部１７で得られた情報とインター予測部２０で得られた情報とからイントラ・インター判定を行う。セレクタ２２は、イントラ・インター判定部２１による判定結果に基づいてイントラ予測部１７で得られた予測画像データとインター予測部２０で得られた予測画像データとのうちの一つを選択する。
【００４７】
上記の構成において、直交変換サイズ選択部６は、実施の形態１の方法により直交変換サイズ選択を行うように構成されている。したがって本実施の形態によれば、モスキートノイズが目立ってしまう文字画像などに対してのみ第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）を選択し、符号量の増加を抑えることができる。
【００４８】
なお、画像符号化装置Ａは典型的には半導体集積回路であるＬＳＩとして実現される。これらは個別に１チップ化してもよいし、一部またはすべてを含むように１チップ化してもよい。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００４９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００５０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、バイオ技術の適用等が可能性としてあり得る。
【００５１】
（実施の形態３）
次に、本発明の実施の形態３を説明する。本実施の形態は、以上で説明した動画像符号化方法を利用した例えばデジタルスチルカメラやテレビ会議システム用カメラ等の撮像システム（映像システム）の一例を示す。
【００５２】
図９は本発明の実施の形態３の撮像システムの構成を示すブロック図である。この撮像システムでは、光学系３１を通って入射した画像光はイメージセンサ３２上に結像されて光電変換される。光電変換によって得られた電気信号はＡ/Ｄ変換回路３３によりデジタル値に変換された後、例えば図８に示した画像符号化装置Ａを含む画像処理回路３４に供給される。画像処理回路３４は、Ｙ/Ｃ処理,エッジ処理,画像の拡大縮小,およびＭＰＥＧ/ＪＰＥＧ（Joint Photographic Experts Group）等の画像圧縮/伸張処理,画像圧縮されたストリームの制御等の信号処理が実施される。画像符号化装置Ａは、実施の形態２で説明した画像符号化装置Ａと同様の構成を備える。
【００５３】
この撮像システムによって画像処理された信号は、記録系/転送系３５においてメディアへの記録またはインターネット等を介する伝送が行われる。記録または転送された信号は再生系３６により再生される。イメージセンサ３２および画像処理回路３４はタイミング制御回路３７により制御され、光学系３１,記録系/転送系３５,再生系３６,およびタイミング制御回路３７は各々システム制御回路３８により制御される。
【００５４】
なお、図９に示した撮像システムでは、光学系３１からの画像光をイメージセンサ３２で光電変換してＡ/Ｄ変換回路３３に入力したカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にＡ/Ｄ変換回路３３に入力してもよい。
【産業上の利用可能性】
【００５５】
本発明の技術は、複数の直交変換サイズの直交変換の選択において、エッジの存在の判定に加えて平坦部の存在の判定を加味し、選択の条件をより細かく設定しているので、文字画像などを含むブロックに対して直交変換サイズの選択をより適正なものとでき、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるため、文字画像の画質性能が求められるテレビ会議システム向けの画像符号化技術等として有用である。
【符号の説明】
【００５６】
Ａ  画像符号化装置
１  ブロック分割部
２  エッジ検出部
３  エッジ判定部
４  平坦部検出部
５  平坦部判定部
６  直交変換サイズ選択部
７  セレクタ
８  第１直交変換部
９  第１量子化部
１０  第２直交変換部
１１  第２量子化部
１２  セレクタ
１３  エントロピー符号化部
１４  逆量子化部
１５  逆直交変換部
１６  第１フレームメモリ
１７  イントラ予測部
１８  ループフィルタ
１９  第２フレームメモリ
２０  インター予測部
２１  イントラ・インター判定部
２２  セレクタ
３１  光学系
３２  イメージセンサ
３３  Ａ/Ｄ変換回路
３４  画像処理回路
３５  記録系/転送系
３６  再生系
３７  タイミング制御回路
３８  システム制御回路
Ｓ１  エッジ検出ステップ
Ｓ２  エッジ判定ステップ
Ｓ３  平坦部検出ステップ
Ｓ４  平坦部判定ステップ
Ｓ５  ４×４直交変換選択ステップ
Ｓ６  ８×８直交変換選択ステップ
Ｓ１０  垂直方向初期設定ステップ
Ｓ２０  水平方向初期設定ステップ
Ｓ３０  水平方向差分絶対値算出ステップ
Ｓ３１  垂直方向差分絶対値算出ステップ
Ｓ４０  差分絶対値比較ステップ
Ｓ４１  差分絶対値比較ステップ
Ｓ５０  エッジ数カウントステップ
Ｓ５１  平坦部数カウントステップ
Ｓ６０  水平方向対象画素移動ステップ
Ｓ７０  水平画素位置判定ステップ
Ｓ８０  垂直方向対象画素移動ステップ
Ｓ９０  垂直画素位置判定ステップ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
を含む画像符号化方法。
【請求項２】
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
請求項１の画像符号化方法。
【請求項３】
前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
請求項１の画像符号化方法。
【請求項４】
前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
請求項１の画像符号化方法。
【請求項５】
複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
直交変換サイズを選択する直交変換サイズ選択部と、
を備え、
前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する、
画像符号化装置。
【請求項６】
前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
前記直交変換サイズ選択部は、前記第１の直交変換サイズ群の中の一つによる直交変換として、前記４×４画素単位の直交変換サイズを選択し、前記第２の直交変換サイズ群の中の一つによる直交変換として、前記８×８画素単位の直交変換サイズを選択する、
請求項５の画像符号化装置。
【請求項７】
前記エッジ検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値より大きい場合に前記エッジとするエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として前記エッジ判定部に出力する、
請求項５の画像符号化装置。
【請求項８】
前記平坦部検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値が平坦部検出しきい値より小さい場合に前記平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として前記平坦部判定部に出力する、
請求項５の画像符号化装置。
【請求項９】
請求項１の画像符号化方法に基づいて画像符号化処理を行う画像処理回路と、
前記画像処理回路に画像信号を出力するイメージセンサと、
前記イメージセンサへ被写体の光学像を結像する光学系と、
を備える、
撮像システム。
【請求項１０】
請求項５の画像符号化装置を含んで画像処理を行う画像処理回路と、
前記画像処理回路に画像信号を出力するイメージセンサと、
前記イメージセンサへ被写体の光学像を結像する光学系と、
を備える、
撮像システム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010050106.tif 000015
【図２】
2010050106.tif 000016
【図３】
2010050106.tif 000017
【図４】
2010050106.tif 000018
【図５】
2010050106.tif 000019
【図６】
2010050106.tif 000020
【図７】
2010050106.tif 000021
【図８】
2010050106.tif 000022
【図９】
2010050106.tif 000023
【図１０】
2010050106.tif 000024
【図１１】
2010050106.tif 000025
【図１２】
2010050106.tif 000026
【国際調査報告】
2010050106.tif 000027
2010050106.tif 000028