(57)【要約】【課題】文字が存在するブロックを高い精度で検出する。【解決手段】本発明に係る画像符号化方法は、ブロック画像１５１に含まれる画素値のヒストグラム１５２を算出するヒストグラム算出ステップＳ２０２と、ブロック画像１５１に含まれる平坦領域の大きさを検出する平坦領域検出ステップＳ２０４と、ヒストグラム１５２に双峰性があり、かつ、平坦領域の大きさが第１閾値以上である場合に、ブロック画像１５１の直交変換の処理サイズとして、第１処理サイズを選択し、ヒストグラム１５２に双峰性がない場合、又は、平坦領域の大きさが第１閾値未満である場合に、ブロック画像１５１の直交変換の処理サイズとして、第１処理サイズより大きい第２処理サイズを選択する直交変換サイズ選択ステップＳ２０６及びＳ２０７とを含む。【選択図】図３
2011172101.tif 000002
【特許請求の範囲】
【請求項１】
直交変換の処理サイズをブロック単位で選択し、選択した処理サイズで当該ブロックを符号化する画像符号化方法であって、
原画像に含まれる処理対象の第１ブロックに含まれる画素値のヒストグラムを算出するヒストグラム算出ステップと、
前記ヒストグラム算出ステップで算出された前記ヒストグラムに双峰性があるか否かを判定する双峰性判定ステップと、
前記第１ブロックに含まれる平坦領域の大きさを検出する平坦領域検出ステップと、
前記平坦領域検出ステップで検出された前記平坦領域の大きさが第１閾値以上であるか否かを判定する平坦領域判定ステップと、
前記双峰性判定ステップで前記ヒストグラムに双峰性があると判定され、かつ、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値以上であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、第１処理サイズを選択し、前記双峰性判定ステップで前記ヒストグラムに双峰性がないと判定された場合、又は、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値未満であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、前記第１処理サイズより大きい第２処理サイズを選択する直交変換サイズ選択ステップとを含む
画像符号化方法。
【請求項２】
前記平坦領域検出ステップでは、前記第１ブロックに含まれる画素間ごとに、当該画素と、当該画素に水平方向及び垂直方向に隣接する画素との差分絶対値を算出し、算出した前記差分絶対値が第２閾値より小さい平坦部の数を前記平坦領域の大きさとして検出する
請求項１に記載の画像符号化方法。
【請求項３】
前記画像符号化方法は、さらに、
前記第１ブロックに対して、前記第１処理サイズが選択されたか前記第２処理サイズが選択されたかを示す選択情報を保存する保存ステップと、
第２ブロックに対して、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記選択情報により前記第１処理サイズが選択されたことが示される場合、前記直交変換サイズ選択ステップにおいて、前記第２処理サイズより前記第１処理サイズが選択され安くなるように制御する制御ステップとを含む
請求項１又は２に記載の画像符号化方法。
【請求項４】
前記制御ステップでは、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記選択情報により前記第２処理サイズが選択されたことが示される場合、前記直交変換サイズ選択ステップにおいて、前記第１処理サイズより前記第２処理サイズが選択され安くなるように制御する
請求項３記載の画像符号化方法。
【請求項５】
前記双峰性判定ステップでは、前記ヒストグラムの階級間の度数差が第３閾値以上である場合に山であると判定し、前記山が２つ以上検出された場合に、当該ヒストグラムに双峰性があると判定する
請求項３又は４に記載の画像符号化方法。
【請求項６】
前記制御ステップでは、前記選択情報により前記第１処理サイズが選択されたことが示される場合、前記第３閾値を下げることにより、前記直交変換サイズ選択ステップにおいて、前記第２処理サイズより前記第１処理サイズが選択され安くなるように制御する
請求項５記載の画像符号化方法。
【請求項７】
前記画像符号化方法は、さらに、
前記双峰性判定ステップで前記ヒストグラムに双峰性があると判定され、かつ、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値以上であると判定された場合に、前記第１ブロックに文字部分が含まれると判定し、前記双峰性判定ステップで前記ヒストグラムに双峰性がないと判定された場合、又は、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値未満であると判定された場合に、前記第１ブロックに文字部分が含まれないと判定する文字判定ステップと、
前記第１ブロックに対して、前記文字判定ステップで文字が含まれると判定されたか否かを示す文字判定情報を保存する保存ステップとを含み、
直交変換サイズ選択ステップでは、前記文字判定ステップで前記第１ブロックに文字部分が含まれると判定された場合、前記第１ブロックの前記直交変換の処理サイズとして、前記第１処理サイズを選択し、前記文字判定ステップで前記第１ブロックに文字部分が含まれないと判定された場合、前記第１ブロックの前記直交変換の処理サイズとして、前記第２処理サイズを選択し、
前記画像符号化方法は、さらに、
第２ブロックに対して、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記文字判定情報により文字部分が含まれることが示される場合、前記直交変換サイズ選択ステップにおいて、前記第１処理サイズが選択され安くなるように制御する制御ステップを含む
請求項１に記載の画像符号化方法。
【請求項８】
前記周辺ブロックは、前記第２ブロックに隣接する周囲８ブロックのうちの１以上である
請求項３〜７のいずれか１項に記載の画像符号化方法。
【請求項９】
前記周辺ブロックは、前フレームの同じ位置にあるブロックである
請求項３〜７のいずれか１項に記載の画像符号化方法。
【請求項１０】
前記ヒストグラム算出ステップでは、前記ヒストグラムとして、前記第１ブロックの輝度値のヒストグラムを算出する
請求項１〜９のいずれか１項に記載の画像符号化方法。
【請求項１１】
前記ヒストグラム算出ステップでは、前記ヒストグラムとして、前記第１ブロックの色差のヒストグラムを算出する
請求項１〜９のいずれか１項に記載の画像符号化方法。
【請求項１２】
前記第１処理サイズは、４×４画素であり、
前記第２処理サイズは、８×８画素である
請求項１〜１１のいずれか１項に記載の画像符号化方法。
【請求項１３】
直交変換の処理サイズをブロック単位で選択し、選択した処理サイズで当該ブロックを符号化する画像符号化装置であって、
原画像に含まれる処理対象の第１ブロックに含まれる画素値のヒストグラムを算出するヒストグラム算出部と、
前記ヒストグラム算出部で算出された前記ヒストグラムに双峰性があるか否かを判定する双峰性判定部と、
前記第１ブロックに含まれる平坦領域の大きさを検出する平坦領域検出部と、
前記平坦領域検出部で検出された前記平坦領域の大きさが第１閾値以上であるか否かを判定する平坦領域判定部と、
前記双峰性判定部により前記ヒストグラムに双峰性があると判定され、かつ、前記平坦領域判定部により前記平坦領域の大きさが前記第１閾値以上であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、第１処理サイズを選択し、前記双峰性判定部よりに前記ヒストグラムに双峰性がないと判定された場合、又は、前記平坦領域判定部で前記平坦領域の大きさが前記第１閾値未満であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、前記第１処理サイズより大きい第２処理サイズを選択する直交変換サイズ選択部とを備える
画像符号化装置。
【請求項１４】
光を結像する光学系と、
前記光学系により結像された光を画像信号に変換するセンサーと、
前記画像信号を符号化する請求項１３の前記画像符号化装置を含む画像処理回路とを備える
撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像符号化装置及び撮像システムに関し、特に、直交変換の処理サイズをブロック単位で選択し、選択した処理サイズで当該ブロックを符号化する画像符号化方法に関する。
【背景技術】
【０００２】
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ  ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４  Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（略してＭＰＥＧ−４  ＡＶＣと言う）がある。このＭＰＥＧ−４  ＡＶＣでは、直交変換のブロックサイズとして４×４画素単位と８×８画素単位の直交変換サイズを選択することができる。
【０００３】
４×４画素単位の直交変換サイズを用いた場合、ブロックノイズ、及びモスキートノイズが拡散する領域が小さくなるため、当該ノイズが目につきにくいといった利点がある。その反面、周波数分解能が低くなるため、広範囲にわたって相関の高い画像では、符号化効率が低下する場合がある。よって、文字部分などのエッジが急峻でモスキートノイズが発生しやすい部分にのみ４×４画素単位の直交変換サイズを選択し、自然画等の相関の高い部分は８×８画素単位の直交変換サイズを選択することにより符号化効率低下を抑えつつ、画質を改善することができる。
【０００４】
特許文献１では、ブロック中のエッジを検出することにより、直交変換サイズを切り換える方法が説明されている。
【０００５】
特許文献１記載の直交変換サイズ選択方法は、処理対象ブロックのエッジ検出し、検出したエッジ数によってエッジがあるかどうかを判定する。さらに、特許文献１記載の直交変換サイズ選択方法は、エッジがあると判定した場合に４×４画素単位の直交変換サイズを選択し、エッジがないと判定した場合に８×８画素単位の直交変換サイズを選択する。また、特許文献１記載では、エッジの検出方法としては、隣接画素差分を用いる方法が示されている。
【０００６】
また、特許文献２では、ブロック内の輝度ヒストグラムを算出して文字が存在するかどうかを判定する方法について説明されている。ここで、自然画の輝度ヒストグラムは山が１つとなる単峰性分布を示す。また、ブロック内に文字が存在すると当該画像の輝度ヒストグラムは、山が２つある双峰性分布を示す。この分布性質を利用して、特許文献２では、ブロック内の輝度ヒストグラムが双峰性分布である場合、当該ブロックが文字を含むと判定し、双峰性分布でない場合は当該ブロックが文字を含まないと判定する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１１０５６８号公報
【特許文献２】特開平６−１６４９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に示された隣接画素差分によるエッジ検出では、文字部の検出精度が悪い。図１７Ａ及び図１７Ｂは、エッジ検出による直交変換サイズの選択結果の一例を示す図である。図１７Ａ及び図１７Ｂの細い線で囲まれたブロック３９０は、８×８画素単位の直交変換が選択されたブロックである。また、太い線で囲まれたブロック３９１が４×４画素単位の直交変換サイズが選択されたブロックである。
【０００９】
また、図１７Ａは、文字が存在するブロックが全て選ばれるようにエッジ検出閾値を小さくした場合である。図１７Ａに示すように文字の部分だけでなく、木の葉が存在する多数のブロックで４×４画素単位の直交変換が選択されている。これにより、符号化効率が悪化する。
【００１０】
また、図１７Ｂは、４×４画素単位の直交変換サイズが少なくなるように閾値を大きくした場合の直交変換サイズの選択結果の一例を示す図である。図１７Ｂでは、文字の一部分しか含まないブロックにおいて４×４画素単位が選ばれていない。また、木の葉の存在するブロックが、４×４画素単位に誤選択されてしまっている。
【００１１】
なお、特許文献２に示されたヒストグラムを用いて文字を判別する方法を直交変換サイズ選択に使用すると、エッジ検出と比べて、木の葉の存在するブロックが選択されにくくなる。ただし、自然画においても物体間の境界では輝度差が激しくなる。よって、特許文献２に示された方法を用いた場合でも、自然画における物体間の境界を文字部分であると誤判定してしまう。
【００１２】
このように、従来の技術では、文字が存在するブロックを高い精度で検出できないという課題がある。
【００１３】
本発明は上記従来の問題を解決するもので、文字が存在するブロックを高い精度で検出できる画像符号化方法及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の一形態に係る画像符号化方法は、直交変換の処理サイズをブロック単位で選択し、選択した処理サイズで当該ブロックを符号化する画像符号化方法であって、原画像に含まれる処理対象の第１ブロックに含まれる画素値のヒストグラムを算出するヒストグラム算出ステップと、前記ヒストグラム算出ステップで算出された前記ヒストグラムに双峰性があるか否かを判定する双峰性判定ステップと、前記第１ブロックに含まれる平坦領域の大きさを検出する平坦領域検出ステップと、前記平坦領域検出ステップで検出された前記平坦領域の大きさが第１閾値以上であるか否かを判定する平坦領域判定ステップと、前記双峰性判定ステップで前記ヒストグラムに双峰性があると判定され、かつ、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値以上であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、第１処理サイズを選択し、前記双峰性判定ステップで前記ヒストグラムに双峰性がないと判定された場合、又は、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値未満であると判定された場合に、前記第１ブロックの前記直交変換の処理サイズとして、前記第１処理サイズより大きい第２処理サイズを選択する直交変換サイズ選択ステップとを含む。
【００１５】
この構成によれば、本発明の一形態に係る画像符号化方法は、ヒストグラムの双峰性の有無に加え、平坦領域の有無（大きさ）を考慮して、直交変換の処理サイズを決定する。これにより、本発明の一形態に係る画像符号化方法は、文字が存在するブロックを高い精度で検出できる。
【００１６】
また、前記平坦領域検出ステップでは、前記第１ブロックに含まれる画素間ごとに、当該画素と、当該画素に水平方向及び垂直方向に隣接する画素との差分絶対値を算出し、算出した前記差分絶対値が第２閾値より小さい平坦部の数を前記平坦領域の大きさとして検出してもよい。
【００１７】
また、前記画像符号化方法は、さらに、前記第１ブロックに対して、前記第１処理サイズが選択されたか前記第２処理サイズが選択されたかを示す選択情報を保存する保存ステップと、第２ブロックに対して、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記選択情報により前記第１処理サイズが選択されたことが示される場合、前記直交変換サイズ選択ステップにおいて、前記第２処理サイズより前記第１処理サイズが選択され安くなるように制御する制御ステップとを含んでもよい。
【００１８】
この構成によれば、本発明の一形態に係る画像符号化方法は、周辺ブロックで選択された直交変換の処理サイズを考慮して、処理対象のブロックの処理サイズを決定できる。これにより、本発明の一形態に係る画像符号化方法は、文字が存在するブロックを高い精度で検出できる。
【００１９】
また、前記制御ステップでは、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記選択情報により前記第２処理サイズが選択されたことが示される場合、前記直交変換サイズ選択ステップにおいて、前記第１処理サイズより前記第２処理サイズが選択され安くなるように制御してもよい。
【００２０】
また、前記双峰性判定ステップでは、前記ヒストグラムの階級間の度数差が第３閾値以上である場合に山であると判定し、前記山が２つ以上検出された場合に、当該ヒストグラムに双峰性があると判定してもよい。
【００２１】
また、前記制御ステップでは、前記選択情報により前記第１処理サイズが選択されたことが示される場合、前記第３閾値を下げることにより、前記直交変換サイズ選択ステップにおいて、前記第２処理サイズより前記第１処理サイズが選択され安くなるように制御してもよい。
【００２２】
また、前記画像符号化方法は、さらに、前記双峰性判定ステップで前記ヒストグラムに双峰性があると判定され、かつ、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値以上であると判定された場合に、前記第１ブロックに文字部分が含まれると判定し、前記双峰性判定ステップで前記ヒストグラムに双峰性がないと判定された場合、又は、前記平坦領域判定ステップで前記平坦領域の大きさが前記第１閾値未満であると判定された場合に、前記第１ブロックに文字部分が含まれないと判定する文字判定ステップと、前記第１ブロックに対して、前記文字判定ステップで文字が含まれると判定されたか否かを示す文字判定情報を保存する保存ステップとを含み、直交変換サイズ選択ステップでは、前記文字判定ステップで前記第１ブロックに文字部分が含まれると判定された場合、前記第１ブロックの前記直交変換の処理サイズとして、前記第１処理サイズを選択し、前記文字判定ステップで前記第１ブロックに文字部分が含まれないと判定された場合、前記第１ブロックの前記直交変換の処理サイズとして、前記第２処理サイズを選択し、前記画像符号化方法は、さらに、第２ブロックに対して、前記保存ステップで保存された、前記第２ブロックの周辺ブロックの前記文字判定情報により文字部分が含まれることが示される場合、前記直交変換サイズ選択ステップにおいて、前記第１処理サイズが選択され安くなるように制御する制御ステップを含んでもよい。
【００２３】
また、前記周辺ブロックは、前記第２ブロックに隣接する周囲８ブロックのうちの１以上であってもよい。
【００２４】
また、前記周辺ブロックは、前フレームの同じ位置にあるブロックであってもよい。
また、前記ヒストグラム算出ステップでは、前記ヒストグラムとして、前記第１ブロックの輝度値のヒストグラムを算出してもよい。
【００２５】
また、前記ヒストグラム算出ステップでは、前記ヒストグラムとして、前記第１ブロックの色差のヒストグラムを算出してもよい。
【００２６】
また、前記第１処理サイズは、４×４画素であり、前記第２処理サイズは、８×８画素であってもよい。
【００２７】
なお、本発明は、このような画像符号化方法として実現できるだけでなく、画像符号化方法に含まれる特徴的なステップを手段とする画像符号化装置として実現できる。また、画像符号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００２８】
さらに、本発明は、このような画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像符号化装置を備える撮像システムとして実現したりできる。
【発明の効果】
【００２９】
以上より、本発明は、文字が存在するブロックを高い精度で検出できる画像符号化方法及び画像符号化装置を提供できる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態１に係る画像符号化装置のブロック図である。
【図２】本発明の実施の形態１に係る画像符号化方法のフローチャートである。
【図３】本発明の実施の形態１に係る直交変換サイズ選択方法のフローチャートである。
【図４Ａ】本発明の実施の形態１に係る自然画の一例を示す図である。
【図４Ｂ】本発明の実施の形態１に係る自然画の輝度ヒストグラムの例を示す図である。
【図４Ｃ】本発明の実施の形態１に係る文字を含む画像の例を示す図である。
【図４Ｄ】本発明の実施の形態１に係る文字を含む画像の輝度ヒストグラムの例を示す図である。
【図５】本発明の実施の形態１に係る山判定閾値を用いた山検出方法を示す図である。
【図６】本発明の実施の形態１に係る双峰性判定方法のフローチャートである。
【図７Ａ】本発明の実施の形態１に係る双峰性閾値の例を示す図である。
【図７Ｂ】本発明の実施の形態１に係る双峰性閾値の例を示す図である。
【図８】本発明の実施の形態１に係る水平方向の平坦部検出方法のフローチャートである。
【図９】本発明の実施の形態１に係る垂直方向の平坦部検出方法のフローチャートである。
【図１０Ａ】本発明の実施の形態１に係る参照ブロックの一例を示す図である。
【図１０Ｂ】本発明の実施の形態１に係る情報保存対象領域の一例を示す図である。
【図１１】本発明の実施の形態１に係る参照ブロックの一例を示す図である。
【図１２】本発明の実施の形態１に係る閾値制御方法のフローチャートである。
【図１３Ａ】本発明の実施の形態１に係る画像符号化装置による直交変換サイズ選択結果を示す図である。
【図１３Ｂ】本発明の実施の形態１に係る画像符号化装置による直交変換サイズ選択結果を示す図である。
【図１４】本発明の実施の形態１に係る閾値設定の難しいブロックの例を示す図である。
【図１５】本発明の実施の形態２に係る画像符号化方法のフローチャートである。
【図１６】本発明の実施の形態３に係る撮像システムのブロック図である。
【図１７Ａ】エッジ検出による直交変換サイズ選択結果を示す図である。
【図１７Ｂ】エッジ検出による直交変換サイズ選択結果を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３２】
（実施の形態１）
本発明の実施の形態１に係る画像符号化装置は、ヒストグラムの双峰性の有無に加え、平坦領域の有無を考慮して、直交変換の処理サイズを決定する。これにより、本発明の実施の形態１に係る画像符号化装置は、文字が存在するブロックを高い精度で検出できる。
【００３３】
まず、本発明の実施の形態１に係る画像符号化装置１００の構成を説明する。
図１は、本発明の実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。
【００３４】
実施の形態１に係る画像符号化装置１００は、入力画像１５０をブロック単位で符号化することによりビットストリーム１６４を生成する。また、画像符号化装置１００は、直交変換の処理サイズをブロック単位で選択し、選択した処理サイズで当該ブロックを符号化する。
【００３５】
この画像符号化装置１００は、ブロック分割部１０１と、ヒストグラム算出部１０２と、双峰性判定部１０３と、平坦領域検出部１０４と、平坦領域判定部１０５と、直交変換サイズ選択部１０６と、閾値制御部１０７と、セレクタ１０８と、第１直交変換部１０９と、第１量子化部１１０と、第２直交変換部１１１と、第２量子化部１１２と、セレクタ１１３と、エントロピー符号化部１１４と、逆量子化部１１５と、逆直交変換部１１６と、ループフィルタ１１７と、第１フレームメモリ１１８と、イントラ予測部１１９と、第２フレームメモリ１２０と、インター予測部１２１と、セレクタ１２２と、イントラ／インター判定部１２３とを備える。
【００３６】
ブロック分割部１０１は、原画像である入力画像１５０をブロック画像１５１に分割する。
【００３７】
差分部１２４は、ブロック画像１５１と、後述する予測画像１７２との差分である差分画像１７４を算出する。
【００３８】
ヒストグラム算出部１０２は、ブロック分割部１０１で分割されたブロック画像１５１に含まれる画素値のヒストグラム１５２を算出する。
【００３９】
双峰性判定部１０３は、ヒストグラム算出部１０２で算出されたヒストグラム１５２に双峰性があるか否かを判定する。
【００４０】
平坦領域検出部１０４は、ブロック分割部１０１で分割されたブロック画像１５１の平坦領域の大きさを検出し、検出結果を示す平坦領域情報１５４を生成する。
【００４１】
平坦領域判定部１０５は、平坦領域検出部１０４で生成された平坦領域情報１５４に基づいてブロック画像１５１に平坦領域が含まれているか否かを判定する。具体的には、平坦領域判定部１０５は、平坦領域検出部１０４で検出された平坦領域の大きさが第１閾値以上であるか否かを判定する。また、平坦領域判定部１０５は、平坦領域の大きさが第１閾値以上である場合、処理対象のブロック画像１５１に平坦領域が含まれると判定し、平坦領域の大きさが第１閾値未満である場合、処理対象のブロック画像１５１に平坦領域が含まれないと判定する。
【００４２】
直交変換サイズ選択部１０６は、双峰性判定部１０３と平坦領域判定部１０５との判定結果に基づいて直交変換の処理サイズ（以下、直交変換サイズ）を選択する。
【００４３】
具体的には、直交変換サイズ選択部１０６は、双峰性判定部１０３によりヒストグラム１５２に双峰性があると判定され、かつ、平坦領域判定部１０５により平坦領域が含まれると判定された場合に、処理対象のブロック画像１５１の直交変換サイズとして４×４画素を選択する。また、直交変換サイズ選択部１０６は、双峰性判定部１０３よりにヒストグラム１５２に双峰性がないと判定された場合、又は、平坦領域判定部１０５で平坦領域が含まれないと判定された場合に、処理対象のブロック画像１５１の直交変換サイズとして８×８画素を選択する。
【００４４】
閾値制御部１０７は、直交変換サイズ選択部１０６の選択結果を保存する。また、閾値制御部１０７は、保存する選択結果に応じて双峰性判定部１０３と平坦領域判定部１０５とに対して閾値制御を行う。
【００４５】
セレクタ１０８は、直交変換サイズ選択部１０６からの指示に応じて、直交変換サイズが４×４画素の直交変換（以下、４×４直交変換）と直交変換サイズが８×８画素の直交変換（８×８直交変換）とを切り替える。具体的には、セレクタ１０８は、直交変換サイズ選択部１０６により４×４画素の直交変換サイズ（以下、４×４画素サイズ）が選択された場合、差分画像１７４を第１直交変換部１０９へ出力する。また、セレクタ１０８は、直交変換サイズ選択部１０６により８×８画素の直交変換サイズ（以下、８×８画素サイズ）が選択された場合、差分画像１７４を第２直交変換部１１１へ出力する。
【００４６】
第１直交変換部１０９は、差分画像１７４に４×４直交変換を行うことにより変換係数１５９を生成する。
【００４７】
第１量子化部１１０は、第１直交変換部１０９で生成された変換係数１５９を量子化することにより量子化係数１６０を生成する。
【００４８】
第２直交変換部１１１は、差分画像１７４に８×８直交変換を行うことにより変換係数１６１を生成する。
【００４９】
第２量子化部１１２は、第２直交変換部１１１で生成された変換係数１６１を量子化することにより量子化係数１６２を生成する。
【００５０】
セレクタ１１３は、直交変換サイズ選択部１０６から指示に応じて、量子化係数１６０及び量子化係数１６２の一方を量子化係数１６３として出力する。具体的には、セレクタ１１３は、直交変換サイズ選択部１０６により４×４画素サイズが選択された場合、量子化係数１６０を量子化係数１６３として出力する。また、セレクタ１１３は、直交変換サイズ選択部１０６により８×８画素サイズが選択された場合、量子化係数１６２を量子化係数１６３として出力する。
【００５１】
エントロピー符号化部１１４は、セレクタ１１３から出力された量子化係数１６３を符号化することによりビットストリーム１６４を生成する。
【００５２】
逆量子化部１１５は、セレクタ１１３から出力された量子化係数１６３を逆量子化することにより変換係数１６５を生成する。
【００５３】
逆直交変換部１１６は、逆量子化部１１５で生成された変換係数１６５を逆直交変換することにより差分画像１６６を生成する。
【００５４】
加算部１２５は、逆直交変換部１１６で生成された差分画像１６６と、予測画像１７２とを加算することにより復号画像１７５を生成する。
【００５５】
第１フレームメモリ１１８は、復号画像１７５を記憶する。
イントラ予測部１１９は、第１フレームメモリ１１８に記憶された復号画像１７５に含まれる画素を用いてイントラ予測を行うことにより予測画像１６９を生成する。
【００５６】
ループフィルタ１１７は、復号画像１７５に対してデブロッキングフィルタをかけることにより復号画像１６７を生成する。
【００５７】
第２フレームメモリ１２０は、ループフィルタ１１７でデブロッキングフィルタをかけられた復号画像１６７を記憶する。
【００５８】
インター予測部１２１は、第２フレームメモリ１２０に記憶される復号画像１６７を参照してフレーム間予測を行うことにより予測画像１７１を生成する。
【００５９】
イントラ／インター判定部１２３は、イントラ予測部１１９で得られた情報とインター予測部１２１で得られた情報とに応じて、イントラモード及びインターモードのいずれを用いるかを判定するイントラ／インター判定を行う。
【００６０】
セレクタ１２２は、イントラ／インター判定部１２３でイントラ予測を用いると判定された場合に予測画像１６９を選択し、イントラ／インター判定部１２３でインター予測を用いると判定された場合に予測画像１７１を選択し、選択した予測画像１６９又は１７１を予測画像１７２として出力する。
【００６１】
次に、本発明の実施の形態１に係る画像符号化装置１００による画像符号化方法について説明する。
【００６２】
図２は、本発明の実施の形態１に係る画像符号化方法のフローチャートである。
実施の形態１に係る画像符号化方法は、例えば、ＭＰＥＧ−４  ＡＶＣ標準に従うものである。
【００６３】
図２に示すように、まず、ブロック分割部１０１は、入力画像１５０から処理対象のブロック画像１５１（以下、処理対象ブロック）を分割する（Ｓ１０１）。
【００６４】
次に、イントラ予測部１１９及びインター予測部１２１は、ステップＳ１０１で分割されたブロック画像１５１に対してインター予測及びイントラ予測を行う（Ｓ１０２）。また、イントラ／インター判定部１２３は、インター予測及びイントラ予測のそれぞれの予測結果からインターモードとイントラモードとの一方を選択する。
【００６５】
次に、直交変換サイズ選択部１０６は、処理対象ブロック（差分画像１７４）に対して、４×４画素サイズ又は８×８画素サイズの一方を選択する（Ｓ１０３）。
【００６６】
ステップＳ１０３において４×４画素サイズが選択された場合（Ｓ１０４でＹｅｓ）、第１直交変換部１０９は、差分画像１７４に４×４直交変換を行うことにより変換係数１５９を生成する（Ｓ１０５）。
【００６７】
次に、第１量子化部１１０は、ステップＳ１０５で生成された変換係数１５９を量子化することにより量子化係数１６０を生成する（Ｓ１０６）。
【００６８】
一方、ステップＳ１０３において８×８画素サイズが選択された場合（Ｓ１０４でＮｏ）、第２直交変換部１１１は、差分画像１７４に８×８直交変換を行うことにより変換係数１６１を生成する（Ｓ１０７）。
【００６９】
次に、第２量子化部１１２は、ステップＳ１０７で生成された変換係数１６１を量子化することにより量子化係数１６２を生成する（Ｓ１０８）。
【００７０】
次に、エントロピー符号化部１１４は、ステップＳ１０６で生成された量子化係数１６０又はステップＳ１０８で生成された量子化係数１６２を符号化することによりビットストリーム１６４を生成する（Ｓ１０９）。
【００７１】
全てのブロックに対する符号化が終了していない場合（Ｓ１１０でＮｏ）、次のブロックに対して、ステップＳ１０１〜Ｓ１１０の処理が行われる。また、全てのブロックに対する符号化が終了した場合（Ｓ１１０でＹｅｓ）、１ピクチャに対する符号化が終了する。
【００７２】
また、ステップＳ１０３の処理に以下に述べる選択方法を用いることにより、後述する効果が期待できる。以下ステップＳ１０３について詳細を説明する。
【００７３】
図３は、本発明の実施の形態１に係る直交変換サイズ選択方法（Ｓ１０３）のフローチャートである。
【００７４】
図３に示すように、まず、閾値制御部１０７は、処理対象ブロックの周辺ブロックの情報に基づいて閾値を設定する（Ｓ２０１）。
【００７５】
次に、ヒストグラム算出部１０２では、処理対象ブロックに含まれる画素値のヒストグラム１５２を算出する（Ｓ２０２）。
【００７６】
次に、双峰性判定部１０３は、ステップＳ２０２で算出されたヒストグラム１５２に対してステップＳ２０１で設定された閾値を用いてヒストグラム１５２に双峰性があるか否かを判定する（Ｓ２０３）。
【００７７】
双峰性があると判定された場合（Ｓ２０３でＹｅｓ）、平坦領域検出部１０４は、処理対象ブロックにおける画素値がなだらかに変化する平坦領域の大きさを検出する（Ｓ２０４）。
【００７８】
次に、平坦領域判定部１０５は、ステップＳ２０４で得られた検出結果である平坦領域情報１５４に基づいて処理対象ブロックに平坦領域が含まれているか否かを判定する（Ｓ２０５）。
【００７９】
平坦領域が含まれていると判定された場合（Ｓ２０５でＹｅｓ）、直交変換サイズ選択部１０６は、直交変換サイズとして４×４画素サイズを選択する（Ｓ２０６）。
【００８０】
一方、ヒストグラム１５２に双峰性がないと判定された場合（Ｓ２０３でＮｏ）と、処理対象ブロックに平坦領域が含まれていないと判定された場合（Ｓ２０５でＮｏ）とに、直交変換サイズ選択部１０６は、直交変換サイズとして８×８画素サイズを選択する（Ｓ２０７）。
【００８１】
次に、閾値制御部１０７は、直交変換サイズ選択部１０６により、４×４画素サイズ及び８×８画素サイズのどちらが選択されたかを示す選択情報を保存する（Ｓ２０８）。
【００８２】
図４Ａは、自然画の一例を示す図である。また、図４Ｂは、図４Ａに示す自然画の輝度ヒストグラムを示す図である。図４Ａに示すように、自然画の輝度ヒストグラムは、山が１つとなる単峰性分布を示す。
【００８３】
図４Ｃは、文字を含むブロック画像の一例を示す図である。また、図４Ｄは、図４Ｃに示す画像の輝度ヒストグラムを示す図である。図４Ｄに示すように、文字を含む画像は山が２つある双峰性分布を示す。
【００８４】
このように、文字は輝度ヒストグラムに双峰性分布を持つ。しかしながら、市松模様に代表される輝度変動が分散している画像でも輝度ヒストグラムに双峰性がある。つまり、輝度ヒストグラムに双峰性がある場合でも、文字が含まれない場合がある。また、一般的に文字は、文字部分、及び背景部分の何れかが平坦であることにより文字部を読みやすくしていることが多い。よって、本発明の実施の形態１に係る直交変換サイズ選択方法では、双峰性があると判定された場合に加えて平坦領域があるかどうかを判定し、平坦領域がある場合に文字があると判定する方法を用いている。
【００８５】
以下、図３に示す各ステップを詳細に説明する。まず、ステップＳ２０２〜Ｓ２０５、及びＳ２０８について説明し、最後にステップＳ２０１について説明する。また、ステップＳ２０６及びＳ２０７に関しては自明な処理のため説明を省略する。
【００８６】
ステップＳ２０２では、ヒストグラム算出部１０２は、処理対象ブロックの輝度ヒストグラム１５２を算出する。ここで、輝度の階級分割方法は様々あるが、以下では、０から２５５までを８分割した階級を用いる例を説明する。つまり、０番目の階級は０〜３１、１番目の階級は３２〜６３、・・・、７番目の階級は２２２〜２５５となる。
【００８７】
なお、ヒストグラム算出部１０２が算出するヒストグラム１５２は色差（Ｃｂ、Ｃｒ）でもよいし、ＲＧＢの各色でもよいし、これらを組み合わせてもよい。ただし、ヒストグラム算出部１０２は、特に人間の目が知覚しやすい変動（輝度が低い部分、赤色等）を抽出してヒストグラム１５２を算出することが望ましい。
【００８８】
また、ヒストグラム１５２の階級分割は、３分割以上あればよい。ただし、２の累乗で分割すると高速な処理が可能となるため、望ましい。
【００８９】
ステップＳ２０３では、双峰性判定部１０３は、ステップＳ２０２で算出されたヒストグラム１５２が双峰性を有するか否かを判定する。双峰性判定部１０３は、双峰性を有するか否かを判定するためにはヒストグラム中に山がいくつあるか判定する必要がある。双峰性判定部１０３は、そこで山があるかどうかを判定する山判定閾値ＭｏｕｎｔＴｈ（第３閾値）を用いる。
【００９０】
図５は山判定閾値を用いた山検出方法を示す図である。図５の横軸は輝度の階級を示す。また、階級は輝度を８分割したものである。また、図５の縦軸は、その階級に存在する輝度値の度数を表している。
【００９１】
双峰性判定部１０３は、階級間の度数差を比較し、当該度数差が山判定閾値ＭｏｕｎｔＴｈ以上であればその階級は山になっていると判定する。例えば、図５の１番目の階級は前後の０番目、及び２番目の階級よりも度数がＭｏｕｎｔＴｈ以上大きいため、山になっていると判定される。また、階級間の差がＭｏｕｎｔＴｈ未満である場合は平坦が続いていると判定される。例えば、５番目と６番目との階級の度数差はＭｏｕｎｔＴｈ未満であるため、山が続いていると判定される。また、６番目と７番目との階級の度数差がＭｏｕｎｔＴｈ以上であるため、山となっている部分が終わり、５番目と６番目との階級で１つの山が形成されていると判定される。以上の方法で山が２つあると判定された場合、双峰性判定部１０３は、ヒストグラム１５２に双峰性があると判定する。
【００９２】
図６は、双峰性判定部１０３による双峰性判定方法（Ｓ２０３）のフローチャートである。
【００９３】
まず、双峰性判定部１０３は、探索する階級の初期値を設定する（Ｓ３０１）。例えば、双峰性判定部１０３は、探索対象の階級ｉを０に設定する。
【００９４】
次に、双峰性判定部１０３は、その階級で山があるか否かを検出する（Ｓ３０２）。
ステップＳ３０２において山が検出された場合（Ｓ３０３でＹｅｓ）、双峰性判定部１０３は、山の数Ｍｏｕｎｔ＿ｃｎｔを１増加する（Ｓ３０４）。
【００９５】
一方、ステップＳ３０２において山が検出されなかった場合（Ｓ３０３でＮｏ）、及び、ステップＳ３０４の後、双峰性判定部１０３は、探索階級を次の階級に設定する（Ｓ３０５）。例えば、双峰性判定部１０３は、探索対象の階級ｉを１増加する。
【００９６】
次に、双峰性判定部１０３は、全ての階級について山検出処理（ステップＳ３０２〜Ｓ３０５）を行ったか否か（探索対象の階級ｉが８未満であるか否か）を判定する（Ｓ３０６）。
【００９７】
全ての階級の山検出処理が終了していない場合（Ｓ３０６でＹｅｓ）、双峰性判定部１０３は、次の階級に対してステップＳ３０２〜Ｓ３０６の処理を再度行う。
【００９８】
一方、全ての階級に対して山検出処理が完了した場合（Ｓ３０６でＮｏ）、双峰性判定部１０３は、ステップＳ３０４において検出された山の合計、つまり山の数ｍｏｕｎｔ＿ｃｎｔが２であるか否かを判定する（Ｓ３０７）。
【００９９】
山の数ｍｏｕｎｔ＿ｃｎｔが２でない場合（Ｓ３０７でＮｏ）、双峰性判定部１０３は、双峰性なしを選択する（Ｓ３０８）。また、山の数ｍｏｕｎｔ＿ｃｎｔが２である場合（Ｓ３０７でＹｅｓ）、双峰性判定部１０３は、双峰性ありを選択する（Ｓ３０９）。
【０１００】
なお、実施の形態１では、双峰性を判定する方法として上記の方法を説明したが、本発明に係る双峰性判定方法は、これに限るものではない。例えば、双峰性判定部１０３は、分散又は平均値を用いて双峰性を判定してもよい。
【０１０１】
また、上記説明では、双峰性判定部１０３は、山を判定するための閾値として山判定閾値ＭｏｕｎｔＴｈのみを用いたが、双峰性判定部１０３は、更に図７Ａに示す山間の差１８０、及び図７Ｂに示す山の高さ１８１の少なくとも一方をステップＳ３０２において算出するとともに、山を判定するための閾値として使用してもよい。
【０１０２】
また、上記説明では、双峰性判定部１０３は、ステップＳ３０７において山が２つであるか否かを判定したが、山が２つ以上あるか否か（山の数ｍｏｕｎｔ＿ｃｎｔが２以上であるか否か）を判定してもよい。
【０１０３】
再度、図３を参照して説明を行う。
ステップＳ２０４では、平坦領域検出部１０４は、処理対象ブロックに含まれる画素値がなだらかに変化する平坦部を検出する。平坦部を検出する方法として、エッジ検出と同様に隣接画素の差分絶対値を用いる方法がある。
【０１０４】
具体的には、平坦領域検出部１０４は、隣接画素の差分絶対値を求める。平坦領域検出部１０４は、算出した差分絶対値が所定の平坦閾値Ｐｌａｎｅ＿Ｔｈｒ（第２閾値）より小さい場合に当該隣接画素間に平坦部が存在すると判定する。また、平坦領域検出部１０４は、平坦部の数である平坦部数Ｐｌａｎｅ＿Ｃｎｔをカウントする。また、平坦領域検出部１０４は、カウントした平坦部の数Ｐｌａｎｅ＿Ｃｎｔを、平坦領域の大きさを示す平坦領域情報１５４として出力する。
【０１０５】
以下、平坦領域検出部１０４による平坦領域検出処理（Ｓ２０４）を詳細に説明する。
平坦領域検出処理は、水平方向の平坦部検出処理と、垂直方向の平坦部検出処理とを含む。また、以下では、隣接画素算出の対象画素をｘ（ｉ，ｊ）とする。
【０１０６】
図８は、水平方向の平坦部検出処理のフローチャートである。
まず、平坦領域検出部１０４は、垂直方向の画素位置の初期設定（Ｓ４０１）と、水平方向の画素位置の初期設定（Ｓ４０２）とを行う。例えば、平坦領域検出部１０４は、対象画素をｘ（１，１）とする。
【０１０７】
次に、平坦領域検出部１０４は、水平方向の差分絶対値ＡｂｓＤｉｆｆ（＝｜ｘ（ｉ，ｊ）−ｘ（ｉ−１，ｊ）｜）を算出する（ステップＳ４０３）。
【０１０８】
次に、平坦領域検出部１０４は、算出した差分絶対値ＡｂｓＤｉｆｆを平坦閾値Ｐｌａｎｅ＿Ｔｈｒと比較する（Ｓ４０４）。
【０１０９】
平坦領域検出部１０４は、差分絶対値ＡｂｓＤｉｆｆが平坦閾値Ｐｌａｎｅ＿Ｔｈｒより小さい場合（Ｓ４０４でＹｅｓ）、平坦部数Ｐｌａｎｅ＿Ｃｎｔを１増加させる（Ｓ４０５）。
【０１１０】
ステップＳ４０５の後、又は、差分絶対値ＡｂｓＤｉｆｆが平坦閾値Ｐｌａｎｅ＿Ｔｈｒより大きい場合（Ｓ４０４でＮｏ）、平坦領域検出部１０４は、対象画素を水平方向に１画素移動させる（Ｓ４０６）。つまり、平坦領域検出部１０４は、水平成分ｉを１増加させる。
【０１１１】
次に、平坦領域検出部１０４は、水平成分ｉが水平方向のマクロブロックサイズ（ブロック画像１５１のサイズ）である１６より小さいか否かを判定する（Ｓ４０７）。
【０１１２】
水平成分ｉが１６より小さい場合（Ｓ４０７でＹｅｓ）、平坦領域検出部１０４は、再度、ステップＳ４０３以降の処理を行う。つまり、平坦領域検出部１０４は、ステップＳ４０２〜Ｓ４０７の処理により、一行分の画素に対して水平方向の平坦部カウント処理（Ｓ４０３〜Ｓ４０６）を行なう。
【０１１３】
一方、水平成分ｉが１６の場合（Ｓ４０７でＮｏ）、次に、平坦領域検出部１０４は、対象画素を垂直方向に１画素移動させる（Ｓ４０８）。つまり、平坦領域検出部１０４は、垂直成分ｊを１増加させる。
【０１１４】
次に、平坦領域検出部１０４は、垂直成分ｊが垂直方向のマクロブロックサイズである１６より小さいか否かを判定する（Ｓ４０９）。
【０１１５】
垂直成分ｊが１６より小さい場合（Ｓ４０９でＹｅｓ）、平坦領域検出部１０４は、再度、ステップＳ４０２以降の処理を行う。つまり、平坦領域検出部１０４は、ステップＳ４０１〜Ｓ４０９の処理により、処理対象ブロックの全ての画素に対して水平方向の平坦部カウント処理（Ｓ４０３〜Ｓ４０６）を行なう。
【０１１６】
一方、垂直成分ｊが１６の場合（Ｓ４０９でＮｏ）、次に、平坦領域検出部１０４は、垂直方向の平坦部検出処理を行う。
【０１１７】
図９は、垂直方向の平坦部検出処理のフローチャートである。
垂直方向の平坦部検出処理では、平坦領域検出部１０４は、水平方向平坦領域検出処理における水平方向の差分絶対値の算出を行うステップＳ４０３の代わりに、垂直方向の差分絶対値ＡｂｓＤｉｆｆ（＝｜ｘ（ｉ，ｊ）−ｘ（ｉ，ｊ−１）｜）を算出するステップＳ５０３を行う。なお、図９に示すステップＳ５０１、Ｓ５０２、及びＳ５０４〜Ｓ５０９の処理は、図８に示すステップＳ４０１、Ｓ４０２、及びＳ４０４〜Ｓ４０９の処理と同様であり、説明を省略する。
【０１１８】
以上のように、平坦領域検出部１０４は、水平方向及び垂直方向の平坦部検出処理を行なうことで処理対象ブロックの水平方向と垂直方向とを合わせた平坦部数Ｐｌａｎｅ＿Ｃｎｔを平坦領域の大きさを示す平坦領域情報として算出できる。
【０１１９】
再度、図３を参照して説明を行う。
ステップＳ２０５では、平坦領域判定部１０５は、ステップＳ２０４でカウントされた平坦部数Ｐｌａｎｅ＿Ｃｎｔが平坦部数閾値Ｐｌａｎｅ＿Ｃｎｔ＿Ｔｈｒ（第１閾値）以上の場合、処理対象ブロックに平坦領域が含まれていると判定し（Ｓ２０５でＹｅｓ）、平坦部数Ｐｌａｎｅ＿Ｃｎｔが平坦部数閾値Ｐｌａｎｅ＿Ｃｎｔ＿Ｔｈｒ未満の場合、処理対象ブロックに平坦領域が含まれていないと判定する（Ｓ２０５でＮｏ）。
【０１２０】
ステップＳ２０８では、閾値制御部１０７は、直交変換サイズ選択部１０６により４×４画素サイズと８×８画素サイズとのいずれが選択されたかを示すブロック毎の選択情報を保存する。
【０１２１】
ここで、閾値制御部１０７は、以降に処理されるブロックの周辺ブロックの選択情報のみを保存しておけばよい。例えば、本実施の形態では、閾値制御部１０７は、図１０Ａに示すように、処理対象ブロック１８３の左、上及び左上の参照ブロック１８４を利用して、当該処理対象ブロック１８３の閾値制御を行う。よって、画像符号化装置１００が左上から右にむかってラスター順でブロックを順次処理する場合、図１０Ｂに示すように、閾値制御部１０７は、少なくとも処理対象ブロック１８３の左上に隣接するブロックから、処理対象ブロック１８３までの情報保存対象領域１８５に含まれるブロックの選択情報が保存する。
【０１２２】
なお、ここでは処理対象ブロック１８３の周辺ブロックを３つ使用する例を述べたが、８つの周辺ブロックのうち任意の数の周辺ブロックを使用して閾値制御を行なってもよい。例えば、閾値制御部１０７は、８つ周辺ブロック全てを使ってもよいし、別の組み合わせでもよいし、１つしか使用しなくてもよい。
【０１２３】
さらに、閾値制御部１０７は、周辺ブロックの選択情報として、文字は動画中で移動が少ないという特性から図１１に示すように処理対象ブロック１８３の前フレームに含まれる参照ブロック１８４を用いてもよい。例えば、図１１に示す参照ブロック１８４は、処理対象ブロック１８３と同じ位置のブロックである。
【０１２４】
ステップＳ２０１では、閾値制御部１０７は、周辺ブロックの選択情報を基に、直交変換サイズ選択処理に関する閾値を制御する。具体的には、閾値制御部１０７は、周辺ブロックの選択情報により４×４画素サイズが選択されたことが示される場合、直交変換サイズ選択部１０６において、８×８画素サイズより４×４画素サイズが選択され安くなるように制御する。また、閾値制御部１０７は、周辺ブロックの選択情報により８×８画素サイズが選択されたことが示される場合、直交変換サイズ選択部１０６において、４×４画素サイズより８×８画素サイズが選択され安くなるように制御する。
【０１２５】
例えば、周辺ブロックの選択情報は、図１０Ａに示す、参照ブロック１８４（Ａ、Ｂ、Ｃ）の選択情報である。また、閾値制御部１０７が制御する閾値は図５で示している山判定閾値ＭｏｕｎｔＴｈである。
【０１２６】
図１２は、閾値制御処理（ステップＳ２０１）のフローチャートである。
まず、閾値制御部１０７は、処理対象ブロック１８３の左のブロック（参照ブロックＡ）及び上のブロック（参照ブロックＢ）の少なくとも一方で４×４画素サイズが選択されたか否かを判定する（Ｓ６０１）。
【０１２７】
処理対象ブロック１８３の左のブロック及び上のブロックの少なくとも一方で４×４画素サイズが選択されていた場合（Ｓ６０１でＹｅｓ）、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈを予め定められた値分、下げる（Ｓ６０２）。
【０１２８】
次に、閾値制御部１０７は、処理対象ブロック１８３の左上のブロック（参照ブロックＣ）で４×４画素サイズが選択されたか否かを判定する（Ｓ６０３）。
【０１２９】
処理対象ブロック１８３の左上のブロックで４×４画素サイズが選択されていた場合（Ｓ６０３でＹｅｓ）、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈを予め設定された値分さらに下げる（Ｓ６０４）。
【０１３０】
一方、処理対象ブロック１８３の左上のブロックで４×４画素サイズが選択されていない場合（Ｓ６０３でＮｏ）、又は、ステップＳ６０４の後、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈが０より小さいか否か判定する（Ｓ６０５）。
【０１３１】
山判定閾値ＭｏｕｎｔＴｈが０より小さい場合（Ｓ６０５でＹｅｓ）、閾値制御部１０７は山判定閾値ＭｏｕｎｔＴｈを０に設定する（Ｓ６０６）。
【０１３２】
一方、処理対象ブロック１８３の左及び上のブロックの両方で８×８画素サイズが選択されていた場合（Ｓ６０１でＮｏ）、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈを予め定められた値分上げる（Ｓ６０７）。
【０１３３】
次に、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈが初期設定の閾値（初期値）より大きいか否か判定する（Ｓ６０８）。
【０１３４】
山判定閾値ＭｏｕｎｔＴｈが初期値より大きい場合（Ｓ６０８でＹｅｓ）、閾値制御部１０７は、山判定閾値ＭｏｕｎｔＴｈを初期値にする（Ｓ６０９）。
【０１３５】
また、山判定閾値ＭｏｕｎｔＴｈが０以上の場合（Ｓ６０５でＮｏ）、山判定閾値ＭｏｕｎｔＴｈが初期値以下の場合（Ｓ６０８でＮｏ）、ステップＳ６０６の後、又はステップＳ６０９の後、閾値制御部１０７は、処理対象ブロック１８３に対する閾値制御処理を終了する。
【０１３６】
なお、初期設定の閾値は対象動画像に対して、４×４画素サイズが少なくなるような値が望ましい。
【０１３７】
また、ここでは、閾値制御部１０７が山判定閾値ＭｏｕｎｔＴｈを制御する例を述べたが、閾値制御部１０７は、これ以外の閾値を制御してもよい。例えば、閾値制御部１０７は、図７Ａに示す山間の差１８０、及び図７Ｂに示す山の高さ１８１に関する閾値を制御してもよい。また、閾値制御部１０７は、平坦閾値Ｐｌａｎｅ＿Ｔｈｒ、又は平坦部数閾値Ｐｌａｎｅ＿Ｃｎｔ＿Ｔｈｒを制御してもよい。また、閾値制御部１０７は、これらの閾値のいずれかを制御してもよいし、複数を制御してもよい。
【０１３８】
図１３Ａ及び図１３Ｂは、本発明の実施の形態１に係る画像符号化装置１００による直交変換サイズの選択結果を示す図である。なお、図１３Ａ及び図１３Ｂは、閾値制御部１０７による閾値制御を行なわず、予め定められた閾値を用いた場合の選択結果を示す。また、図１３Ａ及び図１３Ｂにおいて、太枠で示すブロック１９１は、４×４画素サイズが選択されたブロックであり、それ以外のブロック１９０は、８×８画素サイズが選択されたブロックである。
【０１３９】
図１３Ａは、文字を全て検出させるように閾値設定を行った場合の選択結果を示す図である。図１７Ａと比べて、森の部分での４×４画素サイズが選択されたブロック１９１の数が少なくなっていることがわかる。
【０１４０】
図１３Ｂは、４×４画素サイズが選択されるブロック１９１が少なくなるように閾値設定を行った場合の選択結果を示す図である。図１７Ｂと比べ、ブロック内に文字の一部分しか含まれないブロックに対しても４×４画素サイズを選択できていることがわかる。また、森などの４×４画素サイズを選択する必要のないブロックに対して、４×４画素サイズが選択されていない。
【０１４１】
さらに、本発明の実施の形態１に係る画像符号化装置１００では、周辺ブロックの選択結果を用いて閾値制御を行うことにより、図１３Ｂにおいて、ブロック内に文字が少ししか存在しないために選択し損なっているブロックに対して４×４画素サイズを選択することができる。
【０１４２】
図１４は、閾値設定の難しいブロック３００の例を示す図である。図１４に示すブロック３００のようにブロック内に輝度の激しい部分が一部分だけある場合、図１４に示す画像３０１の右下のブロック３０３に示すような文字の一部分である場合もあるし、画像３０２の右下のブロック３０４に示すような黒い物体のハイライト部分である場合もある。このようなブロックを一定の閾値で判別するのは容易ではない。
【０１４３】
これに対して、本発明の実施の形態１に係る画像符号化装置１００では、周辺ブロックの選択結果を用いて閾値制御を行うことにより、このような場合でも適切な直交変換サイズを選択できる。
【０１４４】
以上より、本発明の実施の形態１に係る画像符号化装置１００及び画像符号化方法は、モスキートノイズが目立ってしまう文字画像などに対して、より適切に４×４直交変換を選択するとともに、不要なブロックに対する４×４直交変換の選択を低減できる。これにより、画像符号化装置１００及び画像符号化方法は、符号量の増加を抑えることができる。また、画像符号化装置１００は、文字画像のモスキートノイズによる画質劣化を抑えることができるので画質を向上できる。
【０１４５】
（実施の形態２）
実施の形態１では、閾値制御部１０７は、４×４画素サイズと８×８画素サイズとのどちらが選択されたかを示す選択情報を保存した。本発明の実施の形態２では、閾値制御部１０７は、処理対象ブロックに文字があるかどうかを判定した結果を保存する。
【０１４６】
図１５は、本発明の実施の形態２に係る直交変換サイズ選択方法（Ｓ１０３）のフローチャートである。なお、ステップＳ７０２〜Ｓ７０５の処理は、図３に示すステップＳ２０２〜２０５の処理と同様であり説明は省略する。
【０１４７】
ステップＳ７０５において平坦領域が含まれていると判定された場合（Ｓ７０５でＹｅｓ）、直交変換サイズ選択部１０６は、処理対象ブロックに文字が含まれると判定する（Ｓ７０６）。
【０１４８】
一方、ステップＳ７０３において処理対象ブロックのヒストグラム１５２が双峰性でないと判定された場合（Ｓ７０３でＮｏ）と、ステップＳ７０５において処理対象ブロックに平坦領域が含まれていないと判定された場合（Ｓ７０５でＮｏ）とに、直交変換サイズ選択部１０６は、処理対象ブロックに文字部分が含まれないと判定する（Ｓ７０７）。
【０１４９】
次に、閾値制御部１０７は、処理対象ブロックに文字部分が含まれるか否かを示す文字判定情報を保存する（Ｓ７０８）。
【０１５０】
また、処理対象ブロックに文字部分が含まれる場合（Ｓ７０９でＹｅｓ）、直交変換サイズ選択部１０６は、４×４画素サイズを選択する（Ｓ７１０）。また、処理対象ブロックに文字部分が含まれていない場合（Ｓ７０９でＮｏ）、直交変換サイズ選択部１０６は、８×８画素サイズを選択する（Ｓ７１１）。
【０１５１】
また、ステップＳ７０１では、閾値制御部１０７は、周辺ブロックの文字判定情報を基に、直交変換サイズ選択部１０６が用いる閾値を制御する。具体的には、閾値制御部１０７は、周辺ブロックの文字判定情報により文字部分が含まれることが示される場合、直交変換サイズ選択部１０６において、８×８画素サイズより４×４画素サイズが選択され安くなるように制御する。また、閾値制御部１０７は、周辺ブロックの文字選択情報により文字部分が含まれないことが示される場合、直交変換サイズ選択部１０６において、４×４画素サイズより８×８画素サイズが選択され安くなるように制御する。なお、閾値制御部１０７による閾値制御の詳細は、実施の形態１と同様であり、説明は省略する。
【０１５２】
以上より、本発明の実施の形態２に係る画像符号化装置１００及び画像符号化方法は、実施の形態１と同様に、モスキートノイズが目立ってしまう文字画像などに対して、より適切に４×４直交変換を選択するとともに、不要なブロックに対する４×４直交変換の選択を低減できる。これにより、画像符号化装置１００及び画像符号化方法は、符号量の増加を抑えることができる。また、画像符号化装置１００及び符号化方法は、文字画像のモスキートノイズによる画質劣化を抑えることができるので画質を向上できる。
【０１５３】
（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１又は実施の形態２に係る画像符号化装置１００を備える撮像システム２００について説明する。
【０１５４】
図１６は、本発明の実施の形態３に係る撮像システム２００の構成を示すブロック図である。この撮像システム２００は、例えば、デジタルスチルカメラ、又はテレビ会議システム用カメラ等である。
【０１５５】
図１６に示す撮像システム２００は、光学系２０１と、センサー２０２と、Ａ／Ｄ変換回路２０３と、画像処理回路２０４と、記録転送部２０５と、再生部２０６と、タイミング制御回路２０７と、システム制御回路２０８とを備える。
【０１５６】
光学系２０１は、入射した画像光をセンサー２０２上に結像する。
センサー２０２は、光学系２０１により結像された画像光を光電変換することにより電気信号（画像信号）を生成する。
【０１５７】
Ａ／Ｄ変換回路２０３は、センサー２０２により生成された電気信号（アナログ信号）をデジタル信号に変換する。
【０１５８】
画像処理回路２０４は、上述した実施の形態１又は２に係る画像符号化装置１００を備える。この画像処理回路２０４は、Ａ／Ｄ変換回路２０３により変換されたデジタル信号に、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、ＪＰＥＧ及びＭＰＥＧ等の画像圧縮／伸張処理、及び画像圧縮されたストリームの制御等を行う。また、画像符号化装置１００は、Ａ／Ｄ変換回路２０３により変換されたデジタル信号を符号化する。
【０１５９】
記録転送部２０５は、画像処理回路２０４により画像処理された信号を、記録メディアへ記録する、又はインターネット等を介して伝送する。
【０１６０】
再生部２０６は、記録転送部２０５により記録又は転送された信号を再生する。
タイミング制御回路２０７は、センサー２０２及び画像処理回路２０４を制御する。
【０１６１】
システム制御回路２０８は、光学系２０１、記録転送部２０５、再生部２０６及びタイミング制御回路２０７を制御する。
【０１６２】
なお、ここでは、本発明に係る画像符号化装置１００を、光学系２０１からの画像光をセンサー２０２で光電変換してＡ／Ｄ変換回路２０３に入力するカメラ機器等に用いた例を説明したが、本発明に係る画像符号化装置１００を、その他の機器に用いてもよいことは言うまでもない。例えば、テレビ等のＡＶ機器のアナログ映像入力を直接にＡ／Ｄ変換回路２０３に入力してもよい。
【０１６３】
以上、本発明の実施の形態に係る画像符号化装置、画像符号化方法及び撮像システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０１６４】
例えば、上記説明では、直交変換サイズとして４×４画素単位と８×８画素単位とを切り替える例を述べたが、４×４画素単位の代わりに任意の第１処理サイズを用い、８×８画素単位の代わりに、第１処理サイズより大きい第２処理サイズを用いてもよい。
【０１６５】
また、本発明の実施の形態に係る画像符号化装置１００は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１６８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１６９】
また、本発明の実施の形態に係る、画像符号化装置１００又は撮像システム２００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１７０】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１７１】
また、上記実施の形態１〜２に係る画像符号化装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０１７２】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０１７３】
また、上記画像符号化方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１７４】
例えば、図３及び図１５において、双峰性の判定処理（Ｓ２０２〜Ｓ２０３又はＳ７０２〜Ｓ７０３）の後に、平坦領域の判定処理（Ｓ２０４〜Ｓ２０５又はＳ７０４〜Ｓ７０５）を行なっているが、平坦領域の判定処理の後に双峰性の判定処理を行なってもよいし、これらの処理の一部を同時に行なってもよい。
【０１７５】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０１７６】
本発明は、画像符号化装置及び画像符号化方法に適用でき、特に、文字画像の画質性能が求められるテレビ会議システム向けの画像符号化装置として有用である。
【符号の説明】
【０１７７】
１００  画像符号化装置
１０１  ブロック分割部
１０２  ヒストグラム算出部
１０３  双峰性判定部
１０４  平坦領域検出部
１０５  平坦領域判定部
１０６  直交変換サイズ選択部
１０７  閾値制御部
１０８、１１３、１２２  セレクタ
１０９  第１直交変換部
１１０  第１量子化部
１１１  第２直交変換部
１１２  第２量子化部
１１４  エントロピー符号化部
１１５  逆量子化部
１１６  逆直交変換部
１１７  ループフィルタ
１１８  第１フレームメモリ
１１９  イントラ予測部
１２０  第２フレームメモリ
１２１  インター予測部
１２３  イントラ／インター判定部
１２４  差分部
１２５  加算部
１５０  入力画像
１５１  ブロック画像
１５２  ヒストグラム
１５４  平坦領域情報
１５９、１６１、１６５  変換係数
１６０、１６２、１６３  量子化係数
１６４  ビットストリーム
１６６、１７４  差分画像
１６７、１７５  復号画像
１６９、１７１、１７２  予測画像
１８０  山間の差
１８１  山の高さ
１８３  処理対象ブロック
１８４  参照ブロック
１８５  情報保存対象領域
１９０、１９１、３００、３０３、３０４、３９０、３９１  ブロック
２００  撮像システム
２０１  光学系
２０２  センサー
２０３  Ａ／Ｄ変換回路
２０４  画像処理回路
２０５  記録転送部
２０６  再生部
２０７  タイミング制御回路
２０８  システム制御回路
３０１、３０２  画像
ｍｏｕｎｔ＿ｃｎｔ  山の数
ＭｏｕｎｔＴｈ  山判定閾値
Ｐｌａｎｅ＿Ｔｈｒ  平坦閾値
Ｐｌａｎｅ＿Ｃｎｔ  平坦部数
ＡｂｓＤｉｆｆ  差分絶対値
Ｐｌａｎｅ＿Ｃｎｔ＿Ｔｈｒ  平坦部数閾値
【図１】
2011172101.tif 000003
【図２】
2011172101.tif 000004
【図３】
2011172101.tif 000005
【図４Ａ】
2011172101.tif 000006
【図４Ｂ】
2011172101.tif 000007
【図４Ｃ】
2011172101.tif 000008
【図４Ｄ】
2011172101.tif 000009
【図５】
2011172101.tif 000010
【図６】
2011172101.tif 000011
【図７Ａ】
2011172101.tif 000012
【図７Ｂ】
2011172101.tif 000013
【図８】
2011172101.tif 000014
【図９】
2011172101.tif 000015
【図１０Ａ】
2011172101.tif 000016
【図１０Ｂ】
2011172101.tif 000017
【図１１】
2011172101.tif 000018
【図１２】
2011172101.tif 000019
【図１３Ａ】
2011172101.tif 000020
【図１３Ｂ】
2011172101.tif 000021
【図１４】
2011172101.tif 000022
【図１５】
2011172101.tif 000023
【図１６】
2011172101.tif 000024
【図１７Ａ】
2011172101.tif 000025
【図１７Ｂ】
2011172101.tif 000026