(57)【要約】【課題】画像の動きに影響されることなく、階調表現を改善する。【解決手段】多階調画像生成装置は、入力画像ＶＩＮにおける連続した同一のフレームを検出するフレーム検出部１と、フレーム検出部１で同一と判定された入力画像ＶＩＮの複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理部２とを有する。【選択図】  図１
2006267924.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における連続した同一のフレームを検出するフレーム検出手順と、
このフレーム検出手順で同一と判定された前記入力画像の複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理手順とを備えることを特徴とする多階調画像生成方法。
【請求項２】
請求項１記載の多階調画像生成方法において、
前記入力画像は、１秒間にＮコマのフィルム映像を１秒間にＭフレーム（Ｎ＜Ｍ）のビデオ映像にテレシネ変換したものであることを特徴とする多階調画像生成方法。
【請求項３】
入力画像における連続した同一のフレームを検出するフレーム検出部と、
このフレーム検出部で同一と判定された前記入力画像の複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理部とを有することを特徴とする多階調画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディザ処理により画像の階調表現を改善する多階調画像生成方法および多階調画像生成装置に関するものである。
【背景技術】
【０００２】
従来より、例えば２値しか表示できない表示装置において、多階調の画像を表示するためにディザ法が用いられてきた。ディザ法には、入力画像の濃淡レベルを規則的に変換する組織的ディザ法と、ランダムに変換するランダムディザ法とがある（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】画像処理標準テキストブック編集委員会監修，「画像処理標準テキストブック」，財団法人画像情報教育振興協会，１９９７年，ｐ．１４６−１４８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のディザ法によれば、画像の階調数を擬似的に増やして階調表現を改善することができる。しかしながら、従来のディザ法では、階調表現が改善される代わりに、画像の解像度が劣化するという問題点があった。そこで、複数のフレームを対象としてフレーム毎に独立した規則に基づく時間方向ディザ処理を行うことにより、解像度の劣化を抑える方法がある。ただし、この時間方向ディザによると、画像が動いたときに、動きの前後で階調に不整合が生じ、階調表現が損なわれるという問題点があった。
【０００５】
本発明は、上記課題を解決するためになされたもので、入力画像が動画であっても、解像度の劣化を抑制しつつ、階調表現を改善することができる多階調画像生成方法および多階調画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の多階調画像生成方法は、入力画像における連続した同一のフレームを検出するフレーム検出手順と、このフレーム検出手順で同一と判定された前記入力画像の複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理手順とを備えるものである。
また、本発明の多階調画像生成方法の１構成例において、前記入力画像は、１秒間にＮコマのフィルム映像を１秒間にＭフレーム（Ｎ＜Ｍ）のビデオ映像にテレシネ変換したものである。
また、本発明の多階調画像生成装置は、入力画像における連続した同一のフレームを検出するフレーム検出部と、このフレーム検出部で同一と判定された前記入力画像の複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理部とを有するものである。
【発明の効果】
【０００７】
本発明によれば、フレーム検出手順で同一と判定された入力画像の複数のフレームに対して時間方向ディザ処理を行うことにより、画像の動きに影響されることなく、画像の階調表現を改善することができる。
【０００８】
また、本発明では、フィルム映像をビデオ映像に変換した入力画像に適用することにより、階調表現の改善を効果的に実現することができる。
【発明を実施するための最良の形態】
【０００９】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は、本発明の第１の実施の形態となる多階調画像生成装置の構成を示すブロック図である。本実施の形態の多階調画像生成装置は、入力画像ＶＩＮにおける連続した同一のフレームを検出するフレーム検出部１と、フレーム検出部１で同一と判定された入力画像ＶＩＮの複数のフレームに対してフレーム毎に独立した規則に基づく時間方向ディザ処理を行うディザ処理部２とを有するものである。
【００１０】
フレーム検出部１は、入力画像ＶＩＮにおける連続した同一のフレームを検出し、ディザ処理部２に対して同一と判定したフレームを指定するフレーム識別信号ＦＩＤを出力する。フレーム同一性の判断は、例えば１フレーム前の入力画像ＶＩＮをフレーム検出部１内のフレームメモリ（不図示）に格納しておき、この１フレーム前の入力画像ＶＩＮと現在の入力画像ＶＩＮとを比較すればよい。
【００１１】
次に、ディザ処理部２による時間方向ディザ処理について説明する。図２〜図６は、ディザ処理部２による時間方向ディザ処理を説明するための図である。時間方向ディザ処理とは、複数フレームを１フレームとして捉えたときに見かけ上の階調数が増加するように複数フレーム単位でディザ処理を行うことである。図２〜図６の枡目は画素を表し、図３〜図６の枡目中の数値は画素の輝度を表している。すなわち、図３〜図６の例では、図２に示したＡ１１，Ａ２１，Ａ１２，Ａ２２という水平２画素×垂直２画素の４画素について記載している。図３、図４は、入力ビット数より出力ビット数が小さい場合の動作を示し、図５、図６は、入力ビット数と出力ビット数が同一の場合の動作を示している。
【００１２】
まず、入力ビット数より出力ビット数が小さい場合の動作について説明する。ここでは、１例として、２ビットの入力画像ＶＩＮを１ビットの出力画像ＶＯＵＴに変換する場合について説明する。ディザ処理部２は、フレーム検出部１からのフレーム識別信号ＦＩＤにより、入力画像ＶＩＮ中の連続した３フレームが同一であることを認識すると、図３に示した処理を行う。図３（ａ）、図３（ｂ）、図３（ｃ）は、フレーム検出部１により検出された３フレームを示している。
【００１３】
図３（ａ）に示す第１フレームに対する変換規則は、各画素の輝度値に１／２を乗算することである。輝度「２」の画素に１／２を乗算すれば、「１」となり、一方、輝度「１」の画素に１／２を乗算すると、「０．５」になる。ただし、１ビットの出力画像ＶＯＵＴには、「１」又は「０」の輝度値しか存在しないので、乗算結果が「０．５」の場合、出力される輝度は「０」となる。これにより、ディザ処理部２で変換された第１フレームは図３（ｄ）のようになる。
【００１４】
図３（ｂ）に示した第２フレームに対する変換規則は、輝度値に１／２を乗算して、この乗算結果から１減算することである。輝度「２」の画素に１／２を乗算して、さらに１減算すれば、「０」となり、一方、輝度「１」の画素に１／２を乗算して、さらに１減算すれば、「−０．５」となる。ただし、乗算結果が「−０．５」の場合、上記と同様の理由により、出力される輝度は「０」となる。これにより、ディザ処理部２で変換された第２フレームは図３（ｅ）のようになる。
【００１５】
図３（ｃ）に示した第３フレームに対する変換規則は、輝度値に１／２を乗算して、この乗算結果に１加算することである。輝度「２」の画素に１／２を乗算して、さらに１加算すれば、「１」となり、一方、輝度「１」の画素に１／２を乗算して、さらに１加算すれば、「１．５」となる。ただし、乗算結果が「１．５」の場合、上記と同様の理由により、出力される輝度は「１」となる。これにより、ディザ処理部２で変換された第３フレームは図３（ｆ）のようになる。
【００１６】
図３（ｄ）〜図３（ｆ）の３フレームを１フレームとして捉えた場合の画像を図３（ｇ）に示す。第１フレーム〜第３フレームの左上（図２のＡ１１の位置）の画素を１画素として捉えた場合の輝度値は３フレームの平均値として得られるので、見かけ上「２／３」となり、第１フレーム〜第３フレームの左下（Ａ１２の位置）の画素を１画素として捉えた場合の輝度値も見かけ上「２／３」となる。また、第１フレーム〜第３フレームの右上（Ａ２１の位置）の画素を１画素として捉えた場合の輝度値は見かけ上「１／３」となり、第１フレーム〜第３フレームの右下（Ａ２２の位置）の画素を１画素として捉えた場合の輝度値も見かけ上「１／３」となる。１ビットの画像で表現できるのは２階調であるが、連続した３フレームに対してディザ処理部２により時間方向ディザ処理を行うと、見かけ上は「０」、「１／３」、「２／３」、「１」の４つの輝度値を表現できることになり、４階調が表現できる。
【００１７】
一方、ディザ処理部２は、フレーム検出部１からのフレーム識別信号ＦＩＤにより、入力画像ＶＩＮ中の連続した２フレームが同一であることを認識すると、図４に示した処理を行う。図４（ａ）、図４（ｂ）は、フレーム検出部１により検出された２フレームを示している。
【００１８】
図４（ａ）に示す第１フレームに対する変換規則は、各画素の輝度値に１／２を乗算することである。これにより、ディザ処理部２で変換された第１フレームは図４（ｃ）のようになる。図４（ｂ）に示した第２フレームに対する変換規則は、水平垂直方向に隣り合う画素で規則が異なり、斜め方向に隣り合う画素では規則が同一となるように設定されている。例えば、Ａ１１，Ａ２２の位置の画素については、輝度値に１／２を乗算して、この乗算結果に１加算することとし、Ａ２１，Ａ１２の位置の画素については、輝度値に１／２を乗算して、この乗算結果から１減算することとする。これにより、ディザ処理部２で変換された第２フレームは図４（ｄ）のようになる。
【００１９】
図４（ｃ）、図４（ｄ）の２フレームを１フレームとして捉えた場合の画像を図４（ｅ）に示す。第１フレーム、第２フレームの左上の画素を１画素として捉えた場合の輝度値は見かけ上「１」となり、第１フレーム、第２フレームの左下の画素を１画素として捉えた場合の輝度値は見かけ上「１／２」となる。また、第１フレーム、第２フレームの右上の画素を１画素として捉えた場合の輝度値は見かけ上「０」となり、第１フレーム、第２フレームの右下の画素を１画素として捉えた場合の輝度値は見かけ上「１／２」となる。連続した２フレームに対してディザ処理部２により時間方向ディザ処理を行うと、見かけ上は「０」、「１／２」、「１」の３つの輝度値を表現できることになり、３階調を表現できる。
【００２０】
次に、入力ビット数と出力ビット数が同一の場合の動作について説明する。ここでは、１例として、１ビットの入力画像ＶＩＮから１ビットの出力画像ＶＯＵＴを生成する場合について説明する。ディザ処理部２は、フレーム検出部１からのフレーム識別信号ＦＩＤにより、入力画像ＶＩＮ中の連続した３フレームが同一であることを認識すると、図５に示した処理を行う。図５（ａ）、図５（ｂ）、図５（ｃ）は、フレーム検出部１により検出された３フレームを示している。
【００２１】
図５（ａ）に示す第１フレームに対する規則は、各画素の輝度値をそのまま出力することである。これにより、ディザ処理部２から出力される第１フレームは図５（ｄ）のようになる。図５（ｂ）に示した第２フレームに対する変換規則は、輝度値を全て「０」にすることである。これにより、ディザ処理部２で変換された第２フレームは図５（ｅ）のようになる。図５（ｃ）に示した第３フレームに対する変換規則は、輝度値を全て「１」にすることである。これにより、ディザ処理部２で変換された第３フレームは図５（ｆ）のようになる。
【００２２】
図５（ｄ）〜図５（ｆ）の３フレームを１フレームとして捉えた場合の画像を図５（ｇ）に示す。第１フレーム〜第３フレームの左上の画素を１画素として捉えた場合の輝度値は見かけ上「２／３」となり、第１フレーム〜第３フレームの左下の画素を１画素として捉えた場合の輝度値も見かけ上「２／３」となる。また、第１フレーム〜第３フレームの右上の画素を１画素として捉えた場合の輝度値は見かけ上「１／３」となり、第１フレーム〜第３フレームの右下の画素を１画素として捉えた場合の輝度値も見かけ上「１／３」となる。したがって、図３の場合と同様に４階調が表現できる。
【００２３】
一方、ディザ処理部２は、フレーム検出部１からのフレーム識別信号ＦＩＤにより、入力画像ＶＩＮ中の連続した２フレームが同一であることを認識すると、図６に示した処理を行う。図６（ａ）、図６（ｂ）は、フレーム検出部１により検出された２フレームを示している。
【００２４】
図６（ａ）に示す第１フレームに対する規則は、各画素の輝度値をそのまま出力することである。これにより、ディザ処理部２から出力される第１フレームは図６（ｃ）のようになる。図６（ｂ）に示した第２フレームに対する変換規則は、「１」を「０」に変換し、「０」を「１」に変換することである。これにより、ディザ処理部２で変換された第２フレームは図６（ｄ）のようになる。
【００２５】
図６（ｃ）、図６（ｄ）の２フレームを１フレームとして捉えた場合の画像を図６（ｅ）に示す。第１フレーム、第２フレームの左上の画素を１画素として捉えた場合の輝度値は見かけ上「１／２」となり、第１フレーム、第２フレームの左下の画素を１画素として捉えた場合の輝度値も見かけ上「１／２」となる。また、第１フレーム、第２フレームの右上の画素を１画素として捉えた場合の輝度値は見かけ上「１／２」となり、第１フレーム、第２フレームの右下の画素を１画素として捉えた場合の輝度値も見かけ上「１／２」となる。したがって、図４の場合と同様に３階調を表現できる。
【００２６】
以上のように、本実施の形態では、時間方向ディザ処理により、解像度の劣化を抑制しつつ、画像の階調表現を改善することができる。また、同一のフレーム単位で時間方向ディザ処理を行っているので、入力画像ＶＩＮが動画であっても、動きの前後で階調に不整合が生じることがなく、階調表現が損なわれることがなくなる。
【００２７】
なお、本実施の形態の多階調画像生成装置のフレーム検出部１とディザ処理部２とは、ハードウェアで実現してもよいし、ＣＰＵ、メモリ及びインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによってソフトウェア的に実現してもよい。ソフトウェアで実現する場合、ＣＰＵは、メモリに格納されたプログラムに従って本実施の形態で説明した処理を実行する。また、本発明の時間方向ディザ処理は、図２〜図６で説明した方法に限るものではなく、他の演算方法やディザマトリクス等を用いてもよい。また、本実施の形態で説明した具体例では、説明を容易にするため、２ビットの入力画像を１ビットの出力画像に変換する場合と、１ビットの入力画像から１ビットの出力画像を生成する場合について説明しているが、実際にはより多階調でのディザを行うことを想定している。
【００２８】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。第１の実施の形態によれば、入力画像が動画であっても、解像度の劣化を抑制しつつ、階調表現を改善することができるが、このような効果を得るためには、入力画像に連続した同一フレームが存在する必要がある。そこで、本実施の形態では、第１の実施の形態の多階調画像生成装置の具体的な応用例について説明する。図７は、本発明の第２の実施の形態となる信号変換装置の構成を示すブロック図であり、図１と同一の構成には同一の符号を付してある。
【００２９】
本実施の形態の信号変換装置は、インタレース形式の入力画像ＶＩＮをプログレッシブ形式の出力画像ＶＯＵＴに変換する装置であり、Ｉ／Ｐ変換部３とディザ処理部２とから構成される。Ｉ／Ｐ変換部３は、フレーム検出部１と、インタレース信号をプログレッシブ信号に変換する変換部４とを有する。Ｉ／Ｐ変換部３には、１秒間に２４コマのフィルム映像を垂直同期周波数６０Ｈｚのインタレース形式のビデオ映像にテレシネ変換した入力画像ＶＩＮが入力される。Ｉ／Ｐ変換部３は、この入力画像ＶＩＮを図示しない表示装置に合わせてプログレッシブ形式の出力画像ＶＰに変換する。
【００３０】
図８は、Ｉ／Ｐ変換部３によるインタレース−プログレッシブ変換の様子を示す図である。図８において、ＶＩ１〜ＶＩ５は垂直同期周波数６０Ｈｚのインタレース形式の入力画像ＶＩＮのフレーム、ＶＭ１〜ＶＭ５は１秒間に２４コマのフィルム映像に対応する垂直同期周波数２４Ｈｚのプログレッシブ形式の画像ＶＭＩＤのフレーム、ＶＯ１〜ＶＯ１３は垂直同期周波数６０Ｈｚの出力画像ＶＰのフレームである。また、黒丸のｆ１は奇数フィールドを表し、白丸のｆ２は偶数フィールドを表す。なお、図８の例では、処理を分かり易くするために、入力画像ＶＩＮを画像ＶＭＩＤに変換した後に、出力画像ＶＰに変換しているが、実際には画像ＶＭＩＤが生成されることはなく、入力画像ＶＩＮから出力画像ＶＰに直接変換される。
【００３１】
図８から明らかなように、フィルム映像をビデオ映像に変換した入力画像ＶＩＮを信号変換装置に入力すると、出力画像ＶＰには３フレームの繰り返しと２フレームの繰り返しとが交互に現れる。例えば、フレームＶＯ１，ＶＯ２，ＶＯ３は、画像ＶＭＩＤのフレームＶＭ１（フィルム映像の１コマ）に対応し、フレームＶＯ４，ＶＯ５は、フレームＶＭ２（フィルム映像の次の１コマ）に対応する。したがって、変換部４から出力される出力画像ＶＰには、連続した同一フレームが存在するので、この出力画像ＶＰに対してディザ処理部２により３フレーム単位又は２フレーム単位で時間方向ディザ処理を実施すれば、第１の実施の形態で説明した効果を得ることができる。このように、本発明は、例えばフィルム映像をビデオ映像に変換した入力画像に対して実施すると効果的である。
【産業上の利用可能性】
【００３２】
本発明は、ディザ処理により画像の階調表現を改善する技術に適用することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施の形態となる多階調画像生成装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態におけるディザ処理部による時間方向ディザ処理を説明するための図である。
【図３】本発明の第１の実施の形態におけるディザ処理部による時間方向ディザ処理を説明するための図である。
【図４】本発明の第１の実施の形態におけるディザ処理部による時間方向ディザ処理を説明するための図である。
【図５】本発明の第１の実施の形態におけるディザ処理部による時間方向ディザ処理を説明するための図である。
【図６】本発明の第１の実施の形態におけるディザ処理部による時間方向ディザ処理を説明するための図である。
【図７】本発明の第２の実施の形態となる信号変換装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態におけるＩ／Ｐ変換部によるインタレース−プログレッシブ変換の様子を示す図である。
【符号の説明】
【００３４】
１…フレーム検出部、２…ディザ処理部、３…Ｉ／Ｐ変換部、４…変換部、ＶＩＮ…入力画像、ＶＯＵＴ…出力画像、ＦＩＤ…フレーム識別信号。
【図１】
2006267924.tif 000003
【図２】
2006267924.tif 000004
【図３】
2006267924.tif 000005
【図４】
2006267924.tif 000006
【図５】
2006267924.tif 000007
【図６】
2006267924.tif 000008
【図７】
2006267924.tif 000009
【図８】
2006267924.tif 000010