(57)【特許請求の範囲】
【請求項１】
画像処理装置であって、
入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、前記入力画像の隠蔽対象に対して、再モザイク処理を行う再モザイク処理手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を視覚的に認知できないようなモザイクブロックサイズであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定のブロックサイズは、２画素であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象が視覚的に認知できない大きさの再モザイクブロックサイズで再モザイク処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
再モザイク処理手段は、周波数領域上で再モザイク処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
画像伝送装置であって、
入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段と、
再モザイク処理された画像を符号化し、伝送する伝送手段と
を有することを特徴とする画像伝送装置。
【請求項９】
情報処理端末であって、
受信した画像データを復号する復号化手段と、
前記復号化された画像の解像度の原画像に対する縮小率に基づいて、前記画像の隠蔽対象に施されているモザイクのモザイクブロックサイズを計算し、前記モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、
前記モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段と、
再モザイク処理された画像を表示する表示手段と
を有することを特徴とする情報処理端末。
【請求項１０】
画像処理プログラムであって、
前記プログラムは、前記画像処理装置を、
入力された画像の解像度と縮小解像度の比である縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段と
として機能させることを特徴とする画像処理装置のプログラム。
【請求項１１】
前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を視覚的に認知できないようなモザイクブロックサイズであることを特徴とする請求項１０に記載の画像処理装置のプログラム。
【請求項１２】
前記所定のブロックサイズは、２画素であることを特徴とする請求項１０又は請求項１１に記載の画像処理装置のプログラム。
【請求項１３】
前記プログラムは、前記再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、再モザイク処理を行うように機能させることを特徴とする請求項１０から請求項１２のいずれかに記載の画像処理装置のプログラム。
【請求項１４】
前記プログラムは、再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理させるように機能させることを特徴とする請求項１３に記載の画像処理装置のプログラム。
【請求項１５】
前記プログラムは、再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うように機能させることを特徴とする請求項１３に記載の画像処理装置のプログラム。
【請求項１６】
前記プログラムは、再モザイク処理手段を、周波数領域上で再モザイク処理を行うように機能させることを特徴とする請求項１０から請求項１５のいずれかに記載の画像処理装置のプログラム。
【請求項１７】
モザイク処理方法であって、
入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較するステップと、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、前記入力画像の隠蔽対象に対して、再モザイク処理を行うステップと
を有することを特徴とするモザイク処理方法。
【請求項１８】
前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を人間の目で視覚できないようなモザイクブロックサイズであることを特徴とする請求項１７に記載のモザイク処理方法。
【請求項１９】
前記所定のブロックサイズは、２画素であることを特徴とする請求項１７又は請求項１８に記載のモザイク処理方法。
【請求項２０】
再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで再モザイク処理を行うことを特徴とする請求項１７から請求項１９のいずれかに記載のモザイク処理方法。
【請求項２１】
再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理を行うことを特徴とする請求項２０に記載のモザイク処理方法。
【請求項２２】
再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知視覚できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うことを特徴とする請求項２０に記載のモザイク処理方法。
【請求項２３】
再モザイク処理は、周波数領域上で再モザイク処理を行うことを特徴とする請求項１７から請求項２２のいずれかに記載のモザイク処理方法。
【請求項２４】
編集履歴の記憶が可能な画像処理装置において、
過去の編集履歴に、モザイクの画像処理があるか否かを判断する手段と、
前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較する手段と、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行う手段と
を有することを特徴とする画像処理装置。
【請求項２５】
編集履歴の記憶が可能な画像処理装置のプログラムであって、
前記プログラムは、前記画像処理装置を、
過去の編集履歴に、モザイクの画像処理があるか否かを判断する手段と、
前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較する手段と、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行う手段と
して機能させることを特徴とする画像処理装置のプログラム。
【請求項２６】
編集履歴を記憶しながら画像処理を行う画像処理方法において、
過去の編集履歴に、モザイクの画像処理があるか否かを判断するステップと、
前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較するステップと、
前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行うステップと
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の技術に関し、特に画像に施したモザイクの再モザイク処理の技術に関する。
【背景技術】
【０００２】
近年、デジタル放送や、通信経路の広帯域化の実現等により、HDTV(High Definition TV)などの高解像度の画像コンテンツを配信する機会が多くなってきた。一例として、我が国の地上デジタル放送方式では、一つのチャンネルが１３の「セグメント」に分割されており、これをいくつか束ねて映像やデータ、音声などを送信している。前記１３セグメントを、ハイビジョン放送(高解像度)に12セグメント、移動体放送(低解像度)に１セグメント割り当てることで、同一のコンテンツを高解像度と低解像度とで配信する機会も多くなると思われる。【０００３】
HDTV(High Definition TV)などの高解像度の画像コンテンツを、携帯端末等で受信・再生する場合、端末の表示デバイスの解像度および通信路の帯域幅の制限から、図１に示す如く、HDTVなどの高解像度の画像コンテンツは、QVGA(Quarter Video Graphics Array)などの低解像度画像に縮小される。図１では、1920×1080画素のHDTVの画像を、1/6倍縮小率で、QVGAで表示可能な320×180画素の画像縮小したものを示している。【０００４】
このような縮小の機能を備える解像度変換装置１００を図２に示す。【０００５】
解像度変換装置１００は、画像縮小装置１００１によって構成される。画像縮小装置１００１は、入力された解像度の画像を、入力された縮小解像度まで縮小して、縮小した画像を出力する。この解像度変換装置１００は、図３に示すように画像の送信前に配置されたり、図４に示すように再生前に配置されたりする。このような、解像度変換装置１００によって、端末の表示デバイスの解像度あるいは通信路の帯域幅の制限によらず、HDTVの高解像度の画像コンテンツを携帯端末で受信あるいは再生することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、テレビやマスメディアにおいて、個人のプライバシーを保護することを目的として、顔等の所定部分（以後、モザイク領域と呼ぶ）の画像をブロック状に処理するモザイク処理を行う場合がある。【０００７】
このモザイク処理の原理は、図５に示す如く、モザイク領域をある特定の大きさの四角形のブロック(以後、モザイクブロックサイズと呼ぶ)に分割し、前記ブロック内の任意の１画素の画素値を、そのブロック内の全体の画素値にすることである。また、１画素の画素値ではなく、ブロック内の画素の平均画素値とする場合もある。【０００８】
しかし、携帯端末等での映像を受信・再生を目的に、モザイク処理されたHDTV解像度のコンテンツを縮小、例えばQVGA解像度にまで縮小した場合、ブロック状のモザイクが消失してしまい、本来の個人のプライバシーを保護する目的が実現できないといった課題があった。例えば、HDTV解像度でのモザイクブロックサイズが８×８画素で、QVGAにまで縮小する場合(縮小率が１／６)、QVGA解像度でのモザイクブロックサイズは約１×１画素(８／６×８／６)となり、ブロック上のモザイクが消失して、あたかもモザイクが解除されたようになってしまう。【０００９】
そこで、本発明は上記課題に鑑みて発明されたものであって、隠蔽対象にモザイクが施された原画像の解像度を落として縮小を行った縮小画像においても、隠蔽対象のプライバシーを保護することができる画像処理装置、プログラム、及び再モザイク処理方法と、これらを用いた装置を提供することにある。【００１０】
また、隠蔽対象にモザイクが施された原画像の解像度を落として縮小を行った縮小画像においても、隠蔽対象が視覚的に認識できないようなブロックサイズで再モザイク処理を行う画像処理装置、プログラム、及び再モザイク処理方法と、これらを用いた装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決する第１の発明は、画像処理装置であって、入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、前記入力画像の隠蔽対象に対して、再モザイク処理を行う再モザイク処理手段とを有することを特徴とする。
【００１３】
上記課題を解決する第２の発明は、上記第１の発明において、前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を視覚的に認知できないようなモザイクブロックサイズであることを特徴とする。
【００１４】
上記課題を解決する第３の発明は、上記第１又は第２の発明において、前記所定のブロックサイズは、２画素であることを特徴とする。
【００１５】
上記課題を解決する第４の発明は、上記第１から第３のいずれかの発明において、再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象が視覚的に認知できない大きさの再モザイクブロックサイズで再モザイク処理を行うことを特徴とする。
【００１６】
上記課題を解決する第５の発明は、上記第４の発明において、再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理を行うことを特徴とする。
【００１７】
上記課題を解決する第６の発明は、上記第４の発明において、再モザイク処理手段は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うことを特徴とする。
【００１８】
上記課題を解決する第７の発明は、上記第１から第６のいずれかの発明において、再モザイク処理手段は、周波数領域上で再モザイク処理を行うことを特徴とする。
【００１９】
上記課題を解決する第８の発明は、画像伝送装置であって、入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段と、再モザイク処理された画像を符号化し、伝送する伝送手段とを有することを特徴とする。
【００２０】
上記課題を解決する第９の発明は、情報処理端末であって、受信した画像データを復号する復号化手段と、前記復号化された画像の解像度の原画像に対する縮小率に基づいて、前記画像の隠蔽対象に施されているモザイクのモザイクブロックサイズを計算し、前記モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、前記モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段と、
再モザイク処理された画像を表示する表示手段とを有することを特徴とする。
【００２２】
上記課題を解決する第１０の発明は、画像処理プログラムであって、前記プログラムは、前記画像処理装置を、入力された画像の解像度と縮小解像度の比である縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較手段と、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで前記原画像の隠蔽対象に対して再モザイク処理を行う再モザイク処理手段ととして機能させることを特徴とする。
【００２３】
上記課題を解決する第１１の発明は、上記第１０の発明において、前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を視覚的に認知できないようなモザイクブロックサイズであることを特徴とする。
【００２４】
上記課題を解決する第１２の発明は、上記第１０又は第１１の発明において、前記所定のブロックサイズは、２画素であることを特徴とする。
【００２５】
上記課題を解決する第１３の発明は、上記第１０から第１２のいずれかの発明において、前記プログラムは、前記再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで
、再モザイク処理を行うように機能させることを特徴とする。
【００２６】
上記課題を解決する第１４の発明は、上記第１３の発明において、前記プログラムは、再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理させるように機能させることを特徴とする。
【００２７】
上記課題を解決する第１５の発明は、上記第１３の発明において、前記プログラムは、再モザイク処理手段を、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うように機能させることを特徴とする。
【００２８】
上記課題を解決する第１６の発明は、上記第１０から第１５のいずれかの発明において、前記プログラムは、再モザイク処理手段を、周波数領域上で再モザイク処理を行うように機能させることを特徴とする。
【００３０】
上記課題を解決する第１７の発明は、モザイク処理方法であって、入力された画像の解像度と縮小解像度の比で定義される縮小率に基づいて、縮小解像度の画像の隠蔽対象に施されるモザイクの縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較するステップと、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、前記原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、前記入力画像の隠蔽対象に対して、再モザイク処理を行うステップとを有することを特徴とする。
【００３１】
上記課題を解決する第１８の発明は、上記第１７の発明において、前記所定のブロックサイズは、縮小解像度の画像において、前記隠蔽対象を人間の目で視覚できないようなモザイクブロックサイズであることを特徴とする。
【００３２】
上記課題を解決する第１９の発明は、上記第１７又は第１８の発明において、前記所定のブロックサイズは、２画素であることを特徴とする。
【００３３】
上記課題を解決する第２０の発明は、上記第１７から第１９のいずれかの発明において、再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで再モザイク処理を行うことを特徴とする。
【００３４】
上記課題を解決する第２１の発明は、上記第２０の発明において、再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知できない大きさの再モザイクブロックサイズで、原画像の縮小画像に対して再モザイク処理を行うことを特徴とする。
【００３５】
上記課題を解決する第２２の発明は、上記第２０の発明において、再モザイク処理は、原画像が縮小された縮小画像において、隠蔽対象を視覚的に認知視覚できない大きさの再モザイクブロックサイズで、原画像に対して再モザイク処理を行うことを特徴とする。
【００３６】
上記課題を解決する第２３の発明は、上記第１７から第２２のいずれかの発明において、再モザイク処理は、周波数領域上で再モザイク処理を行うことを特徴とする。
【００３７】
上記課題を解決する第２４の発明は、編集履歴の記憶が可能な画像処理装置において、過去の編集履歴に、モザイクの画像処理があるか否かを判断する手段と、前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較する手段と、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行う手段とを有することを特徴とする。
【００３８】
上記課題を解決する第２５の発明は、編集履歴の記憶が可能な画像処理装置のプログラムであって、前記プログラムは、前記画像処理装置を、過去の編集履歴に、モザイクの画像処理があるか否かを判断する手段と、前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較する手段と、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行う手段として機能させることを特徴とする。
【００３９】
上記課題を解決する第２６の発明は、編集履歴を記憶しながら画像処理を行う画像処理方法において、過去の編集履歴に、モザイクの画像処理があるか否かを判断するステップと、前記過去の編集履歴にモザイクの画像処理があり、かつ前記モザイクの画像処理の後に画像を縮小する場合、縮小解像度での隠蔽対象の縮小モザイクブロックサイズを計算し、前記縮小モザイクブロックサイズと、前記隠蔽対象を視覚的に認知できない所定のブロックサイズとを比較する比較するステップと、前記縮小モザイクブロックサイズが前記所定のブロックサイズ以下である場合、画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで、原画像の隠蔽対象に対して再モザイク処理を行うステップとを有することを特徴とする。
【００４６】
本発明は、画像の縮小等により、モザイクの施された画像の隠蔽対象が視覚的に認知されてしまうような場合、モザイクの施された画像の隠蔽対象に対して、隠蔽対象が視覚的に認知できない大きさのモザイクブロックサイズで再度モザイク処理を行うことを特徴とする。【００４７】
更に、本発明は、隠匿対象にモザイクが施された原画像を縮小して低解像度にする場合、原画像の解像度と縮小画像の解像度とに基づいて、縮小解像度でのモザイクブロックサイズを計算する。そして、縮小モザイクブロックサイズによるモザイクでは、隠蔽対象を人間の目が視覚できてしまう大きさか否かを判定する。【００４８】
縮小モザイクブロックサイズによるモザイクでは、隠蔽対象を人間の目が視覚できてしまうならば、原画像の縮小によってもモザイクが視覚的に消失しない再モザイクブロックサイズで原画像の隠蔽対象に対して再モザイク処理を行うことを特徴とする。
【発明の効果】
【００４９】
本発明によれば、隠蔽対象にモザイクが施された原画像の解像度を落として縮小を行った縮小画像において、隠蔽対象に施されるモザイクが視覚的に認識できるように再モザイク処理を行う隠蔽対象のプライバシーを保護することができるという優れた効果を奏する。
【図面の簡単な説明】
【００５０】
【図１】図１は高解像度の画像コンテンツを画像縮小する例を示した図である。
【図２】図２は従来の解像度変換装置１００を示す図である。
【図３】図３は解像度変換装置１００が画像の送信前に配置された場合のブロック図である。
【図４】図４は解像度変換装置１００が画像の再生前に配置された場合のブロック図である。
【図５】図５はモザイク処理の原理を説明する為の図である。
【図６】図６は実施例１における解像度変換装置１００の構成を示す図である。
【図７】図７はモザイク領域等を説明する為の図である。
【図８】図８は実施例２における解像度変換装置１００のブロック図である。
【図９】図９は従来の８×８サイズのDCTを用いた画像の伝送および再生を示す図である。
【図１０】図１０は画像の解像度を１／２倍に縮小する例を示す図である。
【図１１】図１１は縮小逆ＤＣＴを用いた画像処理装置のブロック図である。
【図１２】図１２は実施例３における縮小逆ＤＣＴを用いた画像処理装置のブロック図である。
【図１３】図１３は本発明による解像度変換装置をインプリメントした情報処理システムの一般的ブロック構成図である。
【図１４】図１４は実施例５のシステムのブロック図である。
【図１５】図１５は実施例５の伝送装置のブロック図である。
【図１６】図１６は実施例６のシステムのブロック図である。
【図１７】図１７は画像処理装置５０２のブロック図である。
【図１８】図１８は実施例７の画像処理装置７００のブロック図である。
【符号の説明】
【００５１】
１００    解像度変換装置
２００    再モザイク判定装置
３００    モザイク処理装置
【発明を実施するための最良の形態】
【００５２】
以下、本発明の実施例を説明する。
【実施例１】
【００５３】
本発明の実施例１を説明する。【００５４】
本発明の実施例１における解像度変換装置１００の構成を図６に示す。【００５５】
実施例１の解像度変換装置１００は、図２に示した従来の解像度変換装置１００に対して、再モザイク判定装置２００とモザイク処理装置３００とを備える。尚、画像縮小装置１００１の構成は従来のものと同一のものなので、詳細な説明は省略する。【００５６】
再モザイク判定装置２００には、入力画像の解像度(rw, rh)と縮小解像度(dsrw,dsrh)、およびモザイクフラグ、原モザイク領域、原モザイクブロックサイズが供給される。モザイクフラグは、入力画像にモザイク領域が存在するか否かを示す情報である。モザイクフラグmozaic_flagがオンのとき、図７に示す如く、原モザイク座標はモザイク領域の座標(mulx, muly, mw, mh)、原モザイクブロックサイズmsizeは入力解像度でのモザイクブロックのサイズを示す。尚、入力画像の解像度(rw, rh)、およびモザイクフラグ、原モザイク領域、原モザイクブロックサイズは、入力画像に付帯する履歴等によって取得することが可能である。また、画像認識の技術を用いて、解像度(rw, rh)、およびモザイクフラグ、原モザイク領域、原モザイクブロックサイズを検出するように構成しても良い。【００５７】
再モザイク判定装置２００は、入力された画像の解像度と縮小解像度との比から、縮小解像度でのモザイクブロックサイズds_msizeを計算し（ds_msize = msize * ds_ratio）、縮小モザイクブロックサイズds_msizeが、モザイクによる隠蔽対象を人間の目が視覚できてしまう大きさか否かを判定する。具体的には、縮小モザイクブロックサイズds_msizeが、縮小解像度における１画素に近いものとなるような場合には、モザイクによる隠蔽対象が人間の目が視覚できてしまう大きさである。例えば、HDTV解像度での原モザイクブロックサイズmsizeが８画素で、QVGAにまで縮小する場合(縮小率が１／６)、QVGA解像度での縮小モザイクブロックサイズds_msizeは、約１画素(８×１／６≒１．３３３)となり、ブロック上のモザイクが消失して、あたかもモザイクが解除されたようになってしまう。【００５８】
そこで、縮小モザイクブロックサイズds_msizeが、モザイクによる隠蔽対象を人間の目が視覚できてしまう大きさ以下であれば再モザイクフラグre_mozaic_flagをオン、そうでなければオフとする。また、再モザイクフラグがオンである場合は、縮小画像上におけるモザイク領域を示す再モザイク領域(mulx2, muly2, mw2, mh2)、および再モザイクブロックサイズmsize2を計算する。【００５９】
上述した再モザイク判定装置２００の動作は定式的には以下となる。
ds_ratio = dsrw / rw                  (１)
or
ds_ratio = dsrh / rh                  (１)’
ds_msize = msize * ds_ratio            (２)
if(mozaic_flag = ON AND ds_msize < msize_th)
re_mozaic_flag = ON 
else
re_mozaic_flag = OFF                  (３)
mulx2 = mulx * ds_ratio                (４)
muly2 = muly * ds_ratio                (５)
mw2 = mw * ds_ratio                    (６)
mh2 = mh * ds_ratio                    (７)
msize2 = max(ideal_msize1, ds_msize)            (８)
ここで、msize_thは、モザイクによる隠蔽対象を人間の目が視覚できてしまうブロックサイズの閾値、ideal_msize1は縮小解像度でモザイクが視覚的に消失しない縮小解像度上での理想的な再モザイクブロックサイズ、max(a,b)は大きな値を持つ入力値を返す関数である。例えば、縮小解像度でのモザイクブロックサイズds_msizeが閾値msize_th未満である場合、縮小画像でのモザイクの隠蔽対象を人間の目が視覚できてしまう。よって、この場合、再モザイクブロックサイズmsize2を、ds_msizeよりも大きなideal_msize1とすることで、縮小による視覚的なモザイクの消失を防ぐことができる。【００６０】
本実施形態における、より具体的な、ideal_msize1の値としては、縮小解像度がQVGA(320×240画素)であれば４画素(4×4のモザイク)以上、縮小解像度がSQVGA(Sub QVGA: 160×120画素)であれば３画素(3×3のモザイク)以上であることが望ましい。またmsize_thの値としては、２画素(2×2のモザイク)以上であることが望ましい。【００６１】
モザイク処理装置３００は、再モザイク判定装置２００から供給される再モザイクフラグre_mozaic_flagがオンであれば、縮小された画像の再モザイク領域(mulx2, muly2, mw2, mh2)に対して、再モザイクブロックサイズmsize2でのモザイク処理を行う。モザイク処理は、上述した従来方式でよい、もちろん１画素でブロック内のすべての画素を置き換えてもよいし、平均値で置き換えてもよい。【００６２】
上述した本実施形態における解像度変換装置１００の動作によって、縮小によるモザイクブロックの消失が軽減される。これによって、画像解像度を極端に落とす縮小を行っても、モザイク本来の個人のプライバシーを保護する目的が達成される。
【実施例２】
【００６３】
本発明の実施例２を説明する。【００６４】
上述した実施例１では、再モザイク処理を画像の縮小後に行った。しかしながら、画像縮小後ではなく、画像の縮小前に行ってもよい。そこで、実施例２では再モザイク処理を画像の縮小前に行う例について説明する。【００６５】
図８は実施例２における解像度変換装置１００のブロック図である。【００６６】
再モザイク判定装置２００は、入力された画像の解像度と縮小解像度の比から、縮小解像度でのモザイクブロックサイズを計算し、縮小モザイクブロックサイズds_msizeが、モザイクによる隠蔽対象を人間の目が視覚できてしまう大きさか否かを判定する。尚、この場合、縮小モザイクブロックサイズds_msizeは、原モザイクブロックを縮小したと仮定した場合のモザイクブロックサイズである。【００６７】
隠蔽対象を人間の目が視覚できてしまう大きさであれば再モザイクフラグre_mozaic_flagをオン、そうでなければオフとする。また、再モザイクフラグがオンである場合は、縮小画像上におけるモザイク領域を示す再モザイク領域(mulx2, muly2, mw2, mh2)、および再モザイクブロックサイズmsize2を計算しておく。【００６８】
本実施例における再モザイク判定装置２００の動作は定式的には以下となる。
ds_ratio = dsrw / rw                    (１)
or
ds_ratio = dsrh / rh                    (１)’
ds_msize = msize * ds_ratio              (２)
if(mozaic_flag = ON AND ds_msize < msize_th)
re_mozaic_flag  = ON 
else
re_mozaic_flag  = OFF                    (３)
mulx2 = mulx                            (４)’
muly2 = muly                            (５)’
mw2 = mw                                (６)’
mh2 = mh                                (７)’
msize2 = max(ideal_msize2, msize)                (８)’
ここで、ideal_msize2は、縮小解像度でモザイクが視覚的に消失しなための入力解像度での理想的な再モザイクブロックサイズである。例えば、縮小解像度でのモザイクブロックサイズds_msizeが閾値msize_th未満である場合、縮小画像でのモザイクの隠蔽対象を人間の目が視覚できてしまう。よって、この場合、再モザイクブロックサイズmsize2を、原モザイクブロックサイズmsizeよりも大きなideal_msize2とすることで、縮小による視覚的なモザイクの消失を未然に防ぐことができる。【００６９】
本実施形態における、より具体的な、ideal_msize2の値としては、縮小解像度がQVGA(320×240画素)であれば4×(1/ds_ratio)画素((4×(1/ds_ratio))x(4×(1/ds_ratio))のモザイク)以上、縮小解像度がSQVGA(Sub QVGA: 160x120画素)であれば3×(1/ds_ratio)画素((3×(1/ds_ratio))x(3×(1/ds_ratio))のモザイク)以上以上であることが望ましい。
【実施例３】
【００７０】
本発明の実施例３を説明する。【００７１】
実施例３では、DCT(Discrete Cosine Transform)やHT(Hadamard Transform)などの、周波数領域での解像度変換に対して、本発明を利用した例を説明する。【００７２】
まず簡単に、従来の8x8サイズのDCTを用いた画像の伝送および再生を図９に示す。【００７３】
DCT装置１０１１は、画像img(xx,yy) (0≦xx≦width-1, 0≦yy≦height-1)を８×８ブロックの単位でDCTし、ブロック分割された画像f(x,y)(0≦x≦7, 0≦y≦7)を画素空間領域から周波数領域に変換する。前記でDCTされた画像信号をDCT係数と呼ぶ。【００７４】
一般に前記DCTには、以下の式が利用されている。
0004371245.tif 000002
ここで、NはDCTのブロックサイズ(本例ではN=８)、x,yは画素空間での座標、u,vは周波数領域での座標をそれぞれ示し、
0004371245.tif 000003
とする。【００７５】
量子化装置１０１２は、量子化パラメータに対応する量子化ステップサイズで、前記DCT係数を量子化する。前記量子化されたDCT係数はレベル値と呼ばれる。【００７６】
前記レベル値はエントロピー符号化装置１０１３によってエントロピー符号化されてビット列、すなわちビットストリームとして出力される。また、このとき、前記量子化パラメータも符号化パラメータとして、エントロピー符号化され、ビットストリームに多重化される。【００７７】
ビットストリームは、エントロピー復号化装置１０２３によってエントロピー復号化されて、元の符号化パラメータと元のレベル値になる。【００７８】
逆量子化装置１０２２は、復号された量子化パラメータに対応する量子化ステップサイズで、前記復号されたDCT係数を逆量子化して、DCT係数を出力する。【００７９】
逆DCT装置１０２１は、前記DCT係数を８×８ブロックの単位で逆DCTし、DCT係数を周波数領域から空間領域に戻す。これによって、再生側ではビットストリームから元の画像f(x,y)に復号することができる。【００８０】
一般に前記逆DCTには、以下の式が利用されている。
0004371245.tif 000004
上述した、DCTを用いた画像再生装置（復号化）において、符号化側のDCTサイズ(NxN)と復号側のIDCTサイズ(PxP)を変えることにより、画像を縮小することができる(N > P)。Nを８、Pを４として、画像の解像度を４／８=１／２倍に縮小する例を図１０に示す。【００８１】
上述した、縮小DCTを利用することで、DCTを用いて符号化された画像のビットストリームを直接、縮小することが可能である。【００８２】
図１１の場合、元の画像の解像度をorg_res、符号化側のDCTのブロックサイズをNxN、縮小後の画像の解像度をds_restとすると、縮小DCTのブロックサイズPxPのPの値は、以下となる。
P = N * ds_rest / org_res
たとえば、元の画像の解像度がHDTV、縮小後の画像の解像度がQVGA、N=8とすると、
P = 8 * 1920 / 320 = 8 / 6 = 1(四捨五入)
となり、縮小後の画像の解像度は、HDTVの1/8(P=1/N=8)となる(DCT領域での画像の縮小は、1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8倍にしかできないが、画素領域での縮小よりも、すくない演算量でよいため、よく利用される)。【００８３】
しかしながら、上述した、周波数領域においての解像度変換においても、上述したモザイクブロックの消失が発生する（とくにP=1となった場合）。【００８４】
次に、本発明について説明する。【００８５】
モザイクブロックの消失の問題を解決する、発明方式を適用した周波数領域での解像度変換を図１２を参照して説明する。【００８６】
図１１と比較すると、実施例３では再モザイク処理判定装置２００、DCT係数修正装置１０２５とを有している。尚、再モザイク処理判定装置２００は上述した実施例と同様である。【００８７】
再モザイクフラグがオンの場合、DCT係数修正装置１０２５は、再モザイク領域のDCT係数に対して、以下のステップの処理を行う。
ステップ１    再モザイク領域に含まれるNxNブロックそれぞれのDCT係数F(u,v)についてDC以外をすべて0とする。
F(u,v) = 0  for u != 0 and v != 0
ステップ２    Pが再モザイクブロックサイズm_bsよりも大きければステップ3、そうでなければ処理を終了する。
ステップ３    再モザイクブロックがm_bsとなるように、隣接する再モザイク領域に含まれるNxNブロックのDC係数F(0,0)に対して以下の更新を行う。
0004371245.tif 000005
sz = m_bs / P
ここで、Fx,y’(0,0) は更新後のブロック座標(x,y)のDC係数、Fx,y(0,0) は更新前のブロック座標(x,y)のDC係数をしめす。【００８８】
上述した処理により、縮小された画像のモザイク領域には、再モザイクブロックm_bsよりも大きなサイズのブロック上のモザイクが再現される。【００８９】
これによって、周波数領域で解像度変換を行う場合においても、モザイクブロックの消失の課題を解決することができる。
【実施例４】
【００９０】
さらには上述した実施例においては、上述した説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【００９１】
図１３は、本発明による解像度変換装置をインプリメントした情報処理システムの一般的ブロック構成図である。【００９２】
図１３に示す情報処理システムは、プロセッサ８００、プログラムメモリ８０１、及び記憶媒体８０２からなる。記憶媒体８０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。【００９３】
プログラムメモリ８０１には、上述した再モザイク判定装置２００とモザイク処理装置３００と同様な動作をさせるプログラムが格納され、このプログラムによりプロセッサ８００は動作して実施例１、実施例２又は実施例３と同様な処理を行う。
【実施例５】
【００９４】
本発明の実施例５を説明する。【００９５】
今後普及する地上デジタルでは、上述したように１チャンネルの１３セグメントを、ハイビジョン放送(高解像度)に１２セグメント、移動体放送(低解像度)に１セグメント割り当てることで、同一のコンテンツを高解像度と低解像度とで配信する機会も多くなる。そこで、実施例５では、上述した、実施例１、実施例２及び実施例３の解像度変換装置１００を有する伝送装置について説明する【００９６】
図１４は実施例５のシステムのブロック図であり、図１５は実施例５の伝送装置のブロック図である。【００９７】
図１４に示す如く、本システムは、高解像度、例えば、HDTV解像度の画像（モザイクが施されている）が入力される伝送装置３００と、高解像度の画像と、伝送装置３００から出力される低解像度、例えばQVGA解像度の画像が入力される送出装置３０１とを有する。【００９８】
伝送装置３００は、高解像度、例えばHDTV解像度の画像が入力され、これを縮小して低解像度、例えばQVGA解像度の画像を生成して出力するものである。そして、伝送装置３００は、図１５に示す如く、解像度変換装置１００と符号化部１０１とを有する。解像度変換装置１００は、実施例１及び実施例２で説明した解像度変換装置１００と同様な構成である。符号化部１０１は、解像度変換装置１００で縮小された画像を符号化し、画像ビットストリームを送出する符号化器である。【００９９】
送出装置３０１は、伝送装置３００から出力される低解像度の画像と高解像度の画像とを入力し、低解像度の画像は部分階層の画像として、高解像度の画像は固定階層の画像として送信する。【０１００】
本実施例５によれば、高解像度のコンテンツにモザイク処理が施され、高解像度のコンテンツを縮小して低解像度の同一コンテンツを配信する場合であっても、縮小によるモザイクブロックの消失が軽減され、安心して高解像度、低解像度の同一コンテンツを配信することができる。
【実施例６】
【０１０１】
実施例６を説明する。【０１０２】
実施例６では受信・再生側でモザイクの再処理を行う場合について説明する。【０１０３】
図１６は実施例６のシステムのブロック図であり、図１７は画像処理装置５０２のブロック図である。【０１０４】
送出装置４００からは、モザイク処理が施された高解像度の画像が画像ビットストリームで出力される。尚、この画像に関するモザイクフラグ、原モザイク座標、原モザイクブロックサイズの情報は、画像ビットストリームに多重化されて伝送されるものとする。【０１０５】
携帯端末５００は、送出装置４００から送信された高解像度画像を受信する受信部５０１と、受信した高解像度画像を縮小して自端末の表示デバイスで表示することができるようにする画像処理部５０２と、ディスプレイ等の表示デバイス５０３とを有する。【０１０６】
画像処理部５０２は、画像ビットストリームを入力して復号する復号化部１０２と、自端末の表示デバイスで表示することができる解像度まで画像を縮小すると共に、再モザイク処理を行う解像度変換装置１００とを有する。解像度変換装置１００は、実施例１、実施例２及び実施例３で説明した解像度変換装置１００と同様な構成である。【０１０７】
本実施例６によれば、モザイク処理が施された高解像度のコンテンツを配信しても、受信側で高解像度のコンテンツを縮小して再モザイク処理を行うので、送出側で異なる解像度の画像を用意する必要がなくなる。
【実施例７】
【０１０８】
実施例７を説明する。【０１０９】
実施例７では、編集履歴を記録しながら画像処理を行う画像処理装置に本発明を適用した場合について説明する。【０１１０】
図１８は本発明の実施例７における画像処理装置７００のブロック図である。【０１１１】
実施例７に示される画像処理装置７００は、実施例１に示されるものに加えて、編集履歴を記録する編集履歴記録部７０１を有している。【０１１２】
編集履歴記録部７０１は、画像処理の種類や、処理を行った画像領域等を記録している。例えば、原画像に対してモザイク処理を行った場合、モザイク処理の実行（モザイクフラグに相当）、原モザイク領域、原モザイクブロックサイズ等を編集履歴として記録している。【０１１３】
再モザイク判定装置２００には、編集履歴として、モザイクフラグ、原モザイク領域、原モザイクブロックサイズが供給される。また、モザイク処理後、原画像が縮小処理を行う場合には、入力画像の解像度(rw, rh)と縮小解像度(dsrw,dsrh)とが供給される。再モザイク判定装置２００は、編集履歴から過去に画像に対してモザイク処理が施されたか否かを判断し、モザイク処理がされている場合には、実施例１と同様な動作により、再モザイクが必要かを判定して処理を行う。【０１１４】
モザイク処理装置３００は、実施例１と同様に、再モザイク判定装置２００から供給される再モザイクフラグre_mozaic_flagがオンであれば、画像の再モザイク領域に対して、再モザイクブロックサイズでのモザイク処理を行う。【０１１５】
以下に実施例７における動作を以下に説明する。【０１１６】
ステップ１
再モザイク判定装置２００は、過去の編集履歴にモザイクの画像処理があるか否かを判断する。モザイクの画像処理があればステップ２、そうでなければ処理を終了する。【０１１７】
ステップ２
再モザイク判定装置２００は、後続する画像処理が縮小か否かを判断する。縮小であればステップ３、そうでなければ処理を終了する。【０１１８】
ステップ３
上記式(２)より、縮小モザイクブロックサイズds_msizeを計算し、このds_msizeが閾値msize_th以下であればステップ４、そうでなければ処理を終了する。【０１１９】
ステップ４
上記式(４)−(８)により、縮小画像に対する再モザイクブロックサイズmsize2を計算し、縮小画像に対して、前記再モザイクブロックサイズmsize2で再モザイクの処理を行う。再モザイク処理を行った縮小画像を、縮小の結果として出力する。【０１２０】
上述した本実施例における画像処理装置によって、縮小によるモザイクブロックの視覚的な消失が軽減される。これによって、モザイク本来の個人のプライバシーを保護する目的が達成される。【０１２１】
尚、上述したステップ４において、モザイク処理を行う前の画像（モザイク前原画像）を記憶しているのであれば、モザイク前の原画像に対して、まず縮小を行い、縮小されたモザイク前の原画像に対して上述した再モザイクの処理を行ってもよい。【０１２２】
また、画像処理装置に限らず、編集履歴を記憶しながら画像処理を行う画像処理プログラムにも本実施例は適用可能である。この場合には、上述した各部に代えて、実施例４で述べたようにプログラムで動作するＣＰＵが同様な動作を行う。
【図１】
0004371245.tif 000006
【図２】
0004371245.tif 000007
【図３】
0004371245.tif 000008
【図４】
0004371245.tif 000009
【図５】
0004371245.tif 000010
【図６】
0004371245.tif 000011
【図７】
0004371245.tif 000012
【図８】
0004371245.tif 000013
【図９】
0004371245.tif 000014
【図１０】
0004371245.tif 000015
【図１１】
0004371245.tif 000016
【図１２】
0004371245.tif 000017
【図１３】
0004371245.tif 000018
【図１４】
0004371245.tif 000019
【図１５】
0004371245.tif 000020
【図１６】
0004371245.tif 000021
【図１７】
0004371245.tif 000022
【図１８】
0004371245.tif 000023