(57)【要約】【課題】  従来、画像データ中のコンテンツの重要度を考慮して画像サイズの変更を行う方法は、画像に図やグラフなど単色もしくは少数色からなる要素が含まれる場合に、これらの要素の形状の崩れを抑制することができなかった。【解決手段】  画像データにおける画素の重要度は、少なくとも、画像データにおける注目画素と周辺画素との輝度の差分と、前記注目画素の値と前記画像データから取得された下地色との色差とに基づき、画像データの各画素の重要度分布を算出し、算出された重要度分布を用いて、画像データのサイズを変倍する。【選択図】  図４
2017034376.tif 000002
【特許請求の範囲】
【請求項１】
画像データにおける画素の重要度分布に応じて前記画像データのサイズを変倍する画像処理方法であって、
前記画像データにおける画素の重要度は、少なくとも、前記画像データにおける注目画素と周辺画素との輝度の差分と、前記注目画素の値と前記画像データから取得された下地色との色差とに基づき、前記画像データの各画素の重要度分布を算出する算出ステップと、
前記算出ステップによって算出された重要度分布を用いて、前記画像データのサイズを変倍する変倍ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記変倍ステップは、前記重要度分布において重要度が低い画素を削除することにより、前記画像データのサイズを変倍することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像データの下地色は、前記画像データの色に関するヒストグラムに基づき算出されることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記重要度分布に応じた前記画像データのサイズの変倍は、シームカービング処理を用いることを特徴とする請求項１または２に記載の画像処理方法。
【請求項５】
前記重要度は、さらに、前記画像データに含まれる下地色の画素数から計算されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項６】
前記重要度は、さらに、前記画像データに含まれる各画素の色もしくは輝度の分散に関する量から計算されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項７】
前記色差が大きい画素は、重要度が高いことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
画像データにおける画素の重要度分布に応じて前記画像データのサイズを変倍する画像処理装置であって、
前記画像データにおける画素の重要度は、少なくとも、前記画像データにおける注目画素と周辺画素との輝度の差分と、前記注目画素の値と前記画像データから取得された下地色との色差とに基づき、前記画像データの各画素の重要度分布を算出する算出手段と、
前記算出手段によって算出された重要度分布を用いて、前記画像データのサイズを変倍する変倍手段とを有することを特徴とする画像処理装置。
【請求項９】
コンピュータに、請求項１から７のいずれか一項に記載の画像処理方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データのサイズを変更する技術に関するものである。
【背景技術】
【０００２】
従来、画像データ中のコンテンツの重要度を考慮して画像サイズの変更を行うリターゲティング技術として、シームカービングを用いた方法が知られている。また、シームカービングを用いてシーム削除を行う方法として、特許文献１にて開示されている方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１２−５２１７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術を用いれば、画像中で重要度が高いと判断された部分を残し、重要度が低いと判断された部分を削除することで、画像サイズを変更することが可能になる。これらの技術は画像中の重要度判断の方法として画像中の輝度勾配などを用いている。そのため、写真・図・グラフ・文字が混在するオフィス文書に適用する場合、単色もしくは少数の色から成る図やグラフ部分の重要度が相対的に低いと判別される。この結果、文書中の写真を通過するシームより文書中の図やグラフを通過するシームが優先的に削除されることになる。しかし、文書の特性を鑑みると、グラフは定量的な比較や説明を行うための要素であり、シームの削除による形状の崩れが与える文書の意味への影響は大きいと考えられる。
【課題を解決するための手段】
【０００５】
本発明の画像処理方法は、画像データにおける画素の重要度分布に応じて前記画像データのサイズを変倍する画像処理方法であって、前記画像データにおける画素の重要度は、少なくとも、前記画像データにおける注目画素と周辺画素との輝度の差分と、前記注目画素の値と前記画像データから取得された下地色との色差とに基づき、前記画像データの各画素の重要度分布を算出する算出ステップと、前記算出ステップによって算出された重要度分布を用いて、前記画像データのサイズを変倍する変倍ステップとを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、オフィス文書などに含まれる図やグラフの形状崩れを抑えつつ、画像サイズを変更することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態による画像処理装置の内部構成例を示すブロック図である。
【図２】本発明の実施形態による画像処理装置が表示する、操作ＵＩの一例である。
【図３】本発明の実施形態による画像データ変換プログラムの動作を示す流れ図である。
【図４】本発明の実施形態による画像データ変換プログラムの動作を示す流れ図である。
【図５】本発明の実施形態による画像データ変換の処理の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【０００９】
［第一の実施形態］
本発明の実施例にかかわる画像処理装置の全体構成を、図１を参照しながら説明する。
【００１０】
図１は、本実施形態における画像処理装置１００の一構成例を示すブロック図である。
【００１１】
画像処理装置１００は、ＣＰＵ  １０１、ＲＡＭ  １０２、ＲＯＭ  １０３、不揮発性ストレージ１０４、ネットワークインタフェース  １０５、ディスプレイ１０６、およびそれらをつなぐシステムバス１０７から構成される。ＣＰＵ  １０１は画像処理装置１００を制御するための中央処理装置である。ＲＡＭ  １０２は、ＣＰＵ  １０１が動作するためのシステムワークメモリである。ＲＯＭ  １０３はＢＩＯＳ  ＲＯＭであり、起動プログラムと起動設定値が格納されている。不揮発性ストレージ１０４はハードディスクドライブやフラッシュメモリから構成される記憶装置であり、基本ソフトウェア（ＯＳ）や各種処理のためのプログラム、さらに一時保存データを格納する。ネットワークインタフェース１０５は、ネットワーク１１０に接続して外部装置との間で電子画像データや、各種情報の入出力を行う。ディスプレイ１０６はタッチパネル等の入力装置を備えた表示装置で構成されており、画像処理装置１００を操作するためのユーザインタフェースである。以上のユニットがシステムバス１０７上に配置されている。
【００１２】
画像処理装置１００上では、不揮発性ストレージ１０４に保存されている画像データ変換プログラムが、ＲＡＭ１０２にロードされＣＰＵ１０１上で動作する。このプログラムは、不揮発性ストレージ１０４に保存されている画像データを読出し、所定の画像変換処理を行い、生成された変換後電子画像データを不揮発性ストレージ１０４に保存する。また必要に応じてディスプレイ１０６に表示を行う。画像処理装置１００上では、本実施例で示す画像サイズ変更を行う画像データ変換プログラムだけでなく、画像フォーマットの変換や画像に対する符号化・復号化処理など不揮発性ストレージ１０４に保存されている他のプログラムを実行することもある。
【００１３】
また、画像処理装置１００は、ネットワーク１１０経由で、図示されていないコンピュータ機器と接続され、電子画像データやＰＤＬデータの送受信を行う場合もある。
【００１４】
図２は、ユーザが画像処理のパラメータを確認し変更する際に、画像処理装置１００にて動作する電子画像データ変換プログラムがディスプレイ１０６に表示する、操作ＵＩの一例である。
【００１５】
操作ＵＩには、シームカービング処理によって画像サイズを変更する際の倍率を指定するＵＩが配置されている。倍率の指定方法としては、例えばＡ３用紙サイズ相当の画像をＡ４サイズ相当に画像サイズに縮小するためのプリセットの倍率や、ユーザが任意に倍率を指定するための数値指定ボックスが含まれる。本実施例では縮小変倍時のみシームカービング処理を行うものとする。従って、ユーザが操作ＵＩ上で１００以下の整数もしくはプリセット倍率を指定した場合にのみ以下で説明するシームカービング処理が行われる。
【００１６】
次に図３、図４を用いて、画像処理装置１００において実行される画像データ変換プログラムにより、シームカービング処理を用いた画像データのサイズ変更の方法を説明する。
【００１７】
図３は画像処理装置１００内のＣＰＵ１０１において実行される、画像データのサイズ変更処理全体の処理を示すフローチャートである。
【００１８】
最初に、画像処理装置１００は、図２の操作ＵＩによりユーザから指定された内容、及び処理すべき画像のサイズを元に、縮小後の画像サイズを算出する（Ｓ３０１）。例えば、処理すべき画像データのサイズが縦１００８０ピクセル、横７１２８ピクセルであり、ユーザから倍率９０％で縮小する旨の指定を受けた場合、間引くべきピクセル数は縦１００８ピクセル、横７１３ピクセルとなる。従って、縮小後の画像データのサイズは縦９０７２ピクセル、横６４１５ピクセルとなる。
【００１９】
次に、画像処理装置１００は、処理後の画像データのサイズがＳ３０１で計算されたサイズになるまで下記の処理を繰り返す。
【００２０】
まず、画像処理装置１００は、画像データ中の各画素に対応した重要度を計算する（Ｓ３０２）。本実施例においては、重要度はピクセル当たり浮動小数点表現を用いた３２ｂｉｔのデータを有する２次元配列であるものとする。Ｓ３０２の処理の詳細は後述する。
【００２１】
次に、画像処理装置１００はＳ３０２で計算した重要度分布を元に、画像サイズを変更する（Ｓ３０３）。Ｓ３０３の処理については一般的なシームカービング処理と同様であるため、処理の詳細は省略する。
【００２２】
図４は画像処理装置１００内のＣＰＵ１０１において実行される、Ｓ３０２の処理の詳細を示すフローチャートである。
【００２３】
最初に、画像処理装置１００は、画像データ中の全画素について、画像データ中の水平位置ｘ、垂直位置ｙにおける輝度勾配（差分）Ｅｇ（ｘ，ｙ）を、輝度をＩ（ｘ，ｙ）として下記の式により計算する（Ｓ４０１）。
【００２４】
【数１】
2017034376.tif 000003
【００２５】
本実施例では、Ｓ４０１において輝度の一次偏微分を用いて勾配値を計算しているが、ラプラシアンを用いるなど、勾配に関する処理であれば他の計算方法を用いても構わない。また、輝度の他に画素の色それぞれの勾配量を計算して合算するなど、画像の各画素に関連付けられる量であれば他の量でも構わない。
【００２６】
次に、画像処理装置１００は、画像全体の下地色を取得する（Ｓ４０２）。具体的な取得方法としては、例えば画像中の色に関するヒストグラムを計算して最頻度となる色を決定する方法が考えられるが、下地色を判別可能であれば方法は問わない。
【００２７】
続いて、画像処理装置１００は画像中の全画素について下記の処理をループする。
【００２８】
まず、画像処理装置１００は画像データ中で水平位置ｘ、垂直位置ｙに位置する注目画素の色と下地色との色差Ｄ（ｘ，ｙ）を下記式により計算する（Ｓ４０４）。
Ｄ（ｘ，ｙ）＝│Ｒ（ｘ，ｙ）−ＦＲ（ｘ，ｙ）│＋│Ｇ（ｘ，ｙ）−ＦＧ（ｘ，ｙ）│＋│Ｂ（ｘ，ｙ）−ＦＢ（ｘ，ｙ）│    ・・・（２）
ここで、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、Ｇ（ｘ，ｙ）はそれぞれ注目画素の赤、緑、青成分の色を表し、ＦＲ（ｘ，ｙ）、ＦＧ（ｘ，ｙ）、ＦＢ（ｘ，ｙ）はそれぞれ下地色の赤、緑、青成分の色を表す。なお、本実施例においては画像データがＲＧＢカラースペースであるものとして処理しているが、他のカラースペースの場合でも色差を計算できれば具体的な方法は問わない。
【００２９】
次に、画像処理装置１００は、注目画素の周辺画素について、Ｓ４０１で計算した勾配値を加算する（Ｓ４０５）。
【００３０】
【数２】
2017034376.tif 000004
【００３１】
本実施例では、注目画素と５ピクセル以内に隣接する画素について輝度勾配を加算しているが、必要に応じて参照する範囲を変更しても構わない。
【００３２】
最後に、画像処理装置１００は、各画素における重要度Ｅ（ｘ，ｙ）を下記の式によって計算する（Ｓ４０６）。
【００３３】
【数３】
2017034376.tif 000005
【００３４】
なお、Ｃｓはスケールファクタであり、任意に決定可能な定数である。
【００３５】
（４）式によれば、重要度が高くなるのは下記の場合である。
【００３６】
まず、右辺第一項、すなわちＳ４０１で計算した輝度勾配の値が大きくなる場合である。このようなケースの例として、複雑な被写体が含まれる写真中の画素が挙げられる。
【００３７】
次に、右辺第二項が大きくなる場合である。すなわち、下地色と注目画素の色との色差が大きく（Ｓ４０４）、かつ周辺画素の輝度勾配が小さい場合（Ｓ４０５）である。このようなケースの例として、下地色とコントラストが強い単色もしくは少数の色で塗りつぶされた図やグラフなどの部分が挙げられる。
【００３８】
図５は本実施例で説明した重要度の計算結果の例を示す図である。
【００３９】
図５（ａ）は処理対象の画像データである。画像データ中に風景写真・グラフ、文字が混在している。風景写真の山の部分は色の異なる画素が混在している領域となっている。
【００４０】
図５（ｂ）は（４）式の右辺第一項のみを考慮に入れて計算した重要度である。この計算方法は従来技術による方法と同等のものである。白の部分は重要度が最小であり、重要度が最大である黒に近づくにつれて重要度が高い画素であることを表している。右辺第一項は輝度勾配に関する量であるため、グラフや文字の領域はエッジの部分のみ重要度が高くなっている。また、写真の山の部分に関しては色の異なる画素が混在しているため、全体的に重要度が高くなる。
【００４１】
図５（ｃ）は本実施例の処理により計算した重要度である。（４）式第二項の影響により、グラフの部分に色差に比例した重要度が付与されている。
【００４２】
このように、輝度勾配に加えて下地色や注目画素周辺の輝度勾配を考慮に入れて重要度を計算することにより、オフィス文書に含まれる図やグラフについて形状の崩れを抑制しつつシームカービング処理を行うことが可能となる。
【００４３】
［第二の実施形態］
第一の実施形態では、輝度勾配に加えて下地色や注目画素周辺の輝度勾配を考慮に入れて重要度を計算することにより、オフィス文書に含まれる図やグラフについても形状の崩れを抑制しつつシームカービング処理を行うことが可能となることを示した。しかし、（４）式におけるスケールファクタＣｓの決定方法については示されていない。
【００４４】
第二の実施形態では、（４）式におけるスケールファクタの計算方法について説明する。
【００４５】
図５は画像処理装置１００内のＣＰＵ１０１において実行される、画像データのサイズ変更処理全体の処理を示すフローチャートである。本実施例においては、Ｓ４０６の処理の前に下記の式でスケールファクタＣｓを計算する処理を行う。
【００４６】
【数４】
2017034376.tif 000006
【００４７】
（５）式において、Ｓｘ、Ｓｙはそれぞれ画像の水平方向、垂直方向の画素数を表し、ＮＦは下地色と同じ色であると判定された画素の数である。すなわち、下地色と判定された画素数が少ないほどスケールファクタＣｓは０に近づき、下地色と判定された画素数が多いほどＣｓは１に近づく。（５）式によれば、写真画像のような明確に下地色が存在しない画像に対しては（４）式の右辺第二項の寄与が少なくなり、オフィス文書のように明確な下地色が存在する画像に対しては右辺第二項の寄与が大きくなる。
【００４８】
このようにスケールファクタＣｓを決めることにより、処理対象の画像の特性に応じて重要度の計算結果を適切に調整することができ、より良好な結果を得ることが可能となる。
【００４９】
［その他の実施形態］
第二の実施形態で説明した（５）式は、写真画像の場合にスケールファクタＣｓが小さくなり、図やグラフが存在するオフィス文書の場合に大きくなるような定式化であれば他の方法でも構わない。
【００５０】
例えば下式のように画像データの色の分散を用いてもよい。
【００５１】
【数５】
2017034376.tif 000007
【００５２】
ここで、Ｐ（ｘ，ｙ）は水平位置ｘ、垂直位置ｙにおける色、Ｐａは画像中の平均色である。このようにスケールファクタＣｓを決定することにより、図やグラフ、文字など、下地色が大部分を占める画像ではＣｓが大きくなり、写真のような様々な色が混在する画像ではＣｓが小さくなる。
【００５３】
このようにスケールファクタＣｓを決めることにより、処理対象の画像の特性に応じて重要度の計算結果を適切に調整することができ、より良好な結果を得ることが可能となる。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2017034376.tif 000008
【図２】
2017034376.tif 000009
【図３】
2017034376.tif 000010
【図４】
2017034376.tif 000011
【図５】
2017034376.tif 000012