(57)【要約】【課題】  背景領域内の文字と非背景領域内の文字とを区別した画像処理を行う。【解決手段】  画像処理装置１００の背景色取得部１０１は、入力された画像における背景色を特定し、背景近傍画素検出部１０２は、前記入力された画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に背景色取得部１０１が特定した背景色を有する画素が所定数以上含まれるか否かを判定し、画像選択部１０６は、前記入力された画像において背景近傍画素検出部１０２による判定結果に基づいて定まる所定領域内の文字に対して画像処理がなされた処理画像を出力する。【選択図】  図１
2017046243.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像における背景色を特定する特定手段と、
前記入力された画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に前記特定手段が特定した背景色を有する画素が所定数以上含まれるか否かを判定する判定手段と、
前記入力された画像において前記判定手段による判定結果に基づいて定まる所定領域内の文字に対する画像処理がなされた、処理画像を出力する出力手段とを有することを特徴とする画像処理装置。
【請求項２】
前記処理画像は、前記入力された画像において前記所定領域内の文字のエッジ部分が強調された画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の処理対象画素のそれぞれにおいて、当該処理対象画素から前記所定範囲内に含まれる前記特定手段が特定した背景色を有する画素の数が前記所定数未満であると前記判定手段が判定した場合に、当該処理対象画素の値を所定値に置換する処理を行う置換手段と、
前記置換手段が処理を行った画素値を有する画像において、エッジ部分に該当する画素を識別する識別手段を有し、
前記出力手段は、前記識別手段による識別結果に基づいてエッジ部分が強調された前記処理画像を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記入力された画像のエッジ部分が強調された画像と、前記入力された画像とを、前記識別手段による識別結果に応じて切り替え出力することで、前記処理画像を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記所定領域は、前記所定範囲内に前記特定手段が特定した背景色を有する画素が所定数以上含まれると前記判定手段が判定した画素により構成される領域であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記特定手段は、前記入力された画像の画素値に関する度数分布に基づいて、前記入力された画像における背景色を特定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記特定手段は、前記画像処理装置の外部から取得した背景色に関する情報に基づいて、前記入力された画像における背景色を特定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項８】
前記出力手段は、前記処理画像を投射によって出力することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記特定手段は、前記入力された画像の画素値が取りうる値の範囲を複数の区間に分割し、前記複数の区間のうち前記入力された画像における背景色に対応する区間を特定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
入力された画像における背景色を特定する特定工程と、
前記入力された画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に前記特定工程において特定された背景色を有する画素が所定数以上含まれるか否かを判定する判定工程と、
前記入力された画像内の前記判定工程における判定結果に基づいて定まる所定領域内の文字に対して画像処理がなされた処理画像を出力する出力工程とを有することを特徴とする画像処理方法。
【請求項１１】
前記処理画像は、前記入力された画像において前記所定領域内の文字のエッジ部分が強調された画像であることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像に対して処理を行う画像処理技術に関する。
【背景技術】
【０００２】
従来、画像に対して処理を行うことで画像の鮮鋭感を向上させる技術が使用されている。例えばプロジェクターを用いて画像を投射する場合、投射される文字の可読性を確保するために鮮鋭感のある画像の投射が求められることがある。そのため、投射する画像に対してエッジ強調などの画像処理が行われる。
また、入力画像を文字領域とそれ以外の領域とに分離する、像域分離という技術がある。像域分離では、入力画像の各画素について、文字領域に含まれるかそれ以外の領域に含まれるかが識別される。像域分離を用いることで、入力画像内の文字領域に対してのみ画像処理を行うことができる。特許文献１では、画像を分割したブロックにおける高周波成分と低周波成分の特徴に基づいて像域分離を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７８７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示される像域分離の結果に応じて画像処理を行う場合、写真やイラスト等に当たる非背景領域内の文字と、背景領域内の文字とで、同様の画像処理が行われる場合がある。具体的には、入力画像に文字の書かれた看板を写した写真が含まれる場合などには、この看板の文字のように写真の中で高周波成分を含む部分も、背景領域内の文字と同様に文字領域であると識別される。そのため例えば、背景領域と非背景領域とが含まれる画像に対して一律に文字領域を抽出してエッジ強調を行うと、非背景領域内の文字が強調されて画像の自然さが損なわれてしまうことがある。また例えば、背景領域と非背景領域とが含まれる画像に対して一律に文字以外の領域を抽出してノイズ除去を行うと、非背景領域内の文字のノイズが除去されないことがある。
【０００５】
本発明は上記課題に鑑み、背景領域内の文字と非背景領域内の文字とを区別した画像処理を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を備える。すなわち、入力された画像における背景色を特定する特定手段と、前記入力された画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に前記特定手段が特定した背景色を有する画素が所定数以上含まれるか否かを判定する判定手段と、前記入力された画像において前記判定手段による判定結果に基づいて定まる所定領域内の文字に対する画像処理がなされた、処理画像を出力する出力手段とを有する。
【発明の効果】
【０００７】
本発明によれば、背景領域内の文字と非背景領域内の文字とを区別した画像処理を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る、画像処理装置１００の構成例を表すブロック図である。
【図２】実施形態に係る、像域分離部１０４の詳細な構成を説明するための図である。
【図３】実施形態に係る、度数分布の例を表す図である。
【図４】実施形態に係る、画像処理装置１００による背景色特定の処理を説明するためのフローチャートである。
【図５】実施形態に係る、画像処理装置１００による像域分離とその前処理を説明するためのフローチャートである。
【図６】実施形態に係る、画像処理装置１００によるエッジ強調と画像出力の処理を説明するためのフローチャートである。
【図７】実施形態に係る、映像投射装置として構成される画像処理装置７００の構成例を表すブロック図である。
【図８】実施形態の概念を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。
【００１０】
はじめに、本実施形態の概念について図８を用いて説明する。コンテンツ８０１は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌという文字８０２を含む背景領域８０４と、非背景領域に当たる写真画像８０３とが混在した画像である。本実施形態において、非背景領域は写真やイラスト等に当たる領域であり、背景領域は入力画像（コンテンツ８０１）内で非背景領域に該当しない領域である。背景領域は単色であってもよいし複数の色を有していてもよい。本実施形態におけるイラストは例えば、コンテンツ８０１を生成する装置において予め用意された図や、ユーザーによって描かれた絵などである。また、本実施形態における文字は数字や記号を含む。なお、写真画像８０３の中にも文字が含まれているが、本実施形態においてこの文字は背景領域８０４内の文字８０２とは異なり、写真画像８０３の一部であるとする。このようなコンテンツ８０１を例えばプロジェクターで投射する場合、文字８０２は可読性向上を目的としてより鮮明にし、写真画像８０３は自然さを維持する、という領域によって異なる処理が要求されることがある。
【００１１】
一方、文字８０２の可読性を向上する方法としては種々の方法があるが、一つの方法としてエッジ強調を用いる場合、エッジ強調を行うべき部分は文字８０２のエッジ部分である。逆に写真画像８０３については、風景などはもちろん、写真画像８０３の中に写っている看板などの文字もエッジ強調されるべきでない。本実施形態ではこれらのことを考慮し、画像内のエッジ部分に該当する画素を識別する処理を行う前に、背景の近傍でない画素の値を所定値に置換する。これにより、写真画像８０３内の文字はエッジ部分と識別されにくくなり、文字８０２のエッジ部分を識別して強調することができるようになる。
【００１２】
以下、本実施形態に係る画像処理装置１００の構成例について、図１のブロック図を用いて説明する。画像処理装置１００は、背景色取得部１０１、背景近傍画素検出部１０２（以降、検出部１０２）、像域分離前処理部１０３（以降、前処理部１０３）、像域分離部１０４、エッジ強調部１０５、及び画像選択部１０６を備える。図１の各処理部は１つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。また、画像処理装置１００がＣＰＵの一部となってプログラムを実行することにより、各処理部の処理をソフトウェアにより実行してもよい。なお、画像処理装置１００が上記の処理部全てを備えることは必須でない。
【００１３】
次に、各処理部の詳細な説明を述べる。背景色取得部１０１は、入力された画像における背景色を特定する。プレゼン資料などでは、背景領域は画像全体の中で最も大きな面積を占めることが多い。そこで、本実施形態における背景色取得部１０１は、画像中で最も多く存在する画素値とそれに類する画素値を背景色と特定する。この背景色の特定は、入力された画像の画素値に関する度数分布に基づいて行われる。本実施形態において背景色取得部１０１が作成する度数分布の例を図３に示す。
【００１４】
ここで図３の度数分布について説明する。階級とは、正規化した画素値のＲＧＢ成分それぞれを区分けしたものである。正規化とは、例えば各画素値のＲＧＢ成分がそれぞれ８ｂｉｔで表現されていた場合、着目画素値のＲＧＢ成分をそれぞれ８ｂｉｔの最大値である２５５で割ることである。区分けとは、図３に示すようにＲ成分は階級Ｒ１から階級Ｒ８、Ｇ成分は階級Ｇ１から階級Ｇ８、Ｂ成分は階級Ｂ１から階級Ｂ８と、ＲＧＢ成分の取りうる値の範囲を複数の階級に分割することである。例えば着目画素値のＲ成分が０以上１／８未満であれば、着目画素値のＲ成分は階級Ｒ１とする。各階級には下限値と上限値がある。例えば階級Ｒ１では、下限値は０であり、上限値は１／８である。なお、階級Ｒ８はＲ成分が７／８以上１．０以下と階級の上限値を含み、階級Ｒ１から階級Ｒ７は階級の上限値を含まない。階級ＮｏはＲＧＢ成分それぞれの階級の組み合わせにラベル付けを行ったものである。例えば、階級Ｎｏ．０は階級Ｒ１、階級Ｇ１、階級Ｂ１の組み合わせである。また、着目画素の正規化後の画素値が（Ｒ，Ｇ，Ｂ）＝（０．９，０．９，１．０）であった場合、該着目画素値の階級Ｎｏ．は５１１である。度数とは、画像に含まれる画素のうち各階級Ｎｏ．に該当する画素の数を表したものである。
【００１５】
以上説明した度数分布を、入力された画像中の全画素を対象として作成する。図３は画像サイズ１９２０×１２００画素の画像に対する度数分布の例であり、度数の単位は１０００画素である。よって階級Ｎｏ．５１１に該当する画素の数は２５０×１０００、すなわち２５００００画素であることを意味する。なお、ＲＧＢ成分それぞれの値の分割数は図３では８階級としているが、それ以外の分割数でもよい。また、前述した説明では全画素から度数分布を作成しているが、これに限らず、一部の画素から度数分布を作成してもよい。例えば、水平及び／又は垂直方向に数画素おきに１画素を度数分布作成対象画素とし、これらの画素から度数分布を作成することで、処理負荷を軽減してもよい。また例えば、入力画像において背景である可能性が高い周辺部の画素のみを対象画素としてもよいし、背景でないと認識されている領域がある場合にはその領域を除いた部分を対象画素としてもよい。これにより、背景色特定の精度を向上することができる。
【００１６】
背景色取得部１０１は、入力された画像の画素値を変量とする度数分布において最も度数が大きい階級を背景色階級とし、その階級に対応する色が背景色であると特定する。また、背景色階級の度数が母数に占める割合が所定の割合未満の場合は、背景が存在しないと判定する。本実施形態ではこの割合を１０％とするが、これに限らず任意の割合を設定して良い。例えば、画像サイズが１９２０×１２００、度数分布作成対象画素が全画素で、階級Ｎｏ．５１１の度数が全階級の中で最大の２５０であった場合、背景色取得部１０１は画像に背景があると判定し、背景色階級をＮｏ．５１１とする。
【００１７】
上述のように、本実施形態における背景色取得部１０１は、入力された画像の画素値が取りうる値の範囲を複数の区間に分割し、入力された画像における背景色に対応する区間を特定する。こうすることで、背景に多少のグラデーションがかかっている場合でも、背景色に対応する画素値の範囲を特定することができる。ただしこれに限らず、背景色取得部１０１は背景色に対応する画素値を一意に特定してもよい。また、背景色取得部１０１が背景色を特定する方法は上述のものに限らない。例えば、背景色取得部１０１は、入力画像の周辺部に位置する画素が全て同じ値を有している場合にその画素値に対応する色を背景色として特定してもよいし、入力画像内の所定の位置の画素の色を背景色として特定してもよい。このように、背景色取得部１０１は、背景である可能性が高い画素の位置を考慮して背景色を特定することもできる。また例えば、予め画像処理装置１００に設定された背景色に関する情報に基づいて背景色を特定してもよい。
【００１８】
検出部１０２は、背景色取得部１０１が特定した背景色を用いて、入力された画像において背景の近傍である画素と背景の近傍でない画素とを識別する。具体的には、検出部１０２は、背景色取得部１０１と同様に画素値を正規化し、着目画素を中心とした水平垂直７×７画素の中に背景色階級に含まれる画素が存在する場合、着目画素は背景近傍であると識別する。逆に着目画素を中心とした水平垂直７×７画素の中に背景色階級に含まれる画素が存在しない場合、着目画素は背景近傍でないと識別する。
【００１９】
なお、背景色階級に含まれる画素の存否を判断する対象の所定範囲は、上記のような７×７画素の正方形に限らず他の大きさや形状でもよいし、着目画素がその範囲の中心に位置していなくてもよい。この所定範囲の大きさや形状は、固定的に設定されていてもよいし、例えば入力画像全体の画素数や、入力画像の水平方向の画素数、垂直方向の画素数、背景領域内の文字のフォントサイズ等に応じて定まるものとしてもよい。また、本実施形態では背景色階級に含まれる画素が上記の範囲内に少なくとも一つ存在すれば着目画素が背景近傍であると識別するが、これに限らない。例えば、背景色階級に含まれる画素が上記の範囲に所定数以上存在する場合に着目画素が背景近傍であると識別するようにしてもよい。このように、本実施形態における検出部１０２は、入力された画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に背景色取得部１０１が特定した背景色を有する画素が所定数以上含まれるか否かを判定する。所定範囲内の背景色を有する画素が所定数以上であった場合には当該処理対象画素は背景近傍であると識別され、所定数未満であった場合には当該処理対象画素は背景近傍でないと識別される。
【００２０】
前処理部１０３は、検出部１０２による背景近傍画素の識別結果を用いて、像域分離部１０４による像域分離のための前処理を行う。後述するように、本実施形態における像域分離部１０４は、エッジ強調のために画像内のエッジ部分に該当する画素を識別する。このため前処理部１０３は、エッジ強調されるべきでない部分、すなわち非背景領域内の画素が、エッジ部分に該当すると識別されにくくなるような処理を行う。具体的には、前処理部１０３は、検出部１０２において背景近傍でないと識別された画素の値を所定値に置換する処理を行う。特に本実施形態における前処理部１０３は、上記の所定値として背景色に対応する画素値を使用する。
【００２１】
なお本実施形態において、背景色取得部１０１は画素値を正規化し、かつ粗い階級に分類して度数分布を取得している。そのため前処理部１０３は、置換に使用する画素値を階級から算出する。具体的には、背景色階級の中間値を正規化前の値に戻した画素値を使用する。例えば、画素値のＲＧＢ成分がそれぞれ８ｂｉｔ、すなわち０から２５５で表現され、図３の階級Ｎｏ．５１１が背景色階級であった場合、背景色に対応する画素値のＲＧＢ成分は何れも、（７／８＋１／１６）＊２５５＝２３９である。もちろんこれ以外にも階級の下限値や上限値から背景色に対応する画素値を算出してもよいし、階級によって、下限値、上限値、及び中間値の何れかを選択してもよい。例えば図３の度数分布において階級Ｎｏ．０に対応する場合は下限値を選択し、階級Ｎｏ．５１１に対応する場合は上限値を選択し、それ以外は中間値を選択する、などとしてもよい。また、前処理部１０３による置換に使用される所定値は、背景色に対応する画素値に限らず他の値でもよい。例えば前処理部１０３は、着目画素を含む所定範囲内の画素の値の平均値や、その範囲内の画素の低周波成分の値を、置換に使用する所定値としてもよい。この所定範囲には、例えば着目画素を中心とした水平垂直７×７画素などを用いることができる。
【００２２】
像域分離部１０４は、前処理部１０３が処理を行った画素値を有する画像（置換画像）において、エッジ部分に該当する画素を識別する。置換画像では非背景領域内の画素値が所定値に置換されているため、像域分離部１０４により識別されるエッジ部分は背景領域内の文字のエッジ部分となる。像域分離部１０４の詳細な構成を、図２を用いて説明する。像域分離部１０４は、エッジ特徴量算出部２０１とエッジ判定部２０２から構成される。エッジ特徴量算出部２０１は、例えば下記式により、画像の各画素に対してエッジ特徴量ｆ（ｘ）を算出する。
【００２３】
【数１】
2017046243.tif 000003
ここで、ｄ（ｘｉ）（ｉ＝０．．８）は、置換画像の画素値（ｄ（ｘ４）が着目画素の画素値、その他はｄ（ｘ４）の近傍８画素の画素値）である。また、Ｖｉ（ｉ＝０．．８）は、縦方向のエッジ抽出用のフィルタ係数であり、Ｈｉ（ｉ＝０．．８）は、横方向のエッジ抽出用のフィルタ係数である。
【００２４】
本実施形態における像域分離部１０４は、前処理部１０３で生成された置換画像に対してＳｏｂｅｌフィルタを適用することで、置換画像におけるエッジ部分とエッジでない部分とを識別する。そのためＶｉ（ｉ＝０．．８）は、例えば下記式のような縦方向のＳｏｂｅｌフィルタである。
【００２５】
【数２】
2017046243.tif 000004
またＨｉ（ｉ＝０．．８）は、例えば下記式のような横方向のＳｏｂｅｌフィルタである。
【００２６】
【数３】
2017046243.tif 000005
なお、像域分離部１０４によるエッジ部分とエッジでない部分との識別方法はこれに限らず、他のフィルタ係数を用いてもよいし、上記のｆ（ｘ）とは異なる形式の特徴量を用いてもよい。
【００２７】
算出されたエッジ特徴量ｆ（ｘ）に基づいて、エッジ判定部２０２では、着目画素（ここでは、ｄ（ｘ４））がエッジ部分に該当するか否かを識別する。識別方法として、例えば下記式のような２値化がある。
【００２８】
【数４】
2017046243.tif 000006
ここで、δはエッジ判定に用いる閾値である。ｈ（ｘ）は識別結果であり、１であれば、着目画素がエッジ部分に該当すると識別されたことを意味し、０であれば、着目画素がエッジ部分に該当しないと識別されたことを意味する。
【００２９】
エッジ強調部１０５は、例えば下記式で表されるような処理によって、入力された画像に対してエッジ部分を強調する処理を行う。
【００３０】
【数５】
2017046243.tif 000007
ここで、ｄ（ｘｉ）（ｉ＝０．．８）は、入力画像の画素値（ｄ（ｘ４）が着目画素の画素値、その他はｄ（ｘ４）の近傍８画素の画素値）である。また、Ｄｉ（ｉ＝０．．８）は、エッジ強調用のフィルタ係数（例えば、Ｄ４が９で、その他が−１のフィルタ）であり、ｇ（ｘ）はエッジ強調画像の画素値である。また、εはエッジ強度である。
【００３１】
画像選択部１０６は、入力された画像のエッジ部分がエッジ強調部１０５によって強調された画像と、入力された画像とを、像域分離部１０４による識別結果に応じて切り替え出力する。具体的には、像域分離部１０４がエッジ部分であると識別した画素に対応する、エッジ強調された画像の画素値と、像域分離部１０４がエッジ部分でないと識別した画素に対応する、入力画像の画素値と、によって構成される画像を出力する。この画像選択部１０６により出力される各画素の選択方法は、下記の式で表される。
【００３２】
【数６】
2017046243.tif 000008
ここで、ｄ（ｘ）は入力画像の画素値であり、ｇ（ｘ）はエッジ強調部１０５によりエッジ強調された画像の画素値であり、ｈ（ｘ）は像域分離部１０４による識別結果である。また、ｚ（ｘ）は画像選択部１０６により出力される処理画像の画素値である。ｚ（ｘ）で表される処理画像は、例えばプロジェクターに出力されて投射されたり、ディスプレイに出力されて表示されたり、プリンターに出力されて印刷されたりする。
【００３３】
以上のように、画像選択部１０６は、入力された画像において所定領域内の文字に対する画像処理がなされた処理画像を出力することができる。本実施形態において上記の処理画像は、像域分離部１０４による識別結果に基づいて所定領域内の文字のエッジ部分が強調された画像であり、所定領域は検出部１０２による判定結果に基づいて定まる領域である。より詳細に述べると、所定領域は、所定範囲内に背景色を有する画素が所定数以上含まれると検出部１０２が判定した背景近傍の画素により構成される領域である。その結果、本実施形態における画像処理装置１００は、背景領域内の文字のエッジ部分が強調された処理画像を出力することができる。
【００３４】
なお、画像選択部１０６による出力画素の選択方法はこれに限らない。例えば、画像選択部１０６は、エッジ部分であると識別された部分に対応する画素の中でも特定の画素だけをエッジ強調された画像の画素とし、その他の画素を入力画像の画素とした処理画像を出力してもよい。
【００３５】
次に、本実施形態に係る画像処理装置１００の動作を、図４、図５及び図６のフローチャートを用いて説明する。図４は、背景色の特定に関する処理フローであり、背景色取得部１０１の動作を表している。図４の処理は、画像処理装置１００に画像が入力されたタイミングで開始され、画像１フレームに対して１度行われる。ただし、図４の処理の開始タイミングは上記タイミングに限定されない。また、図４の処理は、毎フレームに対して行われずに数フレームに１回実行されてもよい。
【００３６】
Ｓ４０１では、背景色取得部１０１が、入力画像の画素値を変量とする度数分布を作成する。Ｓ４０２では、背景色取得部１０１が度数分布に基づいて、入力された画像における背景色（背景色階級）を特定する。Ｓ４０３では、背景色取得部１０１が背景色階級とその度数に基づいて、入力画像に背景があるかないかを判定する。
【００３７】
一方図５は、像域分離とその前処理に関する処理フローであり、検出部１０２、前処理部１０３及び像域分離部１０４の動作を表している。図５の処理は、図４の処理が終了したタイミングで開始され、画像内の各画素に対して行われる。本実施形態における画像処理装置１００は、あるフレームの画像において図４の処理を行い、次のフレームの画像において図５の処理を行う。ただし、図５の処理の開始タイミングは上記タイミングに限定されない。
【００３８】
Ｓ５０１では、検出部１０２が、入力画像に背景があるかないかを判定した背景色取得部１０１による判定結果を参照する。背景があるとの判定結果であればＳ５０２へ遷移し、背景がないとの判定結果であればＳ５０４へ遷移する。Ｓ５０２では、検出部１０２が、着目画素から所定範囲内に背景色取得部１０１が特定した背景色を有する画素が所定数以上含まれるか否かを判定する。そしてこの判定結果から、着目画素が背景の近傍であるか背景の近傍でないかを識別する。背景近傍でないと識別した場合はＳ５０３へ遷移し、背景近傍であると識別した場合はＳ５０４へ遷移する。Ｓ５０３では、前処理部１０３が、入力画像において背景の近傍でないと識別された着目画素の値を、所定値（例えば背景色に対応する画素値等）に置換する処理を行う。Ｓ５０４では、像域分離部１０４が、前処理部１０３が置換処理を行った画素値を有する画像（置換画像）又は背景が存在しない入力画像において、着目画素がエッジ部分に該当するか否かを識別する。
【００３９】
図６は、エッジ強調と画像出力に関する処理フローであり、エッジ強調部１０５及び画像選択部１０６の動作を表している。図６の処理は、図５の処理が終了したタイミングで開始され、画像内の各画素に対して行われる。ただし、図６の処理の開始タイミングは上記タイミングに限定されない。
【００４０】
Ｓ６０１では、エッジ強調部１０５が、入力された画像に対してエッジ部分を強調する処理を行う。Ｓ６０２では、画像選択部１０６が、着目画素がエッジ部分かどうかを識別した像域分離部１０４による識別結果を参照する。着目画素がエッジ部分であればＳ６０３へ遷移し、エッジ部分でなければＳ６０４へ遷移する。Ｓ６０３では、画像選択部１０６が、エッジ強調部１０５が処理を行った画像において着目画素に対応する画素を選択して出力する。Ｓ６０４では、画像選択部１０６が、入力された画像において着目画素に対応する画素を選択して出力する。
【００４１】
なお、画像選択部１０６による画像の出力方法はこれに限らず、画像選択部１０６は、入力された画像において検出部１０２による判定結果に基づいて定まる所定領域内の文字に対する画像処理がなされた、処理画像を出力すればよい。
【００４２】
以上説明したように、本実施形態における画像処理装置１００は、入力画像における背景色を特定し、入力画像内の複数の処理対象画素のそれぞれにおいて、当該処理対象画素から所定範囲内に背景色を有する画素が所定数以上含まれるか否かを判定する。そして画像処理装置１００は、入力画像において判定結果に基づいて定まる所定領域内の文字に対する画像処理がなされた、処理画像を出力する。これにより画像処理装置１００は、写真やイラスト等に当たる非背景領域内の文字と背景領域内の文字とを区別した画像処理を行うことができる。その結果、例えば背景領域内の文字にはエッジ強調を行って可読性を向上し、非背景領域内の文字にはエッジ強調を行わずに自然さを維持するというように、領域によって異なる処理が行われた画像を出力できるようになる。なお、本実施形態と同様の構成により、画像処理装置１００は、非背景領域内の線画と背景領域内の線画とを区別した画像処理を行うこともできる。
【００４３】
なお本実施形態では、画像処理装置１００が、背景色取得部１０１、検出部１０２、前処理部１０３、像域分離部１０４、エッジ強調部１０５、及び画像選択部１０６を備える場合を中心に説明したが、これに限らない。例えば、画像処理装置１００が背景色取得部１０１、検出部１０２、前処理部１０３、及び像域分離部１０４を備え、像域分離部１０４が出力したデータに基づいて、他の装置がエッジ強調などの処理を行ってもよい。同様に、像域分離部１０４や前処理部１０３の機能を、画像処理装置１００の外部の装置が備えていてもよい。
【００４４】
また本実施形態では、画像処理装置１００が画像に背景が存在しないと判定した場合、画素の色を置換する前処理を行うことなくエッジ部分を識別して強調する処理を行う場合を中心に説明した。ただしこれに限らず、例えば画像処理装置１００は、背景が存在しないと判定した場合には、エッジ強調などの画像処理を行わなくてもよいし、背景が存在すると判定した場合よりも画像処理の程度を低くしてもよい。
【００４５】
また本実施形態では、エッジ強調部１０５が入力画像全体におけるエッジ部分を強調する処理を行い、画像選択部１０６が入力画像内の画素とエッジ強調された画像内の画素とを像域分離部１０４の識別結果に応じて出力する場合を中心に説明した。ただし、画像処理装置１００が像域分離部１０４の識別結果に応じた画像を出力する方法はこれに限らず、例えば画像処理装置１００は以下のような構成であってもよい。エッジ強調部１０５は、像域分離部１０４による識別結果を受け取り、入力された画像内の識別結果に応じた領域に対するエッジ強調処理を行う。すなわちエッジ強調部１０５は、置換画像においてエッジ部分であると識別された画素に対応する入力画像のエッジ部分に対する強調処理を行い、置換画像においてエッジ部分でないと識別された画素に対応する入力画像のエッジ部分に対する強調処理は行わない。そして画像処理装置１００は、画像選択部１０６による出力画素の選択を行わず、エッジ強調部１０５がエッジ強調処理を行った入力画像を直接出力する。この構成によっても、画像処理装置１００は、写真やイラスト等の非背景領域内の文字と背景領域内の文字とを区別した画像処理がなされた処理画像を出力することができる。
【００４６】
また本実施形態では、画像処理装置１００が、入力された画像において背景領域内の文字に対するエッジ強調処理がなされた、処理画像を出力する場合を中心に説明した。ただし、画像処理装置１００が行う画像処理の内容はエッジ強調処理に限らず、処理の対象となる所定領域は背景近傍であると判定された画素により構成される領域に限らない。例えば、図８のコンテンツ８０１をプロジェクターで投射する場合に、写真画像８０３に対してノイズ除去を行うことを考える。このとき、コンテンツ８０１全体に対してノイズ除去処理を行うと、背景領域内の文字８０２の鮮鋭度が低下してしまう場合がある。この問題を解決するために、画像処理装置１００は、検出部１０２による判定結果に基づいて、非背景領域に対するノイズ除去処理がなされた処理画像を出力してもよい。これにより画像処理装置１００は、文字を含む写真画像８０３にはノイズ除去を行って画質を向上し、背景領域内の文字にはノイズ除去を行わずに鮮鋭度を維持することができる。
【００４７】
なお、本実施形態における画像処理装置１００は、入力された画像において所定領域外の文字に対しては画像処理がなされていない処理画像を出力するものとした。ただしこれに限らず、画像処理装置１００は例えば、入力された画像において所定領域内の文字と所定領域外の文字とで程度の異なるエッジ強調がなされた処理画像を出力してもよい。同様に、所定領域内の文字と所定領域外の文字とで程度の異なるノイズ除去がなされた処理画像を出力してもよい。
【００４８】
また本実施形態では、画像処理装置１００が入力された画像の画素値に関する度数分布に基づいて、入力された画像における背景色を特定する場合を中心に説明した。ただしこれに限らず、画像処理装置１００は外部から取得した背景色に関する情報に基づいて、入力された画像における背景色を特定してもよい。以下、この場合の画像処理装置１００の構成と動作について詳細に説明する。なお以下の説明では、画像処理装置１００が処理画像を投射によって出力する映像投射装置として構成されているものとする。この構成により、映像投射装置による投射においてぼやけがちな文字をより鮮明に投射することができる。
【００４９】
映像投射装置として構成される画像処理装置７００の構成例について、図７のブロック図を用いて説明する。画像処理装置７００は、既に説明したものと同等の検出部１０２、前処理部１０３、像域分離部１０４、エッジ強調部１０５、及び画像選択部１０６を備える。さらに画像処理装置７００は、画像を入力する映像入力部７０１、投射によって画像を出力する映像出力部７０２、及び背景色に関する情報を取得する背景情報取得部７０３（以降、情報取得部７０３）を備える。図７の各処理部は１つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。また、画像処理装置７００がＣＰＵの一部となってプログラムを実行することにより、各処理部の処理をソフトウェアにより実行してもよい。なお、画像処理装置７００が上記の処理部全てを備えることは必須でない。
【００５０】
映像入力部７０１は、例えば外部の装置から受信した画像や、画像処理装置７００内の記憶領域（不図示）に記憶された画像などを、検出部１０２、エッジ強調部１０５、及び画像選択部１０６に対して入力画像として送信する。映像出力部７０２は、画像選択部１０６から受け取った、背景領域内の文字のエッジ部分が強調された処理画像を、スクリーンなどへの投射によって出力する。
【００５１】
情報取得部７０３は、背景色取得部１０１と同様に、入力画像の背景色階級の特定や入力画像に背景があるかないかの判定を行うが、その方法は異なる。本実施形態における情報取得部７０３は、画像処理装置７００の外部から取得した背景色に関する情報に基づいて、入力された画像における背景色を特定する。なお、画像処理装置７００は情報取得部７０３と背景色取得部１０１の両方を備えていてもよい。
【００５２】
背景色を外部から取得した情報に基づいて特定する例として、例えばＰＣなどの情報処理装置で作製したプレゼン資料を、プロジェクターなどの画像処理装置７００を用いて投射する場合を考える。この場合、プレゼン資料の背景色に関する情報は情報処理装置が有しており、情報処理装置がこの情報を入力画像と共に画像処理装置７００に入力することで、情報取得部７０３は背景色を特定することができる。具体的には、外部の情報処理装置から情報取得部７０３に背景色情報が入力され、情報取得部７０３はこの背景色情報を検出部１０２で使われる図３のような背景色階級に変換する。例えば、外部の情報処理装置から背景色情報としてＲＧＢ成分がそれぞれ８ｂｉｔの階調で（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となる値が入力された場合、情報取得部７０３は背景があると判定し、背景色階級がＮｏ．５１１であると特定する。また、情報処理装置から入力画像に背景がないことを示す情報が入力された場合や、背景色に関する情報が入力されなかった場合には、情報取得部７０３は入力画像に背景がないと判定する。
【００５３】
なお、画像処理装置７００が背景色を外部から取得した情報に基づいて特定する方法はこれに限らない。例えば、画像処理装置７００が出力する画像における特定の位置をユーザーが指定すると、画像処理装置７００はその位置の画素値に対応する色が背景色であると特定し、特定された背景色に基づく処理を行った処理画像を新たに出力してもよい。以上のように、画像処理装置７００が背景色に関する情報を外部から取得できる場合、この外部から取得した情報を用いることで、入力画像における背景色を正確に特定することができる。
【００５４】
また本実施形態では、画像処理装置７００が、入力画像内の画素が背景近傍であるか否かを判定した判定結果に基づいて、エッジ強調処理の対象とする所定領域を決定する場合を中心に説明した。しかしこれに限らず、入力画像内のエッジ強調処理の対象とする領域又は対象としない領域を、ユーザーが指定するようにしてもよい。
【００５５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００５６】
１００  画像処理装置
１０１  背景色取得部
１０２  背景近傍画素検出部
１０６  画像選択部
【図１】
2017046243.tif 000009
【図２】
2017046243.tif 000010
【図３】
2017046243.tif 000011
【図４】
2017046243.tif 000012
【図５】
2017046243.tif 000013
【図６】
2017046243.tif 000014
【図７】
2017046243.tif 000015
【図８】
2017046243.tif 000016