(57)【要約】【課題】波長の差を利用して、注目する領域を強調する画像処理装置を提供することを目的の１つとする。【解決手段】画像を複数のブロックに分割し、画像を示す入力データを色情報を含むデータに変換し、色情報を含むデータを前記ブロックごとに割りあて、ブロックのデータおよびブロックごとのに割り当てられた画像データを出力する領域分割回路と、ブロックのデータを第１画像領域と第２画像領域に分割し、分割された領域データを出力する注目領域判定回路と、画像データと領域データを比較し、画像データが第１画像領域に含まれる場合、画像データと強調係数とから第１色変換データを算出し、画像データが第２画像領域に含まれる場合、画像データと強調係数と輝度係数とから第２色変換データを算出する領域別色変換ＲＧＢ値計算回路と、画像データは第１の値と第２の値と第３の値を含む。【選択図】図１
2018085008.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数のブロックに分割し、前記画像を示す入力データを、色情報を含むデータに変換し、前記色情報を含むデータを、前記ブロックごとに割りあて、前記ブロックのデータおよび前記ブロックごとに割り当てられた画像データを出力する領域分割回路と、
前記ブロックのデータを、第１画像領域と、第２画像領域に分割し、分割された領域データを出力する注目領域判定回路と、
前記画像データと前記領域データを比較し、前記画像データが、前記第１画像領域に含まれる場合、前記画像データと、強調係数とから、第１色変換データを算出し、前記画像データが、前記第２画像領域に含まれる場合、前記画像データと、前記強調係数と、輝度係数とから、第２色変換データを算出する、領域別色変換ＲＧＢ値計算回路と、を含み、
前記画像データは、第１の値と、第２の値と、第３の値を含む、
ことを特徴とする画像処理装置。 
【請求項２】
前記第１色変換データは前記第２色変換データと比較して、長波長側の色情報を有することを特徴とする請求項１に記載の画像処理装置。 
【請求項３】
前記領域別色変換ＲＧＢ値計算回路は、前記画像データが、前記第１画像領域と前記第２画像領域のいずれに含まれるのかを判別する判別回路を有することを特徴とする請求項１に記載の画像処理装置。 
【請求項４】
前記領域別色変換ＲＧＢ値計算回路は、前記第１の値と、前記第２の値と、前記第３の値のうち、相対的に大きな値を抽出する相対値抽出回路を有することを特徴とする請求項１に記載の画像処理装置。 
【請求項５】
前記領域別色変換ＲＧＢ値計算回路は、第１データ変換回路をさらに含み、
前記第１データ変換回路は、
前記相対的に大きな値が、前記第１の値の場合、前記第１の値に前記強度係数をかけ合わせた値と、前記第２の値と前記第３の値とを前記第１色変換データとし、
前記相対的に大きなが、前記第２の値の場合、前記第２の値と前記第１の値を入れ替え、前記第２の値と、前記第１の値と、前記第３の値とを前記第１色変換データとし、
前記相対的に大きな値が、前記第３の値の場合、前記第３の値と前記第１の値を入れ替え、前記第３の値と、前記第２の値と、前記第１の値とを前記第１色変換データとする、
ことを特徴とする請求項３に記載の画像処理装置。 
【請求項６】
前記領域別色変換ＲＧＢ値計算回路は、第２データ変換回路をさらに含み、
前記第２データ変換回路は、
前記相対的に大きな値が、前記第１の値の場合、前記第１の値と前記第３の値を入れ替え、前記第３の値と、前記第２の値と、前記第１の値のそれぞれに前記輝度係数をかけ合わせた値を前記第２色変換データとし、
前記相対的に大きな値が、前記第２の値の場合、前記第２の値と前記第３の値を入れ替え、前記第１の値と、前記第３の値と、前記第２の値のそれぞれに前記輝度係数をかけ合わせた値を前記第２色変換データとし、
前記相対的に大きな値が、前記第３の値の場合、前記第３の値に前記強度係数をかけ合わせた値と、前記第１の値と、前記第２の値のそれぞれに前記輝度係数をかけ合わせた値とを前記第２色変換データとする、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第１データ変換回路は、前記第１の値と、前記第２の値と、前記第３の値の少なくとも一つの値を、長波長側に強調することを特徴とする請求項５に記載の画像処理装置。 
【請求項８】
前記第２データ変換回路は、前記第１の値と、前記第２の値と、前記第３の値の少なくとも一つの値を、短波長側に強調することを特徴とする請求項６に記載の画像処理装置。 
【請求項９】
画像を示す入力データを入力し、
画像を複数のブロックに分割し、
前記画像を示す入力データを、色情報を含むデータに変換し、
前記色情報を含むデータを、前記ブロックごとに割りあて、
前記ブロックごとの第１の値と、第２の値と、第３の値とを含む画像データを出力し、
前記ブロックを、第１画像領域と、第２画像領域に分割し、
前記画像データと前記領域データを比較し、
前記画像データが、前記第１画像領域と前記第２画像領域のいずれに含まれるのかを判別し、
前記画像データが、前記第１画像領域に含まれる場合、前記画像データと、強調係数とから第１色変換データを算出し、
前記画像データが、前記第２画像領域に含まれる場合、前記画像データと、前記強調係数と、輝度係数とから、第２色変換データを算出することを特徴とする画像処理の方法。 
【請求項１０】
画像を示す入力データを入力し、
画像を複数のブロックに分割し、
前記画像を示す入力データを、色情報を含むデータに変換し、
前記色情報を含むデータを、前記ブロックごとに割りあて、
前記ブロックごとの第１の値と、第２の値と、第３の値とを含む画像データを出力し、
前記ブロックを、第１画像領域と、第２画像領域に分割し、
前記画像データと前記領域データを比較し、
前記画像データが、前記第１画像領域と前記第２画像領域のいずれに含まれるのかを判別し、
前記画像データが、前記第１画像領域に含まれる場合、前記第１の値と、前記第２の値と、前記第３の値のうちの第１の相対的に大きな値を抽出し、
前記第１の値と、前記第２の値と、前記第３の値と、強調係数とから、第１色変換データを算出し、
前記画像データが、前記第２画像領域に含まれる場合、前記第１の値と、前記第２の値と、前記第３の値のうちの第２の相対的に大きな値を抽出し、
前記第１の値と、前記第２の値と、前記第３の値と、前記強調係数と、輝度係数とから、第２色変換データを算出することを特徴とする画像処理の方法。
【請求項１１】
画像を示す入力データを入力し、
画像を複数のブロックに分割し、
前記画像を示す入力データを、色情報を含むデータに変換し、
前記色情報を含むデータを、前記ブロックごとに割りあて、
前記ブロックごとの第１の値と、第２の値と、第３の値とを含む画像データを出力し、
前記ブロックを、第１画像領域と、第２画像領域に分割し、
前記画像データと前記領域データを比較し、
前記画像データが、前記第１画像領域と前記第２画像領域のいずれに含まれるのかを判別し、
前記画像データが、前記第１画像領域に含まれる場合、前記第１の値と、前記第２の値と、前記第３の値のうちの第１の相対的に大きな値を抽出し、
前記第１の相対的に大きな値が、前記第１の値の場合、前記第１の値に前記強度係数をかけ合わせた値と、前記第２の値と前記第３の値とを前記第１色変換データとし、
前記第１の相対的に大きな値が、前記第２の値の場合、前記第２の値と前記第１の値を入れ替え、前記第２の値と、前記第１の値と、前記第３の値とを前記第１色変換データとし、
前記第１の相対的に大きな値が、前記第３の値の場合、前記第３の値と前記第１の値を入れ替え、前記第３の値と、前記第２の値と、前記第１の値とを前記第１色変換データとし、
前記画像データが、前記第２画像領域に含まれる場合、前記第１の値と、前記第２の値と、前記第３の値のうちの第２の相対的に大きな値を抽出し、
前記第２の相対的に大きな値が、前記第１の値の場合、前記第１の値と前記第３の値を入れ替え、前記第３の値と、前記第２の値と、前記第１の値のそれぞれに前記輝度係数をかけ合わせた値を前記第２色変換データとし、
前記第２の相対的に大きな値が、前記第２の値の場合、前記第２の値と前記第３の値を入れ替え、前記第１の値と、前記第３の値と、前記第２の値のそれぞれに前記輝度係数をかけ合わせた値を前記第２色変換データとし、
前記第２の相対的に大きな最大値が、前記第３の値の場合、前記第３の値に前記強度係数をかけ合わせた値と、前記第１の値と、前記第２の値のそれぞれに前記輝度係数をかけ合わせた値とを前記第２色変換データと
することを特徴とする画像処理の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理装置の画像処理方法に関する。
【背景技術】
【０００２】
画面に表示された画像に対し、注目を集めたい部分がある場合、注目部分を赤枠で囲む、あるいは、注目部分を点滅させるなどして、注目部分に強制的に注意を向けさせることがある。例えば、車の運転において、障害物や危険物がある場合、車載の前方あるいは後方監視装置やデジタルミラーなどを利用して取得された画像を処理することで、その障害物や危険物を強調した画像を、車載の表示部に表示し、運転者に認識させることができる。
【０００３】
例えば、特許文献１には、車両の周辺に配置されたカメラによって撮影された画像から、複数の俯瞰画像を生成し、さらに、接合して合成し、車両上部からの立体オブジェクトを認識し易くした視点画像を生成して表示する技術が開示されている。具体的には、画像処理部が、二つの俯瞰画像の各々を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する構成としている。こうすることで、運転者に衝突可能性のある立体オブジェクトの存在を認識させることが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１９２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような強調処理は注目部分に注意を向けさせることに対しては有効であるが、一方で、注目部分以外の背景などへの注意が疎かになり、かえって危険になる可能性がある。
【０００６】
このような課題に鑑み、本発明の一実施形態は、波長の差を利用して、観察者の目に違和感の少ない処理で、注目する領域を強調する画像処理装置を提供することを目的の１つとする。また、本発明の一実施形態は、波長の差を利用して、観察者の目に違和感の少ない処理で、注目する領域を強調する画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る画像処理装置は、画像を複数のブロックに分割し、画像を示す入力データを色情報を含むデータに変換し、色情報を含むデータを前記ブロックごとに割りあて、ブロックのデータおよびブロックごとのに割り当てられた画像データを出力する領域分割回路と、ブロックのデータを第１画像領域と第２画像領域に分割し、分割された領域データを出力する注目領域判定回路と、画像データと領域データを比較し、画像データが第１画像領域に含まれる場合、画像データと強調係数とから第１色変換データを算出し、画像データが第２画像領域に含まれる場合、画像データと強調係数と輝度係数とから第２色変換データを算出する領域別色変換ＲＧＢ値計算回路と、画像データは第１の値と第２の値と第３の値を含む。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す模式図。
【図２】本発明の一実施形態に係る画像処理装置が有する領域別色変換ＲＧＢ値計算回路の構成を示す模式図。
【図３】本発明の一実施形態に係る画像処理装置の画像処理方法を説明するフローチャートを示す図。
【図４】本発明の一実施形態に係る画像処理装置が判定回路および最大値抽出回路を含む場合の処理方法を説明するフローチャートを示す図。
【図５】本発明の一実施形態に係る画像処理装置が第１データ変換回路および第２データ変換回路を含む場合の処理方法を説明するフローチャートを示す図。
【図６】本発明の一実施形態に係る領域別色変換ＲＧＢ値計算回路の処理方法を説明するフローチャートを示す図。
【図７】本発明の一実施形態に係る注目領域の色データ変換を説明するｘｙ色度図。
【図８】本発明の一実施形態に係る背景領域の色データ変換を説明するｘｙ色度図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。また、図面は説明をより明確にするため、実際の態様に比べ、各部の構成等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。さらに、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号（または数字の後にａ、ｂなどを付した符号）を付して、詳細な説明を適宜省略することがある。なお、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。
【００１０】
本発明の一実施形態に係る画像処理装置について説明する。
【００１１】
一般的に、波長７００．０ｎｍ付近の赤色は進出色、膨張色とされ、波長４３５．８ｎｍ付近の青色は後退色、収縮色とされている。すなわち、人間が赤色を見る場合、実際よりも近くに見える、または大きく見え、青色を見る場合、実際よりも遠くに見える、または小さく見える。本発明の一実施形態に係る画像処理装置は、この特徴を利用する。すなわち、人間の色に対する知覚認識能力の特性を利用することで、観察者の目に違和感の少ない処理で、注目する領域を強調する画像処理装置および画像処理装置の画像処理方法を提供することができる。具体的には、注目したい対象などを含む注目領域は近くに見えるように赤みがかった色、すなわち、長波長側の色に変換し、注目領域以外は遠くに見えるように緑がかった色または青みがかった色、すなわち、短波長側の色に変換する。なお、長波長側の色あるいは短波長側の色に変換する際の基準は、波長５７０．０ｎｍ付近の黄色としてもよいし、画像が赤みがかっている場合は、赤色の波長の中で基準を決めてもよいし、画像が青みがかっている場合は、青色の波長の中で基準を決めてもよい。すなわち、注目したい領域をそれ以外の領域と比べて、長波長側の色に変換することで、注目したい領域を強調することができる。
【００１２】
（第１実施形態）
本実施形態では、本発明の一実施形態に係る画像処理装置の構成を説明する。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置１０の構成を示す模式図である。
【００１４】
画像処理装置１０は、領域分割回路１０３、注目領域判定回路１０４、領域別色変換ＲＧＢ値計算回路１０５から構成される。領域分割回路１０３は注目領域判定回路１０４および領域別色変換ＲＧＢ値計算回路１０５と電気的に接続され、注目領域判定回路１０４は領域別色変換ＲＧＢ値計算回路１０５と電気的に接続されている。
【００１５】
領域分割回路１０３は、画像を示す入力データ１００が入力され、領域分割データ１０６、および領域別ＲＧＢデータ１０８を出力する。領域分割回路１０３は、画像を複数のブロックに分割し、複数に分割されたブロックのデータである領域分割データ１０６を出力する。また、領域分割回路１０３は、画像を示す入力データ１００を、色の情報を含む画像データに変換する。そして、色の情報を含む画像データを複数に分割されたブロックごとに割り当て、複数に分割されたブロックごとに割り当てられたデータである領域別ＲＧＢデータ１０８を出力する。領域分割回路１０３は、画像を複数のブロックに分割することで、後に続く処理をやりやすくすることが期待できる。また、画像を示す入力データを色情報を含む画像データに変換することで、表示装置に表示可能な画像データを含むことができる。なお、色の情報を含むデータは、赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータを含んでいてもよい。以下においては、画像データを（Ｒ，Ｇ，Ｂ）とすることがある。
【００１６】
注目領域判定回路１０４は、領域分割データ１０６が入力され、注目領域判定データ１０７が出力される。注目領域判定回路１０４は、領域分割データ１０６を、注目したい対象などを含む注目領域と、注目領域以外の背景領域とに分別する。注目領域判定データ１０７は注目領域と背景領域を含む。注目領域判定回路１０４は、領域分割データ１０６を、注目したい対象などを含む注目領域と、注目領域以外の背景領域とに分別することで、後に続く処理をやりやすくすることが期待できる。
【００１７】
領域別色変換ＲＧＢ値計算回路１０５は、領域別ＲＧＢデータ１０８、注目領域判定データ１０７、強調係数１０１および輝度係数１０２が入力され、ＲＧＢ画像を示す出力データ１０９が出力される。領域別色変換ＲＧＢ値計算回路１０５は、領域別ＲＧＢデータ１０８と注目領域判定データ１０７を比較し、領域別ＲＧＢデータ１０８が注目領域に含まれる場合、領域別ＲＧＢデータ１０８と、強調係数１０１とから、第１色変換データを算出する。領域別ＲＧＢデータ１０８が背景領域に含まれる場合、領域別ＲＧＢデータ１０８と、強調係数１０１と、輝度係数１０２とから、第２色変換データを算出する。ＲＧＢ画像を示す出力データ１０９は、第１色変換データと第２色変換データを含む。なお、強調係数１０１はｋ、輝度係数１０２はｄとする。領域別色変換ＲＧＢ値計算回路１０５は、画像データを注目領域と背景領域に分別し、注目領域と背景領域をそれぞれ強調することが期待できる。
【００１８】
図２は、本発明の一実施形態に係る画像処理装置１０が有する領域別色変換ＲＧＢ値計算回路１０５の構成を示す模式図である。
【００１９】
領域別色変換ＲＧＢ値計算回路１０５は、判別回路２０１、二つの相対値抽出回路２０２、第１データ変換回路２０３、第２データ変換回路２０４および変換データ出力回路２０５から構成される。判別回路２０１は相対値抽出回路２０２と電気的に接続されている。一方の相対値抽出回路２０２は第１データ変換回路２０３と電気的に接続され、もう一方の相対値抽出回路２０２は第２データ変換回路２０４と電気的に接続されている。変換データ出力回路２０５は第１データ変換回路２０３および第２データ変換回路２０４と電気的に接続されている。なお、変換データ出力回路２０５は領域別色変換ＲＧＢ値計算回路１０５に含まれていてもよいし、領域別色変換ＲＧＢ値計算回路１０５の外にあって、領域別色変換ＲＧＢ値計算回路１０５が出力する信号が入力される構成となっていてもよい。
【００２０】
判別回路２０１は、領域別ＲＧＢデータ１０８と注目領域判定データ１０７を紐付けする。すなわち、領域別ＲＧＢデータ１０８が注目領域と背景領域のどちらに含まれるのかを判別し、領域別ＲＧＢデータ１０８と各領域を紐付けする。領域別ＲＧＢデータ１０８と各領域を紐付けすることで、後に続く注目領域と背景領域のそれぞれの強調処理をやりやすくすることが期待できる。
【００２１】
相対値抽出回路２０２は、領域別ＲＧＢデータ１０８が注目領域または背景領域に紐付けされたデータが入力される。相対値抽出回路２０２は、領域別ＲＧＢデータ１０８が有する色の情報を含むデータである、赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータの中で、最大値を抽出することができる。すなわち、相対値抽出回路２０２は、Ｒ、Ｇ、Ｂの中で最も強調する色を決めることができ、後に続く注目領域と背景領域のそれぞれの強調処理をやりやすくすることが期待できる。
【００２２】
第１データ変換回路２０３は、一方の相対値抽出回路２０２が抽出した最大値、強調係数であるｋが入力される。最大値がＲのデータの場合、Ｒのデータはｋをかけ合わせて、ｋＲとする。ＧのデータおよびＢのデータは処理をしない。そして、画像データ（ｋＲ、Ｇ、Ｂ）を出力する。最大値がＧのデータの場合、ＲのデータとＧのデータを入れ替える。Ｂのデータは処理をしない。そして、画像データ（Ｇ、Ｒ、Ｂ）を出力する。最大値がＢのデータの場合、ＲのデータとＢのデータを入れ替える。Ｇのデータは処理をしない。そして、画像データ（Ｂ，Ｇ、Ｒ）を出力する。第１データ変換回路２０３は、赤色をより強調することができる。すなわち、注目したい領域を長波長側の色にすることで、より強調されることが期待できる。なお、データを入れ替えるとは、図７に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｒの座標が（ｘ１，ｙ１）、Ｇの座標が（ｘ２，ｙ２）の場合、ＲのデータとＧのデータを入れ替えるとは、図７に示すＧ＝Ｒ（ＧとＲのｘｙ座標が同じ直線）に対して、Ｒ（ｘ２，ｙ２）、Ｇ（ｘ１，ｙ１）のようにすることである。
【００２３】
第２データ変換回路２０４は、もう一方の相対値抽出回路２０２が抽出した最大値、強調係数であるｋ、および輝度係数であるｄが入力される。最大値がＲのデータの場合、ＲのデータとＢのデータを入れ替える。その後、Ｂのデータ、Ｇのデータ、Ｒのデータのそれぞれにｄをかけ合わせて、ｄＢ、ｄＧ、ｄＲとする。そして、画像データ（ｄＢ、ｄＧ、ｄＲ）を出力する。最大値がＧのデータの場合、ＧのデータとＢのデータを入れ替える。その後、Ｒのデータ、Ｂのデータ、Ｇのデータのそれぞれにｄをかけ合わせて、ｄＲ、ｄＢ、ｄＧとする。そして、画像データ（ｄＲ、ｄＢ、ｄＧ）を出力する。最大値がＢのデータの場合、Ｂのデータはｋを掛け合わせて、ｋＢとする。ＲのデータおよびＧのデータはそれぞれｄを掛け合わせて、ｄＲ、ｄＧとする。そして、画像データ（ｄＲ，ｄＧ、ｋＢ）を出力する。第２データ変換回路２０４は、青色をより強調することができる。すなわち、注目したい領域以外の領域を短波長側の色にすることで、より強調されることが期待できる。なお、データを入れ替えるとは、図９に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｇの座標が（ｘ１，ｙ１）、Ｂの座標が（ｘ２，ｙ２）の場合、ＧのデータとＢのデータを入れ替えるとは、図８に示すＧ＝Ｂ（ＧとＢのｘｙ座標が同じ直線）に対して、Ｇ（ｘ２，ｙ２）、Ｂ（ｘ１，ｙ１）のようにすることである。
【００２４】
変換データ出力回路２０５は、第１データ変換回路２０３および第２データ変換回路２０４が出力した画像データが入力され、変換データ１１０が出力する。変換データ出力回路は、入力された画像データをまとめて、出力する。ここでは、変換データ出力回路２０５は、領域別色変換ＲＧＢ値計算回路１０５に含まれている例を示したが、領域別色変換ＲＧＢ値計算回路１０５の外にあって、領域別色変換ＲＧＢ値計算回路１０５が出力する信号が入力される構成となっていてもよい。変換データ出力回路２０５は、注目したい領域を強調したデータとそれ以外の領域の領域に分別されたデータをまとめて、画像データとし、ディスプレイなどの外部装置に送ることができる。
【００２５】
なお、領域別色変換ＲＧＢ値計算回路１０５は、記憶装置を有していてもよい。記憶装置は、画像データを一時的に記憶しておくことができる。記憶装置は、例えば、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）であってもよいし、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）であってもよいし、フラッシュメモリであてもよい。データを記憶することができる回路であればよい。具体的な動作は、例えば、変換データ出力回路２０５が画像データをまとめる際に、第１データ変換回路２０３が出力した画像データと、第２データ変換回路２０４が出力したデータを記憶装置に一時的に保存し、保存していたデータを記憶装置からレジスタやラッチ回路などに移動し、各データの転送時間が一様になるようにレジスタやラッチ回路を制御することで、読み出すような構成としてもよい。
【００２６】
ここで、画像処理装置１０は、プロセッサと記憶装置を有していてもよい。各回路での処理や実行は、プロセッサが記憶装置からプログラムを読み込んで、処理を実行し、処理されたデータやプログラムなどを記憶装置に移動し、記憶するようにしてもよい。また、プロセッサが記憶装置からプログラムやデータなどを読み出して、引き続き処理を行うようにしてもよい。
【００２７】
以上のような画像処理装置とすることで、注目領域を長波長側の赤みがかった画像データに変換し、背景領域を短波長側の青みがかった画像データに変換し、波長の差を利用して注目領域を強調することができる。例えば、車載用の表示装置と本発明の一実施形態に係る画像処理装置で処理した画像データを車載用の表示装置で表示させることで、歩行中の人、動物、走行中の他の車等の危険物や注目したい対象物は、それ以外の背景領域と比較して強調されるが、人の目には違和感が少なく感じることができるので、車の運転者が、注目したい領域に注意を向けながらも、注目部分以外の背景などへの注意が疎かになることを少なくでき、安全な運転が可能となる。
【００２８】
（第２実施形態）
本実施形態では、本発明の一実施形態に係る画像処理方法を説明する。なお、第１実施形態と同様の構成に関しては説明を省略することがある。
【００２９】
図３は、本発明の一実施形態に係る画像処理装置１０の画像処理方法を説明するフローチャートである。
【００３０】
画像処理装置１０に画像を示すデータ１００を入力する（ステップ２０（Ｓ２０））。画像を複数のブロックに分割し、複数に分割されたブロックのデータである領域分割データ１０６を出力する（ステップ２１（Ｓ２１））。そして、画像を示す入力データを色情報を含むデータに変換する（ステップ２２（Ｓ２２））。さらに、色情報を含むデータを、分割された複数のブロックに割り当てる（ステップ２３（Ｓ２３））。続いて、複数に分割されたブロックごとに割り当てられたデータである領域別ＲＧＢデータ１０８を出力する（ステップ２４（Ｓ２４））。ここまでの操作は、領域分割回路１０３で行われる。
【００３１】
引き続き、領域分割データ１０６が注目領域判定回路１０４に入力され、注目したい対象などを含む注目領域と、注目領域以外の背景領域とに分別され、注目領域判定データ１０７が出力される（ステップ２５（Ｓ２５））。
【００３２】
さらに、領域別ＲＧＢデータ１０８、注目領域判定データ１０７、強調係数１０１および輝度係数１０２が、領域別色変換ＲＧＢ値計算回路１０５に入力される。領域別色変換ＲＧＢ値計算回路１０５において、領域別ＲＧＢデータ１０８と注目領域判定データ１０７が比較され、領域別ＲＧＢデータ１０８が注目領域と背景領域のどちらに含まれるかが判別される（ステップ２６（Ｓ２６））。
【００３３】
領域別ＲＧＢデータ１０８と注目領域判定データ１０７が比較され、領域別ＲＧＢデータ１０８が注目領域に含まれる場合、領域別ＲＧＢデータ１０８と、強調係数１０１とから、第１色変換データが算出される（ステップ２７（Ｓ２７））。
【００３４】
領域別ＲＧＢデータ１０８と注目領域判定データ１０７が比較され、領域別ＲＧＢデータ１０８が背景領域に含まれる場合、領域別ＲＧＢデータ１０８と、強調係数１０１と、輝度係数１０２とから、第２色変換データが算出される（ステップ２８（Ｓ２８））。
【００３５】
最後に、第１色変換データおよび第２色変換データが、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。強調係数１０１はｋ、輝度係数１０２はｄとする。
【００３６】
本実施形態に係る画像処理方法によれば、画像を複数のブロックに分割し、各ブロックに色情報を含む画像データを割り当て、注目画像を判別し、強調係数と輝度係数を使って注目画像を処理することで、波長の差を利用して注目領域を強調することができる。本実施形態に係る画像処理方法は、第１実施形態で示す画像処理装置に適用することができる。
【００３７】
（第３実施形態）
本実施形態では、本発明の一実施形態に係る画像処理装置において、画像データの中で最大値を抽出する処理を含む画像処理方法を説明する。なお、第１実施形態および第２実施形態と同様の構成に関しては説明を省略することがある。
【００３８】
図４は、本発明の一実施形態に係る画像処理装置１０が判定回路および最大値抽出回路を含む場合の処理方法を説明するフローチャートである。
【００３９】
ステップ２０（Ｓ２０）、ステップ２１（Ｓ２１）、ステップ２２（Ｓ２２）、ステップ２３（Ｓ２３）、ステップ２４（Ｓ２４）、ステップ２５（Ｓ２５）、ステップ２６（Ｓ２６）を経て、領域別ＲＧＢデータ１０８が注目領域に紐付けされていた場合、一方の相対値抽出回路は、赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータの中で、最大値を抽出し、Ｒと、Ｇと、Ｂのデータを出力する。（ステップ３０（Ｓ３０））。また、領域別ＲＧＢデータ１０８が背景領域に紐付けされていた場合、もう一方の相対値抽出回路は、赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータの中で、最大値を抽出し、Ｒと、Ｇと、Ｂのデータを出力する。（ステップ３１（Ｓ３１））。こうすることで、抽出された最大値を強調することができる。
【００４０】
続いて、ステップ２７（Ｓ２７）、ステップ２８（Ｓ２８）を経て、第１色変換データおよび第２色変換データが、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。
【００４１】
本実施形態に係る画像処理方法によれば、注目領域と背景領域を分別し、注目領域に紐付けされた画像データのうち最大値を抽出し、背景領域に紐付けされていた画像データからも最大値を抽出し、それぞれ抽出された最大値を強調することができる。よって、それぞれの最大値の差を利用して、注目領域を強調することができる。なお、本実施形態に係る画像処理方法は、第１実施形態で示す画像処理装置に適用することができる。
【００４２】
（第４実施形態）
本実施形態では、本発明の一実施形態に係る画像処理装置において、画像データの中で最大値を抽出した後に、最大値を強調する処理を含む画像処理方法を説明する。なお、第１実施形態乃至第３実施形態と同様の構成に関しては説明を省略することがある。
【００４３】
図５は、本発明の一実施形態に係る画像処理装置１０が第１データ変換回路および第２データ変換回路を含む場合の処理方法を説明するフローチャートである。
【００４４】
ステップ２０（Ｓ２０）、ステップ２１（Ｓ２１）、ステップ２２（Ｓ２２）、ステップ２３（Ｓ２３）、ステップ２４（Ｓ２４）、ステップ２５（Ｓ２５）、ステップ２６（Ｓ２６）およびステップ３０（Ｓ３０）を経て、第１データ変換回路２０３に、一方の相対値抽出回路２０２が抽出した最大値、および強調係数であるｋが入力される。赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータの中で、最大値がＲのデータの場合、Ｒのデータは、ｋ倍されて、ｋＲに変換される。ＧのデータおよびＢのデータは処理をしない。そして、第１色変換データである画像データ（ｋＲ、Ｇ、Ｂ）が出力される（ステップ３２（Ｓ３２））。最大値がＧのデータの場合、ＲのデータとＧのデータが入れ替えられ、Ｂのデータは処理されない。そして、画像データ（Ｇ、Ｒ、Ｂ）が出力される（ステップ３３（Ｓ３３））。最大値がＢのデータの場合、ＲのデータとＢのデータが入れ替えられ、Ｇのデータは処理されない。そして、画像データ（Ｂ，Ｇ、Ｒ）が出力される（ステップ３４（Ｓ３４））。このように、第１データ変換回路２０３は、赤色をより強調することができる。すなわち、注目したい領域を長波長側の色にすることで、より強調されることが期待できる。なお、データを入れ替えるとは、図７に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｒの座標が（ｘ１，ｙ１）、Ｇの座標が（ｘ２，ｙ２）の場合、ＲのデータとＧのデータを入れ替えるとは、図７に示すＧ＝Ｒ（ＧとＲのｘｙ座標が同じ直線）に対して、Ｒ（ｘ２，ｙ２）、Ｇ（ｘ１，ｙ１）のようにすることである。
【００４５】
ステップ２０（Ｓ２０）、ステップ２１（Ｓ２１）、ステップ２２（Ｓ２２）、ステップ２３（Ｓ２３）、ステップ２４（Ｓ２４）、ステップ２５（Ｓ２５）、ステップ２６（Ｓ２６）およびステップ３０（Ｓ３０）を経て、第２データ変換回路２０４に、もう一方の相対値抽出回路２０２が抽出した最大値、強調係数であるｋ、および輝度係数であるｄが入力される。赤色を示すＲのデータ、緑色を示すＧのデータ、青色を示すＢのデータの中で、最大値がＲのデータの場合、ＲのデータとＢのデータが入れ替えられ、その後、Ｂのデータ、Ｇのデータ、Ｒのデータのそれぞれがｄ倍される。そして、第２色変換データである画像データ（ｄＢ、ｄＧ、ｄＲ）が出力される（ステップ３５（Ｓ３５））。最大値がＧのデータの場合、ＧのデータとＢのデータが入れ替えられ、その後、Ｒのデータ、Ｂのデータ、Ｇのデータのそれぞれがｄ倍される。そして、第２色変換データである画像データ（ｄＲ、ｄＢ、ｄＧ）が出力される（ステップ３６（Ｓ３６））。最大値がＢのデータの場合、Ｂのデータはｋ倍される。ＲのデータおよびＧのデータはそれぞれｄ倍される。そして、第２色変換データである画像データ（ｄＲ，ｄＧ、ｋＢ）が出力される（ステップ３７（Ｓ３７））。第２データ変換回路２０４は、青色をより強調することができる。すなわち、注目したい領域以外の領域を短波長側の色にすることで、より強調されることが期待できる。なお、データを入れ替えるとは、図９に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｇの座標が（ｘ１，ｙ１）、Ｂの座標が（ｘ２，ｙ２）の場合、ＧのデータとＢのデータを入れ替えるとは、図８に示すＧ＝Ｂ（ＧとＢのｘｙ座標が同じ直線）に対して、Ｇ（ｘ２，ｙ２）、Ｂ（ｘ１，ｙ１）のようにすることである。
【００４６】
続いて、第１色変換データおよび第２色変換データが、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。
【００４７】
本実施形態に係る画像処理方法によれば、注目領域と背景領域を分別し、注目領域を長波長側の赤みがかった色に変換し、背景領域を短波長側の青みがかった色に変換することができる。こうすることで、人間が画像を見た場合、長波長の赤は近く、短波長の青は遠く見えることを利用し、注目領域を近く、背景領域を遠くみせることで、注目領域を背景領域よりも強調することができる。なお、本実施形態に係る画像処理方法は、第１実施形態で示す画像処理装置に適用することができる。
【００４８】
ここで、画像処理装置１０は、プロセッサや演算回路、記憶装置を有しており、各データは、各ステップ終了後に、記憶装置に移動され、保存されるようにしてもよい。また、各データは、各ステップ開始後に、記憶装置から移動され、処理されるようにしてもよい。記憶装置からプロセッサに読み込まれて実行されるプログラムに、各ステップの処理を行い、各処理を行った後に記憶装置にデータを保存する、また、各ステップの開始後に、データを記憶装置から移動し処理する、ように記載しておけばよい。
【００４９】
以上のような画像処理装置の処理を実行することで、注目領域を長波長側の赤みがかった画像データに変換し、背景領域を短波長側の青みがかった画像データに変換し、波長の差を利用して注目領域を強調した画像データを提供することができる。例えば、車載用の表示装置と本発明の一実施形態に係る画像処理装置で処理を実行した場合、車載用の表示装置に表示される画像データは、危険物や注目したい対象物が、それ以外の背景領域と比較して強調された画像を、車の運転者は確認することができる。また、以上のような画像処理装置の処理を実行した画像データは、人の目に違和感を少なく感じさせることができるので、車の運転者に、注目して欲しい領域に注意を向けさせるようにしながらも、注目部分以外の背景などへの注意が疎かになることを少なくできる。
【００５０】
なお、第４実施形態では、黄色である５７０ｎｍの波長を基準として、赤と青あるいは緑の波長の差を利用して、注目領域を強調する例を示したが、注目領域を強調する方法は、この方法に限定されない。ほかの例として、緑と赤の波長の差を利用して、強調領域は赤みがかった色、背景領域は緑がかった色に変換するようにしてもよい。あるいは、青と緑の波長の差を利用して、強調領域は緑がかった色、背景領域は青みがかった色に変換するようにしてもよい。すなわち、基準となる波長を設定した場合、注目領域を基準よりも長波長側に変換し、背景領域を基準よりも短波長側に設定するようにすればよい。以上のような画像処理装置の処理を実行することで、人間が画像を見た場合に、注目領域を近くに感じ、背景領域を遠くに感じることができ、注目領域を強調した画像データを提供することができる。
【００５１】
（第５実施形態）
本実施形態では、本発明の一実施形態に係る画像処理装置が有する領域別色変換ＲＧＢ値計算回路の処理方法を説明する。なお、第１実施形態乃至第４実施形態と同様の構成に関しては説明を省略することがある。
【００５２】
図６は、本発明の一実施形態に係る領域別色変換ＲＧＢ値計算回路の処理方法を説明するフローチャートである。
【００５３】
領域別ＲＧＢデータ１０８、注目領域判定データ１０７、強調係数１０１および輝度係数１０２が、領域別色変換ＲＧＢ値計算回路１０５に入力される（ステップ４０（Ｓ４０））。領域別ＲＧＢデータ１０８が注目領域と背景領域のどちらに含まれるかが判別される（ステップ２６（Ｓ２６））。領域別ＲＧＢデータ１０８が注目領域に紐付けされていた場合の最大値を抽出するステップ（ステップ３０（Ｓ３０））と、領域別ＲＧＢデータ１０８が背景領域に紐付けされていた場合、の最大値を抽出するステップ（ステップ３１（Ｓ３１））が行われる。
【００５４】
続いて、ステップ３０によって抽出された最大値が、Ｒのデータの場合、Ｒのデータが演算回路に入力され、演算回路によりｋ倍されて、ｋＲとなったデータが出力される（ステップ４１（Ｓ４１））。また、ＧのデータおよびＢのデータは演算回路に入力されるが、演算回路で処理をされずに、そのまま出力される（ステップ４２（Ｓ４２））。なお、ＧのデータおよびＢのデータは演算回路に入力されずに、そのまま出力されてもよい。第１色変換データである画像データ（ｋＲ、Ｇ、Ｂ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ４１の後にＳ４２が実行されるように記載しているが、並列で実行されてもよい。すなわち、Ｒ、Ｇ、Ｂのデータが演算回路に並列に入力されて、最大値であるＲのデータはｋ倍され、ＧのデータとＢのデータは演算処理がされずに、ｋＲ、Ｇ，Ｂのデータが並列で出力されてもよい。
【００５５】
ステップ３０によって抽出された最大値が、Ｇのデータの場合、ＲのデータとＧのデータが演算回路に入力され、演算回路により入れ替えられたデータが出力される（ステップ４３（Ｓ４３））。また、Ｂのデータは演算回路に入力されるが、演算回路で処理をされずに、そのまま出力される（ステップ４４（Ｓ４４））。なお、Ｂのデータは演算回路に入力されずに、そのまま出力されてもよい。第１色変換データである画像データ（Ｇ、Ｒ、Ｂ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ４３の後にＳ４４が実行されるように記載しているが、並列で実行されてもよい。すなわち、Ｒ、Ｇ、Ｂのデータが演算回路に並列に入力されて、最大値であるＧのデータとＲのデータは入れ替えられ、Ｂのデータは演算処理がされずに、Ｇ、Ｒ、Ｂのデータが並列で出力されてもよい。
【００５６】
ステップ３０によって抽出された最大値が、Ｂのデータの場合、ＲのデータとＢのデータが演算回路に入力され、演算回路により入れ替えられたデータが出力される（ステップ４５（Ｓ４５））。また、Ｇのデータは演算回路に入力されるが、演算回路で処理をされずに、そのまま出力される（ステップ４６（Ｓ４６））。なお、Ｇのデータは演算回路に入力されずに、そのまま出力されてもよい。第１色変換データである画像データ（Ｂ、Ｇ、Ｒ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ４５の後にＳ４６が実行されるように記載しているが、並列で実行されてもよい。すなわち、Ｒ、Ｇ、Ｂのデータが演算回路に並列に入力されて、最大値であるＢのデータとＲのデータは入れ替えられ、Ｇのデータは演算処理がされずに、Ｂ、Ｇ、Ｒのデータが並列で出力されてもよい。
【００５７】
次に、ステップ３１によって抽出された最大値が、Ｒのデータの場合、ＲのデータとＢのデータが演算回路に入力され、演算回路により入れ替えられたデータが出力される（ステップ４７（Ｓ４７））。さらに、Ｂ、Ｇ、Ｒのデータが演算回路に入力されて、輝度係数であるｄが掛け合わされて出力される（ステップ４８（Ｓ４８））。第２色変換データである画像データ（ｄＢ、ｄＧ、ｄＲ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ４７の後にＳ４８が実行されるように記載しているが、Ｒ、Ｇ、Ｂのデータが複数の演算回路に並列に入力されて、ｄＢ、ｄＧ、ｄＲのデータが並列で出力されてもよい。
【００５８】
ステップ３１によって抽出された最大値が、Ｇのデータの場合、ＧのデータとＢのデータが演算回路に入力され、演算回路により入れ替えられたデータが出力される（ステップ４９（Ｓ４９））。さらに、Ｒ、Ｂ、Ｇのデータが演算回路に入力されて、輝度係数であるｄが掛け合わされて出力される（ステップ５０（Ｓ５０））。第２色変換データである画像データ（ｄＲ、ｄＢ、ｄＧ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ４９の後にＳ５０が実行されるように記載しているが、Ｒ、Ｇ、Ｂのデータが複数の演算回路に並列に入力されて、ｄＲ、ｄＢ、ｄＧのデータが並列で出力されてもよい。
【００５９】
ステップ３１によって抽出された最大値が、Ｂのデータの場合、Ｂのデータが演算回路に入力され、演算回路によりｋ倍され、ｋＢとなったデータが出力される（ステップ５１（Ｓ５１））。また、ＲのデータおよびＧのデータは演算回路によりｄ倍され、ｄＲ、ｄＧとなったデータが出力される（ステップ５２（Ｓ５２））。第２色変換データである画像データ（ｄＲ、ｄＧ、ｋＢ）が、変換データ出力回路２０５に入力され、変換データ１１０が出力される（ステップ２９（Ｓ２９））。なお、変換データ１１０は、ＲＧＢ画像を示す出力データ１０９であってもよい。図６においては、Ｓ５１の後にＳ５２が実行されるように記載しているが、Ｒ、Ｇ、Ｂのデータが演算回路に並列に入力されて、Ｂはｋ倍され、ＲおよびＧはそれぞれｄ倍され、ｄＲ、ｄＧ、ｋＢのデータが並列で出力されてもよい。
【００６０】
このように、第１データ変換回路２０３は、赤色をより強調することができる。第２データ変換回路２０４は、青色をより強調することができる。すなわち、注目したい領域を長波長側の色にし、背景領域を短波長側の色にすることで、注目したい領域をより強調されることが期待できる。なお、データを入れ替えるとは、図８に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｒの座標が（ｘ１，ｙ１）、Ｇの座標が（ｘ２，ｙ２）の場合、ＲのデータとＧのデータを入れ替えるとは、図８に示すＧ＝Ｒ（ＧとＲのｘｙ座標が同じ直線）に対して、Ｒ（ｘ２，ｙ２）、Ｇ（ｘ１，ｙ１）のようにすることである。また、図９に示すｘｙ色度図において、色度座標を入れ替えることである。例えば、色度図における座標を（ｘ、ｙ）として、Ｇの座標が（ｘ１，ｙ１）、Ｂの座標が（ｘ２，ｙ２）の場合、ＧのデータとＢのデータを入れ替えるとは、図８に示すＧ＝Ｂ（ＧとＢのｘｙ座標が同じ直線）に対して、Ｇ（ｘ２，ｙ２）、Ｂ（ｘ１，ｙ１）のようにすることである。
【００６１】
以上のような、領域別色変換ＲＧＢ値計算回路の処理方法を実行することで、注目領域を長波長側の赤みがかった画像データに変換し、背景領域を短波長側の青みがかった画像データに変換し、波長の差を利用して注目領域を強調した画像データを提供することができる。
【００６２】
本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。
【００６３】
本明細書においては、開示例として主に画像処理装置を例示したが、画像処理装置が処理した画像データを表示する表示装置は、その他の自発光型表示装置、液晶表示装置、あるいは電気泳動素子などを有する電子ペーパ型表示装置など、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能である。
【００６４】
上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００６５】
１０・・・画像処理装置、１００・・・画像を示す入力データ、１０１・・・強調係数、１０２・・・輝度係数、１０３・・・領域分割回路、１０４・・・注目領域判定回路、１０５・・・領域別色変換ＲＧＢ計算回路、１０６・・・領域分割データ、１０７・・・注目領域判定データ、１０８・・・領域別ＲＧＢデータ、１０９・・・ＲＧＢ画像を示す出力データ、１１０・・・変換データ、２０１・・・判別回路、２０２・・・相対値抽出回路、２０３・・・第１データ変換回路、２０４・・・第２データ変換回路、２０５・・・変換データ出力回路
【図１】
2018085008.tif 000003
【図２】
2018085008.tif 000004
【図３】
2018085008.tif 000005
【図４】
2018085008.tif 000006
【図５】
2018085008.tif 000007
【図６】
2018085008.tif 000008
【図７】
2018085008.tif 000009
【図８】
2018085008.tif 000010