(57)【要約】【課題】画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更する。【解決手段】入力画像２００に対し、ブロックレベル参照画像作製処理２５０を行い、ブロックレベル参照画像２２０〜２２３を作製し、ブロックレベル参照画像作製処理２５０では、ブロック積分画像２１４〜２１７の作製に用いたブロックと同様のブロックに入力画像２００を分割し、各ブロックの画像が低分解能化された低分解能画像を作製し、低分解能コントラスト入れ換え統合処理２７１により、各ブロック積分画像２１４〜２１７の低分解能のコントラストをブロックレベル参照画像２２０〜２２３のブロックレベルの値にブロックごとに入れ替え、各ブロック積分画像２１４〜２１７のコントラストをブロックごと変更し、重み付平均をとった出力画像２３４を作製する。【選択図】図２
2020191030.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
前記参照画像は、前記入力画像の一部の領域が低分解能化された低分解能画像に基づいて作製された画像である画像処理装置。
【請求項２】
前記参照画像は、前記低分解能画像の局所的なコントラストが変更された画像、前記低分解能画像のグローバルなコントラストが変更された画像または前記低分解能画像の局所的およびグローバルの双方のコントラストが変更された画像である請求項１に記載の画像処理装置。
【請求項３】
前記加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項１に記載の画像処理装置。
【請求項４】
前記低分解能画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の前記一部の領域の画素値の平均または重み付き平均を行う処理を含む請求項１に記載の画像処理装置。
【請求項５】
前記オフセット調整部は、前記入力画像または前記加工画像の一部の領域の画素値の平均値または重み付き平均値を、前記入力画像の一部の領域と対応付けられた前記参照画像の画素値と入れ替える請求項４に記載の画像処理装置。
【請求項６】
前記低分解能画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の前記一部の領域の中心に位置する半分の長さの評価領域の平均または重み付き平均を行う処理を含む請求項４に記載の画像処理装置。
【請求項７】
前記オフセット調整部は、前記入力画像を分割したブロックと対応付けられた参照画像の画素値に基づいて、前記入力画像または前記加工画像の前記ブロックごとのオフセットをそれぞれ調整する請求項１に記載の画像処理装置。
【請求項８】
入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した第１加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
前記参照画像は、前記入力画像または前記入力画像を加工した第２加工画像であり、
前記入力画像の加工処理においてニューラルネットを用いた処理を行い、
前記ニューラルネットは、
前記ニューラルネットの出力を認識する認識用ニューラルネットと、
前記認識用ニューラルネットが認識した部分を再構成または強調して再構成する再構成用ニューラルネットを備える画像処理装置。
【請求項９】
入力画像の一部の領域の平均値または重み付き平均値を値とする低分解能画像または前記低分解能画像を加工した第１加工画像である参照画像を作製し、
前記入力画像または前記入力画像を加工した第２加工画像を縮小した縮小画像を作製し、
前記縮小画像から前記参照画像を引いた差画像を作製し、
前記差画像を補間拡大した拡大差画像を作製し、
前記入力画像または前記第２加工画像に前記拡大差画像を加算する画像処理装置。
【請求項１０】
前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項９に記載の画像処理装置。
【請求項１１】
入力画像の一部の領域の平均値または重み付き平均値を値とする低分解能画像または前記低分解能画像を加工した第１加工画像である参照画像を作製し、
前記参照画像を補間拡大した拡大参照画像を作製し、
前記入力画像または前記入力画像を加工した第２加工画像について、着目点を中心として前記一部の領域と同じサイズの領域の平均値または重み付き平均値を前記入力画像または前記第２加工画像の値から引いた値を前記着目点の値とする平均引き画像を作製し、
前記平均引き画像と前記拡大参照画像を加算する画像処理装置。
【請求項１２】
前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項１１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
画像処理技術の分野においては、大きく枠組みを見ると、例えば、非特許文献１に記載されているように、原画像を直接加工したり、原画像をフーリエ変換やウエーブレット変換等して変換画像を作製し、変換画像を処理した後に逆変換をして処理画像を得たりしている。原画像からエッジ画像を作した場合は、エッジ画像は、特徴を抽出して認識するための材料になったり、原画像に加算して画像を鮮鋭化するための加工材料になったりする。
【０００３】
目的や対象画像の特徴により、様々な画像処理が用いられている。例えば、画像の局所的なコントラストを向上させる場合は、先行技術文献２に記載されたＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ  ｌｉｍｉｔｅｄ  ａｄａｐｔｉｖｅ  ｈｉｓｔｏｇｒａｍ  ｅｑｕａｌｉｚａｔｉｏｎ）などの処理が用いられる。ＣＬＡＨＥでは、画像を８×８画素の小領域に分け、小領域ごとにコントラストの制限を加えたヒストグラムの平坦化を用いた適応型処理を行う。また、隣り合う小領域の境界に現れる擬似輪郭を消すため、バイリニアの内挿（補間）をする。
【０００４】
また、例えば、画像のエッジを保存してノイズを低減するエッジ保存型の平滑化を行う場合は、先行技術文献３に記載されているように、方向を考慮した局所的な偏差から平滑化の方向と度合いを決め、エッジ部か平坦部かに応じて平滑化等のパラメータを変えるなどの適応型処理が行われている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】酒井幸市、「デジタル画像処理の基礎と応用」、ＣＱ出版社
【非特許文献２】「ヒストグラム  その２：ヒストグラム平坦化  ＯｐｅｎＣＶ−Ｐｙｔｈｏｎ  Ｔｕｔｏｒｉａｌｓ  １」  ｈｔｔｐ：／／ｌａｂｓ．ｅｅｃｓ．ｔｏｔｔｏｒｉ−．ａｃ．ｊｐ／ｓｄ／Ｍｅｍｂｅｒ／ｏｙａｍａｄａ／ＯｐｅｎＣＶ／ｈｔｍｌ／ｐｙ＿ｔｕｔｏｒｉａｌｓ／ｐｙ＿ｉｍｇｐｒｏｃ／ｐｙ＿ｈｉｓｔｏｇｒａｍｓ／ｐｙ＿ｈｉｓｔｏｇｒａｍ＿ｅｑｕａｌｉｚａｔｉｏｎ／ｐｙ＿ｈｉｓｔｏｇｒａｍ＿ｅｑｕａｌｉｚａｔｉｏｎ．ｈｔｍｌ
【非特許文献３】田口順一、他、「エッジ部と平たん部の切分けを行った方向依存型画像フィルタ」、電子情報通信学会論文誌、Ｄ−II、Ｖｏｌ．Ｊ８０−Ｄ−II、Ｎｏ．９、ｐｐ．２３４５−２３５０（１９９７）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、先行技術文献１〜３には、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更させる技術は開示されていない。
【０００７】
本発明は、上記事情に鑑みなされたものであり、その目的は、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、第１の観点に係る画像処理装置は、入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、前記参照画像は、前記入力画像の前記一部の領域が低分解能化された低分解能画像に基づいて作製された画像である。
【発明の効果】
【０００９】
本発明によれば、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１実施形態に係る画像処理システムの構成を示すブロック図である。
【図２】図２は、図１の画像処理装置の処理の流れを示すブロック図である。
【図３】図３（ａ）は、図２の処理で用いられるブロックの例を示す図、図３（ｂ）は、図３（ａ）のブロックを半ブロックずつずらして重ねた図、図３（ｃ）は、図２の処理で用いられるブロックの評価領域の例を示す図、図３（ｄ）は、図３（ｃ）のブロックを半ブロックずつずらして重ねた図である。
【図４Ａ】図４Ａは、図２のブロックレベル参照画像作製処理の例を示すブロック図である。
【図４Ｂ】図４Ｂは、図２のブロックレベル参照画像作製処理のその他の例を示すブロック図である。
【図５Ａ】図５Ａは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
【図５Ｂ】図５Ｂは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
【図６】図６は、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
【図７】図７は、第２実施形態に係る画像処理装置の処理の流れを示すブロック図である。
【図８】図８は、第３実施形態に係る画像処理装置の処理の流れを示すブロック図である。
【図９】図９は、第４実施形態に係る画像処理装置の処理の流れを示すブロック図である。
【図１０Ａ】図１０Ａは、画像の加工処理の一例を示すブロック図である。
【図１０Ｂ】図１０Ｂは、画像の加工処理のその他の例を示すブロック図である。
【図１１】図１１は、図１０Ｂのニューラルネットの学習方法を示すブロック図である。
【図１２】図１２は、画像の加工処理のさらにその他の例を示すブロック図である。
【図１３】図１３は、画像の加工処理のさらにその他の例を示すブロック図である。
【図１４】図１４は、画像の加工処理のさらにその他の例を示すブロック図である。
【図１５】図１５は、図１の画像処理装置のハードウェア構成例を示すブロック図である。
【図１６】図１６（ａ）は、図２の入力画像の一例を示す図、図１６（ｂ）および図１６（ｃ）は、図２の微分画像の例を示す図である。
【図１７】図１７（ａ）〜図１７（ｄ）は、図２の微分画像を加工した加工微分画像の例を示す図である。
【図１８】図１８（ａ）および図１８（ｂ）は、図２の入力画像の一例を示す図、図１８（ｃ）および図１８（ｄ）は、画像全体を積分した積分画像の例を示す図である。
【図１９】図１９（ａ）〜図１９（ｄ）は、画像全体を積分した積分画像のその他の例を示す図である。
【図２０】図２０（ａ）は、入力画像の一例を示す図、図２０（ｂ）は、入力画像を分割したブロックの例を示す図、図２０（ｃ）は、図２のブロックレベル参照画像の例を示す図、図２０（ｄ）は、図２のオフセット調整ブロック積分画像の例を示す図である。
【図２１】図２１（ａ）は、入力画像の一例を示す図、図２１（ｂ）は、入力画像を分割したブロックおよび評価領域の一例を示す図、図２１（ｃ）は、図２のブロックレベル参照画像のその他の例を示す図、図２１（ｄ）は、図２のオフセット調整ブロック積分画像のその他の例を示す図である。
【図２２】図２２（ａ）〜図２２（ｄ）は、入力画像をブロックに分割する４つの分割の仕方の例を示す図である。
【図２３】図２３（ａ）〜図２３（ｄ）は、図２の４つのオフセット調整ブロック積分画像の例を示す図である。
【図２４】図２４は、図２の４つのオフセット調整ブロック積分画像が重み付平均された出力画像の例を示す図である。
【図２５】図２５（ａ）〜図２５（ｄ）は、図２２のブロックサイズの半分の長さの評価領域を持つ場合の４つの分割の仕方を示す図である。
【図２６】図２６は、図２５（ａ）〜図２５（ｄ）で示した図２２のブロックサイズの半分の評価領域を全てまとめた図である。
【図２７】図２７（ａ）は、図２の１つのブロックレベル参照画像のさらにその他の例を示す図、図２７（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
【図２８】図２８（ａ）は、入力画像の一例を示す図、図２８（ｂ）〜図２８（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
【図２９】図２９（ａ）は、入力画像の一例を示す図、図２９（ｂ）〜図２９（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
【図３０】図３０（ａ）は、図２のブロックレベル参照画像のさらにその他の例を示す図、図３０（ｃ）は、図３０（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３０（ｂ）および図３０（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
【図３１】図３１（ａ）は、図２７（ａ）で示した図２のブロックレベル参照画像の例を示す図、図３１（ｂ）は、図２７（ｂ）で示した図２の出力画像の例を示す図、図３１（ｃ）は、図３１（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３１（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
【図３２】図３２（ａ）は、図２のブロックレベル参照画像を加工したブロックレベル参照加工画像のその他の例を示す図、図３２（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
【発明を実施するための形態】
【００１１】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、第１実施形態に係る画像処理システムの構成を示すブロック図である。
図１において、画像処理システムは、撮影装置１００、画像処理装置１１１、１２１、１３１、表示装置１１２、１２２、１３２、入力装置１１３、１２３、１３３および記憶装置１１４、１２４、１３４を備える。
【００１３】
画像処理装置１１１、１２１、１３１は、インターネットなどの通信ネットワーク１４０を介して互いに接続されている。画像処理装置１１１は、撮影装置１００、表示装置１１２、入力装置１１３および記憶装置１１４に接続されている。画像処理装置１２１は、表示装置１２２、入力装置１２３および記憶装置１２４に接続されている。画像処理装置１３１は、表示装置１３２、入力装置１３３および記憶装置１３４に接続されている。
【００１４】
撮影装置１００は、被写体を撮影し、画像データを生成する。撮影装置１００は、例えば、デジタルカメラ、スマートフォンまたは携帯電話に付属したカメラ、スキャナ、医療現場で用いられるＸ線写真撮影装置またはＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）など、監視現場で用いられる監視カメラ、その他に各種検査現場で用いられる超音波、赤外線、可視光、紫外線、Ｘ線、γ線または電子線などを捉えた画像を撮影する各種撮影装置などである。
【００１５】
画像処理装置１１１は、入力装置１１３からの入力情報に基づいて、撮影装置１００から画像データを受け取ったり、各種画像処理を行ったりすることができる。また、画像処理装置１１１は、処理画像データを含む処理結果を表示装置１１２に表示したり、記憶装置１１４に記憶したり、通信ネットワーク１４０に送信したりできる。さらに、画像処理装置１１１は、外部からのリクエスト情報を受け取り、記憶装置１１４に記憶した画像データなどの各種情報を外部に送信することができる。画像処理装置１１１は、例えば、汎用計算機であるワークステーション、デスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末またはスマートフォン等であってもよいし、画像処理専用ハードウェアであってもよい。
【００１６】
表示装置１１２は、ディスプレイまたはテレビなどを用いることができる。入力装置１１３は、キーボードまたはマウスなどを用いることができる。記憶装置１１４は、磁気ディスク装置、光ディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどを用いることができる。
【００１７】
なお、ノート型パーソナルコンピュータ、パブレット端末およびスマートフォンなどは、画像処理装置１１１、表示装置１１２、入力装置１１３および記憶装置１１４が一体となっている。
【００１８】
通信ネットワーク１４０は、画像データを含む各種情報データを送受信可能な回線で、世界中に繋がることができる。通信ネットワーク１４０は、例えば、インターネットを用いることができる。通信ネットワーク１４０には、ローカルなエリアに独自の専用の回線を設けることもできる。
【００１９】
画像処理装置１２１は、入力装置１２３からの入力情報に基づき、画像処理装置１１１に接続された記憶装置１１４から画像データを受け取ったり、各種画像処理を行うことができる。また、画像処理装置１２１は、処理画像データを含む処理結果を表示装置１２２に表示したり、記憶装置１２４に記憶したり、通信ネットワーク１４０に送信したりできる。さらに、画像処理装置１２１は、外部からのリクエスト情報を受け取り、記憶装置１２４に記憶した画像データなどの各種情報を外部に送信することができる。
【００２０】
画像処理装置１３１は、入力装置１３３からの入力情報に基づき、画像処理装置１２１に接続された記憶装置１２４から画像データを受け取ったり、各種画像処理を行うことができる。また、画像処理装置１３１は、処理画像データを含む処理結果を表示装置１３２に表示したり、記憶装置１３４に記憶したり、通信ネットワーク１４０に送信したりできる。
【００２１】
各画像処理装置１１１、１２１、１３１の画像処理機能は、画像処理を実現するソフトウェア（プログラム）をインストールすることで実装することができる。また、撮影装置１００が画像処理装置を内蔵している場合は、この内蔵された画像処理装置も画像処理を実施することができるし、画像処理専用ハードウェアを搭載して画像処理を実施することもできる。
【００２２】
この画像処理システムは、例えば、個人が撮影装置１００としてデジタルカメラを用い、画像処理装置１１１として記憶装置１１４を内蔵したノート型パーソナルコンピュータを用いることができる。そして、個人がデジタルカメラで撮影した画像データを記憶装置１１４に記憶し、通信ネットワーク１４０を介して、外部のＳＮＳ（ｓｏｃｉａｌ  ｎｅｔｗｏｒｋｉｎｇ  ｓｅｒｖｉｃｅ）の情報サービス会社の画像処理装置１２１に接続された記憶装置１２４に画像をアップロードし、広く一般に画像にアクセスできるようにすることができる。この時、ユーザは、自分が所有する画像処理装置１３１に接続された表示装置１３２上でアップロードされた画像を見ることができる。
【００２３】
その他、医療現場では、撮影装置１００としてＸ線写真撮影装置またはＭＲＩなどの各種画像撮影装置にある画像データを、これらの画像撮影装置と繋がった、あるいはこれらの画像撮影装置を内蔵した画像処理装置１１１から病院内のデータサーバである画像処理装置１２１に送ることができる。そして、医師は、画像処理装置１３１に接続された表示装置１３２上で画像を参照することができる。
【００２４】
なお、以下に記載する画像処理は、いずれの画像処理装置１１１、１２１、１３１でも、その画像処理を実現するソフトウェア（プログラム）をインストールすることで実現することができる。あるいは、以下に記載する画像処理は、いずれの画像処理装置１１１、１２１、１３１でも、その画像処理を実現する画像処理専用ハードウェアを搭載することで実現するようにしてもよい。
【００２５】
図２は、図１の画像処理装置の処理の流れを示すブロック図である。
図２において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を積分コントラスト統合処理２７０で統合し、出力画像２３４を作製する。入力画像２００の１つの流れは、入力画像２００が微分され、積分コントラスト統合処置２７０で積分されて、ブロック積分画像２１４〜２１７ができる。ブロック積分画像２１４〜２１７は、その後、グローバルから低分解能のコントラストが変更される被コントラスト変更画像である。入力画像２００のもう１つの流れは、被コントラスト変更画像のコントラストの変更時に参照されるコントラスト参照画像を作製する処理である。
【００２６】
以下の説明では、コントラスト参照画像のブロックごとに設定される参照値に基づいて、被コントラスト変更画像のブロックごとの平均的な輝度値をブロックごとに変更する場合を例にとる。被コントラスト変更画像のブロックごとの平均的な輝度値を変更する参照値をブロックごとに格納したコントラスト参照画像を、ここではブロックレベル参照画像と言う。１つのブロックは、画像の一部の領域にあたるため、この１つのブロックや、ブロック内で計算に用いた評価域などを画像の一部の領域と表現する。１つのブロックの平均的な輝度値を変更し、更に隣のブロックの平均的な輝度値を変更すると、両者の間に平均的な輝度値の差が生じる。この平均的な輝度の差が、その場所の、ブロックの大きさ程度の低分解能のコントラストとなる。従って、隣り合う２つのブロックの平均的な輝度値を変更すると、その場所の低分解能のコントラストを変更することができる。また、これを画像の大きな（グローバルな）範囲に渡り行なうと、画像のグローバルなコントラストも変更することができる。
【００２７】
以下、図２の流れを具体的に説明する。画像処理装置は、入力画像２００に対して微分処理２４０を行い、Ｘ方向微分画像２１０とＹ方向微分画像２１１を作製する。次に、画像処理装置は、Ｘ方向微分画像２１０とＹ方向微分画像２１１に対して加工処理２４１を行い、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３を作製する。
【００２８】
次に、画像処理装置は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３に対して積分処理２４２〜２４５を行い、ブロック積分画像２１４〜２１７を作製する。積分処理２４２では、画像処理装置は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３を所定のブロックに分割し、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３をブロックごとに参照し、各ブロック中心から順次径路に沿った線積分を行う。その際、斜め方向の線積分では、２つの積分径路が存在し、これら２つの積分径路の積分値は一般に異なるため、その平均値、または重み付き平均値を積分値とすることができる。
【００２９】
積分処理２４３〜２４５についても同様の積分を行う。ただし、各積分処理２４３〜２４５では、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに積分する。
【００３０】
また、画像処理装置は、入力画像２００に対し、ブロックレベル参照画像作製処理２５０を行い、ブロックレベル参照画像２２０〜２２３を作製する。ブロックレベル参照画像作製処理２５０では、画像処理装置は、ブロック積分画像２１４〜２１７の作製に用いたブロックと同様のブロックに入力画像２００を分割し、各ブロックの画像が低分解能化された低分解能画像を作製する。各ブロックレベル参照画像２２０〜２２３では、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに低分解能化する。
【００３１】
この低分解能画像は、各ブロックまたは各ブロック内の所定の評価領域の画素値の平均値または重み付き平均値に基づいて作製することができる。重み付き平均では、例えば、ブロック内の中心からの距離に応じてガウス型の重みを付けたり、ブロックの画素値の分布から外れている値をノイズとして除去する適応型の重みを付けることができる。その他、この低分解能画像は、適応型の重みとして、各ブロックまたは各ブロック内の所定の評価領域の画素値の中央値または最頻値に基づいて作製するようにしてもよい。ここでは、この他の処理で、単に平均と記載する処理も、重み付平均にする処理に入れ替えることができる。その他、ブロックレベル参照画像２２０〜２２３を低分解能コントラスト入れ換え統合処理２７１の入力とする代わりに、ブロックレベル参照画像２２０〜２２３を加工したブロックレベル参照加工画像を低分解能コントラスト入れ換え統合処理２７１の入力としてもよい。
【００３２】
ブロックレベル参照加工画像は、例えば、低分解能画像の局所的なコントラストが変更された画像、低分解能画像のグローバルなコントラストが変更された画像または低分解能画像の局所的およびグローバルの双方のコントラストが変更された画像である。
【００３３】
次に、画像処理装置は、低分解能コントラスト入れ換え統合処理２７１により、各ブロック積分画像２１４〜２１７の低分解能のコントラストを低分解能画像であるブロックレベル参照画像２２０〜２２３のコントラストに入れ替えたオフセット調整ブロック積分画像２３０〜２３３を作製し、これらの重み付平均をとった出力画像２３４を作製する。
【００３４】
例えば、画像処理装置は、オフセット調整処理２６０により、ブロック積分画像２１４の各ブロックの平均値が、そのブロックに対応する低分解能のブロックレベル参照画像２２０の値に一致するように、ブロック積分画像２１４のオフセット調整を行う。すなわち、画像処理装置は、オフセット調整処理２６０において、ブロック積分画像２１４の各ブロック内の各点の画素値から、そのブロックの評価領域内の画素値の平均値を引き、そのブロックに対応するブロックレベル参照画像２２０の値を足す処理を行うことで、オフセット調整ブロック積分画像２３０を作製する。
【００３５】
画像処理装置は、これらのオフセット調整処理２６０〜２６３により、オフセット調整ブロック積分画像２３０〜２３３を作製し、重み付平均処理２６４により出力画像２３４を作製する。重み付平均処理２６４では、画像処理装置は、出力画像２３４の着目点を含む各オフセット調整ブロック積分画像２３０〜２３３のブロック内の位置を参照し、ブロック端点から遠いほど重みが小さく、ブロック中心に近いほど重みが大きくなる双線形の重み付け平均を行うことができる。
【００３６】
これらのオフセット調整処理２６０〜２６３により、各ブロック積分画像２１４〜２１７の局所的な高分解能のコントラストがほとんど変更されることなく、グローバルから低分解能のコントラストが変更された出力画像２３４を作製することができる。
【００３７】
また、各ブロック積分画像２１４〜２１７の重み付平均処理２６４により、ブロックごとに積分により発生したブロック歪を低減することができる。
【００３８】
図３（ａ）は、図２の処理で用いられるブロックの例を示す図、図３（ｂ）は、図３（ａ）のブロックを半ブロックずつずらして重ねた図、図３（ｃ）は、図２の処理で用いられるブロックの評価領域の例を示す図、図３（ｄ）は、図３（ｃ）のブロックを半ブロックずつずらして重ねた図である。なお、図３（ａ）〜図３（ｄ）では、図２のブロック積分画像２１４〜２１７のブロックと、ブロックレベル参照画像２２０〜２２３の作製に参照される評価領域の位置関係を示す。
【００３９】
図３（ａ）の例では、着目するブロック３００と評価領域が一致する。図３（ｂ）において、ブロック３０１は、着目するブロック３００に対してＸ方向に半ブロックずらされ、ブロック３０２は、着目するブロック３００に対してＹ方向に半ブロックずらされ、ブロック３０３は、着目するブロック３００に対してＸ方向およびＹ方向に半ブロックずつずらされている。以下、図２の入力画像２００をブロック３００に分割する方法をシフト０、ブロック３０１に分割する方法をシフト１、ブロック３０２に分割する方法をシフト２、ブロック３０３に分割する方法をシフト３と言うことがある。
【００４０】
図３（ｃ）の例では、着目するブロック３１０と評価領域３２０が異なり、着目するブロック３１０の中心に長さが半分の評価領域３２０を設定した。図３（ｄ）において、ブロック３１１は、着目するブロック３１０に対してＸ方向に半ブロックずらされ、ブロック３１２は、着目するブロック３１０に対してＹ方向に半ブロックずらされ、ブロック３１３は、着目するブロック３１０に対してＸ方向およびＹ方向に半ブロックずつずらされている。このとき、各ブロック３１０〜３１３の評価領域３２０〜３２３は、それぞれ接する。
【００４１】
図４Ａは、図２のブロックレベル参照画像作製処理の例を示すブロック図である。
図４Ａにおいて、ブロックレベル参照画像作製処理２５０Ａでは、画像処理装置は、それぞれのブロックの評価領域の平均値を、入力画像２００の各ブロックの値とする縮小処理４５０〜４５３を行い、ブロックレベル参照画像２２０Ａ〜２２３Ａを作製する。この縮小処理４５０〜４５３では、例えば、ブロックサイズが８×８画素である場合、入力画像２００の１／８縮小画像が得られる。各ブロックレベル参照画像２２０Ａ〜２２３Ａでは、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに縮小処理４５０〜４５３を行う。この処理については、以下の特許文献１に述べられている。
【００４２】
【特許文献１】特願２０１８−１４５４３５１号明細書
【００４３】
図４Ｂは、図２のブロックレベル参照画像作製処理のその他の例を示すブロック図である。
図４Ｂにおいて、ブロックレベル参照画像作製処理２５０Ｂでは、画像処理装置は、縮小処理４５４により、半ブロックずつずれたブロックのそれぞれの評価領域の平均値を、各ブロックの値とする１つの縮小画像であるブロックレベル参照画像４２４を作製する。
【００４４】
次に、画像処理装置は、分割処理４５５により、１つの縮小画像であるブロックレベル参照画像４２４の飛び飛びの値を参照し、半ブロックずつずれた４つの評価領域の値を平均した縮小画像であるブロックレベル参照画像２２０Ｂ〜２２３Ｂに分割する。この処理の構成は、上記特許文献１に述べられていないが、数学的には図４Ａの処理と同じである。
【００４５】
図５Ａは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
図５Ａにおいて、ブロックレベル参照画像作製処理２５０Ｃでは、画像処理装置は、それぞれのブロックの評価領域の平均値を、各ブロックの値とする縮小処理４５０〜４５３を行い、ブロックレベル参照画像５２０〜５２３を作製する。
【００４６】
次に、画像処理装置は、各ブロックレベル参照画像５２０〜５２３に対し加工処理５５０〜５５３を行い、ブロックレベル参照加工画像２２０Ｃ〜２２３Ｃを作製する。なお、上記特許文献１には、ブロックレベル参照画像５２０〜５２３を処理することもできることが記載されているが、加工処理５５０〜５５３の具体的な処理内容の記載がない。
【００４７】
図５Ｂは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
図５Ｂにおいて、ブロックレベル参照画像作製処理２５０Ｄでは、画像処理装置は、縮小処理４５４により、半ブロックずつずれたブロックのそれぞれの評価領域の平均値を、各ブロックの値とする１つの縮小画像であるブロックレベル参照画像４２４を作製する。
【００４８】
次に、画像処理装置は、ブロックレベル参照画像４２４に対し加工処理５５４を行い、ブロックレベル参照加工画像５２４を作製する。
【００４９】
次に、画像処理装置は、分割処理４５５により、１つの加工画像であるブロックレベル参照加工画像５２４の飛び飛びの値を参照し、半ブロックずつずれた４つの評価領域の値を平均した縮小画像であるブロックレベル参照加工画像２２０Ｄ〜２２３Ｄに分割する。なお、この処理の構成については上記特許文献１には記載されていない。
【００５０】
このブロックレベル参照画像作製処理２５０Ｄでは、加工処理５５４は、１つのブロックレベル参照画像４２４の処理となり、コントラスト変換処理を容易化することができる。
【００５１】
以下、ブロックレベル参照画像の加工処理について具体的に記載する。
【００５２】
ブロックレベル参照画像の加工処理の一例は、エッジ強調処理である。エッジ強調処理として、例えば、アンシャープマスキングと呼ばれる処理がある。図５Ａの場合のアンシャープマスキング処理は、下記の（１）式で与えることができる。
【００５３】
Ｂ０＝Ｂｍ０＋ｋ・（Ｂｍ０−Ｈ（Ｂｍ０））      ・・・（１）
ここで、Ｂ０は、ブロックレベル参照加工画像２２０Ｃ、Ｂｍ０は、ブロックレベル参照画像５２０である。Ｈ（）は、所定の範囲の平均値を取る演算、ｋは強調の程度を示すパラメータである。
【００５４】
また、画像どうしの加算の演算は、着目する点ごとに加算する。Ｂｍ０−Ｈ（Ｂｍ０）は、Ｂｍ０の着目点の周囲の所定の範囲の平均値を求め、Ｂｍ０の着目点の値から、この平均値を引くことを各点ごとに行う。平均を求めるサイズは、着目点を中心とする３×３の領域の場合、Ｂｍ０−Ｈ（Ｂｍ０）は、ラプラシアンフィルタをかけた画像となる。平均を求めるサイズが、例えば、１５×１５画素のような広い範囲の場合、Ｂｍ０−Ｈ（Ｂｍ０）は、凹凸を強調した画像となる。
【００５５】
また、ブロックレベル参照加工画像２２１Ｃ〜２２３Ｃについても（１）式の処理と同様に計算し、４回の処理が必要になる。
【００５６】
図５Ｂの場合のアンシャープマスキング処理は、下記の（２）式で与えることができる。
【００５７】
Ｂｍ＝Ｂｔ＋ｋ・（Ｂｔ−Ｈ（Ｂｔ））      ・・・（２）
【００５８】
ここで、Ｂｍは、１つのブロックレベル参照加工画像５２４、Ｂｔは、１つのブロックレベル参照画像４２４である。ブロックレベル参照画像４２４の加工処理５５４は、１回で済ませることができる。なお、以上の処理では、入力画像２００を縮小処理４５４を行い縮小し、加工処理５５４を行う例を示したが、入力画像２００を加工処理してから縮小処理４５４を行なうこともできる。
【００５９】
図６は、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
図６において、画像処理装置は、図５Ｂの加工処理５５４として、図２の処理を入れ子構造にした加工処理５５４Ｅを行う。加工処理５５４Ｅ内の微分処理６４０後の加工処理６４１は、微分画像の強調処理とすることができる。この場合、縮小処理４５４により作製されたブロックレベル参照画像４２４にも微分処理６４０が行われるため、多重分解能の微分処理となる。
【００６０】
すなわち、図６のブロックレベル参照画像４２４は、図２の入力画像２００に対応する画像となり、図６のブロックレベル参照加工画像５２４は、図２の出力画像２３４に対応した画像となる。また、低分解能の処理と高分解能の処理を対比すると、１つの縮小画像であるブロックレベル参照画像４２４は、入力画像２００に対比でき、微分処理６４０は、微分処理２４０に対比でき、微分画像の加工処理６４１は、微分画像の加工処理２４１に対比でき、ブロックレベル参照画像作製処理６５０は、ブロックレベル参照画像作製処理２５０に対比でき、積分コントラス統合処理６７０は、積分コントラス統合処理２７０に対比できる。
【００６１】
微分処理２４０、６４０および積分コントラス統合処理２７０、６７０は、処理する画像サイズが異なるだけで、同一の処理である。微分画像の加工処理２４１、６４１およびブロックレベル参照画像作製処理２５０、６５０は、それぞれ異なる処理またはパラメータを用いた処理であってもよい。ここで、微分画像の加工処理６４１において、微分画像を所定倍（例えば、ｋ２倍）する処理を行うと、得られる１つのブロックレベル参照加工画像５２４は、局所的な凹凸が所定倍（ｋ２倍）された強調画像となる。
【００６２】
なお、図６の微分画像の加工処理６４１で微分画像をｋ２倍する処理と同様の処理したブロックレベル参照加工画像５２４を得る処理は、図５Ｂの加工処理５５４で（２）式を用い、パラメータを所定の値に設定することでも行うこともできる。すなわち、図６の微分画像をブロックに分けるブロックサイズと、図５Ｂの加工処理５５４で（２）式の平均を求めるサイズがほぼ同じであれば、図６の強調処理と似たような強調をした加工を行うことができる。例えば、ブロックサイズが１６×１６の場合、（１）式または（２）式の平均値を求めるサイズが１５×１５または１７×１７で、（１）式または（２）式のＫを、Ｋ＝Ｋ２−１（ただし、Ｋ２は所定倍）とすると、得られるブロックレベル参照加工画像５２４として似たような強調画像が得られる。
【００６３】
ブロックレベル参照画像４２４の加工処理のその他の例は、グローバルなレベル変換を行う処理である。例えば、図５Ｂの加工処理５５４において、グローバルなレベル変換を行う処理は、以下の（３）式で与えることができる。
【００６４】
Ｂｍ（ｉｊ）＝（ｃ１−ｃ０）×Ｂｔ（ｉ，ｊ）／（Ｂｔｍａｘ−Ｂｔｍｉｎ）＋ｃ０
・・・（３）
【００６５】
ここで、ｃ０、ｃ１は、この処理で作製される画像Ｂｍの最大値と最小値となるパラメータで、Ｂｔｍａｘは画像Ｂｔの最大値、Ｂｔｍｉｎは画像Ｂｔの最小値である。例えば、画像の表示レベルが０から２５５の場合、ｃ０＝０、ｃ１＝２５５に選ぶと、ブロックレベル参照加工画像５２４は、表示レベルの最大のレンジ内で収まる値になるが、オフセット調整ブロック積分画像２３０〜２３３は、平均値を０または２５５またはそれに近い値にオフセット調整した箇所などは、画像の表示レベルを超える値を持ち、表示時にサチレーションを起こす箇所が出る可能性がある。
【００６６】
サチレーションを避けるために、例えば、ｃ０＝２０、ｃ１＝２３５とし、与えられた平均値からの０のレベル変動は表示できることを保証するなど、所定の範囲のレベル変動の表示ができることを保証するレベル変換を行うこともできる。また、最大値Ｂｔｍａｘが２５５より大幅に低い値または最小値Ｂｔｍｉｎが０より大幅に大きい画像の場合は、（３）式の処理は、サチレーションを抑えた表示ができる範囲を増やし、グローバルなコントラストを向上させることができる。
【００６７】
なお、（３）式は、図５Ｂのブロックレベル参照画像４２４の加工処理５５４に適用されるが、図５Ａの場合も、（３）式と同様な４つの式で変換することができる。
【００６８】
グローバルなレベル変換を行う処理は、この他にも、ヒストグラム平滑化または画像のブロックごとに変換に制限を設けたヒストグラム平滑化を行うＣＬＡＨＥや、トーンマッピングと呼ばれる非線形の輝度変換を行う処理でもよい。
【００６９】
その他、入力画像２００の値に無関係に均一値とすることもできる。このようなグローバルな輝度変換またはコントラスト変換を行う方法をブロックレベル参照画像４２４の加工処理５５４に用いることができる。ブロックレベル参照画像４２４の加工処理５５４は、上記のエッジ強調を行う処理と、上記のグローバルな輝度変換を行う加工処理の双方とも行ってもよい。
【００７０】
以下、図２のオフセット調整処理２６０〜２６３について、オフセット調整処理２６０を例に詳細を述べる。
【００７１】
ブロック積分画像２１４は、入力画像２００を所望のブロックサイズで分割したブロックごとに積分した画像である。このとき、図３（ａ）に示すように、例えば、着目するブロック３００には、それと一致した評価領域を設定してもよい。あるいは、図３（ｃ）に示すように、例えば、着目するブロック３１０には、その中心に位置する半分の長さを持つ評価領域３２０を設定してもよい。
【００７２】
以下、着目するブロック３１０に評価領域３２０が設定された場合を例にとってオフセット調整処理２６０を説明する。
【００７３】
ブロック積分画像２１４を着目するブロック３１０ごとに積分する場合、着目するブロック３１０ごとに評価領域３２０が設定される。この積分されるブロック内での評価領域３２０の画素値の平均値をｈ１とする。
【００７４】
また、ブロックレベル参照画像２２０の評価領域３２０に対応した点は、入力画像２００のブロック内での評価領域３２０の画素値の平均値、またはこの平均値に加工処理５５０を行った値を持つ。ブロックレベル参照画像２２０の評価領域３２０に対応した点の値をｈ０とする。
【００７５】
オフセット調整処理２６０は、ブロック積分画像２１４の着目するブロック３１０の各点の値にそれぞれｈ０−ｈ１を足した値を、オフセット調整ブロック積分画像２３０の対応点の値とする処理を、入力画像２００を分割したブロックごとに行う。
【００７６】
これにより、オフセット調整ブロック積分画像２３０の着目するブロック３１０の評価領域３２０の平均値はｈ０となり、ブロック積分画像２１４の着目するブロック３１０の平均値がブロックレベル参照画像２２０の対応点の値に置き換わる。画像処理装置は、このブロック積分画像２１４のブロックごとの平均値の置き換え処理をブロック積分画像２１４の全てのブロックで行い、オフセット調整ブロック積分画像２３０を得る。このとき、オフセット調整ブロック積分画像２３０の各ブロックの評価領域の平均値は、そのブロックに対応したブロックレベル参照画像２２０の値に置き換わる。
【００７７】
画像処理装置は、オフセット調整処理２６１〜２６３についても、オフセット調整処理２６０と同様の処理を行う。このとき、オフセット調整ブロック積分画像２３１〜２３３のそれぞれの評価領域の平均値は、そのブロックに対応したブロックレベル参照画像２２１〜２２３の値に置き換わる。
【００７８】
オフセット調整処理２６０〜２６３を行うことにより、図５Ａの加工処理５５０〜５５３にて作製されたブロックレベル参照加工画像２２０Ｃ〜２２３Ｃまたは図５Ｂの加工処理５５４および分割処理４５５にて作製されたブロックレベル参照加工画像２２０Ｄ〜２２３Ｄは、図２のオフセット調整ブロック積分画像２３０〜２３３の対応する評価領域内の平均値を与えることができる。
【００７９】
従って、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４は、オフセット調整ブロック積分画像２３０〜２３３の対応する評価領域内の平均値を変化させることができる。図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４がエッジ強調処理の場合、オフセット調整ブロック積分画像２３０〜２３３の対応する評価領域のエッジのコントラストを強調することができる。すなわち、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４がエッジ強調処理の場合、評価領域程度の低分解能のコントラストを強調する処理になる。
【００８０】
また、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４がグローバルなコントラストを強調する処理の場合、オフセット調整ブロック積分画像２３０〜２３３の対応する評価領域のグローバルなコントラストを強調することができる。これらのオフセット調整ブロック積分画像２３０〜２３３に対して図２の重み付平均処理２６４を行うことにより、オフセット調整ブロック積分画像２３０〜２３３のブロック歪が低減された出力画像２３４が作製される。
【００８１】
このとき、出力画像２３４は、オフセット調整ブロック積分画像２３０〜２３３の低分解能のコントラストまたはグローバルなコントラストと近いコントラストを持つ。すなわち、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４は、出力画像２３４のグローバルから低分解能までのコントラストを調整する処理となる。
【００８２】
出力画像２３４に実施されたグローバルから低分解能までのコントラストの調整処理は、出力画像２３４の局所的な高分解能のコントラストにはほとんど影響しない。従って、微分画像の加工処理２４１においてエッジ強調の処理を行い、局所的な高分解能のコントラストを向上させることにより、出力画像２３４に実施されたグローバルから低分解能までのコントラストの調整処理とほぼ独立して、出力画像２３４の局所的な高分解能のコントラストを向上させることができる。
【００８３】
このように、上述した実施形態では、画像処理装置は、加工処理２４１にて入力画像２００の局所的な高分解能のコントラストを変更し、局所的な高分解能のコントラストの変更処理とほぼ独立して、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４にて入力画像２００のグローバルから低分解能までのコントラストを変更することができる。このため、画像処理装置は、局所的な高分解能のコントラストを向上させつつ、低分解能のコントラストを向上させたり、輝度の低い箇所または高い箇所でサチレーションをある程度抑えたり、表示レベルを最大限活用するグローバルなコントラストを向上させたりすることができる。
【００８４】
例えば、画像処理装置は、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４にてエッジ強調などローカルなコントラストを強調する処理を行う場合、出力画像２３４の低分解能のコントラストを向上させることができる。また、画像処理装置は、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４にてグローバルなコントラストを好みに応じて変更する場合は、出力画像２３４のグローバルなコントラストを好みに応じて変更することができる。
【００８５】
特に、入力画像２００の画素値が低い箇所および高い箇所では、入力画像２００の凹凸が表現し難い部分がある。ここで、図５Ａの加工処理５５０〜５５３または図５Ｂの加工処理５５４により、図５Ａのブロックレベル参照加工画像２２０Ｃ〜２２３Ｃまたは図５Ｂのブロックレベル参照加工画像５２４の持つ値の最小値または最大値に制限を設けたり、所定の値より低い値を高くしたり、所定の値より高い値を低くすることができ、出力画像２３４の暗い箇所および明るい箇所の凹凸の表現性を向上させ、局所的なコントラストを向上させることができる。
【００８６】
入力画像２００の局所的な高分解能のコントラストの変更と独立して、低分解能から高分解能までのコントラストを向上させることが可能な基本的な処理は、図２のオフセット調整処理２６０〜２６３である。画像処理装置は、このオフセット調整処理２６０〜２６３により、ブロック積分画像２１４〜２１７のグローバルから低分解能までのコントラストをブロックレベル参照画像２２０〜２２３の対応する画素値に置き換えることができる。
【００８７】
このとき、オフセット調整処理２６０〜２６３では、コントラストが変更される被コントラスト変更画像としてブロック積分画像２１４〜２１７が入力となり、そのコントラストを変更するために参照されるコントラスト参照画像としてブロックレベル参照画像２２０〜２２３が入力となる。そして、オフセット調整処理２６０〜２６３は、被コントラスト変更画像の評価領域の平均値をコントラスト参照画像の対応位置の値に変更し、局所的な高分解能のコントラストの変更と独立して、グローバルから低分解能までのコントラストを変更することができる。
【００８８】
以上説明したように、上述した第１実施形態によれば、オフセット調整処理２６０〜２６３により、被コントラスト変更画像とコントラスト参照画像を入力として、被コントラスト変更画像の所望の領域の平均値をコントラスト参照画像の対応位置の値に変更することができる。
【００８９】
このとき、画像処理装置は、入力画像の所望の領域の平均値を値とする低分解能画像を作製し、この低分解能画像の局所的なコントラストを変更する処理、またはこの低分解能画像のグローバルなコントラストを変更する処、理またはこれら双方の処理を含む画像処理を行ったコントラスト参照加工画像をコントラスト参照画像の代わりに用いてもよい。
【００９０】
これにより、画像処理装置は、局所的な高分解能なコントラストは保存されるとともに、グローバルから低分解能までのコントラストが変更された出力画像２３４を作製することができる。また、画像処理装置は、入力画像２００の局所的なコントラストを向上させるコントラスト変更処理を行った場合においても、その変更後の局所的なコントラストにほとんど影響を及ぼすことなく、グローバルから低分解能までのコントラストが変更された出力画像２３４を作製することができる。
【００９１】
例えば、画像処理装置は、Ｘ方向微分画像２１０とＹ方向微分画像２１１に対し、加工処理２４１を施すことにより、積分処理２４２〜２４５によって得られるブロック積分画像２１４〜２１７の局所的な高分解能なコントラストを変更し、局所的な高分解能なコントラストが変更された出力画像２３４を作製することができる。
【００９２】
一例として、画像処理装置は、以下の（４）式から（７）式に基づいて、入力画像２００からＸ方向微分画像２１０とＹ方向微分画像２１１を作製し、加工処理２４１によりＸ方向加工微分画像２１２とＹ方向加工微分画像２１３を作製する。
【００９３】
Ｄｘ（ｘ，ｙ）＝Ｉ（ｘ＋１，ｙ）−Ｉ（ｘ，ｙ）      ・・・（４）
【００９４】
Ｄｙ（ｘ，ｙ）＝Ｉ（ｘ，ｙ＋１）−Ｉ（ｘ，ｙ）      ・・・（５）
【００９５】
Ｅｘ（ｘ，ｙ）＝ｋ＊（Ｄｘ（ｘ，ｙ）−ｃ）＋ｃ（Ｄｘ（ｘ，ｙ）≧ｃの場合）
＝Ｄｘ（ｘ，ｙ）＊｜Ｄｘ（ｘ，ｙ）｜／ｃ（｜Ｄｘ（ｘ，ｙ）｜＜ｃの場合）
＝ｋ＊（Ｄｘ（ｘ，ｙ）＋ｃ）−ｃ（Ｄｘ（ｘ，ｙ）≦−ｃの場合）      ・・・（６）
【００９６】
Ｅｙ（ｘ，ｙ）＝ｋ＊（Ｄｙ（ｘ，ｙ）−ｃ）＋ｃ（Ｄｙ（ｘ，ｙ）≧ｃの場合）
＝Ｄｙ（ｘ，ｙ）＊｜Ｄｙ（ｘ，ｙ）｜／ｃ（｜Ｄｙ（ｘ，ｙ）｜＜ｃの場合）
＝ｋ＊（Ｄｙ（ｘ，ｙ）＋ｃ）−ｃ（Ｄｙ（ｘ，ｙ）≦−ｃの場合）      ・・・（７）
【００９７】
ただし、Ｉ（ｘ，ｙ）は、入力画像２００の点（ｘ，ｙ）の画素値、Ｄｘ（ｘ，ｙ）は、Ｘ方向微分画像２１０の点（ｘ，ｙ）の画素値、Ｄｙ（ｘ，ｙ）は、Ｙ方向微分画像２１１の点（ｘ，ｙ）の画素値、Ｅｘ（ｘ，ｙ）は、Ｘ方向加工微分画像２１２の点（ｘ，ｙ）の画素値、Ｅｙ（ｘ，ｙ）は、Ｙ方向加工微分画像２１３の点（ｘ，ｙ）の画素値である。ｋとｃは、局所的な加工を行う所定のパラメータ値である。｜Ｄｘ（ｘ，ｙ）｜は、Ｄｘ（ｘ，ｙ）の絶対値である。
【００９８】
（６）式の処理により、Ｘ方向微分画像２１０のＤｘ（ｘ，ｙ）は、絶対値がｃより小さい場合は、２乗の式に従って絶対値がより小さくなり、絶対値がｃより大きい場合は、値がｋ倍される。
【００９９】
この他にも、加工処理２４１を行う方法は各種あり、例えば、絶対値がｃ２以下の場合は０にする閾値処理、各種フィルタ処理またはニューラルネットを用いた処理などでもよい。
【０１００】
なお、この加工処理２４１が出力画像２３４に与える影響は、局所的な高分解能のコントラストにのみ有効である。グローバルから低分解能のコントラストは、オフセット調整２６０〜２６３によって入れ替えられるので、加工処理２４１が出力画像２３４に与える影響はほとんどない。
【０１０１】
入力画像２００がカラー画像の場合、入力画像２００の各点は、３つの値を持つ。このとき、画像処理装置は、ＲＧＢの３色でそれぞれ上記の処理を行うことができ、各色で上記の処理のパラメータを変更することができる。例えば、画像処理装置は、Ｇ色を強調し、他のＲＢ色の強調を抑えるという処理も行うことができる。また、ＲＧＢ信号をＹＵＶ信号に変換する処理などを行い、Ｙ画像のみに上記の処理を行い、各ＵＶ画像はそのままにしてＲＧＢに戻す逆変換を行うこともできるし、Ｙ画像のみでなく、各ＵＶ画像も別のパラメータで強調処理することもできる。なお、ＹＵＶ信号の変換に限らず、ＹＣｂＣｒ信号に変換する処理などでも同様のことができる。
【０１０２】
その他、以上のような処理で、出力画像２３４に理想的に望まれるものと異なる不本意な再構成をした部分、例えば、不必要に汚れた部分などがある場合は、出力画像２３４を理想的に望まれる姿に変更する加工処理を行うこともできるし、出力画像２３４がそのような不本意な部分が生じないように、加工処理２４１で、微分画像の加工の仕方に制限を設けたり、工夫を加えたりすることもできる。
【０１０３】
なお、第１実施形態では、図２のオフセット調整２６０〜２６３の対象画像としてブロック積分画像２１４〜２１７を例にとったが、オフセット調整２６０〜２６３の対象画像は、必ずしもブロック積分画像２１４〜２１７に限定されることなく、それ以外の画像であってもよい。例えば、図２の微分処理２４０および積分処理２４２〜２５４を行わず、入力画像２００を単に加工した画像であってもよい。
【０１０４】
図７は、第２実施形態に係る画像処理装置の処理の流れを示すブロック図である。
図７において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を低分解能コントラスト入れ換え統合処理２７１で統合し、出力画像２３４Ｆを作製する。
【０１０５】
具体的には、画像処理装置は、入力画像２００に対して加工処理７４２〜７４５を行い、加工画像７１４〜７１７を作製する。加工処理７４２〜７４５は、ブロックレベル参照画像作製処理２５０で用いたブロックと同じブロックに入力画像２００を分割し、各分割したブロックごとに処理する。図２のブロック積分画像２１４〜２１７と同様に、加工画像７１４〜７１７の各ブロックは互いに半ブロックずつずれている。
【０１０６】
加工処理７４２〜７４５は、様々な処理をブロックごとに行うことができる。例えば、加工処理７４２〜７４５は、画像を所定の定数倍する処理である。画像を所定の定数倍する処理は、特願２０１８−１４５４３５明細書に記載された方法を用いることができる。また、上記（２）式で示すアンシャープマスキング処理、上記非特許文献１、２、３に記載された処理、その他のスーパーレゾリューション、デノイジング、平滑化または強調処理などを行うことができる。
【０１０７】
この場合、加工処理７４２〜７４５をブロックごとに行わず、画像全体で行い、４つの加工画像７１４〜７１７を同一画像にすることができる。４つの加工画像７１４〜７１７を同一画像にする場合、半ブロックごとに異なる４つの処理に分離する手間を省き、以下の図８に示すように、数学的に等価な簡略化した処理にすることもできる。
【０１０８】
なお、もう一方の処理であるブロックレベル参照画像作製処理２５０は、図２の処理と同様である。画像処理装置は、加工画像７１４〜７１７およびブロックレベル参照画像２２０〜２２３を入力として、加工画像７１４〜７１７に対してオフセット調整処理２６０〜２６３を行う。オフセット調整処理２６０〜２６３は、加工画像７１４〜７１７の評価領域の平均値をブロックレベル参照画像２２０〜２２３の対応する画素値に置き換える。
【０１０９】
これにより、画像処理装置は、加工画像７１４〜７１７の局所的な高分解能のコントラストを持ちながら、グローバルから低分解能までのコントラストがブロックレベル参照画像２２０〜２２３のコントラストに置き換わった出力画像２３４Fを作製することができる。なお、加工処理７４２〜７４５を何も処理をせずに、加工画像７１４〜７１７を入力画像２００と同じ画像にした場合は、入力画像２００のグローバルから低分解能までのコントラストがブッロクレベル参照画像２２０〜２２３のコントラストに置き換わった出力画像２３４Ｆが得られる。
【０１１０】
図８は、第３実施形態に係る画像処理装置の処理の流れを示すブロック図である。
図８において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を低分解能コントラスト入れ替え処理８７１で統合し、出力画像８３４を作製する。１つの処理の流れは、高分解能の画像の処理の流れ、もう一つの処理の流れは、低分解能の画像の処理の流れである。ここで、加工画像８１０は、グローバルから低分解能のコントラストの変更を受ける被コントラスト変更画像、ブロックレベル参照画像５２４は、被コントラスト変更画像のコントラストを変更する際に参照されるコントラスト参照画像である。
【０１１１】
具体的には、画像処理装置は、加工処理８４０により、入力画像２００を加工し、加工画像８１０を作製する。
【０１１２】
また、画像処理装置は、縮小処理４５４により、入力画像２００を縮小し、１つのブロックレベル参照画像４２４を作製する。ブロックレベル参照画像４２４は、入力画像２００のブロックごとの所定の評価領域の平均値を画素値とする縮小画像である。そして、画像処理装置は、加工処理５５４により、ブロックレベル参照画像４２４を加工し、ブロックレベル参照加工画像５２４を作製する。
【０１１３】
次に、低分解能コントラスト入れ替え処理８７１において、画像処理装置は、縮小処理８６０により、加工画像８１０を縮小し、縮小加工画像８３０を作製する。縮小加工画像８３０は、加工画像８１０のブロックごとの所定の評価領域の平均値を画素値とする縮小画像である。
【０１１４】
次に、画像処理装置は、減算処理８６１により、ブロックレベル参照加工画像５２４から縮小加工画像８３０を引き、差画像８３１を作製する。減算処理８６１は、ブロックレベル参照加工画像５２４および縮小加工画像８３０の対応した各点で一方の値から他方の値を引き、差画像８３１の対応した点の値とする処理である。
【０１１５】
次に、画像処理装置は、拡大処理８６２により、差画像８３１を補間拡大し、加工画像８１０の画像サイズと同じサイズの拡大差画像８３２を作製する。拡大処理８６２は、バイリニア補間またはキュービック補間などを用いることができる。
【０１１６】
次に、画像処理装置は、加算処理８６３により、加工画像８１０と拡大差画像８３２を加算し、出力画像８３４を作製する。加算処理８６３は、加工画像８１０および拡大差画像８３２の対応した各点で双方の値を加算した値を出力画像８３４の対応した点の値とする処理である。
【０１１７】
加工処理８４０は、図７の加工処理７４２〜７４５と同様の処理を行うことができる。また、入力画像２００に対して加工処理８４０も何も行わず、加工画像８１０の代わりに入力画像２００をそのまま低分解能コントラスト入れ替え処理８７１の入力とすることもできる。その他、デノイジング（ノイズ除去）、スーパーレゾリューション、強調、コントラスト強調、ヒストグラム変換またはトーンマッピングなど様々な処理を加工処理８４０として用いることができる。
【０１１８】
図８の処理では、加工画像８１０について、各点ごとに、所定の評価範囲の平均輝度を、ブロックレベル参照加工画像５２４の補間を通した輝度に置き換える。このとき、出力画像８３４の評価範囲内の平均輝度は、ブロックレベル参照加工画像５２４の対応した点の輝度と近い値になる。従って、画像処理装置は、ブロックレベル参照加工画像５２４を作製する加工処理５５４に基づいて、加工画像８１０のグローバルから低分解能のコントラストまでをブロックレベル参照画像５２４のコントラストと近いコントラストに変更した出力画像８３４を作製することができる。
【０１１９】
なお、このグローバルから低分解能のコントラストを変更する処理は、加工画像８１０の局所的な高分解能のコントラストにほとんど影響しない。従って、加工処理８４０で局所的な高分解能のコントラストを向上させる処理をした場合は、その局所的な高分解のコントラストを出力画像８３４に持たせることができる。
【０１２０】
ここで、拡大処理８６２に伴う補間方法をバイリニア補間にした場合において、図７の加工処理７４２〜７４５を同一の加工処理８４０のとした場合は、数学的には両者の処理は同一の処理となり、図８の出力画像８３４は、図７の出力画像２３４Ｆと同一である。なお、拡大処理８６２に伴う補間方法は、バイリニア補間より精度の良いキュービックコンボリューションまたは超解像など、その他の補間方法を用いるようにしてもよい。
【０１２１】
以上説明したように、上述した第３実施形態によれば、画像処理装置は、加工画像８１０の局所的な分解能を変更することなく、グローバルから低分解能までのコントラストを、ブロックレベル参照加工画像５２４のコントラストに置き換えた出力画像８３４を作製することができる。なお、上記図７の４つの加工処理７４２〜７４５を同一にして、図８の加工処理８４０にすると、図８の拡大処理８６２がバイリニア補間の場合、図８の低分解能コントラスト入れ替え処理８７１は、図７の低分解能コントラスト入れ換え統合処理２７１と数学的に等価な演算の入れ換えを行なったものとなっている。従って、この場合、図８の得られる出力画像８３４は、図７の出力画像２３４Fと同じものになる。
【０１２２】
また、図２の処理の中の一部の処理を除いた処理、すなわち、入力画像を微分し、微分画像を加工し、加工した微分画像を積分した画像を４つ作製する処理を行い、オフセット調整処理２６０〜２６３は行わずに、重み付平均処理２６４を行う処理を、加工処理８４０にすることもできる。この場合、図８の出力画像８３４は、図２のブロックレベル参照画像作製処理２５０を図５Ｂにした場合に得られる図２の出力画像２３４と同じものになる。
【０１２３】
図９は、第４実施形態に係る画像処理装置の処理の流れを示すブロック図である。
図９の処理では、図８の低分解能コントラスト入れ替え処理８７１の代わりに、低分解能コントラスト入れ替え処理９７１が設けられている。低分解能コントラスト入れ替え処理９７１は、図８の縮小処理８６０および減算処理８６１の代わりに、平均引き処理９６３が設けられている。
【０１２４】
具体的には、画像処理装置は、加工処理８４０により、入力画像２００を加工し、加工画像８１０を作製する。そして、画像処理装置は、低分解能コントラスト入れ替え処理９７１において、平均引き処理９６３により、平均引き加工画像９１０を作製する。。
【０１２５】
また、画像処理装置は、縮小処理４５４により、入力画像２００を縮小し、１つのブロックレベル参照画像４２４を作製する。そして、画像処理装置は、加工処理５５４により、ブロックレベル参照画像４２４を加工し、ブロックレベル参照加工画像５２４を作製する。さらに、画像処理装置は、低分解能コントラスト入れ替え処理９７１において、拡大処理８６２により、ブロックレベル拡大参照画像９３０を作製する。
【０１２６】
次に、画像処理装置は、加算処理８６３により、平均引き加工画像９１０とブロックレベル拡大参照画像９３０を加算し、出力画像９３４を作製する。
【０１２７】
平均引き処理９６３は、その入力である加工画像８１０の着目点を中心とする所定の評価領域の平均値を求め、着目点の値からその平均値を引いた値を平均引き加工画像９１０の着目点の値とする処理である。この処理を加工画像８１０の全ての着目点で行う。所定の評価領域は、ブロックレベル参照画像４２４を作製した際の評価領域と同一の大きさとする。ただし、ブロックレベル参照画像４２４の評価領域は、図３（ｄ）に示すように、画像値から見ると飛び飛びの評価領域を持っていたが、平均引き加工画像９１０の評価領域は、着目点が１画素変れば、それに伴い１画素ずれる評価領域を持ち、評価領域が画素単位で連続的に移動する。
【０１２８】
数学的には、図８の例では、加工画像８１０について、ブロックレベル参照画像４２４と同じ飛び飛びの評価領域内の平均値を値とする縮小画像８３０を作製し、この縮小画像８３０を拡大処理８６２で補間拡大した画像を加工画像８１０から引いていた。図９の例では、各点ごとに評価領域内の平均値を求め、加工画像８１０から引いているので、その違いは、補間精度による差のみとなる。従って、出力画像８３４、９３４の違いは、この補間精度による差のみとなる。
【０１２９】
以上説明したように、上述した第４実施形態によれば、画像処理装置は、加工画像８１０の局所的な分解能を変更することなく、グローバルから低分解能までのコントラストを、ブロックレベル参照加工画像５２４のコントラストに置き換えた出力画像８３４を作製することができる。このとき、図９の処理は、図８の処理より簡易化することができ、画像処理装置の負荷を軽減することができる。
【０１３０】
なお、上述した加工処理２４１、６４１、７４２〜７４５、８４０、５５０〜５５３、５５４にニューラルネットを用いるようにしてもよい。例えば、下記の非特許文献４のデノイジングまたは非特許文献５のスーパーレゾリューションにニューラルネットを用いることができる。ただし、非特許文献５に記載された方法は、分解能が上がるため、オフセット調整処理２６０〜２６３のオフセット調整をする評価範囲は、分解能が向上したことに伴い、それぞれ対応した加工画像８１０の評価範囲となる。
【０１３１】
【非特許文献４】Ｋａｉ  Ｚｈａｎｇ，  Ｗａｎｇｍｅｎｇ  Ｚｕｏ，  Ｙｕｎｊｉｎ  Ｃｈｅｎ，  Ｄｅｙｕ  Ｍｅｎｇ，  ａｎｄ  Ｌｅｉ  Ｚｈａｎｇ，“Ｂｅｙｏｎｄ  ａ  Ｇａｕｓｓｉａｎ  Ｄｅｎｏｉｓｅｒ：  Ｒｅｓｉｄｕａｌ  Ｌｅａｒｎｉｎｇ  ｏｆ  Ｄｅｅｐ  ＣＮＮ  ｆｏｒ  Ｉｍａｇｅ  Ｄｅｎｏｉｓｉｎｇ，”ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，  ＶＯＬ．  ２６，  ＮＯ．  ７，  ＪＵＬＹ  ２０１７．
【０１３２】
【非特許文献５】Ｃｈａｏ  Ｄｏｎｇ，  Ｃｈｅｎ  Ｃｈａｎｇｅ  Ｌｏｙ，  Ｋａｉｍｉｎｇ  Ｈｅ，  ａｎｄ  Ｘｉａｏｏｕ  Ｔａｎｇ，  “Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｕｓｉｎｇ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ，”  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．  ３８，  ＮＯ．  ２，  ＦＥＢＲＵＡＲＹ  ２０１６．
【０１３３】
その他、認識を伴い、特徴となる部位を強調する下記の非特許文献６のニューラルネットの処理も同様に用いることができる。ニューラルネットを用いた処理については、他にも様々な処理があり、それらの処理を用いるようにしてもよい。
【０１３４】
【非特許文献６】Ｒ．  Ｒ．  Ｓｅｌｖａｒａｊｕ，  Ｍ．  Ｃｏｇｓｗｅｌｌ，  Ａ．  Ｄａｓ，  Ｒ．  Ｖｅｄａｎｔａｍ，  Ｄ．  Ｐａｒｉｋｈ，  ａｎｄ  Ｄ．  Ｂａｔｒａ，  “Ｇｒａｄ−ｃａｍ：  Ｖｉｓｕａｌ  ｅｘｐｌａｎａｔｉｏｎｓ  ｆｒｏｍ  ｄｅｅｐ  ｎｅｔｗｏｒｋｓ  ｖｉａ  ｇｒａｄｉｅｎｔ−ｂａｓｅｄ  ｌｏｃａｌｉｚａｔｉｏｎ，”  Ｉｎ  Ｔｈｅ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  （ＩＣＣＶ），  ２０１７．
【０１３５】
図１０Ａは、画像の加工処理の一例を示すブロック図である。なお、図１０Ａは、加工処理８４０Ａに２層のニューラルネットを用いた例を示す。
図１０Ａにおいて、ニューラルネットは、第１層１００１および第２層１００２を備える。画像処理装置は、加工処理８４０Ａにおいて、入力画像２００を第１層１００１の入力データＸ０とし、第１層１００１の出力データＸ１を第２層１００２の入力データとし、第２層１００２の出力データＸ２を加工画像８１０Ｂとする。
【０１３６】
第１層１００１および第２層１００２は、それぞれニューロンを複数持ち、それぞれのニューロンは、入力データに重みＷ１、Ｗ２を掛けて加算し、さらにバイアスＢ１、Ｂ２を加算して活性化関数を介して出力値が決まる。活性化関数には、正規化線形関数などを使う。それぞれのニューロンの重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２は異なっていてもよい。例えば、コンボリューショナルネットワークは、重みは、画像の着目点を中心としてコンボリューションの形をしており、同じコンボリューションの重みを持つニューロンが各点ごとにあり、別のコンボリューションの重みを持つニューロンが各点ごとにある複数のコンボリューションのチャネルを持ったニューラルネットワークである。
【０１３７】
このコンボリューショナルネットワークを採用した場合、例えば、入力画像２００がｎｘ×ｎｙのサイズで、１チェネルの場合、第１層１００１は、ｓ１×ｓ１のコンボリューションを行うニューロンをｎｘ×ｎｘ×ｃｈ１個持つものを用いる。ただし、ｃｈ１はコンボリューションの種類の数を示す。画像の端を担当するニューロンは、画像の端の参照できない場合は、その点に最も近い画像の値を参照する。第２層は、ｓ２×ｓ２×ｃｈ１のコンボリューションを行うニューロンをｎｘ×ｎｙ個持つものを用いる。ｓ１およびｓ２は、７または１５など、適切な値が選ばれる。
【０１３８】
図１０Ｂは、画像の加工処理のその他の例を示すブロック図である。
図１０Ｂにおいて、画像処理装置は、加工処理８４０Ｂにおいて、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力データＸ１０を第１層１００１の入力データとし、第１層１００１の出力データＸ１１を第２層１００２の入力データとし、第２層１００２の出力データＸ１２を後処理１０１２の入力データとし、後処理１０１２の出力データを加工画像８１０Ｂとする。
【０１３９】
前処理１０１１は、例えば、平均値を引く処理または正規化する処理などである。後処理１０１２は、前処理１０１１で行った演算の逆演算である。また、入力画像２００がカラー画像の場合は、ＹＵＶ変換をして、Ｙ画像を出力とし、Ｙ画像のみをニューラルネットで処理し、後処理１０１２では、処理したデータを新たにＹ画像とし、前処理１０１１で得られたＵＶ画像を使い、ＹＵＶからＲＧＶにする逆演算をしてカラーの加工画像８１０Ｂを作製することもできる。ただし、前処理１０１１でＹＵＶ変換せず、カラー画像に対応させて、第１層１００１をｓ１×ｓ１×３チャネルの入力に対応するニューロンにしたり、第２層１００２を３チャネル出力に対応させた３チャネルのニューロン層にすることもできる。
【０１４０】
図１１は、図１０Ｂのニューラルネットの学習方法を示すブロック図である。
図１１において、例えば、デノイジングを行うニューラルネットの場合は、学習データとして、ノイズのない画像データを多数用意し、この画像データにランダムノイズを加えた画像を多数用意する。ランダムノイズを加えた画像を前処理１０１１に入力し、第１層１００１、第２層１００２および後処理１０１２に進む。
【０１４１】
更新量計算処理１１１０は、ランダムノイズを加える前の画像と、後処理１０１２の出力画像がなるべく近い値に近づくように、各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新量をバックプロパゲーション法で計算し、各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２を更新する。バックプロパゲーションの計算負荷を減らすため、ランダムノイズを加える前の画像を前処理１０１１に入力し、前処理１０１１の出力データが第２層１００２の出力データとなるべく近くなるように各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新計算をしてもよい。
【０１４２】
スーパーレゾリューションを行うニューラルネットの場合は、学習データとして、分解能の高い画像を多数用意し、平均などを行って縮小処理した低分解能画像を用意する。そして、低分解能画像を前処理１０１１に入力し、第１層１００１、第２層１００２および後処理１０１２に進む。
【０１４３】
更新量計算処理１１１０は、後処理１０１２の出力が縮小処理を行う前の高分解能画像になるべく近づくように各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新量を計算する。この場合、第２層１００２の出力は、高分解画像である。このため、加工処理８４０Ｂの入力画像２００は低分解能画像、加工画像８１０Ｂは高分解能画像となる。このとき、図８の縮小処理８６０は、この高分解能化と縮小処理４５４が反映されたサイズの縮小処理となる。
【０１４４】
図１２は、画像の加工処理のさらにその他の例を示すブロック図である。なお、図１２は、加工処理８４０に多層のニューラルネットを用いた例を示す。
図１２において、ニューラルネットは、第１層１２０１〜第２ｎ（ｎは２以上の整数）−１層１２０４を備える。
【０１４５】
画像処理装置は、加工処理８４０Ｃにおいて、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力を第１層１２０１の入力データとし、第２ｎ−１層１２０４の出力データを後処理１０１２に入力し、後処理１０１２の出力データを加工画像８１０Ｃとする。
【０１４６】
第１層１２０１〜第２ｎ−１層１２０４は、それぞれニューロンを複数持ち、それぞれのニューロンは、入力データに重みＷ１、Ｗｎ、Ｗｎ＋１、Ｗ２ｎ−１を掛けて加算し、さらにバイアスＢ１、Ｂｎ、Ｂｎ＋１、Ｂ２ｎ−１を加算して活性化関数を介して出力値が決まる。
【０１４７】
多層のニューラルネットの学習では、第１層１２０１は、図１１Ｂの第２層のニューラルネットの第１層１００１を用いる。例えば、デノイズのニューラルネットの場合は、ノイズを加えた画像を第２層１２０２まで流し、第２層１２０２の出力をダミー層に繋ぎ、ダミー層の出力データを作る。また、ノイズを加える前の画像を第２層１２０２まで流し、その出力データが、先のダミー層の出力データとなるべく近くなるように第２層１２０２と、ダミー層の重みおよびバイアスを更新する。多くの学習データで学習した後、ダミー層は捨て、第２層１００２は残す。このようにして、第ｎ層１２０２まで順次学習させる。
【０１４８】
第ｎ＋１層１２０３の学習では、ダミー層を加えるが、ノイズを加える前の画像の第ｎ−１層への入力データ、すなわち、第ｎ−２層の出力データと、ノイズを加えた画像のダミー層の出力データとがなるべく近くなるように重みおよびバイアスを更新する。このようにして、ノイズを加えた画像の第ｎ＋ｍ層＋ダミー層の出力データと、ノイズを加える前の画像の第ｎ−ｍ層の入力データがなるべく近くなるように順次学習を進め、第２ｎ−１層１２０４まで学習させる。
【０１４９】
図１３は、画像の加工処理のさらにその他の例を示すブロック図である。
図１３において、画像処理装置は、図１２の第ｎ層１２０２までをコンボリューション層として活用し、さらに認識用ニューラルネット１３００と、第ｎ層出力相当データ再構成用ニューラルネット１３０２を備える。
【０１５０】
認識用ニューラルネット１３００および第ｎ層出力相当データ再構成用ニューラルネット１３０２は、各々２層のニューラルネットワークからなり、各層は全結合をする。
【０１５１】
画像処理装置は、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力を第１層１２０１の入力データとし、第ｎ層１２０２の出力データを認識用ニューラルネット１３００に入力し、認識用ニューラルネット１３００の出力データを第ｎ層出力相当データ再構成用ニューラルネット１３０２に入力するとともに、認識処理１３０１を行う。認識処理１３０１は、認識用ニューラルネット１３００の出力の中から一番大きな値を持つニューロンの位置を求める処理で、この位置が認識結果と対応する。
【０１５２】
認識用ニューラルネット層１３００の学習では、学習データとして、認識結果のフラグの付いた学習用画像を多数用意する。学習用画像を入力画像２００とし、認識処理１３０１の認識結果がその画像のフラグと一致するように、認識用ニューラルネット層１３００の各ニューロンの重みとバイアスを更新する。多くの学習データで認識結果の学習をした後、第ｎ層出力相当データ再構成用ニューラルネット１３０２の出力が、第ｎ層１２０２の出力データとなるべく近くなるように第ｎ層出力相当データ再構成用ニューラルネット１３０２の重みとバイアスを更新する。このようにして、認識１３０１が行われ、第ｎ層１２０２の出力データに近い出力データが得られるニューラルネットが作製される。
【０１５３】
図１４は、画像の加工処理のさらにその他の例を示すブロック図である。
図１４において、画像処理装置は、図８または図９の加工処理８４０として、図１３の学習後のニューラルネットに、認識強調処理１４０１と、図１２の第ｎ＋１層１２０３以降のニューラルネットを加えた加工処理８４０Ｄを行う。
【０１５４】
認識強調処理１４０１は、認識用ニューラルネット１３００の出力データの中から、認識処理１３０１で認識された物に対応する位置の値を強調したデータを作製する処理である。認識強調処理１４０１では、所定倍かけたり、加算したりすることで強調を行うことができる。また、認識強調処理１４０１は、認識処理１３０１で認識された特徴が、複数のニューロンに渡って表れる場合は、複数のニューロンの出力値を強調することもできる。画像処理装置は、図１４の加工処理８４０Ｄにより、画像の認識を行うとともに、認識した物を強調した画像を加工画像８１０Ｄとすることができる。
【０１５５】
なお、図５Ｂの加工処理５５４に、図１４のニューラルネットを用いた加工処理８４０Ｄを適用してもよい。ただし、このときの入力は、一つの縮小画像であるブロックレベル参照画像４２４となり、扱う画像サイズは縮小されて小さくなり、各ニューラルネットのサイズも小さくなる。学習は、図１４のニューラルネットの学習と同様に行うことができる。このニューラルネットにより、認識を伴い、ブロックレベル参照加工画像５２４は、特徴となる部分を強調した画像となる。この結果、出力画像２３４、８３４、９３４は、認識処理１３０１で認識された物が低分解能で強調された画像となる。
【０１５６】
また、図２の加工処理２４１に、図１４のニューラルネットを用いた加工処理８４０Ｄを適用してもよい。ただし、このときの入力は、Ｘ方向微分画像２１０とＹ方向微分画像２１１、出力は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３になる。このため、第１層１２０１の各ニューロンは、入力が２チャンネルに対応したものになり、第２ｎ−１層のニューロン数は、出力が２チャンネルに対応して２倍になる。その他の層のニューロン数は、必要に応じて適切な数に設定することができる。学習は、図１４のニューラルネットの学習と同様に行うことができる。このニューラルネットにより、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３は、認識処理１３０１で認識された物の輪郭やエッジが強調された画像になる。この結果、出力画像２３４は、認識処理１３０１で認識された物やその認識に重要な特徴部分の局所的な高分解能のコントラストが向上した画像となる。なお、微分画像２１０、２１１の中から認識物の認識評価値を上げる、例えば認識物に対応したニューロンの値と他のニューロンの値の差を広げる、認識に重要なエッジを強調した微分画像２１２、２１３を作製すると、認識に重要な部分が強調された出力画像２３４を得ることができる。
【０１５７】
図１５は、図１の画像処理装置のハードウェア構成例を示すブロック図である。
図１５において、画像処理装置１１１は、プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および内蔵記憶デバイス１５を備える。プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および内蔵記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および内蔵記憶デバイス１５は、プロセッサ１１からアクセス可能である。
【０１５８】
また、画像処理装置１１１の外部には、表示装置１１２、入力装置１１３、記憶装置１１４および出力装置１８が設けられている。表示装置１１２、入力装置１１３、記憶装置１１４および出力装置１８は、入出力インターフェース１７を介して内部バス１６に接続されている。
【０１５９】
表示装置１１２は、例えば、ＰＣモニタ、液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置１１３は、例えば、キーボード、マウス、タッチパネル、カードリーダまたは音声入力装置などである。記憶装置１１４は、例えば、ハードディスク装置、ＳＳＤ、ＵＳＢ、ＣＤまたはＤＶＤなどである。、出力装置１８は、例えば、スピーカー等の音声出力装置、プリンターなどの印字、印刷装置などである。
【０１６０】
プロセッサ１１は、画像処理装置１１１全体の動作制御を司るハードウェアである。プロセッサ１１は、汎用プロセッサであってもよいし、画像処理に特化した専用プロセッサであってもよい。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。プロセッサ１１は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ１１は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ））を備えていてもよい。プロセッサ１１は、ニューラルネットワークを備えていてもよい。
【０１６１】
主記憶デバイス１４は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶デバイス１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けたりすることができる。
【０１６２】
内蔵記憶デバイス１５は、主記憶デバイス１４よりも大容量の記憶容量を有する記憶デバイスであり、例えば、ハードディスク装置やＳＳＤである。内蔵記憶デバイス１５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。内蔵記憶デバイス１５には、画像処理プログラム１５Ａを格納することができる。画像処理プログラム１５Ａは、画像処理装置１１１にインストール可能なソフトウェアであってもよいし、画像処理装置１１１にファームウェアとして組み込まれていてもよい。
【０１６３】
通信制御デバイス１２は、外部との通信を制御する機能を有するハードウェアである。通信制御デバイス１２は、通信インターフェース１３を介してネットワーク１４０に接続される。ネットワーク１４０は、インターネットなどのＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉなどのＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。
【０１６４】
入出力インターフェース１７は、入力装置１１３から入力されるデータをプロセッサ１１が処理可能なデータ形式に変換したり、プロセッサ１１から出力されるデータを表示装置１１２で表示可能なデータ形式に変換して出力したり、出力装置１８で出力可能なデータ形式に変換して出力したりする。
【０１６５】
プロセッサ１１が画像処理プログラム１５Ａを主記憶デバイス１４に読み出し、画像処理プログラム１５Ａを実行することにより、入力画像の一部の領域と対応付けられた参照画像の一部の領域の画素値に基づいて、入力画像または入力画像を加工した加工画像の一部の領域のオフセットを調整することができる。このとき、参照画像は、入力画像の一部の領域が低分解能化された低分解能画像に基づいて作製された画像とすることができる。
【０１６６】
例えば、プロセッサ１１が画像処理プログラム１５Ａを実行することにより、図２の微分処理２４０、加工処理２４１、積分処理２４２〜２４５、ブロックレベル参照画像作製処理２５０、オフセット調整処理２６０〜２６３および重み付平均処理２６４の機能を実現することができる。
【０１６７】
なお、画像処理プログラム１５Ａの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１は、ネットワーク１４０を介してクラウドコンピュータなどに画像処理プログラム１５Ａの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。
【０１６８】
その他にも、内部バス１６にグラフィックカードを接続し、表示のための計算や一部の単純計算をプロセッサ１１ではなく、グラフィックカードのＧＰＵにさせ、グラフィックカードの表示用インターフェースに表示装置１１２を接続することもできる。この場合、画像処理プログラム１５Ａの一部のプログラムは、グラフィックカードの記憶デバイスに入り、必要に応じてグラフィックカードに内蔵された専用処理プログラムが呼び出されて、ＧＰＵが一部の計算処理をすることができる。
【０１６９】
なお、以上の画像処理装置１１１の構成は、図１の画像処理装置１２１、１３１についても同様である。
【０１７０】
以下、コントラスト参照画像のブロックごとに設定される参照値に基づいて、被コントラスト変更画像のコントラストをブロックごとに変更する方法について、具体的な画像を例にとって説明する。
【０１７１】
図１６（ａ）は、図２の入力画像の一例を示す図、図１６（ｂ）および図１６（ｃ）は、図２の微分画像の例を示す図である。
図１６（ａ）において、入力画像２００ａは、サイズが２５６×２５６の画像で、８ビット（０〜２５５）で表現され、最小値が３、最大値が２４４である。図１６（ａ）では、入力画像２００ａを０から２５５の表示レベルで表示した。
【０１７２】
図１６（ｂ）において、入力画像２００ａについて（４）式のｘ方向の微分処理を施した画像がｘ方向微分画像２１０ａである。図１６（ｃ）において、入力画像２００ａについて（５）式のｙ方向の微分処理を施した画像が、ｙ方向微分画像２１１ａである。どちらの画像も、表示レベルを−１００から１００までとした。この範囲を超えるものは、−１００あるいは１００とした。
【０１７３】
図１７（ａ）〜図１７（ｄ）は、図２の微分画像を加工した加工微分画像の例を示す図である。
図１７（ａ）において、ｘ方向微分加工画像２１２ａは、（６）式に基づいて図１６（ｂ）のｘ方向微分画像２１０ａを加工処理した画像である。図１７（ｂ）において、ｙ方向微分加工画像２１３ａは、（７）式に基づいて図１６（ｃ）のｙ方向微分画像２１１ａを加工処理した画像である。このとき、（６）式および（７）式にあるパラメータｋ、ｃについて、ｋ＝２、ｃ＝０とした。ｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａの表示レベルは、−１００から１００にした。ｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａは、ｘ方向微分画像２１０ａおよびｙ方向微分画像２１１ａと比べ、値が２倍になり、細かい変動も強調されている。
【０１７４】
図１７（ｃ）において、ｘ方向微分加工画像２１２ｂは、（６）式に基づいて図１６（ｂ）のｘ方向微分画像２１０ａを加工処理した画像である。図１７（ｄ）において、ｙ方向微分加工画像２１３ｂは、（７）式に基づいて図１６（ｃ）のｙ方向微分画像２１１ａを加工処理した画像である。このとき、（６）式および（７）式にあるパラメータｋ、ｃについて、ｋ＝２、ｃ＝３０とした。ｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂの表示レベルは、−１００から１００にした。ｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂは、ｘ方向微分画像２１０ａおよびｙ方向微分画像２１１ａと比べ、細かい変動が小さくなっている。
【０１７５】
ここで、画像全体を積分するものとする。積分は、画像中心から順次径路に沿った線積分を行う。ただし、線積分は、斜め方向では、２径路存在し、両径路の積分値は一般に異なるため、その平均値を積分値とする。
【０１７６】
図１８（ａ）および図１８（ｂ）は、図２の入力画像の一例を示す図、図１８（ｃ）、図１８（ｄ）および図１９（ａ）〜図１９（ｄ）は、画像全体を積分した積分画像の例を示す図である。
図１８（ａ）において、入力画像２０１ａは、表示レベルが０から２５５に設定されている。図１８（ｂ）において、入力画像２０１ｂは、入力画像２０１ａと同一の画像であるが、表示レベルが画像の最小（３）から最大（２４４）に設定されている。表示レベルを画像の最小から最大にした方が、若干コントラストが上がって見える。
【０１７７】
図１８（ｃ）、図１８（ｄ）および図１９（ａ）において、全体積分画像２０００、２００１、２１００は、図１７（ａ）および図１７（ｂ）のｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａを画像全体に渡り中心から積分した画像である。
【０１７８】
全体積分画像２０００は、表示レベルを画像の最小（―９８）から最大（３８４）にした画像で、入力画像２００ｂと同一になる。その理由は、ｋ＝２、ｃ＝０では、ローカルな画像の変動が２倍になるが、画像の表現されるレンジも単純に２倍になっただけで、表示レベルをそれぞれの画像の最小から最大とすれば、同じになることによる。
【０１７９】
全体積分画像２００１は、表示レベルを０から２５５にした画像である。この範囲にある画像領域は、変動が２倍になって明瞭に見える反面、この範囲にない画像領域は、０または２５５に表現され、変動が全く読み取れない。この全体積分画像２００１の場合は、特に、２５５を超えた領域が白くなるサチレーションが発生し、全体積分画像２００１の大きな領域を占める。
【０１８０】
全体積分画像２１００は、表示レベルを１２８から３８３にした画像である。全体積分画像２１００では、全体積分画像２００１で白くサチレーションを起こしていた部分の変化が読み取れる。全体積分画像２１００の雲などを見ると、入力画像２００ａに比べてより明瞭に見える。これらのことから、それぞれの画像の局所領域に合った表示レベルで表示できれば、画像のそれぞれの部分が明瞭に見えることが分る。ただし、その他の画像領域は、サチレーションを起こす可能性がある。
【０１８１】
図１９（ｂ）〜図１９（ｄ）において、全体積分画像２１０１、２１０２、２１０３は、図１７（ｃ）および図１７（ｄ）のｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂを画像全体に渡り中心から積分した画像である。
【０１８２】
全体積分画像２１０１は、表示レベルを画像の最小（−８１．７８）から最大（３５２．５１）にした画像である。全体積分画像２１０１は、局所的なコントラストが悪い。それに加え、全体積分画像２１０１は、中心から端に向かい、積分による誤差が生じている。積分を開始した画像の中心部分は良好に見えるため、積分範囲は小さな領域に限った方がよいことが分る。
【０１８３】
全体積分画像２１０２は、表示レベルを０から２５５にした画像である。この表示レベルの範囲にある画像領域は、明瞭に見える。
【０１８４】
全体積分画像２１０３は、表示レベルを１２８から３８３にした画像である。全体積分画像２１０３の雲などは、微小な変化が見えなくなり、比較的平坦になっている。ｃ＝３０とすることで、微分画像の微小な変化が抑えられたためである。
【０１８５】
以上から、画像の表示レベルを変えれば、画像のレベル変動を読み取ることはできるが、サチレーションが発生する部分もあり、画像全体に渡ってレベル変動を読み取り可能とするには、表示レベルを変えた画像を何個も作製する必要がある。そこで、画像を小さいブロックに分割して積分し、それぞれのブロックごとに積分した画像の平均値が元の入力画像２００ａのブロックごとの平均値になるようにオフセット調整する。
【０１８６】
図２０（ａ）は、入力画像の一例を示す図、図２０（ｂ）は、入力画像を分割したブロックの例を示す図、図２０（ｃ）は、図２のブロックレベル参照画像の例を示す図、図２０（ｄ）は、図２のオフセット調整ブロック積分画像の例を示す図である。
図２０（ａ）において、入力画像２００ａは、サイズが２５６×２５６画素であり、画像の縦の長さ２２２０は２５６画素、横の長さも２５６画素である。画像処理装置は、例えば、入力画像２００ａを１６×１６画素のブロックに分割する。このとき、各ブロックの縦の長さ２２３０は１６画素、横の長さも１６画素である。入力画像２００ａをブロックごとに分割する仕方は、左右上下のシフトをどのようにするかで異なる。
【０１８７】
図２０（ｂ）では、一例として、シフト０の画像分割２２１０を示した。この画像分割２２１０では、画像の左上の点からブロックを埋めるように入力画像２００ａを分割する。このとき、図３（ａ）に示すように、ブロック全体を評価領域とする。
【０１８８】
画像処理装置は、例えば、図２０（ｃ）に示すように、入力画像２００ａをシフト０の画像分割２２１０で分割した各ブロック内の画素値の平均をブロックごとに取ることで、入力画像２００ａが低分解能化されたブロックレベル参照画像２２０ａを作製する。このとき、ブロックレベル参照画像２２０ａは、入力画像２００ａが１／１６に縮小されるので、画像サイズは、２５６／１６＝１６になり、１６×１６画素の縮小画像となる。なお、図２０（ｃ）では、ブロックレベル参照画像２２０ａを１６倍に拡大し、入力画像２２０ａと同じサイズで表示した。
【０１８９】
また、画像処理装置は、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０の画像分割２２１０で分割したブロックごとに積分することで、入力画像２００ａが高分解能化されたブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、図２０（ｄ）に示すように、ブロックレベル積分画像のブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像２２０ａのそのブロックに対応した画像の値を足すことにより、シフト０のオフセット調整ブロック積分画像２３０ａを作製する。
【０１９０】
オフセット調整ブロック積分画像２３０ａは、図２のオフセット調整ブロック積分画像２３０の一例である。オフセット調整ブロック積分画像２３０ａは、シフト０の画像分割２２１０で示した各１６×１６画素の各ブロックについて、その平均値が、ブロックレベル参照画像２２０ａの値になっている。このとき、画像分割２２１０と一致したブロックでは、入力画像２００ａのブロック長の中域のコントラストが、ブロックレベル参照画像２２０ａのコントラストと入れ替わる。
【０１９１】
ただし、オフセット調整ブロック積分画像２３０ａは、ブロック歪ＢＨが発生し、高分解能の局所的な凹凸がある。画像分割２２１０と異なるシフト位置については、ブロックと同じサイズの領域を平均しても、その平均値は、画像の凹凸を反映した分、ブロックレベル参照画像２２０ａのその点に対応する双線形またはキュービック補間をした補間値と異なる値になるためである。従って、オフセット調整ブロック積分画像２３０ａは、画像全体を見た場合、局所的な凹凸を反映しつつ、ブロックサイズの１６×１６画素程度の中域のコントラストがブロックレベル参照画像２２０ａのコントラストに入れ替わった画像となる。
【０１９２】
なお、オフセット調整ブロック積分画像２３０ａは、ｃ＝０なので、径路に沿った積分時の２経路の積分値は同じ値で平均する必要はなく、どこを基点に積分してもオフセットのみ異なる画像となる。このことから、各全体積分画像２０００、２００１、２１００の各ブロックの平均値がブロックレベル参照画像２２０ａの平均値となるように、オフセット調整しても、オフセット調整ブロック積分画像２３０ａと同じ画像が得られる。
【０１９３】
図２１（ａ）は、入力画像の一例を示す図、図２１（ｂ）は、入力画像を分割したブロックおよび評価領域の一例を示す図、図２１（ｃ）は、図２のブロックレベル参照画像のその他の例を示す図、図２１（ｄ）は、図２のオフセット調整ブロック積分画像のその他の例を示す図である。
図２１（ｂ）において、ブロックの分割の仕方は図２０（ｂ）と同じであるが、各ブロックは、図３（ｃ）に示すように、中心に長さが半分の評価領域３２０ｂを持つ。この場合、ブロックは１６×１６画素で、評価領域３２０ｂは８×８画素である。図２１（ｂ）では、ブロックごとに評価領域３２０ｂを持つシフト０の画像分割２３１０に示した。
【０１９４】
画像処理装置は、例えば、図２１（ｃ）に示すように、入力画像２００ａをシフト０の画像分割２３１０で分割した各ブロック内の評価領域３２０ｂの画素値の平均をブロックごとに取ることで、入力画像２００ａが低分解能化されたブロックレベル参照画像２２０ｂを作製する。このとき、ブロックレベル参照画像２２０ｂは、入力画像２００ａが１／１６に縮小されるので、画像サイズは、２５６／１６＝１６になり、１６×１６画素の縮小画像となる。なお、図２０（ｃ）では、ブロックレベル参照画像２２０ｂを１６倍に拡大し、入力画像２２０ａと同じサイズで表示した。ブロックレベル参照画像２２０ｂは、図２０（ｃ）のブロックレベル参照画像２２０ａと比べ、評価領域の面積が小さくなった分、局所的な濃淡変化が大きくなる場合がある。
【０１９５】
また、画像処理装置は、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０の画像分割２３１０で分割したブロックごとに積分することで、入力画像２００ａが高分解能化されたブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、図２１（ｄ）に示すように、ブロックレベル積分画像のブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像２２０ｂのそのブロックに対応した画像の値を足すことにより、シフト０のオフセット調整ブロック積分画像２３０ｂを作製する。
【０１９６】
オフセット調整ブロック積分画像２３０ｂは、ブロックサイズ程度の中域のコントラストが、ブロックレベル参照画像２２０ｂのコントラストに置き換わっている。ただし、オフセット調整ブロック積分画像２３０ｂは、オフセット調整ブロック積分画像２３０ａより、中域のコントラストが若干向上している部分がある。
【０１９７】
なお、以下の説明では、ブロックと評価領域は、正方形とし、ブロックサイズと評価領域のサイズは、Ｓ＝（ブロックサイズ，評価サイズ）で表現する。例えば、Ｓ＝（１６，１６）は、ブロックサイズが１６×１６画素で評価サイズも１６×１６画素であることを示し、Ｓ＝（１６，８）は、ブロックサイズが１６×１６画素で、評価サイズが８×８画素であることを示す。
【０１９８】
上記のオフセット調整ブロック積分画像２３０ａ、２３０ｂは、ブロック歪ＢＨがある。このとき、半ブロックずつずれた４つの分割の仕方で画像を分割し、それぞれの分割の仕方に応じたオフセット調整ブロック積分画像を作製し、ブロック内の位置に応じて重み付平均を取ることで、ブロック歪ＢＨを低減することができる。
【０１９９】
図２２（ａ）〜図２２（ｄ）は、入力画像をブロックに分割する４つの分割の仕方を示す図である。
図２２（ａ）〜図２２（ｄ）において、画像分割２２１０、２４１１、２４１２、２４１３は、それぞれシフト０〜３に対応し、半ブロックずつ各々位置がずれた分割である。なお、図２２（ａ）は、シフト０の分割の仕方のもので、図２０（ｂ）と同じものである。
【０２００】
図２３（ａ）〜図２３（ｄ）は、図２の４つのオフセット調整ブロック積分画像の例を示す図である。
図２３（ａ）〜図２３（ｄ）において、画像処理装置は、画像分割２２１０、２４１１、２４１２、２４１３のそれぞれで分割して処理したオフセット調整ブロック積分画像２３０ａ、２３１ａ、２３２ａ、２３３ａを作製する。同様に、図２３（ａ）は、シフト０のオフセット調整ブロック積分画像２３０ａで、これは、図２０（ｄ）と同じものである。
【０２０１】
なお、半シフトして端が半分のブロックになった画像分割は、そのブロックごとに半分のブロックとして処理することができる。あるいは、簡易に処理するため、オフセット調整ブロック積分画像２３１ａの半ブロックの部分はオフセット調整ブロック積分画像２３０ａをコピーし、オフセット調整ブロック積分画像２３２ａの半ブロックの部分は、オフセット調整ブロック積分画像２３０ａをコピーし、オフセット調整ブロック積分画像２３３ａの左右の半ブロックの部分は、オフセット調整ブロック積分画像２３２ａをコピーし、上下半ブロックの部分はオフセット調整ブロック積分画像２３１ａをコピーしてもよい。ただし、四隅の四分割したブロックは、オフセット調整ブロック積分画像２３１ａ、２３２ａの平均値とすることができる。この処理により、同じブロックサイズを持つ部分のみで各種処理ができる。
【０２０２】
図２４は、図２の４つのオフセット調整ブロック積分画像が重み付平均された出力画像の例を示す図である。
図２４において、画像処理装置は、４つのオフセット調整ブロック積分画像２３０ａ、２３１ａ、２３２ａ、２３３ａの重み付平均処理２６４により、積分画像２３４ａを作製する。積分画像２３４ａは、ブロックサイズ程度の中域のコントラストが、ブロックレベル参照画像２２０ｂまたはそれぞれのシフトに対応したブロックレベル参照画像２２１、２２２、２２３のコントラストに近くなった画像である。積分画像２３４ａの局所的な高分解能のコントラストは、入力画像２００ａの２倍程度になっている。これは、ｋ＝２、ｃ＝０に設定したためである。
【０２０３】
図２５（ａ）〜図２５（ｄ）は、図２２のブロックサイズの半分の長さの評価領域を持つ場合の４つの分割の仕方を示す図である。
図２５（ａ）〜図２５（ｄ）において、各画像分割２３１０、２７１１、２７１２、２７１３は、図２２（ａ）〜図２２（ｄ）の画像分割２２３１０、２４１１、２４１２、２４１３と同様である。画像分割２３１０、２７１１、２７１２、２７１３は、それぞれシフト０〜３に対応し、半ブロックずつ各々位置のずれた分割の仕方をしている。
【０２０４】
各画像分割２３１０、２７１１、２７１２、２７１３の各ブロックは、評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂを持つ。画像の分割のシフトに伴い、各評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂも、半ブロックずつずれている。図３（ｄ）に示したように、これらの評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂは、纏めると、重なる部分および隙間の部分なく接続される。
【０２０５】
図２６は、図２５（ａ）〜図２５（ｄ）で示した図２２のブロックサイズの半分の評価領域を全てまとめた図である。
図２６において、領域分割２８１０では、８×８画素の評価領域に分割される。このとき、各評価領域の縦の長さ２８３０は８画素、横の長さも８画素である。
【０２０６】
ここで、円２８１０の周辺まで含め、領域分割２８１０の各評価領域に０から３番までの番号を振った。０番〜３番までの番号は、それぞれシフト０〜３までに対応する。
【０２０７】
領域分割２８１０では、８×８画素の評価領域は重なる部分および隙間の部分なく分割される。ただし、８×８画素の評価領域は、ブロックの中心に位置しているため、画像の端の部分では４画素の長さの未評価領域が発生する。このため、この評価領域は、一辺が２５６／８−１＝６３で、全体で６３×６３個となる。
【０２０８】
図２７（ａ）は、図２の１つのブロックレベル参照画像のさらにその他の例を示す図、図２７（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
図２７（ａ）において、画像処理装置は、図２６の領域分割２８１０に基づいて入力画像２００ａを各評価領域に分割し、それぞれの評価領域で平均を取った値を画素値とするブロックレベル参照画像４２４ｂを作製する。ブロックレベル参照画像４２４ｂの画像サイズは６３×６３画素である。図２７（ａ）では、ブロックレベル参照画像４２４ｂを８倍に拡大し、端が未評価であるため黒く表示し、入力画像２２０ａおよび出力画像２３４ｂと同じ大きさで表示した。
【０２０９】
このとき、図２７（ａ）のブロックレベル参照画像４２４ｂは、図２５（ａ）〜図２５（ｄ）のシフト０〜３にそれぞれ対応した４つのブロックレベル参照画像の平均値をブロックごとに持つ。
【０２１０】
また、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０〜３の画像分割でそれぞれ分割したブロックごとに積分することで、入力画像２００ａが高分解能化された４つのブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、４つのブロックレベル積分画像の各ブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像４２４ｂのそのブロックの評価領域に対応した画像の値を足すことにより、シフト０〜３の４つのオフセット調整ブロック積分画像を作製する。さらに、画像処理装置は、シフト０〜３の４つのオフセット調整ブロック積分画像の重み付平均を取ることで、図２７（ｂ）の出力画像２３４ｂを作製する。
【０２１１】
出力画像２３４ｂは、出力画像２３４ｂのブロックサイズから評価領域のサイズである８画素から１６画素程度の中域のコントラストが、ブロックレベル参照画像４２４ｂの１画素から２画素程度のコントラストに置き換わっている。また、出力画像２３４ｂは、図２１（ｄ）のオフセット調整ブロック積分画像２３０ｂに比べて、ブロック歪ＢＨが低減されている。
【０２１２】
図２８（ａ）は、入力画像の一例を示す図、図２８（ｂ）〜図２８（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
図２８（ａ）の入力画像２００ａに対し、ｋ＝２、ｃ＝０の時のブロックサイズおよび評価領域を変えることにより、図２８（ｂ）〜図２８（ｄ）の出力画像２３４ｂ、２３４ｃ、２３４ｄを作製した。出力画像２３４ｂ、２３４ｃ、２３４ｄは、それぞれＳ＝（１６，８）、Ｓ＝（８，４）、Ｓ＝（４，２）に対応し、ブロックサイズおよび評価領域のサイズともに半分ずつ小さくなっている。出力画像２３４ｂ、２３４ｃ、２３４ｄは、ブロックサイズが小さくなるのに伴って、局所的に与えたｋ＝２、すなわち２倍の濃淡差を持つ幅が徐々に狭くなり、入力画像２００ａに近づく。
【０２１３】
また、ブロックサイズから評価領域サイズの中域のコントラストも、そのサイズが徐々に小さくなりつつ、入力画像２１０ａの対応するブロックサイズから評価領域サイズの中域のコントラストに置き換わる。ただし、表示画面上では、入力画像２００ａの中域のサイズが変ったコントラストの変化を評価しづらい。
【０２１４】
図２９（ａ）は、入力画像の一例を示す図、図２９（ｂ）〜図２９（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
図２９（ａ）の入力画像２００ａに対し、ｋ＝２、ｃ＝３０の時のブロックサイズおよび評価領域を変えることにより、図２９（ｂ）〜図２９（ｄ）の出力画像２３４ｅ、２３４ｆ、２３４ｇを作製した。出力画像２３４ｅ、２３４ｆ、２３４ｇは、それぞれＳ＝（１６，８）、Ｓ＝（８，４）、Ｓ＝（４，２）に対応し、ブロックサイズおよび評価領域のサイズともに半分ずつ小さくなっている。出力画像２３４ｅ、２３４ｆ、２３４ｇは、ブロックサイズおよび評価領域サイズが小さくなるのに従って、入力画像２００ａに近づく。出力画像２３４ｅは、出力画像２３４ｂに比べ、雲などの微小な変化が抑えられ、平坦化されている。飛行機の輪郭などの強い変化のある個所は、出力画像２３４ｅも出力画像２３４ｂもあまり変らない。
【０２１５】
図３０（ａ）は、図２のブロックレベル参照画像のさらにその他の例を示す図、図３０（ｃ）は、図３０（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３０（ｂ）および図３０（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
図３０（ａ）において、ブロックレベル参照画像４２４ｃは、Ｓ＝（８，４）の時の１つの縮小画像である。図３０（ａ）では、ブロックレベル参照画像４２４ｃを４倍に拡大表示した。ブロックレベル参照画像４２４ｃは、図２７（ａ）のＳ＝（１６，８）の時のブロックレベル参照画像４２４ｂよりも評価サイズが小さい。
【０２１６】
図３０（ｂ）において、ブロックレベル参照画像４２４ｃを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｈを作製した。出力画像２３４ｈでは、ｋ＝４にしているので、局所的な変動が大きく見える。
【０２１７】
図３０（ｃ）において、ブロックレベル参照加工画像５２４ｉは、ブロックレベル参照画像４２４ｃを図５Ｂの加工処理５５４により加工した１つの縮小画像である。この例では、加工処理５５４として、画像の中心から距離が離れるのに従って、画像の輝度を下げる処理をした。具体的には、画像中心から着目点までの距離を半画像のサイズで割った比率をｒとすると、画像の各点で１−ｒ×ｒをかけた処理を行った。
【０２１８】
図３０（ｄ）において、ブロックレベル参照加工画像５２４ｉを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｉを作製した。出力画像２３４ｉでは、画像の中心から距離が離れるのに従って、輝度が下がっている。
【０２１９】
以上のように、１つの縮小画像であるブロックレベル参照画像４２４ｃを加工したブロックレベル参照加工画像５２４ｉの参照結果に基づいて出力画像２３４ｉを作製することにより、ブロックサイズから評価領域サイズ程度のコントラストを、ブロックレベル参照画像５２４ｉ程度のコントラストに置き換えることができる。
【０２２０】
また、出力画像２３４ｉの局所的なコントラストは、出力画像２３４ｈの局所的なコントラストを持っており、加工処理５５４は、出力画像２３４ｉの局所的なコントラストに影響を与えない。
【０２２１】
図３１（ａ）は、図２７（ａ）で示した図２のブロックレベル参照画像の例を示す図、図３１（ｂ）は、図２７（ｂ）で示した図２の出力画像の例を示す図、図３１（ｃ）は、図３１（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３１（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
図３１（ｃ）において、ブロックレベル参照加工画像５２４ｊは、図３１（ａ）のブロックレベル参照画像４２４ｂを図６の加工処理５５４Ｅにより加工した１つの縮小画像である。ここで、加工処理５５４Ｅで入れ子にした時のパラメータをｋ２、ｃ２、ｓ２とすると、図３１（ｃ）のブロックレベル参照加工画像５２４ｊは、ｋ＝２、ｃ＝０、Ｓ＝（１６，８）、ｋ２＝５、ｃ２＝０、Ｓ２＝（１６，８）の場合とした。
【０２２２】
図３１（ｄ）において、図３１（ｃ）のブロックレベル参照加工画像５２４ｊを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｊを作製した。
【０２２３】
比較のため、加工処理５５４Ｅで加工しない場合のブロックレベル参照画像４２４ｂと出力画像２３４ｂを図３１（ａ）および図３１（ｂ）に示した。ブロックレベル参照加工画像５２４ｊは、ブロックレベル参照画像４２４ｂよりも、評価領域サイズ程度の中域のコントラストが向上している。それに伴い、出力画像２３４ｊのブロックサイズから評価領域サイズ程度の中域のコントラストが、出力画像２３４ｂよりも向上している。
【０２２４】
図３２（ａ）は、図２のブロックレベル参照画像を加工したブロックレベル参照加工画像のその他の例を示す図、図３２（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
図３２（ａ）において、ブロックレベル参照加工画像５２４ｋは、図３１（ａ）のブロックレベル参照画像４２４ｂと図３１（ｃ）のブロックレベル参照加工画像５２４ｊの中で輝度の高い方の輝度を値とする処理を各点で行った１つの縮小画像である。
【０２２５】
図３２（ｄ）において、ブロックレベル参照加工画像５２４ｋを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｋを作製した。出力画像２３４ｋは、図３１（ｄ）の出力画像２３４ｊよりも、中域（評価領域の８画素程度）の暗い部分が若干明るくなっている箇所がある。
【０２２６】
以上により、ブロックレベル参照画像を加工したブロックレベル参照加工画像の参照結果に基づいて出力画像を作製することにより、出力画像のブロックサイズから評価領域サイズ程度の中域のコントラストを制御することができる。
【０２２７】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
【０２２８】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した第１加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
前記参照画像は、前記入力画像または前記入力画像を加工した第２加工画像である画像処理装置。
（付記２）前記第１加工画像または前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である付記１に記載の画像処理装置。
（付記３）前記オフセット調整部は、前記入力画像または前記第１加工画像の一部の領域の画素値の平均値または重み付き平均値を、前記入力画像の一部の領域と対応付けられた前記参照画像の画素値または前記画素値から計算した値と入れ替える付記１に記載の画像処理装置。
（付記４）前記第２加工画像を作製する処理は、前記入力画像の一部の領域の中心に位置する半分の長さの評価領域に対応する前記参照画像の評価領域の平均値または重み付き平均値を計算する処理を含む付記１に記載の画像処理装置。
（付記５）前記第２加工画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の一部の領域の中心に位置する半分の長さの評価領域の平均値または重み付き平均値を計算する処理を含む付記１に記載の画像処理装置。
（付記６）前記オフセット調整部は、前記入力画像を分割したブロックと対応付けられた参照画像の画素値に基づいて、前記入力画像または前記第１加工画像の前記ブロックごとのオフセットをそれぞれ調整する付記１に記載の画像処理装置。
【０２２９】
以上の付記について以下に補足する。
上記、図２、図７のブロックレベル参照画像作製処理２５０では、入力画像２００の各ブロックの評価領域の平均または重み付け平均を行って低分解能化した画像をブロックレベル参照画像２２０〜２２３とするか、または低分解能化した画像をさらに加工処理５５０〜５５３で加工した画像をブロックレベル参照画像２２０〜２２３とするなどしていた。
【０２３０】
ここで、低分解能化した画像を加工してブロックレベル参照画像２２０〜２２３を作製する代わりに、入力画像２００を加工してから平均、または重み付け平均を行って低分解能画像を作製しても、似たような低分解能画像のブロックレベル参照画像２２０〜２２３が得られ、似たような出力画像２３４、２３４Ｆを得ることができる場合がある。
【０２３１】
以上を鑑みると、図２、図７のオフセット調整処理２６０〜２６３の処理で、低分解能のブロックレベル参照画像２２０〜２２３の画素値を参照する代わりに、入力画像２００または入力画像２００を加工した画像を原寸参照画像とし、この原寸参照画像の各ブロックの評価領域を、逐一、平均、または重み付け平均を行い、オフセット調整の参照値としても、図２、図７の処理と同じ、または似た出力画像２３４、２３４Ｆを得ることができる。
【０２３２】
従って、オフセット調整処理で参照する参照画像は、低分解能画像とは限らず、低分解能化していない入力画像そのものや、入力画像を加工した第２加工画像とすることができる。なお、第２加工画像は、入力画像を加工した原寸加工画像に限らない。低分解能化する処理も加工処理なので、入力画像を低分解能化した画像や、入力画像を加工して低分解能化した画像や、入力画像を加工して低分解能化した画像を更に加工した画像も第２加工画像とすることができる。参照画像を低分解能画像（ブロックレベル参照画像）とする場合、オフセット調整処理では、逐一、原寸参照画像の対応するブロックの画素値を参照して平均処理をする必要はなく、既に平均化処理をした低分解能画像や、これを加工した低分解能画像の対応する画素の値を参照することになる。
【符号の説明】
【０２３３】
１００…撮影装置、１１１、１２１、１３１…画像処理装置、１１２、１２２、１３２…表示装置、１１３、１２３、１３３…入力装置、１１４、１２４、１３４…記憶装置、１４０…通信ネットワーク
【図１】
2020191030.tif 000003
【図２】
2020191030.tif 000004
【図３】
2020191030.tif 000005
【図４Ａ】
2020191030.tif 000006
【図４Ｂ】
2020191030.tif 000007
【図５Ａ】
2020191030.tif 000008
【図５Ｂ】
2020191030.tif 000009
【図６】
2020191030.tif 000010
【図７】
2020191030.tif 000011
【図８】
2020191030.tif 000012
【図９】
2020191030.tif 000013
【図１０Ａ】
2020191030.tif 000014
【図１０Ｂ】
2020191030.tif 000015
【図１１】
2020191030.tif 000016
【図１２】
2020191030.tif 000017
【図１３】
2020191030.tif 000018
【図１４】
2020191030.tif 000019
【図１５】
2020191030.tif 000020
【図１６】
2020191030.tif 000021
【図１７】
2020191030.tif 000022
【図１８】
2020191030.tif 000023
【図１９】
2020191030.tif 000024
【図２０】
2020191030.tif 000025
【図２１】
2020191030.tif 000026
【図２２】
2020191030.tif 000027
【図２３】
2020191030.tif 000028
【図２４】
2020191030.tif 000029
【図２５】
2020191030.tif 000030
【図２６】
2020191030.tif 000031
【図２７】
2020191030.tif 000032
【図２８】
2020191030.tif 000033
【図２９】
2020191030.tif 000034
【図３０】
2020191030.tif 000035
【図３１】
2020191030.tif 000036
【図３２】
2020191030.tif 000037