(57)【特許請求の範囲】
【請求項１】
画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得する取得部と、
前記軌跡の位置情報から当該軌跡の大きさを求める算出部と、
前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する入力方向判定部と、
前記入力方向判定部で判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう項目切替部と、
前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう画像処理装置。
【請求項２】
前記軌跡の形状を判定する形状判定部をさらに備え、
前記項目切替部は、前記軌跡の形状に応じて画像処理の項目の切り替えを行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記項目切替部は、前記画像上でユーザが行なうタップ動作またはクリック動作により画像処理の項目の切り替えを行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像の中からユーザが画像処理を行なう画像領域として指定する指定領域を検出するために、当該指定領域内の代表位置を表す代表位置情報を取得する位置情報取得部と、
前記代表位置情報から前記指定領域を検出する領域検出部と、
をさらに備え、
前記指定領域に対し画像処理を行なうことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得し、
前記軌跡の位置情報から当該軌跡の大きさを求め、
前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定し、
判定された入力方向に応じて決められ、画像処理の項目の切り替えを行ない、
前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なうことを特徴とする画像処理方法。
【請求項６】
画像を表示する表示装置と、
前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、
ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
を備え、
前記画像処理装置は、
前記画像上でユーザにより操作される軌跡の位置情報を取得する取得部と、
前記軌跡の位置情報から当該軌跡の大きさを求める算出部と、
前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する入力方向判定部と、
前記入力方向判定部で判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう項目切替部と、
前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう画像処理システム。
【請求項７】
画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得する機能と、
前記軌跡の位置情報から当該軌跡の大きさを求める機能と、
前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する機能と、
判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう機能と、
前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
【背景技術】
【０００２】
特許文献１には、画像表示装置にタッチパッドを備え、タッチパッドと、画像を表示する領域とを対応させ、タッチパッドで検出した位置から画像を２次元並列状に区分してなる１以上の領域を特定し、特定した１以上の領域に表示される画像の輝度を変更する。また、画像表示装置は、タッチパッドでユーザがなぞった位置、２回のなぞり、速度などに応じて特定される領域を変化させる画像表示装置が開示されている。
また特許文献２には、撮影画像中で特定被写体が指定されたら、色分布マップから特定被写体の検出された色が属する部分の近傍範囲を部分的に抽出した色相分布範囲、彩度分布範囲を示す色相インジケータと彩度インジケータとを特定被写体の近傍に直交配置させて表示させることで、２次元の操作空間を形成し、この操作空間内で指を移動する入力操作で色補正値を設定できるようにした色補正装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５０８０４号公報
【特許文献２】特開２０１０−１４６３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが画像処理を行なう際に、画像処理の程度をより直感的に入力できることが望ましい。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得する取得部と、前記軌跡の位置情報から当該軌跡の大きさを求める算出部と、前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する入力方向判定部と、前記入力方向判定部で判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう項目切替部と、前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう画像処理装置である。
請求項２に記載の発明は、前記軌跡の形状を判定する形状判定部をさらに備え、前記項目切替部は、前記軌跡の形状に応じて画像処理の項目の切り替えを行なうことを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記項目切替部は、前記画像上でユーザが行なうタップ動作またはクリック動作により画像処理の項目の切り替えを行なうことを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記画像の中からユーザが画像処理を行なう画像領域として指定する指定領域を検出するために、当該指定領域内の代表位置を表す代表位置情報を取得する位置情報取得部と、前記代表位置情報から前記指定領域を検出する領域検出部と、をさらに備え、前記指定領域に対し画像処理を行なうことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置である。
請求項５に記載の発明は、画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得し、前記軌跡の位置情報から当該軌跡の大きさを求め、前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定し、判定された入力方向に応じて決められ、画像処理の項目の切り替えを行ない、前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なうことを特徴とする画像処理方法である。
請求項６に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記画像上でユーザにより操作される軌跡の位置情報を取得する取得部と、前記軌跡の位置情報から当該軌跡の大きさを求める算出部と、前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する入力方向判定部と、前記入力方向判定部で判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう項目切替部と、前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう画像処理システムである。
請求項７に記載の発明は、画像処理を行なう画像上でユーザにより操作される軌跡の位置情報を取得する機能と、前記軌跡の位置情報から当該軌跡の大きさを求める機能と、前記軌跡の入力方向を予め定められた二方向のうち何れが大きいかで何れか一方であると判定する機能と、判定された入力方向に応じて決められ、画像処理の項目の切り替えを行なう機能と、前記軌跡の大きさにより画像処理を行なう程度を変更し、前記画像に対し画像処理を行なう機能と、を実現させるプログラムである。
【発明の効果】
【０００６】
請求項１の発明によれば、本構成を有していない場合に比較して、画像処理の程度をより直感的に入力できる画像処理装置が提供できる。また本構成を有していない場合に比較して、複数の画像処理の項目についてより容易に画像処理を行なうことができる。
請求項２の発明によれば、本構成を有していない場合に比較して、軌跡の形状を基に複数の画像処理の項目をより直感的に切り替えることができる画像処理装置が提供できる。
請求項３の発明によれば、本構成を有していない場合に比較して、ユーザが画像処理の項目を切り替えるのがより容易になる。
請求項４の発明によれば、ユーザが画像処理を行なう領域を選択することができる。
請求項５の発明によれば、本構成を有していない場合に比較して、画像処理の程度をより直感的に入力できる画像処理方法が提供できる。
請求項６の発明によれば、本構成を有していない場合に比較して、画像処理をより容易に行なうことができる画像処理システムが提供できる。
請求項７の発明によれば、本構成を有していない場合に比較して、画像処理の程度をより直感的に入力できる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００７】
【図１】本実施の形態における画像処理システムの構成例を示す図である。
【図２】本発明の第１の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図３】表示装置の表示画面に表示される画像の一例を示した図である。
【図４】表示画面上において入力された軌跡について説明した図である。
【図５】（ａ）〜（ｃ）は、画像処理として視認性を調整した場合の画像の変化を示した図である。
【図６】（ａ）は、表示画面に表示されている物体を示し、（ｂ）は、この物体の輝度ヒストグラムを示す。
【図７】（ａ）は、図６（ａ）の画像に対し物体の光沢感を増加させた画像を示している。（ｂ）は、このときの輝度ヒストグラムを示している。（ｃ）は、図６（ａ）の画像に対し物体のマット感を増加させた画像を示している。（ｄ）は、このときの輝度ヒストグラムを示している。
【図８】画像処理として知覚制御を調整する場合を示した図である。
【図９】第１の実施の形態についての画像処理装置の動作について説明したフローチャートである。
【図１０】本発明の第２の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図１１】（ａ）〜（ｂ）は、軌跡の入力方向と画像処理パラメータとの関係を示した図である。
【図１２】（ａ）〜（ｂ）は、画像処理パラメータの適用例を示した図である。
【図１３】関数ｆＨ（Ｈ）、ｆＳ（Ｓ）を示した図である。
【図１４】複数回縦方向の軌跡を入力したときに関数ｆＨ（Ｈ）が更新される様子を示した図である。
【図１５】空間周波数の調整を行なうときに表示画面に表示される画像の例を示した図である。
【図１６】図１５による操作の結果、画像処理が行なわれた後の画像について説明した図である。
【図１７】第２の実施の形態についての画像処理装置の動作について説明したフローチャートである。
【図１８】本発明の第３の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図１９】本実施の形態でユーザが入力する軌跡の一例を示した図である。
【図２０】軌跡のサイズを求める方法の一例を説明した図である。
【図２１】（ａ）〜（ｂ）は、軌跡の形状の判定を行う方法について説明した図である。
【図２２】（ａ）〜（ｅ）は、軌跡のサイズにより画像処理の結果が異なる様子を示した図である。
【図２３】第３の実施の形態についての画像処理装置の動作について説明したフローチャートである。
【図２４】本発明の第４の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図２５】（ａ）〜（ｂ）は、画像処理の項目の切り替えを行なうときに表示画面で表示される画像の例を示した図である。
【図２６】第４の実施の形態についての画像処理装置の動作について説明したフローチャートである。
【図２７】本発明の第５の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図２８】指定領域をユーザインタラクティブに行う方法の例を示した図である。
【図２９−１】最大流量最小カットの原理を説明した図である。
【図２９−２】（ａ）〜（ｅ）は、２つのシードが与えられた場合に、画像を２つの領域にわける具体例である。
【図３０】（ａ）〜（ｃ）は、原画像から指定領域が切り出される様子を示した図である。
【図３１】指定領域を切り出すマスクの一例を示した図である。
【図３２−１】（ａ）〜（ｃ）は、ユーザが指定領域を切り出す作業を行い、さらにその後、画像処理を行う作業を行う場合について説明した図である。
【図３２−２】（ａ）〜（ｂ）は、図３２−１の切り出しボタンを設けない場合を示している。
【図３３】第５の実施の形態についての画像処理装置の動作について説明したフローチャートである。
【図３４】画像処理装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【０００９】
＜発明の背景＞
従来、画像処理は、パーソナルコンピュータ（ＰＣ）でマウスを駆使して行うのが一般的である。そして画質処理を行なうためのアプリケーションソフトウェアとして、簡易的に行うフリーソフトから、スキルのあるユーザが使用するアドビシステムズ株式会社のPhotoshopに代表されるレタッチソフトまで幅広く存在する。
一方、近年では、タブレット端末等に代表されるＩＣＴ（Information and Communication Technology）機器の利用が急速に増えており、タッチやタップ等、直接人が触れることで直観性の高い操作が可能となっている。またＩＣＴ機器でのカラーの画像の表示能力や色再現性も高くなり、画像処理も高度化してきている。
【００１０】
以上のような背景の中、ユーザインタラクティブな直観操作を行う従来技術として、携帯電話機のような小型のＩＣＴ機器で簡易に輝度調整を行なうため、表示された画像に対して、なぞった回数や速度に応じて、調整の度合いを制御するものがある。またカラーの画像の特定領域を指定するとともに、特定領域の外接矩形上にインジケータを表示し、インジケータを横方向に動かすことで色相を修正し、またインジケータを縦方向に動かすことで彩度を修正するものがある。
【００１１】
ここで特に、タッチパネルなどを搭載したＩＣＴ機器で行なう画像処理では、画像処理を行なう際の直観性を高めることが課題となっている。
一方で、直観性を高めると、画像処理の自由度や操作性が犠牲になってしまうことが多い。例えば、輝度のみの調整であったり、色相、彩度のように２自由度を調整できても、他の画質調整（輝度調整や帯域の調整）などへの切り替えが困難であった。
【００１２】
以上の状況を踏まえ、本実施の形態では、以下のような画像処理システム１を用いて、上記の問題の抑制を図っている。
【００１３】
＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
【００１４】
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
【００１５】
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
【００１６】
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。
【００１７】
画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
【００１８】
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を進めることができる。
【００１９】
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
【００２０】
＜画像処理装置の説明＞
［第１の実施の形態］
次に画像処理装置１０の第１の実施の形態について説明を行なう。
図２は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１０１と、ユーザ指示受付部１０２と、算出部１０３と、パラメータ更新部１０４と、画像処理部１０５と、画像情報出力部１０６とを備える。
【００２１】
画像情報取得部１０１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１０１は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。
【００２２】
ユーザ指示受付部１０２は、軌跡情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１０２は、表示装置２０で表示される画像上でユーザにより入力される操作の軌跡の位置情報を、ユーザ指示情報として受け付ける。
この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０で表示している画像をドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により表示画面２１をなぞりスワイプすることで同様に軌跡を描く。
【００２３】
算出部１０３は、軌跡の位置情報から軌跡の大きさを求める。
本実施の形態では、軌跡の大きさとして一方向の軌跡の長さを求める。
図３は、表示装置２０の表示画面２１に表示される画像の一例を示した図である。
ここで表示画面２１に表示される画像は、前景として写る人物と、人物の背後に写る背景とからなる写真の画像Ｇである。そして画像Ｇの下方に「タッチして縦方向に動かしてください」旨のメッセージが表示されている。なお表示画面２１は、この場合タッチパネルであるとする。
このときユーザは、メッセージに従い、画像Ｇをスワイプすることで概ね縦方向（図中上下方向）となる軌跡を入力する。そしてユーザ指示受付部１０２が入力された軌跡の位置情報を取得し、そして算出部１０３は、この軌跡の表示画面２１上における始点の位置と終点の位置から軌跡の長さを求める。
【００２４】
図４は、表示画面２１上において入力された軌跡について説明した図である。
図４では、画像Ｇ上でユーザが軌跡Ｋを入力した場合を示している。そして画像Ｇの左上の頂部を原点Ｏとし、原点Ｏから右方向をＸ方向、下方向をＹ方向とする。そして算出部１０３は、軌跡Ｋの始点Ｋ０と終点Ｋ１の座標を軌跡の位置情報から求める。ここでは、始点Ｋ０の座標を（Ｘ０、Ｙ０）とし、終点Ｋ１の座標を（Ｘ１、Ｙ１）とする。そしてＸ方向の移動量｜Ｘ０−Ｘ１｜とＹ方向の移動量｜Ｙ０−Ｙ１｜を基に、下記数１式の条件を満たしているか否かを算出部１０３が判定する。なお説明の便宜上表示画面２１上に軌跡Ｋを図示しているが、実際に軌跡Ｋを表示画面２１に表示させる必要は必ずしもない。また、表示画面２１で指等を最初に置く位置はどこでもよい（必ずしも決まって無くてよい）。これにより、指等を置く位置が決まっているスライダのように、ストレスを感じることが少ないため、利便性がより向上する。
【００２５】
【数１】
0005907196.tif 000002
【００２６】
そして数１式の条件を満たしていた場合、算出部１０３は、軌跡が縦方向に入力されたと判定し、｜Ｙ０−Ｙ１｜を軌跡の長さとする。また数１式の条件を満たしていない場合、算出部１０３は、軌跡が横方向に入力されたと判定し、｜Ｙ０−Ｙ１｜が０以外の値として存在しても軌跡の長さを０とする。なお軌跡の実際の長さをそのまま軌跡の長さとして扱ってもよい。
【００２７】
パラメータ更新部１０４は、軌跡の長さを画像処理パラメータに反映させる。
例えば、画像処理パラメータをαとし、このαの増減をΔαとすると、軌跡の長さとΔαとを下記数２式の関係により対応付けることができる。
【００２８】
【数２】
0005907196.tif 000003
【００２９】
ここでｋは比例定数であり、ｋを小さく設定するほど画像処理パラメータαの更新の感度が抑制され、ｋを大きく設定するほど画像処理パラメータをαの更新の感度をよくすることができる。
また｜Ｙ０−Ｙ１｜が大きくなるほど、Δαの大きさが大きくなる。つまり、軌跡の大きさにより画像処理を行なう程度が変更される。またこのとき軌跡を上方向に入力（画像Ｇを下から上へスワイプ）したときは、Δαは、正の数となり、αは増加する。一方、軌跡を下方向に入力（画像Ｇを上から下へスワイプ）したときは、Δαは、負の数となり、αは減少する。
【００３０】
更新後の画像処理パラメータをα’とすると、画像処理パラメータα’は、下記数３式となる。
【００３１】
【数３】
0005907196.tif 000004
【００３２】
通常ＧＵＩ（Graphical User Interface）を利用したソフトウェアでは、マウス（または、タッチした指）の動きであるイベントを常時監視する仕組みを持っているため、瞬間瞬間のΔαの情報を得て、マウスや指が動くとリアルタイムに画像の質を変化させることができる。
【００３３】
また、一度、マウスや指をリリースして、再びタッチした場合は、数３式のαはα’となり、これまで説明した処理と、同様の処理を繰り返して以下の数４式で示すように再更新される。
【数４】
0005907196.tif 000005
【００３４】
ここでΔα’は指をリリースした後に再タッチしたところから計算した数２式の量であり、α’はα”に再更新される。またさらにマウスや指をリリースして、再びタッチした場合は、同様にしてさらに再更新が行なわれる。
【００３５】
画像処理部１０５は、画像処理パラメータα’に基づき、画像に対し画像処理を行なう。画像処理の詳しい内容については後述する。
【００３６】
画像情報出力部１０６は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。
【００３７】
次に画像処理部１０５で行なう画像処理の内容について説明を行なう。
ここでは例えば、画像の質感を制御する画像処理を行なう。またここでは画像の質感を制御する画像処理として視認性を制御する画像処理について説明を行なう。なお視認性を向上させるとは、視認対象が良く見えることを意味し、これを実現するための画像処理の代表例としてRetinexの原理を挙げることができる。画像処理として、単純にトーンカーブを調整する方法では、画像全体の輝度が向上するたけであるが、Retinexの原理では、画素とその周囲に応じた輝度変更を行うことができる。
【００３８】
Retinexの原理では、画像の画素値はＩ（ｘ、ｙ）は、反射率成分と照明成分からなると考える。これは、以下の数５式で表すことができる。数５式で、ＩＲ（ｘ、ｙ）は、（ｘ、ｙ）に位置する画素の反射率成分であり、Ｌ（ｘ、ｙ）は、（ｘ、ｙ）に位置する画素の照明成分である。
【００３９】
【数５】
0005907196.tif 000006
【００４０】
人の視覚認知特性では、形状や面の知覚は、数５式で示される反射率成分が寄与する部分が大きいと考えられている。そこで反射率成分ＩＲ（ｘ、ｙ）を強調することが、Retinex原理に基づく視認性制御の基本である。
画素値Ｉ（ｘ、ｙ）を数５式のように２つの成分に分解することは、一般に不良設定問題として知られている。そのためRetinex原理に基づく視認性再現では、何かしらの方法で照明成分Ｌ（ｘ、ｙ）を推定することが前提となる。そのために多く用いられる方法は、原画像に対し、ぼかしパラメータを複数用意して、低周波フィルタをかけたフィルタリング画像を生成して合成したものを照明成分Ｌ（ｘ、ｙ）とすることが多い。
【００４１】
また、Retinexの原理で視認性再現を行う場合に使用する画素値Ｉ（ｘ、ｙ）は、ＲＧＢのデータすべてを用いる場合もあれば、ＲＧＢデータをＨＳＶデータに変換し、Ｖデータのみで行う場合もある。または、Ｌ＊ａ＊ｂ＊データの中のＬ＊データでもよいし、ＹＣｂＣｒデータの中のＹデータを用いてもよい。また独自に輝度を定義して行ってもよい。
【００４２】
原画像の画素値Ｉ（ｘ、ｙ）から、視認性が向上させた画素値Ｉ’（ｘ、ｙ）への変換は、例えば、以下の数６式のように表すことができる。
【００４３】
【数６】
0005907196.tif 000007
【００４４】
数６式でαは、反射率成分を強調する反射率強調パラメータであり、０≦α≦１の範囲を採る。α＝０のときは、画素値Ｉ（ｘ、ｙ）をそのまま維持し、α＝１のときは、反射率成分ＩＲ（ｘ、ｙ）となる。
【００４５】
数６式の反射率強調パラメータαは、数３式の画像処理パラメータαとして扱うことができる。そしてこの反射率強調パラメータαを調整することで視認性を調整することができる。
【００４６】
図５（ａ）〜（ｃ）は、画像処理として視認性を調整した場合の画像の変化を示した図である。
図５（ａ）の画像Ｇは、原画像であり、視認性を調整する前の画像である。
また図５（ｂ）は、画像Ｇ上でユーザが上方向に１回スワイプを行ない、縦方向の軌跡を入力したときを示している。このとき反射率強調パラメータαは、予め定められた分だけ増加し、視認性が向上する。
さらに図５（ｃ）は、画像Ｇ上でユーザが上方向にさらにもう１回スワイプを行ない、縦方向の軌跡を入力したときを示している。このとき反射率強調パラメータαは、さらに予め定められた分だけ増加し、視認性がさらに向上する。
【００４７】
このようにスワイプを行なった回数分、反射率強調パラメータαは、数３式に従い順次更新される。なお画像Ｇ上でユーザが下方向にスワイプを行なったときは、反射率強調パラメータαは、予め定められた分だけ減少し、視認性が抑制される。
【００４８】
なお上述した例では、０≦α≦１であったが、これに限られるものではなく、予め適切な画像処理が行える範囲としてより狭い範囲に設定してもよい。即ち、０〜１の範囲内でリミットを設けてもよい。
【００４９】
特にＩＣＴ機器の場合、持ち運びが便利で使用する環境も異なる。環境が異なるとは、外のやや強い日差しの環境、室内の薄暗い場所、室内の明るい場所など周囲の明るさが異なることを表す。そしてこのような多様な環境下で、画像を表示する場合、本実施の形態に示す画像処理方法によれば、容易に視認性を調整することが可能となる。
【００５０】
次に質感を制御する画像処理として知覚制御を制御する画像処理について説明を行なう。
人が面について知覚する代表的な例として、光沢感やマット（つや消し）感などがある。
この光沢感やマット感は、輝度ヒストグラムの歪度を算出することで定量化することができる。即ち、この輝度ヒストグラムの歪度を、画像処理パラメータαとして扱うことができる。
【００５１】
以下、輝度ヒストグラムの歪度について説明を行なう。
図６（ａ）は、表示画面２１に表示されている物体を示し、図６（ｂ）は、この物体の輝度ヒストグラムを示す。図６（ｂ）で横軸は、輝度を表し、縦軸は、画素数を表す。この場合の輝度ヒストグラムは、一般的な形状である。
【００５２】
図７（ａ）は、図６（ａ）の画像に対し物体の光沢感を増加させた画像を示している。また図７（ｂ）は、このときの輝度ヒストグラムを示している。
さらに図７（ｃ）は、図６（ａ）の画像に対し物体のマット感を増加させた画像を示している。また図７（ｄ）は、このときの輝度ヒストグラムを示している。
図７（ｂ）、図６（ｂ）、図７（ｄ）の輝度ヒストグラムを比較すると、形状が異なることがわかる。
【００５３】
そしてこの形状を表す歪度ｓは、以下の数７式で表すことができる。数７式で、Ｉ（ｘ、ｙ）は、位置（ｘ、ｙ）の画素の輝度を、ｍは物体の画像全体の平均輝度を、Ｎは物体の画像全体の画素数を表す。
【００５４】
【数７】
0005907196.tif 000008
【００５５】
ここで光沢感の画像処理パラメータαをα１、マット感の画像処理パラメータαをα２とする。この場合数６式は、以下の数８式となる。数８式で、ＩＢ（ｘ、ｙ）は、数７式の歪度ｓの値が光沢感を与える値になるときの画素値（この場合、輝度の値）であり、ＩＭ（ｘ、ｙ）は、数７式のｓの値がマット感を与える値になるときの画素値である。
【００５６】
【数８】
0005907196.tif 000009
【００５７】
歪度ｓの値によって輝度ヒストグラムの形状が定まり、歪度ｓが大きいほど光沢感が感じられる画像となり、歪度ｓが小さいほどマット感が感じられる画像となる。そして原画像の輝度ヒストグラムを歪度ｓを使用して制御し、そしてその輝度ヒストグラムを有する画像からＩＢ（ｘ、ｙ）、ＩＭ（ｘ、ｙ）を決定することができる。
【００５８】
図８は、画像処理として知覚制御を調整する場合を示した図である。
ここでは図示するようにユーザは、画像Ｇ上で横方向の軌跡を入力する。そして軌跡を右方向に入力（例えば、画像Ｇを左から右へスワイプ）したときは、画像処理パラメータα２を増加させ、物体のマット感を増す処理が行なわれる。また軌跡を左方向に入力（例えば、画像Ｇを右から左へスワイプ）したときは、画像処理パラメータα１を増加させ、物体の光沢感を増す処理が行なわれる。
【００５９】
図９は、第１の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図９を使用して画像処理装置１０の動作について説明を行う。
【００６０】
まず画像情報取得部１０１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
【００６１】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、例えば、図３や図８で説明した方法で、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ１０２）。
次に算出部１０３が、例えば、図４で説明した方法で、軌跡の位置情報から軌跡の長さを求める（ステップ１０３）。
【００６２】
そしてパラメータ更新部１０４が、例えば、数３式を使用して、予め用意された画像処理の項目に関する画像処理パラメータを更新する（ステップ１０４）。
さらに画像処理部１０５が、更新された画像処理パラメータに基づき、画像に対し画像処理を行なう（ステップ１０５）。
【００６３】
そして画像情報出力部１０６が、画像処理がなされた後の画像情報を出力する（ステップ１０６）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【００６４】
［第２の実施の形態］
次に画像処理装置１０の第２の実施の形態について説明を行なう。
図１０は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１０１と、ユーザ指示受付部１０２と、算出部１０３と、入力方向判定部１０７と、画像処理項目切替部１０８と、パラメータ更新部１０４と、画像処理部１０５と、画像情報出力部１０６とを備える。
図１０で示した第２の実施の形態の画像処理装置１０は、図２で示した第１の実施の形態の画像処理装置１０に対し、入力方向判定部１０７と画像処理項目切替部１０８をさらに備える点で異なる。
【００６５】
画像情報取得部１０１およびユーザ指示受付部１０２の機能については、第１の実施の形態と同様である。また画像情報出力部１０６についても同様であるので、以下、他の機能部について説明を行う。
【００６６】
算出部１０３は、軌跡のＸ方向の移動量｜Ｘ０−Ｘ１｜と、Ｙ方向の移動量｜Ｙ０−Ｙ１｜の双方を次の入力方向判定部１０７に送る。
【００６７】
入力方向判定部１０７は、軌跡の入力方向を判定する。
具体的には、軌跡のＸ方向の移動量｜Ｘ０−Ｘ１｜と、Ｙ方向の移動量｜Ｙ０−Ｙ１｜の大きさを比較する。そして何れが大きいかで軌跡がＸ方向に入力されたか、Ｙ方向に入力されたかの判定を行う。
【００６８】
画像処理項目切替部１０８は、軌跡の入力方向に応じて画像処理部１０５で行なう画像処理の項目の切り替えを行なう。
上述した第１の実施の形態では、軌跡の一方向のみの入力に対し対応していたが、本実施の形態では、軌跡の二方向の入力に対応し、入力の方向により画像処理の項目の切り替えが行なわれる。
【００６９】
例えば、画像処理部１０５が、画像処理パラメータαと画像処理パラメータβの２つの画像処理パラメータについて画像処理を行うことができる場合、画像処理パラメータαと画像処理パラメータβとで軌跡の入力方向によりその何れかを使用して画像処理を行う。またパラメータ更新部１０４は、軌跡の長さを画像処理パラメータαと画像処理パラメータβの何れかについて更新を行う。
【００７０】
そして図１１（ａ）に示すようにＸ方向（横方向）に軌跡が入力された場合、画像処理パラメータαを使用して画像処理を行う。また図１１（ｂ）に示すようにＹ方向（縦方向）に軌跡が入力された場合、画像処理パラメータβを使用して画像処理を行う。
【００７１】
図１２（ａ）〜（ｂ）は、画像処理パラメータの適用例を示した図である。
図１２（ａ）〜（ｂ）では、画像Ｇに対する画像処理として色度の調整を行う場合を示している。このうち図１２（ａ）では、横方向に軌跡が入力された場合は、色相が調整されることを表している。つまり画像処理パラメータαとして色相（Ｈ）が適用されている。また図１２（ｂ）では、縦方向に軌跡が入力された場合は、彩度が調整されることを表している。つまり画像処理パラメータβとして彩度（Ｓ）が適用されている。
【００７２】
画像Ｇ中の画素の画素値をＨ（色相）、Ｓ（彩度）、Ｖ（輝度）のＨＳＶデータで表した場合、調整前の画素値をＨ、Ｓ、Ｖ、調整後の画素値をＨ’、Ｓ’、Ｖ’とすると、ＨとＨ’、ＳとＳ’の関係は、下記数９式となる。
【００７３】
【数９】
0005907196.tif 000010
【００７４】
ｋＨ、ｋＳは比例定数である。ｋＨは、横方向に入力される軌跡の長さに対するＨ（色相）の変化の反映度を表し、ｋＳは、縦方向に入力される軌跡の長さに対するＳ（彩度）の変化の反映度を表す。即ち、ｋＨやｋＳを小さく設定するほどＨ（色相）やＳ（彩度）の変化の感度が抑制され、ｋＨやｋＳを大きく設定するほどＨ（色相）やＳ（彩度）の変化の感度をよくすることができる。
【００７５】
数９式によれば、入力された軌跡の長さが、すべてＨ（色相）やＳ（彩度）の画素値の変化に反映されるが、これに限られるものではない。
例えば、画像全体のＨ（色相）やＳ（彩度）の平均値を考え、平均値周辺の画素値を有する画素については変化量を大きくし、平均値から離れた画素値を有する画素については変化量を小さく（または変化しないように）してもよい。この場合、画像によっては、一律にＨ（色相）やＳ（彩度）の調整を行うよりも自然な色調となる場合がある。
【００７６】
この場合、調整前の画素値をＨ、Ｓ、Ｖ、調整後の画素値をＨ’、Ｓ’、Ｖ’とすると、ＨとＨ’、ＳとＳ’の関係は、下記数１０式となる。
【００７７】
【数１０】
0005907196.tif 000011
【００７８】
数１０式で関数ｆＨ（Ｈ）、ｆＳ（Ｓ）は、図１３（ａ）〜（ｂ）に示す関数として定義することができる。
このうち図１３（ａ）は、関数ｆＨ（Ｈ）を示している。ここで横軸は、調整前の画素値Ｈを表し、縦軸は、調整後の画素値Ｈ’を表す。
図１３（ａ）の関数では、調整前の画素値が平均値Ｈ０の場合に、Ｈの変化量が最も大きくなる。そして関数ｆＨ（Ｈ）は、平均値Ｈ０と色調整後の画素値Ｈ０＋ΔｄＨで表される座標（Ｈ０、Ｈ０＋ΔｄＨ）とＨやＨｈの最大値Ｈmaxで表される座標（Ｈmax、Ｈmax）とを結ぶ線、および座標（Ｈ０、Ｈ０＋ΔｄＨ）と原点（０、０）を結ぶ線で定義される。
【００７９】
同様に図１３（ｂ）は、関数ｆＳ（Ｓ）を示している。ここで横軸は、調整前の画素値Ｓを表し、縦軸は、調整後の画素値Ｓ’を表す。
図１３（ｂ）の関数では、調整前の画素値が平均値Ｓ０の場合に、Ｓの変化量が最も大きくなる。そして関数ｆＳ（Ｓ）は、平均値Ｓ０と色調整後の画素値Ｓ０＋ΔｄＳで表される座標（Ｓ０、Ｓ０＋ΔｄＳ）とＳやＳｈの最大値Ｓmaxで表される座標（Ｓmax、Ｓmax）とを結ぶ線、および座標（Ｓ０、Ｓ０＋ΔｄＳ）と原点（０、０）を結ぶ線で定義される。
【００８０】
またこのときＨの変化量ΔｄＨ、およびＳの変化量ΔｄＳは、以下の数１１式となる。
【００８１】
【数１１】
0005907196.tif 000012
【００８２】
また複数回同じ方向の軌跡を入力したときは、関数ｆＨ（Ｈ）、ｆＳ（Ｓ）は、順次更新される。
図１４は、複数回縦方向の軌跡を入力したときに関数ｆＨ（Ｈ）が更新される様子を示した図である。
ここで１回縦方向の軌跡を入力したときは、平均値Ｈ０の箇所で、Ｈの変化量はΔｄＨとなり、色調整後の画素値はＨ０＋ΔｄＨとなる。そして関数ｆＨ（Ｈ）は、図１３（ａ）と同様の関数となる。なお図１４では、この関数をｆＨ（Ｈ）（１）として図示している。さらにもう１回縦方向の軌跡を入力したときは、平均値Ｈ０の箇所で、さらにＨがΔｄＨ変化し、色調整後の画素値Ｈ０＋２ΔｄＨとなる。これに従い、関数ｆＨ（Ｈ）は、ｆＨ（Ｈ）（２）で図示するものに更新される。そしてさらにもう１回縦方向の軌跡を入力したときは、平均値Ｈ０の箇所で、さらにＨがΔｄＨ変化し、色調整後の画素値Ｈ０＋３ΔｄＨとなる。これに従い、関数ｆＨ（Ｈ）は、ｆＨ（Ｈ）（３）で図示するものに更新される。なおこの際、最大限更新できる上限であるリミットを設け、関数ｆＨ（Ｈ）をこのリミットを越えて更新されないようにすることが好ましい。
【００８３】
なお上述した例では、軌跡の入力方向によりＨ（色相）とＳ（彩度）の調整を行ったが、これに限られるものではなく、例えば、Ｈ（色相）とＶ（輝度）の組み合わせでもよく、さらにＳ（彩度）とＶ（輝度）の組み合わせでもよい。さらに軌跡の入力の方向別に対応付ける画像処理パラメータは、これに限られるものではなく、他のものでもよい。
また上述した例では、画像情報取得部１０１で取得したＲＧＢデータをＨＳＶデータに変換して画像処理を行うことが好ましい。ただしこれに限られるものではなく、Ｌ＊ａ＊ｂ＊データやＹＣｂＣｒデータに変換して行ってもよく、ＲＧＢデータのままで行ってもよい。
【００８４】
また画像処理パラメータとして画像の有する空間周波数に着目したパラメータを設定して、画像処理を行なうことも考えられる。
【００８５】
具体的には、各画素値の輝度Ｖを、以下の数１２式を使用して調整する。数１２式でαｇは、強調度合いを表すパラメータであり、αＢは、ぼかし帯域を表すパラメータである。
この場合、Ｖ−ＶＢ（αＢ）は、アンシャープ成分を表す。またＶＢは、平滑化画像を表し、αＢが小さい場合は、ぼかし度合いが小さい画像となり、αＢが大きい場合は、ぼかし度合いが大きい画像となる。そのためαＢが小さい場合は、アンシャープ成分Ｖ−ＶＢ（αＢ）は、より高周波となるので、数１２式はより高周波強調の式となり細かい輪郭（ディテール）がくっきり再現される。対してαＢが大きい場合は、アンシャープ成分Ｖ−ＶＢ（αＢ）は、より低周波となるので、数１２式はより低周波強調の式となり、おおまかな輪郭（形状）が強調される。またαｇは、強調度合い（ゲイン）であるため、αｇが小さい場合は、強調の度合いが小さく、αｇが大きい場合は、強調の度合いが大きくなる。
【００８６】
【数１２】
0005907196.tif 000013
【００８７】
この場合、例えば、横方向に軌跡を入力した場合、ぼかし帯域を表すパラメータαＢを増減させるようにし、縦方向に軌跡を入力した場合、強調度合いを表すパラメータαｇを増減させるようにする。
【００８８】
またこのときαＢの変化量ΔαＢ、およびαｇの変化量Δαｇは、以下の数１３式となる。
【００８９】
【数１３】
0005907196.tif 000014
【００９０】
ｋＢ、ｋｇは比例定数である。ｋＢは、横方向に入力される軌跡の長さに対するぼかし帯域を表すパラメータαＢの変化の反映度を表し、ｋｇは、縦方向に入力される軌跡の長さに対する強調度合いを表すパラメータαｇの変化の反映度を表す。
【００９１】
図１５は、空間周波数の調整を行なうときに表示画面２１に表示される画像Ｇの例を示した図である。
そしてユーザが、横方向の軌跡を入力させたときは、ぼかし帯域を表すパラメータαＢの調整が行なわれる。即ち、ユーザが、右方向に軌跡を入力したときは、ぼかし帯域を表すパラメータαＢを高周波方向にする。またユーザが、左方向に軌跡を入力したときは、ぼかし帯域を表すパラメータαＢを低周波方向にする。
またユーザが、縦方向の軌跡を入力させたときは、強調の度合いを表すパラメータαｇの調整が行なわれる。即ち、ユーザが、上方向に軌跡を入力したときは、強調の度合いを表すパラメータαｇを増加させる。またユーザが、下方向に軌跡を入力したときは、強調の度合いを表すパラメータαｇを減少させる。
【００９２】
図１６は、図１５による操作の結果、画像処理が行なわれた後の画像Ｇについて説明した図である。
図示するようにぼかし帯域を表すパラメータαＢの調整を行い、ぼかし帯域αＢを高周波方向にしたとき（図中右方向）は、画像Ｇがよりシャープな画質となり、ぼかし帯域を表すパラメータαＢを低周波方向にしたとき（図中左方向）は、画像Ｇがよりアンシャープな画質となる。
【００９３】
また強調の度合いを表すパラメータαｇの調整を行い、強調の度合いを表すパラメータαｇを増加させたとき（図中上方向）は、画像Ｇがより強調した画像として表示され、強調の度合いを表すパラメータαｇを減少させたとき（図中下方向）は、画像Ｇがよりめだたない画像として表示される。
【００９４】
なお画像をぼかす方法は、ガウシアンフィルタを使用する方法、移動平均を使用する方法、縮小して拡大する方法など様々な方法があるが、いかなるものを用いてもよい。例えば、ガウシアンフィルタを使用する方法であれば、ぼかし帯域を表すパラメータαＢは、ガウス関数の分散に対応付けることができる。また移動平均を使用する方法であれば、移動窓のサイズに対応付けることができ、縮小して拡大する方法であれば縮小率に対応付けることができる。
【００９５】
なおぼかし帯域を表すパラメータαＢや強調の度合いを表すパラメータαｇについて、最大限更新できる上限であるリミットを設け、このリミットを越えて更新されないようにすることが好ましい。
【００９６】
図１７は、第２の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図１０および図１７を使用して画像処理装置１０の動作について説明を行う。
【００９７】
まず画像情報取得部１０１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ２０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
【００９８】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、例えば、図１２で説明した方法で、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ２０２）。
次に算出部１０３が、軌跡の位置情報から軌跡の長さを求める（ステップ２０３）。
【００９９】
そして入力方向判定部１０７が、軌跡の入力方向を判定する（ステップ２０４）。
さらに画像処理項目切替部１０８は、軌跡の入力方向に応じて画像処理部１０５で行なう画像処理の項目の切り替えを行なう（ステップ２０５）。
【０１００】
次にパラメータ更新部１０４が、切り替えられた画像処理の項目に関する画像処理パラメータを更新する（ステップ２０６）。
そして画像処理部１０５が、更新された画像処理パラメータに基づき、画像に対し画像処理を行なう（ステップ２０７）。
【０１０１】
次に画像情報出力部１０６が、画像処理がなされた後の画像情報を出力する（ステップ２０８）。この画像情報は、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【０１０２】
［第３の実施の形態］
次に画像処理装置１０の第３の実施の形態について説明を行なう。
図１８は、本発明の第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１０１と、ユーザ指示受付部１０２と、算出部１０３と、形状判定部１０９と、画像処理項目切替部１０８と、パラメータ更新部１０４と、画像処理部１０５と、画像情報出力部１０６とを備える。
図１８で示した第３の実施の形態の画像処理装置１０は、図２で示した第１の実施の形態の画像処理装置１０に対し、形状判定部１０９と画像処理項目切替部１０８をさらに備える点で異なる。
【０１０３】
画像情報取得部１０１およびユーザ指示受付部１０２の機能については、第１の実施の形態と同様である。また画像情報出力部１０６についても同様であるので、以下、他の機能部について説明を行う。
【０１０４】
図１９は、本実施の形態でユーザが入力する軌跡の一例を示した図である。
上述した第１の実施の形態および第２の実施の形態では、直線状の軌跡を入力していたが、本実施の形態では、軌跡として予め定められた図形や文字を入力する。図１９に図示した例では、ユーザは、図形として円形である「○」の図形を入力している。
【０１０５】
算出部１０３は、軌跡の大きさとして軌跡のサイズを求める。
図２０は、軌跡Ｋのサイズを求める方法の一例を説明した図である。
図示するように「○」の図形である軌跡Ｋに外接する矩形Ｑを考え、この矩形Ｑを基に、軌跡のサイズを求める。
具体的には、例えば、矩形Ｑの長辺の長さを軌跡Ｋのサイズとすることができる。また矩形Ｑの長辺の長さと短辺の長さの平均を軌跡Ｋのサイズとしてもよい。この軌跡Ｋのサイズは、算出部１０３が算出する。
【０１０６】
形状判定部１０９は、入力された軌跡の形状を判定する。
つまり形状判定部１０９は、軌跡Ｋの形状を判定し、そしてその形状から画像処理部１０５で行う画像処理の項目のうちの何れかに対応するかを判定する。
【０１０７】
ここでは、軌跡Ｋの形状が円形である「○」の図形であった場合は、画像処理として輝度のガンマ補正を行うものとする。また軌跡Ｋの形状が、「Ｈ」の文字であった場合は、画像処理として色相の調整を行うものとし、軌跡Ｋの形状が、「Ｓ」の文字であった場合は、画像処理として彩度の調整を行うものとする。
【０１０８】
軌跡Ｋの形状の判定は、例えば、以下のようにして行う。
図２１（ａ）〜（ｂ）は、軌跡Ｋの形状の判定を行う方法について説明した図である。
図２１（ａ）は、軌跡Ｋとして「Ｈ」の文字が入力され、そして軌跡Ｋに外接する矩形Ｑについて示している。そして図２１（ｂ）で図示するように、矩形Ｑを内部の軌跡Ｋとともに正方形に正規化する。そして正規化した後の図形や文字について予め用意されたテンプレートとなる図形や文字等とのマッチングを行い、その近さで、軌跡Ｋの形状の判定を行う。
【０１０９】
画像処理項目切替部１０８は、軌跡の形状に応じて画像処理部１０５で行なう画像処理の項目の切り替えを行なう。
そしてパラメータ更新部１０４は、切り替えられた画像処理の項目に関する画像処理パラメータを更新する。この際に画像処理パラメータは、軌跡Ｋのサイズに応じてその更新の度合いが変化する。即ち、軌跡Ｋのサイズが大きいほど、画像処理パラメータはより大きく変更される。
【０１１０】
画像処理部１０５は、更新された画像処理パラメータに基づき、画像に対し画像処理を行なう。
【０１１１】
図２２（ａ）〜（ｅ）は、軌跡Ｋのサイズにより画像処理の結果が異なる様子を示した図である。
図２２（ａ）では、入力される軌跡Ｋについて示している。このときより小さいサイズの「○」の図形である軌跡Ｋａを入力したときは、輝度のガンマ補正が、図２２（ｃ）に示すようになされ、これに応じた図２２（ｂ）の画像が表示される。
またこのときより大きいサイズの「○」の図形である軌跡Ｋｂを入力したときは、輝度のガンマ補正が、図２２（ｅ）に示すようになされ、これに応じた図２２（ｄ）の画像が表示される。
【０１１２】
図２３は、第３の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図１８および図２３を使用して画像処理装置１０の動作について説明を行う。
【０１１３】
まず画像情報取得部１０１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ３０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
【０１１４】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、例えば、図１９で説明した方法で、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ３０２）。
次に算出部１０３が、図２０で説明したように、軌跡の位置情報から軌跡に外接する矩形を求め、この矩形を基に軌跡のサイズを求める（ステップ３０３）。
【０１１５】
さらに形状判定部１０９が、軌跡の形状を判定する（ステップ３０４）。
そして画像処理項目切替部１０８が、軌跡の形状に応じて画像処理の項目の切り替えを行なう（ステップ３０５）。
【０１１６】
次にパラメータ更新部１０４が、切り替えられた画像処理の項目に関する画像処理パラメータを更新する（ステップ３０６）。
そして画像処理部１０５が、更新された画像処理パラメータに基づき、画像に対し画像処理を行なう（ステップ３０７）。
【０１１７】
次に画像情報出力部１０６が、画像処理がなされた後の画像情報を出力する（ステップ３０８）。この画像情報は、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【０１１８】
［第４の実施の形態］
次に画像処理装置１０の第４の実施の形態について説明を行なう。
図２４は、本発明の第４の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１０１と、ユーザ指示受付部１０２と、画像処理項目切替部１０８と、入力方向判定部１０７と、算出部１０３と、パラメータ更新部１０４と、画像処理部１０５と、画像情報出力部１０６とを備える。
図２４で示した第４の実施の形態の画像処理装置１０は、図１０で示した第２の実施の形態の画像処理装置１０に対し、入力方向判定部１０７と画像処理項目切替部１０８とが逆になっている点で異なる。
【０１１９】
本実施の形態では、画像処理項目切替部１０８において、ユーザが表示画面２１上で行なうタップ動作またはクリック動作により画像処理の項目の切り替えを行なう。このタップ動作やクリック動作は、ユーザ指示受付部１０２によりユーザ指示情報として取得され、このユーザ指示情報を基に画像処理項目切替部１０８が、画像処理の項目の切り替えを行なう。
【０１２０】
例えば、画像処理パラメータがα１、α２、α３、…、αｎのようにｎ個ある場合は、タップ動作やクリック動作に応じて、画像処理パラメータをα１→α２→α３→…→αｎ→α１というように順に切り替えていけばよい。また画像処理パラメータがα１、α２、α３の３個であった場合に、そのうち２個の組み合わせであるα１α２、α２α３、α３α１をα１α２→α２α３→α３α１→α１α２というように順に切り替えていってもよい。
【０１２１】
図２５（ａ）〜（ｂ）は、画像処理の項目の切り替えを行なうときに表示画面２１で表示される画像の例を示した図である。
図２５（ａ）〜（ｂ）では、調整を行なう項目を切り替えるのに、タップ動作で切り替える場合を示している。つまり入力装置３０がタッチパネルであった場合に表示画面２１の何れかの箇所をタップすると、調整を行なう項目が、図２５（ａ）で図示した「彩度」および「色相」と、図２５（ｂ）で図示した「明度」および「色相」との間で交互に切り替えられる。ここでは、図２５（ａ）で示した画面をタップした結果、図２５（ｂ）の画面に切り替わった場合を示している。
【０１２２】
図２６は、第４の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図２４および図２６を使用して画像処理装置１０の動作について説明を行う。
【０１２３】
まず画像情報取得部１０１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ４０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
【０１２４】
次にユーザが表示画面２１上で行なうタップ動作またはクリック動作により画像処理の項目の切り替えを行なう。このタップ動作またはクリック動作の情報は、ユーザ指示情報として、ユーザ指示受付部１０２が取得する（ステップ４０２）。
そして画像処理項目切替部１０８が、ユーザが表示画面２１上で行なうタップ動作またはクリック動作の回数に応じて画像処理の項目の切り替えを行なう（ステップ４０３）。
【０１２５】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ４０４）。
そして算出部１０３が、軌跡の位置情報から軌跡の長さを求める（ステップ４０５）。
そして入力方向判定部１０７が、軌跡の入力方向を判定する（ステップ４０６）。
【０１２６】
さらにパラメータ更新部１０４が、切り替えられた画像処理の項目と軌跡の入力方向に対応する画像処理パラメータを更新する（ステップ４０７）。
そして画像処理部１０５が、更新された画像処理パラメータに基づき、画像に対し画像処理を行なう（ステップ４０８）。
【０１２７】
次に画像情報出力部１０６が、画像処理がなされた後の画像情報を出力する（ステップ４０９）。この画像情報は、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【０１２８】
［第５の実施の形態］
次に画像処理装置１０の第５の実施の形態について説明を行なう。
図２７は、本発明の第５の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１０１と、ユーザ指示受付部１０２と、領域検出部１１０と、算出部１０３と、パラメータ更新部１０４と、画像処理部１０５と、画像情報出力部１０６とを備える。
図２７で示した第５の実施の形態の画像処理装置１０は、図２で示した第１の実施の形態の画像処理装置１０に対し、領域検出部１１０をさらに備える点で異なる。
【０１２９】
領域検出部１１０は、ユーザからの指示に基づき、表示装置２０で表示されている画像の中からユーザが画像処理を行なう画像領域として指定する指定領域を検出する。
実際には、領域検出部１０３は、表示装置２０で表示している画像の中から、指定領域を切り出す処理を行う。
上述した第１の実施の形態〜第４の実施の形態は、例えば、画像全体で調整を行う場合、または、画像を調整する場合でも背景が複雑ではない場合などに適する。対して、本実施形態では、複雑な背景を伴った場合に、特定の指定領域を切り出し、切り出した指定領域に対し画像処理を行いたい場合に有効である。
【０１３０】
本実施の形態では、指定領域の切り出しを下記に説明するユーザインタラクティブに行う方法により行うことができる。
図２８は、指定領域をユーザインタラクティブに行う方法の例を示した図である。
ここでは、表示装置２０の表示画面２１で表示している画像が、前景として写る人物と、人物の背後に写る背景とからなる写真の画像Ｇである場合を示している。そしてユーザが、人物の顔の部分を指定領域として切り出す場合を示している。
【０１３１】
この場合ユーザは、顔の部分、および顔以外の部分のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、顔の部分、および顔以外の部分のそれぞれに対し代表となる位置を示す情報を与えればよい。
【０１３２】
そしてこの位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得され、さらに領域検出部１０３により指定領域を切り出す処理が行なわれる。この場合、ユーザ指示受付部１０２は、指定領域内の代表位置を表す代表位置情報を取得する位置情報取得部として機能する。
【０１３３】
そして領域検出部１０３は、軌跡等が描かれた画素と周辺の画素との間で画素値の近さ（ＲＧＢ値のユークリッド距離など）を基に、近ければ連結し、遠ければ、連結しない作業を繰り返し、領域を拡張していく。このように領域を拡張していく領域拡張方法により、指定領域を切り出すことができる。
【０１３４】
また指定領域の切り出しを行うのに、例えば、画像Ｇをグラフと見立て、最大流量最小カットの原理を利用した方法も使用できる。
この原理は、図２９−１に示すように前景の仮想ノードを始点、背景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した背景領域の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と背景とを分離することになる（グラフカット）。
【０１３５】
またはシードを与えた後に、領域拡張の原理を利用した方法でも指定領域の切り出しを行うことができる。
図２９−２（ａ）〜（ｅ）は、２つのシードが与えられた場合に、画像を２つの領域にわける具体例である。
ここでは図２９−２（ａ）の原画像に対し、図２９−２（ｂ）で示すように、シードとしてシード１とシード２の２つを与える。そして各々のシードを基点に領域を拡張していく。この場合、例えば、原画像における近傍画素の値との近さ等に応じて領域を拡張していくことができる。このとき図２９−２（ｃ）に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
【０１３６】
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
【０１３７】
図２９−２（ｄ）の例では、再判定の対象画素は、最終的にはシード２の領域として判定され、図２９−２（ｅ）に示すように２つのシードを基に、２つの領域に切り分けられて収束する。
以上挙げた例は、領域カットに関する例であり、領域拡張やグラフなどの原理を利用した領域の切り出し方法の具体例を示した。ただし本実施の形態では、この領域カットの方法は問わず、いかなるものでも適用可能である。
【０１３８】
図３０（ａ）〜（ｃ）は、原画像から指定領域が切り出される様子を示した図である。
図３０（ａ）は、指定領域を切り出す前の原画像である画像Ｇであり、図３０（ｂ）は、指定領域として人物の顔の部分を切り出した場合を示している。また図３０（ｃ）は、指定領域中の画素にフラグ「１」を付与し、指定領域外の画素にフラグ「０」を付与すると、このフラグの分布は、図３０（ｃ）のようになる。ここで白色の部分は、フラグが１であり、指定領域であることを示す。また黒色の部分は、フラグが０であり、指定領域外であることを示す。図３０（ｃ）は、指定領域と指定領域外とを切り分けるマスクと見ることもできる。
【０１３９】
なおこのマスクを図３１で示すように境界をぼかしたものとし、このマスクを使用して指定領域を切り出してもよい。この場合、マスクの値は、通常は、指定領域では１、指定領域外では０であるが、指定領域と指定領域外との境界付近では、０〜１の値を採る。即ち、指定領域と指定領域外との境界がぼける平滑化マスクとなる。
【０１４０】
図３２−１（ａ）〜（ｃ）は、ユーザが指定領域を切り出す作業を行い、さらにその後、画像処理を行う作業を行う場合について説明した図である。
この場合、ユーザは、図３２−１（ａ）に示すように、図２８で説明した通りに画像Ｇ中の顔の部分、および顔以外の部分のそれぞれに対し代表となる軌跡をそれぞれ与える。
【０１４１】
そして図３２−１（ａ）に示すように、切り出しボタン２１１をタッチすると、図３２−１（ｂ）に示すように顔の部分が指定領域として切り出される。
【０１４２】
さらにユーザが色感調整ボタン２１２をタッチすると、図３２−１（ｃ）に示すように画像Ｇは、元に戻り、画像処理を行う画面となる。
この状態でユーザが、例えば、横方向にスワイプ動作を行うと、例えば、色相（Ｈ）の調整が行われる。なおこの場合、ラジオボタン２１３ａとラジオボタン２１３ｂにより顔の部分と顔以外の部分とで指定領域の切替えができるようになっている。そして「前景」に対応するラジオボタン２１３ａを選択した場合は、顔の部分が指定領域となり、「背景」に対応するラジオボタン２１３ｂを選択した場合は、顔以外の部分が指定領域となる。
【０１４３】
また、図３２−２（ａ）〜（ｂ）は、図３２−１の切り出しボタン２１１を設けない場合を示している。
この場合、ユーザは、図３２−２（ａ）において、図３２−１（ａ）と同様に画像Ｇ中の顔の部分、および顔以外の部分のそれぞれに対し代表となる軌跡をそれぞれ与える。
【０１４４】
そしてユーザが色感調整ボタン２１２をタッチすると、図３２−２（ｂ）に示すように図３２−１（ｃ）と同様の画像処理を行う画面となる。即ち、この場合、色感調整ボタン２１２は、図３２−１（ａ）で説明した切り出しボタン２１１の機能を含むものとなる。
後はユーザが、スワイプ動作を行なうことで、図３２−１（ｃ）の場合と同様に、指定領域に対して、例えば色相（Ｈ）の調整を行なうことができる。またラジオボタン２１３ａとラジオボタン２１３ｂにより顔の部分と顔以外の部分とで指定領域の切替えができる。
【０１４５】
なお図３１で示したようなマスクを用いて指定領域の切り出しを行ったとき、指定領域内の（ｘ、ｙ）の位置における画素に付与されたマスクの値をｗ（ｘ、ｙ）、画像処理前の画素値をＩＲＧＢ（ｘ、ｙ）、画像処理後の画素値をＩ’ＲＧＢ（ｘ、ｙ）、マスク合成され画面に表示される画素値をＩｗＲＧＢ（ｘ、ｙ）とすると、以下の数１４式の関係となる。
【０１４６】
【数１４】
0005907196.tif 000015
【０１４７】
図３３は、第５の実施の形態についての画像処理装置１０の動作について説明したフローチャートである。
以下、図２７および図３３を使用して画像処理装置１０の動作について説明を行う。
【０１４８】
まず画像情報取得部１０１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ５０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
【０１４９】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、例えば、図２８で説明した方法で、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ５０２）。
そして領域検出部１１０が、この軌跡の位置情報を基に指定領域の切り出しを行う（ステップ５０３）。
【０１５０】
次にユーザが、表示装置２０の表示画面２１に表示された画像に対し、例えば、図３や図８で説明した方法で、軌跡の入力を行う。この軌跡の位置情報は、ユーザ指示情報としてユーザ指示受付部１０２により取得される（ステップ５０４）。
そして算出部１０３が、例えば、図４で説明した方法で、軌跡の位置情報から軌跡の長さを求める（ステップ５０５）。
【０１５１】
そしてパラメータ更新部１０４が、予め用意された画像処理の項目に関する画像処理パラメータを更新する（ステップ５０６）。
さらに画像処理部１０５が、更新された画像処理パラメータに基づき、画像中の指定領域に対し画像処理を行なう（ステップ５０７）。
【０１５２】
そして画像情報出力部１０６が、画像処理がなされた後の画像情報を出力する（ステップ５０８）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【０１５３】
以上詳述した第１の実施の形態による画像処理装置１０では、画像処理の程度を軌跡の長さで制御することができ、また軌跡を入力する位置は画像中のどこでもよい。そしてユーザは、より直感的に、またより操作性よく画像処理を行なうことができる。
また第２の実施の形態による画像処理装置１０では、これに加え、軌跡の入力方向により画像処理の項目の切り替えを行なうことができる。そしてユーザは、画像処理の項目の切り替えを、より直感的に、またより操作性よく行なうことができる。
さらに第３の実施の形態による画像処理装置１０では、ユーザが覚えやすい図形や文字等を使用して画像処理の項目の切り替えを行なうことができる。また図形や文字の大きさにより画像処理の程度を制御することができる。そしてユーザは、より直感的に、またより操作性よく画像処理を行なうことができる。
またさらに第４の実施の形態による画像処理装置１０では、タップ等により画像処理の項目の切り替えを行なうことができる。そしてユーザは、画像処理の項目の切り替えを、より直感的に、またより操作性よく行なうことができる。
またさらに第５の実施の形態による画像処理装置１０では、指定領域の切り出しをより容易に行なうことができる。そしてユーザは、画像処理を行ないたい領域を選択して画像処理を行なうことができる。
【０１５４】
＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図３４は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。
【０１５５】
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【０１５６】
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像処理を行なう画像の画像情報を取得する機能と、画像上でユーザにより入力される軌跡の位置情報を取得する機能と、軌跡の位置情報から軌跡の大きさを求める機能と、軌跡の大きさにより画像処理を行なう程度を変更し、画像に対し画像処理を行なう機能と、を実現させるプログラムとして捉えることもできる。
【０１５７】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【０１５８】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【０１５９】
１…画像処理システム、１０…画像処理装置、２０…表示装置、３０…入力装置、１０１…画像情報取得部、１０２…ユーザ指示受付部、１０３…算出部、１０４…パラメータ更新部、１０５…画像処理部、１０６…画像情報出力部、１０７…入力方向判定部、１０８…画像処理項目切替部、１０９…形状判定部、１１０…領域検出部
【図１】
0005907196.tif 000016
【図２】
0005907196.tif 000017
【図３】
0005907196.tif 000018
【図４】
0005907196.tif 000019
【図５】
0005907196.tif 000020
【図６】
0005907196.tif 000021
【図７】
0005907196.tif 000022
【図８】
0005907196.tif 000023
【図９】
0005907196.tif 000024
【図１０】
0005907196.tif 000025
【図１１】
0005907196.tif 000026
【図１２】
0005907196.tif 000027
【図１３】
0005907196.tif 000028
【図１４】
0005907196.tif 000029
【図１５】
0005907196.tif 000030
【図１６】
0005907196.tif 000031
【図１７】
0005907196.tif 000032
【図１８】
0005907196.tif 000033
【図１９】
0005907196.tif 000034
【図２０】
0005907196.tif 000035
【図２１】
0005907196.tif 000036
【図２２】
0005907196.tif 000037
【図２３】
0005907196.tif 000038
【図２４】
0005907196.tif 000039
【図２５】
0005907196.tif 000040
【図２６】
0005907196.tif 000041
【図２７】
0005907196.tif 000042
【図２８】
0005907196.tif 000043
【図２９−１】
0005907196.tif 000044
【図２９−２】
0005907196.tif 000045
【図３０】
0005907196.tif 000046
【図３１】
0005907196.tif 000047
【図３２−１】
0005907196.tif 000048
【図３２−２】
0005907196.tif 000049
【図３３】
0005907196.tif 000050
【図３４】
0005907196.tif 000051