(57)【要約】【課題】ユーザが所望の領域を選択できる領域指定の方法を提供することができるようにする。【解決手段】取得部は、入力画像に対してユーザが領域選択のために指定した位置情報を取得する。選択領域計算部は、入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、ユーザが指定した位置情報に対応するオブジェクト面の変換行列を用いて、オブジェクト面上の領域を、ユーザの選択領域として算出する。本技術は、例えば、ユーザが画像中の所望の領域を選択する処理を行う画像処理装置に適用できる。【選択図】図２
2014035656.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対してユーザが領域選択のために指定した位置情報を取得する取得部と、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する選択領域計算部と
を備える画像処理装置。
【請求項２】
前記入力画像内の前記オブジェクト面を認識する認識部と、
前記認識部により認識された前記オブジェクト面と、前記軸直交平面との変換行列を計算する変換行列計算部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記認識部は、前記オブジェクト面として、前記入力画像内のオブジェクトが構成する凸四角形を認識し、
前記変換行列計算部は、前記認識部により認識された前記凸四角形と、軸直交平面としての単位正方形との変換行列を計算する
請求項２に記載の画像処理装置。
【請求項４】
前記認識部は、前記入力画像を領域分割処理して前記オブジェクトの輪郭を抽出し、抽出された輪郭に基づいて、前記オブジェクトが構成する凸四角形を認識する
請求項３に記載の画像処理装置。
【請求項５】
複数の前記オブジェクト面の階層構造を構築する階層構造構築部をさらに備え、
前記選択領域計算部は、前記ユーザが指定した前記位置情報に対応する所定の階層の前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
請求項１に記載の画像処理装置。
【請求項６】
前記選択領域計算部は、前記ユーザが指定した前記位置情報に対応する最下層の前記オブジェクト面の前記変換行列を用いる
請求項５に記載の画像処理装置。
【請求項７】
前記ユーザが指定した前記位置情報に対応する前記オブジェクト面を表示させる表示制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面を、ユーザの領域選択指定操作に応じて表示させ、所定時間経過後に消去する
請求項７に記載の画像処理装置。
【請求項９】
前記取得部は、前記入力画像に対してユーザが指定した少なくとも２点の位置を、前記位置情報として取得する
請求項１に記載の画像処理装置。
【請求項１０】
前記取得部は、前記入力画像に対してユーザが指定した対角方向の２点の位置を、前記位置情報として取得し、
前記選択領域計算部は、前記オブジェクト面として、凸四角形を構成する４点のうち、前記ユーザが指定した対角方向の２点以外の２点を、前記変換行列を用いて算出する
請求項９に記載の画像処理装置。
【請求項１１】
前記変換行列は、ホモグラフィ行列と、その逆行列であるホモグラフィ逆行列である
請求項１に記載の画像処理装置。
【請求項１２】
第１の前記位置情報に基づいて算出された前記ユーザの選択領域である第１の領域の画像と、第２の前記位置情報に基づいて算出された前記ユーザの選択領域である第２の領域の画像を入れ替えるスワップ処理を行う画像編集部をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
入力画像に対してユーザが領域選択のために指定した位置情報を取得し、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
ステップを含む画像処理方法。
【請求項１４】
コンピュータに、
入力画像に対してユーザが領域選択のために指定した位置情報を取得し、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ユーザが所望の領域を選択できる領域指定の方法を提供する画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像の編集などにおいて所定の領域を指定する場合、クリックアンドドラッグにより２点を指定し、指定された２点が対角方向の点となる長方形を指定領域とする操作方法が一般的である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１７２３９１号公報（０００４段落）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像のなかには、例えば、街並みを撮影した写真などのように、画像中のオブジェクトが遠近法（透視図法）で描写されているものも多く存在する。このような画像では、従来のクリックアンドドラッグによる２点指定の領域指定では、ユーザが所望の領域を選択できない場合が多い。例えば、図１Aに示されるような画像において、「NEW COURT」の表示がされた看板の「NEW」の文字を領域指定しようとする場合、従来の方法では、図１Bに示されるようになり、「NEW」の文字を上手に領域指定することができない。すなわち、画像中のオブジェクトが遠近法で斜めの平面となっているのに対して、従来の方法では常に矩形でしか領域を指定できないため、本来指定したい領域を適切に選択することができない。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、ユーザが所望の領域を選択できる領域指定の方法を提供するものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、入力画像に対してユーザが領域選択のために指定した位置情報を取得する取得部と、前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する選択領域計算部とを備える。
【０００７】
本技術の一側面の画像処理方法は、入力画像に対してユーザが領域選択のために指定した位置情報を取得し、前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出するステップを含む。
【０００８】
本技術の一側面のプログラムは、コンピュータに、入力画像に対してユーザが領域選択のために指定した位置情報を取得し、前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する処理を実行させるためのものである。
【０００９】
本技術の一側面においては、入力画像に対してユーザが領域選択のために指定した位置情報が取得され、前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域が、前記ユーザの選択領域として算出される。
【００１０】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１１】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１２】
本技術の一側面によれば、ユーザが所望の領域を選択できる領域指定の方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】従来の領域選択の方法を説明する図である。
【図２】本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】図２の画像処理装置による領域選択の例を説明する図である。
【図４】図２の画像処理装置による遠近法的領域選択処理を説明するフローチャートである。
【図５】図４のステップＳ１として実行される凸四角形抽出処理の詳細を説明するフローチャートである。
【図６】領域分割処理を説明する図である。
【図７】ステップＳ２５の処理を説明する図である。
【図８】ステップＳ２６の処理を説明する図である。
【図９】図４のステップＳ２として実行される階層構造構築処理の詳細を説明するフローチャートである。
【図１０】ステップＳ４３の処理を説明する図である。
【図１１】ステップＳ４７の処理を説明する図である。
【図１２】図４のステップＳ５として実行される領域決定処理の詳細を説明するフローチャートである。
【図１３】ステップＳ６４の処理の詳細を説明する図である。
【図１４】本技術の概念を示した図である。
【図１５】遠近法的領域選択処理を適用したアプリケーションの例を示す図である。
【図１６】遠近法的領域選択処理を適用したアプリケーションの例を示す図である。
【図１７】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
［画像処理装置の構成例］
図２は、本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１５】
画像処理装置１は、入力画像取得部１１、凸四角形抽出部１２、階層構造構築部１３、ホモグラフィ行列計算部１４、凸四角形記憶部１５、ユーザ操作情報取得部１６、選択領域計算部１７、および選択領域表示制御部１８で構成される。
【００１６】
画像処理装置１は、クリックアンドドラッグにより指定された２点の位置情報に基づいて、遠近法に従った斜め領域を、ユーザの選択領域として指定する領域指定のユーザインターフェースを提供する装置である。この画像処理装置１によれば、例えば、図１Aで示した画像中の看板の「NEW」の文字を領域指定した場合、図３に示されるように、「NEW」の文字を適切に領域指定することができる。このような、画像処理装置１により可能となる領域選択の方法を、遠近法的領域選択（perspective area selection）という。
【００１７】
入力画像取得部１１は、編集対象となる入力画像を取得し、凸四角形抽出部１２に供給する。
【００１８】
凸四角形抽出部１２は、入力画像のなかに存在する凸四角形を抽出する。より詳しくは、凸四角形抽出部１２は、入力画像のなかで、凸四角形として近似できる画像中のオブジェクト形状を検索し、凸四角形として抽出するものである。凸四角形は、遠近法（透視図法）で描写されている入力画像内のオブジェクトが構成する面に相当するので、凸四角形抽出部１２は、入力画像内のオブジェクトが構成するオブジェクト面（透視投影面）を認識する。
【００１９】
なお、凸四角形とは、全ての頂点の内角が１８０度未満である四角形を表す。なお、頂点の内角が一つでも１８０度以上存在する四角形は、凸四角形と反対の凹四角形となる。
【００２０】
階層構造構築部１３は、入力画像から、凸四角形抽出部１２により抽出された全ての凸四角形の包含関係（ネスト構造）を表す階層構造を構築する。具体的には、例えば、凸四角形抽出部１２により抽出された第１の凸四角形と第２の凸四角形において、第２の凸四角形が第１の凸四角形に包含される場合、階層構造構築部１３は、第２の凸四角形を、第１の凸四角形の下位の階層の凸四角形として位置付ける。階層構造構築部１３は、このような包含関係を、抽出された全ての凸四角形について確認し、凸四角形の階層構造を構築する。
【００２１】
なお、階層構造構築部１３は、凸四角形抽出部１２により抽出された第１の凸四角形と第２の凸四角形の両方が一部分のみ重なるような位置関係にある場合、第１の凸四角形と第２の凸四角形のいずれか一方を、登録対象の凸四角形から除外する。
【００２２】
ホモグラフィ行列計算部１４は、階層構造構築部１３により階層構造が構築された複数の凸四角形のそれぞれについて、凸四角形を、各辺の長さが１の正方形である単位正方形（Unit Square）に射影変換するホモグラフィ行列Hと、その逆の射影変換を行うホモグラフィ逆行列H-1を計算する。
【００２３】
ホモグラフィ行列とは、第１の平面上の四角形を、第１の平面と異なる第２の平面上の四角形に射影変換する際の変換行列である。ホモグラフィ行列は、３×３の行列で表され、第１の平面及び第２の平面上の４つの対応点があれば、４つの対応点を代入した変換式の連立方程式を解くことにより求めることができる。
【００２４】
本実施の形態において、ホモグラフィ行列計算部１４は、第１の平面上の四角形を、入力画像から検出された凸四角形とし、第２の平面上の四角形を、入力画像と同一平面上の単位正方形として、ホモグラフィ行列Hと、その逆行列H-1を計算する。
【００２５】
ホモグラフィ行列Hは、以下の式で表される。
【数１】
2014035656.tif 000003
【００２６】
第１の平面上の４つの点（ｘ1，ｙ1）,（ｘ2，ｙ2）,（ｘ3，ｙ3）,（ｘ4，ｙ4）に対応する第２の平面上の点を、（ｘ1’，ｙ1’）,（ｘ2’，ｙ2’）,（ｘ3’，ｙ3’）,（ｘ3’，ｙ3’）とすると、４つの対応点を代入した変換式は、以下で表すことができる。
【数２】
2014035656.tif 000004
この式を、ｈ33を除くホモグラフィ行列Hの要素をｈ’として、
【数３】
2014035656.tif 000005
で表すと、
【数４】
2014035656.tif 000006
により、ｈ’が得られる。そして、ｈ33＝１とすることができるので、ホモグラフィ行列Hが求まる。
【００２７】
入力画像から検出された凸四角形を射影変換する四角形は任意の長方形とすることができるが、単位正方形とすることで、ホモグラフィ行列Hと逆行列H-1の計算を簡単にすることができる。
【００２８】
凸四角形記憶部１５は、入力画像から検出された凸四角形の情報を記憶する。具体的には、凸四角形記憶部１５は、入力画像から検出された複数の凸四角形のそれぞれの構成情報（４点の座標）、ホモグラフィ行列H、及びホモグラフィ逆行列H-1と、階層構造構築部１３で構築された凸四角形の階層構造情報を記憶する。なお、他の凸四角形と重なる位置関係にあることにより、階層構造構築部１３において除外された凸四角形は、凸四角形記憶部１５に記憶されない。以下では、凸四角形記憶部１５に記憶（登録）されている凸四角形を、登録凸四角形という。
【００２９】
ユーザ操作情報取得部１６は、領域選択のためにユーザが指定した位置の情報をユーザの操作情報として取得し、選択領域計算部１７に供給する。具体的には、ユーザ操作情報取得部１６は、不図示のディスプレイ上においてユーザがクリックアンドドラッグ操作により指定した２点の入力画像上の位置（座標）を取得し、選択領域計算部１７に供給する。
【００３０】
ここで、クリックアンドドラッグ操作により指定された２点のうち、ユーザが最初にクリックした入力画像上の位置を、ｐ1＝（ｘ1，ｙ1）とし、ドラッグ操作中およびリリース（指を離す）時点の入力画像上の位置を、ｐ3＝（ｘ3，ｙ3）とする（ｘ1＜ｘ3）。
【００３１】
選択領域計算部１７は、ユーザ操作情報取得部１６からユーザの操作情報として供給されたｐ1＝（ｘ1，ｙ1）及びｐ3＝（ｘ3，ｙ3）に基づいて、ユーザの選択領域を構成する凸四角形を算出する。ユーザの選択領域を構成する凸四角形は、時計回りに、ｐ1＝（ｘ1，ｙ1），ｐ2＝（ｘ2，ｙ2），ｐ3＝（ｘ3，ｙ3）、及びｐ4＝（ｘ4，ｙ4）の４点（頂点）で構成される。したがって、点ｐ1と点ｐ3が対角方向の２点であり、点ｐ2と点ｐ4が対角方向の２点である。
【００３２】
選択領域計算部１７は、具体的な処理としては、ユーザが最初にクリックした入力画像上の点ｐ1が属する登録凸四角形を検出し、検出された登録凸四角形のホモグラフィ行列Hとホモグラフィ逆行列H-1を用いて、選択領域の残りの２点ｐ2及びｐ4を算出する。選択領域を構成する４点の情報、すなわち、点ｐ1，点ｐ2，点ｐ3、及び点ｐ4の位置は、選択領域計算部１７から選択領域表示制御部１８に供給される。
【００３３】
選択領域表示制御部１８は、ユーザのクリックアンドドラッグ操作に基づいて決定された選択領域を、ディスプレイの入力画像上に表示させる。例えば、図３に示したように、元の入力画像に対して、決定された選択領域の外周や内部の色を変更して表示することにより、決定された選択領域が入力画像上に表示される。ユーザは、その後、選択領域の画像に対して、コピー、ペースト、削除などの画像編集処理を必要に応じて行うことができる。
【００３４】
画像処理装置１は、以上のように構成される。
【００３５】
［遠近法的領域選択処理の処理フロー］
次に、図４のフローチャートを参照して、画像処理装置１による領域選択の処理である遠近法的領域選択処理について説明する。この処理は、例えば、所定の画像が入力画像として画像処理装置１に入力されたときに開始される。
【００３６】
初めに、ステップＳ１において、凸四角形抽出部１２は、入力画像のなかに存在する凸四角形形状を検出し、凸四角形として抽出する凸四角形抽出処理を実行する。この処理により抽出された複数の凸四角形それぞれの構成情報は、入力画像とともに、階層構造構築部１３に供給される。凸四角形抽出処理の詳細は、図５を参照して後述する。
【００３７】
ステップＳ２において、階層構造構築部１３は、入力画像から、凸四角形抽出部１２により抽出された凸四角形の階層構造を構築する階層構造構築処理を実行する。階層構造構築処理の処理結果である凸四角形の階層構造を示す情報（階層構造情報）は、凸四角形記憶部１５に供給され、階層構造を構成する各凸四角形の構成情報は、ホモグラフィ行列計算部１４に供給される。階層構造構築処理の詳細は、図９を参照して後述する。
【００３８】
ステップＳ３において、ホモグラフィ行列計算部１４は、階層構造を構成する各凸四角形について、凸四角形を単位正方形に射影変換するホモグラフィ行列Hと、その逆行列であるホモグラフィ逆行列H-1を計算する。
【００３９】
ステップＳ４において、凸四角形記憶部１５は、入力画像から検出された凸四角形の情報を記憶する。具体的には、凸四角形記憶部１５は、入力画像から検出された複数の凸四角形それぞれの構成情報（４点の座標）、ホモグラフィ行列H、及びホモグラフィ逆行列H-1と、凸四角形の階層構造情報を記憶する。
【００４０】
ステップＳ５において、選択領域計算部１７は、ユーザ操作情報取得部１６から供給された入力画像上の位置ｐ1及びｐ3に基づいて、透視投影的な選択領域を決定する領域決定処理を実行する。決定された選択領域は、ディスプレイの入力画像上に表示され、領域決定処理が終了する。この処理の詳細は、図１２を参照して後述する。
【００４１】
ステップＳ５の領域決定処理の終了により、遠近法的領域選択処理が終了する。
【００４２】
［凸四角形抽出処理の詳細フロー］
次に、図５のフローチャートを参照して、図４のステップＳ１として実行される凸四角形抽出処理の詳細について説明する。
【００４３】
初めに、ステップＳ２１において、凸四角形抽出部１２は、入力画像の各画素の色情報に基づいて、入力画像を複数の領域に分割する領域分割処理を複数回行う。複数回行われる領域分割処理では、領域分割の粒度を決定するスケールパラメータが各処理で異なるように設定されて実行される。したがって、ステップＳ２１では、入力画像の領域分割処理が、スケールパラメータを変更して複数回行われる。
【００４４】
入力画像を複数の領域に分割する領域分割処理としては、例えば、本件発明者が先に提案しているSRM（Statistical Region Merging：統計的領域分割）を採用することができる。SRMの詳細は、Nock, R., Nielsen, F., 2004. Statistical region merging, IEEE Transactions on Pattern Analysis and Machine Intelligence 26 (11), 1452_1458に開示されている。なお、領域分割処理は、SRMに限定されるものではなく、任意の領域分割処理を採用することができる。
【００４５】
図６Aは、図１Aに示した画像を入力画像として、あるスケールパラメータで領域分割処理を実行したときの処理結果を示している。図６Bは、各領域の境界をわかりやすくするため、図６Aの処理結果を２値化した図である。
【００４６】
スケールパラメータを様々に変更して領域分割処理を複数回行うことにより、入力画像中の細かいオブジェクト単位で分割した領域を取得したり、細かいオブジェクトの集合である大きなオブジェクト単位で分割した領域を取得することができる。
【００４７】
次に、ステップＳ２２において、凸四角形抽出部１２は、スケールパラメータを様々に変更して領域分割処理を行った結果画像である領域分割画像のそれぞれについて、外側の輪郭（external contour）を抽出する。ここで、外側の輪郭とは、領域分割画像で検出された輪郭のなかから、他の輪郭の内部に閉じて存在する内側の輪郭（inner contour）を除去した残りの輪郭をいう。
【００４８】
ステップＳ２３において、凸四角形抽出部１２は、ステップＳ２２で抽出された複数の輪郭のなかから、所定の一つを選択する。
【００４９】
ステップＳ２４において、凸四角形抽出部１２は、選択した輪郭の線上において、最も距離の離れた２点を検出して、点p1および点p3として決定し、輪郭の直径ｄ＝［p1p3］を計算する。ここで、［p1p3］は、点p1と点p3の２点間の直線距離の計算を表す。なお、凸四角形抽出部１２は、選択した輪郭の線上で検出された２つの点p1および点p3のうち、ｘ座標の小さい方を点p1とする。
【００５０】
ステップＳ２５において、凸四角形抽出部１２は、図７に示すように、決定した点p1と点p3の２点を結んだ直線から、上側にもっと離れた点p2と、下側に最も離れた点p4を決定する。
【００５１】
ステップＳ２６において、凸四角形抽出部１２は、選択中の輪郭と、点p1，p2，p3、及びp4の４点で構成される四角形（p1，p2，p3，p4）との距離DISを計算する。
【００５２】
距離DISは、選択中の輪郭が四角形と近似できるか否かを評価する評価関数に相当する。距離DISは、例えば、図８に示すように、四角形（p1，p2，p3，p4）の各辺を所定の間隔でサンプリングした複数の点それぞれから垂直に伸ばした輪郭までの距離の平均値（平均距離）を採用することができる。また、距離DISには、四角形（p1，p2，p3，p4）の各辺を所定の間隔でサンプリングした複数の点の集合と、選択中の輪郭を所定の間隔でサンプリングした複数の点の集合とのハウスドルフ距離（Haussdorf distance）などを用いてもよい。
【００５３】
ステップＳ２７において、凸四角形抽出部１２は、距離DISの計算結果が予め定めた所定の閾値Th以下であるかを判定する。閾値Thは、例えば、四角形（p1，p2，p3，p4）の直径ｄ＝［p1p3］の所定の割合（例えば、５％）などのように決定しておくことができる。
【００５４】
ステップＳ２７で、距離DISの計算結果が予め定めた所定の閾値Th以下であると判定された場合、処理はステップＳ２８に進み、凸四角形抽出部１２は、選択中の輪郭に対応する四角形（p1，p2，p3，p4）を、凸四角形記憶部１５に登録する凸四角形（登録凸四角形）の候補として採用する。
【００５５】
一方、ステップＳ２７で、距離DISの計算結果が予め定めた所定の閾値Th以下ではないと判定された場合、ステップＳ２８の処理はスキップされ、処理はステップＳ２９に進む。したがって、距離DISの計算結果が予め定めた所定の閾値Th以下ではない場合、選択中の輪郭に対応する四角形（p1，p2，p3，p4）は、登録凸四角形の候補にはならない。
【００５６】
ステップＳ２９において、凸四角形抽出部１２は、ステップＳ２２で抽出された全ての輪郭を選択したか否かを判定する。
【００５７】
ステップＳ２９で、抽出された全ての輪郭をまだ選択していないと判定された場合、処理はステップＳ２３に戻り、上述した処理が繰り返される。すなわち、ステップＳ２２で抽出された複数の輪郭のなかから、まだ選択されていない輪郭が選択され、選択した輪郭から生成される四角形を所定の判定条件に応じて登録凸四角形の候補として採用する処理が繰り返される。
【００５８】
一方、ステップＳ２９で、抽出された全ての輪郭を選択したと判定された場合、凸四角形抽出処理は終了し、処理が図４に戻される。
【００５９】
以上のように、凸四角形抽出処理では、入力画像を領域分割処理してオブジェクトの輪郭が抽出され、抽出された輪郭に基づいて、オブジェクトが構成する凸四角形が抽出（認識）される。
【００６０】
なお、上述した凸四角形抽出処理では、入力画像から抽出された輪郭のうち、外側の輪郭のみに対して、登録凸四角形の候補となり得るか否かを判定したが、内側の輪郭に対しても同様に行うようにしてもよい。
【００６１】
［階層構造構築処理の詳細フロー］
次に、図９のフローチャートを参照して、図４のステップＳ２として実行される階層構造構築処理の詳細について説明する。
【００６２】
階層構造構築処理では、初めに、ステップＳ４１において、階層構造構築部１３は、入力画像のサイズと同サイズの長方形を階層構造の最上位のルート凸四角形に設定する。
【００６３】
ステップＳ４２において、階層構造構築部１３は、上述したステップＳ１の凸四角形抽出処理で抽出された複数の登録凸四角形の候補のなかから、所定の一つを選択する。
【００６４】
ステップＳ４３において、階層構造構築部１３は、いま選択している登録凸四角形の候補が、他の登録凸四角形と部分オーバーラップしていないかどうかを判定する。
【００６５】
後述するように、ステップＳ４２乃至Ｓ４６の処理は、凸四角形抽出処理で抽出された全ての登録凸四角形の候補に対して実行されるが、先に実行された（ステップＳ４２で選択された）登録凸四角形の候補から、一定の条件に基づいて、順次、登録凸四角形として保存される。ステップＳ４３では、いま選択している登録凸四角形の候補が、先に保存された登録凸四角形と部分オーバーラップしていないかどうかが判定される。１回目のステップＳ４３の処理では、登録凸四角形は一つも存在しないので、いま選択している登録凸四角形の候補は、他の登録凸四角形と部分オーバーラップしていないと判定される。
【００６６】
ここで、部分オーバーラップとは、２つの凸四角形どうしが、一部分だけ重なっている状態の位置関係をいう。２つの凸四角形どうしがまったく重なっていない場合、および、一方の凸四角形の内側に他方の凸四角形全体が位置し、一方の凸四角形が他方の凸四角形を包含している場合には、部分オーバーラップしていないと判定される。
【００６７】
ステップＳ４３で、いま選択している登録凸四角形の候補が、他の登録凸四角形と部分オーバーラップしていないと判定された場合、処理はステップＳ４４に進み、階層構造構築部１３は、いま選択している登録凸四角形の候補を、登録凸四角形として凸四角形記憶部１５に保存する。
【００６８】
一方、ステップＳ４３で、いま選択している登録凸四角形の候補が、他の登録凸四角形と部分オーバーラップしていると判定された場合、処理はステップＳ４５に進み、階層構造構築部１３は、いま選択している登録凸四角形の候補を消去する。したがって、いま選択している登録凸四角形の候補が、他の登録凸四角形と部分オーバーラップしている場合には、その凸四角形は登録凸四角形として保存されない。
【００６９】
例えば、図１０に示されるように、ルート凸四角形Q1が設定され、凸四角形抽出処理において、凸四角形Q2乃至Q9が登録凸四角形の候補として抽出されたとする。
【００７０】
図１０に示した状態では、凸四角形Q5と凸四角形Q6は、部分オーバーラップしている。したがって、ステップＳ４２において、凸四角形Q2，Q3，Q4，・・・の順に凸四角形が選択されたとすると、凸四角形Q6は、先に登録済みの凸四角形Q5とオーバーラップしているため、消去される。
【００７１】
なお、図１０の凸四角形Q2乃至Q9において、凸四角形Q4は、凸四角形Q3の内側のみに位置しているので、凸四角形Q4は、凸四角形Q3に包含されている。また、凸四角形Q8とQ9は、凸四角形Q7の内側のみに位置しているので、凸四角形Q8とQ9は、凸四角形Q7に包含されている。
【００７２】
ステップＳ４６において、階層構造構築部１３は、凸四角形抽出処理で抽出された全ての登録凸四角形の候補を選択したか、すなわち、全ての登録凸四角形の候補について部分オーバーラップを検証したかを判定する。
【００７３】
ステップＳ４６で、全ての登録凸四角形の候補をまだ選択していないと判定された場合、処理はステップＳ４２に戻り、上述したステップＳ４２乃至Ｓ４６の処理が再度実行される。すなわち、まだ選択していない登録凸四角形の候補が次に選択され、先に登録済みの凸四角形（登録凸四角形）と部分オーバーラップしていないかどうかが判断される。
【００７４】
一方、ステップＳ４６で、全ての登録凸四角形の候補を選択したと判定された場合、処理はステップＳ４７に進み、階層構造構築部１３は、登録凸四角形の包含関係に基づいて、登録凸四角形の階層構造を構築する。すなわち、階層構造構築部１３は、一方の凸四角形が他方の凸四角形を包含している場合、他方の凸四角形を、それを包含している一方の凸四角形の下位に位置づけるようにして、全ての登録凸四角形を、ルート凸四角形からの階層構造となるように階層化する。
【００７５】
図１１は、図１０に示した凸四角形Q2乃至Q9（ただし、部分オーバーラップの凸四角形Q6を除く）に対して階層構造を構築したときの結果を示している。この場合、ルート凸四角形Q1を最上位の第１の階層として、凸四角形Q2，Q3，Q5、及びQ7が第２の階層に階層化され、凸四角形Q4，Q8、及びQ9が第３の階層に階層化される。
【００７６】
ステップＳ４７において、階層構造構築部１３は、登録凸四角形の包含関係に基づいて、登録凸四角形の階層構造を構築した結果を、階層構造情報として、凸四角形記憶部１５に記憶させ、階層構造構築処理が終了する。階層構造構築処理終了後、処理は図４に戻される。
【００７７】
［領域決定処理の詳細フロー］
次に、図１２のフローチャートを参照して、図４のステップＳ５として実行される領域決定処理の詳細について説明する。
【００７８】
領域決定処理では、初めに、ステップＳ６１において、選択領域計算部１７は、ユーザ操作情報取得部１６から供給された位置（ｘ1，ｙ1）を取得することにより、ユーザが最初にクリックした入力画像上の位置（ｘ1，ｙ1）を検出し、点ｐ1＝（ｘ1，ｙ1）とする。
【００７９】
ステップＳ６２において、選択領域計算部１７は、点ｐ1を含む登録凸四角形のなかで、最下層の登録凸四角形を検出する。
【００８０】
点ｐ1を含む登録凸四角形は、例えば、以下のような方法により検出することができる。
【００８１】
ある点ｂが、点ｂ1，点ｂ2，点ｂ3、及び点ｂ4の４点からなる凸四角形（ｂ1，ｂ2，ｂ3，ｂ4）の内側に位置するかどうかを調べるためには、次の４種類の３点の並びがいずれも時計回りに並んでいることを確認すればよい。
（ｂ1，ｂ2，ｂ），（ｂ2，ｂ3，ｂ），（ｂ3，ｂ4，ｂ），（ｂ4，ｂ1，ｂ）
【００８２】
そして、例えば、（ｂ1，ｂ2，ｂ）の３点の並びが時計回りに並んでいるかどうかは、以下の２×２のデタミナントdetを計算することで、確認することができる。デタミナントdetが０より大きい場合（det＞０）、（ｂ1，ｂ2，ｂ）の３点の並びは、時計回りに並んでいることを表す。
【数５】
2014035656.tif 000007
【００８３】
残りの３種類の３点の並びについても同様に計算して、それらが時計回りに並んでいることを確認することができる。
【００８４】
選択領域計算部１７は、階層構造の下位側の登録凸四角形から順に、点ｐ1を含むか否かを、上述した方法で確認し、点ｐ1を含む登録凸四角形のなかで最下層の登録凸四角形を検出することができる。なお、点ｐ1を含む登録凸四角形の検出方法は、上述の方法に限定されず、その他の方法でもよい。
【００８５】
検索の結果として得られた、点ｐ1を含む最下層の登録凸四角形を、以下において、ユーザがクリックした位置に対応する登録凸四角形であるから、対応凸四角形という。
【００８６】
なお、ユーザが最初にクリックした点ｐ1に対応する対応凸四角形が存在しない場合には、ルート凸四角形が対応凸四角形として採用される。この場合、選択領域は、一般的な領域指定方法と同様に、矩形となる。
【００８７】
あるいは、ユーザが最初にクリックした点ｐ1に対応する対応凸四角形が存在しない場合には、入力画像の点ｐ1周辺の所定の領域だけ、再度、スケールパラメータを複数種類設定して領域分割処理からやり直し、入力画像中のオブジェクト形状の凸四角形を再検索するようにしてもよい。
【００８８】
ステップＳ６３において、選択領域計算部１７は、ユーザ操作情報取得部１６から供給されたドラッグ操作中の位置（ｘ3，ｙ3）を取得することにより、ドラッグ操作中の現在の入力画像上の位置（ｘ3，ｙ3）を検出し、点ｐ3＝（ｘ3，ｙ3）とする。
【００８９】
ステップＳ６４において、選択領域計算部１７は、凸四角形記憶部１５から、対応凸四角形のホモグラフィ行列Hとその逆行列H-1を用いて、選択領域の残りの２点ｐ2及びｐ4を計算する。
【００９０】
図１３を参照して、ステップＳ６４の処理の詳細について説明する。すなわち、ユーザのクリックアンドドラッグ操作により、入力画像上の２点ｐ1及びｐ3が得られたときに、その２点ｐ1及びｐ3から、遠近法的な選択領域の残りの２点ｐ2及びｐ4を算出する方法について説明する。
【００９１】
ここで、上述したように、ユーザのクリックアンドドラッグ操作により決定された、入力画像上の２点ｐ1＝（ｘ1，ｙ1）及びｐ3＝（ｘ3，ｙ3）のうち、点ｐ1は、点ｐ3よりも、画像上、左側に位置する点である。すなわち、ｘ1とｘ3の大小関係は、ｘ1＜ｘ3である。
【００９２】
初めに、選択領域計算部１７は、対応凸四角形のホモグラフィ行列Hによって、オブジェクト面上の２点ｐ1及びｐ3を、入力画像と同一平面である軸直交平面上に射影変換した点ｐ1’及びｐ3’を求める。
【００９３】
すなわち、２点ｐ1及びｐ3を、
【数６】
2014035656.tif 000008
のように３次元化した点ｐ~1及びｐ~3を用いて、
【数７】
2014035656.tif 000009
により、軸直交平面上の点ｐ~1’及びｐ~3’が求められる。
【００９４】
３次元座標系上の点ｐ~’は、
【数８】
2014035656.tif 000010
により、２次元座標系上の点ｐ’に戻す（dehomogeneize）ことができるので、同様に、
【数９】
2014035656.tif 000011
により、軸直交平面上の点ｐ1’及びｐ3’が得られる。
【００９５】
次に、選択領域計算部１７は、オブジェクト面上の選択領域（ｐ1，ｐ2，ｐ3，ｐ4）を射影変換した長方形（ｐ1’，ｐ2’，ｐ3’，ｐ4’）であって、点ｐ1’と点ｐ3’が対角方向となる長方形（ｐ1’，ｐ2’，ｐ3’，ｐ4’）の残りの２点ｐ2’及びｐ4’を計算する。
【００９６】
ここで、
ｘmin’＝min{ｘ1’，ｘ3’}，ｘmax’＝max{ｘ1’，ｘ3’}，
ｙmin’＝min{ｙ1’，ｙ3’}，ｙmax’＝max{ｙ1’，ｙ3’}
とすると、もし、ｙ3’＜ｙ1’であるならば、長方形（ｐ1’，ｐ2’，ｐ3’，ｐ4’）の点ｐ2’と点ｐ4’は、以下のようになる。
ｐ2’＝（ｘmax’，ｙmax’）  ，ｐ4’＝（ｘmin’，ｙmin’）
【００９７】
そして、点ｐ2’と点ｐ4’を３次元座標系に変換すると、
ｐ~2’＝（ｘmax’，ｙmax’，１）  ，ｐ~4’＝（ｘmin’，ｙmin’，１）
となる。
【００９８】
図１３は、ｙ3’＜ｙ1’である場合の長方形（ｐ1’，ｐ2’，ｐ3’，ｐ4’）を示している。
【００９９】
一方、ｙ3’＞ｙ1’であるならば、点ｐ2’，点ｐ4’，点ｐ~2’、及び点ｐ~4’は、以下のようになる。
ｐ2’＝（ｘmin’，ｙmax’）  ，ｐ4’＝（ｘmax’，ｙmin’）
ｐ~2’＝（ｘmin’，ｙmax’，１）  ，ｐ~4’＝（ｘmax’，ｙmin’，１）
【０１００】
最後に、選択領域計算部１７は、以上のようにして求めた長方形（ｐ1’，ｐ2’，ｐ3’，ｐ4’）の点ｐ2’及び点ｐ4’を３次元化した点ｐ~2’及びｐ~4’を、対応凸四角形のホモグラフィ逆行列H-1によって逆変換する。これにより、オブジェクト面上の選択領域（ｐ1，ｐ2，ｐ3，ｐ4）の残りの２点ｐ2及びｐ4を求めることができる。すなわち、
【数１０】
2014035656.tif 000012
により、オブジェクト面上の選択領域の残りの２点ｐ2及びｐ4を求めることができる。
【０１０１】
ステップＳ６４では、以上のようにして、対応凸四角形のホモグラフィ行列Hとその逆行列H-1を用いて、オブジェクト面上の選択領域の残りの２点ｐ2及びｐ4を計算することができる。選択領域計算部１７は、ステップＳ６４の処理として、選択領域を構成する４点の情報、すなわち、点ｐ1，点ｐ2，点ｐ3、及び点ｐ4の位置を、選択領域表示制御部１８に供給する。
【０１０２】
そして、ステップＳ６５において、選択領域表示制御部１８は、点ｐ1，点ｐ2，点ｐ3、及び点ｐ4の４点で構成される四角形（ｐ1，ｐ2，ｐ3，ｐ4）を、選択領域としてディスプレイの入力画像上に表示させる。
【０１０３】
ステップＳ６６において、選択領域計算部１７は、ユーザのドラッグ操作が終了したか、換言すれば、ユーザがドラッグ操作中の指をリリースすることで点ｐ3の位置が確定したかを判定する。
【０１０４】
ステップＳ６６で、ユーザのドラッグ操作がまだ終了していないと判定された場合、処理はステップＳ６３に戻り、上述した処理が繰り返される。
【０１０５】
一方、ステップＳ６６で、ユーザのドラッグ操作が終了したと判定された場合、領域決定処理は終了し、処理が図４に戻される。
【０１０６】
上述したステップＳ６２において、ユーザが最初にクリックした点ｐ1に対応する対応凸四角形が検出された場合、選択領域表示制御部１８は、対応凸四角形の全面またはその外周の形状を入力画像上に一瞬（所定期間）表示させるなどして、対応凸四角形をユーザに提示してもよい。これにより、クリックアンドドラッグ操作により、選択領域として、どのような凸四角形の領域が形成されるかをユーザが想定しやすくさせることができる。
【０１０７】
また、上述した処理によれば、ユーザが最初にクリックした点ｐ1に対応する登録凸四角形が対応凸四角形として採用されるが、ドラッグ操作後の点ｐ3の位置が点ｐ1に対応する登録凸四角形から飛び出すことも考えられる。このような場合、点ｐ3に対応する登録凸四角形を対応凸四角形に変更するようにしてもよい。
【０１０８】
以上のように、画像処理装置１が行う遠近法的領域選択処理によれば、入力画像内の凸四角形形状のオブジェクトが探索され、検出された凸四角形形状のオブジェクトに基づいて、入力画像内の凸四角形が抽出される。また、抽出された凸四角形どうしの包含関係に基づいて、抽出された凸四角形の階層構造が構築される。そして、ユーザがクリックした位置に対応する凸四角形の形状に即して、選択領域が遠近法的に決定され、表示される。
【０１０９】
従って、図３を参照して説明したような、従来の矩形の領域では指定することができなかった、入力画像中のオブジェクト形状に即した、透視投影的な斜めの領域を選択することができる。これにより、ユーザが入力画像の所望の領域を選択できる新たな領域指定の方法を提供することができる。
【０１１０】
図１４は、本技術の概念を示した図である。
【０１１１】
クリックアンドドラッグ操作により入力画像上の２点ｐ1及びｐ3が指定される。画像処理装置１は、入力画像内の凸四角形形状のオブジェクトを探索して、オブジェクトに対応する凸四角形を抽出して画像内のオブジェクト平面を認識する。このオブジェクト平面は、透視投影法におけるオブジェクトが構成する面（透視投影面）である。また、画像処理装置１は、ユーザが指定した２点ｐ1及びｐ3を、ＵＶ座標変換し、Ｕ軸とＶ軸で構成される平面である軸直交（isothetic）平面上の２点ｐ1’及びｐ3’を求める。そして、画像処理装置１は、２点ｐ1’及びｐ3’を対角方向に有する軸直交なボックスＳ’を考える。画像処理装置１は、軸直交なボックスＳ’を、入力画像内のオブジェクト平面上に逆変換することにより、遠近法的な選択領域Ｓを生成し、表示する。
【０１１２】
従って、上述した例では、入力画像からオブジェクト形状に対応する平面（凸四角形）を認識するものであるが、本技術によれば、入力画像から、オブジェクト形状に対応する球などの曲面をオブジェクト面として認識し、クリックアンドドラッグ操作により特定された２点を対角方向に有するオブジェクト面となるような選択領域Ｓを生成することもできる。
【０１１３】
すなわち、本技術は、入力画像内のオブジェクト面の座標系を、軸直交（isothetic）平面の座標系に変換する変換行列ＵＶと、軸直交平面の座標系を、入力画像内のオブジェクト面の座標系に変換する変換逆行列ＵＶ-1が定義できるものであれば、オブジェクト面は、曲面、平面を問わず、どのような面でもよい。
【０１１４】
［本技術を適用したアプリケーション例］
図１５および図１６は、本技術である遠近法的領域選択処理を適用したアプリケーションの例を示している。
【０１１５】
図１５は、入力画像に対して、上述した遠近法的領域選択処理により第１の領域と第２の領域を選択し、第１の領域の画像と第２の領域の画像を入れ替えるスワップ（swap）処理を行うアプリケーションに本技術を適用した例である。第１の領域として「NEW COURT」の文字の領域が選択され、その右側の矢印マークの領域が第２の領域として選択され、右側の処理後画像では、２つの領域の画像が入れ替わっている。
【０１１６】
このようなスワップ処理を行う場合、画像処理装置１には、選択領域計算部１７から第１の領域と第２の領域の点ｐ1，点ｐ2，点ｐ3、及び点ｐ4の位置を取得して、第１の領域の画像と第２の領域の画像を入れ替える処理を行う画像編集部をさらに設けることができる。
【０１１７】
図１６は、遠近法的領域選択処理により入力画像の所望の領域を選択して明示し、アノテーション（annotation：注釈）を付加するアノテーションシステムに本技術を適用した例である。
【０１１８】
本技術は、デジタルカメラで撮影した画像などの他、スマートフォンやナビゲーション装置の表示画像など、様々な画像における領域選択の処理に適用することができる。
【０１１９】
なお、上述した例では、クリックアンドドラッグ操作により、対角方向の２点ｐ1及び点ｐ3を指定するようにしたが、画像中の位置の指定方法は、その他の方法、例えば、２点をタップする操作などでもよい。
【０１２０】
また、上述した例では、クリックアンドドラッグ操作によりユーザが指定した２点を対角方向の２点として有する凸四角形を形成し、ユーザの選択領域として表示したが、ユーザの選択領域とする形状は、凸四角形以外の多角形、円、楕円などでもよい。また、選択領域の形状の角に丸みを付けたり、影を付けたりなどの変形を適宜加えてもよい。
【０１２１】
さらに、ユーザ設定画面として、階層構造の階層数を調整するスライダーなどを設け、上述した階層構造構築処理において、登録凸四角形の階層構造の階層のレベル（粒度）をユーザが設定できるようにしてもよい。
【０１２２】
また、上述した例では、点ｐ1を含む登録凸四角形のなかで、最下層の登録凸四角形を、対応凸四角形とした。しかし、ユーザ設定画面等においてユーザによって指定された階層など、階層構造の所定の階層の、点ｐ1を含む登録凸四角形を、対応凸四角形としてもよい。
【０１２３】
［コンピュータで実現する場合の構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２４】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１２５】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１２６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１２７】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１２８】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２９】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１３０】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１３１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３５】
画像処理装置１は、透視投影的な斜めの領域を、ユーザの選択領域として指定する領域指定のユーザインターフェースを提供する単独の装置としてもよいし、その他の画像の編集処理等を実行する画像処理装置の一部（一機能）として設けられていてもよい。
【０１３６】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像に対してユーザが領域選択のために指定した位置情報を取得する取得部と、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する選択領域計算部と
を備える画像処理装置。
（２）
前記入力画像内の前記オブジェクト面を認識する認識部と、
前記認識部により認識された前記オブジェクト面と、前記軸直交平面との変換行列を計算する変換行列計算部と
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記認識部は、前記オブジェクト面として、前記入力画像内のオブジェクトが構成する凸四角形を認識し、
前記変換行列計算部は、前記認識部により認識された前記凸四角形と、軸直交平面としての単位正方形との変換行列を計算する
前記（２）に記載の画像処理装置。
（４）
前記認識部は、前記入力画像を領域分割処理して前記オブジェクトの輪郭を抽出し、抽出された輪郭に基づいて、前記オブジェクトが構成する凸四角形を認識する
前記（３）に記載の画像処理装置。
（５）
複数の前記オブジェクト面の階層構造を構築する階層構造構築部をさらに備え、
前記選択領域計算部は、前記ユーザが指定した前記位置情報に対応する所定の階層の前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記選択領域計算部は、前記ユーザが指定した前記位置情報に対応する最下層の前記オブジェクト面の前記変換行列を用いる
前記（５）に記載の画像処理装置。
（７）
前記ユーザが指定した前記位置情報に対応する前記オブジェクト面を表示させる表示制御部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記表示制御部は、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面を、ユーザの領域選択指定操作に応じて表示させ、所定時間経過後に消去する
前記（７）に記載の画像処理装置。
（９）
前記取得部は、前記入力画像に対してユーザが指定した少なくとも２点の位置を、前記位置情報として取得する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記取得部は、前記入力画像に対してユーザが指定した対角方向の２点の位置を、前記位置情報として取得し、
前記選択領域計算部は、前記オブジェクト面として、凸四角形を構成する４点のうち、前記ユーザが指定した対角方向の２点以外の２点を、前記変換行列を用いて算出する
前記（９）に記載の画像処理装置。
（１１）
前記変換行列は、ホモグラフィ行列と、その逆行列であるホモグラフィ逆行列である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
第１の前記位置情報に基づいて算出された前記ユーザの選択領域である第１の領域の画像と、第２の前記位置情報に基づいて算出された前記ユーザの選択領域である第２の領域の画像を入れ替えるスワップ処理を行う画像編集部をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
入力画像に対してユーザが領域選択のために指定した位置情報を取得し、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
ステップを含む画像処理方法。
（１４）
コンピュータに、
入力画像に対してユーザが領域選択のために指定した位置情報を取得し、
前記入力画像内のオブジェクトが構成する透視投影面であるオブジェクト面と、軸直交平面との変換行列を計算した結果のうち、前記ユーザが指定した前記位置情報に対応する前記オブジェクト面の前記変換行列を用いて、前記オブジェクト面上の領域を、前記ユーザの選択領域として算出する
処理を実行させるためのプログラム。
【符号の説明】
【０１３７】
１  画像処理装置，  １１  入力画像取得部，  １２  凸四角形抽出部，  １３  階層構造構築部，  １４  ホモグラフィ行列計算部，  １５  凸四角形記憶部，  １６  ユーザ操作情報取得部，  １７  選択領域計算部，  １８  選択領域表示制御部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部
【図１】
2014035656.tif 000013
【図２】
2014035656.tif 000014
【図３】
2014035656.tif 000015
【図４】
2014035656.tif 000016
【図５】
2014035656.tif 000017
【図６】
2014035656.tif 000018
【図７】
2014035656.tif 000019
【図８】
2014035656.tif 000020
【図９】
2014035656.tif 000021
【図１０】
2014035656.tif 000022
【図１１】
2014035656.tif 000023
【図１２】
2014035656.tif 000024
【図１３】
2014035656.tif 000025
【図１４】
2014035656.tif 000026
【図１５】
2014035656.tif 000027
【図１６】
2014035656.tif 000028
【図１７】
2014035656.tif 000029