(57)【要約】【課題】操作入力に基づいて画像における水平方向に対する傾きを補正することが可能な画像処理装置、画像処理方法、プログラム、および撮像装置を提供する。【解決手段】表示画面に画像を表示し、表示画面に表示された画像に対する操作入力が可能な操作表示部と、操作表示部における操作入力を検出する操作入力検出部と、操作入力検出部における検出結果に基づいて操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と、導出された第１の近似直線と予め定められた基準線とに基づいて、表示画面に表示された画像の傾きを補正する画像補正部とを備える画像処理装置が提供される。【選択図】図１１
2010045733.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部と；
前記操作表示部における操作入力を検出する操作入力検出部と；
前記操作入力検出部における検出結果に基づいて、前記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と；
導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正する画像補正部と；
を備える、画像処理装置。
【請求項２】
前記画像補正部は、前記第１の近似直線の傾きを前記基準線の傾きと同一として前記画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、さらに、前記第１の近似直線と平行な２つの第１直線、および前記第１の近似直線と直交する２つの第２直線により規定される領域のうち、前記画像に含まれる領域を切り出す、請求項２に記載の画像処理装置。
【請求項４】
前記画像補正部は、切り出された前記領域以外の領域を、前後のフレームの画像から推定して補完する、請求項３に記載の画像処理装置。
【請求項５】
前記近似直線導出部は、前記表示画面に表示された前記画像の中から所定の特徴点を検出して前記特徴点に基づく近似直線をさらに導出し、
前記画像補正部は、前記特徴点に基づく近似直線のうち、前記第１の近似直線の傾きとの差が所定の範囲内である第２の近似直線が存在する場合には、前記第２の近似直線と前記基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項６】
前記画像補正部は、前記第２の近似直線に係る特徴点が前記表示画面に表示された画像内に存在しなくなった場合には、前記画像の傾きの補正を終了する、請求項５に記載の画像処理装置。
【請求項７】
表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部における前記操作入力を検出するステップと；
前記検出するステップにおける検出結果に基づいて、前記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップと；
前記導出するステップにおいて導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正するステップと；
を有する、画像処理方法。
【請求項８】
表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部における前記操作入力を検出するステップ；
前記検出するステップにおける検出結果に基づいて、前記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップ；
前記導出するステップにおいて導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正するステップ；
をコンピュータに実行させるためのプログラム。
【請求項９】
被写体を撮像して撮像画像を生成する撮像部と；
前記撮像部において撮像された前記撮像画像を表示画面に表示し、前記表示画面に表示された前記撮像画像に対する操作入力が可能な操作表示部と；
前記操作表示部における操作入力を検出する操作入力検出部と；
前記操作入力検出部における検出結果に基づいて、前記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と；
導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記撮像画像の傾きを補正する画像補正部と；
補正された画像を記録媒体に記録する画像記録部と；
を備える、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ（Digital  still  camera）や、本件出願人が商標権を有する「ハンディカム（Handycam）」などのデジタルビデオカメラ（Digital  video  camera）、デジタルカメラ機能を有する携帯電話など、静止画像および／または動画像を撮像する撮像機能を有する装置が普及している。また撮像機能が、例えば携帯電話などの携帯型の装置に備わることにより、ユーザが撮像を行う頻度は増している。ここで、上記のような装置を用いて撮像を行うユーザは、一般的にいわゆるプロカメラマンではないため、例えば手振れなどによって被写体が水平方向に対して傾いて撮像されてしまうことがある。上記の場合には、撮像により得られた画像は、画像の水平方向に対して被写体が傾いている画像となってしまう。
【０００３】
このような中、傾きを検出する傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る技術が開発されている。フレーム内の被写体から直線部分を抽出することによって水平方向に対する角度を導出し、導出された角度に基づいて画像の傾きを補正して画像の水平が維持された撮像画像を得る技術としては、例えば、特許文献１が挙げられる。
【０００４】
【特許文献１】特開２００７−１７３９６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術が適用された、撮像機能を有する装置（以下、「撮像装置」という。）は、フレーム内に直線部分を有する被写体が存在しなければ、画像の傾きを補正することができない。上記の場合には、上記従来の技術が適用された撮像装置は、画像の水平方向が維持された撮像画像を得ることができない。また、上記従来の技術が適用された撮像装置は、たとえフレーム内に直線部分を有する被写体が存在し当該被写体の直線部分に基づいて傾きの補正を行ったとしても、ユーザが所望する撮像画像が得られるとは限らない。例えば、上記従来の技術が適用された撮像装置が、意図しない直線部分（例えば、元々水平方向に対して傾いている部分）に基づいて傾きの補正を行った場合である。さらに、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術を、ハードディスク（Hard  Disk）やメモリスティックなどの記録媒体に記憶された画像を処理する画像処理装置に適用したとしても、上記と同様の問題が生じる。
【０００６】
したがって、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術を用いたとしても、画像における水平方向に対する傾きを補正することができるとは限らない。
【０００７】
また、撮像装置に傾斜センサを設けた場合には、当該傾斜センサによって撮像装置の水平方向に対する傾きを検出することによって画像の水平方向が維持された撮像画像を得ることは可能であるが、コストの増大を招いてしまう。さらに述べれば、傾斜センサを記録媒体に記憶された画像を処理する画像処理装置に設けたとしても、傾斜センサでは画像の傾きを検出することはできないため、画像の傾きを補正することはできない。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作入力に基づいて画像における水平方向に対する傾きを補正することが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム、および撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部と、上記操作表示部における操作入力を検出する操作入力検出部と、上記操作入力検出部における検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と、導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正する画像補正部とを備える画像処理装置が提供される。
【００１０】
かかる構成により、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【００１１】
また、上記画像補正部は、上記第１の近似直線の傾きを上記基準線の傾きと同一として上記画像の傾きを補正してもよい。
【００１２】
また、上記画像補正部は、さらに、上記第１の近似直線と平行な２つの第１直線、および上記第１の近似直線と直交する２つの第２直線により規定される領域のうち、上記画像に含まれる領域を切り出してもよい。
【００１３】
また、上記画像補正部は、切り出された上記領域以外の領域を、前後のフレームの画像から推定して補完してもよい。
【００１４】
また、上記近似直線導出部は、上記表示画面に表示された上記画像の中から所定の特徴点を検出して上記特徴点に基づく近似直線をさらに導出し、上記画像補正部は、上記特徴点に基づく近似直線のうち、上記第１の近似直線の傾きとの差が所定の範囲内である第２の近似直線が存在する場合には、上記第２の近似直線と上記基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正してもよい。
【００１５】
また、上記画像補正部は、上記第２の近似直線に係る特徴点が上記表示画面に表示された画像内に存在しなくなった場合には、上記画像の傾きの補正を終了してもよい。
【００１６】
また、上記目的を達成するために、本発明の第２の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部における上記操作入力を検出するステップと、上記検出するステップにおける検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップと、上記導出するステップにおいて導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正するステップとを有する画像処理方法が提供される。
【００１７】
かかる方法を用いることにより、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【００１８】
また、上記目的を達成するために、本発明の第３の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部における上記操作入力を検出するステップ、上記検出するステップにおける検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップ、上記導出するステップにおいて導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正するステップをコンピュータに実行させるためのプログラムが提供される。
【００１９】
かかるプログラムを用いることにより、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【００２０】
上記目的を達成するために、本発明の第４の観点によれば、被写体を撮像して撮像画像を生成する撮像部と、上記撮像部において撮像された上記撮像画像を表示画面に表示し、上記表示画面に表示された上記撮像画像に対する操作入力が可能な操作表示部と、上記操作表示部における操作入力を検出する操作入力検出部と、上記操作入力検出部における検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と、導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記撮像画像の傾きを補正する画像補正部と、補正された画像を記録媒体に記録する画像記録部とを備える撮像装置が提供される。
【００２１】
かかる構成により、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【発明の効果】
【００２２】
本発明によれば、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【発明を実施するための最良の形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
また、以下では、画像の傾きを補正することが可能な本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」とよぶ。）、撮像装置（以下、「撮像装置２００」とよぶ。）について説明する。ここで、本発明の実施形態に係る画像は、静止画像であってもよいし、動画像（いわゆる、映像）であってもよい。
【００２５】
以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態の画像処理装置に係るプログラム
４．本発明の実施形態に係る撮像装置
５．本発明の実施形態の撮像装置に係るプログラム
【００２６】
（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る画像処理装置１００、および撮像装置２００の構成について説明する前に、まず、本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチについて説明する。
【００２７】
図１は、本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチを説明するための説明図である。ここで、図１は、撮像装置２００の一例を示している。以下、撮像装置２００を例に挙げて、本発明の実施形態に係る画像における傾きの補正アプローチを説明する。なお、以下に示す本発明の実施形態に係る画像における傾きの補正アプローチは、画像処理装置１００にも適用することができる。
【００２８】
図１に示すように、撮像装置２００は、表示画面に画像を表示する。また、撮像装置２００のユーザは、表示画面に表示された画像に対して操作入力（ユーザ入力）を行い、傾きを補正するための基準の一つとなる軌跡を描く。ここで、上記操作入力としては、例えば、表示画面へのタッチ（接触）が挙げられるが、上記に限られない。また、上記傾きを補正するための軌跡としては、図１に示すように直線（一直線でなくてもよい。）が挙げられる。なお、図１では、操作入力による軌跡（図２に示すＴ）が表示画面に明示されているが、上記に限られない。例えば、撮像装置２００は、操作入力による軌跡を表示画面に明示しなくてもよい。そして、撮像装置２００は、操作入力により描かれた直線に基づいて、画像の傾きを補正する。
【００２９】
より具体的には、撮像装置２００は、例えば、以下の（１）の処理〜（３）の処理によって、画像における水平方向に対する傾きを補正する。
【００３０】
（１）操作入力による軌跡に基づく近似直線の導出処理
撮像装置２００は、図１に示すような操作入力による軌跡に基づいて、近似直線を導出する。撮像装置２００は、例えば、操作入力に基づいて軌跡上の点の座標（以下、「タッチ座標（Ｘｎ，Ｙｎ）」とよぶ場合がある。ここで、ｎは、自然数。）を定期的に取得し、取得したタッチ座標（Ｘｎ，Ｙｎ）を記憶する。そして、撮像装置２００は、記憶された複数のタッチ座標（Ｘｎ，Ｙｎ）に基づいて近似直線を導出する。ここで、近似直線の導出方法としては、例えば、最小二乗法が挙げられるが、上記に限られない。また、撮像装置２００は、表示画面の一の位置を原点（基準点）とすることによって、タッチ座標（Ｘｎ，Ｙｎ）を導出することができる。上記原点（基準点）としては、例えば、表示画面の左下隅や表示画面の中心位置が挙げられるが、上記に限られない。以下、操作入力による軌跡に基づいて導出される近似直線を「第１の近似直線」とよぶ。
【００３１】
（２）画像の傾きの補正処理
上記（１）の処理において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線と基準線とに基づいて画像の傾きを補正する。ここで、本発明の実施形態に係る基準線とは、画像の傾きを補正するための基準となる直線であり、予め定められる。基準線としては、例えば、画像の鉛直方向の直線、または、画像の水平方向の直線が挙げられる。
【００３２】
また、本発明の実施形態に係る画像の傾きの補正方法としては、例えば、画像の回転や、画像の切り出しが挙げられるが、上記に限られない。例えば、撮像装置２００は、画像が動画像の場合には、切り出した画像の前後のフレームに対応する画像に基づいて、切り出した画像を推定して補完する（つまり、ユーザに対して画像が切り出されたことを意識させない）こともできる。また、撮像装置２００は、例えば、静止画像の場合においても、画像が動画像である場合と同様に、前後のフレームに対応する画像（例えば、傾きの補正を行った画像の前後に撮像された画像など）に基づいて、切り出した画像を推定して補完することができる。なお、本発明の実施形態に係る補正前の画像と補正後の画像の一例および撮像装置２００における処理の具体例については、後述する。
【００３３】
（２−１）第１の傾きの補正処理：画像を回転させる場合
（２−１−１）基準線が鉛直方向の直線である場合
基準線が鉛直方向の直線である場合、撮像装置２００は、例えば、第１の近似直線の傾きが基準線の傾きと同一となるように、すなわち、第１の近似直線と基準線とが平行となるように画像を回転させることによって、傾きの補正を行う。より具体的に説明すると、撮像装置２００は、第１の近似直線がｙ＝ａｘ＋ｂで表現される場合、座標系は例えば図２で表される。ここでは例として、−π／４＜ｔａｎ−１（ａ）＜π／４を鉛直方向とする。撮像装置２００は、例えば、画像を“−ｔａｎ−１（ａ）”回転させることによって、傾きの補正を行う。
【００３４】
（２−１−２）基準線が水平方向の直線である場合
基準線が水平方向の直線である場合、撮像装置２００は、例えば、第１の近似直線の傾きａに応じたｔａｎ−１（ａ）の値に基づいて画像を回転させることによって、傾きの補正を行う。ここでは例として、ｔａｎ−１（ａ）≦-π／４，ｔａｎ−１（ａ）≧π／４を水平方向とする。より具体的に説明すると、撮像装置２００は、第１の近似直線の傾きａに応じたｔａｎ−１（ａ）の値が、ｔａｎ−１（ａ）≦−π／４の場合には、例えば、画像を“（−π／２）−ｔａｎ−１（ａ）”回転させる。また、撮像装置２００は、ｔａｎ−１（ａ）≧π／４の場合には、例えば、画像を“π／２−ｔａｎ−１（ａ）”回転させる。
【００３５】
ここで、傾きの補正の際に画像を回転させる場合における回転の中心位置としては、例えば、画像の中心位置が挙げられるが、上記に限られない。例えば、撮像装置２００は、操作入力による軌跡上の被写体（ユーザにより指定された被写体）や、画像内で動きのある被写体（動画像の場合）を回転の中心位置とすることができる。また、撮像装置２００は、回転の中心を画像上に表示し、ユーザに回転の中心位置を選択させる（例えば、ユーザによるタッチ操作や、表示された中心位置のドラッグアンドドロップ操作など）ことによって回転の中心位置を決定することもできる。
【００３６】
（２−２）第２の傾きの補正処理：画像を切り出す場合
撮像装置２００は、例えば、第１の近似直線と平行な２つの直線（以下、それぞれの直線を「第１直線」という。）と、第１の近似直線と直交する２つの直線（以下、それぞれの直線を「第２直線」という。）とにより規定される領域を導出する。そして、撮像装置２００は、上記領域を切り出し、第１の近似直線と基準線とが平行となるように切り出した画像（上記領域に対応する画像）を回転させる。ここで、撮像装置２００は、上記領域のうち、画像に含まれる面積が最大となる領域を切り出すことができるが、上記に限られない。例えば、撮像装置２００は、以下のような方法によって、画像の傾きと同じ傾きを有し、かつ切り出す前の画像のサイズを超えない画像を切り出すことができる。
１．画像の中心が補正後の中心と一致するように回転させて、切り出す。
２．操作入力による軌跡の位置（例えば、ユーザが引いた直線）が補正後の中心と一致するように回転させて、切り出す。
３．画像の中心付近で動いてきる対象物（被写体）が補正後の中心となるように回転させて、切り出す（動画像の場合）。
４．画像に含まれる人（被写体）が補正後の中心となるように回転させて、切り出す。
５．補正の中心を画像上に表示し、ユーザに補正の中心位置を選択させる（例えば、ユーザによるタッチ操作や、表示された中心位置のドラッグアンドドロップ操作など）ことによって補正の中心位置を決定する。そして決定された補正の中心位置に基づいて切り出す。
【００３７】
撮像装置２００は、例えば、上記（２−１）、（２−２）に示す処理によって、上記のように操作入力に基づく第１の近似直線と基準線とに基づいて画像における水平方向に対する傾きを補正することができる。ここで、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、撮像装置２００は、例えば、上記（２−１）、（２−２）に示す処理によって、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
【００３８】
なお、上記では、撮像装置２００が、図１に示すような操作入力による軌跡（直線）に基づいて、近似直線を導出して画像の傾きを補正することを示したが、本発明の実施形態に係る画像における水平方向に対する傾きの補正は、上記に限られない。例えば、撮像装置２００は、操作入力（例えば、ユーザのタッチ操作など）により指定された被写体から特徴点を抽出し、抽出された特徴点に基づいて近似直線を導出することによって、画像の傾きを補正することもできる。上記の場合であっても、撮像装置２００は、操作入力に基づいて近似直線を導出して画像の傾きを補正することができるので、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
【００３９】
（３）追従処理
上記（２）の処理によって、撮像装置２００は画像の傾きを補正することができる。ここで、例えば画像が動画像である場合や、静止画像であっても表示画面に表示される画像が切り替わった場合には、表示画面に表示される画像の内容が大きく変化することがある。上記の場合には、第１の近似直線に基づく傾きの補正が画像に適した補正であるとは限らない。また、逆に、表示画面に表示される画像の内容が大きく変化しなければ、上記（２）の処理による補正と同様の補正を他の画像に適用したとしても、画像における水平方向に対する傾きを補正することができるといえる。そこで、撮像装置２００は、上記の場合に対応する処理として追従処理をさらに行う。
【００４０】
より具体的には、撮像装置２００は、操作入力に基づいて記憶したタッチ座標（Ｘｎ，Ｙｎ）に基づいて、タッチ座標（Ｘｎ，Ｙｎ）の近傍の被写体から特徴点を導出する。また、撮像装置２００は、導出した特徴点に基づいて近似直線を導出し、例えば導出された特徴点に基づく近似直線の中から第１の近似直線の傾きとの差が所定の範囲内である近似直線（以下、「第２の近似直線」という。）を選択する。なお、撮像装置２００は、導出された特徴点の組み合わせの中から補正に適した特徴点を選択的に用いて第２の近似直線を導出することもできる。撮像装置２００は、第２の近似直線が存在する場合には、第２の近似直線と基準線とに基づいて、上記（２）の処理と同様に画像の傾きを補正する。
【００４１】
また、撮像装置２００は、例えば定期的／非定期的に画像内から第２の近似直線に係る特徴点を抽出し、第２の近似直線に係る特徴点が画像内に存在する場合には、当該特徴点に基づいて第２の近似直線を再度導出する。そして、撮像装置２００は、第２の近似直線と基準線とに基づく補正および第２の近似直線に係る特徴点の抽出を繰り返す。また、撮像装置２００は、第２の近似直線に係る特徴点が画像内に存在しない場合には、表示画面に表示される画像の内容が大きく変化したと判断して、第２の近似直線と基準線とに基づく補正を終了する。
【００４２】
ここで、上記近傍の被写体としては、例えば、タッチ座標（Ｘｎ，Ｙｎ）上の被写体や、特徴点がタッチ座標（Ｘｎ，Ｙｎ）から所定の距離内にある被写体が挙げられる。また、上記特徴点としては、例えば、建物（被写体の一例）の直線部分や、人（被写体の一例）の顔、肩、足の位置などが挙げられるが、上記に限られない。例えば、撮像装置２００は、顔検出の技術を用いて人（被写体の一例）の両目、鼻、口、あるいは耳などを特徴点として検出することもできる。
【００４３】
撮像装置２００は、例えば、上記（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）によって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。以下、撮像装置２００における各処理の具体例について、補正前の画像と補正後の画像の一例を適宜挙げつつ説明する。なお、上述したように、以下に示す本発明の実施形態に係る各処理は、画像処理装置１００にも適用することができる。
【００４４】
[撮像装置２００における各処理の具体例]
〔１〕第１の補正処理：画像の回転による傾きの補正
図２、図３それぞれは、本発明の実施形態に係る第１の補正処理を説明するための説明図である。ここで、図２は、表示画面に表示される補正前の画像の一例を示しており、被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図３は、表示画面に表示される補正後の画像の一例を示しており、画像が回転されたことによって図２に示す画像の傾きが補正されていることが分かる。
【００４５】
図２に示すように、表示画面に対する操作入力が行われると、撮像装置２００は、操作入力による軌跡Ｔに基づいて第１の近似直線Ａを導出する。ここで、図２では、第１の近似直線Ａが、軌跡Ｔから平行移動されている例を示しているが、上記に限られない。また、図２では画像の鉛直方向の基準線Ｄを示しているが、撮像装置２００が表示画面に基準線Ｄを表示しなくてもよいことは、言うまでもない。撮像装置２００は、第１の近似直線Ａと基準線Ｄとに基づいて上述した（２−１）の処理を行うことによって、画像の補正を行う。したがって、表示画面には、図３に示すように画像における水平方向に対する傾きが補正された画像が表示されることとなる。以下、本発明の実施形態に係る第１の補正処理についてより具体的に説明する。
【００４６】
図４は、本発明の実施形態に係る第１の補正処理の一例を示す流れ図である。ここで、図４は、画像の回転によって傾きを補正する処理の一例を示している。
【００４７】
撮像装置２００は、表示画面へのタッチ（操作入力の一例）が検出されたか否かを判定する（Ｓ１００）。ここで、撮像装置２００は、例えば、表示画面がタッチスクリーン（touch  screen）で構成される場合には、抵抗膜方式や光学方式、静電容量方式、あるいは超音波方式など様々な方式のタッチスクリーンを用いることによって、ステップＳ１００の判定を行うことができる。ステップＳ１００において表示画面へのタッチが検出されたと判定されない場合には、撮像装置２００は、表示画面へのタッチが検出されるまで処理を進めない。
【００４８】
また、ステップＳ１００において表示画面へのタッチが検出されたと判定された場合には、撮像装置２００は、ｎ＝０に設定する（Ｓ１０２）。
【００４９】
そして、撮像装置２００は、タッチ座標（Ｘｎ，Ｙｎ）を記憶する（Ｓ１０４）。ここで、撮像装置２００は、例えば、表示画面の一の位置を原点（基準点）とすることによって、設定されたｎに対応するタッチ座標（Ｘｎ，Ｙｎ）を導出して記憶する。上記原点（基準点）としては、例えば、表示画面の左下隅や表示画面の中心位置が挙げられるが、上記に限られない。
【００５０】
ステップＳ１０４においてタッチ座標（Ｘｎ，Ｙｎ）が記憶されると、撮像装置２００は、表示画面へのタッチが検出されなくなったか否かを判定する（Ｓ１０６）。ここで、撮像装置２００は、例えば、抵抗膜方式や光学方式、静電容量方式、あるいは超音波方式など様々な方式のタッチスクリーンを用いることによって、ステップＳ１０６の判定を行うことができる。
【００５１】
ステップＳ１０６において表示画面へのタッチが検出されなくなったと判定されない場合には、撮像装置２００は、所定の時間待機し（Ｓ１０８）、待機完了後にｎ＝ｎ＋１に更新する（Ｓ１１０）。そして、撮像装置２００は、ステップＳ１０４からの処理を繰り返す。
【００５２】
また、ステップＳ１０６において表示画面へのタッチが検出されなくなったと判定された場合には、撮像装置２００は、以下の数式１の関係を満たすか否かを判定する（Ｓ１１２）。ここで、数式１に示すｍ（ｍ＞０）は、操作入力による軌跡が所定の長さを満たすか否かを判定するための閾値である。数式１に示すｍの値は、例えば、予め設定された固定値とすることができるが、上記に限られず、操作入力により可変する値とすることもできる。
【００５３】
【数１】
2010045733.tif 000003
・・・（数式１）
【００５４】
ステップＳ１１２において数式１の関係を満たすと判定されない場合には、撮像装置２００は、第１の補正処理を終了する。このように、閾値ｍを設定することによって、撮像装置２００は、ユーザによる誤操作（例えば、表示画面に意図せずに触れてしまうなど）によるユーザの意図しない画像の補正を防止することができる。
【００５５】
また、ステップＳ１１２において数式１の関係を満たすと判定された場合には、撮像装置２００は、記憶しているタッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）に基づいて、第１の近似直線を導出する（Ｓ１１４）。ここで、撮像装置２００は、例えば、最小二乗法を用いることによって第１の近似直線を導出することができるが、第１の近似直線の導出方法は、上記に限られない。
【００５６】
ステップＳ１１４において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線と予め定められた基準線とに基づいて画像の傾きを補正する（Ｓ１１６）。ここで、撮像装置２００は、例えば上述した（２−１）の処理によって画像の傾きを補正することができる。
【００５７】
撮像装置２００は、例えば、図４に示す処理を行うことによって、画像の回転による傾きの補正を実現することができる。
【００５８】
〔２〕第２の補正処理：画像を切り出しによる傾きの補正
図５、図６それぞれは、本発明の実施形態に係る第２の補正処理を説明するための説明図である。ここで、図５は、表示画面に表示される補正前の画像の一例を示しており、図２と同様に被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図６は、表示画面に表示される補正後の画像の一例を示しており、画像が切り出されたことによって図５に示す画像の傾きが補正されていることが分かる。
【００５９】
図５に示すように、表示画面に対する操作入力が行われると、撮像装置２００は、操作入力による軌跡Ｔに基づいて領域Ｒを設定する。撮像装置２００は、例えば、第１の近似直線Ａ（図示せず）を導出し、導出された第１の近似直線Ａに基づいて第１直線および第２直線を導出することによって、領域Ｒを設定することができる。ここで、図５は、撮像装置２００が領域の面積が最大となる領域Ｒを設定した例を示している。また、図５では画像の鉛直方向の基準線Ｄを示しているが、撮像装置２００が表示画面に基準線Ｄを表示しなくてもよいことは、言うまでもない。撮像装置２００は、設定された領域Ｒを切り出し、第１の近似直線と基準線とに基づいて上述した（２−２）の処理を行うことによって、画像の補正を行う。したがって、表示画面には、図６に示すように画像が切り出されて回転されることによって、画像における水平方向に対する傾きが補正された画像が表示されることとなる。以下、本発明の実施形態に係る第２の補正処理についてより具体的に説明する。
【００６０】
図７は、本発明の実施形態に係る第２の補正処理の一例を示す流れ図である。ここで、図７は、画像の切り出しによって傾きを補正する処理の一例を示している。
【００６１】
撮像装置２００は、図４のステップＳ１００と同様に、表示画面へのタッチ（操作入力の一例）が検出されたか否かを判定する（Ｓ２００）。ステップＳ２００において表示画面へのタッチが検出されたと判定されない場合には、撮像装置２００は、表示画面へのタッチが検出されるまで処理を進めない。
【００６２】
また、ステップＳ２００において表示画面へのタッチが検出されたと判定された場合には、撮像装置２００は、図４のステップＳ１０２と同様に、ｎ＝０に設定する（Ｓ２０２）。そして、撮像装置２００は、図４のステップＳ１０４と同様に、タッチ座標（Ｘｎ，Ｙｎ）を記憶する（Ｓ２０４）。
【００６３】
ステップＳ２０４においてタッチ座標（Ｘｎ，Ｙｎ）が記憶されると、撮像装置２００は、図４のステップＳ１０６と同様に、表示画面へのタッチが検出されなくなったか否かを判定する（Ｓ２０６）。
【００６４】
ステップＳ２０６において表示画面へのタッチが検出されなくなったと判定されない場合には、撮像装置２００は、所定の時間待機し（Ｓ２０８）、待機完了後にｎ＝ｎ＋１に更新する（Ｓ２１０）。そして、撮像装置２００は、ステップＳ２０４からの処理を繰り返す。
【００６５】
また、ステップＳ２０６において表示画面へのタッチが検出されなくなったと判定された場合には、撮像装置２００は、図４のステップＳ１１２と同様に、上記数式１の関係を満たすか否かを判定する（Ｓ２１２）。
【００６６】
ステップＳ２１２において数式１の関係を満たすと判定されない場合には、撮像装置２００は、第２の補正処理を終了する。このように、閾値ｍを設定することによって、撮像装置２００は、図４に示す第１の補正処理と同様に、ユーザによる誤操作によるユーザの意図しない画像の補正を防止することができる。
【００６７】
また、ステップＳ２１２において数式１の関係を満たすと判定された場合には、撮像装置２００は、図４のステップＳ１１４と同様に、記憶しているタッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）に基づいて、第１の近似直線を導出する（Ｓ２１４）。
【００６８】
ステップＳ２１４において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線に基づいて、切り出す領域を設定する（Ｓ２１６）。ここで、撮像装置２００は、例えば上述した（２−２）の処理によって、切り出す領域を設定することができる。
【００６９】
ステップＳ２１６において切り出す領域が設定されると、撮像装置２００は、設定された領域、第１の近似直線、および基準線に基づいて画像の傾きを補正する（Ｓ２１８）。ここで、撮像装置２００は、例えば上述した（２−２）の処理によって画像の傾きを補正することができる。
【００７０】
撮像装置２００は、例えば、図７に示す処理を行うことによって、画像の切り出しによる傾きの補正を実現することができる。
【００７１】
〔３〕追従処理
次に、本発明の実施形態に係る追従処理について説明する。図８は、本発明の実施形態に係る追従処理の一例を示す流れ図である。
【００７２】
撮像装置２００は、タッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）の近傍の被写体から特徴点ｆ_ａｌｌを抽出する（Ｓ３００）。ここで、撮像装置２００は、例えば、タッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）それぞれから所定の距離内に存在する被写体から特徴点を抽出することによって、画像から特徴点ｆ_ａｌｌを抽出することができる。
【００７３】
ステップＳ３００において特徴点ｆ_ａｌｌが抽出されると、撮像装置２００は、特徴点ｆ_ａｌｌの中から、ある特徴点ｆ_ｅを選択する（Ｓ３０２）。ここで、撮像装置２００は、例えば、画像内に含まれる被写体のうちのある被写体から特定の特徴点（例えば、被写体が建物である場合には直線部分。また、被写体が人である場合には、当該人の顔、肩、足の位置など。）を選択することによって、ステップＳ３０２の処理を行うことができる。
【００７４】
ステップＳ３０２において特徴点ｆ_ｅが選択されると、撮像装置２００は、選択された特徴点ｆ_ｅに基づいて近似直線を導出する（Ｓ３０４）。ここで、撮像装置２００は、例えば、最小二乗法によって上記近似直線を導出することができるが、上記に限られない。
【００７５】
ステップＳ３０４において近似直線が導出されると、撮像装置２００は、第１の近似直線の傾きと、特徴点ｆ_ｅに基づく近似直線の傾きとの差が所定の範囲内か否かを判定する（Ｓ３０６）。ここで、撮像装置２００は、上記差の値と所定の範囲を示す閾値とに基づいて、ステップＳ３０６の判定を行うことができるが、上記に限られない。また、上記閾値は、例えば、予め設定された固定値とすることができるが、上記に限られず、操作入力により可変する値とすることもできる。
【００７６】
ステップＳ３０６において傾きの差が所定の範囲内ではないと判定された場合には、撮像装置２００は、ステップＳ３０２からの処理を繰り返す。このとき、撮像装置２００は、ステップＳ３０２において、ステップＳ３０６の判定に用いた近似直線を導出した特徴点とは異なる特徴点ｆ_ｅを選択する。
【００７７】
また、ステップＳ３０６において傾きの差が所定の範囲内であると判定された場合には、撮像装置２００は、特徴点ｆ_ｅに係る近似直線（第２の近似直線）と基準線とに基づいて画像の傾きを補正する。ここで、撮像装置２００は、例えば、上述した（２−１）の処理や（２−２）の処理によって画像の傾きを補正することができる。
【００７８】
ステップＳ３０６において画像の補正が行われると、撮像装置２００は、第２の近似直線に係る特徴点ｆ_ｅが画像内に存在するか否かを判定する（Ｓ３１０）。
【００７９】
ステップＳ３１０において特徴点ｆ_ｅが画像内に存在すると判定された場合には、撮像装置２００は、上記特徴点ｆ_ｅに基づいて近似直線（第２近似直線）を導出する（Ｓ３１２）。そして、撮像装置２００は、ステップＳ３０８からの処理を繰り返す。
【００８０】
また、ステップＳ３１０において特徴点ｆ_ｅが画像内に存在すると判定されない場合には、撮像装置２００は、追従処理を終了する。
【００８１】
撮像装置２００は、例えば、図８に示す処理を行うことによって、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
【００８２】
撮像装置２００は、例えば、図４、図７、図８に示す処理を行うことによって、上記（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）をそれぞれ実現することができる。
【００８３】
[本発明の実施形態に係る画像の傾きの補正処理の他の例]
上記では、本発明の実施形態に係る画像の傾きの補正処理として、操作入力に基づく第１の近似直線と基準線とに基づく画像の傾きの補正処理を示した。しかしながら、本発明の実施形態に係る画像の傾きの補正処理は、上記に限られない。
【００８４】
図９、図１０それぞれは、本発明の実施形態に係る補正処理の他の例を説明するための説明図である。ここで、図９は、表示画面に表示される補正前の画像の一例を示しており、被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図１０は、表示画面に表示される補正後の画像の一例を示しており、画像が回転されたことによって図９に示す画像の傾きが補正されていることが分かる。
【００８５】
図９に示すように、撮像装置２００は、操作入力に基づいて任意に画像を回転させることができる。上記の場合であっても、操作入力に基づいて補正が行われるので、撮像装置２００では、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることがない。したがって、撮像装置２００は、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。さらに、ユーザによる軌跡Ｔに基づく第１の近似直線がユーザの意図したものからわずかにずれたとしても、微調整することができる。
【００８６】
以上に示す画像における水平方向に対する傾きの補正アプローチを用いることによって、本発明の実施形態に係る画像処理装置１００、撮像装置２００それぞれは、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。以下、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を実現可能な、本発明の実施形態に係る画像処理装置１００、撮像装置２００の構成例について、それぞれ説明する。
【００８７】
（本発明の実施形態に係る画像処理装置１００）
図１１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。
【００８８】
図１１を参照すると、画像処理装置１００は、操作入力部１０２と、制御部１０４と、記憶部１０６と、通信部１０８とを備える。
【００８９】
また、画像処理装置１００は、例えば、制御部１０４が使用するプログラムや演算パラメータなどの制御用データが記録されたＲＯＭ（Read  Only  Memory；図示せず）や、制御部１０６により実行されるプログラムなどを一次記憶するＲＡＭ（Random  Access  Memory；図示せず）などを備えてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００９０】
〔画像処理装置１００のハードウェア構成例〕
図１２は、本発明の実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。図１２を参照すると、画像処理装置１００は、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作表示デバイス１６０と、操作入力デバイス１６２と、表示デバイス１６４と、通信インタフェース１６６とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。
【００９１】
ＭＰＵ１５０は、画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、例えば、後述する操作入力検出部１１０と、近似直線導出部１１２と、画像補正部１１４と、表示制御部１１６として機能することができる。
【００９２】
また、ＭＰＵ１５０は、各種記録媒体（例えば、記憶部１０６）から読み出した画像データに対して伸張処理を施して操作表示デバイス１６０（操作入力・表示部１０２）や表示デバイス１６４に表示させることもできる。
【００９３】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データ、基準線に係るデータなどを記憶する。ここで、上述した各種閾値の値は、例えば、ＲＯＭ１５２に予め記録されていてもよい。また、ＲＡＭ１５４は、ＭＰＵ１５０により実行されるプログラムや、操作入力に応じたタッチ座標（Ｘｎ，Ｙｎ）などを一次記憶する。
【００９４】
記録媒体１５６は、記憶部１０６として機能し、例えば、画像データや、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）、ＭＲＡＭ（Magnetoresistive  Random  Access  Memory）、ＦｅＲＡＭ（Ferroelectric  Random  Access  Memory）、ＰＲＡＭ（Phase  change  Random  Access  Memory）などの不揮発性メモリ（nonvolatile  memory）が挙げられるが、上記に限られない。
【００９５】
入出力インタフェース１５８は、例えば、操作表示デバイス１６０や、操作入力デバイス１６２や、表示デバイス１６４を接続する。ここで、入出力インタフェース１６２としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）端子などが挙げられるが、上記に限られない。
【００９６】
操作表示デバイス１６０は、操作入力・表示部１０２として機能し、表示画面に画像を表示し、表示画面に表示された画像に対する操作入力を可能とする。ここで、操作表示デバイス１６０は、例えば、タッチスクリーンで構成され、画像処理装置１００の内部で入出力インタフェース１６０と接続される。また、上記タッチスクリーンは、例えば、ＬＣＤ（Liquid  Crystal  Display；液晶ディスプレイ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display；または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）とも呼ばれる。）などの表示デバイスと、接触を検知するための素子が配置されたマトリクス・スイッチなどで実現されるが、上記に限られない。
【００９７】
操作入力デバイス１６２は、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなど、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。また、操作入力デバイス１６２は、画像処理装置１００において操作入力・表示部１０２（あるいは、操作部（図示せず））として機能する。
【００９８】
表示デバイス１６４は、例えば、ＬＣＤや有機ＥＬディスプレイなどからなり、画像処理装置１００上に備えられる。そして、表示デバイス１６４は、例えば、画像処理装置１００の内部で入出力インタフェース１５８と接続される。また、表示デバイス１６４は、画像処理装置１００において操作入力・表示部１０２（あるいは、表示部（図示せず））として機能する。
【００９９】
なお、入出力インタフェース１５８は、画像処理装置１００の外部装置としての操作表示デバイス（例えば、液晶ペンタブレットなど）や、操作入力デバイス（例えば、キーボードやマウスなど）、表示デバイス（例えば、外部ディスプレイなど）と接続することもできることは、言うまでもない。
【０１００】
通信インタフェース１６６は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と無線／有線で通信を行うための通信部１０８として機能する。ここで、ネットワークとしては、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）や無線ＭＡＮ（ＷＭＡＮ；Wireless  Metropolitan  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられるが、上記に限られない。また、画像処理装置１００は、例えば、ＵＳＢ接続によって外部装置と直接的に通信を行うことができる。
【０１０１】
また、通信インタフェース１６６としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、ＬＡＮ端子および送受信回路（有線通信）、あるいはＵＳＢポートおよびＵＳＢコントローラ（有線通信／無線通信）などが挙げられるが、上記に限られない。例えば、通信インタフェース１６６は、ネットワークに対応する構成とすることができる。
【０１０２】
画像処理装置１００は、図１２に示すようなハードウェア構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を行う。したがって、画像処理装置１００は、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１０３】
なお、画像処理装置１００のハードウェア構成は、図１２に示す構成に限られない。例えば、画像処理装置１００は、音声入力デバイスとしてのマイクや、音声出力デバイスとしてのスピーカなど、様々なデバイスを備えることもできる。また、画像処理装置１００は、例えばメモリスティックなどの着脱可能な外部メモリを収納するスロットを備えることもできる。
【０１０４】
再度図１１を参照して、画像処理装置１００の構成について説明する。操作入力・表示部１０２（操作表示部）は、表示画面に画像を表示し、表示画面に表示された画像に対する操作入力を可能とする。操作入力・表示部１０２を備えることによって、画像処理装置１００は、ユーザに対して画像を提示すると共に操作入力を可能とし、また、例えば図２に示すようなユーザによる軌跡Ｔを認識することができる。つまり、操作入力・表示部１０２は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）を行うための入力デバイスとして機能する。ここで、操作入力・表示部１０２は、例えば、タッチスクリーンで構成されるが、上記に限られない。例えば、操作入力・表示部１０２は、表示デバイスとポインティングデバイスとからなり、ユーザが当該ポインティングデバイスを操作することによって、表示画面に表示された画像に対する操作入力を行う構成とすることもできる。
【０１０５】
制御部１０４は、例えば、ＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、操作入力検出部１１０と、近似直線導出部１１２と、画像補正部１１４と、表示制御部１１６とを備える。
【０１０６】
操作入力検出部１１０は、操作入力・表示部１０２における操作入力を検出し、操作入力に応じたタッチ座標（Ｘｎ，Ｙｎ）を例えばＲＡＭ１５４に保持させる。ここで、操作入力検出部１１０は、例えば、操作入力・表示部１０２から操作入力に応じて伝達される操作信号（例えば、圧力変化に応じた信号、静電気による信号）に基づいて操作入力を検出することができる。よって、操作入力検出部１１０は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）の一部を行う役目を果たす。
【０１０７】
近似直線導出部１１２は、操作入力検出部１１０における検出結果、すなわち、タッチ座標（Ｘｎ，Ｙｎ）に基づいて、操作入力の軌跡を近似的に示す第１の近似直線を導出する。
【０１０８】
また、近似直線導出部１１２は、表示画面に表示された画像の中から所定の特徴点ｆ_ｅを検出し、特徴点ｆ_ｅに基づく近似直線をさらに導出することができる。
【０１０９】
よって、近似直線導出部１１２は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）の一部、および（３）の処理（追従処理）の一部を行う役目を果たす。
【０１１０】
画像補正部１１４は、上述した（２）の処理（画像の傾きの補正処理）を行う役目を果たし、第１の近似直線と予め定められた基準線とに基づいて、表示画面に表示された画像の傾きを補正する。ここで、画像補正部１１４における画像の傾きの補正は、信号処理による補正に相当する。
【０１１１】
また、画像補正部１１４は、近似直線導出部１１２が導出した特徴点ｆ_ｅに基づく近似直線の中から第２の近似直線を決定し、第２の近似直線と基準線とに基づいて、表示画面に表示された画像の傾きを補正することもできる。上記の場合には、画像補正部１１４は、第２の近似直線に係る特徴点特徴点ｆ_ｅが表示画面に表示された画像内に存在しなくなった場合には、画像の傾きの補正を終了する。
【０１１２】
よって、画像補正部１１４は、上述した（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）の一部を行う役目を果たす。また、画像補正部１１４は、補正処理、追従処理において補正した画像を、例えば、記憶部１０６や外部メモリなどの記録媒体に記録することもできる。
【０１１３】
表示制御部１１６は、操作入力・表示部１０２や表示部（図示せず）における画像や文字の表示を制御する。表示制御部１１６を備えることによって、例えば、記憶部１０６に記憶された画像データや、通信部１０８が外部装置から取得した画像データを再生して操作入力・表示部１０２に表示させることができる。
【０１１４】
画像処理装置１００は、操作入力検出部１１０、近似直線導出部１１２、および画像補正部１１４を備えることによって、上述した（１）の処理〜（３）の処理を行うことができる。
【０１１５】
記憶部１０６は、画像処理装置１００が備える記憶手段である。記憶部１０６は、例えば、画像データや制御部１０４により実行されるアプリケーションなどが記憶される。なお、図１１では、記憶部１０６に画像データ１２０、１２２、…が記憶されている例を示している。また、記憶部１０６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
【０１１６】
通信部１０８は、画像処理装置１００が備える通信手段であり、外部装置と有線／無線で通信を行う役目を果たす。また、通信部１０８は、例えば、制御部１０４によってその通信が制御される。画像処理装置１００は、通信部１０８を備えることによって、例えば、外部装置から画像データやアプリケーションなどを取得することができ、また、外部装置に対して記憶部１０６に記録された画像データを送信することができる。
【０１１７】
画像処理装置１００は、上記のような構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）を行う。したがって、画像処理装置１００は、上記のような構成によって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１１８】
[画像処理装置１００における一連の処理]
次に、画像処理装置１００における画像の傾きの補正に係る一連の処理を示す。図１３は、本発明の実施形態に係る画像処理装置１００における画像の傾きの補正に係る処理の一例を示す流れ図である。
【０１１９】
画像処理装置１００は、画像の再生を行うか否かを判定する（Ｓ４００）。ここで、画像処理装置１００は、例えばユーザによる再生ボタンの押下など、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ４００の判定を行うことができる。ステップＳ４００において画像の再生を行うと判定されない場合には、画像処理装置１００は、画像の再生を行うと判定されるまで処理を進めない。
【０１２０】
また、ステップＳ４００において画像の再生を行うと判定された場合には、画像処理装置１００は、画像の補正処理を行う（Ｓ４０２）。ここで、画像処理装置１００が行う画像の補正処理としては、例えば、図４に示す第１の補正処理や、図７に示す第２の補正処理が挙げられるが、上記に限られない。また、画像処理装置１００は、ステップＳ４０２において補正された画像を例えば記憶部１０６などの記録媒体に記録することもできる。
【０１２１】
ステップＳ４０２において画像の補正処理が行われると、画像処理装置１００は、追従処理を行う（Ｓ４０４）。ここで、画像処理装置１００は、例えば、図８に示す処理によって追従処理を実現することができる。また、画像処理装置１００は、ステップＳ４０４の追従処理において補正された画像を例えば記憶部１０６などの記録媒体に記録することもできる。
【０１２２】
ステップＳ４０４において追従処理が終了すると、画像処理装置１００は、画像の再生を終了するか否かを判定する（Ｓ４０６）。ここで、画像処理装置１００は、例えば、ステップＳ４００と同様に、ユーザの操作入力に基づいてステップＳ４０６の判定を行うことができる。
【０１２３】
ステップＳ４０６において画像の再生を終了すると判定されない場合には、画像処理装置１００は、ステップＳ４０２からの処理を繰り返す。また、ステップＳ４０６において画像の再生を終了すると判定された場合には、画像処理装置１００は、画像の再生を終了する。上記の場合には、画像処理装置１００における画像の傾きの補正処理も終了することとなる。
【０１２４】
画像処理装置１００は、図１３に示す処理を行うによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１２５】
以上のように、本発明の実施形態に係る画像処理装置１００は、操作入力による軌跡に基づいて第１の近似直線を導出し、導出された第１の近似直線と予め定められた基準線とに基づいて画像における水平方向に対する傾きを傾斜センサを用いずに補正する。ここで、画像処理装置１００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、画像処理装置１００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、画像処理装置１００は、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
【０１２６】
また、画像処理装置１００は、第１の近似直線に係るタッチ座標（Ｘｎ，Ｙｎ）に基づいて第２の近似直線を導出し、導出された第２の近似直線と基準線とに基づいて、画像の傾きを補正する。ここで、画像処理装置１００は、第２の近似直線を適宜更新することによって、画像の内容に応じた補正を行う。また、表示画面に表示される画像の内容が大きく変化した場合（例えば、特徴点ｆ_ｅが画像内に存在すると判定されない場合）には、画像処理装置１００は、第２の近似直線による補正を終了する。したがって、画像処理装置１００は、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
【０１２７】
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラやデジタルカメラ機能を有する携帯電話など撮像機能を有する撮像装置、ＰＣ（Personal  Computer）などのコンピュータ、携帯電話やＰＨＳ（Personal  Handyphone  System）などの携帯型通信装置、ＷＡＬＫ  ＭＡＮ（登録商標）などの映像／音楽再生装置、ＰｌａｙＳｔａｔｉｏｎ  Ｐｏｒｔａｂｌｅ（登録商標）などの携帯型ゲーム機、など様々な機器に適用することができる。なお、本発明の実施形態の撮像装置への適用については、後述する。
【０１２８】
（本発明の実施形態の画像処理装置に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置１００として機能させるためのプログラムによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１２９】
（本発明の実施形態に係る撮像装置２００）
次に、本発明の実施形態に係る撮像装置２００の構成について説明する。図１４は、本発明の実施形態に係る撮像装置２００の構成の一例を示すブロック図である。
【０１３０】
図１４を参照すると、撮像装置２００は、撮像部２０２と、操作入力部１０２と、制御部２０４と、記憶部１０６と、通信部１０８とを備える。
【０１３１】
また、撮像装置２００は、例えば、制御部２０４が使用するプログラムや演算パラメータなどの制御用データが記録されたＲＯＭ（図示せず）や、制御部１０６により実行されるプログラムなどを一次記憶するＲＡＭ（図示せず）などを備えてもよい。撮像装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【０１３２】
〔撮像装置２００のハードウェア構成例〕
図１５は、本発明の実施形態に係る撮像装置２００のハードウェア構成の一例を示す説明図である。図１５を参照すると、撮像装置２００は、レンズ／撮像素子２５０と、信号処理回路２５２と、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作表示デバイス１６０と、操作入力デバイス１６２と、表示デバイス１６４と、通信インタフェース１６６とを備える。また、撮像装置２００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。
【０１３３】
レンズ／撮像素子２５０および信号処理回路２５２は、撮像部２０２として機能する。レンズ／撮像素子２５０は、例えば、光学系のレンズ（Lens）とＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子とを複数用いたイメージセンサで構成される。信号処理回路２５２は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路２５２が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、補間処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理、およびＪｐｅｇコーディング処理などが挙げられるが、上記に限られない。ここで、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理は、例えば、ＲＡＷ画像データ（信号処理前の画像）に対して、ＲＧＢ（Red  Green  Blue）の各色ごとに予め設定されたゲインをかけ、各画素（pixel）に対応する画素値を増幅する処理である。補間処理は、例えば、ベイヤー配列からすべての画素のＲＧＢを作り出す処理である。色調補正処理は、例えば、画像の色調を補正する処理である。ガンマ補正処理は、例えば、ＲＧＢの信号を非線形変換し、視覚的なリニアリティ（linearity）を確保する処理である。ＹＣｂＣｒ変換処理は、例えば、所定の変換式に基づいて、ＲＧＢをＹＣｂＣｒに変換する処理である。ここで、Ｙは輝度（luminance）、Ｃｂは色差（chrominance）、そして、Ｃｒは色差（chrominance）をそれぞれ表す。エッジ強調処理は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する処理である。そして、Ｊｐｅｇコーディング処理は、画像をＪｐｅｇ（Joint  Photographic  Experts  Group）形式の画像ファイルに変換する処理である。
【０１３４】
ＭＰＵ１５０は、撮像装置２００全体を制御する制御部２０４として機能する。また、ＭＰＵ１５０は、例えば、後述する操作入力検出部１１０と、近似直線導出部１１２と、画像補正部２１４と、画像記録部２１６と、表示制御部１１６として機能することができる。
【０１３５】
また、ＭＰＵ１５０は、信号処理回路２５２において信号処理された画像データに対して圧縮処理を施して各種記録媒体（例えば、記憶部１０６）に記録することができる。さらに、ＭＰＵ１５０は、各種記録媒体から読み出した画像データに対して伸張処理を施して操作表示デバイス１６０（操作入力・表示部１０２）や表示デバイス１６４に表示させることもできる。
【０１３６】
また、ＲＯＭ１５２、ＲＡＭ１５４、記録媒体１５６、入出力インタフェース１５８、操作表示デバイス１６０、操作入力デバイス１６２、表示デバイス１６４、および通信インタフェース１６６は、それぞれ図１２に示す画像処理装置１００と同様の構成を有することができる。
【０１３７】
よって、撮像装置２００は、図１５に示すようなハードウェア構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を行う。したがって、撮像装置２００は、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１３８】
また、撮像装置２００は、補正された画像を記録媒体に記録することもできる。ここで、撮像装置２００が画像を記録する記録媒体としては、例えば、記録媒体１５６が挙げられるが、上記に限られない。例えば、撮像装置２００は、着脱可能な外部メモリ（記録媒体の一種）を収納するスロット（図示せず）をさらに備え、当該スロットに収納された外部メモリに画像を記録することもできる。上記外部メモリとしては、例えば、メモリスティックが挙げられるが、上記に限られない。さらに、撮像装置２００は、通信インタフェース１６６を介して、外部装置が備える記憶部（記録媒体の一種）に画像を記録することもできる。
【０１３９】
再度図１４を参照して、撮像装置２００の構成について説明する。撮像部２０２は、撮像装置２００が備える撮像手段であり、撮像により画像（撮像画像）を得ることができる。ここで、撮像により得られる画像としては、例えば、ＪＰＥＧやビットマップ（bitmap）などの静止画フォーマットで記録された画像（静止画像）や、ＷＭＶ（Windows  Media  Video）やＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（H.264/Moving  Picture  Experts  Group  phase-4  Advanced  Video  Coding）などの動画フォーマットで記録された画像（動画像）が挙げられるが上記に限られない。
【０１４０】
撮像部２０２は、レンズ２１０と、光電変換部２１２とから構成される。ここで、光電変換部２１２は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子がマトリクス状に配置されたイメージセンサ（なお、レンズ２１０との組み合わせをイメージセンサと捉えることもできる。）と、信号処理回路２５２とから構成される。
【０１４１】
また、撮像部２０２は、制御部２０４（より厳密には、後述する画像補正部２１４）から伝達される補正信号に応じて、例えば、レンズ２１０の回転や、イメージセンサの回転を行うこともできる。上記のように撮像部２０２をレンズ２１０やイメージセンサを回転可能な構成とすることによって、撮像装置２００は、撮像している画像の傾きを物理的に補正することができる。
【０１４２】
制御部２０４は、例えば、ＭＰＵなどで構成され、撮像装置２００全体を制御する役目を果たす。また、制御部２０４は、操作入力検出部１１０と、近似直線導出部１１２と、画像補正部２１４と、表示制御部１１６とを備える。
【０１４３】
操作入力検出部１１０、近似直線導出部１１２、および表示制御部１１６は、それぞれ図１１に示す画像処理装置１００に係る操作入力検出部１１０、近似直線導出部１１２、および表示制御部１１６と同様の機能、構成を有する。
【０１４４】
画像補正部２１４は、上述した（２）の処理（画像の傾きの補正処理）を行う役目を果たし、第１の近似直線と予め定められた基準線とに基づいて、表示画面に表示された画像の傾きを補正する。ここで、画像補正部２１４は、例えば、以下の（Ａ）〜（Ｃ）のいずれか、またはこれらの組み合わせによって、画像の傾きの補正を行うことができる。なお、撮像装置２００における画像の傾きの補正は、以下の（Ａ）〜（Ｃ）に限られない。例えば、撮像装置２００は、ミラーなどを用いて画像を回転させることもできる。
【０１４５】
（Ａ）信号処理による補正
画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、画像の傾きの補正を行う。
【０１４６】
（Ｂ）撮像部２０２の回転による補正
画像補正部２１４は、画像を回転させる角度に応じた補正信号を生成し、当該補正信号を撮像部２０２に伝達する。ここで、（Ｂ）による補正は、撮像部２０２を物理的に回転させることによって、画像を回転させるものである。また、（Ａ）による補正と（Ｂ）による補正を組み合わせることによって、上述した（２−２）の補正処理（第２の傾きの補正処理）を実現することができる。
【０１４７】
（Ｃ）イメージセンサの回転による補正
画像補正部２１４は、上記（Ｂ）と同様に、画像を回転させる角度に応じた補正信号を生成し、当該補正信号を撮像部２０２に伝達する。ここで、（Ｃ）による補正は、イメージセンサを物理的に回転させることによって、画像を回転させるものである。また、（Ａ）による補正と（Ｃ）による補正を組み合わせることによって、上記（Ｂ）と同様に、上述した（２−２）の補正処理（第２の傾きの補正処理）を実現することができる。
【０１４８】
また、画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、近似直線導出部１１２が導出した特徴点ｆ_ｅに基づく近似直線の中から第２の近似直線を決定し、第２の近似直線と基準線とに基づいて、表示画面に表示された画像の傾きを補正することもできる。
【０１４９】
よって、画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、上述した（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）の一部を行う役目を果たす。
【０１５０】
撮像装置２００は、操作入力検出部１１０、近似直線導出部１１２、および画像補正部２１４を備えることによって、上述した（１）の処理〜（３）の処理を行うことができる。
【０１５１】
画像記録部２１６は、画像補正部２１６が補正した画像を記録媒体に記録する。ここで、上記記録媒体としては、例えば、記憶部１０６や、スロット（図示せず）に収納された外部メモリ、通信部１０８を介して接続された外部装置（図示せず）が備える記憶部などが挙げられる。
【０１５２】
撮像装置２００は、上記のような構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）を行う。したがって、撮像装置２００は、図１１に示す画像処理装置１００と同様に、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１５３】
また、撮像装置２００は、上記のような構成によって、傾きが補正された画像を記録媒体に記録する。よって、撮像装置２００によって記録された画像を再生する装置は、特段の補正を行うことなく水平方向に対する傾きが補正された画像を表示画面に表示することができる。
【０１５４】
[撮像装置２００における一連の処理]
次に、撮像装置２００における画像の傾きの補正に係る一連の処理を示す。図１６は、本発明の実施形態に係る撮像装置２００における画像の傾きの補正に係る処理の一例を示す流れ図である。
【０１５５】
撮像装置２００は、撮像を行うか否かを判定する（Ｓ５００）。ここで、撮像装置２００は、例えばユーザによる撮像ボタンの押下など、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ５００の判定を行うことができる。
【０１５６】
〔撮像を行うと判定されない場合〕
ステップＳ５００において撮像を行うと判定されない場合には、撮像装置２００は、画像の再生を行うか否かを判定する（Ｓ５０２）。ここで、撮像装置２００は、図１３のステップＳ４００と同様に、例えば、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ５０２の判定を行うことができる。ステップＳ５０２において画像の再生を行うと判定されない場合には、撮像装置２００は、ステップＳ５０２からの処理を繰り返す。
【０１５７】
また、ステップＳ５０２において画像の再生を行うと判定された場合には、撮像装置２００は、第１の画像の補正処理を行う（Ｓ５０４）。ここで、第１の画像の補正処理とは、上記（Ａ）の処理（信号処理による補正）を指す。つまり、撮像装置２００は、図１３のステップＳ４０２と同様の処理によって、画像の傾きの補正を行う。
【０１５８】
ステップＳ５０４において画像の補正処理が行われると、撮像装置２００は、追従処理を行う（Ｓ５１０）。ここで、撮像装置２００は、図１３のステップＳ４０４と同様に、例えば、図８に示す処理によって追従処理を実現することができる。
【０１５９】
ステップＳ５１０において追従処理が終了すると、撮像装置２００は、画像の撮像および再生を終了するか否かを判定する（Ｓ５１２）。ここで、撮像装置２００は、例えば、ステップＳ５００やステップＳ５０２と同様に、ユーザの操作入力に基づいてステップＳ５０８の判定を行うことができる。
【０１６０】
ステップＳ５１２において画像の撮像および再生を終了すると判定されない場合には、撮像装置２００は、ステップＳ５００からの処理を繰り返す。また、ステップＳ５１２において画像の撮像および再生を終了すると判定された場合には、撮像装置２００は、画像の撮像および再生を終了する。上記の場合には、撮像装置２００における画像の傾きの補正処理も終了することとなる。
【０１６１】
〔撮像を行うと判定された場合〕
ステップＳ５００において撮像を行うと判定された場合には、撮像装置２００は、第２の画像の補正処理を行う（Ｓ５０６）。ここで、第２の画像の補正処理とは、例えば、上記（Ａ）の処理（信号処理による補正）〜（Ｃ）の処理（イメージセンサの回転による補正）のいずれか、またはこれらの組み合わせを指す。
【０１６２】
ステップＳ５０６において画像の補正処理が行われると、撮像装置２００は、補正された画像を記録媒体に記録する（Ｓ５０８）。そして、撮像装置２００は追従処理を行う（Ｓ５１０）。なお、図１６では示していないが、撮像装置２００は、追従処理において、補正された画像を記録媒体に記録し続ける。そして、ステップＳ５１０において追従処理が終了すると、撮像装置２００は、画像の撮像および再生を終了するか否かを判定し（Ｓ５１２）、判定結果に応じて画像の撮像および再生を終了する。
【０１６３】
撮像装置２００は、図１６に示す処理を行うことによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１６４】
以上のように、本発明の実施形態に係る撮像装置２００は、操作入力による軌跡に基づいて第１の近似直線を導出し、導出された第１の近似直線と予め定められた基準線とに基づいて画像における水平方向に対する傾きを傾斜センサを用いずに補正する。ここで、撮像装置２００は、画像処理装置１００と同様に、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、撮像装置２００は、画像処理装置１００と同様に、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。また、撮像装置２００は、画像処理装置１００と同様に、ユーザによる軌跡Ｔに基づく第１の近似直線がユーザの意図したものからわずかにずれたとしても、微調整することができる。
【０１６５】
また、撮像装置２００は、画像処理装置１００と同様に、第１の近似直線に係るタッチ座標（Ｘｎ，Ｙｎ）に基づいて第２の近似直線を導出し、導出された第２の近似直線と基準線とに基づいて、画像の傾きを補正する。ここで、撮像装置２００は、第２の近似直線を適宜更新することによって、画像の内容に応じた補正を行う。また、表示画面に表示される画像の内容が大きく変化した場合には、撮像装置２００は、第２の近似直線による補正を終了する。したがって、撮像装置２００は、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
【０１６６】
さらに、撮像装置２００は、撮像中においても画像の傾きの補正を行うことができるので、例えば三脚などが設定できないために水平な撮影が困難な状況においても、水平方向に対する傾きが微小（あるいは傾きが０）な画像（撮像画像）を得ることができる。
【０１６７】
以上、本発明の実施形態として撮像装置２００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラや、デジタルカメラ機能を有する携帯電話、カメラを備えたＰＣなどのコンピュータ、カメラを備えた携帯型ゲーム機、など撮像機能を有する様々な機器に適用することができる。
【０１６８】
（本発明の実施形態の撮像装置に係るプログラム）
コンピュータを、本発明の実施形態に係る撮像装置２００として機能させるためのプログラムによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
【０１６９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１７０】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置１００、撮像装置２００として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記憶媒体も併せて提供することができる。
【０１７１】
また、上記では、本発明の実施形態として、画像における水平方向に対する傾きを操作入力を必要とせずに補正する画像処理装置１００、撮像装置２００について説明したが、かかる構成に限られない。本発明の実施形態は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）によって、画像における鉛直方向に対する傾きを操作入力を必要とせずに補正することもできる。
【０１７２】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【図面の簡単な説明】
【０１７３】
【図１】本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチを説明するための説明図である。
【図２】本発明の実施形態に係る第１の補正処理を説明するための説明図である。
【図３】本発明の実施形態に係る第１の補正処理を説明するための説明図である。
【図４】本発明の実施形態に係る第１の補正処理の一例を示す流れ図である。
【図５】本発明の実施形態に係る第２の補正処理を説明するための説明図である。
【図６】本発明の実施形態に係る第２の補正処理を説明するための説明図である。
【図７】本発明の実施形態に係る第２の補正処理の一例を示す流れ図である。
【図８】本発明の実施形態に係る追従処理の一例を示す流れ図である。
【図９】本発明の実施形態に係る補正処理の他の例を説明するための説明図である。
【図１０】本発明の実施形態に係る補正処理の他の例を説明するための説明図である。
【図１１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１２】本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
【図１３】本発明の実施形態に係る画像処理装置における画像の傾きの補正に係る処理の一例を示す流れ図である。
【図１４】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図１５】本発明の実施形態に係る撮像装置のハードウェア構成の一例を示す説明図である。
【図１６】本発明の実施形態に係る撮像装置における画像の傾きの補正に係る処理の一例を示す流れ図である。
【符号の説明】
【０１７４】
１００    画像処理装置
１０２    操作入力・表示部
１０４、２０４    制御部
１１０    操作入力検出部
１１２    近似直線導出部
１１４、２１４    画像補正部
２００    撮像装置
２０２    撮像部
２１６    画像記録部
【図１】
2010045733.tif 000004
【図２】
2010045733.tif 000005
【図３】
2010045733.tif 000006
【図４】
2010045733.tif 000007
【図５】
2010045733.tif 000008
【図６】
2010045733.tif 000009
【図７】
2010045733.tif 000010
【図８】
2010045733.tif 000011
【図９】
2010045733.tif 000012
【図１０】
2010045733.tif 000013
【図１１】
2010045733.tif 000014
【図１２】
2010045733.tif 000015
【図１３】
2010045733.tif 000016
【図１４】
2010045733.tif 000017
【図１５】
2010045733.tif 000018
【図１６】
2010045733.tif 000019