(57)【特許請求の範囲】
【請求項１】
画像の傾き角度を導出する画像処理装置であって、
前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出するエッジ角度算出部と、
前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定する利用角度特定部と、
前記１以上の利用角度から前記傾き角度を導出する傾き角度導出部とを備える
画像処理装置。
【請求項２】
前記利用角度特定部は、複数のデプス値の分散の度合いを示すデプス分散度が所定のデプス分散度以下である複数の画素に対応する複数のエッジ角度において出現頻度が所定の出現頻度以上である１以上のエッジ角度を前記１以上の利用角度として特定する
請求項１に記載の画像処理装置。
【請求項３】
前記利用角度特定部は、
前記エッジ角度算出部で算出された複数のエッジ角度のヒストグラムをデプス値の大きさの度合いを示すデプスレベル毎に生成することにより、複数のヒストグラムを生成するヒストグラム生成部と、
前記複数のヒストグラムにおいて所定の条件を満たす１以上のエッジ角度を前記１以上の利用角度として特定する利用角度特定処理部とを備える
請求項１または２に記載の画像処理装置。
【請求項４】
前記利用角度特定処理部は、前記複数のヒストグラムのいずれかにおいて出現頻度が所定の出現頻度以上である１以上のエッジ角度を前記１以上の利用角度として特定する
請求項３に記載の画像処理装置。
【請求項５】
前記利用角度特定処理部は、前記複数のヒストグラムにおいて出現頻度が最大である１以上のエッジ角度を前記１以上の利用角度として特定する
請求項３または４に記載の画像処理装置。
【請求項６】
前記利用角度特定処理部は、前記複数のヒストグラムのいずれかにおいて出現頻度が極大値である１以上のエッジ角度を前記１以上の利用角度として特定する
請求項３〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記利用角度特定部は、
前記エッジ角度算出部で算出された複数のエッジ角度のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムにおいて所定の条件を満たす複数のエッジ角度であり、前記１以上の利用角度の複数の候補である複数の利用角度候補を特定する利用角度候補特定処理部と、
複数のデプス値の分散の度合いを示すデプス分散度を利用角度候補毎に取得することにより前記複数の利用角度候補に対応する複数のデプス分散度を取得し、前記複数のデプス分散度に基づいて、前記複数の利用角度候補から前記１以上の利用角度を特定する利用角度特定処理部とを備える
請求項１または２に記載の画像処理装置。
【請求項８】
前記利用角度特定処理部は、デプス分散度が所定のデプス分散度以下である１以上の利用角度候補を前記１以上の利用角度として特定する
請求項７に記載の画像処理装置。
【請求項９】
前記利用角度候補特定処理部は、前記ヒストグラムにおいて出現頻度が所定の出現頻度以上である複数のエッジ角度を前記複数の利用角度候補として特定する
請求項７または８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、前記傾き角度導出部で導出された前記傾き角度を用いて、前記画像の傾きを補正する傾き補正部を備える
請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記傾き角度導出部は、前記１以上の利用角度の平均値、または、前記１以上の利用角度のいずれかを前記傾き角度として導出する
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
画像の傾き角度を導出する画像処理方法であって、
前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出し、
前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定し、
前記１以上の利用角度から前記傾き角度を導出する
画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１４】
画像の傾き角度を導出する集積回路であって、
前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出するエッジ角度算出部と、
前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定する利用角度特定部と、
前記１以上の利用角度から前記傾き角度を導出する傾き角度導出部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の傾き角度を導出する画像処理装置に関する。
【背景技術】
【０００２】
画像の傾き角度を導出する画像処理装置に関する技術として、特許文献１に記載の技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００９／００１５１２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像の傾き角度が適切に導出されない場合がある。この場合、画像の傾きを補正することは困難である。【０００５】
そこで、本発明は、画像の傾き角度を適切に導出することができる画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、画像の傾き角度を導出する画像処理装置であって、前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出するエッジ角度算出部と、前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定する利用角度特定部と、前記１以上の利用角度から前記傾き角度を導出する傾き角度導出部とを備える。【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本発明の画像処理装置は、画像の傾き角度を適切に導出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、奥行き方向の線分を有する画像を示す図である。
【図２】図２は、実施の形態１に係る画像処理装置の構成図である。
【図３】図３は、実施の形態１に係る画像処理装置の動作を示すフローチャートである。
【図４Ａ】図４Ａは、実施の形態１に係る入力画像を示す図である。
【図４Ｂ】図４Ｂは、実施の形態１に係るエッジを示す図である。
【図５】図５は、実施の形態１に係るエッジ強度とエッジ角度とを示す図である。
【図６】図６は、実施の形態１に係る全ての画素に対応する全てのエッジ角度のヒストグラムである。
【図７Ａ】図７Ａは、実施の形態１に係る第１のデプスレベルの複数のエッジ角度のヒストグラムである。
【図７Ｂ】図７Ｂは、実施の形態１に係る第２のデプスレベルの複数のエッジ角度のヒストグラムである。
【図７Ｃ】図７Ｃは、実施の形態１に係る第３のデプスレベルの複数のエッジ角度のヒストグラムである。
【図７Ｄ】図７Ｄは、実施の形態１に係る第４のデプスレベルの複数のエッジ角度のヒストグラムである。
【図８】図８は、実施の形態１に係るデプスマップとエッジを示す図である。
【図９】図９は、実施の形態１の変形例に係る画像処理装置の構成図である。
【図１０】図１０は、実施の形態２に係る画像処理装置の構成図である。
【図１１】図１１は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図１２】図１２は、実施の形態２に係る全ての画素に対応する全てのエッジ角度のヒストグラムである。
【図１３】図１３は、実施の形態２に係るデプス分散値を示す図である。
【図１４】図１４は、実施の形態３に係る画像処理装置の構成図である。
【図１５】図１５は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像の傾き角度を導出する画像処理装置に関して、課題の存在を見出した。以下、具体的に説明する。
【００１１】
近年、デジタルスチルカメラおよびデジタルムービーなどの撮像装置は小型化され軽量化されている。このような撮像装置は持ち運び可能であるが、撮像時に撮像装置が傾く可能性がある。これにより、撮像によって得られた画像が上下左右にずれたり、画像が傾いたりする。
【００１２】
ここで、画像が上下左右にずれるとは、被写体が画像において上下左右にずれることを意味する。画像が傾くとは、被写体が画像において傾くことを意味する。つまり、画像が傾くとは、画像における被写体の横方向または縦方向と、画像の横方向または縦方向との間に差が発生していることを意味する。なお、画像の傾き角度は、画像における被写体の横方向または縦方向と、画像の横方向または縦方向との間の角度である。
【００１３】
傾いた画像は、利用者にとって見づらい。したがって、画像の回転によって、画像の傾きを補正することが有効な場合がある。
【００１４】
さらに、従来のデジタルスチルカメラおよびデジタルムービーに加えて、ウェアラブルカメラも近年登場している。例えば、ウェアラブルカメラは、常時、利用者の身体に装着され、利用者の周辺を撮像する。これにより、利用者が体験する出来事が、常時、記録される。したがって、利用者は、常時、安全および安心を確認することができる。
【００１５】
一方で、ウェアラブルカメラが誤って斜めに装着された場合、あるいは、利用者がウェアラブルカメラの装着中に移動することなどによってウェアラブルカメラが傾いた場合、撮像により得られる画像も傾く。上記の通り、傾いた画像は、利用者にとって見づらいため、この場合も同様に、傾きの補正が有効である。
【００１６】
画像の傾きを補正する方法として、画像から得られる情報を用いて、画像の傾き角度を導出（推定）し、傾きを補正する方法が知られている（例えば、特許文献１）。この方法は、画像に写る構造物を形成する線分が地面に対して水平または垂直である可能性が高いことを利用している。したがって、画像に含まれる線分の角度（画像に含まれる線分と、画像の縦方向または横方向との間の角度）は画像の傾き角度に対応している可能性が高い。
【００１７】
そのため、画像に含まれる線分の角度から、画像の傾き角度が推定される。この方法は、画像において構造物が写っている場合に特に有効である。
【００１８】
また、画像から得られる情報に加えて、センサから得られる情報が用いられてもよい。これにより、より正確な傾き角度が導出される。例えば、撮像装置に備えられたセンサは、撮像時に撮像装置の傾き角度の範囲を得ることができる。範囲の大きさは、センサの精度に基づく。得られた範囲内で、画像に含まれる線分の角度から傾き角度を導出することにより、より正確な傾き角度が導出される。
【００１９】
例えば、画像の傾き角度を導出する画像処理装置は、まず、ソーベルフィルタ（Ｓｏｂｅｌ  Ｆｉｌｔｅｒ）を用いて、縦方向のエッジ強度と横方向のエッジ強度とを画像における画素毎に算出する。そして、画像処理装置は、縦方向のエッジ強度と横方向のエッジ強度とからエッジ角度を画素毎に算出する。
【００２０】
そして、画像処理装置は、画像内の全ての画素に対応する全てのエッジ角度の分布を表すヒストグラムを作成する。画像処理装置は、ヒストグラムにおいて閾値以上の出現頻度（度数、画素数）を有するエッジ角度を用いて、傾き角度を導出する。
【００２１】
センサが用いられる場合、画像処理装置は、センサから得られる情報を用いて、エッジ角度の範囲を限定する。そして、画像処理装置は、限定された範囲内で最大の出現頻度を有するエッジ角度を傾き角度として導出する。
【００２２】
しかしながら、画像には水平または垂直を表す線分の他にも複数の線分が存在する。水平または垂直を表す複数の線分が、画像に含まれる全ての線分において支配的であれば傾き角度は正しく導出される。しかし、水平または垂直を表していない複数の線分が、画像に含まれる全ての線分において支配的であれば、傾き角度は正しく導出されない。この代表的な例として、構造物の線分が斜めに写っている画像がある。
【００２３】
図１は、奥行き方向の線分を有する画像を示す図である。奥行き方向の線分は、パースとも呼ばれる。具体的には、図１の画像１３１０において、構造物が手前側から奥側にわたって存在する。そのため、画像１３１０に線分１３００が斜めに現れている。斜めの線分１３００は、撮像装置の傾き、または、画像１３１０の傾きを表していない。そして、この斜めの線分１３００が画像１３１０において支配的である場合、画像１３１０の傾き角度は適切に導出されない。
【００２４】
センサが用いられる場合でも、同様の課題が存在する。ウェアラブルカメラなどでは、歩行時の衝撃などにより、センサがウェアラブルカメラの傾き角度を適切に検出できない場合がある。つまり、センサが検出する傾き角度の誤差は大きい。したがって、センサで検出された傾き角度を用いて、画像の傾き角度の範囲を小さく限定することは難しい。そのため、センサで限定された範囲内に奥行き方向の線分の角度が含まれる場合がある。この場合、画像の傾き角度が適切に導出されない。
【００２５】
すなわち、センサが用いられる場合でも、画像の傾き角度が適切に導出されない場合がある。
【００２６】
このような課題を解決するために、本発明の一態様に係る画像処理装置は、画像の傾き角度を導出する画像処理装置であって、前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出するエッジ角度算出部と、前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定する利用角度特定部と、前記１以上の利用角度から前記傾き角度を導出する傾き角度導出部とを備える。
【００２７】
これにより、画像処理装置は、複数の画素に対応する複数のデプス値を用いて、複数の画素に対応する複数のエッジ角度から、傾き角度の候補（利用角度）を適切に特定することができる。したがって、画像処理装置は、適切な傾き角度を導出することができる。
【００２８】
例えば、前記利用角度特定部は、複数のデプス値の分散の度合いを示すデプス分散度が所定のデプス分散度以下である複数の画素に対応する複数のエッジ角度において出現頻度が所定の出現頻度以上である１以上のエッジ角度を前記１以上の利用角度として特定してもよい。
【００２９】
これにより、画像処理装置は、デプス分散度が低い複数の画素に対応する複数のエッジ角度において出現頻度が高いエッジ角度を傾き角度の候補として特定することができる。
【００３０】
また、例えば、前記利用角度特定部は、前記エッジ角度算出部で算出された複数のエッジ角度のヒストグラムをデプス値の大きさの度合いを示すデプスレベル毎に生成することにより、複数のヒストグラムを生成するヒストグラム生成部と、前記複数のヒストグラムにおいて所定の条件を満たす１以上のエッジ角度を前記１以上の利用角度として特定する利用角度特定処理部とを備えてもよい。
【００３１】
これにより、画像処理装置は、デプスレベル毎に生成されたヒストグラムを用いて、傾き角度の候補を特定することができる。
【００３２】
また、例えば、前記利用角度特定処理部は、前記複数のヒストグラムのいずれかにおいて出現頻度が所定の出現頻度以上である１以上のエッジ角度を前記１以上の利用角度として特定してもよい。
【００３３】
これにより、画像処理装置は、１つのデプスレベルにおいて出現頻度が大きいエッジ角度を傾き角度の候補として特定する。１つのデプスレベルにおいて出現頻度が大きいエッジ角度は、奥行き方向の線分の角度とは異なる可能性が高い。したがって、画像処理装置は、傾き角度の候補を適切に特定することができる。
【００３４】
また、例えば、前記利用角度特定処理部は、前記複数のヒストグラムにおいて出現頻度が最大である１以上のエッジ角度を前記１以上の利用角度として特定してもよい。
【００３５】
これにより、画像処理装置は、デプスレベル毎に生成されたヒストグラムにおいて出現頻度が大きいエッジ角度を傾き角度の候補として特定する。ヒストグラムがデプスレベル毎に生成された場合、奥行き方向に対応するエッジ角度の出現頻度は、複数のヒストグラムに分散されるため減少する。したがって、画像処理装置は、傾き角度の候補を適切に特定することができる。
【００３６】
また、例えば、前記利用角度特定処理部は、前記複数のヒストグラムのいずれかにおいて出現頻度が極大値である１以上のエッジ角度を前記１以上の利用角度として特定してもよい。
【００３７】
これにより、画像処理装置は、デプスレベル毎に生成されたヒストグラムにおいて出現頻度が極大値であるエッジ角度を傾き角度の候補として特定する。ヒストグラムがデプスレベル毎に生成された場合、奥行き方向に対応する出現頻度は、減少し、極大値を構成しない可能性がある。したがって、画像処理装置は、傾き角度の候補を適切に特定することができる。
【００３８】
また、例えば、前記利用角度特定部は、前記エッジ角度算出部で算出された複数のエッジ角度のヒストグラムを生成するヒストグラム生成部と、前記ヒストグラムにおいて所定の条件を満たす複数のエッジ角度であり、前記１以上の利用角度の複数の候補である複数の利用角度候補を特定する利用角度候補特定処理部と、複数のデプス値の分散の度合いを示すデプス分散度を利用角度候補毎に取得することにより前記複数の利用角度候補に対応する複数のデプス分散度を取得し、前記複数のデプス分散度に基づいて、前記複数の利用角度候補から前記１以上の利用角度を特定する利用角度特定処理部とを備えてもよい。
【００３９】
これにより、画像処理装置は、デプス分散度に基づいて、傾き角度の候補を適切に特定することができる。
【００４０】
また、例えば、前記利用角度特定処理部は、デプス分散度が所定のデプス分散度以下である１以上の利用角度候補を前記１以上の利用角度として特定してもよい。
【００４１】
これにより、画像処理装置は、デプス分散度が小さい複数の画素に対応する複数のエッジ角度から、傾き角度の候補を適切に特定することができる。
【００４２】
また、例えば、前記利用角度候補特定処理部は、前記ヒストグラムにおいて出現頻度が所定の出現頻度以上である複数のエッジ角度を前記複数の利用角度候補として特定してもよい。
【００４３】
これにより、画像処理装置は、出現頻度の大きいエッジ角度を用いて、傾き角度の候補を適切に特定することができる。
【００４４】
また、例えば、前記画像処理装置は、さらに、前記傾き角度導出部で導出された前記傾き角度を用いて、前記画像の傾きを補正する傾き補正部を備えてもよい。
【００４５】
これにより、画像処理装置は、適切な傾き角度を用いて、画像の傾きを適切に補正できる。
【００４６】
また、例えば、前記傾き角度導出部は、前記１以上の利用角度の平均値、または、前記１以上の利用角度のいずれかを前記傾き角度として導出してもよい。
【００４７】
これにより、画像処理装置は、傾き角度に複数の候補が存在する場合でも、複数の候補から傾き角度を導出することができる。
【００４８】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４９】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５０】
（実施の形態１）
図２は、本実施の形態における画像処理装置１００の構成を示す図である。
【００５１】
画像処理装置１００は、エッジ検出部１０１と、エッジ角度算出部１０２と、利用角度特定部１０９と、傾き角度導出部１０５とを備える。また、利用角度特定部１０９は、ヒストグラム生成部１０３と、利用角度特定処理部１０４とを備える。
【００５２】
図３は、画像処理装置１００が傾き角度を導出する手順を示す。以下、傾き角度の導出の流れを図２および図３を用いて説明する。
【００５３】
まず、エッジ検出部１０１は、入力画像のエッジを検出する（Ｓ１０１）。エッジ検出部１０１は、エッジ角度算出部１０２にエッジの情報を入力する。次に、エッジ角度算出部１０２は、エッジの情報から画素毎にエッジの角度であるエッジ角度を算出する（Ｓ１０２）。
【００５４】
次に、エッジ角度算出部１０２で画素毎に算出されたエッジ角度の情報、および、画素毎のデプス値の情報（デプス情報）が、ヒストグラム生成部１０３に入力される。ヒストグラム生成部１０３は、エッジ角度のヒストグラムをデプスレベル毎に生成することにより、複数のヒストグラムを生成する（Ｓ１０３）。
【００５５】
デプスレベルは、デプス値のレベルであり、デプス値の大きさに対応する。レベルは、度合い、程度、分類、階級、または、範囲等のような表現に置き換えられてもよい。デプス値は、デプス値の解像度であるデプス解像度に従って、複数のデプスレベルに分類される。デプスレベルは、デプス値と同じでもよい。例えば、デプス値が、０、１、２および３のいずれかに限られる場合、デプスレベルがデプス値と同じと扱われてもよい。
【００５６】
次に、ヒストグラム生成部１０３は、デプスレベル毎のヒストグラムを利用角度特定処理部１０４に入力する。利用角度特定処理部１０４は、ヒストグラム毎に、利用角度（利用エッジ角度）を特定する（Ｓ１０４）。利用角度は、傾き角度の候補として用いられるエッジ角度である。
【００５７】
例えば、利用角度特定処理部１０４は、複数のヒストグラムのいずれかにおいて、ヒストグラムの度数（出現頻度）に対応する画素数が閾値以上であるエッジ角度を利用角度として特定する。利用角度特定処理部１０４は、複数のヒストグラムのいずれかにおいて、ピークのエッジ角度を利用角度として特定してもよい。利用角度特定処理部１０４は、これらの組み合わせに基づいて、利用角度を特定してもよい。
【００５８】
次に、利用角度特定処理部１０４は、利用角度の情報を傾き角度導出部１０５に入力する。傾き角度導出部１０５は、利用角度から傾き角度を導出する（Ｓ１０５）。
【００５９】
以下、画像処理装置１００の各構成要素、および、傾き角度を導出する手順をより詳細に図２〜図７Ｄを用いて説明する。
【００６０】
まず、撮像装置等が被写体を撮像することにより生成された画像が、エッジ検出部１０１に入力される。この入力画像は、撮像によって生成された原画像でもよいし、表色系の変換処理が施されたグレースケール画像などのように、変換後の画像でもよい。
【００６１】
続いて、エッジ検出部１０１は、入力画像におけるエッジを検出する（Ｓ１０１）。具体的には、例えば、エッジ検出部１０１は、入力画像における画素毎に、ソーベルフィルタを用いて、入力画像の縦方向のエッジ強度と、入力画像の横方向のエッジ強度とを算出する。画素における縦方向のエッジ強度は、当該画素の値と、その上下の画素の値との差の大きさに比例する。画素における横方向のエッジ強度は、当該画素の値と、その左右の画素の値との差の大きさに比例する。
【００６２】
図４Ａは、本実施の形態に係る入力画像を示す。図４Ａには、入力画像である画像３００が示されている。
【００６３】
図４Ｂは、本実施の形態に係るエッジを示す図である。図４Ｂには、画像３００に対してエッジ検出を行うことにより得られる代表的なエッジ３０１〜３０４は、画像３００に重なって、表示されている。
【００６４】
エッジ３０１は、横方向の線分に対応し、傾き角度の導出に用いるべきエッジ角度を有する画素で構成される。エッジ３０２は、縦方向の線分に対応し、傾き角度の導出に用いるべきエッジ角度を有する画素で構成される。エッジ３０３およびエッジ３０４は、傾き角度の導出に用いるべきではないエッジ角度を有する画素で構成される。
【００６５】
エッジ３０３およびエッジ３０４は、上述の通り、パースと呼ばれる線分に対応するエッジであり、構造物の奥行き方向に対応する。
【００６６】
続いて、エッジ角度算出部１０２は、エッジ検出部１０１で検出されたエッジから、画素毎にエッジ角度を算出する（Ｓ１０２）。図５は、画素に対応するエッジ角度θを示す。エッジ検出部１０１で検出されたエッジは、各画素において、縦方向のエッジ強度、および、横方向のエッジ強度を有する。エッジ角度算出部１０２は、縦方向のエッジ強度と、横方向のエッジ強度とを合成し、画素毎に、エッジ角度θを算出することができる。
【００６７】
ここでは、合成によって得られるエッジ方向は、画像に現れる線分の法線方向に対応する。また、エッジ角度θは、画像の縦方向とエッジ方向との間の角度である。なお、この定義は、一例であり、エッジ方向は、画像に現れる線分に沿った方向でもよいし、エッジ角度θは、画像の横方向とエッジ方向との間の角度でもよい。
【００６８】
エッジ角度算出部１０２は、全ての画素においてエッジ角度θを算出しなくてもよく、画素に対応する縦方向または横方向のエッジ強度が予め設定された閾値よりも大きい場合にのみ、当該画素に対応するエッジ角度θを算出してもよい。これは下記の理由による。
【００６９】
構造物を表すエッジは、水平方向または垂直方向に対応しているため、傾き角度の導出に適切である。一方、空などの背景、または、ローテクスチャを表すエッジは、水平方向または垂直方向に対応していないため、傾き角度の導出に不適切である。つまり、傾き角度の導出において、背景またはローテクスチャを表すエッジはノイズである。そのため、画像処理装置１００は、傾き角度の導出前に、ノイズである不要なエッジの情報を可能な限り除外した方がよい。このノイズの除去のため、エッジ強度が有用である。
【００７０】
構造物を表すエッジでは、縦方向のコントラストおよび横方向のコントラストの少なくとも一方が大きいため、縦方向のエッジ強度および横方向のエッジ強度の少なくとも一方は大きい。一方、背景またはローテクスチャを表すエッジでは、縦方向および横方向のコントラストが小さいため、縦方向および横方向のエッジ強度が小さい。したがって、エッジ角度算出部１０２は、画素に対応するエッジ強度が小さい場合、当該画素に対応するエッジ角度を算出しなくてもよい。
【００７１】
続いて、ヒストグラム生成部１０３は、エッジ角度算出部１０２で画素毎に算出されたエッジ角度、および、画素毎のデプス値に基づいて、エッジ角度と画素数との関係を示すヒストグラムを、予め設定されているデプスレベル毎に作成する（Ｓ１０３）。
【００７２】
通常の画像処理装置は、全ての画素に対応する全てのエッジ角度の分布を表すヒストグラムを作成し、このヒストグラムにおいて閾値以上の出現頻度を有するエッジ角度を用いて、傾き角度を導出する。図６に示されたヒストグラムは、通常の画像処理装置によって画像３００に基づいて作成されたヒストグラムであり、画像３００の全ての画素に対応する全てのエッジ角度の統計を示す。ヒストグラムの縦軸で示される度数は画素数であり、ヒストグラムの横軸で示される階級はエッジ角度である。
【００７３】
また、ヒストグラムには、エッジ３０１の角度に対応するピーク５０１、エッジ３０２の角度に対応するピーク５０２、エッジ３０３の角度に対応するピーク５０３、および、エッジ３０４の角度に対応するピーク５０４がある。
【００７４】
通常の画像処理装置は、ヒストグラムに示された閾値５１０以上の画素数を有するピーク５０２およびピーク５０４に対応するエッジ角度を、傾き角度の導出に用いる。上述の通り、ピーク５０４に対応するエッジ角度は、パースに対応するエッジ３０４の角度である。したがって、ピーク５０４に対応するエッジ角度は、傾き角度の導出に用いるべきではない。
【００７５】
そこで、本実施の形態に係る画像処理装置１００のヒストグラム生成部１０３は、デプス値に基づいて、ヒストグラムを生成する。
【００７６】
デプス値は、具体的には、画素に対応する奥行きの値であり、撮像位置から画素に対応する被写体までの距離を示す。例えば、デプス値は、０〜２５５の値で表される。デプス値が小さいほど、撮像位置から被写体までの距離が長く、デプス値が大きいほど、撮像位置から被写体までの距離が短い。つまり、デプス値が０である場合、撮像位置から被写体までの距離が最も長い。デプス値が２５５である場合、撮像位置から被写体までの距離は最も短い。
【００７７】
なお、上記のデプス値の特性は、一例である。デプス値は、０〜２５５以外の値で表されてもよい。また、デプス値が小さいほど、撮像位置から被写体までの距離が短く、デプス値が大きいほど、撮像位置から被写体までの距離が長くてもよい。
【００７８】
デプス値を取得する方法として、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）などのアクティブな測距方法、および、複数の画像におけるコントラストを用いるＤＦＦ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｆｏｃｕｓ）などのパッシブな測距方法がある。デプス値を取得する方法は限定されず、様々な方法が採用され得る。
【００７９】
図７Ａ〜図７Ｄは、０〜２５５のデプス値を４つのデプスレベルに分類し、デプスレベル毎に生成されたヒストグラムを示す。図７Ａは、画像３００において、１９２〜２５５のデプス値を有する複数の画素に対応する複数のエッジ角度のヒストグラムを示す。同様に、図７Ｂは、１２８〜１９１のデプス値に対応し、図７Ｃは、６４〜１２７のデプス値に対応し、図７Ｄは、０〜６３のデプス値に対応する。
【００８０】
図７Ａ〜図７Ｄのヒストグラムでは、横軸のビン幅（階級間隔）は１度である。通常、ビン幅は１度で十分である。しかし、画像のノイズ量などによって、エッジ角度算出部１０２で得られるエッジ角度には、誤差が含まれる。したがって、ヒストグラム生成部１０３は、２〜８度のように、大きいビン幅でヒストグラムを作成してもよい。
【００８１】
大きいビン幅でヒストグラムが作成された場合、導出される傾き角度も、ビン幅に応じて粗くなる。画像処理装置１００は、傾き角度を高精度に導出するため、ヒストグラムの近似曲線を用いてもよい。近似曲線のピークに対応するエッジ角度が、高精度に傾き角度を導出するための候補として、利用可能である。
【００８２】
また、画像処理装置１００は、傾き角度を高精度に導出するため、大きいビン幅のヒストグラムで粗い傾き角度を導出した後、導出された粗い傾き角度が示す範囲内において小さいビン幅でヒストグラムを作り直してもよい。これにより、画像処理装置１００は、傾き角度を高精度に導出することができる。
【００８３】
利用角度特定処理部１０４は、ヒストグラム生成部１０３で作成されたヒストグラム毎に、閾値以上の画素数を有するエッジ角度を利用角度として特定する（Ｓ１０４）。
【００８４】
図７Ａ〜図７Ｄのヒストグラムには、エッジ３０１の角度に対応するピーク６０１、エッジ３０２の角度に対応するピーク６０２、エッジ３０３の角度に対応するピーク６０３、および、エッジ３０４の角度に対応するピーク６０４が表示されている。また、図７Ａ〜図７Ｄのヒストグラムには、それぞれ、閾値６１０が設けられている。
【００８５】
図７Ａのヒストグラムでは、ピーク６０１が閾値６１０を超える。したがって、ピーク６０１に対応するエッジ角度が、傾き角度の導出に適切な利用角度として特定される。図７Ｂ〜図７Ｄのヒストグラムでは、閾値６１０を超えるピークが存在しない。そのため、図７Ｂ〜図７Ｄのヒストグラムから、利用角度は特定されない。これにより、傾き角度の導出に用いるべきエッジ角度が利用角度として特定される。
【００８６】
上記の手順は、傾き角度の導出に用いるべきエッジのデプス値（奥行き）がほぼ一定であることに基づく。逆に、パースのような傾き角度の導出に用いるべきではないエッジは奥行き方向に沿って現れるため、デプス値が一定ではない。この特徴を、図８を用いて説明する。
【００８７】
図８は、画像３００のデプスマップ、および、エッジ３０１〜３０４を重ね合わせて示す図である。デプスマップは、画素毎のデプス値を示すデータであり、視覚的に画像で表現される。図８のデプスマップ３１０は、ハッチングが薄い程、撮像位置から被写体への距離が短く、ハッチングが濃い程、撮像位置から被写体への距離が長いことを示す。
【００８８】
傾き角度の導出に用いるべきエッジ３０１は、デプスマップ３１０においてハッチングの薄い部分のみに現れている。一方で、傾き角度の導出に用いるべきではないエッジ３０３は、デプスマップ３１０においてハッチングの薄い部分からハッチングの濃い部分にまたがって現れている。
【００８９】
よって、図７Ａ〜図７Ｄのように、デプスレベル毎にヒストグラムが作成された場合、傾き角度の導出に用いるべきエッジ角度の出現頻度は、１つのヒストグラムに集中して現れ、傾き角度の導出に用いるべきではないエッジ角度の出現頻度は、複数のヒストグラムにまたがって現れる。利用角度特定処理部１０４は、この特徴を利用することで、傾き角度の導出に用いるべきではないエッジ角度ではなく、傾き角度の導出に用いるべきエッジ角度を利用角度として特定することができる。
【００９０】
なお、２つ以上のヒストグラムで閾値以上の画素数を有するエッジ角度は、奥行き方向の線分に対応するエッジ角度である可能性がある。そこで、利用角度特定処理部１０４は、複数のヒストグラムのうち１つのヒストグラムのみにおいて閾値以上の画素数を有するエッジ角度を利用角度として特定してもよい。
【００９１】
そして、傾き角度導出部１０５は、特定された１つ以上の利用角度から傾き角度を導出する（Ｓ１０５）。
【００９２】
傾き角度導出部１０５は、特定された利用角度をそのまま傾き角度として導出してもよいし、複数の利用角度の平均を傾き角度として導出してもよい。傾き角度導出部１０５は、複数の利用角度の中から、画像の横方向または縦方向に最も近い角度を傾き角度として導出してもよい。また、センサが用いられる場合、傾き角度導出部１０５は、複数の利用角度の中から、センサの情報に基づいて指定される範囲内の利用角度を傾き角度として導出してもよい。
【００９３】
また、入力画像が動画である場合、傾き角度導出部１０５は、時系列において１フレーム前に導出された傾き角度を保持しておき、現在のフレームで特定された複数の利用角度の中から、１フレーム前に導出された傾き角度と最も近い利用角度を現在のフレームの傾き角度として導出してもよい。
【００９４】
以上、本実施の形態に係る画像処理装置１００は、デプス値に基づいてエッジ角度のヒストグラムをデプスレベル毎に作成する。したがって、画像にパースのような奥行き方向の線分が多く含まれる場合でも、画像処理装置１００は、傾き角度の導出に用いるべきエッジ角度を特定することができる。よって、画像処理装置１００は、画像の傾き角度を適切に導出することができる。
【００９５】
なお、エッジ検出には、上述のソーベルフィルタに限らず、縦方向および横方向のコントラストを用いる様々な方法が適用され得る。
【００９６】
また、デプス値およびデプスレベルは、上記に限られない。デプス解像度を高くすれば、高くするほど多くのヒストグラムが生成される。デプス解像度は４〜１６程度であることが望ましい。
【００９７】
また、本実施の形態に係る利用角度特定処理部１０４は、ピーク６０１に対応するエッジ角度を傾き角度の導出に用いるべき利用角度として特定する。しかし、利用角度の特定には、その他の様々な方法が適用可能である。例えば、利用角度特定処理部１０４は、閾値６１０よりも大きい出現頻度を有する全てのエッジ角度を利用角度として特定してもよいし、ヒストグラムの極大値（ピーク）に対応するエッジ角度を利用角度として導出してもよい。
【００９８】
また、利用角度特定処理部１０４は、極大値に対応する複数のエッジ角度の中で、予め設定された閾値よりも大きい出現頻度を有するエッジ角度のみを利用角度として特定してもよい。すなわち、図７Ａのヒストグラムにおいて最大のピーク６０１に対応するエッジ角度が利用角度として特定されてもよいし、最大のピーク６０１に対応するエッジ角度に近い複数のエッジ角度のうち、閾値６１０を超えている全てのエッジ角度が利用角度として特定されてもよい。
【００９９】
また、図９に示す画像処理装置１１０のように、傾き補正部１０６が構成に含まれていてもよい。傾き補正部１０６は、傾き角度導出部１０５で導出された傾き角度に基づいて、入力画像の傾きを補正する。例えば、傾きの補正には、アフィン変換などの手法が用いられてもよい。傾きの補正には、その他の様々な方法が限定されることなく採用され得る。
【０１００】
また、被写体を撮像することにより画像を生成する撮像部が構成要素として追加されてもよい。また、傾き角度を検出するセンサが構成要素として追加されてもよい。また、デプスマップを生成するデプスマップ生成部が構成要素として追加されてもよい。
【０１０１】
（実施の形態２）
図１０は、本実施の形態に係る画像処理装置の構成を示す図である。本実施の形態において、実施の形態１と同様の構成には、同じ符号が用いられる。
【０１０２】
図１０に示された画像処理装置２００は、エッジ検出部１０１と、エッジ角度算出部１０２と、利用角度特定部２０９と、傾き角度導出部１０５とを備える。また、利用角度特定部２０９は、ヒストグラム生成部２０３と、利用角度候補特定処理部２０４と、利用角度特定処理部２０５とを備える。
【０１０３】
図１１は、画像処理装置２００が傾き角度を導出する手順を示す。以下、傾き角度の導出の流れを図１０および図１１を用いて説明する。
【０１０４】
まず、エッジ検出部１０１は、入力画像のエッジを検出する（Ｓ２０１）。そして、エッジ検出部１０１は、エッジ角度算出部１０２にエッジの情報を入力する。次に、エッジ角度算出部１０２は、エッジに基づいて、画素毎にエッジ角度を算出する（Ｓ２０２）。そして、エッジ角度算出部１０２は、算出されたエッジ角度の情報をヒストグラム生成部２０３に入力する。
【０１０５】
次に、ヒストグラム生成部２０３は、画像内の全ての画素に対応する全てのエッジ角度のヒストグラムを作成する（Ｓ２０３）。そして、ヒストグラム生成部２０３は、ヒストグラムを利用角度候補特定処理部２０４に入力する。次に、利用角度候補特定処理部２０４は、作成されたヒストグラムから画素数が閾値以上である複数の利用角度候補を特定する（Ｓ２０４）。そして、利用角度候補特定処理部２０４は、利用角度候補を利用角度特定処理部２０５に入力する。
【０１０６】
次に、利用角度特定処理部２０５は、特定された複数の利用角度候補のそれぞれについて、デプス分散値を算出する。デプス分散値は、利用角度候補に対応する複数の画素の複数のデプス値の分散値である。利用角度特定処理部２０５は、デプス分散値が閾値以下である利用角度候補を利用角度として特定する（Ｓ２０５）。そして、利用角度特定処理部２０５は、特定された利用角度を傾き角度導出部１０５に入力する。最後に、傾き角度導出部１０５は、特定された利用角度から傾き角度を導出する（Ｓ２０６）。
【０１０７】
以下、画像処理装置２００の各構成要素、および、傾き角度を導出する手順をより詳細に図１０〜図１３を用いて説明する。
【０１０８】
まず、画像処理装置２００は、エッジ検出（Ｓ２０１）およびエッジ角度の算出（Ｓ２０２）を行う。エッジ検出（Ｓ２０１）およびエッジ角度の算出（Ｓ２０２）の手順は、実施の形態１と同様であるため、説明を省略する。
【０１０９】
次に、ヒストグラム生成部２０３は、エッジ角度算出部１０２で算出されたエッジ角度を用いて、画像内の全ての画素に対応する全てのエッジ角度のヒストグラムを生成する（Ｓ２０３）。
【０１１０】
図１２は、図４Ａに示した画像３００に基づいてヒストグラム生成部２０３が生成するヒストグラムを示す。すなわち、図６に示したヒストグラムと同様のヒストグラムが生成される。図１２のヒストグラムにも、エッジ３０１の角度に対応するピーク５０１、エッジ３０２の角度に対応するピーク５０２、エッジ３０３の角度に対応するピーク５０３、および、エッジ３０４の角度に対応するピーク５０４がある。
【０１１１】
続いて、利用角度候補特定処理部２０４は、ヒストグラム生成部２０３で生成されたヒストグラムから、複数の利用角度候補を特定する（Ｓ２０４）。例えば、複数の利用角度候補は、それぞれ、閾値１１００を超える出現頻度を有するエッジ角度であり、極大値に対応するエッジ角度である。具体的には、ピーク５０１、ピーク５０２、ピーク５０３およびピーク５０４に対応する４つのエッジ角度が利用角度候補として特定される。
【０１１２】
ここで、閾値１１００は、予め設定されていてもよいし、ピークの画素数によって適宜変更されてもよい。例えば、先に利用角度候補の数が４と決められている場合、閾値１１００は、４番目に高い極大値であるピーク５０３の値に設定される。
【０１１３】
続いて、利用角度特定処理部２０５は、特定された複数の利用角度候補のそれぞれについて、デプス分散値を算出し、デプス分散値が閾値以下である利用角度候補を利用角度として特定する（Ｓ２０５）。デプス分散値は、同じエッジ角度に対応する全ての画素の全てのデプス値の分散を示す値である。すなわち、デプス分散値が高い程、同じエッジ角度に対応する複数の画素が様々なデプス値を有することを示す。例えば、デプス分散値は、一般的な統計で用いられる分散値の算出方法によって算出される。
【０１１４】
図１３は、特定された複数の利用角度候補のそれぞれについて算出されたデプス分散値を示すグラフである。デプス分散値１２０１は、ピーク５０１に基づく利用角度候補に対応するデプス分散値を示す。デプス分散値１２０２は、ピーク５０２に基づく利用角度候補に対応するデプス分散値を示す。デプス分散値１２０３は、ピーク５０３に基づく利用角度候補に対応するデプス分散値を示す。デプス分散値１２０４は、ピーク５０４に基づく利用角度候補に対応するデプス分散値を示す。
【０１１５】
また、閾値１２００は、デプス分散値に従って利用角度候補の中から利用角度を特定するための閾値であり、任意に設定される。ここで、図１３では、デプス分散値１２０１が閾値１２００より低いため、ピーク５０１に基づく利用角度候補が利用角度として特定される。これにより、傾き角度の導出に用いられるべき利用角度が特定される。例えば、閾値１２００は、最小のデプス分散値でもよい。利用角度特定処理部２０５は、最小のデプス分散値に対応する利用角度候補を利用角度として特定してもよい。
【０１１６】
上記の手順は、実施の形態１と同様に、傾き角度の導出に用いるべきエッジのデプス値（奥行き）は、ほぼ一定であることに基づく。逆に、傾き角度の導出に用いるべきではないエッジは奥行きの方向に沿って現れるため、デプス値が一定ではない。
【０１１７】
すなわち、傾き角度の導出に用いるべきではないエッジには、図８のデプスマップ３１０のように、様々なデプス値が含まれるため、当該エッジに対応するデプス分散値は高い。利用角度特定処理部２０５は、この特徴を利用することで、傾き角度の導出に用いるべきではないエッジ角度ではなく、傾き角度の導出に用いるべきエッジ角度を利用角度として特定することができる。
【０１１８】
そして、傾き角度導出部１０５は、特定された１以上の利用角度から傾き角度を導出する（Ｓ２０６）。この処理は、実施の形態１と同様であるので説明を省略する。
【０１１９】
以上、本実施の形態に係る画像処理装置２００は、デプス分散値が閾値以下であることを条件に用いて、傾き角度の導出に用いるべきエッジ角度を特定する。したがって、画像にパースのような奥行き方向の線分が多く含まれる場合でも、画像処理装置２００は、傾き角度の導出に用いるべきエッジ角度を適切に特定することができる。よって、画像処理装置２００は、画像の傾き角度を適切に導出することができる。
【０１２０】
具体的には、画像処理装置２００は、複数の利用角度候補を特定し、複数の利用角度候補のそれぞれについてデプス分散値を算出し、デプス分散値に従って利用角度を特定する。デプス分散値に従って特定された利用角度が傾き角度の導出に用いられることにより、誤った傾き角度が導出される可能性が低減する。
【０１２１】
なお、上述において、利用角度候補特定処理部２０４は、ヒストグラムにおける極大値であるピークに対応するエッジ角度のみを利用角度候補として特定している。しかし、利用角度候補特定処理部２０４は、出現頻度が閾値１１００を超える全てのエッジ角度を利用角度候補として特定してもよい。
【０１２２】
また、利用角度候補特定処理部２０４はなくてもよい。そして、利用角度特定処理部２０５は、全てのエッジ角度のそれぞれに対応するデプス分散値を算出し、全てのエッジ角度のそれぞれに対応する画素数とデプス分散値との比率に基づいて、利用角度を特定してもよい。
【０１２３】
また、実施の形態１に記載された変形例は、実施の形態２に係る画像処理装置２００にも適用可能である。
【０１２４】
（実施の形態３）
本実施の形態は、実施の形態１および実施の形態２に示された特徴的な構成を確認的に示す。
【０１２５】
図１４は、本実施の形態に係る画像処理装置の構成図である。図１４に示された画像処理装置４００は、画像の傾き角度を導出する。そして、画像処理装置４００は、エッジ角度算出部４０１、利用角度特定部４０２、および、傾き角度導出部４０３を備える。
【０１２６】
図１５は、図１４に示された画像処理装置４００の動作を示すフローチャートである。まず、エッジ角度算出部４０１は、画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、複数の画素に対応する複数のエッジ角度を算出する（Ｓ４０１）。
【０１２７】
次に、利用角度特定部４０２は、複数のデプス値と、複数のエッジ角度とを用いて、１以上の利用角度を特定する（Ｓ４０２）。デプス値は、画素に対応する値であり、画素の奥行きを示す値である。利用角度は、エッジ角度であり傾き角度の候補である。次に、傾き角度導出部４０３は、１以上の利用角度から傾き角度を導出する（Ｓ４０３）。
【０１２８】
例えば、利用角度特定部４０２は、デプス分散度が所定のデプス分散度以下である複数の画素に対応する複数のエッジ角度において出現頻度が所定の出現頻度以上である１以上のエッジ角度を１以上の利用角度として特定してもよい。そして、より具体的な構成および手順として、実施の形態１または実施の形態２に係る構成および手順が適用されてもよい。
【０１２９】
ここで、デプス分散度は、複数のデプス値の分散の度合いである。デプス分散度は、複数のデプス値の分散値でもよいし、複数のデプス値の最大値と最小値との差でもよい。例えば、複数のデプス値の分散値が所定の閾値以下である場合、当該デプス分散度は、所定のデプス分散度以下であると判定されてもよい。また、複数のデプス値が１つのデプスレベルに対応する場合、当該複数のデプス値のデプス分散度は、所定のデプス分散度以下であると判定されてもよい。
【０１３０】
また、所定の出現頻度は、出現頻度の測定結果に基づいて定められてもよい。例えば、所定の出現頻度は、出現頻度の最大でもよいし、出現頻度の極大値でもよい。
【０１３１】
以上の通り、本実施の形態に係る画像処理装置４００は、傾き角度の導出において、エッジ角度およびデプス値を用いる。したがって、エッジ角度およびデプス値に基づく適切な傾き角度が導出される。
【０１３２】
なお、本発明に係る構成は、装置として実現されてもよいし、その装置を構成する処理部をステップとして含む方法として実現されてもよい。また、本発明に係る構成は、それらのステップをコンピュータに実行させるためのプログラムとして実現されてもよいし、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体として実現されてもよい。
【０１３３】
また、本発明に係る構成は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。
【０１３４】
また、実施の形態１に係る画像処理装置１００は、撮像装置の一部でもよい。実施の形態１の変形例に係る画像処理装置１１０、実施の形態２に係る画像処理装置２００、および、実施の形態３に係る画像処理装置４００も、同様である。撮像装置は、具体的には、カメラであり、ビデオカメラでもよいし、スチールカメラでもよい。例えば、撮像装置は、被写体を撮像することにより画像を生成する撮像部を備える。そして、撮像装置に含まれる画像処理装置１００等が、生成された画像の傾き角度を導出してもよい。
【０１３５】
（その他の変形例）
本発明に係る構成は、上記の複数の実施の形態に限定されない。本発明に係る構成は、以下に示されるような形態でもよい。
【０１３６】
（１）上記の画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムである。
【０１３７】
ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、画像処理装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードを複数個組み合わせて構成される。
【０１３８】
（２）上記の画像処理装置を構成する複数の構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどを含めて構成されるコンピュータシステムである。
【０１３９】
ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１４０】
（３）上記の画像処理装置を構成する構成要素の一部または全部は、画像処理装置に脱着可能なＩＣカードまたは単体のモジュールで構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどで構成されるコンピュータシステムである。
【０１４１】
ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。ＩＣカードまたはモジュールは、耐タンパ性を有してもよい。
【０１４２】
（４）本発明に係る構成は、上記に示す方法でもよい。また、本発明に係る構成は、この方法をコンピュータにより実現するコンピュータプログラムでもよいし、コンピュータプログラムで構成されるデジタル信号でもよい。
【０１４３】
また、本発明に係る構成は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、または、半導体メモリなどに記録されてもよい。また、本発明に係る構成は、これらの記録媒体に記録されているデジタル信号でもよい。
【０１４４】
また、本発明に係る構成は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線通信回線、有線通信回線、インターネットに代表されるネットワーク、または、データ放送等を経由して伝送する構成でもよい。
【０１４５】
また、本発明に係る構成は、マイクロプロセッサとメモリを備えるコンピュータシステムでもよい。そして、メモリは、上記のコンピュータプログラムを記憶していてもよいし、マイクロプロセッサは、コンピュータプログラムに従って動作してもよい。
【０１４６】
また、プログラムまたはデジタル信号は、記録媒体に記録されて移送されてもよいし、ネットワーク等を経由して移送されてもよい。そして、本発明に係る構成は、独立した他のコンピュータシステムにより実施されてもよい。
【０１４７】
（５）上記の実施の形態および上記の変形例を組み合わせてもよい。
【０１４８】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１４９】
すなわち、このプログラムは、コンピュータに、画像の傾き角度を導出する画像処理方法であって、前記画像における複数の画素のそれぞれにおいて、エッジの角度であるエッジ角度を算出することにより、前記複数の画素に対応する複数のエッジ角度を算出し、前記複数の画素に対応する複数の値であり、それぞれが画素の奥行きを示す値である複数のデプス値と、前記複数のエッジ角度とを用いて、それぞれがエッジ角度であり、それぞれが前記傾き角度の候補である１以上の利用角度を特定し、前記１以上の利用角度から前記傾き角度を導出する画像処理方法を実行させる。
【０１５０】
また、各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【０１５１】
以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【０１５２】
例えば、上記の各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【産業上の利用可能性】
【０１５３】
本発明は、画像の傾き補正に有用であり、カメラ、スキャナ、複写機、ファクシミリ装置、プリンタ、テレビジョン受像機、携帯電話およびプロジェクタ等に利用可能である。
【符号の説明】
【０１５４】
１００、１１０、２００、４００  画像処理装置
１０１  エッジ検出部
１０２、４０１  エッジ角度算出部
１０３、２０３  ヒストグラム生成部
１０４、２０５  利用角度特定処理部
１０５、４０３  傾き角度導出部
１０６  傾き補正部
１０９、２０９、４０２  利用角度特定部
２０４  利用角度候補特定処理部
３００、１３１０  画像
３０１、３０２、３０３、３０４  エッジ
３１０  デプスマップ
５０１、５０２、５０３、５０４、６０１、６０２、６０３、６０４  ピーク
５１０、６１０、１１００、１２００  閾値
１２０１、１２０２、１２０３、１２０４  デプス分散値
１３００  線分
【図１】
0006021078.tif 000002
【図２】
0006021078.tif 000003
【図３】
0006021078.tif 000004
【図４Ａ】
0006021078.tif 000005
【図４Ｂ】
0006021078.tif 000006
【図５】
0006021078.tif 000007
【図６】
0006021078.tif 000008
【図７Ａ】
0006021078.tif 000009
【図７Ｂ】
0006021078.tif 000010
【図７Ｃ】
0006021078.tif 000011
【図７Ｄ】
0006021078.tif 000012
【図８】
0006021078.tif 000013
【図９】
0006021078.tif 000014
【図１０】
0006021078.tif 000015
【図１１】
0006021078.tif 000016
【図１２】
0006021078.tif 000017
【図１３】
0006021078.tif 000018
【図１４】
0006021078.tif 000019
【図１５】
0006021078.tif 000020