(57)【要約】【課題】  水平または垂直成分をより多く含むような画像を得ることができる、撮像装置、画像処理方法およびコンピュータプログラムを提供すること。【解決手段】被写体の撮像画像からエッジを抽出するエッジ抽出部１５０と、撮像画像から抽出した各エッジについて、直線スカラー及び撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出する傾斜角算出部１５２と、傾斜角度ごとの直線スカラーの度数を求め、度数の度数分布に基づいて、直線スカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度を決定する角度決定部１５４と、角度決定部により決定された傾斜角度だけ、撮像画像全体を回転させる画像回転部１５６と、を含むことを特徴とする、撮像装置１００が提供される。【選択図】図２
2008061163.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像画像からエッジを抽出するエッジ抽出部と、
前記撮像画像から抽出した各前記エッジについて、直線のスカラー及び前記撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出する傾斜角算出部と、
前記傾斜角度ごとの前記直線のスカラーの度数を求め、前記度数の度数分布に基づいて、前記直線のスカラーが前記水平軸または前記垂直軸と平行となる確率が最も高くなるときの前記傾斜角度を決定する角度決定部と、
前記角度決定部により決定された前記傾斜角度だけ、前記撮像画像全体を回転させる画像回転部と、
を含むことを特徴とする、撮像装置。
【請求項２】
前記角度決定部は、
前記度数分布を生成する際に、前記傾斜角算出部により算出された前記直線のスカラーの大きさに応じた第１の重み付け処理と、前記直線のスカラーの前記撮像画像内での向心度合いに応じた第２の重み付け処理のうち、少なくとも一方を実行することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記角度決定部は、
前記度数分布における中央値または最頻値に相当する傾斜角度を、前記直線のスカラーが前記水平軸または前記垂直軸と平行となる確率が最も高くなるときの前記傾斜角度として決定することを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
被写体の撮像画像からエッジを抽出するエッジ抽出ステップと、
前記撮像画像から抽出した各前記エッジについて、直線のスカラー及び前記撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出する傾斜角算出ステップと、
前記傾斜角度ごとの前記直線のスカラーの度数を求め、前記度数の度数分布に基づいて、前記直線のスカラーが前記水平軸または前記垂直軸と平行となる確率が最も高くなるときの前記傾斜角度を決定する角度決定ステップと、
決定された前記傾斜角度だけ、前記撮像画像全体を回転させる画像回転ステップと、
を含むことを特徴とする、撮像方法。
【請求項５】
前記角度決定ステップは、
前記度数分布を生成する際に、前記傾斜角算出ステップで算出された前記直線のスカラーの大きさに応じた第１の重み付け処理と、前記直線のスカラーの前記撮像画像内での向心度合いに応じた第２の重み付け処理のうち、少なくとも一方を実行することを特徴とする、請求項４に記載の撮像方法。
【請求項６】
前記角度決定ステップは、
前記度数分布における中央値または最頻値に相当する傾斜角度を、前記直線のスカラーが前記水平軸または前記垂直軸と平行となる確率が最も高くなるときの前記傾斜角度として決定することを特徴とする、請求項４または５に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像装置を用いて被写体の撮影を行う際に、撮影者の撮像装置の構えが悪かったり、シャッタボタンを押下する際に撮像装置が傾いたりすることで、撮影された画像において被写体が傾いた画像が撮影されてしまうことがある。
【０００３】
一般に、人間の視覚は、水平・垂直方向と比較して斜め方向の感度が低く、４５度方向では、水平垂直方向に比較して、感度が０．７倍程度に低くなることが知られている（非特許文献１参照）。従って、被写体が傾いた画像においては人間の見た目の感度が劣ってしまう問題がある。そこで、被写体が傾いている画像を、被写体の水平もしくは垂直成分をより多く含むように、水平もしくは垂直方向に回転させることで、画像の見た目の感度を向上させることができると考えられる。
【０００４】
この人間の視覚の性質を利用した、撮像装置を用いて撮影した画像の傾きを補正して画像の解像感を向上させる方法として、例えば特許文献１がある。
【０００５】
【特許文献１】特開２００５−１７５６８４号公報
【非特許文献１】三宅洋一“これからのハードコピー技術” Sharp corporate Journal-76, No.8 pp.3-4. Apr. 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の方法は、撮影した画像に水平線が含まれていた場合に、その水平線が画像上で水平となるように回転させているが、特許文献１に記載の方法では、撮影した画像に明確に水平線が含まれていない場合には画像を回転させることができない問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影した画像のエッジを分析して、エッジの分析結果を用いて水平・垂直方向に画像を回転させることで画像の解像感を高めることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、被写体の撮像画像からエッジを抽出するエッジ抽出部と、撮像画像から抽出した各エッジについて、直線のスカラー及び撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出する傾斜角算出部と、傾斜角度ごとの直線のスカラーの度数を求め、度数の度数分布に基づいて、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度を決定する角度決定部と、角度決定部により決定された傾斜角度だけ、撮像画像全体を回転させる画像回転部と、を含むことを特徴とする、撮像装置が提供される。
【０００９】
かかる構成によれば、エッジ抽出部は被写体の撮影画像からエッジを抽出し、傾斜角算出部はエッジ抽出部で抽出した各エッジについて、直線のスカラー及び撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出し、角度決定部は傾斜角度ごとの直線のスカラーの度数を求め、度数の度数分布に基づいて、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度を決定し、画像回転部は角度決定部で決定した傾斜角に従って、撮影画像を回転する。その結果、撮影を行った画像において被写体が傾きを有している場合において、水平もしくは垂直成分をより多く含むように画像を回転させることで、画像の見た目の解像感を向上させることができる。
【００１０】
上記角度決定部は、度数分布を生成する際に、傾斜角算出部により算出された直線のスカラーの大きさに応じた第１の重み付け処理と、直線のスカラーの撮像画像内での向心度合いに応じた第２の重み付け処理のうち、少なくともいずれか一方を実行するようにしてもよい。かかる構成によれば、角度決定部は直線のスカラーの大きさに応じた重み付け処理と、直線のスカラーの撮像画像内での向心度合いに応じた重み付け処理の少なくともいずれか一方を実行する。その結果、直線のスカラーによって重み付けを行うことで、水平もしくは垂直成分をより多く含むような画像の回転角を決定することが出来る。
【００１１】
上記角度決定部は、度数分布における中央値または最頻値に相当する傾斜角度を、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度として決定してもよい。かかる構成によれば、角度決定部は、度数分布における中央値または最頻値に相当する傾斜角度を、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度として決定する。その結果、度数分布における中央値または最頻値に相当する角度を傾斜角度とすることで、水平もしくは垂直成分をより多く含むような画像の回転角を決定することが出来る。
【００１２】
上記課題を解決するために、本発明の別の観点によれば、被写体の撮像画像からエッジを抽出するエッジ抽出ステップと、撮像画像から抽出した各エッジについて、直線のスカラー及び撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出する傾斜角算出ステップと、傾斜角度ごとの直線のスカラーの度数を求め、度数の度数分布に基づいて、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度を決定する角度決定ステップと、決定された傾斜角度だけ、撮像画像全体を回転させる画像回転ステップと、を含むことを特徴とする、撮像方法が提供される。
【００１３】
かかる方法によれば、エッジ抽出ステップは被写体の撮影画像からエッジを抽出し、傾斜角算出ステップはエッジ抽出ステップで抽出した各エッジについて、直線のスカラー及び撮影画像内に設定した水平軸または垂直軸を基準とする傾斜角度を算出し、角度決定ステップは傾斜角度ごとの直線のスカラーの度数を求め、度数の度数分布に基づいて、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度を決定し、画像回転ステップは角度決定部で決定した傾斜角に従って、撮影画像を回転する。その結果、撮影を行った画像において被写体が傾きを有している場合において、水平もしくは垂直成分をより多く含むように画像を回転させることで、画像の見た目の解像感を向上させることができる。
【００１４】
上記角度決定ステップは、度数分布を生成する際に、傾斜角算出ステップにより算出された直線のスカラーの大きさに応じた第１の重み付け処理と、直線のスカラーの撮像画像内での向心度合いに応じた第２の重み付け処理のうち、少なくともいずれか一方を実行するようにしてもよい。かかる方法によれば、角度決定ステップは直線のスカラーの大きさに応じた重み付け処理と、直線のスカラーの撮像画像内での向心度合いに応じた重み付け処理の少なくともいずれか一方を実行する。その結果、直線のスカラーによって重み付けを行うことで、水平もしくは垂直成分をより多く含むような画像の回転角を決定することが出来る。
【００１５】
上記角度決定ステップは、度数分布における中央値または最頻値に相当する傾斜角度を、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度として決定してもよい。かかる構成によれば、角度決定ステップは、度数分布における中央値または最頻値に相当する傾斜角度を、直線のスカラーが水平軸または垂直軸と平行となる確率が最も高くなるときの傾斜角度として決定する。その結果、度数分布における中央値または最頻値に相当する角度を傾斜角度とすることで、水平もしくは垂直成分をより多く含むような画像の回転角を決定することが出来る。
【発明の効果】
【００１６】
以上説明したように本発明によれば、撮影した画像のエッジを分析して、エッジの分析結果に従って画像を回転させることで画像の解像感を高めることが可能な、新規かつ改良された、撮像装置および撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
図１は、本発明の一実施形態にかかる撮像装置の構成について説明する説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置の構成について説明する。
【００１９】
図１に示したように、本発明の一実施形態にかかる撮像装置１００は、ＯＰＳ（Ｏｐｔｉｃａｌ  Ｓｙｓｔｅｍ）１０２と、撮像素子１０４と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）−ＡＤＣ（Ａ／Ｄ  Ｃｏｎｖｅｒｔｅｒ）１０６と、タイミング回路１０８と、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｎｇｌｅ  Ｐｒｏｃｅｓｓｏｒ）１１０と、マイクロコントローラ１１２と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１６と、ＭＣＩ（Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｆａｃｅ）１１８と、レンズドライバ１２０と、フラッシュコントローラ１２２と、フラッシュ１２４と、操作部１２６と、ディスプレイドライバ１２８と、ディスプレイ１３０と、マイク１３２と、Ａ／Ｄ変換器１３４と、デコーダ１３８と、Ｄ／Ａ変換器１４０と、スピーカ１４２と、を含んで構成される。
【００２０】
ＯＰＳ１０２は、被写体の映像光を撮像素子１０４に入射し、画像データを得るためのものである。ＯＰＳ１０２は、例えば鏡筒やレンズユニット、絞りなどを含んで構成されている。レンズユニットには、ズームレンズやフォーカスレンズを含んでいてもよく、ズームレンズやフォーカスレンズのレンズの枚数は、１枚であってもよく、２枚以上であってもよい。
【００２１】
撮像素子１０４は、ＯＰＳ１０２から入射された光を電気信号に変換するための素子である。撮像素子１０４は、電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節してもよく、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。撮像素子１０４として、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）素子を用いてもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を用いてもよい。
【００２２】
ＣＤＳ−ＡＤＣ１０６は、撮像素子１０４から出力された電気信号の雑音を除去するサンプリング回路の一種であるＣＤＳ回路と、撮像素子１０４で生成されたアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換器が一体となったものである。本実施形態ではＣＤＳ回路とＡ／Ｄ変換器とが一体となった回路を用いているが、本発明はこれに限られず、ＣＤＳ回路とＡ／Ｄ変換器を別の回路で構成してもよい。また、ＣＤＳ回路から出力された電気信号をアンプによって増幅させてもよい。
【００２３】
タイミング回路１０８は、撮像素子１０４にタイミング信号を入力する。タイミング回路１０８からのタイミング信号によりシャッタ速度が決定される。つまり，タイミング回路１０８からのタイミング信号により撮像素子１０４の駆動が制御され，撮像素子１０４が駆動する時間内に被写体からの映像光を入射することで，画像データの基となる電気信号が生成される。
【００２４】
ＤＳＰ１１０は、音声や画像等の処理に特化したマイクロプロセッサである。マイクロコントローラ１１２は、撮像装置１００の各部に対して信号の送信を行ったり、撮像装置１００の各部から信号の受信を行ったりする。なお、本実施形態においてはＤＳＰ１１０とマイクロコントローラ１１２の２つのプロセッサを設けているが、本発明においてはこれに限られず、１つのプロセッサで各部の制御や音声・画像等の処理を行ってもよい。
【００２５】
ＤＲＡＭ１１４は、撮影した画像を一時的に記憶するためのものである。なお、本実施形態においては、撮影した画像の記憶にＤＲＡＭを用いているが、本発明はこれに限られず、撮影した画像を記憶できる容量を有する半導体記憶素子であれば、他のＲＡＭを用いてもよい。
【００２６】
ＥＥＰＲＯＭ１１６は、ＤＳＰ１１０やマイクロコントローラ１１２を制御する動作手順命令（コンピュータプログラムコード）を格納するものである。なお、本実施形態においてはＥＥＰＲＯＭを用いているが、本発明においては動作手順命令の格納に用いる記憶素子はこれに限られない。
【００２７】
ＭＣＩ１１８は撮像装置１００に備えられた、画像、音声、動画等を記録するための記録媒体（図示せず）とのインタフェースを行うものである。
【００２８】
レンズドライバ１２０は、ＯＰＳ１０２に備えられたレンズユニットの制御を行う。レンズドライバ１２０によって、ＯＰＳ１０２に備えられたレンズユニットが動作し、被写体の大きさやピントの調節を行う。
【００２９】
フラッシュ１２４は、夜間や暗所での撮影時に発光して被写体を照らすためのものである。フラッシュ１２４の発光は、マイクロコントローラ１１２からの命令をフラッシュコントローラ１２２が受け、フラッシュコントローラ１２２がフラッシュ１２４に対する発光命令によって行われる。
【００３０】
操作部１２６は、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。例えば、操作部１２６に配置される部材には、撮像装置１００の電源のオン・オフを行う電源ボタン、撮影モードや撮影ドライブモードの選択を行う十字キーおよび選択ボタン、画像や動画の撮影および音声の収録を開始するシャッタボタン等が配置される。操作部に配置された部材の操作によって信号がマイクロコントローラ１１２に送出され、送出された信号の内容に従って撮像装置１００の各部の制御が行われる。
【００３１】
ディスプレイ１３０は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のディスプレイ１３０への表示は，ディスプレイドライバ１２８を介して行われる。
【００３２】
マイク１３２は、撮像装置１００で動画の撮影や音声の録音を行う際に音声を収録する。収録された音声は、Ａ／Ｄ変換器１３４でアナログ信号からデジタル信号に変換され、エンコーダ１３６でエンコードされる。
【００３３】
スピーカ１４２は、撮像装置１００で撮影した動画や録音した音声の再生を行う際に音声を出力する。音声は、デコーダ１３８でデコードされた後、Ｄ／Ａ変換器１４０でデジタル信号からアナログ信号に変換されて、スピーカ１４２から出力される。
【００３４】
以上、図１を用いて本発明の一実施形態にかかる撮像装置の構成について説明した。次に、本発明の一実施形態にかかるＤＳＰの構成について説明する。
【００３５】
図２は、本発明の一実施形態にかかるＤＳＰの構成について説明する説明図である。以下、図２を用いて本発明の一実施形態にかかるＤＳＰの構成について説明する。
【００３６】
図２に示したように、本発明の一実施形態にかかるＤＳＰ１１０は、エッジ抽出部１５０と、傾斜角算出部１５２と、角度決定部１５４と、画像回転部１５６と、を含んで構成される。
【００３７】
エッジ抽出部１５０は、撮像装置１００で撮影した画像のエッジ抽出を行う。エッジ抽出部１５０におけるエッジ抽出方法は、例えば、ウェーブレット変換、その他一般的に用いられるエッジ抽出方法を用いることができる。
【００３８】
傾斜角算出部１５２は、エッジ抽出部１５０で抽出したエッジを用いて、エッジの直線のスカラーおよびエッジの水平もしくは垂直からの角度を求めて、撮影した画像に含まれる全てのエッジに対する長さと角度を算出する。
【００３９】
角度決定部１５４は、傾斜角算出部１５２で集計した全てのエッジに対する長さと角度から、画像の傾斜角度の決定を行う。傾斜角度の決定方法については後述する。
【００４０】
画像回転部１５６は、角度決定部１５４で決定した画像の傾斜角に基づいて、撮像装置１００で撮影した画像の回転処理を行う。角度決定部１５４で決定した画像の傾斜角度に基づいて画像の回転を行うことで、水平または垂直成分をより多く含むように画像を補正することができ、撮影された画像の見た目の感度を向上させることが可能となる。
【００４１】
なお、本実施形態においては、ＤＳＰの内部に傾斜角算出部１５２、角度決定部１５４および画像回転部１５６を含めているが、本発明はこれに限られず、傾斜角算出部１５２、角度決定部１５４および画像回転部１５６の一部もしくは全部を、マイクロコントローラ１１２に含めてもよい。ＤＳＰは画像や音声の処理に特化したマイクロプロセッサであるので、傾斜角算出部１５２、角度決定部１５４および画像回転部１５６は、ＤＳＰ１１０に含めることが処理速度の面から望ましい。
【００４２】
以上、図２を用いて本発明の一実施形態にかかるＤＳＰの構成について説明した。次に、本発明の一実施形態にかかる画像処理方法について説明する。
【００４３】
図３は、本発明の一実施形態にかかる画像処理方法について説明する流れ図である。以下、図３を用いて本発明の一実施形態にかかる画像処理方法について説明する。
【００４４】
まず、撮像装置１００で撮影した画像のエッジ抽出処理を行う（ステップＳ１１０）。本実施形態においては、エッジ抽出処理はエッジ抽出部１５０が行う。エッジ抽出部１５０におけるエッジ抽出は、例えば、ＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタ等のフィルタを用いる方法をはじめ、その他一般的に用いられるエッジ抽出方法を用いることができ、本発明を実施する上ではエッジ抽出方法は問わない。
【００４５】
図４は、本発明の一実施形態にかかるエッジ抽出処理について説明する説明図である。図４（ａ）は、実際に撮像装置１００で撮影した画像を示し、図４（ｂ）は、図４（ａ）の画像に対してエッジ抽出部１５０でエッジ抽出処理を行って生成された画像を示す。画像１６０ａに対してエッジ抽出を行うと、図４（ｂ）のように輪郭が強調されたような状態の画像１６０ｂを得ることができる。
【００４６】
エッジ抽出処理が終わると、次に抽出したエッジを用いて、画像に含まれる全てのエッジの方向成分分析処理を行う（ステップＳ１２０）。本実施形態においては、エッジの方向成分分析処理は、傾斜角算出部１５２が行う。傾斜角算出部１５２におけるエッジの方向成分分析は、例えば、エッジ抽出部１５０で抽出した画像１６０ｂに含まれるエッジを用いて、全てのエッジの長さおよびエッジの水平もしくは垂直からの角度を求め、求めた全てのエッジに対する長さと角度（以下、傾き角とも称する）を集計することによって行うことができる。
【００４７】
エッジの長さや角度は、例えばハフ変換を用いて取得することができる。ハフ変換は、雑音を含む画像から直線成分を抽出することが可能な手法である。本実施形態においては、エッジ抽出処理を行って得られた図４の（ｂ）の画像１６０ｂに対してハフ変換を施すことで、エッジの線分の長さおよび角度を取得することができる。もちろん、エッジの長さや角度を取得する方法はこれに限られない。
【００４８】
エッジの傾き角は、例えば図５に示したようなカルテシアン座標系（直交座標系）を用いて正規化する。ｍはエッジの実際の角度を示し、例えば、ｍが０°≦ｍ＜４５°を満たす時には、エッジの傾き角τはτ＝ｍとし、ｍが１３５°≦ｍ＜２２５°を満たす時には、エッジの傾き角τはτ＝ｍ−１８０°とする。表１にｍとτの関係を示す。
【表１】
2008061163.tif 000003
【００４９】
図６は、本発明の一実施形態にかかる方向成分分析処理について説明する説明図である。図６においては、図４（ｂ）のエッジ抽出処理が施された画像１６０ｂに対して、エッジの長さと、エッジが水平もしくは垂直軸からどの程度傾いているかについて示している。
【００５０】
例えば、左上の窓の窓枠に注目した場合、この部分のエッジは長さがａ、傾き角がｍである。エッジの傾き角ｍは、図５に示したようなカルテシアン座標系を考えると、４５°≦ｍ＜１３５°である。従って、エッジの傾き角は、垂直軸から角度τ（τ＝ｍ−９０°）傾いているものとする。このように、エッジの長さと傾き角との関係を、エッジが直線と認識できるもの全てに対して記録する。
【００５１】
図７は、本発明の一実施形態にかかるエッジの長さと傾き角の関係について説明する説明図である。図７に示したヒストグラムおいては、横軸に傾き角τを、縦軸にその傾き角を有するエッジの長さの合計Σａを表している。図７に示したように、エッジの傾き角毎に、その傾き角を有するエッジの長さを足し合わせることで、どの傾き角を有するエッジ成分が一番多いかが分かる。
【００５２】
なお、エッジの傾き角毎にエッジの長さを足し合わせる際には、エッジの長さａの大きさに応じた重み付け、例えばエッジの長さが長ければ長いほど重い係数を乗じる等の重み付けを行ってもよく、エッジの位置に応じた重み付け、例えば画像の中心に重い重み付けを行い、中心から遠くなるに連れ重み付けを軽くする、または加算しないようにしてもよい。また、重み付けは少なくともいずれかを実行するようにしてもよく、エッジの長さを足し合わせる際には、エッジの長さが所定の長さを超えた場合に限って足し合わせたり、重み付けを行ったりしてもよい。
【００５３】
このように、エッジの方向成分を分析した結果から、画像の傾斜角θを決定する（ステップＳ１３０）。傾斜角の決定は、例えば、エッジの長さと傾き角の関係を全て集計した結果から行う。本実施形態においては、画像の傾斜角θの決定は角度決定部１５４が行う。
【００５４】
傾斜角θは、例えば図７に示したようなヒストグラムにおいて、メジアンを傾斜角θとしてもよく、ヒストグラムにおけるτの平均値を傾斜角θとしてもよい。また、ヒストグラムがピークのときの角度を傾斜角θとしてもよい。本実施形態においては、ヒストグラムがピークのときの角度を傾斜角θとする。
【００５５】
ヒストグラムのピークの求め方は、例えば、最も高いΣａの値ａｆと、次に高いΣａの値ａｓとを比較して、ａｆ−ａｓの値が予め定めた値より大きい場合には、ａｆがピークとみなしてそのときの角度τを傾斜角θとしてもよい。この場合には、画像の支配的な方向成分を水平もしくは垂直に近づけることで、画像の見た目の解像感を向上させることが可能となる。
【００５６】
また、ヒストグラムのピークは、ある角度を中心とした２次モーメント（分散）を計算することで求めてもよい。具体的には、数式１によってヒストグラムのピークを求めてもよい。
【数１】
2008061163.tif 000004
ここで、ｋは１≦ｋ≦ｎである。
【００５７】
数式１に従って全ての傾き角に対するＶｋの値を求め、このＶｋが最も小さくなるようなτｋを、ヒストグラムのピークとみなしてもよい。この場合には、画面全体の成分を安定して水平もしくは垂直に近づけることで、画像の見た目の解像感を向上させることが可能となる。
【００５８】
なお、ヒストグラムのピークが見つけられなければ、画像の方向性が検出できないとして、傾斜角θ＝０°として、画像の回転を行わないようにしてもよい。
【００５９】
また、傾斜角θには制限を持たせてもよい。例えば、傾斜角θを決定した結果、求まった傾斜角θが３０°や４５°等であった場合には、撮影者が意図的に撮像装置を回転させて撮影したものと考えられるため、そのような場合には傾斜角θを取得しないようにしてもよい。傾斜角θは、例えば−１０°〜＋１０°の範囲に制限することが望ましい。
【００６０】
上記ステップＳ１３０において傾斜角θを決定すると、決定した傾斜角θに従って画像を回転させる（ステップＳ１４０）。本実施形態においては、画像の回転は画像回転部１５６が行う。
【００６１】
図８は、本発明の一実施形態にかかる、被写体が傾きを有していた撮影画像を回転した結果得られた画像について説明する説明図である。本実施形態においては、図４（ａ）の画像を用いて図４（ａ）の画像１６０ａの傾斜角を決定した結果、傾斜角θ＝τであったとする。そして、図８に示した画像１６０ｃは、図４（ａ）の画像１６０ａを、傾きをキャンセルするように時計回りに角度−τだけ回転させたものである。このように、水平もしくは垂直方向の成分をより多く含むように、撮影した画像を水平もしくは垂直方向に回転させることで、撮像装置１００で撮影された画像の見た目の感度（解像感）を向上させることが可能になる。
【００６２】
なお、画像の回転方法は特に指定しない。本実施形態では、一例として三角関数を用いて画像の回転を行う方法を示す。数式２は、画像の回転における変換式の一例を示すものであり、ｘ、ｙは変換前のｘ座標およびｙ座標の値を示し、ｕおよびｖは変換後のｘ座標およびｙ座標の値を示す。
【数２】
2008061163.tif 000005
このように座標を変換することで画像の回転を行うことができる。
【００６３】
なお、上記画像処理方法はＥＥＰＲＯＭ１１６に記録したコンピュータプログラムによって実行されてもよい。ＤＳＰ１１０またはマイクロコントローラ１１２が、所定の機能を有するＥＥＰＲＯＭ１１６に記録したコンピュータプログラムを呼び出して実行することによって、本実施形態における画像処理方法を実行してもよい。
【００６４】
以上、本実施形態によれば、撮影した画像の被写体が傾いている場合でも、撮影した画像のエッジを抽出し、抽出したエッジの方向成分情報に基づいて画像を回転することで、水平または垂直成分をより多く含むような画像を得ることができる。そして、水平または垂直成分をより多く含むような画像を得ることで、撮影した画像の見た目の感度をより向上させることが可能となる。
【００６５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６６】
例えば、上記実施形態では、撮像装置１００で撮影した画像に対して、撮像装置１００上でエッジ抽出を行い、抽出したエッジに基づいてエッジの長さと水平もしくは垂直軸からの回転角を求めることで傾斜角を決定して、決定した傾斜角に基づいて画像の回転処理を行ったが、本発明の画像処理方法はかかる例に限定されない。例えば、撮影した画像をインクジェットプリンタやレーザプリンタ等の印刷装置で出力する際に、印刷装置上で画像のエッジ抽出、傾斜角の決定および回転処理を行ってもよく、撮影した画像をコンピュータに接続したモニタに表示する際、またはユーザが画像処理操作を実行した際に、コンピュータ上で画像のエッジ抽出、傾斜角の決定および回転処理を行ってもよい。
【００６７】
また、傾斜角は、エッジの長さと傾き角を集計して、ピークを有する傾き角を傾斜角として決定していたが、本発明はかかる例に限定されない。例えば、エッジの長さと傾き角を集計して、その平均の傾き角を傾斜角として決定してもよい。
【００６８】
また、撮像装置で画像を撮影した際に、画像の方向分析を行った結果、方向分析情報を画像に書き込んでおいてもよい。その際に、画像を撮影したときには画像の回転を行わずに、撮像装置上もしくはパーソナルコンピュータ等の情報処理端末上で撮影した画像を表示する際に、または印刷装置を用いて撮影した画像を出力する際に、予め書き込んでおいた方向分析情報を用いて画像の傾斜角を決定し、決定した傾斜角に従って画像の回転を行ってから画像を表示してもよい。
【００６９】
また、撮像装置で画像を撮影した際に、画像の傾斜角の決定を行った結果、決定した傾斜角の情報を画像に書き込んでおいてもよい。その際に、画像を撮影したときには画像の回転を行わずに、撮像装置上もしくはパーソナルコンピュータ等の情報処理端末上で撮影した画像を表示する際に、または印刷装置を用いて撮影した画像を出力する際に、予め書き込んでおいた傾斜角情報を用いて画像の回転を行ってから画像を表示してもよい。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施形態にかかる撮像装置の構成について説明する説明図である。
【図２】本発明の一実施形態にかかるＤＳＰの構成について説明する説明図である。
【図３】本発明の一実施形態にかかる画像処理方法について説明する流れ図である。
【図４】本発明の一実施形態にかかるエッジ抽出処理について説明する説明図である。
【図５】カルテシアン座標系について説明する説明図である。
【図６】本発明の一実施形態にかかる方向成分分析処理について説明する説明図である。
【図７】本発明の一実施形態にかかるエッジの長さと傾き角の関係について説明する説明図である。
【図８】本発明の一実施形態にかかる撮影画像を回転した結果得られた画像について説明する説明図である。
【符号の説明】
【００７１】
１００    撮像装置
１０２    ＯＰＳ
１０４    撮像素子
１１０    ＤＳＰ
１１２    マイクロコントローラ
１５０    エッジ抽出部
１５２    傾斜角算出部
１５４    角度決定部
１５６    画像回転部
【図１】
2008061163.tif 000006
【図２】
2008061163.tif 000007
【図３】
2008061163.tif 000008
【図４】
2008061163.tif 000009
【図５】
2008061163.tif 000010
【図６】
2008061163.tif 000011
【図７】
2008061163.tif 000012
【図８】
2008061163.tif 000013