(57)【要約】【課題】撮像装置において、ユーザが像空間の水平方向に対して装置を傾けた状態で被写体を撮像することを防止すると共に、製造コストの上昇を抑制する。【解決手段】撮像装置は、撮像部によって撮像された画像内に、垂直線自動判別条件に適合する直線成分が存在するか否かの判断を行い（Ｓ１４）、この判断の結果、適合する直線成分が存在する場合（Ｓ１５でＹＥＳ）、垂直線成分等を抽出する垂直線自動判別処理（Ｓ１６）を行う。撮像装置１は、ＬＣＤにおいて、上記Ｓ１６の処理によって抽出された垂直線成分上に補助線を表示すると共に、消失点と注視点とを結ぶ補助線を表示する（Ｓ１７）。これらの垂直線成分等に基づいて撮像装置１の傾きを検出し、傾きが所定の範囲内に収まっているとき、ＬＣＤに「ＯＫ」等のメッセージを表示して、その旨をユーザに通知する。【選択図】図３
2009016941.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を像面に受光して光電変換する撮像素子、及びこの撮像素子の像面に被写体像を導く光学系を有し、撮像した画像のデータを出力する撮像手段と、
装置各部を制御するための制御手段とを備える撮像装置において、
前記撮像手段から出力される画像に基づいて、像空間の垂直基準となる少なくとも２本の垂直基準線を抽出する垂直基準線抽出手段と、
前記少なくとも２本の垂直基準線の交点（以下、消失点という）を求める消失点算出手段と、
前記光学系の光軸が前記像面と交わる点に相当する画像中の点（以下、注視点という）と前記消失点とを結ぶ直線（以下、生成傾き線という）を生成する傾き線生成手段と、
前記像面における前記注視点を通る、画像の構図上の垂直線（以下、傾き基準線という）に対する前記生成傾き線の傾きを検出する傾き検出手段とをさらに備え、
前記傾き検出手段によって検出された傾きを、撮像される空間における水平に対する装置の傾きとみなすことを特徴とする撮像装置。
【請求項２】
前記傾き検出手段によって検出された傾きが所定範囲内に収まっているとき、ユーザにその旨を通知する通知手段をさらに備え、
装置の位置及び向きが連続的に変化しているとき、前記傾き検出手段により連続的に傾きを検出して、検出した傾きが所定範囲内に収まっているとき、前記通知手段によってその旨をユーザに逐次通知することを特徴とする請求項１に記載の撮像装置。
前記直線
【請求項３】
前記撮像手段により得られた画像を表示する表示手段をさらに備え、
ユーザが前記表示手段に表示された画像の一部を選択することにより、前記垂直基準線を手動で設定することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に傾きを検出する技術に関する。
【背景技術】
【０００２】
撮像装置を水平よりも上に向けて撮像を行う場合など、視野、すなわち、撮像される空間（以下、像空間という）の水平方向を把握しにくい状況のとき、ユーザが撮像装置を像空間の水平方向に対して傾けた状態で被写体を撮像してしまうことがあり、その結果、撮像した画像の修正が必要となる。従来、このような画像は、画像を所定量回転させた後、画像の外周部を切り捨てる処理、すなわち、トリミング処理を行うことによって修正される。しかし、トリミング処理を行った画像は、画像の一部が切り捨てられるため、トリミング処理後の画像の構図が、ユーザの意図したものにならないという問題がある。
【０００３】
これに対して、特許文献１には、撮像された撮像画像を解析して三点透視法の消失点を算出し、算出した消失点の分布から被写体の撮像方向を判定する撮像装置が開示されている。しかし、この撮像装置は、撮像後の画像に対して事後的に撮像方向を判定する処理を行うものであるため、ユーザが像空間の水平方向に対して撮像装置を傾けた状態で被写体を撮像することを防げない。
【０００４】
また、特許文献２及び特許文献３に開示されている撮像装置は、撮像した画像に対して、事後的に実空間における傾きを検出し、画像の回転、切り出し等の処理を実行するものである。そのため、これらの撮像装置では、上記問題を解決できない。
【０００５】
また、特許文献４乃至特許文献６には、装置の傾きを検出する傾き検出センサを備えた撮像装置が開示されている。しかし、これらの撮像装置では、傾き検出センサを設ける必要があるため、撮像装置のコストダウンを図ることが難しいという問題がある。
【特許文献１】特開２００３−２６３６４３号公報
【特許文献２】特開２００２−３４４７２３号公報
【特許文献３】特開２００１−２３６５０９号公報
【特許文献４】特開２００６−３２４９４８号公報
【特許文献５】特開２００６−２８７７６８号公報
【特許文献６】特開２００２−２９０８１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記課題を解決するためになされたものであり、製造コストの上昇を伴う事なく、ユーザが像空間の水平方向に対して装置を傾けた状態で被写体を撮像することを防止できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１の発明は、被写体からの光を像面に受光して光電変換する撮像素子、及びこの撮像素子の像面に被写体像を導く光学系を有し、撮像した画像のデータを出力する撮像手段と、装置各部を制御するための制御手段とを備える撮像装置において、前記撮像手段から出力される画像に基づいて、像空間の垂直基準となる少なくとも２本の垂直基準線を抽出する垂直基準線抽出手段と、前記少なくとも２本の垂直基準線の交点（以下、消失点という）を求める消失点算出手段と、前記光学系の光軸が前記像面と交わる点に相当する画像中の点（以下、注視点という）と前記消失点とを結ぶ直線（以下、生成傾き線という）を生成する傾き線生成手段と、前記像面における前記注視点を通る、画像の構図上の垂直線（以下、傾き基準線という）に対する前記生成傾き線の傾きを検出する傾き検出手段とをさらに備え、前記傾き検出手段によって検出された傾きを、撮像される空間における水平に対する装置の傾きとみなすものである。
【０００８】
請求項２の発明は、請求項１に記載の撮像装置において、前記傾き検出手段によって検出された傾きが所定範囲内に収まっているとき、ユーザにその旨を通知する通知手段をさらに備え、装置の位置及び向きが連続的に変化しているとき、前記傾き検出手段により連続的に傾きを検出して、検出した傾きが所定範囲内に収まっているとき、前記通知手段によってその旨をユーザに逐次通知するものである。
【０００９】
請求項３の発明は、請求項１に記載の撮像装置において、前記撮像手段により得られた画像を表示する表示手段をさらに備え、ユーザが前記表示手段に表示された画像の一部を選択することにより、前記垂直基準線を手動で設定するものである。
【発明の効果】
【００１０】
請求項１の発明によれば、傾き検出手段によって検出された傾きを、撮像される空間（像空間）における水平に対する装置の傾きとみなすことができる。そのため、容易に像空間の水平方向に対する装置の傾きを見出すことができるので、ユーザが装置を水平方向に対して傾けた状態で被写体を撮像してしまうことを防止することができる。また、従来の撮像装置と異なり、傾き検出センサ等の特殊な部材や機構等を用いることがないので、製造コストの上昇を抑制することができる。
【００１１】
請求項２の発明によれば、検出した傾きが所定範囲内に収まっているとき、通知手段によってその旨がユーザに逐次通知されるので、ユーザが装置を水平方向に対して傾けた状態で被写体を撮像してしまうことを防止することができる。
【００１２】
請求項３の発明によれば、ユーザが表示手段に表示された画像の一部を選択することにより、垂直基準線を手動で設定することができる。そのため、自動で設定された垂直基準線が適切でない場合であっても、容易に垂直基準線を変更できるので、ユーザが装置を像空間の水平方向に対して傾けた状態で被写体を撮像してしまうことを確実に防止することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態に係る撮像装置について、図１を参照して説明する。図１は、撮像装置１の内部構成を示すブロック図である。撮像装置１は、夜間や室内で撮像を行うことができるように被写体に光を照射するフラッシュ装置１２と、被写体を撮像して画像のデータを出力する撮像部（撮像手段）１３と、撮像した画像や各種のメッセージを表示するためのＬＣＤ（表示手段、通知手段）１４と、撮像装置１を操作するためのボタン等を有する操作部（操作手段）１５とを備える。
【００１４】
また、撮像装置１は、撮像した撮像画像や各種データを記憶するためのメモリ１６と、装置各部を制御する制御用マイコン（制御手段）１１とをさらに備える。
【００１５】
撮像部１３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）により構成され、被写体からの光を像面に受光して電気信号に変換する撮像素子１３ａと、被写体からの光の焦点を撮像素子１３ａの像面に合わせるレンズユニット（光学系）１３ｂとを有する。撮像部１３によって撮像された画像は、長方形であり、撮像装置１の姿勢が通常状態、所謂、横向き状態のときに撮像された画像は、画像の長軸方向が水平方向、短軸方向が垂直方向である。なお、撮像素子１３ａは、ＣＣＤから構成されている場合に限られず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から構成されているものであってもよい。
【００１６】
操作部１５は、ユーザによって押下され、撮像を行うためのシャッターボタン１５ａと、後述する傾き検出機能のオン／オフ状態を切り替えるための傾き機能設定ボタン１５ｂと、撮像装置１の縦横の向きを判別する縦位置解析モードのオン／オフを切り替えるための縦位置スイッチ１５ｃとを有する。
【００１７】
シャッターボタン１５ａは、押下状態が２段階になっている。シャッターボタン１５ａの１段階目の押下状態は、シャッターボタン１５ａを半分程度押した状態であり、本明細書ではこの状態を「半押し」という。また、シャッターボタン１５ａの２段階目の押下状態は、シャッターボタン１５ａを押し切った状態であり、本明細書ではこの状態を「全押し」という。
【００１８】
シャッターボタン１５ａが半押しされたとき、撮像部１３が動作して被写体に焦点（ピント）を合わせる処理や、一定の条件下で撮像装置１の傾きを検出する傾き検出処理等が行われる。シャッターボタン１５ａが全押しされると、被写体に焦点位置を維持したまま、撮像が行われる。
【００１９】
メモリ１６は、撮像された画像のデータや、後述する傾き検出機能のオン／オフ状態や、後述する垂直線成分の手動指定のオン／オフ状態等の各種情報を記憶する。
【００２０】
制御用マイコン１１は、請求項における垂直基準線抽出手段、消失点算出手段、傾き線生成手段、及び傾き検出手段として動作する。また、制御用マイコン１１は、撮像装置１の縦向き、又は横向きに応じて、後述する垂直線の抽出方向を切り替える縦位置解析モードで動作する。縦位置解析モードで動作する場合、制御用マイコン１１は、垂直線の抽出方向を撮像画像の長軸方向に合わせる。
【００２１】
また、制御用マイコン１１は、撮像部１３から画像信号を受信し、この画像信号に対して、輝度・色差信号処理等の各種画像信号処理を行い、これらの画像信号処理後の画像データをＬＣＤ１４へ出力したり、メモリ１６に記録したりする。
【００２２】
次に、撮像装置１の傾き検出機能を用いた際の撮像動作について、図２に示すフローチャートを参照して説明する。まず、制御用マイコン１１は、メモリ１６を参照して、ユーザによって傾き検出機能がオン状態に設定されているか否かを判断し（Ｓ１）、傾き検出機能がオン状態に設定されている場合（Ｓ２でＹＥＳ）、ユーザによってシャッターボタン１５ａが半押し状態のまま一定時間押下されているか、すなわち、長押し状態であるか否かを判断する（Ｓ３）。一方、上記判断の結果、傾き検出機能がオン状態に設定されていない場合（Ｓ２でＮＯ）、上記Ｓ３以降の処理を行なわないで、本処理を終了する。
【００２３】
上記Ｓ３の判断の結果、シャッターボタン１５ａが半押し状態のまま長押し状態である場合（Ｓ４でＹＥＳ）、制御用マイコン１１は、垂直線成分を判別して設定する垂直線判別処理を行い（Ｓ５）、ＬＣＤ１４に水平ガイドを表示する（Ｓ６）。水平ガイドは、撮像装置１の位置及び向きの連続的な変化に応じて逐次更新される。すなわち、設定された垂直線成分を追従することにより補助線及び角度等が逐次算出されて表示される。上記Ｓ５の垂直線判別処理、補助線及び角度（傾き）の詳細については後述する。撮像装置１の像空間（視野）に対する傾きが所定の範囲内に収まっているとき、ＬＣＤ１４に「ＯＫ」等のメッセージを表示して、その旨をユーザに逐次通知する。
【００２４】
一方、上記Ｓ３の判断の結果、長押し状態でない場合（Ｓ４でＮＯ）、制御用マイコン１１は、再度、上記Ｓ３の判断を行う。
【００２５】
そして、上記Ｓ５の処理で設定された垂直線成分が撮像部１３による撮像範囲外に喪失した場合（Ｓ７でＹＥＳ）、制御用マイコン１１は、上記Ｓ３以降の処理を繰り返す。一方、垂直線成分が撮像範囲外に喪失していない場合（Ｓ７でＮＯ）、制御用マイコン１１は、ユーザによってシャッターボタン１５ａが全押しされたか否かを判断し（Ｓ８）、全押しされた場合（Ｓ９でＹＥＳ）、撮像を実施して（Ｓ１０）、本処理を終了する。シャッターボタンが全押しされていない場合（Ｓ９でＮＯ）、制御用マイコン１１は、上記Ｓ６以降の処理を繰り返す。
【００２６】
次に、上記Ｓ５の垂直線判別処理の詳細について、図３及び図４に示すフローチャートを参照して説明する。まず、制御用マイコン１１は、撮像装置１の向きを判断するために、縦位置スイッチ１５ｃがオン状態か否かを判断し、オン状態の場合（Ｓ１１でＹＥＳ）、縦位置解析モードをオン状態にする（Ｓ１２）。一方、縦位置スイッチ１５ｃがオン状態ではない場合（Ｓ１１でＮＯ）、縦位置解析モードをオフ状態にする（Ｓ１３）。
【００２７】
そして、制御用マイコン１１は、撮像部１３によって撮像された画像内に、Ｙ軸の傾きに近い少なくとも２本の直線成分が存在するか否かの判断を行い（Ｓ１４）、この判断の結果、適合する直線成分が存在する場合（Ｓ１５でＹＥＳ）、垂直線の自動判別処理（Ｓ１６）を行う。一方、上記Ｓ１４の判断の結果、適合する直線成分が存在しない場合（Ｓ１５でＮＯ）、制御用マイコン１１は、後述するＳ１６乃至Ｓ１８の処理を行わないで、Ｓ１９以降の処理を行う。
【００２８】
上記Ｓ１４乃至Ｓ１６の処理は、撮像画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とすると、次の１〜５の順に行われる。
１．まず、制御用マイコン１１は、ハフ変換を用いて、撮像画像の中心付近のＹ軸の傾きに近い２本の直線を抽出する。
２．上記１によって抽出された直線の交点を消失点と仮定する。
３．延長することにより上記消失点近傍まで到達する直線成分を画像中から複数抽出する。
４．上記３によって抽出された複数の直線の各交点を求め、その座標の分布及び抽出された直線の信頼性（例えば、長さ、コントラスト、誤差などから評価したもの）に対して加重平均することにより、最も適切な点を消失点として算出する。
５．上記４により算出された消失点に収束する直線成分について、信頼性の高い順に上位Ｎ本（以下の例では２本）までの垂直線（垂直基準線）を抽出する。
【００２９】
そして、制御用マイコン１１は、ＬＣＤ１４において、上記Ｓ１６の処理によって抽出された垂直線成分上に補助線を表示すると共に、消失点と注視点とを結ぶ補助線（生成傾き線）を表示する（Ｓ１７）。ＬＣＤ１４に表示する補助線等の詳細については図５及び図６を参照して後述する。なお、ここでは、レンズユニット１３ｂの光軸が撮像素子１３ａの像面と交わる点を注視点とする。
【００３０】
そして、制御用マイコン１１は、ユーザが上記Ｓ１６の処理で算出された消失点を、操作部１５を用いて承認することを指示する操作を行った場合（Ｓ１８でＹＥＳ）、本処理を終了する。一方、ユーザが操作部１５を用いて、算出された消失点を承認しないことを指示する操作を行った場合（Ｓ１８でＮＯ）、制御用マイコン１１は、ユーザが垂直線成分の手動指定を指示するための操作を行ったか否かを判断する（Ｓ１９）。
【００３１】
上記Ｓ１９の判断の結果、手動指定の指示操作があった場合（Ｓ２０でＹＥＳ）、制御用マイコン１１は、ユーザによって手動指定された直線成分を垂直線成分の最優先候補として設定する（Ｓ２１）。一方、手動指定がない場合（Ｓ２０でＮＯ）、制御用マイコン１１は、上記Ｓ１４以降の処理を再度行う。ユーザが手動で直線成分を指定する場合、ユーザは、操作部１５を操作して、ＬＣＤ１４に表示された撮像画像の一部を選択することにより、垂直線成分を指定する。例えば、ＬＣＤ１４の表示画像の中央部に垂直線とみなせる成分が配置されている状態のとき、ユーザは操作部１５の決定ボタン等を長押しすることにより垂直線成分となる直線成分を指定する。
【００３２】
そして、制御用マイコン１１は、上記Ｓ２１で手動設定された直線成分を垂直線成分の最優先候補（信頼性に加重する）として、上記Ｓ１６の処理に相当する垂直線自動判別処理を再度行う（Ｓ２２）。そして、制御用マイコン１１は、ＬＣＤ１４に、上記Ｓ１７の処理と同様に、上記Ｓ２２の処理によって抽出された垂直線成分上に補助線を表示すると共に、消失点と注視点とを結ぶ補助線を表示する（Ｓ２３）。
【００３３】
そして、制御用マイコン１１は、ユーザが上記Ｓ２２の処理で算出された消失点を、操作部１５を用いて承認することを指示する操作を行った場合（Ｓ２４でＹＥＳ）、本処理を終了する。一方、ユーザが操作部１５を用いて、算出された消失点を承認しないことを指示する操作を行った場合（Ｓ２４でＮＯ）、制御用マイコン１１は、ユーザが２本目の垂直線成分の手動指定を指示するための操作を行ったか否かを判断する（Ｓ２５）。
【００３４】
上記Ｓ２５の判断の結果、手動指定がある場合（Ｓ２６でＹＥＳ）、制御用マイコン１１は、ユーザによって手動指定された２本の直線成分の交点を消失点として設定し（Ｓ２７）、ＬＣＤ１４に、上記Ｓ２３の処理と同様に補助線等を表示する（Ｓ２８）。また、上記Ｓ２５の判断の結果、手動指定がない場合（Ｓ２６でＮＯ）、制御用マイコン１１は、上記Ｓ２１以降の処理を繰り返す。
【００３５】
そして、制御用マイコン１１は、ユーザが上記Ｓ２７の処理で算出された消失点を承認する場合（Ｓ２９でＹＥＳ）、本処理を終了する。一方、ユーザが消失点を承認しない場合（Ｓ２９でＮＯ）、制御用マイコン１１は、手動指定した直線成分についての垂直線成分の指定を解除して、上記Ｓ１４以降の処理を繰り返す。
【００３６】
次に、補助線等を表示するときのＬＣＤ１４に表示される画面について、図５及び図６を参照して説明する。図５は、説明の便宜上、補助線のうち本来ＬＣＤ１４に表示されていない部分も表示させた説明図である。図６は、ＬＣＤ１４に表示される画像の説明図である。図５及び図６は、建物を見上げて撮像した画像である。
【００３７】
図５において、Ｌ１は第１垂直線、Ｌ２は第２垂直線、ＶＰは消失点、Ｐｇは注視点、Ｌｖは消失点と注視点を結ぶ補助線（生成傾き線）、Ｌｙは撮像フレーム（構図）上の垂直軸（傾き基準線）、Ｌａは画面の第１対角線、Ｌｂは画面の第２対角線、θは水平方向の傾きである。Ｌ１とＬ２は、実空間においては、互いに垂直方向に平行な直線である。注視点Ｐｇは、第１対角線Ｌａ、第２対角線Ｌｂの交点である。
【００３８】
図６に示すように、ＬＣＤ１４には、第１垂直線Ｌ１、第２垂直線Ｌ２、補助線Ｌｖ、垂直軸Ｌｙ、及び水平方向の傾き状態をユーザに通知するための状態表示Ｌａが表示されている。状態表示Ｉは、図５の傾きθが所定の範囲内に収まっているとき、例えば、１度以内に収まっているときに「ＯＫ」と表示され、所定の範囲内（１度以内）に収まっていないときに「ＮＧ」と表示される。このように、撮像装置１は、ユーザに撮像装置１の傾きの状態を通知することができる。
【００３９】
上記のように、本発明の一実施形態に係る撮像装置１によれば、制御用マイコン１１による処理によって検出された傾きを、像空間の水平に対する撮像フレームの傾き（装置の傾き）とみなすことができる。そのため、容易に水平方向に対する傾きを見出すことができるので、ユーザが撮像装置１を水平方向に対して傾けた状態で被写体を撮像してしまうことを防止し、撮像画像の構図決定が容易になる。
【００４０】
また、従来の撮像装置と異なり、傾き検出センサ等の特殊な部材や機構等を用いることがないので、製造コストの上昇を抑制することができる。また、撮像装置１は、検出した傾きが所定範囲内に収まっているとき、ＬＣＤ１４にその旨が表示されて、ユーザに逐次通知されるので、ユーザが装置を水平方向に対して傾けた状態で被写体を撮像してしまうことを防止すると共に、構図決定が容易になる。
【００４１】
また、この撮像装置１では、ユーザがＬＣＤ１４に表示された画像の一部を選択することにより、垂直線成分を手動設定することができる。そのため、自動で設定された垂直線成分が適切でない場合であっても、ユーザによる手動設定に基づいて垂直成分を抽出し、適切に撮像装置１の傾きを評価することができる。
【００４２】
なお、本発明は、上記実施形態の構成に限定されるものではなく、発明の趣旨を変更しない範囲で種々の変更が可能である。例えば、本実施形態に係る撮像装置１において、傾きが所定の範囲内にあるとき、ＬＣＤ１４に「ＯＫ」という文字を表示させる例を示したが、これに限られず、「ＯＫ」という旨をユーザに通知するための音を鳴らすものであってもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係る撮像装置の内部構成を示すブロック図。
【図２】上記撮像装置における傾き検出機能を用いた撮像動作を示すフローチャート。
【図３】上記撮像動作処理における垂直線判別処理の詳細を示すフローチャート。
【図４】上記撮像動作処理における垂直線判別処理の詳細を示すフローチャート。
【図５】上記撮像装置のＬＣＤに表示される画像の説明図。
【図６】上記撮像装置のＬＣＤに表示される画像の説明図。
【符号の説明】
【００４４】
１  撮像装置
１１  制御用マイコン（制御手段、垂直基準線抽出手段、消失点算出手段、傾き線生成手段、傾き検出手段）
１３  撮像部（撮像手段）
１３ａ  撮像素子
１３ｂ  レンズユニット（光学系）
１４  ＬＣＤ（表示手段、通知手段）
Ｌ１  第１垂直線（垂直基準線）
Ｌ２  第２垂直線（垂直基準線）
Ｌｙ  垂直軸（傾き基準線）
Ｌｖ  補助線（生成傾き線）
Ｐｇ  注視点
ＶＰ  消失点
【図１】
2009016941.tif 000003
【図２】
2009016941.tif 000004
【図３】
2009016941.tif 000005
【図４】
2009016941.tif 000006
【図５】
2009016941.tif 000007
【図６】
2009016941.tif 000008