(57)【要約】【課題】ガイド光を顔に直接入射させない撮像装置を提供する。【解決手段】対象物を撮影し、前記対象物を含む画像データを取得する撮影部と、前記被写体の顔部を検出する顔検出部２ｇと、ガイド光を照射する補助光発光部７と、撮影領域内であって前記顔部を含まない位置へ前記ガイド光を照射するように前記補助光発光部７を制御する補助光制御部２ｆとを具備する。【選択図】図１
2015031832.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影し、前記対象物を含む画像データを取得する撮影部と、
前記被写体の顔部を検出する顔検出部と、
ガイド光を照射する補助光発光部と、
撮影領域内であって前記顔部を含まない位置へ前記ガイド光を照射するように前記補助光発光部を制御する補助光制御部と、
を具備する撮像装置。
【請求項２】
前記補助光制御部は、前記撮影領域の端部の対象物へ前記補助光発光部からガイド光を照射するように制御する請求項１に記載の撮像装置。
【請求項３】
前記対象物が前記撮像装置の近距離にいるときであって、前記顔検出部が前記被写体の顔を検出していないとき、前記補助光制御部は前記ガイド光を点滅させるように前記補助光発光部を制御する請求項１に記載の撮像装置。
【請求項４】
前記補助光発光部は、指向性を有する前記ガイド光を照射する請求項１に記載の撮像装置。
【請求項５】
前記補助光発光部は、前記ガイド光の照射によって画像を形成する請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置での撮影では、ファインダや液晶ディスプレイを視認することで、被写体がデジタルカメラの画角内に収まっているか否かを確認することが多い。しかしながら、ファインダや液晶ディスプレイを確認し難い状況も存在する。例えば、ユーザがファインダを覗くときに、ユーザが被っている帽子の鍔がデジタルカメラに接触し、ユーザの顔をファインダに近づける動作を妨げることがある。そこで特許文献１では、画角内に被写体が収まっていると判定されるとき、被写体へ光を照射させるように光源を制御する撮像装置が提案されている。この撮像装置では、ユーザは、被写体に照射された光を確認することで、ファインダを覗くことなく、画角内に被写体が収まっているか否かを判断することができる。このような考え方は、対象物に対しプロジェクタのようなガイダンス情報の照射を行い操作するための情報機器として発展する可能性がある。このような機器では、特定の表示画面を確認する必要がなく、対象物だけを見ての操作が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−６４１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタルカメラ等を含む情報機器から照射されたガイド光はユーザの目に直接入射してしまう可能性がある。本発明は、前記の事情に鑑みてなされたものであり、ガイド光を対象物の眼に直接入射させない撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、対象物を撮影し、前記対象物を含む画像データを取得する撮影部と、前記被写体の顔部を検出する顔検出部と、ガイド光を照射する補助光発光部と、撮影領域内であって前記顔部を含まない位置へ前記ガイド光を照射するように前記補助光発光部を制御する補助光制御部とを具備する。
【発明の効果】
【０００６】
本発明によれば、補助光制御部は、補助光発光部にガイド光を画角内における対象物の顔以外の位置へ照射させる。ユーザは、照射された光を視認することで、たとえ液晶ディスプレイを見ることが困難であっても、対象物へ照射されたガイド光のガイドを参考に機器の操作を続行できる。例えば、撮像機器では被写体などが画角内に含まれていることを確認できる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２は、撮像装置の詳細を説明する正面図である。
【図３】図３は、撮像装置の使用例を示す図である。
【図４】図４は、全方位撮影の課題を説明する図である。
【図５】図５は、撮像装置の動作を説明するフローチャートである。
【図６】図６は、撮像装置を左手で把持する状況の例を示す図である。
【図７】図７は、左手把持の判定の詳細を説明するフローチャートである。
【図８】図８は、左手把持の判定の詳細を説明する図である。
【図９】図９は、ガイド光の効果を説明する図である。
【図１０】図１０は、左手操作の判定の動作を説明するフローチャートである。
【図１１】図１１は、左手操作の判定を説明する図である。
【図１２】図１２は、画像データの合成が必要な状況の例を示す図である。
【図１３Ａ】図１３Ａは、画像データをその画像データの重力方向へ傾ける図である。
【図１３Ｂ】図１３Ｂは、２枚の画像データを重ね合わせる図である。
【図１３Ｃ】図１３Ｃは、合成画像データ中央の余分の削除を説明する図である。
【図１３Ｄ】図１３Ｄは、合成画像データ端部周辺の余分の削除を説明する図である。
【図１４】図１４は、画像データの合成の詳細を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
図１は、本発明の一実施形態に係る撮像装置１２の構成を示すブロック図である。
【００１０】
撮像装置１２は、撮影部１３と、通信部１ｃと、補助光発光部７と、制御部２と、表示部３ｂと、記録部４と、タッチパネル３ａと、操作判定部６と、フラッシュ５と、姿勢判定部９と、外部通信部１１とを有する。
【００１１】
撮影部１３は、画角内の、すなわち撮影領域の被写体を撮影し、画像データを取得する。撮像光学系１ａと、撮像部１ｂとを有する。撮像光学系１ａは、魚眼レンズとしての機能を持つ複数枚のレンズを有し、光軸の周りの全周に渡る視野領域の光を捉える。撮像部１ｂは、撮像光学系１ａが捉えた光をアナログ信号に変換し、そのアナログ信号をデジタル信号（画像データと言う）に変換する。通信部１ｃは、有線通信又は無線通信により画像データを本体１０へ送る。
【００１２】
補助光発光部７は、ガイド光を照射する。被写体が画角内に含まれているとき、ガイド光は、画角内の所定の位置に照射するように制御される。ユーザは、画角内に照射されたガイド光を見ることで、被写体が画角内に含まれていることを視認できる。例えば、ガイド光を画角内の際周辺部の被写体に投射することで、ユーザは表示部３を見ずとも画角を視認できる。ガイド光は、例えばレーザ光である。また、液晶プロジェクタや反射ミラー式のプロジェクタのように、所定のパターンの光を照射可能にしても良い。
【００１３】
制御部２は、顔検出部２ａと、画像処理部２ｂと、表示制御部２ｃと、画像合成部２ｅと、補助光制御部２ｆとを有する。顔検出部２ａは、画像データから人の顔部分を検出する。画像処理部２ｂは、画像データにホワイトバランス補正やガンマ補正などの画像処理を施す。表示制御部２ｃは、画像処理部２ｂによって画像処理された画像データに基づく画像を表示部３ｂに表示させる。画像合成部２ｅは、画像の傾きの補正やトリミングを行い、更に撮影した画像データを他の画像データと合成する。補助光制御部２ｆは、補助光発光部７の発光を制御する。
【００１４】
表示部３ｂは、表示制御部２ｃの制御に従って画像データに基づく画像を表示する素子であり、ライブビュー表示を行う。ライブビュー表示では、撮像部１ｂが捉えた画像データをリアルタイムで表示する。また、表示部３は液晶ディスプレイ又は有機ＥＬディスプレイを含む。
【００１５】
記録部４は、制御部２によって画像処理された画像データを記録し、メモリカードなどを含む。タッチパネル３ａは、指などで押圧されたとき、押圧された位置情報を検出し、検出した位置情報を制御部２に入力する。操作判定部６は、レリーズボタンなどの操作部材を有し、ユーザによる操作部材の操作状態を示す情報を制御部２に入力する。フラッシュ５は、被写体が低輝度のときなどに発光する。姿勢判定部９は、撮像装置１２の姿勢又は姿勢の変化を検出する。外部通信部１１は、画像データを撮像装置１２の外部の装置へ送信する。送信は、ＵＳＢなどによる有線通信若しくはＷｉ−ｆｉなどによる無線通信を介して行われる。
【００１６】
図２を用いて、撮像装置１２の構成を詳細に説明する。図２は、本発明の一実施形態に係る撮像装置１２の正面図である。撮像装置１２は、詳細には、撮像光学系１ａと、撮像素子１０１ｂと、ＡＤ変換回路１０１ｃと、支持部１０１ｄと、コネクタ１０４ａと、フレキシブルプリント基板１０４ｂと、コネクタ１０４ｅと、基板１１９と、画像処理ＩＣ１０２ａと、表示制御ＩＣ１０２ｂと、表示部３ｂと、メモリカード４と、電池１０９と、電源回路１１０と、グリップ部１２５と、メインコンデンサ１０７とを有する。
を有する。
【００１７】
撮像光学系１ａは、詳細には、魚眼レンズ１２０と、ローパスフィルタ１０１ｅとを有する。魚眼レンズ１２０は、広視野に渡る光を捉える。ローパスフィルタ１０１ｅは、魚眼レンズ１２０から入射した光から高周波ノイズを取り除く。
【００１８】
撮像素子１０１ｂは、ローパスフィルタ１０１ｅによってノイズが取り除かれた光をアナログ信号に変換する。ＡＤ変換回路１０１ｃは、撮像素子で得られたアナログ信号をデジタル信号（画像データ）に変換する。基板１０８は、画像処理ＩＣ１０２ａなどの電子部品を組み込むためのプリント基板である。コネクタ１０４ａは、基板１０８と、フレキシブルプリント基板１０４ｂとの相互を接続する。
【００１９】
フレキシブルプリント基板１０４ｂは、ＡＤ変換回路１０１ｃから画像処理ＩＣ１０２ａ及び表示制御ＩＣ１０２ｂへ画像データを伝送するための配線がプリントされた可撓性の基板である。コネクタ１０４ｅは、フレキシブルプリント基板１０４ｂと、基板１１９とを接続する。
【００２０】
基板１１９は、画像処理ＩＣ１０２ａなどの電子部品を組み込むためのプリント基板である。画像処理ＩＣ１０２ａは、画像処理部２ｂと対応しており、画像データにホワイトバランス補正やガンマ補正などの画像処理を施す。表示制御ＩＣ１０２ｂは、表示制御部２ｃと対応しており、デジタル変換された画像データを表示部３ｂに表示させる。
【００２１】
メモリカード４は記録部４と対応している。電源回路１１０は電池から得た電圧を制御し、撮像装置１２を動作させる。グリップ部１２５は、ユーザが撮像装置を安定して構えられるように本体１０の外部に形成された補助部材である。メインコンデンサ１０７は、フラッシュ５を発光させるための充電を行う。電池１０９は、電源回路１１０へ電圧を印加する。
【００２２】
図３は、撮像装置１２の使用例を示す。図３（ａ）は、ユーザが表示部３ｂを見ながら右手でレリーズ操作を行う使用例であり、すなわち通常の撮影を示す図である。図３（ｂ）は、広角での自分撮り、すなわち、ユーザが表示部３ｂを見ずに左手で撮像装置１２を構えながら自らを撮影する使用例である。図３（ｃ）は、魚眼レンズを備える撮像装置の光軸を天頂へ向けることで、水平方向の全方位撮影を行う使用例である。
【００２３】
図３（ｃ）に示す撮像装置を使用した全方位撮影の課題について図４を使用して説明する。図４（ａ）は、図４（ａ）のユーザであるＨ１が、Ｈ１及びユーザ以外の２人の被写体Ｈ２の合計３人を全方位撮影によって撮影する図である。魚眼レンズによる撮影では、３人の被写体はすべて画角内に収まる。図４（ｂ）は、図４（ａ）での撮影結果である。撮像光学系１ａのイメージサークルが撮像素子の撮像範囲よりも小さく設定されているとき、図４（ｂ）に示すような円形の撮影結果が得られる。なお、図４（ｂ）の円形の撮影結果は、画像処理によって図４（ｃ）に示すパノラマ画像に加工することも可能である。なお、図４（ｂ）に示すような３人の被写体が画角内に収まるためには、撮像光学系１ａの光軸が天頂を向くことが望ましい。
【００２４】
ここで、撮像装置１２の動作について、図５のフローチャートを使用して説明する。撮像装置１２の電源がＯＮになったとき、制御部２は、ユーザによって撮影モードが選択されたか否かを判定する（ステップＳ１００）。撮影モードが選択されたと判定するとき（ステップＳ１００でＹＥＳのとき）、制御部２は、ユーザが撮像装置１２を左手で握っているか否かを判定する（ステップＳ１０３）。
【００２５】
撮像装置を左手で把持する状況の例を、図６に示すロッククライミング中の撮影例を使用して説明する。図６（ａ）及び図６（ｂ）は、左右一方の腕しか撮影に使用できないユーザを示す。図６（ａ）では、ユーザが左手で岩肌に掴まっているため、右手で撮像装置１２を構えている。そのとき、ユーザは撮影を難なく行うことができる。一方、図６（ｂ）では、ユーザは右手で岩肌に掴まっているため、左手で撮像装置１２を構えている。一般的に、撮像装置のレリーズボタンは、左手で操作し難い位置に配置されている。そのためユーザは撮影が困難である。
【００２６】
さらに、撮像装置１２が左手で把持しているか否か（ステップＳ１０３）の判定について、図７のフローチャート及び図８を使用して詳細に説明する。
【００２７】
図７は、定義済み処理である左手把持の判定（ステップＳ１０３）を詳細に説明するフローチャートである。まず、制御部２は、撮像装置１２の傾きが水平なままか否かを判定する（ステップＳ２０１）。すなわち、その傾きが水平であると判定するとき、制御部２は、ユーザが撮影しようとしていると判定する。一方、その傾きが水平でなかったと判定する時、制御部２は、ユーザが撮影しようとしていないと判定する。撮像装置１２の傾きが水平なままであると判定するとき（ステップＳ２０１でＹＥＳのとき）、制御部２は、タッチパネル３ａのタッチ位置を検出し始める（ステップＳ２０２）。ところで、撮像装置が水平のままではない、すなわち傾いていると判定したとき（ステップＳ２０１でＮＯのとき）、制御部２は、ユーザにより左手把持されなかった、すなわち図７である定義済み処理においてＮＯと判定する。タッチパネル３ａのタッチ位置の検出（ステップＳ２０２）後、制御部２は、ユーザが撮像装置１２を左手で握ったときユーザの左手が接触する部分であると考えられる図８（ａ）に示すタッチパネル３ａの三角形状のタッチ部Ｔ５へのタッチが検出されるか否かを判定する（ステップＳ２０３）。このステップＳ２０３ではタッチが検出されるか否かを判定している。しかしながら、ステップＳ２０３の判定においては、厳密にタッチが検出されていなくともタッチと判定されるようにしてもよい。例えば、静電容量型又は光学式のタッチパネル３ａであれば、対象物（ここでは手の一部や指）が接触していなくとも、対象物との距離が一定距離内であればタッチがなされていることが検出される。また、三角形状のタッチ部Ｔ５へのタッチを判定しているのは、ユーザが表示部３ｂの表示を見ようという意思を持ちつつ、撮像装置１２を把持する場合、図８（ａ）のように、撮像装置１２の端を把持し易いためである。近年、表示部の画面は大型化の傾向にある。このような大型の画面の表示部を有する撮像装置１２をユーザが把持しようとした場合、ユーザは表示部の周辺を把持することになる。このとき、表示部３ｂの表示を見ることを考えた場合、ユーザが表示部の端を把持することは容易に予想される。また、表示部３ｂの表示を見ることを考えていなくとも、表示部の中央部に指紋や手垢が付くことを嫌うユーザは、表示部を鷲掴みせずに表示部の端を把持すると考えられる。したがって、三角形状のタッチ部Ｔ５へのタッチを判定することで、ユーザの把持の判定をし易い。三角形状のタッチ部Ｔ５へのタッチが検出されたと判定したとき（ステップＳ２０３でＹＥＳのとき）、制御部２は、図７の定義済み処理においてＹＥＳと判定する、すなわち、撮像装置１２は左手で把持されたと判定する。ところで、三角形状のタッチ部Ｔ５へのタッチがなかったと判定したとき（ステップＳ２０３でＮＯのとき）、制御部２は、ユーザが別の態様で撮像装置１２を左手で握った時にユーザの指と接触する部分であると考えられる図８（ｂ）に示すタッチパネル３ａ上の二箇所のタッチ部Ｔ１への同時のタッチが検出されたか否かを判定する（ステップＳ２０５）。なお、ステップＳ２０５では、二箇所のタッチ部Ｔ１へのタッチが検出されたか否かを判定している。二箇所のタッチ部Ｔ１へのタッチを判定するようにしている理由について説明する。例えば、親指と小指での把持（この場合、人差し指、中指、薬指が画面上に来るのでこれらの指がタッチ操作に用いられ得る）の場合、小指には力を込めることが難しいので、ユーザは、撮像装置１２を安定して把持することが難しい。また、親指と中指での把持の場合、ユーザは撮像装置１２を安定して把持することができる。ただし、この場合、ユーザは、人差し指しか動かせない。人差し指しか動かすことができないと表示部３ｂの画面が見づらい。これらに対し、親指と薬指での把持（この場合、人差し指、中指が表示部３ｂの画面上に来るのでこれらの指がタッチ操作に用いられ得る）の場合、ユーザは撮像装置１２を安定して把持することができる。さらに、人差し指と中指の二箇所タッチでは、この二本の指を曲
げたり開いたりすれば、表示部３ｂの画面を視認し易い。二箇所のタッチ部Ｔ１は、このような親指と薬指での把持を検出するためのものである。なお、三角形状のタッチ部Ｔ５は、中指と親指での把持を検出するものであり、この場合、人差し指を用いた一箇所タッチになる。ただし、ユーザは撮像装置１２を浅く握っているために、表示部３ｂの画面を確認できる。タッチパネル３ａ上の二箇所のタッチ部Ｔ１への同時のタッチが検出されたと判定するとき（ステップＳ２０５でＹＥＳのとき）、制御部２は、撮像装置１２は左手把持をされている、すなわち、図７の定義済み処理においてＹＥＳであると判定する。一方、タッチパネル３ａ上の二箇所のタッチ部Ｔ１への同時のタッチが検出されなかったと判定するとき（ステップＳ２０５でＮＯのとき）、制御部２は、撮像装置１２は左手で把持されていない、すなわち図７である定義済み処理においてＮＯと判定する。
【００２８】
以上の本実施形態では、左手把持での操作を例として説明している。なお、本実施形態の技術は右手把持の場合にも適用され得る。例えば、レリーズボタンを押すことが難しいような右手把持もタッチ部の設定をしておけば検出できる。このような右手把持のタッチ部の位置は、例えば左手把持のタッチ部の位置と左右方向で逆位置である。さらには、例えば、障害者の手又は足による把持に対応したタッチ部の設定がされてもよい。つまり、ユーザが好む特定の把持の仕方に応じたタッチ部を設定しておき、タッチ位置の分布からこのような特定の把持を検出してもよい。
【００２９】
ところで、図５において、左手把持判定の定義済み処理でＮＯと判定されたとき（ステップＳ１０３でＮＯのとき）、すなわち右手で把持されたと判定するとき、制御部２は、左手把持フラグを０にセットする（ステップＳ２０６）。左手把持フラグを０にセットした後、制御部２は、光軸の水平状態の継続時間が所定時間より短いか否かを判定する（ステップＳ１０４）。水平状態の継続時間が所定時間より短くなかったと判定したとき（ステップＳ１０４でＮＯのとき）、制御部２は、表示部３ｂにライブビューを表示させ、被写体の顔検出を行う（ステップＳ１０５）。制御部２は、レリーズボタン又はタッチパネル３ａが操作されたか、すなわちレリーズ操作があったか否かを判定する（ステップＳ１０６）。レリーズボタン又はタッチパネル３ａが操作されていないと判定するとき、制御部２は、電源操作によって処理をステップＳ１００に戻す。レリーズボタン又はタッチパネル３ａが操作されたと判定するとき（ステップＳ１０６でＹｅｓのとき）、制御部２は、タッチパネル３ａ上でのタッチ位置や顔検出の結果として検出された顔部に対してピントや露出を合わせて撮影させた後、その撮影で得られた画像データを記録部４に記録させる。（ステップＳ１０７）。画像データを記録させた後、制御部２は、ユーザにより電源がＯＦＦされるか否かを判定する（ステップＳ１０８）。電源がＯＦＦされたと判定したとき（ステップＳ１０８でＹｅｓのとき）、制御部２は、処理を終了させる。電源がＯＦＦされなかったと判定したとき（ステップＳ１０８でＮＯのとき）、処理がステップＳ１００に戻る。
【００３０】
ところで、ユーザが撮像装置１２を左手で握っていると判定したとき、（ステップＳ１０３でＹＥＳのとき）、制御部２は、左手で撮像装置１２を把持しているフラグを１にセットする（ステップＳ２０４）。左手で撮像装置１２を把持しているフラグを１にセットした後、又は水平状態の継続時間が所定時間より短かったと判定したとき（ステップＳ１０４でＹＥＳのとき）、制御部２は、表示部３ｂにライブビューを表示させ、顔検出部２ｇに画像データから顔検出を行わせる（ステップＳ１１４）。その後、顔検出部２ｇが画像データから顔を検出したか否かを判定する（ステップＳ１１５）。顔検出部２ｇが画像データから顔を検出したと判定するとき（ステップＳ１１５でＹＥＳのとき）、制御部２は、補助光制御部２ｆに補助光発光部７から被写体の体の一部にガイド光を照射させる（ステップＳ１１８）。
【００３１】
ここで、ガイド光の効果について、図９を使用して詳細に説明する。ガイド光を照射された被写体を見ることで、ユーザは、被写体が画角内に収まっていることを容易に確認することができる。ガイド光に使用する光は、例えば、レーザ光などである。ガイド光をユーザの目に直接入射させないようにするために、被写体の顔ではなく体の一部を狙って照射させる。なお、ガイド光を機器の表示部に本来表示するような情報を投射しても良い。ガイド光を投射することによって情報を意味するような文字を投射面に形成することで、機器の小さな表示部では表示しきれない情報をユーザや被写体に表示し通知することができる。例えば、撮影において、撮像装置１２は被写体の胴体部分に、「もっと近づいて撮影してください」又は「笑顔にしてから撮影してください」などの被写体へのアドバイスとしてのガイド光を投射する。若しくは、「ピントが合わない」又は「ストロボが届かない」などの警告を示す文字のガイド光を投射しても良い。文字のガイド光は、ユーザが読みやすい縦書き又は横書きで投射される。この投射に撮像結果により天地判定や姿勢センサなどを使用する。図９（ａ）では、ユーザは、表示部３ｂに表示されたライブビューを見ることで、画角内の被写体を視認できるため、撮影を容易に行うことができる。一方、図９（ｃ）は、ユーザがライブビューを見ることが難しい状況であり、そのとき、ユーザは被写体が画角内に収まっているかどうかを確認することが難しい。制御部２は、図９（ｄ）のように被写体の一部にガイド光を照射することで、ユーザは、被写体が画角内に収まっていることを知る。なお、ユーザに被写体が画角内に収まっていることを通知するガイド光の照射場所については、被写体の体の一部に限らず、画角の端部に位置する別の被写体であってもよい。端部に位置する被写体は、例えばビルや壁面である。画角の端部に照射されたガイド光を視認することで、ユーザは、表示部３ｂを見なくとも、画角や、画角内における各被写体の位置を確認することができる。なお、ビルや壁面へガイド光の用途は位置の確認に限らない。照射によって画像を形成し、ビルや壁面に文字や記号を表示しても良い。撮影領域外に関しては、顔などがあるかどうかわからないので、投射しない方が安全である。逆に言うと、危険な領域はなるべくモニタ可能にした方がよい。
【００３２】
また、顔検出部２ａが被写体の顔を検出しなかったと判定するとき（ステップＳ１１５でＮＯのとき）、補助光制御部２ｆは、撮像装置１２と被写体との距離が所定距離よりも近いか否かを判定する（ステップＳ１１６）。所定距離は、例えば３ｍである。撮像装置１２と被写体との距離が所定距離よりも近いと判定されるとき（ステップＳ１１６でＹｅｓのとき）、補助光制御部２ｆは、被写体が画角内に収まってないことをユーザに知らせることを目的とした点滅するガイド光を被写体に照射させる。
【００３３】
ところで、補助光制御部２ｆは、被写体にガイド光を照射させた（ステップＳ１１８又はステップＳ１１７）後、制御部２は、ライブビューで撮影した画像データの重力方向と、撮像装置１２の重力方向と一致しているか否か判定する（ステップＳ１１９）。
【００３４】
撮像装置１２の重力方向がライブビュー用として得られた画像データの重力方向と一致するとき（ステップＳ１１９でＹＥＳのとき）、制御部２は、ライブビューの重力方向と、撮像装置１２の重力方向が一致しているか否かを判定する。重力方向が一致するとき（ステップＳ１１９でＹＥＳのとき）、制御部２は、画像データを仮記憶させる（ステップＳ１２０）。後述するが、仮記憶された画像データは、画像の合成に使用される。この仮記憶された画像データを水平画像データと対応している。一方、重力方向が一致しないとき（ステップＳ１１９でＮＯのとき）、制御部２は、仮記憶を行わせない。
【００３５】
仮記憶（ステップＳ１２０）後、制御部２は、左手把持フラグが１にセットされているか否かを判定する（ステップＳ１２２）。左手把持フラグが１にセットされたと判定したとき、すなわち撮像装置１２が左手で把持されていたと判定するとき（ステップＳ１２２でＹＥＳのとき）、制御部２は、ユーザによるタッチ部へのタッチに応じた左手操作の判定を行う（ステップＳ１２４）。
【００３６】
ここで、定義済み処理である左手でのレリーズ操作の判定（ステップＳ１２４）について、図１０のフローチャート及び図１１を使用して説明する。図１０において、制御部２は、タッチパネル３ａ上の二箇所への同時のタッチが検出されたか否かを判定する（ステップＳ２１１）。タッチパネル３ａの二箇所への同時タッチが検出されたと判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部２は、二箇所同時タッチを検出することでレリーズ操作を行うためのレリーズ用タッチ部Ｔ７を、タッチ部Ｔ１とは異なる位置に設ける（ステップＳ２１２）、例えば、タッチ部Ｔ７の位置は、タッチ部Ｔ１よりタッチパネル３ａの端部に近い位置に設けられる。本実施形態では、左手把持における操作のためのタッチ部は、左手把持の判定によって判定されたタッチ部をタッチしていると考えられる指が届く範囲に設けられる。すなわち、その指が届かない範囲にタッチ部は設けられないため、タッチ部以外の領域がユーザの意思に反して押圧された際の誤動作は少ない。一方、タッチパネル３ａ上の二箇所への同時にタッチが検出されなかったと判定するとき（ステップＳ２１１でＮＯのとき）、すなわち一箇所へのタッチが検出されたと判定するとき、図１１（ｂ）に示す、一箇所のタッチ部を左手の指でタッチすることでレリーズ操作を行うレリーズ用タッチ部Ｔ２、なおかつタッチ部Ｔ５とは異なる位置に設けられた押圧により所定操作を行うための三角形状タッチ部Ｔ６、又はタッチパネル３ａ上を指でスライドさせることで拡大ライブビュー操作を行うスライド部Ｔ３、又は露出補正操作を行うスライド部Ｔ４を、左手の指がタッチパネル３ａに接触可能である範囲内に設ける。また、操作用のタッチ部Ｔ２、Ｔ３、Ｔ４、Ｔ６又はＴ７の各領域をタッチパネル３ａに設けるとき、各領域をユーザが視認しやすいように各領域に対応した画像を表示部３ｂに表示させても良い。例えば、図１１に示すような楕円や、矢印のような画像を表示部３ｂに表示させる。ここで、拡大ライブビュー操作とは、ライブビュー表示された画像データの一部を拡大した領域を、さらにライブビュー表示する動作を指す。この操作は、対象物を拡大して見ることが必要な撮影機器以外の装置においても有効である。また、露出補正のように、被写体の視認に関わる一般的な動作、例えばピント補正などの操作をタッチによって行ってもよい。なお、左手の指がタッチパネル３ａの三角形状タッチ部Ｔ６を操作していても、ユーザは表示部３ｂの中央に表示された画像を確認することができる。つまり本発明の一実施形態による操作装置は、タッチパネル３ａの手で把持された領域以外の領域も表示位置として有効利用した、すなわち、直感的なユーザーインターフェース（ＵＩ）である。
【００３７】
また、操作用タッチ部の領域の位置は、表示部３ｂに表示されている画像に対してタッチのための指が重ならないようすることと、タッチのための指によってタッチ部を自然にタッチできることとが考慮されて決定されている。例えば、タッチのための指が表示部３ｂの画像と重なることがあっても、ユーザがその指を曲げたり広げたりすることによって画像を確認できるような操作用タッチ部の領域であってもよい。すなわち、操作用タッチ部へのタッチにどの指が使用されるかによって、さらに、手の構造や手の可動範囲を考慮することによって、ユーザの指が自然にタッチ可能な操作用タッチ部の領域の位置は変わる。把持した手の一部の指は把持のために使用され、他の指は操作のために使用される。制御部１は、撮像装置１２が特定の把持がされたと判定するとき、タッチパネル３ａのタッチ位置の分布を判定することで、どの指で把持がされているかを判定する。なお、本発明の一実施形態では、撮像装置を左手で把持したときの操作用タッチ部の領域について説明している。しかし、本実施形態における操作用タッチ部は、左手によるタッチに限らず、他の身体部位によるタッチに対応しても良い。例えば、機器を鷲づかみで把持した際、制御部２が、操作のための指がないと判定するとき、ユーザの鼻又は別の四肢でタッチさせることを考慮した操作用タッチ部を改めて設けても良い。
【００３８】
定義済み処理であるステップＳ１２４が終了後、制御部２は、タッチパネル３ａがタッチ操作されたか否かを判定する（ステップＳ２１４）。タッチ部へのタッチが検出されたとき、すなわち、タッチパネル３ａが指で押圧された、又は、図１１（ｃ）に示すようなスライド操作がなされたと判定するとき（ステップＳ２１４でＹＥＳのとき）、制御部２は、その操作がレリーズ操作であるか否かを判定する（ステップＳ２１７）。操作がレリーズ操作であると判定したとき（ステップＳ２１７でＹＥＳのとき）、制御部２は、ユーザの左手でのレリーズ操作がなされたと判定する。一方、操作がレリーズ操作ではなかったと判定したとき（ステップＳ２１７でＮＯのとき）、制御部２は、ズームや露出補正といった操作を押圧されたタッチ部に応じて行う（ステップＳ２１６）。ところで、押圧やスライドなどのタッチ操作がなかったと判定するとき（ステップＳ２１４でＮＯのとき）、制御部２は、ユーザの左手でのレリーズ操作がなされていなかったと判定する。このとき、ユーザにより電源がＯＦＦに選択されるか否か（ステップＳ１０８）の判定に移る。
【００３９】
ところで、左手把持フラグが１ではなかったとき（ステップＳ１２２でＮＯのとき）、ユーザがすなわち右手で撮像装置１２を握っているとき、制御部２は、レリーズボタンを使用したレリーズ操作がなされたか否かを判定する（ステップＳ１２３）。すなわち、レリーズ操作がなされたとき（ステップＳ１２４でＹＥＳのとき又はステップＳ１２３でＹＥＳのとき）、制御部２は、被写体に向け照射しているガイド光を消灯させ撮影を行わせる（ステップＳ１２６）。
【００４０】
ガイド光を消灯させ、撮影を行わせたとき（ステップＳ１２６）、制御部２は、仮記憶により得られた画像データと撮影により得られた画像データとの合成が必要かつ合成が可能か否かを判定する（ステップＳ１２７）。なお、合成が必要な状況とは、撮影時の重力方向と、画像データの重力方向とが一致しなかったときであり、また、合成が可能な状況とは、仮記憶された画像データ群の中に合成に使用可能と判定される画像データが含まれている状況などである。合成に使用可能と判定される画像データは、合成が必要な画像データに類似の画像データであり、例えば、合成に必要な画像データの直前又は直後に撮影された画像データである。仮記憶されている画像データ（ステップＳ１２０）と、撮影により得られた画像データとの合成が、必要かつ可能であると判定したとき（ステップＳ１２７でＹＥＳのとき）、制御部２は、両画像データを合成し（ステップＳ１２８）、合成により得られた画像データを記録部４に記録する（ステップＳ１２９）。
【００４１】
ここで、画像データの合成の詳細について、図１２、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ及び図１４を使用して説明する。図１２は、画像データの合成が必要な状況の例として、ユーザがカヌーに乗り自分を撮影する状況を示す。ユーザは、図１２（ａ）に示すように右手でオールを持っており、そのため、左手で撮像装置の操作を行う。図１２（ａ）の状況下での理想的な撮影結果は、図１２（ｂ）に示すように、撮影時の重力方向と、画像データの重力方向とが一致している撮影結果である。しかしながら、前述の通り不安定な状況下のため、撮影結果は、図１２（ｃ）に示すような、撮影時の重力方向と画像データの重力方向とが一致していない撮影結果となることが多い。そこで、撮像装置１２は、撮影時に得られた撮影時の重力方向と画像データの重力方向とが一致していない画像データを、撮影時の重力方向と画像データの重力方向とが一致している画像データとして取得できるように画像合成部２ｅに合成を行わせる。
【００４２】
そこで、本発明の一実施形態である撮像装置１２は、撮影時に得られた撮影時の重力方向と画像データの重力方向とが一致しない画像データを、撮影時の重力方向と画像データの重力方向とが一致する画像データに合成するため、撮像装置１２が有する画像合成部２ｅを使用して画像データの合成を行う。
【００４３】
ここで、画像データの合成の動作について、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ及び図１４に示すフローチャートを使用して説明する。画像データの合成が必要かつ可能であると判定したとき（ステップＳ１０７でＹＥＳのとき）、制御部２は、撮影時に得られた画像データの重力方向（図１２（ｃ）のＧ）を撮影時の重力方向（例えば下方向）と一致させる、例えば、図１３Ａ（ａ）に示す画像データの重力方向が撮像時の重力方向と異なる画像データを、図１３Ａ（ｂ）に示すようにして撮影画像データを傾ける（ステップＳ３０１）。続いて、制御部２は、図１３Ｂ（ａ）に示すように、傾けた後の撮影画像データＩ１と仮記録させている水平画像データＩ２との間の一致度が最も高くなるように両画像データを重ね合わせて、図１３Ｂ（ｂ）に示す合成画像データＩ３を得る（ステップＳ３０２）。例えば、図１３Ｂに示すように、両画像データの人物部Ｓの位置が合うように重ね合わせが行われる。画像データの重ね合わせを行った後、制御部２は、図１３Ｃ（ａ）に示すように水平画像データと撮影画像データとが重なっている部分にある水平画像データ部分を削除する（ステップＳ３０３）。例えば図１３Ｃ（ｂ）に示すように、人物部Ｓにおける水平画像データが削除されることにより、人物部Ｓについては撮影画像データのみが残る。そして、制御部２は、図１３Ｄ（ａ）に示すように、合成画像データを四角形状に切り出す。（ステップＳ３０４）その後、図１４の処理が終了される。例えば、図１３Ｄ（ｂ）では、破線で示される部分が削除されて最終的な合成画像データが得られる。
【００４４】
ところで、合成が不要若しくは不可能だったと判定したとき（ステップＳ１２７でＮＯのとき）、制御部２は、撮影により得られた画像データをそのまま記録する（ステップＳ１３０）。その後、処理がステップＳ１０８に移行する。
【００４５】
以上説明したように、本実施形態によれば、撮像装置１２の画角内に被写体が収まったと判定されるとき、撮像装置１２の制御部２は、画角内の被写体の顔部を含まない位置へ、補助光発光部７からガイド光を照射させる。ユーザは、ガイド光を視認することによって、たとえ、表示部３ｂを見ることが困難である状況であっても、被写体が画角内に収まっていることを視認できる。このガイド光は、撮像装置だけでなく、機器のリモコンなど特定の機器の操作部材にも応用できる。例えば、リモコンが本体機器の方向へ向いていないことを示す警告としてのガイド光を投射する撮像装置として応用される可能性がある。この警告としてのガイド光は本体機器へ向かって投射されるため、人の眼に直接飛び込まない。又は、ガイド光は、産業用、医療用装置の操作部材など、表示部を見ながら操作するコントロールボックスや据え置き機器の操作部位にもリモコンと同様に応用される可能性がある。若しくは、機器操作のガイドや警告を文字として投射面に投射する撮像装置として応用されれば、遠視又は老眼のユーザは大きく照射された文字の光を見ることで警告やガイドを判別可能となる。若しくは、ガイド光がブラインド操作を必要とする車載機器に応用されれば、ユーザは車載機器の操作をガイド光の表示を見ることによって即座に判断できる。
【００４６】
実施形態中では、機器の姿勢や撮像による顔検出結果について述べたが、撮像装置の姿勢としては、レバーの傾きやリモコンの向けた方向などを、この範疇に含めても良い。さらに、撮像して利用されるものは、顔に限らず、リモコンやコントロールボックスを向けた方向のモニタ画面に移された対象物や機器そのものを検出するようにしても良い。また、操作機器の上にガイド表示をバーチャルで出すような用途にも応用できる可能性がある。本発明は、このような表示部の確認に従った操作を前提とした機器への応用が考えられる。
【００４７】
また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部２に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【符号の説明】
【００４８】
１ａ…撮像光学系、  １ｂ…撮像部、  １ｃ…通信部、  ２…制御部、  ２ａ…顔検出部、  ２ｂ…画像処理部、  ２ｃ…表示制御部、  ２ｅ…画像合成部、  ２ｆ…補助光制御部、  ３ａ…タッチパネル、  ３ｂ…表示部、  ４…記録部、  ５…フラッシュ、  ６…操作判定部、  ７…補助光発光部、  ９…姿勢判定部、１１…外部通信部、  １２…撮像装置、  １０１ｂ…撮像素子、  １０１ｃ…ＡＤ変換回路、  １０１ｄ…支持部、１０１ｅ…ローパスフィルタ、  １０２ａ…画像処理ＩＣ、  １０２ｂ…表示制御ＩＣ、１０４ａ…コネクタ、  １０４ｂ…フレキシブルプリント基板、  １０４ｅ…コネクタ、  １０７…メインコンデンサ、  １０８…基板、  １０９…電池、  １１０…電源回路、  １１９…基板、  １２０…魚眼レンズ
【図１】
2015031832.tif 000003
【図２】
2015031832.tif 000004
【図３】
2015031832.tif 000005
【図４】
2015031832.tif 000006
【図５】
2015031832.tif 000007
【図６】
2015031832.tif 000008
【図７】
2015031832.tif 000009
【図８】
2015031832.tif 000010
【図９】
2015031832.tif 000011
【図１０】
2015031832.tif 000012
【図１１】
2015031832.tif 000013
【図１２】
2015031832.tif 000014
【図１３Ａ】
2015031832.tif 000015
【図１３Ｂ】
2015031832.tif 000016
【図１３Ｃ】
2015031832.tif 000017
【図１３Ｄ】
2015031832.tif 000018
【図１４】
2015031832.tif 000019