(57)【要約】【課題】より高品質な画像を得ることができるようにする。【解決手段】イン画像撮像部は、画像処理装置の表面側の方向にある被写体をイン画像として撮像し、アウト画像撮像部は、画像処理装置の裏面側の方向にある被写体をアウト画像として撮像する。信号処理部または制御部は、イン画像とアウト画像から得られる情報に基づいて、アウト画像撮像部の駆動またはアウト画像の画質調整を制御する。例えば、アウト画像から得られた動き情報と、イン画像から得られた動き情報とが合成され、その結果得られた動き情報に基づいてアウト画像の手振れ補正が行なわれる。このようにアウト画像とイン画像から得られる情報を利用すれば、より高品質な画像を得ることができる。本技術は、画像処理装置に適用することができる。【選択図】図２
2014160982.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向を撮影する第１の撮像部と、
前記第１の方向とは異なる第２の方向を撮影する第２の撮像部と、
前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成する制御情報生成部と
を備える画像処理装置。
【請求項２】
前記制御情報生成部は、前記第１の画像から得られた動き情報に基づいて、前記画像処理装置の動きを示す動き情報を前記制御情報として生成し、
前記制御情報に基づいて、前記第２の画像の前記画像処理装置による動きぶれを補正する補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記制御情報生成部は、前記第１の画像から得られた動き情報と、前記第２の画像から得られた動き情報とを合成することで、前記制御情報を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記第１の撮像部は、前記画像処理装置を操作するユーザ側の面に設けられており、
前記制御情報生成部は、前記第１の画像から得られる前記ユーザの視点位置に基づいて前記第２の画像の画角を変更するための前記制御情報を生成する
請求項１に記載の画像処理装置。
【請求項５】
前記制御情報生成部は、前記制御情報に基づいて前記第２の撮像部を制御し、前記第２の画像の画角を調整する
請求項４に記載の画像処理装置。
【請求項６】
前記制御情報生成部は、前記第２の撮像部のズーム倍率若しくは絞りを変更させるか、または前記第２の撮像部を傾斜させることで画角調整を行なう
請求項５に記載の画像処理装置。
【請求項７】
前記視点位置に基づいて前記第２の画像に対する画像変形を行なうことで、前記第２の画像の画角を調整する画像変形部をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
前記第１の撮像部は、前記画像処理装置を操作するユーザ側の面に設けられており、
前記制御情報生成部は、前記第１の画像から得られる前記ユーザの視線方向に基づいて、前記第２の撮像部の焦点調整、前記第２の画像の明るさ調整、または前記第２の画像のホワイトバランス調整を行なうための前記制御情報を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記第２の撮像部側の面に設けられた表示部をさらに備え、
前記制御情報生成部は、前記表示部を発光させて前記第２の画像の被写体に光を照射させるための前記制御情報を、前記第１の画像のホワイトバランス値と、前記第２の画像のホワイトバランス値とに基づいて生成する
請求項１に記載の画像処理装置。
【請求項１０】
前記第１の画像と、前記制御情報に基づいて前記表示部が発光している状態で撮影された前記第２の画像とを合成する合成部をさらに備える
請求項９に記載の画像処理装置。
【請求項１１】
第１の撮像部により第１の方向を撮影し、
第２の撮像部により前記第１の方向とは異なる第２の方向を撮影し、
前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成する
ステップを含む撮影制御方法。
【請求項１２】
第１の撮像部により第１の方向を撮影し、
第２の撮像部により前記第１の方向とは異なる第２の方向を撮影し、
前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および撮影制御方法、並びにプログラムに関し、特に、より高品質な画像を得ることができるようにした画像処理装置および撮影制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、２つのカメラが搭載されている撮像装置が知られている。このような撮像装置には、２つのカメラで同時に画像を撮影することができるものもある。
【０００３】
例えば、そのような撮像装置として、メインカメラで被写体を撮影しようとする場合に、サブカメラで撮影された撮影者の表情が変化したときにメインカメラでの撮影が行なわれるように制御するものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術では、サブカメラで得られる画像に基づいて、メインカメラによる撮影タイミングを制御することができるだけであり、より鮮鋭感のある画像や、より撮影者の視点に近い画像など、より高品質な画像を得ることができなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、より高品質な画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、第１の方向を撮影する第１の撮像部と、前記第１の方向とは異なる第２の方向を撮影する第２の撮像部と、前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成する制御情報生成部とを備える。
【０００８】
前記制御情報生成部には、前記第１の画像から得られた動き情報に基づいて、前記画像処理装置の動きを示す動き情報を前記制御情報として生成させ、前記制御情報に基づいて、前記第２の画像の前記画像処理装置による動きぶれを補正する補正部をさらに設けることができる。
【０００９】
前記制御情報生成部には、前記第１の画像から得られた動き情報と、前記第２の画像から得られた動き情報とを合成させることで、前記制御情報を生成させることができる。
【００１０】
前記第１の撮像部を、前記画像処理装置を操作するユーザ側の面に設け、前記制御情報生成部には、前記第１の画像から得られる前記ユーザの視点位置に基づいて前記第２の画像の画角を変更するための前記制御情報を生成させることができる。
【００１１】
前記制御情報生成部には、前記制御情報に基づいて前記第２の撮像部を制御させ、前記第２の画像の画角を調整させることができる。
【００１２】
前記制御情報生成部には、前記第２の撮像部のズーム倍率若しくは絞りを変更させるか、または前記第２の撮像部を傾斜させることで画角調整を行なわせることができる。
【００１３】
画像処理装置には、前記視点位置に基づいて前記第２の画像に対する画像変形を行なうことで、前記第２の画像の画角を調整する画像変形部をさらに設けることができる。
【００１４】
前記第１の撮像部を、前記画像処理装置を操作するユーザ側の面に設け、前記制御情報生成部には、前記第１の画像から得られる前記ユーザの視線方向に基づいて、前記第２の撮像部の焦点調整、前記第２の画像の明るさ調整、または前記第２の画像のホワイトバランス調整を行なうための前記制御情報を生成させることができる。
【００１５】
画像処理装置には、前記第２の撮像部側の面に設けられた表示部をさらに設け、前記制御情報生成部には、前記表示部を発光させて前記第２の画像の被写体に光を照射させるための前記制御情報を、前記第１の画像のホワイトバランス値と、前記第２の画像のホワイトバランス値とに基づいて生成させることができる。
【００１６】
画像処理装置には、前記第１の画像と、前記制御情報に基づいて前記表示部が発光している状態で撮影された前記第２の画像とを合成する合成部をさらに設けることができる。
【００１７】
本技術の一側面の撮影制御方法またはプログラムは、第１の撮像部により第１の方向を撮影し、第２の撮像部により前記第１の方向とは異なる第２の方向を撮影し、前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成するステップを含む。
【００１８】
本技術の一側面においては、第１の撮像部により第１の方向が撮影され、第２の撮像部により前記第１の方向とは異なる第２の方向が撮影され、前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報が生成される。
【発明の効果】
【００１９】
本技術の一側面によれば、より高品質な画像を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置の外観の構成例を示す図である。
【図２】画像処理装置の構成例を示す図である。
【図３】信号処理部の構成例を示す図である。
【図４】撮影処理を説明するフローチャートである。
【図５】動き情報について説明する図である。
【図６】動き情報について説明する図である。
【図７】手振れ補正について説明する図である。
【図８】画像処理装置の構成例を示す図である。
【図９】撮影処理を説明するフローチャートである。
【図１０】画角調整について説明する図である。
【図１１】信号処理部の構成例を示す図である。
【図１２】撮影処理を説明するフローチャートである。
【図１３】画角調整について説明する図である。
【図１４】焦点調整について説明する図である。
【図１５】信号処理部の構成例を示す図である。
【図１６】撮影処理を説明するフローチャートである。
【図１７】光源合わせについて説明する図である。
【図１８】信号処理部の構成例を示す図である。
【図１９】撮影処理を説明するフローチャートである。
【図２０】画像処理装置の外観の構成例を示す図である。
【図２１】画像処理装置の構成例を示す図である。
【図２２】撮影処理を説明するフローチャートである。
【図２３】撮影処理を説明するフローチャートである。
【図２４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２２】
〈第１の実施の形態〉
〈本技術の概要について〉
本技術は、例えば多機能型携帯電話機やデジタルカメラなど、互いに異なる方向を撮影可能な複数の撮像部を有する機器に関し、主となる撮像部で画像を撮影するときに、他の撮像部で撮影された画像から得られる情報に基づいて、撮影制御を行なうものである。
【００２３】
ここで行なわれる撮影制御は、例えば画角調整，被写体の照明などの撮像部の駆動制御や、手振れ補正，ホワイトバランス調整などの画像の画質調整等、撮影する画像に関する調整のための制御である。撮影制御には、画像が撮影された後、画像の記録までに行なわれる、記録用の最終的な画像を得るための画像処理の制御も含まれるものとする。本技術では、このような撮影制御を行なうことで、より高品質な画像を得ることができるようになる。
【００２４】
図１は、本技術を適用した多機能型携帯電話機等の画像処理装置の外観の構成例を示す図である。
【００２５】
図１では、矢印Ａ１１に示される画像処理装置１１の外観は、表面側、つまりユーザが画像処理装置１１を持って操作するときにユーザから見える側の外観を示している。また、矢印Ａ１２に示される画像処理装置１１の外観は、側面側、つまり矢印Ａ１１に示す画像処理装置１１を図中、左側または右側から見たときの外観を示している。さらに、矢印Ａ１３に示される画像処理装置１１の外観は、裏面側、つまり表面側とは反対側の面の外観を示している。
【００２６】
矢印Ａ１１に示すように、画像処理装置１１の表面側には画像等が表示される表示部２１が設けられており、表示部２１には、ユーザが入力操作を行なうためのタッチパネルが重畳されて設けられている。また、画像処理装置１１の表面における表示部２１の図中、上側には画像処理装置１１の表面側の方向にある被写体を撮影するイン画像撮像部２２も設けられている。したがって、イン画像撮像部２２により撮影される画像は殆どの場合、画像処理装置１１を操作しているユーザの画像となる。なお、以下、イン画像撮像部２２により撮影される画像をイン画像と呼ぶこととし、イン画像としてユーザの画像が撮影されるものとして説明を続ける。
【００２７】
さらに、矢印Ａ１３に示すように、画像処理装置１１の裏面には、画像処理装置１１の裏面側の方向にある被写体を撮影するアウト画像撮像部２３が設けられている。この例では、アウト画像撮像部２３は、イン画像撮像部２２の撮影方向とは反対方向を撮影するように設けられているが、イン画像撮像部２２とアウト画像撮像部２３は、互いに撮影方向が異なるように配置されていればよい。
【００２８】
アウト画像撮像部２３により撮影される画像は、通常、ユーザが見ている風景や人物などの画像、つまりユーザが撮影したいと考えている被写体の画像となる。以下、アウト画像撮像部２３により撮影される画像をアウト画像と呼ぶこととする。
【００２９】
画像処理装置１１では、アウト画像の撮影時に、アウト画像とともにイン画像を撮影し、これらの画像を利用してアウト画像の手振れ成分を除去することで、より鮮鋭感のあるアウト画像が得られるように撮影制御が行なわれる。つまり、アウト画像の撮影制御として手振れ補正が行なわれる。なお、この実施の形態では、アウト画像およびイン画像として、動画像が撮影されるものとする。
【００３０】
〈画像処理装置の構成例〉
次に、画像処理装置１１のより詳細な構成について説明する。
【００３１】
図２は、画像処理装置１１のより詳細な構成例を示すブロック図である。なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００３２】
図２に示す画像処理装置１１は、表示部２１、イン画像撮像部２２、アウト画像撮像部２３、操作入力部５１、制御部５２、信号処理部５３、および記録部５４から構成される。
【００３３】
操作入力部５１は、例えば表示部２１に重畳されて設けられたタッチパネルなどからなり、ユーザの操作に応じた信号を制御部５２に供給する。
【００３４】
制御部５２は、操作入力部５１から供給された信号に応じて、画像処理装置１１の全体の動作を制御する。例えば、制御部５２は、イン画像撮像部２２やアウト画像撮像部２３に画像の撮影を指示したり、信号処理部５３にアウト画像に対する各種の画像処理を指示したりする。また、制御部５２は、表示部２１に画像の表示を指示したり、記録部５４に画像の記録を指示したりする。
【００３５】
信号処理部５３は、アウト画像撮像部２３から供給されたアウト画像と、イン画像撮像部２２から供給されたイン画像とに基づいて、アウト画像に対する手振れ補正を行い、その結果得られたアウト画像を記録部５４に供給して記録させる。また、信号処理部５３は、記録部５４からアウト画像を読み出して表示部２１に供給し、表示させる。
【００３６】
記録部５４は、信号処理部５３から供給されたアウト画像を記録するとともに、必要に応じて記録しているアウト画像を信号処理部５３に供給する。
【００３７】
〈信号処理部の構成例〉
また、図２の信号処理部５３は、より詳細には図３に示すように構成される。
【００３８】
図３に示す信号処理部５３は、動き推定部８１、動き推定部８２、合成部８３、および手振れ補正部８４から構成される。
【００３９】
動き推定部８１は、アウト画像撮像部２３から供給されたアウト画像に対する動き推定を行なうことで、アウト画像撮影時における画像処理装置１１の動きを示す動き情報を生成し、合成部８３に供給する。
【００４０】
動き推定部８２は、イン画像撮像部２２から供給されたイン画像に対する動き推定を行なうことで、イン画像撮影時における画像処理装置１１の動きを示す動き情報を生成し、合成部８３に供給する。なお、イン画像は、アウト画像と同時に撮影が行なわれる。
【００４１】
合成部８３は、動き推定部８１から供給された動き情報と、動き推定部８２から供給された動き情報とを合成することで、アウト画像撮影時における最終的な画像処理装置１１の動きを示す動き情報を求め、手振れ補正部８４に供給する。
【００４２】
手振れ補正部８４は、合成部８３から供給された動き情報に基づいて、アウト画像撮像部２３から供給されたアウト画像に対する手振れ補正を行い、その結果得られたアウト画像を記録部５４に供給する。
【００４３】
〈撮影処理の説明〉
ところで、ユーザが操作入力部５１を操作することで、アウト画像とイン画像の同時撮影により、アウト画像の手振れ補正を行なうモードが選択され、アウト画像の撮影が指示されると、画像処理装置１１は撮影処理を行なって、アウト画像を撮影する。以下、図４のフローチャートを参照して、画像処理装置１１により行なわれる撮影処理について説明する。
【００４４】
ステップＳ１１において、アウト画像撮像部２３は、制御部５２の指示に従ってアウト画像を撮影し、動き推定部８１および手振れ補正部８４に供給する。例えばアウト画像として、風景画像などの動画像が撮影される。また、アウト画像の撮影時には、信号処理部５３は、アウト画像撮像部２３から供給されたアウト画像を表示部２１に供給し、表示させる。これにより、ユーザは必要に応じて表示部２１でアウト画像を確認しながら撮影を行なうことができる。
【００４５】
ステップＳ１２において、イン画像撮像部２２は、制御部５２の指示に従ってイン画像を撮影し、動き推定部８２に供給する。例えばイン画像として、画像処理装置１１を操作しているユーザの顔の動画像が撮影される。
【００４６】
ステップＳ１３において、動き推定部８１は、アウト画像撮像部２３から供給されたアウト画像に対する動き推定を行って画像処理装置１１の動き情報を生成し、合成部８３に供給する。
【００４７】
ステップＳ１４において、動き推定部８２は、イン画像撮像部２２から供給されたイン画像に対する動き推定を行って画像処理装置１１の動き情報を生成し、合成部８３に供給する。
【００４８】
ステップＳ１５において、合成部８３は、動き推定部８１から供給された動き情報と、動き推定部８２から供給された動き情報とを合成し、手振れ補正部８４に供給する。
【００４９】
具体的には、例えば上述したステップＳ１３乃至ステップＳ１５では、次のような処理が行なわれる。
【００５０】
すなわち、図５の矢印Ａ２１に示すように、複数の画像群、つまり各フレームの画像からなる動画像がアウト画像として得られたとする。ここで、矢印Ａ２１により示される各四角形はアウト画像の各フレームを表している。
【００５１】
このような複数のフレームから構成されるアウト画像が得られると、動き推定部８１は矢印Ａ２２に示すように、アウト画像を複数の局所領域に分割し、各局所領域の動きベクトルを求める。矢印Ａ２２により示される１つの四角形はアウト画像を表しており、そのアウト画像内の各四角形は、アウト画像上の局所領域を表している。さらに、各局所領域に記された矢印は、それらの局所領域の動きベクトルを表している。
【００５２】
局所領域の動きベクトルの算出には、例えばテンプレートマッチング手法のような、各時刻（フレーム）における画像の類似度によって被写体の移動量を求める手法などが用いられる。このようにして、アウト画像の局所領域ごとに動きベクトルが求まると、動き推定部８１は、各時刻におけるアウト画像の局所領域ごとの動きベクトルに基づいて、画像処理装置１１の動きベクトルＡを動き情報として算出する。
【００５３】
例えば、画像処理装置１１の動きベクトルＡは、ニュートン法によるアフィンパラメータ推定などの手法により算出される。
【００５４】
また、アウト画像における場合と同様に、イン画像に基づく動き情報の算出も行なわれる。すなわち、矢印Ａ２３に示す画像群がイン画像として得られると、動き推定部８２は、矢印Ａ２４に示すように、イン画像を複数の局所領域に分割し、テンプレートマッチングなどにより各局所領域の動きベクトルを求める。
【００５５】
なお、矢印Ａ２３により示される各四角形はイン画像の各フレームを表している。また、矢印Ａ２４により示される１つの四角形はイン画像を表しており、そのイン画像内の各四角形は局所領域を表している。さらに、各局所領域に記された矢印は、それらの局所領域の動きベクトルを表している。
【００５６】
動き推定部８２は、各時刻におけるイン画像の局所領域ごとの動きベクトルに基づいて、ニュートン法等により画像処理装置１１の動きベクトルＢを動き情報として算出する。
【００５７】
このようにしてイン画像から得られた動きベクトルＢは、図６に示すようにアウト画像から得られた動きベクトルＡに対して上下左右が反転したものとなることがある。
【００５８】
すなわち、図６に示すように画像処理装置１１の表面と垂直な方向、つまりアウト画像撮像部２３の撮影方向と平行な方向をＺ軸方向とし、Ｚ軸と垂直な軸をＸ軸およびＹ軸とする。ここで、Ｘ軸は画像処理装置１１の水平方向、つまり地平面と平行な方向の軸であり、Ｙ軸は鉛直方向と平行な方向の軸である。
【００５９】
アウト画像とイン画像をそれぞれ用いて、動きベクトルＡと動きベクトルＢを算出した場合、例えば図中、上側に示すように、画像処理装置１１の動きがＹ軸を回転軸とする回転の動きだけであるときには、動きベクトルＡと動きベクトルＢは同一方向となる。
【００６０】
これに対して、図中、下側に示すように画像処理装置１１の動きがＸ軸を回転軸とする回転の動きと、Ｚ軸を回転軸とする回転の動きだけである場合には、動きベクトルＡと動きベクトルＢの方向は上下左右が反転し、逆向きとなる。
【００６１】
なお、図中、右側において１つの四角形はアウト画像またはイン画像を表しており、それらの画像内の矢印は画像の動きベクトルを表している。
【００６２】
以上のようにして動き情報としての動きベクトルＡと動きベクトルＢが得られると、合成部８３は、動きベクトルＡと動きベクトルＢとを合成して動きベクトルＣとし、得られた動きベクトルＣを最終的な画像処理装置１１の動き情報とする。
【００６３】
具体的には、例えば合成部８３は次式（１）を計算することで、動きベクトルＣを算出する。
【００６４】
【数１】
2014160982.tif 000003
【００６５】
なお、式（１）においてａ１およびｂ１は、それぞれ動きベクトルＡおよび動きベクトルＢに対する重みとなる係数を示しており、ａ１＋ｂ１＝1.0を満たすように定められる。
【００６６】
例えばアウト画像撮像部２３とイン画像撮像部２２で露光時間が異なるように撮影を行い、より露光時間の短い方で得られた画像から求めた動きベクトルに対して、より大きな重みを付与するなど、動き推定の正確さに応じて係数ａ１，ｂ１が定められてもよい。ここで、より露光時間の短い画像から得られた動きベクトルに対して、より大きい重みを付与するのは、画像の撮影時における露光時間が短い方が、動被写体や手振れによるぼけが少なく、正確に動き推定を行なうことができるからである。
【００６７】
特に、アウト画像撮像部２３とイン画像撮像部２２とでは、撮影者であるユーザを撮影するイン画像撮像部２２の方が被写体までの距離が短いことが多い。そのため、イン画像の方がアウト画像よりも手振れによるぼけ（ぶれ）が少なく、より高精度に動き推定を行なうことができる。したがって、アウト画像よりもイン画像の露光時間をより短くし、係数ｂ１を係数ａ１より大きい値とするとより効果的である。
【００６８】
図４のフローチャートの説明に戻り、ステップＳ１５の処理により画像処理装置１１の動き情報が、手振れ補正のための制御情報として算出されると、その後、ステップＳ１６の処理が行なわれる。
【００６９】
ステップＳ１６において、手振れ補正部８４は、合成部８３から供給された動き情報に基づいて、アウト画像撮像部２３から供給されたアウト画像に対して手振れ補正を行い、その結果得られたアウト画像を記録部５４に供給する。
【００７０】
例えば、手振れ補正部８４は合成部８３から供給された動き情報としての動きベクトルＣに基づいて、アウト画像上の各局所領域内の特徴点の移動量を算出し、その移動量に基づいてアフィンパラメータを算出する。
【００７１】
より具体的には、図７中、上側に示すように時刻ｔ（フレームｔ）のアウト画像ＡＰ１１について、各局所領域の動きベクトルが画像処理装置１１の動き情報として得られているとする。なお、アウト画像ＡＰ１１内の各四角形は局所領域を表しており、各局所領域内の矢印は、その局所領域の動きベクトルを表している。
【００７２】
いま、図中、下側に示すようにアウト画像ＡＰ１１の各局所領域について特徴点が求められているとする。図中、下側では１つの円、より具体的には斜線の施されていない円は、時刻ｔにおける１つの特徴点を表しており、斜線の施されている円は時刻ｔ＋１の特徴点を表している。
【００７３】
このような場合、手振れ補正部８４は、動き情報としての動きベクトルＣ、つまり各局所領域の動きベクトルと、時刻ｔの各特徴点の位置から、時刻ｔ＋１における特徴点の位置を求める。そして、手振れ補正部８４は次式（２）および式（３）を満たす変形パラメータａ乃至ｌをアフィンパラメータとして求める。なお、ここではアウト画像ＡＰ１１上にＰ個の特徴点があるものとする。
【００７４】
【数２】
2014160982.tif 000004
【００７５】
【数３】
2014160982.tif 000005
【００７６】
なお、式（２）において、ｓ，ｔ，ｕを要素とするベクトルは、時刻ｔにおけるアウト画像ＡＰ１１の特徴点の座標を表している。つまり、ｓ，ｔ，ｕを要素とするベクトルは図７における斜線の施されていない円により表される特徴点の座標を示している。
【００７７】
また、式（３）において、Ｘ，Ｙ，Ｚを要素とするベクトルは、動き情報から求められた、時刻ｔ＋１におけるアウト画像ＡＰ１１の特徴点の座標を表している。つまり、Ｘ，Ｙ，Ｚを要素とするベクトルは図７における斜線の施されている円により表される特徴点の座標を示している。
【００７８】
さらに、式（３）は、図７における時刻ｔ＋１の特徴点が、時刻ｔの特徴点に重なるような画像変形、すなわちアフィン変換の変形式を示している。したがって、式（２）および式（３）において、ｘ，ｙ，ｚを要素とするベクトルは、時刻ｔ＋１におけるアウト画像ＡＰ１１の特徴点の座標に対して、アフィンパラメータを用いた画像変形を行なったときの変形後の特徴点の座標を示している。
【００７９】
変形パラメータａ乃至ｌの算出時には式（２）に示されるように、互いに対応がとれているＰ個の特徴点について、変形後の時刻ｔ＋１の特徴点の位置と、時刻ｔの特徴点の位置との差分、つまり変換誤差が最小となるように変形パラメータａ乃至ｌが求められる。
【００８０】
このようにしてアフィンパラメータが求められると、手振れ補正部８４は、求めたアフィンパラメータを用いて上述した式（３）に示す画像変形を行なうことで、アウト画像撮像部２３から供給された実際の時刻ｔ＋１のアウト画像を変形し、動き補正を行なう。すなわち、アウト画像から手振れ成分を除去して手振れ補正を行ない、その結果得られたアウト画像を記録部５４に供給する。なお、式（３）に示す画像変形（画像変換）による手振れ補正では、並進、拡大縮小、回転、および歪みの動きに対応することができる。
【００８１】
図４のフローチャートの説明に戻り、ステップＳ１６においてアウト画像に対する手振れ補正が行なわれると、処理はステップＳ１７に進む。
【００８２】
ステップＳ１７において、記録部５４は、制御部５２の制御に従って、手振れ補正部８４から供給されたアウト画像を記録して撮影処理は終了する。
【００８３】
以上のようにして、画像処理装置１１は、アウト画像とイン画像から画像処理装置１１の動き情報を求め、得られた動き情報に基づいてアウト画像の手振れ補正を行なう。
【００８４】
このように、アウト画像とイン画像の両方を用いることで、画像処理装置１１の動きをより高精度に推定することができ、アウト画像の撮影時に画像処理装置１１が複雑な動きをした場合でも、より高精度に画像処理装置１１の動きにより生じるぶれ成分を除去することができるようになる。すなわち、より鮮鋭感のある高品質なアウト画像を得ることができる。
【００８５】
換言すれば、画像処理装置１１では、２つの異なる方向を撮影して得られた画像の情報を用いて画像の撮影制御を行なうことで、１つの画像を撮影する場合よりも、より多くの情報を用いて撮影制御を行なうことができる。これにより、より高品質なアウト画像を得ることができる。
【００８６】
なお、以上においてはアウト画像に対する手振れ補正が行なわれる例について説明したが、同様の処理によって、イン画像の手振れ補正が行なわれ、その結果得られたイン画像が記録されるようにしてもよい。
【００８７】
〈第１の実施の形態の変形例１〉
〈画像処理装置の構成例〉
また、以上においては、アウト画像から得られた動きベクトルＡと、イン画像から得られた動きベクトルＢとを合成することで、動きベクトルＣを求めると説明したが、それらの動きベクトルの他に、センサで得られた動きベクトルも合成されるようにしてもよい。
【００８８】
そのような場合、画像処理装置１１は、例えば図８に示すように構成される。なお、図８において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８９】
図８に示す画像処理装置１１は、図２の画像処理装置１１にさらに動き検出部１１１が設けられた構成とされている。
【００９０】
動き検出部１１１は、例えば加速度センサやジャイロセンサから構成され、画像処理装置１１の動きを検出して、その検出結果を示す動きベクトルＤを動き情報として信号処理部５３の合成部８３に供給する。
【００９１】
ここで、図８の画像処理装置１１の信号処理部５３は、図３に示した信号処理部５３の構成とされる。信号処理部５３の合成部８３は、動き推定部８１から供給された動き情報、動き推定部８２から供給された動き情報、および動き検出部１１１から供給された動き情報を合成して、手振れ補正部８４に供給する。
【００９２】
〈撮影処理の説明〉
次に、図９のフローチャートを参照して、画像処理装置１１が図８に示す構成とされる場合に行なわれる撮影処理について説明する。なお、ステップＳ４１およびステップＳ４２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。
【００９３】
ステップＳ４３において、動き検出部１１１は画像処理装置１１の動きを検出し、その検出結果を示す動きベクトルＤを動き情報として合成部８３に供給する。
【００９４】
動きベクトルＤが算出されると、その後、ステップＳ４４およびステップＳ４５の処理が行なわれてアウト画像とイン画像に対して動き推定が行なわれるが、これらの処理は図４のステップＳ１３およびステップＳ１４の処理と同様であるので、その説明は省略する。
【００９５】
ステップＳ４６において、合成部８３は、動き推定部８１からの動き情報、動き推定部８２からの動き情報、および動き検出部１１１からの動き情報を合成し、手振れ補正部８４に供給する。具体的には、例えば合成部８３は次式（４）を計算することで、動きベクトルＣを算出する。
【００９６】
【数４】
2014160982.tif 000006
【００９７】
なお、式（４）において、ｃ１は動きベクトルＤに対する重みとなる係数を示しており、係数ａ１，ｂ１，ｃ１はａ１＋ｂ１＋ｃ１＝1.0を満たすように定められる。したがって、式（４）では、動き情報としての動きベクトルＡ、動きベクトルＢ、および動きベクトルＤが重み付き加算されて、最終的な画像処理装置１１の動き情報である動きベクトルＣとされる。
【００９８】
このようにして画像処理装置１１の動き情報が得られると、その後、ステップＳ４７およびステップＳ４８の処理が行なわれて撮影処理は終了するが、これらの処理は図４のステップＳ１６およびステップＳ１７の処理と同様であるので、その説明は省略する。
【００９９】
以上のようにして、画像処理装置１１は、アウト画像とイン画像から求めた動き情報と、動き検出部１１１で得られた動き情報を合成し、その結果得られた動き情報に基づいてアウト画像の手振れ補正を行なう。
【０１００】
このように、アウト画像やイン画像から得られた動き情報だけでなく、動き検出部１１１で得られた動き情報も用いることで、画像処理装置１１の動きをさらに高精度に推定することができる。これにより、手振れ補正によって、より高精度にぶれ成分を除去することができ、より高品質なアウト画像を得ることができる。
【０１０１】
〈第２の実施の形態〉
〈信号処理部の構成例〉
さらに、以上においては、撮影制御としてアウト画像の手振れ補正を行なう例について説明したが、アウト画像の画角調整が撮影制御として行なわれるようにしてもよい。
【０１０２】
そのような場合、例えば図１０に示すように撮影者であるユーザの視線方向に応じてアウト画像の画角調整が行なわれる。
【０１０３】
具体的には矢印Ａ３１に示すように、通常、ユーザＵ１１が被写体Ｈ１１と被写体Ｈ１２のある方向に画像処理装置１１のアウト画像撮像部２３を向けて、目的とする被写体を撮影する場合、ユーザＵ１１は表示部２１に表示される画像を見ながら撮影を行なう。したがって、実際にアウト画像を撮影するアウト画像撮像部２３の位置は、被写体を見ているユーザＵ１１の視点位置ＰＥ１１とは異なる位置となり、必ずしもユーザＵ１１の意図している画像が得られないことがあった。
【０１０４】
この例では、直線ＡＧ１１はアウト画像撮像部２３の画角、つまり撮影範囲を示しており、その撮影範囲内の領域には２つの被写体Ｈ１１および被写体Ｈ１２が含まれている。そのため、アウト画像撮像部２３により撮影されるアウト画像には、矢印Ａ３２に示すように、それらの被写体Ｈ１１と被写体Ｈ１２が写っている。このようなアウト画像が表示部２１に表示されることになるので、ユーザＵ１１は、表示部２１を見ながら撮影を行なうことになる。
【０１０５】
しかしながら、実際にはユーザＵ１１は、被写体Ｈ１１と被写体Ｈ１２の両方を撮影したいとは限らない。この例ではユーザＵ１１は、図中、上側に示すように表示部２１の画面を通して被写体Ｈ１１を見ているので、被写体Ｈ１１に注目している可能性が高い。図１０では、点線ＡＧ１２はユーザＵ１１の視線、つまり視野の範囲を示しており、ユーザＵ１１の視線は被写体Ｈ１１方向を向いている。
【０１０６】
そこで、画像処理装置１１は、アウト画像撮像部２３の画角制御をアウト画像の撮影制御として行なう。例えば画像処理装置１１は、アウト画像撮像部２３の撮影範囲が直線ＡＧ１３に示す範囲となるように、アウト画像撮像部２３の画角を調整する。
【０１０７】
画角の調整は、例えばアウト画像撮像部２３のズーム倍率や絞りを変更したり、アウト画像撮像部２３、より詳細にはアウト画像撮像部２３内の撮像ユニットを傾けたり、アウト画像に対する画像変形を行なったりすることで実現される。
【０１０８】
アウト画像撮像部２３の画角調整、つまりアウト画像の画角調整を行なうと、矢印Ａ３３に示すように、アウト画像には被写体Ｈ１１のみが含まれるようになる。すなわち、アウト画像撮像部２３の撮影範囲が、ユーザＵ１１の視点位置ＰＥ１１から見える視野範囲と近いものとなる。これにより、ユーザＵ１１の視点により近く、ユーザＵ１１が意図する画像に近い画像、つまりより高品質な画像が得られるようになる。
【０１０９】
このように撮影制御としてアウト画像の画角調整が行なわれる場合、図２に示した画像処理装置１１の信号処理部５３は、図１１に示すように構成される。
【０１１０】
図１１に示す信号処理部５３は、位置算出部１４１および画角変換処理部１４２から構成される。
【０１１１】
位置算出部１４１は、イン画像撮像部２２から供給されたイン画像に基づいて、画像処理装置１１を操作するユーザ、すなわち撮影者の視点位置を算出し、画角変換処理部１４２に供給する。
【０１１２】
画角変換処理部１４２は、位置算出部１４１から供給された視点位置に基づいて、アウト画像の画角調整に必要な情報を算出し、制御部５２に供給する。制御部５２は、画角変換処理部１４２からの情報に基づいて、アウト画像撮像部２３を制御するための制御情報を生成する。そして、制御部５２は、その制御情報に基づいてアウト画像撮像部２３のズーム倍率や絞りを変更したり、アウト画像撮像部２３の撮像ユニットを傾斜させたりすることで、画角調整を行なう。
【０１１３】
また、画角変換処理部１４２は画像変形部１５１を有しており、画像変形部１５１は、位置算出部１４１からの視点位置に応じて、アウト画像撮像部２３からのアウト画像に対する画像変形を行なうことでアウト画像の画角を変換し、表示部２１および記録部５４に供給する。
【０１１４】
〈撮影処理の説明〉
次に、図１２のフローチャートを参照して信号処理部５３が図１１に示す構成とされる場合に画像処理装置１１により行なわれる撮影処理について説明する。
【０１１５】
なお、この撮影処理は、アウト画像の画角調整を行ないながら撮影を行なうモードがユーザにより選択され、アウト画像の撮影開始が指示された場合に行なわれる。
【０１１６】
また、ステップＳ７１およびステップＳ７２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ７１で撮影されたアウト画像は画角変換処理部１４２に供給され、ステップＳ７２で撮影されたイン画像は位置算出部１４１に供給される。
【０１１７】
ステップＳ７３において、位置算出部１４１は、イン画像撮像部２２から供給されたイン画像に基づいて、ユーザの視点位置を算出する。
【０１１８】
例えば位置算出部１４１は、イン画像からユーザの顔や目を検出することで、イン画像撮像部２２からユーザの目の位置、つまり視点位置までの距離や、視点位置の高さ、イン画像撮像部２２に対する視点位置の左右のずれ量を算出し、視点位置を求める。このようにして得られる視点位置は、３次元位置、つまり所定の位置を基準とする３次元座標系におけるユーザの視点の位置である。なお、イン画像におけるユーザの黒目の位置からユーザの視線方向を求めるようにしてもよい。
【０１１９】
ステップＳ７４において、制御部５２は、画角変換処理部１４２から供給される情報に基づいて、アウト画像撮像部２３の画角を変更するための制御情報を生成する。
【０１２０】
ステップＳ７５において、制御部５２は、生成した制御情報に基づいて、アウト画像撮像部２３を制御し、アウト画像の画角調整を行なう。具体的には、制御部５２は、アウト画像撮像部２３のズーム倍率や絞りを変更したり、アウト画像撮像部２３の撮像ユニットを傾斜させたりすることで、画角調整を行なう。
【０１２１】
これにより、アウト画像撮像部２３から画角変換処理部１４２には、ある程度画角調整が行なわれたアウト画像が供給されるようになる。
【０１２２】
ステップＳ７６において、画像変形部１５１は、位置算出部１４１から供給された視点位置に基づいて、アウト画像撮像部２３から供給されたアウト画像に対する画像変形を行なうことでアウト画像の画角を調整し、表示部２１および記録部５４に供給する。
【０１２３】
ここで、上述したステップＳ７４乃至ステップＳ７６の処理について、より具体的に説明する。
【０１２４】
例えば、図１３の上側に示すように、アウト画像の撮影時において、撮影者であるユーザＵ１１が常に表示部２１の表示画面中心を見ていると仮定すると、ユーザＵ１１の視点位置ＰＥ１１と、表示部２１の表示画面の位置とからユーザＵ１１の視線方向が求まる。図１３の上側では、視点位置ＰＥ１１と画像処理装置１１とを結ぶ点線が、ユーザＵ１１の視線を表している。なお、図１３において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２５】
画角変換処理部１４２は、ステップＳ７４において、視点位置ＰＥ１１と表示部２１の位置からユーザＵ１１の視線方向を求める。さらに、画角変換処理部１４２は、求めた視線方向と視点位置ＰＥ１１に基づいてアウト画像撮像部２３を視点位置ＰＥ１１に仮想的に移動させた場合に、どのようなアウト画像が得られるかを求める。
【０１２６】
いま、図中、上側の矢印Ｑ１１に示すように、アウト画像撮像部２３を仮想的に、ユーザＵ１１の視点位置ＰＥ１１に移動させたとする。この例では、アウト画像撮像部２３の位置、視点位置ＰＥ１１、およびユーザＵ１１の視線方向から、アウト画像撮像部２３の視点位置ＰＥ１１への移動量や、アウト画像撮像部２３の回転量などを算出することができる。
【０１２７】
そのため、画角変換処理部１４２では、所定の３次元空間上の点がアウト画像撮像部２３の移動前の表示部２１の表示画面におけるどの位置に投影されて、アウト画像撮像部２３の移動後には、表示部２１の表示画面のどの位置に投影されるかが一意に求まる。
【０１２８】
そこで、画角変換処理部１４２は、アウト画像から推定により、３以上の被写体の３次元位置、つまり３次元空間上の位置を求め、求められた３以上の点の３次元位置に基づいて、上述した式（３）に示した２つの画像間のアフィンパラメータを算出する。
【０１２９】
なお、投影点の移動前後の位置を求める技術は、例えば「Multiple View Geometry in Computer Vision, Richard Hartley and Andrew Zisserman,Cambridge University Press, March 2004.」などに記載されている。
【０１３０】
このようにして、アウト画像撮像部２３を視点位置ＰＥ１１に移動させたときに得られる画像にアウト画像を変換するためのアフィンパラメータが得られると、そのアフィンパラメータに基づいて画角調整が行なわれる。
【０１３１】
例えば、画角変換処理部１４２は、求めたアフィンパラメータを制御部５２に供給する。すると、制御部５２は、画角変換処理部１４２からのアフィンパラメータを利用して、アウト画像撮像部２３の画角、すなわちアウト画像の画角を変更するための制御情報を生成する。ここで、制御情報は、例えばアウト画像撮像部２３のズーム倍率と絞りの変更量や、アウト画像撮像部２３内の撮像ユニットの傾斜角度を示す情報とされる。制御部５２は、この制御情報に基づいてアウト画像撮像部２３を制御し、画角調整を行なう。
【０１３２】
また、画像変形部１５１は、アフィンパラメータを利用して、アウト画像に対する画像変形を行い、アウト画像の画角を調整する。つまり、画像変形部１５１では、アウト画像に対する信号処理（変形処理）によって、画角の調整が行なわれる。
【０１３３】
ここで、アフィンパラメータでは、並進や回転成分を求めることができる。したがって、例えば図６に示したＺ軸方向の並進に対してはズームにより対応し、図６に示したＸ軸方向の回転に対しては撮像ユニットの傾斜により対応して、それ以外の画角調整については画像変形により対応すればよい。なお、Ｘ軸方向の回転に対しては、Ｘ軸を回転軸として撮像ユニットを回転させることで、撮像ユニットを傾斜させればよい。
【０１３４】
このような画角調整により、図１３の下側に示すように、あたかもアウト画像撮像部２３が、撮影者であるユーザＵ１１の視点位置ＰＥ１１にあるかのようなアウト画像を得ることができるようになる。
【０１３５】
この例では、アウト画像ＡＰ２１は、画角調整前にアウト画像撮像部２３により撮影されたアウト画像を示しており、このアウト画像ＡＰ２１では、被写体Ｈ１１上の点ＨＰ１１はアウト画像ＡＰ２１における中央下側に投影されている。
【０１３６】
これに対して、アウト画像ＡＰ２２は、画角調整後にアウト画像撮像部２３により撮影され、さらに画像変形部１５１により画像変形が施されて得られたアウト画像を示している。このアウト画像ＡＰ２２では、被写体Ｈ１１上の点ＨＰ１１はアウト画像ＡＰ２２における中央上側に投影されている。
【０１３７】
このように、アウト画像の画角調整を行なえば、ユーザＵ１１が表示部２１を介して実際の被写体Ｈ１１を見ているかのようなアウト画像、つまりよりユーザＵ１１の視点に近い、高品質なアウト画像を得ることができる。
【０１３８】
図１２のフローチャートの説明に戻り、アウト画像の画角調整が行なわれ、その結果得られたアウト画像が表示部２１と記録部５４に供給されると、処理はステップＳ７６からステップＳ７７へと進む。
【０１３９】
ステップＳ７７において、表示部２１は、画角変換処理部１４２から供給された、画角調整後のアウト画像を表示する。
【０１４０】
ステップＳ７８において、記録部５４は、画角変換処理部１４２から供給された、画角調整後のアウト画像を記録して、撮影処理は終了する。
【０１４１】
以上のようにして、画像処理装置１１は、イン画像に基づいてユーザの視点位置を求め、その視点位置に基づいてアウト画像の画角調整を行なう。このように、アウト画像の画角調整を行なうことで、ユーザの視線に応じたアウト画像を得ることができる。すなわち、ユーザの視点に近い、より高品質なアウト画像を得ることができる。
【０１４２】
なお、以上においては、ズーム倍率や絞りの調整など、アウト画像撮像部２３による画角調整と、画像変形部１５１の画像変形による画角調整の両方が行なわれる例について説明したが、何れか一方の画角調整のみが行なわれるようにしてもよい。
【０１４３】
〈第３の実施の形態〉
〈信号処理部の構成例〉
また、イン画像からユーザの視点方向を検出し、その視線方向により求まるアウト画像上のユーザの注視位置に対して焦点や明るさ、ホワイトバランスなどを合わせる制御を撮影制御として行なうようにしてもよい。
【０１４４】
そのような場合、例えば図１４の矢印Ａ４１に示すように、画像処理装置１１では、撮影者であるユーザＵ１１の画像をイン画像として撮影し、イン画像に基づいてユーザＵ１１の視点位置ＰＥ１１を求める。なお、図１４において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１４５】
この例では、ユーザＵ１１は、２つの被写体Ｈ１１と被写体Ｈ１２にアウト画像撮像部２３を向けてアウト画像の撮影を行なっている。このとき、画像処理装置１１のユーザＵ１１側の面（表面）に設けられた表示部２１には、アウト画像撮像部２３により取り込まれた画像がアウト画像のプレビュー画像として表示される。
【０１４６】
ユーザＵ１１は、表示部２１に表示されるプレビュー画像を見ながら撮影を指示し、アウト画像を撮影させる。図１４では、視点位置ＰＥ１１から画像処理装置１１に向かう点線の矢印はユーザＵ１１の視線を表している。
【０１４７】
画像処理装置１１は、イン画像から視点位置ＰＥ１１を求めると、その視点位置ＰＥ１１を用いてユーザＵ１１の視線方向を求め、さらに矢印Ａ４２に示すように視線方向からアウト画像上のユーザＵ１１の注視位置を特定する。
【０１４８】
矢印Ａ４２に示す画像処理装置１１では、表示部２１にアウト画像、より詳細にはアウト画像のプレビュー画像が表示されており、被写体Ｈ１１上の星印の位置がユーザＵ１１の注視位置となっている。この注視位置は、ユーザＵ１１の視線と表示部２１の表示画面との交点の位置であり、ユーザＵ１１が注目しているアウト画像上の領域の位置である。
【０１４９】
アウト画像上のユーザＵ１１の注視位置が求まると、画像処理装置１１は撮影制御として、アウト画像上の注視位置にある被写体Ｈ１１に焦点が合うように、アウト画像撮像部２３を制御する。また、画像処理装置１１は、アウト画像上の注視位置にある被写体Ｈ１１が適切な明るさ（露出）およびホワイトバランスとなるように、明るさ調整やホワイトバランス調整を行なう。
【０１５０】
これにより、図中、右下に示すようにアウト画像において、被写体Ｈ１１に焦点が合うとともに、被写体Ｈ１１の明るさやホワイトバランスが適切なものとなる。つまり、ユーザＵ１１が注目している被写体を基準として焦点合わせや明るさ調整、ホワイトバランス調整が行なわれた、より高品質なアウト画像が得られるようになる。
【０１５１】
このように、ユーザの注視領域を基準として焦点や明るさなどの調整を行なう場合、図２に示した画像処理装置１１の信号処理部５３は、例えば図１５に示すように構成される。図１５に示す信号処理部５３は、視線方向算出部１８１および注視位置算出部１８２から構成される。
【０１５２】
視線方向算出部１８１は、イン画像撮像部２２から供給されたイン画像に基づいて、画像処理装置１１を操作しているユーザの視線方向を算出し、注視位置算出部１８２に供給する。
【０１５３】
注視位置算出部１８２は、視線方向算出部１８１から供給された視線方向に基づいて注視位置を求め、制御部５２に供給する。制御部５２は、注視位置算出部１８２からの注視位置に基づいてアウト画像の注視位置の被写体に焦点が合い、かつ注視位置の被写体に適した露出（明るさ）およびホワイトバランスとなるように制御情報を生成する。そして、制御部５２は、生成した制御情報に基づいてアウト画像撮像部２３を制御する。
【０１５４】
〈撮影処理の説明〉
次に、図１６のフローチャートを参照して、信号処理部５３が図１５に示した構成とされる場合に行なわれる撮影処理について説明する。なお、ステップＳ１０１およびステップＳ１０２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様であるのでその説明は省略する。
【０１５５】
ステップＳ１０３において、視線方向算出部１８１は、イン画像撮像部２２から供給されたイン画像に基づいて、撮影者であるユーザの視線方向を算出し、注視位置算出部１８２に供給する。例えば、視線方向算出部１８１は図１２のステップＳ７３の処理と同様の処理を行なって、ユーザの視点位置を求めるとともに、その視点位置からユーザの視線方向を求める。例えばイン画像上からユーザの顔と目の位置が検出されて視点位置が算出され、その視点位置と、イン画像上のユーザの黒目の位置とから視線方向が特定される。
【０１５６】
ステップＳ１０４において、注視位置算出部１８２は、視線方向算出部１８１から供給された視線方向と視点位置に基づいて注視位置を求め、制御部５２に供給する。例えば、注視位置算出部１８２は、ユーザの視線方向と、ユーザの視点位置および表示部２１の位置とからアウト画像上の注視位置を求める。
【０１５７】
ステップＳ１０５において、制御部５２は、注視位置算出部１８２から供給された注視位置に基づいて、アウト画像撮像部２３の焦点調整、明るさ調整、およびホワイトバランス調整のための制御情報を生成する。
【０１５８】
例えば、制御部５２は、注視位置に基づいて、焦点が注視位置にある被写体に合い、かつその被写体の明るさおよびホワイトバランスが最適となるような焦点調整、露出調整、およびホワイトバランス調整が行なわれる制御情報を生成する。
【０１５９】
ステップＳ１０６において、制御部５２は、制御情報に基づいてアウト画像撮像部２３を制御して、焦点位置、明るさ、およびホワイトバランスの調整を行なう。これにより、ユーザの注視位置の被写体に焦点が合い、その被写体の明るさおよびホワイトバランスが適切に調整されたアウト画像が、アウト画像撮像部２３から信号処理部５３に供給されるようになる。さらに、信号処理部５３は、アウト画像撮像部２３から供給されたアウト画像を表示部２１および記録部５４に供給する。
【０１６０】
なお、ここではアウト画像撮像部２３において、明るさ調整とホワイトバランス調整が行なわれる例について説明したが、これらの明るさ調整やホワイトバランス調整が信号処理部５３で行なわれるようにしてもよい。
【０１６１】
ステップＳ１０７において、表示部２１は信号処理部５３から供給されたアウト画像を表示する。そして、ステップＳ１０８において、記録部５４は、信号処理部５３から供給されたアウト画像を記録して撮影処理は終了する。
【０１６２】
以上のようにして、画像処理装置１１は、イン画像から得られるユーザの視線方向に基づいて、ユーザが注目しているアウト画像の注視位置を特定し、その注視位置に基づいて焦点調整や明るさ調整を行なう。これにより、ユーザが注目している被写体にピントがあい、かつその被写体の明るさやホワイトバランスが適切な、より高品質なアウト画像を得ることができる。しかも、この場合、ユーザは特に操作入力を行なうことなく、焦点や明るさが適切に調整されるので、利便性を向上させることができる。
【０１６３】
〈第４の実施の形態〉
〈信号処理部の構成例〉
さらに、以上においてはアウト画像の撮影制御を行なう例について説明したが、イン画像とアウト画像とに基づいて、イン画像の撮影制御が行なわれるようにしてもよい。
【０１６４】
具体的には、例えば図１７に示すように、撮影者であるユーザＵ２１が画像処理装置１１のアウト画像撮像部２３を部屋の中から外に向け、夕焼けの風景をアウト画像Ｐ３１として撮影するとともに、ユーザＵ２１をイン画像として撮影したとする。そして、画像処理装置１１において、アウト画像Ｐ３１上にイン画像が合成され、その結果得られた合成画像がユーザＵ２１の目的とする最終的な画像として得られるとする。
【０１６５】
この場合、部屋の中と外では撮影の際に被写体に照射される光の光源が異なる。すなわち、アウト画像Ｐ３１のホワイトバランスと、イン画像のホワイトバランスが一致しない。そのため、単純にアウト画像にイン画像を合成すると、例えば合成画像Ｐ３２のようにイン画像上のユーザＵ２１と背景との色のバランスが不自然な画像が得られることがある。この例では、合成画像Ｐ３２の背景（風景）は暗い色となっているが、ユーザＵ２１は室内で撮影されたため明るい色となっている。
【０１６６】
そこで、画像処理装置１１は、アウト画像Ｐ３１の撮影時にイン画像を予備的に撮影しておき、得られたアウト画像Ｐ３１とイン画像のホワイトバランス値を求める。そして、画像処理装置１１は、そのホワイトバランス値に基づいて、イン画像とアウト画像Ｐ３１の色合いが同じとなるように表示部２１を発光させる。つまり、画像処理装置１１は、これから撮影しようとするイン画像のホワイトバランスをアウト画像Ｐ３１のホワイトバランスに合わせるための光源色を求め、その光源色で表示部２１を発光させ、再度、イン画像を撮影する。そして、画像処理装置１１は、既に撮影したアウト画像Ｐ３１と、再度撮影したイン画像とを合成し、合成画像Ｐ３３とする。
【０１６７】
イン画像の再撮影時には、表示部２１の発光により被写体としてのユーザＵ２１に適切な光が照射される。そのため、イン画像はアウト画像Ｐ３１が撮影される場合と同じ光源下で撮影されることになり、得られたイン画像上のユーザＵ２１の色合いは、背景であるアウト画像Ｐ３１と同じ色合いとなる。すなわち、アウト画像Ｐ３１とイン画像のホワイトバランスが一致するようになる。これにより、撮影後に画像に対するホワイトバランス調整を行なうことなく、自然な色合いの合成画像Ｐ３３を得ることができる。
【０１６８】
このように、アウト画像とイン画像のホワイトバランス値に基づいてイン画像の撮影制御を行なうことで、アウト画像とイン画像の光源を合わせて自然な色合いの合成画像、すなわちより高品質な合成画像を得ることができる。このような撮影制御は、特に蛍光灯などで照らされた室内から太陽の下の屋外を撮影し、屋内で撮影されたイン画像と、屋外を撮影したアウト画像とを合成する場合などに効果的である。
【０１６９】
このような撮影制御が行なわれる場合、図２の画像処理装置１１の信号処理部５３は、例えば図１８に示すように構成される。
【０１７０】
図１８に示す信号処理部５３は、ホワイトバランス算出部２１１、ホワイトバランス算出部２１２、光源色算出部２１３、および合成部２１４から構成される。
【０１７１】
ホワイトバランス算出部２１１は、アウト画像撮像部２３から供給されたアウト画像のホワイトバランス値を算出し、光源色算出部２１３に供給する。ホワイトバランス算出部２１２は、イン画像撮像部２２から供給されたイン画像のホワイトバランス値を算出し、光源色算出部２１３に供給する。
【０１７２】
光源色算出部２１３はホワイトバランス算出部２１１およびホワイトバランス算出部２１２から供給されたホワイトバランス値に基づいて、イン画像のホワイトバランスをアウト画像のホワイトバランスに合わせるための光源色情報を算出し、制御部５２に供給する。制御部５２は、光源色算出部２１３からの光源色情報に基づいて、表示部２１を発光させるための制御情報を生成する。
【０１７３】
合成部２１４は、アウト画像撮像部２３からのアウト画像と、イン画像撮像部２２からのイン画像とを合成して合成画像を生成し、記録部５４に供給する。
【０１７４】
〈撮影処理の説明〉
ところで、ユーザが操作入力部５１を操作することで、アウト画像とイン画像を合成して合成画像を生成するモードを選択し、撮影の開始を指示すると、画像処理装置１１は撮影処理を開始して合成画像を生成する。以下、図１９のフローチャートを参照して、信号処理部５３が図１８に示す構成とされる場合に行なわれる撮影処理について説明する。
【０１７５】
なお、ステップＳ１３１およびステップＳ１３２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ１３１およびステップＳ１３２では、アウト画像およびイン画像として静止画像が撮影される。特にステップＳ１３２で撮影されるイン画像は、光源色情報を生成するために撮影されるものであり、アウト画像への合成には用いられない。
【０１７６】
また、アウト画像は、アウト画像撮像部２３からホワイトバランス算出部２１１および合成部２１４に供給され、イン画像は、イン画像撮像部２２からホワイトバランス算出部２１２および合成部２１４に供給される。
【０１７７】
ステップＳ１３３において、ホワイトバランス算出部２１１は、アウト画像撮像部２３から供給されたアウト画像のホワイトバランス値を算出し、光源色算出部２１３に供給する。例えば、ホワイトバランス算出部２１１は、アウト画像のＲ（赤）の画素のホワイトバランス値Ｗｒ１と、Ｂ（青）の画素のホワイトバランス値Ｗｂ１とを算出する。
【０１７８】
ステップＳ１３４において、ホワイトバランス算出部２１２は、イン画像撮像部２２から供給されたイン画像のホワイトバランス値を算出し、光源色算出部２１３に供給する。例えば、ホワイトバランス算出部２１２は、イン画像のＲ（赤）の画素のホワイトバランス値Ｗｒ２と、Ｂ（青）の画素のホワイトバランス値Ｗｂ２とを算出する。
【０１７９】
ステップＳ１３５において、光源色算出部２１３は、ホワイトバランス算出部２１１からのホワイトバランス値と、ホワイトバランス算出部２１２からのホワイトバランス値とに基づいて、アウト画像とイン画像の光源が同じであるか否かを判定する。
【０１８０】
例えば、光源色算出部２１３は、アウト画像とイン画像のホワイトバランス値が同じである場合、つまりＷｒ１＝Ｗｒ２であり、かつＷｂ１＝Ｗｂ２である場合、光源が同じであると判定する。
【０１８１】
ステップＳ１３５において、光源が同じでないと判定された場合、つまり光源が異なる場合、処理はステップＳ１３６に進む。
【０１８２】
ステップＳ１３６において、光源色算出部２１３は、アウト画像とイン画像のホワイトバランス値に基づいて、イン画像のホワイトバランスをアウト画像のホワイトバランスに合わせるための光源色情報を生成し、制御部５２に供給する。
【０１８３】
例えば、光源色算出部２１３は次式（５）の計算を行なって、表示部２１を発光させるときのＲ，Ｇ，Ｂの各色合いの関係を示す光源色情報を生成する。すなわち、式（５）の関係を示す情報が光源色情報とされる。
【０１８４】
【数５】
2014160982.tif 000007
【０１８５】
ステップＳ１３７において、制御部５２は、光源色算出部２１３から供給された光源色情報に基づいて、光源色情報により示される色合いで表示部２１を発光させるための制御情報を生成し、制御情報に基づいて表示部２１の発光制御を行なう。すなわち、制御部５２は、式（５）に示す色合いで表示部２１を発光させる。
【０１８６】
ステップＳ１３７の処理が行なわれたか、またはステップＳ１３５において光源が同じであると判定された場合、ステップＳ１３８において、イン画像撮像部２２はイン画像を撮影し、ホワイトバランス算出部２１２および合成部２１４に供給する。
【０１８７】
例えば、ステップＳ１３７において表示部２１を発光させた場合、その発光により被写体としてのユーザには、室内の蛍光灯などのもとからある光源からの光と、表示部２１からの光とが照射され、結果的にアウト画像の光源と等価な光源下でイン画像が撮影される。すなわち、ステップＳ１３８での撮影により、ステップＳ１３１で得られたアウト画像と同じホワイトバランスのイン画像が得られるようになる。
【０１８８】
また、例えばステップＳ１３５で光源が同じであると判定された場合には、表示部２１は発光されないが、この場合、特に表示部２１を発光させなくてもアウト画像とイン画像は同じ光源下で撮影される。つまり、ステップＳ１３８で撮影されたイン画像のホワイトバランスと、ステップＳ１３１で撮影されたアウト画像のホワイトバランスは一致することになる。
【０１８９】
ステップＳ１３９において、合成部２１４は、アウト画像撮像部２３から供給されたアウト画像と、イン画像撮像部２２から供給されたイン画像とを合成して合成画像とし、記録部５４に供給する。ここでは、ステップＳ１３１で得られたアウト画像と、ステップＳ１３８で得られたイン画像とが合成され、合成画像とされる。
【０１９０】
なお、アウト画像とイン画像の光源が同じである場合には、ステップＳ１３８の処理は行なわれず、ステップＳ１３１で得られたアウト画像と、ステップＳ１３２で得られたイン画像とが合成されるようにしてもよい。
【０１９１】
ステップＳ１４０において、記録部５４は合成部２１４から供給された合成画像を記録して、撮影処理は終了する。
【０１９２】
以上のようにして、画像処理装置１１は、アウト画像とイン画像のホワイトバランス値に基づいてアウト画像とイン画像のホワイトバランスが一致するように表示部２１を発光させる。そして、画像処理装置１１は、再度、イン画像を撮影し、得られたイン画像とアウト画像とを合成することで合成画像を生成する。
【０１９３】
このように、表示部２１を適切な色合いで発光させてイン画像のホワイトバランスをアウト画像のホワイトバランスに合わせることで、より自然な色合いの合成画像を得ることができる。すなわち、より高品質な合成画像を得ることができる。
【０１９４】
画像処理装置１１では、イン画像を撮影するイン画像撮像部２２と同じ面に設けられた表示部２１を適切な色で発光させる（適切な色の画像を表示させる）ことで、アウト画像とイン画像のホワイトバランスを一致させることができる。すなわち、アウト画像とイン画像の光源を仮想的に一致させることができる。これにより、アウト画像とイン画像の光源が異なるときであっても、同じ光源下で撮影したかのような画像を得ることができ、より自然な色合いの合成画像を得ることができるようになる。
【０１９５】
〈第５の実施の形態〉
〈画像処理装置の外観構成例〉
なお、以上においては、図１に示したように画像処理装置１１の表面側にのみ表示部２１が設けられる例について説明したが、画像処理装置の表面と裏面の両方に表示部が設けられるようにしてもよい。
【０１９６】
そのような場合、画像処理装置の外観は、例えば図２０に示すように構成される。なお、図２０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９７】
図２０に示す画像処理装置２５１には、例えば矢印Ａ５１に示すように第１面２６１と第２面２６２が設けられている。
【０１９８】
そして、第１面２６１には、表示部２１とイン画像撮像部２２が設けられており、例えばイン画像撮像部２２により撮影されたイン画像は表示部２１に表示される。また、第２面２６２には、アウト画像撮像部２３と表示部２７１が設けられており、アウト画像撮像部２３により撮影されたアウト画像は表示部２７１に表示される。さらに、表示部２７１には図示せぬタッチパネルが重畳されて設けられており、ユーザによる操作入力が可能となっている。
【０１９９】
矢印Ａ５１に示す例では、第１面２６１と第２面２６２は同じ平面上に並んで配置された状態となっている。また、矢印Ａ５１に示す状態の画像処理装置２５１を図中、上側から見ると、矢印Ａ５２に示すように第１面２６１と第２面２６２の間には、第１面２６１または第２面２６２の一方を他方に対して回転させるためのヒンジ機構２７２が設けられている。
【０２００】
したがって、ユーザは、矢印Ａ５３に示すように、第１面２６１と第２面２６２を折りたたむことができる。画像処理装置２５１が折りたたまれた状態では、表示部２１と表示部２７１とが互いに外側に位置するように、第１面２６１と第２面２６２が重ね合わせられる。すなわち、矢印Ａ５３に示す状態では、第１面２６１の図中、左側に表示部２１とイン画像撮像部２２が位置し、第２面２６２の図中、右側に表示部２７１とアウト画像撮像部２３が位置することになる。
【０２０１】
このように画像処理装置２５１を折りたたんだ状態で、ユーザが画像処理装置２５１を操作する場合には、特に表面と裏面の区別をすることなく操作をすることができる。例えば、ユーザは、第１面２６１をユーザ側に向けて操作を行なうこともできるし、第２面２６２をユーザ側に向けて操作を行なうこともできる。したがって、ユーザ側に向いている撮像部により撮影された画像がイン画像となり、ユーザとは反対側に向いている撮像部により撮影された画像がアウト画像となる。
【０２０２】
なお、以下では、説明を分かり易くするために第１面２６１を表面と称し、第２面２６２を裏面と称することとする。すなわち、ユーザは第１面２６１をユーザ側に向けて操作するものとする。したがって、イン画像撮像部２２により撮影される画像がイン画像となり、アウト画像撮像部２３により撮影される画像がアウト画像となる。
【０２０３】
〈画像処理装置の構成例〉
また、画像処理装置２５１は、より詳細には図２１に示すように構成される。なお、図２１において図２または図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２０４】
図２１に示す画像処理装置２５１は、表示部２１、表示部２７１、イン画像撮像部２２、アウト画像撮像部２３、操作入力部５１、制御部５２、信号処理部５３、および記録部５４から構成される。
【０２０５】
画像処理装置２５１は、図２に示した画像処理装置１１にさらに表示部２７１が設けられた構成とされている。表示部２７１は、制御部５２の制御に従って信号処理部５３から供給された画像を表示する。また、表示部２７１には、操作入力部５１としてのタッチパネルが重畳して設けられており、ユーザは操作入力部５１としてのタッチパネルに対する操作を行なうことで、各種の指示を入力することができる。
【０２０６】
〈撮影処理の説明〉
このようにして構成される画像処理装置２５１は、上述した画像処理装置１１により行なわれる撮影処理と同様の処理を行なうことができる。
【０２０７】
例えば、画像処理装置２５１が図１９を参照して説明した撮影処理と同様の処理を行なう場合には、次のような処理が行なわれる。以下、図２２のフローチャートを参照して、画像処理装置２５１により行なわれる撮影処理について説明する。
【０２０８】
なお、この場合、画像処理装置２５１の信号処理部５３は、図１８に示した構成とされる。また、撮影処理では、イン画像撮像部２２により撮影されるユーザの画像、すなわちイン画像のホワイトバランスがアウト画像のホワイトバランスに合わせられるものとする。
【０２０９】
撮影処理が開始されると、ステップＳ１７１乃至ステップＳ１７５の処理が行なわれるが、これらの処理は図１９のステップＳ１３１乃至ステップＳ１３５の処理と同様であるので、その説明は省略する。
【０２１０】
ステップＳ１７５において、イン画像とアウト画像の光源が異なると判定されると、ステップＳ１７６の処理が行なわれる。すなわち、ステップＳ１７６において、光源色算出部２１３は、アウト画像とイン画像のホワイトバランス値に基づいて上述した式（５）を計算し、イン画像のホワイトバランスをアウト画像のホワイトバランスに合わせるための光源色情報を生成する。
【０２１１】
光源色算出部２１３は、このようにして得られた光源色情報を制御部５２に供給する。
【０２１２】
ステップＳ１７７において、制御部５２は、光源色算出部２１３から供給された光源色情報により示される色合いで表示部２１を発光させるための制御情報を生成し、制御情報に基づいて、イン側、つまりユーザ側に位置する表示部２１の発光制御を行なう。
【０２１３】
ステップＳ１７７の処理が行なわれたか、またはステップＳ１７５において光源が同じであると判定された場合、ステップＳ１７８において、イン画像撮像部２２はユーザを被写体としてイン画像を撮影し、ホワイトバランス算出部２１２と合成部２１４に供給する。
【０２１４】
そして、その後、ステップＳ１７９およびステップＳ１８０の処理が行なわれて撮影処理は終了するが、これらの処理は図１９のステップＳ１３９およびステップＳ１４０の処理と同様であるので、その説明は省略する。
【０２１５】
以上のようにして、画像処理装置２５１は、アウト画像とイン画像のホワイトバランス値に基づいてアウト画像とイン画像のホワイトバランスが一致するように表示部２１を発光させる。そして、画像処理装置２５１は、再度、イン画像を撮影し、得られたイン画像とアウト画像とを合成することで合成画像を生成する。
【０２１６】
このように、表示部２１を適切な色合いで発光させることで、より自然な色合いの合成画像を得ることができる。
【０２１７】
〈撮影処理の他の例〉
また、図２２を参照して説明した撮影処理では、イン画像のホワイトバランスがアウト画像のホワイトバランスに合わせられる例について説明したが、アウト画像のホワイトバランスがイン画像のホワイトバランスに合わせられるようにしてもよい。
【０２１８】
例えば、画像処理装置２５１では、アウト画像撮像部２３が設けられている第２面２６２には表示部２７１が設けられているので、表示部２７１を適切に発光させれば、アウト画像のホワイトバランスをイン画像のホワイトバランスに合わせることができる。このような撮影制御は、特に、アウト画像の被写体が画像処理装置２５１に近い位置にある場合に有効である。
【０２１９】
以下、図２３のフローチャートを参照して、アウト画像のホワイトバランスがイン画像のホワイトバランスに合わせられる場合に画像処理装置２５１により行なわれる撮影処理について説明する。
【０２２０】
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、図１９のステップＳ１３１乃至ステップＳ１３５の処理と同様であるので、その説明は適宜省略する。
【０２２１】
ステップＳ２１５において、光源が同じでないと判定された場合、つまり光源が異なる場合、処理はステップＳ２１６に進む。
【０２２２】
ステップＳ２１６において、光源色算出部２１３は、アウト画像とイン画像のホワイトバランス値に基づいて、アウト画像のホワイトバランスをイン画像のホワイトバランスに合わせるための光源色情報を生成し、制御部５２に供給する。
【０２２３】
例えば、光源色算出部２１３は次式（６）の計算を行なって、表示部２７１を発光させるときのＲ，Ｇ，Ｂの各色合いの関係を示す光源色情報を生成する。すなわち、式（６）の関係を示す情報が光源色情報とされる。
【０２２４】
【数６】
2014160982.tif 000008
【０２２５】
ステップＳ２１７において、制御部５２は光源色算出部２１３からの光源色情報により示される色合いで表示部２７１を発光させるための制御情報を生成し、制御情報に基づいて、アウト側、すなわちユーザ側とは反対側に位置する表示部２７１の発光制御を行なう。すなわち、制御部５２は、式（６）に示す色合いで表示部２７１を発光させる。これにより、表示部２７１からの光がアウト画像の被写体に照射される。
【０２２６】
ステップＳ２１７の処理が行なわれたか、またはステップＳ２１５において光源が同じであると判定された場合、ステップＳ２１８において、アウト画像撮像部２３はアウト画像を撮影し、ホワイトバランス算出部２１１および合成部２１４に供給する。
【０２２７】
例えば、ステップＳ２１７で表示部２７１を発光させた場合、その発光によりアウト画像の被写体には、室外の太陽光などのもとからある光源からの光と、表示部２７１からの光とが照射され、結果的にイン画像の光源と等価な光源下でアウト画像が撮影される。すなわち、ステップＳ２１８での撮影により、ステップＳ２１２で得られたイン画像と同じホワイトバランスのアウト画像が得られるようになる。
【０２２８】
また、例えばステップＳ２１５で光源が同じであると判定された場合には、表示部２７１は発光されないが、この場合、アウト画像とイン画像は同じ光源下で撮影されることになる。
【０２２９】
このようにしてアウト画像が再度撮影されると、その後、ステップＳ２１９およびステップＳ２２０の処理が行なわれて撮影処理は終了するが、これらの処理は図１９のステップＳ１３９およびステップＳ１４０の処理と同様であるのでその説明は省略する。但し、ステップＳ２１９では、ステップＳ２１２で得られたイン画像と、ステップＳ２１８で得られたアウト画像が合成される。
【０２３０】
以上のようにして、画像処理装置２５１は、アウト画像とイン画像のホワイトバランス値に基づいてアウト画像とイン画像のホワイトバランスが一致するように表示部２７１を発光させる。そして、画像処理装置２５１は、再度、アウト画像を撮影し、得られたイン画像とアウト画像とを合成することで合成画像を生成する。
【０２３１】
このように、表示部２７１を適切な色合いで発光させてアウト画像のホワイトバランスをイン画像のホワイトバランスに合わせることで、より自然な色合いの合成画像を得ることができる。すなわち、より高品質な合成画像を得ることができる。
【０２３２】
なお、画像処理装置２５１において、表示部２１を発光させるか、または表示部２７１を発光させるかは、ユーザにより選択できるようにすればよい。表示部２１と表示部２７１の何れを発光させるかをユーザが選択できるようにすれば、例えばより被写体が画像処理装置２５１に近い方の面に設けられた表示部を発光させれば、より自然な合成画像を得ることができるようになる。
【０２３３】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２３４】
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３５】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２３６】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２３７】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２３８】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３９】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２４０】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２４１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２４４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４６】
さらに、本技術は、以下の構成とすることも可能である。
【０２４７】
［１］
第１の方向を撮影する第１の撮像部と、
前記第１の方向とは異なる第２の方向を撮影する第２の撮像部と、
前記第１の撮像部による撮影で得られた第１の画像から得られる情報に基づいて、前記第２の撮像部による撮影で得られた第２の画像に関する調整のための制御情報を生成する制御情報生成部と
を備える画像処理装置。
［２］
前記制御情報生成部は、前記第１の画像から得られた動き情報に基づいて、前記画像処理装置の動きを示す動き情報を前記制御情報として生成し、
前記制御情報に基づいて、前記第２の画像の前記画像処理装置による動きぶれを補正する補正部をさらに備える
［１］に記載の画像処理装置。
［３］
前記制御情報生成部は、前記第１の画像から得られた動き情報と、前記第２の画像から得られた動き情報とを合成することで、前記制御情報を生成する
［２］に記載の画像処理装置。
［４］
前記第１の撮像部は、前記画像処理装置を操作するユーザ側の面に設けられており、
前記制御情報生成部は、前記第１の画像から得られる前記ユーザの視点位置に基づいて前記第２の画像の画角を変更するための前記制御情報を生成する
［１］に記載の画像処理装置。
［５］
前記制御情報生成部は、前記制御情報に基づいて前記第２の撮像部を制御し、前記第２の画像の画角を調整する
［４］に記載の画像処理装置。
［６］
前記制御情報生成部は、前記第２の撮像部のズーム倍率若しくは絞りを変更させるか、または前記第２の撮像部を傾斜させることで画角調整を行なう
［５］に記載の画像処理装置。
［７］
前記視点位置に基づいて前記第２の画像に対する画像変形を行なうことで、前記第２の画像の画角を調整する画像変形部をさらに備える
［４］乃至［６］の何れかに記載の画像処理装置。
［８］
前記第１の撮像部は、前記画像処理装置を操作するユーザ側の面に設けられており、
前記制御情報生成部は、前記第１の画像から得られる前記ユーザの視線方向に基づいて、前記第２の撮像部の焦点調整、前記第２の画像の明るさ調整、または前記第２の画像のホワイトバランス調整を行なうための前記制御情報を生成する
［１］に記載の画像処理装置。
［９］
前記第２の撮像部側の面に設けられた表示部をさらに備え、
前記制御情報生成部は、前記表示部を発光させて前記第２の画像の被写体に光を照射させるための前記制御情報を、前記第１の画像のホワイトバランス値と、前記第２の画像のホワイトバランス値とに基づいて生成する
［１］に記載の画像処理装置。
［１０］
前記第１の画像と、前記制御情報に基づいて前記表示部が発光している状態で撮影された前記第２の画像とを合成する合成部をさらに備える
［９］に記載の画像処理装置。
【符号の説明】
【０２４８】
１１  画像処理装置，  ２１  表示部，  ２２  イン画像撮像部，  ２３  アウト画像撮像部，  ５３  信号処理部，  ８１  動き推定部，  ８２  動き推定部，  ８４  手振れ補正部，  １４１  位置算出部，  １４２  画角変換処理部，  ２１１  ホワイトバランス算出部，  ２１２  ホワイトバランス算出部，  ２１３  光源色算出部，  ２１４  合成部
【図１】
2014160982.tif 000009
【図２】
2014160982.tif 000010
【図３】
2014160982.tif 000011
【図４】
2014160982.tif 000012
【図５】
2014160982.tif 000013
【図６】
2014160982.tif 000014
【図７】
2014160982.tif 000015
【図８】
2014160982.tif 000016
【図９】
2014160982.tif 000017
【図１０】
2014160982.tif 000018
【図１１】
2014160982.tif 000019
【図１２】
2014160982.tif 000020
【図１３】
2014160982.tif 000021
【図１４】
2014160982.tif 000022
【図１５】
2014160982.tif 000023
【図１６】
2014160982.tif 000024
【図１７】
2014160982.tif 000025
【図１８】
2014160982.tif 000026
【図１９】
2014160982.tif 000027
【図２０】
2014160982.tif 000028
【図２１】
2014160982.tif 000029
【図２２】
2014160982.tif 000030
【図２３】
2014160982.tif 000031
【図２４】
2014160982.tif 000032