(57)【要約】【課題】撮影条件に従って撮影したときに取得できる撮影画像を、予め撮影前に予測して表示する。【解決手段】本願発明に係る撮像装置は、撮像手段による撮影のための撮影条件を設定し（Ｓ４０１）、撮像手段が撮像した画像に基づいて、被写体の位置、形状を含む被写体情報を計算し（Ｓ４０３）、撮影条件と被写体情報とから、撮影条件に従って撮像したときに取得される画像を予測したプレビュー画像を作成し（Ｓ４０４）、プレビュー画像を表示する。【選択図】図４
2014011639.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段による撮影のための撮影条件を設定する撮影条件設定手段と、
前記撮像手段が撮像した画像に基づいて、被写体の位置、形状を含む被写体情報を計算する被写体情報計算手段と、
前記撮影条件と、前記被写体情報とから、前記撮影条件に従って前記撮像手段が撮像したときに取得される画像を予測したプレビュー画像を作成するプレビュー画像作成手段と、
前記プレビュー画像を表示する表示部と
を備えることを特徴とする撮像装置。
【請求項２】
１つ以上の発光素子からなる発光手段を備え、
前記撮影条件に前記発光手段を用いた撮影が含まれる場合、前記プレビュー画像作成手段は、前記撮影条件と、前記被写体情報とに加え、前記発光手段の配置情報、配光特性、輝度に関する情報を含む発光情報とから、前記プレビュー画像を作成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影条件はシャッター速度を含み、
前記プレビュー画像作成手段は、前記シャッター速度から計算される露出時間がプレビュー時の露出時間よりも長い場合、前記シャッター速度から計算される露出時間内に前記撮像手段により撮像される画像群を取得し、当該画像群を平均化することにより前記プレビュー画像を作成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記被写体情報計算手段は、前記撮像手段が複数の視点から撮像した多視点画像群を用いて前記被写体情報を求めることを特徴とする請求項１乃至３のうちのいずれか１項に記載の撮像装置。
【請求項５】
前記被写体情報計算手段は、距離センサを用いて前記被写体の位置を求めることを特徴とする請求項１乃至３のうちのいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、ストロボ発光やブレの影響を撮影前に予測した画像を表示することが可能な撮像装置に関する。
【背景技術】
【０００２】
一般的に、デジタルカメラや携帯電話に搭載されたカメラでは、撮影を行う前に撮像部が撮像している画像を本体に内蔵されたディスプレイや電子ビューファインダ、あるいは外部に接続したディスプレイに表示することができる。この撮影前の表示であるプレビュー表示によって、ユーザは、撮影条件や撮影時の画像の構図について、撮影に先立ち判断することができる。
【０００３】
しかし、ストロボの発光の有無やシャッター速度といった撮影条件の違いにより、撮影により得られる撮影画像が、撮影前に画面に表示されていたプレビュー画像と異なっていることがある。そのため、プレビューで確認しながら撮影を行ったとしても、ユーザが期待する画像を得ることができないことがある。
【０００４】
例えば、ストロボ発光を利用する撮影の場合、プレビュー時はストロボ発光が無い状態でプレビュー画像が表示されることとなる。そのため、ストロボを発光させるとどのような画像が撮影できるのか、すなわちストロボ発光によりどのように影が発生するのか、または色や輝度にどのような変化があるのかは、実際に撮影を行った画像を確認するまで分からないという課題がある。
【０００５】
また、撮影時の露出時間と、プレビュー時の各フレームの露出時間とが一致しないため、撮影画像とプレビュー画像とでは、被写体ブレや手ブレなどのブレの発生の影響の程度がそれぞれ異なることがある。特に撮影時の露出時間が長い撮影条件が設定されている場合、撮影用の露出時間に合わせたフレームレートでプレビューとして表示すると、滑らかな動きを表示できず、連続したプレビュー画像の表示では、いわゆるカクカクした動画となりうる。
【０００６】
そのため、滑らかな動きを表示するために、プレビュー時のフレームレートを高く設定するのが一般的である。しかし、そのように設定すると、プレビュー時は、フレームレートが高いためブレが目立たくなる一方で、撮影においてどの程度ブレの影響があるかは、実際に撮影を行い、その画像を表示させるまで分からないこととなる。
【０００７】
そこで、プレビュー画像と、実際に撮影される画像とを一致させるために、従来、様々な提案がなされてきた。
【０００８】
例えば、２眼のカメラを用いて三角測量の原理より被写体の距離分布を求め、その距離に応じてファインダ内にスーパーインポーズ表示する液晶の透過率を変えることでストロボ光量による明暗の分布を予測する技術が開示されている（例えば、特許文献１参照。）。
【０００９】
また、カメラ本体の上面に太陽の位置と太陽光の強さを検出する手段を設け、太陽の位置と太陽光の強さに応じて影の発生状態を予測する技術が開示されている（例えば、特許文献２参照。）。影の発生が予測される場合には被写体に向けストロボを発光させ、影の発生の抑制に利用する方法が示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−８３５６３号公報
【特許文献２】特開平８−１４６４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の特許文献１に開示の技術は、被写体距離に応じてファインダ像の輝度の制御を行うものであり、被写体の位置や形状、またはストロボ光の色や配光特性に応じた被写体の色の変化や影の発生を予測するものではない。そのため、ストロボ光が当たる部分に関する輝度の予測は可能だが、影や色に関しては予測することができないという問題がある。
【００１２】
また、特許文献２に開示の技術は、太陽の位置及び太陽光の強さから影の発生可能性を予測するものであり、被写体の位置や形状に合わせ撮影画像中にどのような影が発生するかを予測することはできない。以上の問題点から上記各特許文献に開示されている技術を用いても、プレビュー画像と実際の撮影画像とが異なることが想定され、実際に撮影を行い、画像を確認するまでどのような画像が撮影されるのか分からないという課題がある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本願発明に係る撮像装置は、撮像手段による撮影のための撮影条件を設定する撮影条件設定手段と、前記撮像手段が撮像した画像に基づいて、被写体の位置、形状を含む被写体情報を計算する被写体情報計算手段と、前記撮影条件と、前記被写体情報とから、前記撮影条件に従って前記撮像手段が撮像したときに取得される画像を予測したプレビュー画像を作成するプレビュー画像作成手段と、前記プレビュー画像を表示する表示部とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明により、撮影条件に従って撮影したときに取得できる撮影画像を、予め撮影前に予測して表示することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例に係る撮像装置の外観を示す図である。
【図２】実施例に係る撮像装置の内部構成を示すブロック図である。
【図３】実施例に係る撮像部の内部構成を示す図である。
【図４】実施例に係る撮像装置の動作の手順を示すフローチャートである。
【図５】実施例１に係る被写体情報計算処理の処理手順を示すフローチャートである。
【図６】実施例に係る配置情報の一例を示す図である。
【図７】被写体と撮像部との関係を示す図である。
【図８】実施例１に係る多視点画像の例を示す図である。
【図９】実施例１に係るプレビュー画像作成処理の処理手順を示すフローチャートである。
【図１０】光源の配光特性の一例を示す図である。
【図１１】光線追跡法の概念を説明するための図である。
【図１２】実施例１に係るプレビュー画像レンダリング処理の処理手順を示すフローチャートである。
【図１３】本発明の効果の一例を説明するための図である。
【図１４】実施例２に係るプレビュー画像作成処理の処理手順を示すフローチャートである。
【図１５】実施例２に係るプレビュー画像レンダリング処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１６】
（実施例１）
以下に本発明の実施例に係る撮像装置の詳細について説明する。
【００１７】
まず、図１は、本実施例における撮像装置の外観の一例を示した図である。図１において、(ａ)は撮像装置の前面、(ｂ)は撮像装置の背面を表す。
【００１８】
図１（ａ）に示すように、撮像装置１００の前面には、カラー画像を取得することが可能な９個の撮像部１０１〜１０９と、撮影ボタン１１０と、発光部１１１とが設けられている。発光部１１１は、それぞれ独立に発光を制御可能な発光素子１１２〜１２０から構成される。
【００１９】
ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体からの光をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）を同時に取得することができる。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像することにより、複数のカラー画像からなる多視点画像群を得ることができる。
【００２０】
なお、ここでは撮像部の数は９個としたが、撮像部の数が９個に限定されるものではない。すなわち、本発明では、被写体に関する被写体情報を多視点画像群から取得するために、複数の撮像部を有していればよい。また、被写体情報を多視点画像群から取得せずに他のセンサ等から取得する場合、撮像部を１個備えた単眼の撮像装置であってもよい。
【００２１】
なお、撮像部を複数備える場合に撮像部が均等に配置される例について説明するが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、ランダムに配置してもよい。また、発光部１１１についても同様に、本発明では任意の発光素子数、及び任意の配置にすることができる。
【００２２】
次に、図１（ｂ）に示すように、撮像装置の背面には、液晶ディスプレイから成る表示部１２１と、ユーザによる各種の操作を受け付けるための操作部１２２とが設けられている。
【００２３】
表示部１２１は、撮影条件設定の操作状況、又は設定の確認を行うためのＧＵＩや、撮影中の被写体のプレビュー画像又は映像や、撮影後の画像を表示することができる。
【００２４】
操作部１２２は、モード切り換えボタン１２３、及び、操作ボタン１２４を備える。モード切り換えボタン１２３をユーザが押下することにより、後述のプレビューモードの切り替えを行う。また、操作ボタン１２４はユーザが項目を変更、選択するために方向操作等を行うものであり、例えば十字ボタンの形態で配置される。尚、本図には説明の便宜上二つのボタンのみを例示的に示しているが、どのようなボタンの形態であってもよい。また、本実施例では各種ボタンで操作を行う例を示すが、ボタンの替わりに、表示部１２１がタッチパネル方式により操作を受け付けるような構成であってもよい。例えば、感圧式、電磁誘導式など各種方式のタッチパネルを用いることができ、ユーザがタッチした座標を検出し、検出した座標によってユーザの指示を読み取ることができる。
【００２５】
図２は、撮像装置１００の内部構成を示すブロック図である。
【００２６】
ＣＰＵ２０１は、中央処理装置であり、バス２０４を介して接続された各部を統括的に制御する。
【００２７】
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能するＲＡＭ（Random Access Memory）である。
【００２８】
ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納するＲＯＭ（Read Only Memory）である。
【００２９】
バス２０４は、各種データの転送経路として機能する。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。
【００３０】
表示制御部２０５は、表示部１２１に表示される撮影画像や文字を表示するための表示制御を行う。
【００３１】
撮像制御部２０６は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいて、光学系を制御する。また、撮像装置の配置情報に基づいて、撮像部の制御パラメータを調整する。
【００３２】
発光制御部２０７は、ＣＰＵ２０１からの指示に基づき、発光部１１１を構成する発光素子１１２−１２０を選択的に発光させる。
【００３３】
デジタル信号処理部２０８は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。
【００３４】
エンコーダ部２０９は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する。
【００３５】
外部メモリ制御部２１０は、ＰＣやその他のメディア２１３（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に撮像装置１００を接続させるためのインターフェースである。
【００３６】
被写体情報計算部２１１は、被写体の位置、形状、テクスチャ等を求めるための計算を行う。本実施例では、撮像部１０１〜１０９で取得された多視点画像群或いは、デジタル信号処理部２０８から出力される多視点画像群から計算する方法を示す。なお、被写体情報計算部２１１による処理の詳細については後述する。
【００３７】
画像作成部２１２は、ストロボが発光され撮影される場合に想定される画像をＣＧで作成する。画像作成部２１２による処理の詳細については後述する。
【００３８】
なお、撮像装置の構成要素は上記以外にも存在するが、本願発明に必須の構成ではないので、説明を省略する。
【００３９】
図３は、撮像部１０１〜１０９の内部構成を示す図である。撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０から構成される。ズーム用のレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３はレンズとして機能する。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００４０】
センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４へ出力される。
【００４１】
本発明の実施例に係る撮像装置は、撮影前に被写体を特定するための被写体情報を計算により求め、そして計算した被写体情報とユーザが設定した撮影条件とを用いてＣＧによってプレビュー画像を作成し、表示するものである。以下、上記構成を備える撮像装置の動作について、図４のフローチャートを参照しつつ説明する。
【００４２】
まず、ステップＳ４０１では、ユーザが操作ボタン１２４を用いて、シャッター速度、絞り、ＩＳＯ感度、及び、ストロボ発光の有無等の撮影条件について、設定を行う。また、撮影時にストロボ発光を行う場合、発光パターンの選択も併せて行うことができる。ここで、発光パターンとは、複数ある発光素子１１２〜１２０の中から発光させる発光素子の組み合わせを示すものである。なお、撮影条件はユーザが設定したものでなくてもよく、すなわち予め設定されているものであってもよい。
【００４３】
ステップＳ４０２では、デジタル信号処理部２０８から出力される多視点画像群を取得する。この多視点画像のそれぞれは、ストロボ発光のない状態で撮像された画像である。
【００４４】
ステップＳ４０３では、ステップＳ４０２で取得した多視点画像群から被写体情報を計算する。本処理は、被写体情報計算部２１１において実行される。なお、被写体情報計算部２１１の動作の詳細は後述する。
【００４５】
ステップＳ４０４では、ステップＳ４０１で設定された撮影条件と、ステップＳ４０３で計算した被写体情報とを用いてプレビュー画像を作成する。本処理は、画像作成部２１２において実行される。画像作成部２１２の動作の詳細は後述する。
【００４６】
ステップＳ４０５では、ステップＳ４０４で作成したプレビュー画像を、表示制御部２０５の指示により表示部１２１に表示させる。
【００４７】
ステップＳ４０６では、本撮像装置のユーザが撮影ボタン１１０を押下したかを判断する。撮影ボタン１１０が押下された場合はＳ４０７へ移行し、押下されていない場合はＳ４０１に戻る。ユーザが撮影ボタン１１０を押下するまで、撮影条件の設定変更、プレビューを繰り返す。
【００４８】
ステップＳ４０７では、撮影ボタン１１０が押下された場合、直ちにステップＳ４０１で設定された撮影条件に基づいて撮像部１０１〜１０９により撮像する。撮像された画像は、デジタル信号処理部２０８、及びエンコーダ部２０９において処理が行われた後に、外部メモリ制御部２１０を経てＰＣその他のメディア２１３に保存される。
【００４９】
以下に各処理の詳細を説明する。
【００５０】
（被写体情報計算処理）
被写体情報計算処理（Ｓ４０３）は、被写体情報計算部２１１において実施される。本処理により、デジタル信号処理部２０８から出力される多視点画像群から、被写体の位置、形状、及びテクスチャを取得することができる。
【００５１】
以下では、被写体情報計算処理（Ｓ４０３）の詳細について、図５のフローチャートを参照し説明する。尚、本処理は、ユーザが撮影ボタン１１０を押下する前のプレビュー中に実施されるものである。
【００５２】
まず、ステップＳ５０１では、撮像部１０１〜１０９の間の相対的な位置関係を示す配置情報と、焦点距離についての情報を含む撮像部情報を取得する。
【００５３】
ここで、配置情報は、すべての撮像部の光学中心の相対的な位置関係を少なくとも示す情報であればよい。なお、本実施例では、撮像部情報は、ＲＯＭ２０３に予め記録されているものとし、これを読み出すことで取得できるものとする。尚、個々の撮像部の配置を変更可能な撮像装置の場合には、ユーザの指示に基づいて撮像部の配置が変更され、これにより配置情報が変化するものであってもよい。
【００５４】
図６は、配置情報の一例を具体的に示している。図６に示す配置情報において、撮像部番号は撮像部を特定するためのものである。例えば、撮像部番号が１であれば、図１に示す撮像部１０１に対応する。同様に、撮像番号２−９はそれぞれ、撮像部１０２−１０９に対応する。
【００５５】
なお、図６に示す配置情報において、撮像番号が１で特定される撮像部１０１の光学中心を原点としている。この原点を基準に、撮像部１０２〜１０９の光学中心の位置をＸ座標（水平方向）、及びＹ座標（垂直方向）の２次元座標を用いて表すことができる。
【００５６】
続いて、ステップＳ５０２では、前述の撮像部情報と、多視点画像群とから、被写体の位置や形状を示す被写体情報を計算する。被写体の位置や形状を計算する方法としては、どのような方法であってもよい。以下、その計算方法の一例について、２個の撮像部１０１と１０２を用いて被写体までの距離を求める方法について、図７と図８を参照しつつ説明する。
【００５７】
尚、撮像部１０１と撮像部１０２において、レンズの焦点距離は同一であるものとする。また、２個の撮像部はＹ座標が等しく、Ｘ座標のみが異なるものとする。
【００５８】
図７において、被写体７０３が、撮影の対象である被写体とする。また、撮像部１０１の視野範囲７０１、撮像部１０２の視野範囲７０２に被写体７０３が収まっているものとする。
【００５９】
この条件下において、撮像部１０１は、図８（ａ）に示す画像を取得する。同様に、撮像部１０２は、図８（ｂ）に示す画像を取得する。ここで、被写体７０３の表面の１地点である位置７０４が、撮像部１０１による画像の座標（ｘ１，０）に写っているものとする。同様に、撮像部１０２による画像の座標（ｘ２，０）に写っているものとする。
【００６０】
以下では、２つの画像において、ともに写っている被写体の同一の位置を、対応点と呼ぶ。ここで、各画像の中心を原点（０，０）とすると、対応点である位置７０４に関する撮像部の光学中心からの距離Ｄは以下の式で表わすことができる。
【００６１】
【数１】
2014011639.tif 000003
【００６２】
式１において、２個の撮像部１０１と１０２の画像センサの画素ピッチをｐ、撮像部１０１と１０２との光学中心間の距離をＢ、撮像部１０１と１０２の焦点距離をｆとする。
【００６３】
式１に基づいて、被写体中の１点に対する距離を算出することができる。同様に、被写体の他の対応点についても撮像部の光学中心からの距離を求めることができる。さらに、撮像部の組み合わせを変えることで、被写体の形状を求めることができる。
【００６４】
尚、撮像部の配置が、Ｘ座標だけではなくＹ座標も異なる場合や光軸の方向が異なる場合は、エピポーラ線が水平になるよう各画像について回転、及び並進行列を求め、２画像を平行化することでＸ座標のみが異なる画像として扱うことが可能である。このような画像の平行化については本件発明の主眼ではないので説明を省略する。また、２画像において対応点を求める方法については、例えば２画像でブロックマッチングを行う方法が挙げられる。当然ながら、ブロックマッチングに限られるものではなく、他のどのような方法でも適用可能である。
【００６５】
また、被写体のテクスチャについては、上述の距離を求める際に利用した対応点の画素値として取得することができる。尚、テクスチャはＲＧＢ３色で表現し、各色の信号値を取得する。
【００６６】
（プレビュー画像作成処理）
次に、図４に示すプレビュー画像作成処理（Ｓ４０４）の詳細について説明する。
【００６７】
プレビュー画像作成処理は、画像作成部２１２において実行されるものであり、ストロボの発光前に、ストロボが発光されて撮影される場合に想定される画像をＣＧによって作成し、出力する。
【００６８】
以下に、プレビュー画像作成処理Ｓ４０４の処理手順について、図９のフローチャートを参照しつつ説明する。
【００６９】
まず、ステップＳ９０１では、ユーザが操作部１２２を介して設定した、シャッター速度、絞り、ＩＳＯ感度、及び、ストロボ発光の有無を示す情報を含んだ撮影条件を取得する。
【００７０】
ステップＳ９０２では、ステップＳ９０１で取得した撮影条件において、ストロボ発光の指示を含むかどうかを判定する。ストロボ発光を行う場合はステップＳ９０３に進み、発光を行わない場合はステップＳ９０８へ進む。
【００７１】
ステップＳ９０３では、ユーザがモード切り換えボタン１２３を用いて設定したプレビューモードを取得する。本実施例におけるプレビューモードは、ストロボ発光の効果をプレビュー画像に表示するストロボプレビューモードと、従来のプレビュー画像と同様のストロボ光の効果を表示しない通常プレビューモードの２モードが設定されている。
【００７２】
ステップＳ９０４では、ステップＳ９０３で取得したプレビューモードがストロボプレビューモードであるか否かを判断する。ストロボプレビューモードの場合（Ｓ９０４；ＹＥＳ）、ステップＳ９０５へ移行する。一方、通常プレビューモードの場合（Ｓ９０４；ＮＯ）、ステップＳ９０８へ移行する。
【００７３】
ステップＳ９０５では、ストロボの発光パターンや色等を示すストロボ特性を取得する。ストロボ特性は具体的には、ユーザが操作ボタン１２４を利用して設定した発光パターン、及び、設定された発光パターンで発光する発光素子の位置と輝度分布、配光特性を示す発光情報である。
【００７４】
ここで発光素子の輝度分布はＲＧＢの３原色を用いて表してもよいし、他の色空間を用いてもよい。また、分光放射輝度を用いて表すこともできる。以下ではＲＧＢの３色を用いるものとする。
【００７５】
配光特性は、光源から出る光の各方向への強度分布であり、光源の指向性の違いによって一つの光源がシーンを照らす範囲が異なる。具体的な例を図１０に示す。
【００７６】
図１０（ａ）は各方向への強度は低いが、広い範囲を照らす光源の例である。一方、図１０（ｂ）は、ある特定の方向へ強度が高い光源の例である。
【００７７】
ストロボ光の色をＲＧＢ３原色で表わす場合、配光特性はＲ、Ｇ、Ｂの３色についてそれぞれ異なる配光特性にすることもできる。
【００７８】
尚、本実施例では、各発光素子の配光特性はＲＯＭ２０３に予め記録されているものとする。そして、発光パターンに従って発光する発光素子に関する配光特性を読み出し、配置情報に応じて足し合わせることで、発光部全体の配光特性を取得することができる。
【００７９】
ここで配光特性のデータ形式は、光源からの光の出力角と、光の強度との対応が得られれば所望の形式で構わない。例えば、出力角に対する光の強度の関数でもよいし、出力角と光の強度の対応を示すルックアップテーブル（以下、ＬＵＴ）の形式でもよい。
【００８０】
ステップＳ９０６では、前述の被写体情報計算部２１１で計算した被写体の位置、形状、テクスチャからなる被写体情報を取得する。
【００８１】
ステップＳ９０７では、ステップＳ９０１で取得した撮影条件、ステップＳ９０５で取得したストロボ特性、ステップＳ９０６で取得した被写体情報に基づいて、ストロボ発光されて撮影された場合に想定される画像をＣＧによってレンダリングして作成する。このプレビュー画像レンダリング処理に関する詳細は後述する。
【００８２】
ステップＳ９０８では、ストロボを発光させない場合、または発光させる場合でもストロボプレビューを行わない場合のプレビュー画像を取得する。このプレビュー画像は、複数ある撮像部のうち、中央に配置された１０５の画像である。ただし、プレビュー画像として、他の撮像部の画像であってもよいし、複数の撮像部の画像に対し任意の処理を施した画像でもよい。
【００８３】
ステップＳ９０９では、ステップＳ９０７またはステップＳ９０８で得た画像を表示制御部２０５へ出力する。そして、表示制御部２０５は、受け取った画像を表示部１２１へ表示させる。そして、本実施例のプレビュー画像作成処理Ｓ４０４が終了する。
【００８４】
このように、ストロボプレビューモードが選択されている場合、ストロボを発光する前のプレビュー中に、ストロボを発光させた場合に得られる画像を予測したプレビュー画像を作成し、表示することができる。
【００８５】
（プレビュー画像レンダリング処理）
プレビュー画像レンダリング処理Ｓ９０７は、前述の撮影条件、ストロボ特性、被写体情報を用いてストロボが発光した場合に得られる画像をＣＧによってレンダリングする処理である。ＣＧによるレンダリング手法としてはこれまでに様々な手法が提案されているが、ストロボ光による被写体の色や、影の発生が再現できる手法であればどのような手法を用いても構わない。このようなレンダリング手法としては、例えば光線追跡法が挙げられる。以下、図１１を用いて、光線追跡法について説明する。
【００８６】
図１１に示すように、カメラ１１０１、スクリーン１１０２、被写体１１０４，１１０５、光源１１０６が配置されているものとする。画素１１０３は、スクリーン上の光線追跡によって画素値を決定するための画素である。
【００８７】
光線追跡法では、まず、カメラ１１０１から画素１１０３へ向かって光線を発光する。光線が物体での反射を繰り返して、光源であるストロボに到達するまで追跡する。そして、追跡中に衝突した物体による光線の減衰と光源の色に基づいて、スクリーン上の画素１１０３の画素値を決定する。
【００８８】
以下に、スクリーン上の１点に対し１本の光線を飛ばす場合の輝度の算出手順を、図１２のフローチャートを参照しながら説明する。尚、レンダリング時のカメラ位置は例えば撮像部１０１〜１０９のうち、中央に配置された１０５のカメラ位置を利用する。
【００８９】
まず、ステップＳ１２０１では、光線番号の初期化を行う。これは、スクリーン上の各画素に対し複数本の光線を飛ばす場合に、何番目の光線を処理しているのかを把握するための番号である。初期化では、０が代入される。
【００９０】
ステップＳ１２０２では、光線の衝突回数の初期化を行う。具体的には衝突回数に０を代入する。
【００９１】
ステップＳ１２０３では、光線番号に１を加え、値を更新する。
【００９２】
ステップＳ１２０４では、光線の方向と強度を初期化する。光線の初期方向は、カメラ位置からスクリーン上の画素値を決定する画素を結んだ方向である。また、光線の強度は、ＲＧＢの３色で表わし、初期値はそれぞれ１とする。
【００９３】
ステップＳ１２０５では、追跡の開始点から光線に設定された方向に光線を飛ばし、被写体、または光源との衝突点を探索する。追跡の開始点は、スクリーン上の画素或いは前回の追跡における光線と被写体との衝突点である。尚、衝突点の探索は所望の方法で行えばよい。例えば、シーン内の全ての物体と順次衝突判定を行って、追跡の開始点に最も近い衝突点を求めればよい。
【００９４】
ステップＳ１２０６では、光線が衝突した点が光源であるストロボなのか、その他の被写体なのかを判定する。光源と衝突した場合はステップＳ１２１２へ移行し、その他の被写体と衝突した場合はステップＳ１２０７へ移行する。
【００９５】
ステップＳ１２０７では、光線が保持する変数、衝突回数に１を加え、値を更新する。
【００９６】
ステップＳ１２０８では、被写体との衝突後の光線の方向を決定する。衝突後の光線方向はランダムな方向とすればよく、衝突のたびに乱数を発生させ、乱数に応じた方向を設定する。
【００９７】
ステップＳ１２０９では、光線が衝突した被写体の反射率を取得する。被写体の反射率は、拡散反射成分と鏡面反射成分から成る。拡散反射成分は被写体情報計算部により求められた被写体のテクスチャを利用し、鏡面反射成分は衝突前の光線の方向、ステップＳ１２０８で決定した衝突後の光線の方向、及び、衝突点の被写体の法線方向に応じた値を算出し利用する。
【００９８】
本実施例では鏡面反射成分をＰｈｏｎｇモデルによって算出する。衝突前の光線の方向をｄ、衝突後の光線の方向をｄ’、物体の法線方向をＮとすると鏡面反射率Ｒsは下記式となる。
【００９９】
【数２】
2014011639.tif 000004
【０１００】
ここで、ｋsは鏡面反射係数を表し、ｎは鏡面反射の広がりを表すパラメータである。ｋs及びｎについては予め一定の値を設定しておく。ただし、被写体に対する画像認識技術と組み合わせ、被写体ごとに認識結果に応じた値を設定してもよい。
【０１０１】
例えば、衝突点が人肌であることが画像認識によって判明した場合は、人肌に応じた前記パラメータを利用する。尚、鏡面反射率の算出には他のモデルを利用することもできる。衝突点における被写体の反射率ＲR、ＲG、ＲBは次式のようになる。ここで、ＲdR、ＲdG、ＲdBは、拡散反射率を表しており被写体のテクスチャのＲ、Ｇ、Ｂの各値である。
【０１０２】
【数３】
2014011639.tif 000005
【０１０３】
【数４】
2014011639.tif 000006
【０１０４】
【数５】
2014011639.tif 000007
【０１０５】
ステップＳ１２１０では、衝突後の光線の強度を計算する。光線の強度は、その時点での光線が持つ強度に対し、ステップＳ１２０９で算出した被写体の反射率をかけ合わせることで求める。光線番号ｉに対するＲＧＢ各色の更新前の光線強度をＰRi、ＰGi、ＰBiとすると、更新後の光線強度をＰRi’、ＰGi’、ＰBi’は下記式で表わすことができる。
【０１０６】
【数６】
2014011639.tif 000008
【０１０７】
【数７】
2014011639.tif 000009
【０１０８】
【数８】
2014011639.tif 000010
【０１０９】
ステップＳ１２１１では、光線の衝突回数について、予め別途設定した最大衝突回数と比較を行い次に処理するステップを決定する。最大衝突回数以下の場合はステップＳ１２０５へ戻り、一方、最大衝突回数を超えている場合は光線の強度に０を代入後にステップＳ１２１２へ移行する。
【０１１０】
本来は光線が光源まで到達するまで追跡を行うのが望ましいが、全ての光線について光源に到達するまで追跡するには膨大な計算時間が必要になる。そこで、別途設定しておいた最大衝突回数までに光線が光源に到達しない場合は、光源には到達しないものとして処理を打ち切ることで処理の高速化を実現する。
【０１１１】
そのため、このような光線については、強度を０として扱う。一方、最大衝突回数に満たない場合は、物体との衝突点を新たな光線の追跡開始点として光線追跡処理を繰り返す。
【０１１２】
ステップＳ１２１２では、追跡が終了した光線について、輝度の算出を行う。具体的には、光線が持つ強度と、光源の輝度と、光源の配光特性をかけ合わせることで輝度を算出する。これをＲＧＢの３色について、それぞれ実行する。輝度の算出を式で表わすと下記のようになる。ここで、ＩRi、ＩGi、ＩBiは光線番号がｉの光線に対するＲＧＢ各色の輝度を表し、ＬR、ＬG、ＬBは光源の輝度、ＳR（θ）、ＳG（θ）、ＳB（θ）は光源の配光特性を表している。
【０１１３】
【数９】
2014011639.tif 000011
【０１１４】
【数１０】
2014011639.tif 000012
【０１１５】
【数１１】
2014011639.tif 000013
【０１１６】
上式においてθは、光線が光源であるストロボへ衝突した際の入射角を表している。
【０１１７】
ステップＳ１２１３では、予め設定してある１画素当たりに飛ばす光線数と光線番号を比較し、光線番号が光線数に満たない場合はステップＳ１２０２に戻り、同じ画素に対し新たな光線を飛ばす。一方、光線番号が光線数以上の場合は、ステップＳ１２１４へ移行する。
【０１１８】
ステップＳ１２１４では、同じ画素に対して飛ばした複数の光線の輝度の平均から、その画素の画素値を計算する。まず、下記式のように各光線の輝度の平均ＩR、ＩG、ＩBをそれぞれ計算する。
【０１１９】
【数１２】
2014011639.tif 000014
【０１２０】
【数１３】
2014011639.tif 000015
【０１２１】
【数１４】
2014011639.tif 000016
【０１２２】
そして、上式で算出した輝度を、撮像部１０５から得た画像に加算して画素値を決定する。撮像部１０５のプレビュー画像をＩR、ＩG、ＩBとすると、加算後の輝度ＩR’’、ＩG’’、ＩB’’は下記になる。
【０１２３】
【数１５】
2014011639.tif 000017
【０１２４】
【数１６】
2014011639.tif 000018
【０１２５】
【数１７】
2014011639.tif 000019
【０１２６】
上式において、ｆ（ｘ）は、センサの画素値の飽和を再現するもので、下記式で表わすことができる。
【０１２７】
2014011639.tif 000020
【０１２８】
以上のような手順に従って光線追跡法に係る処理が実行される。
【０１２９】
次に、図１３を用いて本発明の効果を説明する。
【０１３０】
ここでは、図１３（ａ）に示すような２種類の被写体に対しストロボ撮影を行う場合のプレビュー画像の例を（ｂ）に示す。光線を複数回追跡することによって、ストロボ光と物体との間に他の物体がある場合には影を再現することができる。また、光線追跡法ではカメラから近い被写体は光線が到達しやすく、遠い被写体は光線が到達しにくい。そのため、距離が近い被写体は明るく、反対に距離が遠くストロボ光の届きにくい被写体は暗く再現することができる。
【０１３１】
尚、衝突回数を用いて光源に到達前の光線に関する追跡処理の打ち切りを判断する例を示したが、他の変数を用いて判断を行ってもよい。例えば、光線の強度がある閾値を下回った場合に追跡処理を打ち切ることも考えられる。
【０１３２】
このように、上述した撮像装置を利用することで、ユーザによって設定された撮影条件に基づいたストロボ光の効果を予測し、発光前にプレビュー画像として表示することができる。それにより、プレビュー時のプレビュー画像と、実際の撮影による画像との差異を低減することが可能である。また、ユーザは、ストロボ発光前に、ストロボによる輝度の変化や影の発生を確認しながら、ストロボの発光量、発光の向きの設定を始め、その他のシャッター速度や構図の設定と言った撮影条件を予め設定することができる。
【０１３３】
例えば、本実施例で示したように発光部が複数の発光素子から成る場合に、発光パターンを変えた場合のストロボの効果などもプレビュー中に確認することができるようになる。
【０１３４】
尚、本実施例では、被写体情報を取得するために複数の視点から画像を取得可能な多眼カメラを用いる例を説明したが、被写体情報の取得方法は多視点画像から画像処理で算出する方法に限られるものではない。単眼のカメラであっても、距離センサなどの各種センサを組み合わせてもよい。
【０１３５】
（実施例２）
実施例１では、ストロボ発光の効果を撮影前に予測したプレビュー画像を表示することが可能な撮像装置を示した。実施例２では、撮影時のシャッター速度において発生しうる被写体ブレや手ブレを、プレビュー画像において予測する撮像装置について説明する。
【０１３６】
本実施例の撮像装置の構成要素は実施例１と同様であるが、プレビュー画像作成処理（Ｓ４０４）の処理内容が異なる。以下、各処理における実施例１と異なる部分について詳しく説明する。
【０１３７】
（プレビュー画像作成処理）
本実施例のプレビュー画像作成処理（Ｓ４０４）は、プレビュー時に、被写体ブレや手ブレを予測した画像をＣＧによって作成し、出力する。以下にプレビュー画像作成処理Ｓ４０４の動作を、図１４のフローチャートを参照しつつ説明する。尚、図１４において、実施例１で説明した図９のフローチャートと動作が異なるステップについてのみ説明を行う。
【０１３８】
ステップＳ１４０１では、処理対象フレーム数を計算する。処理対象フレーム数は、プレビュー時に、撮影時の露出時間に相当する露出時間内に得られるフレーム数である。
【０１３９】
例えば、撮影条件に含まれるシャッター速度から求められる露出時間が１秒であり、プレビュー時の露出時間が０．０４秒（＝２５ＦＰＳ）の場合、処理対象フレーム数は２５である。
【０１４０】
ステップＳ１４０２では、ユーザがモード切り換えボタン１２３を用いて設定したプレビューモードを示す情報を取得する。本実施例におけるプレビューモードは、ブレ補正の効果をプレビュー画像として表示するブレプレビューモードと、ブレ補正の効果を表示しない通常プレビューモードの２つのモードが存在する。
【０１４１】
ステップＳ１４０３では、ステップＳ１４０２で取得したプレビューモードを示す情報がブレプレビューモードの場合はステップＳ９０６へ移行する（Ｓ１４０３；ＹＥＳ）。
【０１４２】
一方、通常プレビューモードの場合はステップＳ９０８へ移行する（Ｓ１４０３；ＮＯ）。
【０１４３】
ステップＳ１４０４では、ブレを予測したプレビュー画像をＣＧによってレンダリングする。このプレビュー画像レンダリング処理に関する詳細は後述する。
【０１４４】
以上で、本実施例のプレビュー画像作成処理Ｓ４０４の動作が終了する。ブレプレビューモードが選択されている場合、プレビュー中に、ブレを予測したプレビュー画像を表示する。
【０１４５】
（プレビュー画像レンダリング処理）
次に、実施例２におけるプレビュー画像レンダリング処理について、図１５を用いて説明する。
【０１４６】
プレビュー画像レンダリング処理（Ｓ１４０４）では、処理対象フレーム群の各フレームに係る画像を平均化した平均画像をプレビュー画像として作成する。
【０１４７】
処理対象フレーム群は、現在の時刻を基準として、Ｓ１４０１で求めた処理対象フレーム数分の過去のフレームからなるグループである。
【０１４８】
例えば、撮影時の露出時間が１秒、プレビュー時の露出時間が０．０４秒の場合、現在時刻又は基準時刻のフレームから、過去に得られた２５番目のフレームまでが、処理対象フレーム群となる。
【０１４９】
まず、ステップＳ１５０１では、フレームを指定するための変数ｎを初期化する。具体的には、変数ｎに０を代入する。ここで、現在時刻又は基準時刻のフレーム番号をＮ（Ｎは処理対象フレーム数）とすると、（Ｎ−ｎ）が処理の対象となっているフレームのフレーム番号である。
【０１５０】
ステップＳ１５０２では、（Ｎ−ｎ）フレームのプレビュー画像をＣＧによって作成する。尚、プレビュー画像の作成方法はどのような手法を用いてもよく、実施例１で説明した光線追跡法を利用してもよい。
【０１５１】
ステップＳ１５０３では、フレーム番号を更新する。具体的には、変数ｎの値に１を加えて更新する。
【０１５２】
ステップＳ１５０４では、処理対象フレーム群に係る全フレームに対し処理を行ったかどうかを判断し、処理済みの場合はステップＳ１５０５へ進む。全フレームに対し処理が終わっていない場合は、ステップＳ１５０２に戻り、処理の対象となっているフレームに対しプレビュー画像の作成を行う。
【０１５３】
ステップＳ１５０５では、ステップＳ１５０２で作成した各フレームのプレビュー画像を平均化したプレビュー画像を作成する。
【０１５４】
以上の処理手順に従って、プレビュー画像レンダリング処理が終了する。
【０１５５】
本処理では、撮影時の露出時間と、プレビュー時の露出時間とが異なる場合に、露出時間の違いに応じた数の画像を平均化した画像を作成することで、手ブレや被写体ブレを再現、予測したプレビュー画像を作成することができる。
【０１５６】
上述した撮像装置を利用することで、ユーザによって設定されたシャッター速度に応じて発生しうる手ブレや被写体ブレを予測し、プレビュー画像として表示することで、プレビュー画像と実際の撮影画像との差異を低減することが可能である。それによって、撮像装置のユーザは、プレビュー画像でブレの発生具合を確認しながら、シャッター速度などの撮影条件を設定することが可能となる。
【０１５７】
（その他の実施例）
実施例２では、既に撮像されたフレームに基づいて各フレームのプレビュー画像を作成している。しかし、複数のフレームにおける被写体の被写体情報を計算し、被写体の動きを推定することにより、実際には画像を取得していない時刻のプレビュー画像を作成し、平均画像を作成するようにしてもよい。さらに、例えば、過去の数フレームから未来のフレームでの被写体位置や形状を予測し、これを用いてもよい。
【０１５８】
また、実施例２では、各フレームの画像をＣＧによって作成する方法を説明したが、ストロボ光による影の発生や輝度の再現を行う必要がない場合は、必ずしもＣＧで作成する必要はない。その場合、ＣＧではなく、撮像部のうち中央に配置された撮像部１０５で取得された画像に対応するフレームを利用してもよい。
【図１】
2014011639.tif 000021
【図２】
2014011639.tif 000022
【図３】
2014011639.tif 000023
【図４】
2014011639.tif 000024
【図５】
2014011639.tif 000025
【図６】
2014011639.tif 000026
【図７】
2014011639.tif 000027
【図８】
2014011639.tif 000028
【図９】
2014011639.tif 000029
【図１０】
2014011639.tif 000030
【図１１】
2014011639.tif 000031
【図１２】
2014011639.tif 000032
【図１３】
2014011639.tif 000033
【図１４】
2014011639.tif 000034
【図１５】
2014011639.tif 000035