(57)【要約】【課題】従来の構成では、畳み込みニューラルネットワーク等の高度なアルゴリズムを実装すると、撮影シーンの推定処理に時間がかかってしまい、シーン判別のリアルタイム性が損なわれてしまう。【解決手段】撮影装置を、被写界を測光する測光センサと、測光センサより出力される測光データに基づいて被写界内の被写体の分類を推定する推定手段と、推定された分類に基づいて撮影条件を設定する設定手段と、設定された撮影条件で被写体を撮像する撮像手段とを備える構成とする。【選択図】図２
2017139646.tif 000002
【特許請求の範囲】
【請求項１】
被写界を測光する測光センサと、
前記測光センサより出力される測光データに基づいて前記被写界内の被写体の分類を推定する推定手段と、
前記推定された分類に基づいて撮影条件を設定する設定手段と、
前記設定された撮影条件で前記被写体を撮像する撮像手段と、
を備える、
撮影装置。
【請求項２】
被写界を測光する測光センサと、
前記測光センサより出力される測光データに基づいて前記被写界内の被写体の分類を推定する推定手段と、
前記推定された分類に基づいて画像パラメータを設定する設定手段と、
前記被写体を撮像する撮像手段と、
前記設定された画像パラメータを用いて前記撮像手段より出力される画像データを処理する処理手段と、
を備える、
撮影装置。
【請求項３】
前記推定手段は、
前記被写体の分類の推定処理をパイプラインで実行する、
請求項１又は請求項２に記載の撮影装置。
【請求項４】
前記推定手段は、
前記被写体の分類の推定処理を時分割で実行する、
請求項１から請求項３の何れか一項に記載の撮影装置。
【請求項５】
前記推定手段は、
畳み込みニューラルネットワークを用いて前記被写体の分類を推定する、
請求項１から請求項４の何れか一項に記載の撮影装置。
【請求項６】
前記推定手段は、
畳み込みニューラルネットワークを用いて前記被写体の各分類候補を要素とする確信度ベクトルを取得し、
前記取得された確信度ベクトルの要素同士を相互作用させるマトリックス演算を行うことにより、該確信度ベクトルを補正し、
補正後の確信度ベクトルに基づいて前記被写体の分類を推定する、
請求項１から請求項５の何れか一項に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置に関する。
【背景技術】
【０００２】
ディープラーニング技術を用いて画像データを解析するアルゴリズムが知られている。例えば特許文献１に、ディープラーニングの一種である畳み込みニューラルネットワークを用いて画像データの分類を推定する方法が記載されている。
【０００３】
デジタルカメラ等の撮影装置の技術分野においては、この種の方法を用いてリアルタイムのスルー画（ライブビュー）や記録画像のデータを解析して分類（撮影シーン）を推定し、推定される撮影シーンに応じた条件で被写体を撮影する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−３２３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影装置では、撮影画像について基本的な処理（撮像、保存、ライブビュー表示等の各種処理）を実行する必要があるため、撮影画像に基づく撮影シーンの推定処理に割り当てることが可能なリソースが限られる。そのため、畳み込みニューラルネットワーク等の高度なアルゴリズムを実装すると、撮影シーンの推定処理に時間がかかってしまい、シーン判別のリアルタイム性が損なわれるという問題が指摘される。
【０００６】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、撮影シーンの推定処理を高速に実行するのに好適な撮影装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る撮影装置は、被写界を測光する測光センサと、測光センサより出力される測光データに基づいて被写界内の被写体の分類を推定する推定手段と、推定された分類に基づいて撮影条件を設定する設定手段と、設定された撮影条件で被写体を撮像する撮像手段とを備える。
【０００８】
また、本発明の一実施形態に係る撮影装置は、被写界を測光する測光センサと、測光センサより出力される測光データに基づいて被写界内の被写体の分類を推定する推定手段と、推定された分類に基づいて画像パラメータを設定する設定手段と、被写体を撮像する撮像手段と、設定された画像パラメータを用いて撮像手段より出力される画像データを処理する処理手段とを備える。
【０００９】
また、本発明の一実施形態において、推定手段は、被写体の分類の推定処理をパイプラインで実行する構成としてもよい。
【００１０】
また、本発明の一実施形態において、推定手段は、被写体の分類の推定処理を時分割で実行する構成としてもよい。
【００１１】
また、本発明の一実施形態において、推定手段は、畳み込みニューラルネットワークを用いて被写体の分類を推定する構成としてもよい。
【００１２】
また、本発明の一実施形態において、推定手段は、畳み込みニューラルネットワークを用いて被写体の各分類候補を要素とする確信度ベクトルを取得し、取得された確信度ベクトルの要素同士を相互作用させるマトリックス演算を行うことにより、該確信度ベクトルを補正し、補正後の確信度ベクトルに基づいて被写体の分類を推定する構成としてもよい。
【発明の効果】
【００１３】
本発明の一実施形態によれば、撮影シーンの推定処理を高速に実行するのに好適な撮影装置が提供される。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る撮影装置の構成を示すブロック図である。
【図２】本発明の一実施形態において実行される第一の動作フローを示す図である。
【図３】本発明の一実施形態に係る撮影装置に備えられる画像分類部による推定処理の実行タイミングを示す図である。
【図４】本発明の一実施形態において実行される第二の動作フローを示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、クイックリターン式のミラー搭載のデジタル一眼レフカメラについて説明する。
【００１６】
［撮影装置１の構成］
図１は、本発明の一実施形態に係る撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、撮影レンズ１０１、絞り機構１０２、メインミラー１０３、シャッタ機構１０４、イメージセンサ１０５、イメージセンサ用ドライバ１０６、ＡＥ（Automatic Exposure）センサ１０７、ＡＥセンサ用ドライバ１０８、画像変換部１０９、撮影条件設定部１１０、画像パラメータ設定部１１１、絞り制御部１１２、シャッタ制御部１１３、機構制御部１１４、画像分類部１１５、画像保存部１１６、画像表示部１１７及び操作部１１８を備えている。なお、撮影レンズ１０１は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、図１においては、図面の複雑化を避ける便宜上、ブロック間の結線を適宜省略している。
【００１７】
被写体からの光束（被写体光束）は、撮影レンズ１０１及び絞り機構１０２を介してメインミラー１０３により、図示省略されたファインダ光学系に向かって反射される。被写体光束は、ファインダ光学系が有するペンタプリズムの各反射面にて反射されることによって正立像となり、接眼レンズに入射される。被写体光束は、接眼レンズにより、ユーザの観察に適する虚像に再結像される。ユーザは、接眼レンズによって再結像された被写体像（虚像）を、ファインダ窓を覗くことにより観察することができる。
【００１８】
操作部１１８には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。
【００１９】
ペンタプリズムの一部の領域は、ハーフミラー領域となっている。ペンタプリズムの各反射面にて反射される被写体光束の一部は、ハーフミラー領域を介してＡＥセンサ１０７にて受光される。
【００２０】
ＡＥセンサ１０７は、ＡＥセンサ用ドライバ１０８によって駆動され、被写界を複数の測光領域に分割して測光するものであり、例示的には、複数の測光領域（画素）がマトリックス状に配列されたカラーフィルタ搭載の二次元センサ（例えばＣＣＤ（Charge Coupled Device））である。
【００２１】
ＡＥセンサ１０７は、被写体光束を取り込んで測光データを出力する。具体的には、ＡＥセンサ１０７は、測光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、カラー情報を持つ測光データを生成して出力する。ＡＥセンサ１０７より出力される各画素の測光データは、ＡＥセンサ用ドライバ１０８を介して画像変換部１０９に入力される。
【００２２】
［第一の動作フロー］
本実施形態では、ＡＥセンサ１０７より出力される各画素の測光データに基づいて被写界内の被写体の分類（言い換えると撮影シーン）が推定される。撮影シーンには、例えば、「花」、「犬」、「夜景」、「料理」、「海」等が挙げられる。
【００２３】
図２に、第一の動作フローを示す。図２に示される第一の動作フローは、撮影シーンを推定して撮影を行い、撮影画像データを保存・表示するまでの一連の動作を示すフローチャートである。図２に示される第一の動作フローは、例えば、ＡＥセンサ１０７より出力された各画素の測光データが画像変換部１０９に入力された時点で開始される。
【００２４】
［図２のＳ１１（ＡＥセンサ１０７より出力される画像信号の変換）］
本処理ステップＳ１１では、画像変換部１０９が測光演算を行って測光結果を取得する。具体的には、画像変換部１０９は、各画素の測光データ（ＲＡＷ形式の画像信号）に所定の信号処理を施すことにより、低解像度ではあるが、被写体の形や色を判別できる程度の情報を持つＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号に変換する。
【００２５】
［図２のＳ１２（撮影シーンの推定）］
本処理ステップＳ１２では、画像分類部１１５により、画像変換部１０９より入力されるＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号に基づいて、ＡＥセンサ１０７にて取り込まれた被写界の撮影シーンが推定される。
【００２６】
本実施形態では、撮影シーンを推定するため、畳み込みニューラルネットワークが用いられる。画像分類部１１５に実装されている畳み込みニューラルネットワークでは、畳み込み層（Convolution Layer）とプーリング層（Pooling Layer）とが繰り返されることにより、ＡＥセンサ１０７にて取り込まれた被写界内の被写体を抽象化した抽象画像データが生成される。生成された抽象画像データは、一次元のベクトルデータに変換されて、全結合層（Full Connection layer）に入力される。
【００２７】
全結合層では、学習結果から撮影シーン候補毎に値のセット（調整値ｂｉ及び係数ｗｉｊ）が与えられており、次式を用いた積和演算が撮影シーン候補毎に行われる。
（積和演算式）
2017139646.tif 000003
ｉ    ：一次元に変換された入力ベクトルデータの各要素を示す値
ｊ    ：対象の撮影シーン候補を認識する場合とそれ以外を認識する場合とを区別するための値（例えば前者の場合ｊ＝１で後者の場合ｊ＝２）
ｘｉ  ：入力ベクトルデータの各要素ｉの値
ｙｉ  ：入力ベクトルデータの各要素ｉについての積和演算結果
ｂｉ  ：事前の学習結果から与えられる値であって、入力ベクトルデータの各要素ｉの調整値
ｗｉｊ  :事前の学習結果から与えられる値であって、入力ベクトルデータの各要素ｉの係数（対象の撮影シーン候補を認識する場合の係数ｗｉ１と、それ以外を認識する場合の係数ｗｉ２）
【００２８】
撮影シーン候補毎の積和演算結果ｙｉが最終層であるsoftmax層で正規化される。画像分類部１１５は、softmax層で正規化された値に基づいて撮影シーンを推定する。
【００２９】
なお、ユーザは、畳み込み層（Convolution Layer）の空間フィルタ及び値のセット（調整値ｂｉ及び係数ｗｉｊ）を別の撮影シーン候補に適したデータに書き換えることにより、画像分類部１１５によって推定可能な撮影シーンを設定変更することができる。また、ユーザは、既存の撮影シーン候補について畳み込み層の空間フィルタ及び値のセット（調整値ｂｉ及び係数ｗｉｊ）を更新することもできる。
【００３０】
また、softmax層の出力から、被写体の各撮影シーン候補を要素とする確信度ベクトルが得られる。本実施形態では、最終的に得られる確信度を高めるため、確信度ベクトルの要素同士を相互作用させるマトリックス演算が行われてもよい（例えば特開平４−１８７０号公報参照）。下記に、マトリックス演算例を示す。
（マトリックス演算例）
2017139646.tif 000004
ｘ    ：確信度ベクトル（softmax層から出力されるベクトル）
ａｉｊ  : 確信度ベクトル相互作用マトリックス
ｙ    ：確信度ベクトル（最終値）
【００３１】
例えば、softmax層から出力される「花」、「夜景」、「料理」、「海」の各要素の確信度ベクトルが、それぞれ、「０」、「１」、「２」、「３」である場合を考える。この場合、上記のマトリックス演算が行われることにより、撮影シーンを推定するにあたり、「花」の確信度がより大きい値で扱われる。なお、焦点距離から得られる像倍率や焦点距離を加味して確信度の精度をより一層向上させることにより、撮影シーンがより高精度に推定されるようにしてもよい。
【００３２】
一般に、畳み込みニューラルネットワーク等の高度なアルゴリズムの実行には膨大な計算量が必要とされる。そのため、当該処理の実行にリソースが占有されて、他の処理の実行に支障をきたす虞がある。そこで、本実施形態では、撮影シーンの推定処理が時分割で実行される。図３に、画像分類部１１５による推定処理の実行タイミングを例示する図を示す。
【００３３】
図３に示されるように、ＡＥセンサ１０７による取り込み処理及び測光演算は、毎フレーム実行される。画像分類部１１５による撮影シーンの推定処理は、ＡＥセンサ１０７による測光演算後から次フレームの取り込み処理までの期間（以下、説明の便宜上「リソース空き期間」と記す。）を利用して時分割で実行される。
【００３４】
図３の例では、リソース空き期間に初回の畳み込み（図３中「convolution 1」）及び初回のプーリング（図３中「pooling 1」）が実行されると、次フレームのリソース空き期間に二回目の畳み込み（図３中「convolution 2」）及び二回目のプーリング（図３中「pooling 1」）が実行され、更に、次フレームのリソース空き期間に三回目の畳み込み図３中「convolution 3」）が実行される。次いで、次フレームのリソース空き期間に積和演算（図３中「FC(Full Connection)」）及び正規化処理（図３中「Softmax)」）が実行され、次フレームのリソース空き期間に撮影シーンの推定処理（図３中「分類)」）が実行される。本実施形態では、これら一連の処理が５フレーム周期で繰り返し実行される。すなわち、本実施形態では、撮影シーンが５フレーム周期で推定される。
【００３５】
時分割処理を採用することにより、撮影シーンの推定処理に撮影装置１のリソースが占有される事態が避けられる。更に、表示に関連する処理が不要な測光データを利用することにより、ライブビューや記録画像のデータを用いる場合と比べてリソース空き期間が長いため、撮影シーンを短い時間（従来よりも高速）で推定することができる。そのため、畳み込みニューラルネットワーク等の高度なアルゴリズムを実装した場合であっても、シーン判別のリアルタイム性が担保される。
【００３６】
また、撮影シーンの推定処理は、時分割処理に代えて又は時分割処理に加えてパイプラインで実行されてもよい。パイプライン処理を採用する場合も同様に、撮影装置１のリソースが推定処理に占有される事態が避けられると共にシーン判別のリアルタイム性が担保される。
【００３７】
［図２のＳ１３（撮影条件の設定）］
本処理ステップＳ１３では、撮影条件設定部１１０により、処理ステップＳ１２（撮影シーンの推定）にて推定された撮影シーンに基づいて撮影条件が設定される。ここで設定される撮影条件には、例えば、シャッタ速度、絞り値、ＩＳＯ感度、撮影前にすべき対処等が挙げられる。
【００３８】
例えば撮影シーンとして「料理」が推定された場合を考える。この場合、白い皿がハイライトとなる影響で画像全体が暗くなる虞がある。そこで、画像全体が暗くならないように、シャッタ速度、絞り値、ＩＳＯ感度が設定される。また、撮影シーンとして「花」が推定された場合には、背景にピントが合わないようにオートフォーカスが設定される。
【００３９】
また、撮影前にすべき対処とは、撮影後の画像では補正や反映が難しい事項への対処をいう。例えば撮影シーンとして「青空」が推定された場合を考える。この場合、撮影前にすべき対処とは、雲が白飛びするのを防止するため、調光制御に補正値（アンダー補正）を与えることである。
【００４０】
［図２のＳ１４（設定条件による撮影）］
ユーザによりレリーズスイッチが押されると、処理ステップ１３（撮影条件の設定）にて設定された絞り値に従い、絞り機構１０２の開口が絞り制御部１１２によって制御される。また、シャッタ機構１０４が駆動制御されると共にメインミラー１０３がクイックリターンされる。具体的には、シャッタ機構１０４は、例えばフォーカルプレーンシャッタであり、シャッタ制御部１１３により、処理ステップ１３（撮影条件の設定）にて設定されたシャッタ速度で駆動制御される。メインミラー１０３は、シャッタ機構１０４の先幕走行開始直前から後幕走行終了直後の期間に限り、機構制御部１１４によってアップされて、撮影レンズ１０１の光軸と平行な光路から退避される。
【００４１】
イメージセンサ１０５は、シャッタ機構１０４の後段に設置されている。そのため、シャッタ機構１０４を通過した被写体光束は、イメージセンサ１０５の撮像面上で結像される。イメージセンサ１０５は、イメージセンサ用ドライバ１０６によって駆動される画像形成用のイメージセンサである。イメージセンサ１０５は、撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積し、処理ステップ１３（撮影条件の設定）にて設定されたＩＳＯ感度に従い、増幅処理を行って、画像信号を生成して出力する。なお、イメージセンサ１０５は、ＣＣＤ（Charge-Coupled Device）イメージセンサであっても、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。
【００４２】
［図２のＳ１５（イメージセンサ１０５より出力される画像信号の変換）］
本処理ステップＳ１５では、画像変換部１０９により、イメージセンサ１０５より入力されるＲＡＷ形式の画像信号がＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号に変換される。
【００４３】
［図２のＳ１６（撮影画像データの保存及び撮影画像の表示）］
本処理ステップＳ１６では、処理ステップＳ１５（イメージセンサ１０５より出力される画像信号の変換）にて変換されたＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号（撮影画像データ）が画像保存部１１６に保存される。なお、画像保存部１１６には、イメージセンサ１０５より入力されるＲＡＷ形式の画像信号がそのまま保存されてもよい。
【００４４】
また、本処理ステップＳ１６では、処理ステップＳ１５（イメージセンサ１０５より出力される画像信号の変換）にて変換されたＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号が所定のフォーマットのビデオ信号に変換され、撮影装置１の背面に設けられた画像表示部１１７の表示画面に表示される。これにより、ユーザは、ライブビューを画像表示部１１７の表示画面を通じて視認することができる。
【００４５】
［第二の動作フロー］
図４に、第二の動作フローを示す。図４に示される第二の動作フローは、任意に設定された条件で撮影を行い、撮影画像データを保存・表示するまでの一連の動作を示すフローチャートである。図４に示される第二の動作フローは、例えば、ＡＥセンサ１０７より出力された各画素の測光データが画像変換部１０９に入力された時点で開始される。
【００４６】
［図４のＳ２１〜Ｓ２２］
処理ステップＳ２１〜Ｓ２２は、図２の処理ステップＳ１１〜Ｓ１２と実質同じであるため、その説明を省略する。
【００４７】
［図４のＳ２３（撮影条件の設定）］
本処理ステップＳ２３では、撮影条件設定部１１０により、任意の（例えばユーザによる操作入力に応じた）撮影条件が設定される。
【００４８】
［図４のＳ２４（設定条件による撮影）］
処理ステップＳ２４は、図２の処理ステップＳ１４と実質同じであるため、その説明を省略する。
【００４９】
［図４のＳ２５（イメージセンサ１０５より出力される画像信号の変換）］
本処理ステップＳ２５では、画像パラメータ設定部１１１により、処理ステップＳ２２（撮影シーンの推定）にて推定された撮影シーンに基づいて、イメージセンサ１０５より入力されるＲＡＷ形式の画像信号に適用すべき画像パラメータが設定される。
【００５０】
例えば、撮影シーンとして「花（色鮮やか）」が推定された場合、彩度を少し抑えたパラメータが設定される。また、例えば、撮影シーンとして「自然風景（青空と緑が混在する風景）」が推定された場合、コントラストが強く効くようにパラメータが設定される。
【００５１】
次いで、本処理ステップＳ２５では、画像変換部１０９により、画像パラメータ設定部１１１にて設定されたパラメータを用いて、イメージセンサ１０５より入力されるＲＡＷ形式の画像信号がＲＧＢ形式（又はＹＣｂＣｒ形式）の画像信号（撮影画像データ）に変換される。
【００５２】
なお、本処理ステップＳ２５にて設定可能な画像パラメータは、少なくとも、ＲＡＷ形式からＲＧＢ形式（又はＹＣｂＣｒ形式）に変換する際に反映することができる種々のパラメータを含む。例示的には、本処理ステップＳ２５にて設定可能な画像パラメータには、彩度やコントラスト等だけでなく、シャープネス設定や特殊エフェクト設定等も含まれる。
【００５３】
［図４のＳ２６（撮影画像データの保存及び撮影画像の表示）］
処理ステップＳ２６は、図２の処理ステップＳ１６と実質同じであるため、その説明を省略する。
【００５４】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。
【符号の説明】
【００５５】
１  撮影装置
１０１  撮影レンズ
１０２  絞り機構
１０３  メインミラー
１０４  シャッタ機構
１０５  イメージセンサ
１０６  イメージセンサ用ドライバ
１０７  ＡＥセンサ
１０８  ＡＥセンサ用ドライバ
１０９  画像変換部
１１０  撮影条件設定部
１１１  画像パラメータ設定部
１１２  絞り制御部
１１３  シャッタ制御部
１１４  機構制御部
１１５  画像分類部
１１６  画像保存部
１１７  画像表示部
１１８  操作部
【図１】
2017139646.tif 000005
【図２】
2017139646.tif 000006
【図３】
2017139646.tif 000007
【図４】
2017139646.tif 000008