(57)【要約】【課題】短時間に大きな照度変動がある被写体等を撮影した映像を視聴者に適切な状態で視聴させる。【解決手段】撮影された映像信号の映像レベルを調整して出力する撮像装置において、前記撮影された映像信号を２つの系統に分岐する分岐手段と、前記分岐手段により分岐された映像信号の所定の時間内における照度変動に基づき、前記分岐された映像信号を切り替えて若しくは合成して出力される前記映像信号の映像レベルが一定になるように調整する映像調整部とを有することにより、上記課題を解決する。【選択図】図１
2016181810.tif 000002
【特許請求の範囲】
【請求項１】
撮影された映像信号の映像レベルを調整して出力する撮像装置において、
前記撮影された映像信号を２つの系統に分岐する分岐手段と、
前記分岐手段により分岐された映像信号の所定の時間内における照度変動に基づき、前記分岐された映像信号を切り替えて若しくは合成して出力される前記映像信号の映像レベルが一定になるように調整する映像調整部とを有することを特徴とする撮像装置。
【請求項２】
前記分岐手段は、
予め設定された分光比に基づき、高照度時と通常時とに対応する映像信号に分岐させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記映像調整部は、
前記２つの系統の映像信号をフィールド単位で切り替えるモードと、前記映像レベルに応じて合成するモードとを有し、使用環境又は設備事情に対応させた何れかのモードを選択して、前記映像信号を調整することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記映像調整部は、
前記２つの系統に分岐した映像信号を加算して感度低下を補う映像信号を出力することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
例えば、記者会見場等において大量のカメラフラッシュを浴びている場合のように、短時間に大きな照度変動がある被写体を、カメラ等の撮像装置で撮影することがある。このような映像を視聴者が視聴する場合には、光点滅による光過敏性発作等を起こさないように映像表現に関するガイドライン等が設定されている（例えば、非特許文献１及び２参照）。
【０００３】
また、従来では、光点滅を軽減するために、カメラ等で撮影した映像に対して、その後処理として均一に映像レベルを下げることで、光点滅等による視聴者の影響を軽減している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＮＨＫ放送ガイドライン２０１１、日本放送協会、平成２３年４月３０日発行
【非特許文献２】テレビジョンカメラの設計技術、コロナ社、平成１１年８月２０日発行
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラ内の撮像素子に蓄えられる電荷の量には限界があり、更にカメラには白クリップ制限があるため、高照度（フラッシュ）期間の映像は「白飛び」を起こしている場合が多い。したがって、従来のように単純に映像レベルを下げてもコントラストの少ない不自然な映像になる。また、ライブで使用する際には高照度（フラッシュ）期間だけ映像レベルを下げることが困難であるため、映像カット全体を通して不要に映像レベルの低い（暗い）映像を送出する結果となる。
【０００６】
また、従来手法のように、撮影時から高照度（フラッシュ）に備えて光量を下げて撮像する手法では、通常時に適性レベルに利得を上げたときにノイズが増え画質が劣化する。
【０００７】
本発明は、上述した問題点に鑑みなされたものであり、短時間に大幅な照度変化がある被写体を撮影する際にも、視聴者が光過敏性発作等を起こさない自然な映像を出力することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
一つの態様として、本発明は、撮影された映像信号の映像レベルを調整して出力する撮像装置において、前記撮影された映像信号を２つの系統に分岐する分岐手段と、前記分岐手段により分岐された映像信号の所定の時間内における照度変動に基づき、前記分岐された映像信号を切り替えて若しくは合成して出力される前記映像信号の映像レベルが一定になるように調整する映像調整部とを有する。
【発明の効果】
【００１０】
本発明によれば、撮影した映像を視聴者に適切な状態で視聴させることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の概略略例を示す図である。
【図２】映像の切り替えタイミングの一例を示す図である。
【図３】簡易モードの切り替えタイミングの一例を示す図である。
【図４】各モードの適用例を示す図である。
【図５】入射光量に対する撮像素子に蓄えられる電荷の量及び映像出力レベルの一例を示す図である。
【図６】中間レベル変動に対応した映像配分量を決定するＫＥＹ信号レベルを説明するための図である。
【図７】短時間の高照度（フラッシュ）光に対する応答のシャッター方式による違いを説明するための図である。
【発明を実施するための形態】
【００１２】
＜本発明について＞
本発明は、例えばテレビカメラ等のカメラ（撮像装置）に２つの撮像素子を内蔵し、ハーフミラー等の分岐手段を用いて、それぞれで結像させる。また、本実施形態では、ハーフミラーの分光比は、例えば撮像素子のダイナミックレンジに応じて一定の比率を設けてもよい。例えば、本実施形態では、分光させたそれぞれの映像信号を結像させる２つの撮像素子に対して、通常時は入射光量の多い撮像素子からの信号を出力し、高照度（フラッシュ）期間は入射光量の少ない撮像素子からの信号に切り替える。
【００１３】
また、本実施形態では、分光による感度低下が影響する低照度撮影時に、２つの系統（２系統）の映像を加算することで撮像素子が持つ最大感度を得ることもできる。したがって、２系統の映像を合成し、安定した映像を得ることができる。
【００１４】
＜撮像装置の概略例＞
図１は、撮像装置の概略略例を示す図である。図１に示す撮像装置１０は、光学系の一例としての撮像レンズ１１と、分岐手段の一例としてのハーフミラー１２と、撮像素子部１３と、電荷制御部１４と、メモリ１５と、映像調整手段の一例としての映像調整部１６と、記憶部１７と、出力部１８とを有する。
【００１５】
本実施形態における撮像装置１０は、ハーフミラー１２により分光された映像を２系統の撮像素子部１３でそれぞれ受光する。そのため、２系統の撮像素子部１３−１，１３−２、電荷制御部１４−１、１４−２、メモリ（ＭＥＭ）１５−１，１５−２とを有する。
【００１６】
また、上述したハーフミラー１２、撮像素子部１３、電荷制御部１４、メモリ１５、及び映像調整部１６は、映像処理装置２０の機能構成の一例である。
【００１７】
撮像レンズ１１は、被写体等の映像を集光する。ハーフミラー１２は、撮像レンズ１１により撮像された映像を２つに分光する。なお、ハーフミラー１２は、所定の透過率又は反射率を有し、例えば撮像素子部１３のダイナミックレンジ等に応じた所定の比率を設けて調整される。なお、分岐手段は、ハーフミラー１２に限定されるものではない。
【００１８】
本実施形態では、カメラ等の撮像装置１０に撮像素子部１３を２系統内蔵させ、同期して駆動させる。撮像レンズ１１と撮像素子部１３の間にハーフミラーを配置し、入射光の一部を分光し各々の系統で結像させる。２系統の撮像素子部１３−１，１３−２は、それぞれ「通常時」及び「高照度（フラッシュ）時」とで使い分ける。ハーフミラー１２は、通常時の映像レベル（例えば、輝度情報）に、高照度（フラッシュ）時のレベルが合う光量となるように分光比を設定する。なお、図１の例では、撮像素子部１３−１は、通常撮影用撮像素子（単板もしくは３板）であり、撮像素子部１３−２は、高照度（フラッシュ）時撮影用撮像素子（単板もしくは３板）である。
【００１９】
電荷制御部１４は、撮像素子部１３が出力する信号を、可変抵抗部やオペアンプ等により調整する。メモリ１５は、撮像素子部１３に同期したメモリに蓄える。なお、図１の例では、メモリ１５−１は、通常時映像蓄積メモリであり、メモリ１５−２は、高照度（フラッシュ）時映像蓄積メモリである。
【００２０】
映像調整部１６は、メモリ１５−１，１５−２により得られる電荷を用いて、それぞれ２系統を適切に切り替え若しくは合成することで一定の映像レベルに保つことができる。映像調整部１６は、２系統の映像のそれぞれを切り替える切替部の一例であってもよく、２系統の映像を合成する合成部の一例であってもよい。
【００２１】
例えば、映像調整部１６は、１又は複数のモードを有し、選択されたモードに基づいて設定を行ってもよい。モードとしては、例えば「簡易モード」、「精密モード」、「高感度モード」等があるが、これに限定されるものではない。
【００２２】
記憶部１７は、撮像装置１０で撮影され、映像調整部１６により調整された映像を記憶する。また、出力部１８は、映像調整部１６により調整された映像を出力する。なお、出力部１８は、例えばモニタ等の表示部に出力してもよく、ハードディスクやメモリカード等の記録媒体に出力してもよく、有線又は無線等による通信ネットワークにより外部装置に出力してもよいが、これらに限定されるものではない。
【００２３】
また、図１に示す撮像装置１０において、映像調整部１６は映像処理装置２０内に設けれているがこれに限定されるものではなく、例えば記憶部１７、出力部１８と同様に映像処理装置２０の外部（撮像装置１０内）に設けられていてもよい。
【００２４】
また、映像調整部１６は、撮像装置１０の外部に設けられていてもよい。この場合、例えば、撮像装置１０は、２つのメモリ１５−１，１５−２のそれぞれに蓄積された２系統の映像を出力し、外部装置（例えば、合成装置）として設けられた映像調整部１６が、その２系統の映像を入力して、適切に切り替え若しくは合成することで一定の映像レベルの映像を出力する。
【００２５】
＜映像調整部１６における各モードについて＞
ここで、上述した映像調整部１６における各モードの一例として、例えば「簡易モード」、「精密モード」、「高感度モード」について、具体的に説明する。
【００２６】
＜簡易モード＞
簡易モードでは、「通常時」と「高照度（フラッシュ）時」をフィールド単位で切り替える。映像調整部１６は、メモリ１５−１，１５−２から得られる映像に対し、１フィールド毎の平均映像レベルを観測し、急激に変化するときを切替タイミングとする。
【００２７】
ここで、図２は、映像の切り替えタイミングの一例を示す図である。図２の例において、メモリ１５−１から通常撮影用撮像素子出力映像波形３０が出力される。なお、図２において、３１は、通常撮影用撮像素子出力の平均Ａｖである。また、メモリ１５−２からは、高照度（フラッシュ）時用撮像素子出力映像波形３２が出力されている。この映像は、同期して出力されている。この場合、映像調整部１６は、高照度（フラッシュ）期間３３の場合に、メモリ１５−１からの映像信号を、メモリ１５−２からの映像信号に切り替える。これにより、映像調整部１６からの出力信号として、映像切替出力波形３４が出力される。
【００２８】
図３は、簡易モードの切り替えタイミングの一例を示す図である。映像調整部１６は、例えば、図３に示すようなＡＲＩＢ（標準規格）で使用されている１１２５／６０方式のＨＤＴＶ映像において、「簡易モード」の切替タイミングは、スイッチングポイントのあるライン４１にすることができる。ＡＲＩＢではフィールド毎にスイッチングポイントが規定されているため、上述したフィールドレベルの切り替えと同じことを意味している。
【００２９】
なお、簡易モードの切り替えは、例えばフィールド毎で行う。切り替えるタイミングは、例えば予め設定された所定の画素単位又はフィールド単位に対する色や輝度の変化量を示す閾値等と比較し、変化が激しいと判断したときに切り替えるのが好ましいが、これに限定されるものではない。例えば、変化量が閾値を超えた場合に、切り替える制御を行ってもよい。ただし、短い時間でレベルが上下する場合が光点滅であるため、レベルが高くなって一定時間以上下がらない場合には無視する。また、簡易モードでは、合成は行わなくてもよい。
【００３０】
＜精密モード＞
精密モードでは、２系統の映像を適切な配分で合成し、中間レベルの照度変動にも対応できる機能とする。精密モードは、例えばグローバルシャッター式撮像素子に対応させることができる。この場合には、フィールド単位で配分比を決定する。また、精密モードでは、例えば、ローリングシャッター式撮像素子に対応させることができる。この場合には、画素単位で配分比を決定する。
【００３１】
また、精密モードにおいて、ＫＥＹ信号は、通常時系映像の輝度レベルから生成する（ルミナンスキーを生成する）が、高照度期間が１ライン以下の場合は無視する。映像調整部１６は、中間レベルの照度変動時の映像配分比（ＫＥＹ信号レベル）を計算し、その結果に基づいて、２系統の映像の切り替えもしくは合成を行う。
【００３２】
＜中間レベルの照度変動時の映像配分比（ＫＥＹ信号レベル）の計算例＞
次に、中間レベルの照度変動（白飛びしないレベルでの照度変動）時の映像配分比（ＫＥＹ信号レベル）の計算例について具体的に説明する。なお、以下の数式に対する変数を以下に定義する。
【００３３】
＜定義＞
通常時：高照度（フラッシュ）時  分光比  １：ａ（ａ＜１）
期待する出力平均レベル＝Ａｖ（％）  …γ・ｋｎｅｅ補正前
通常系映像レベル＝ｎ（％）          …γ・ｋｎｅｅ補正前（最大１００Ｄ）
フラッシュ系映像レベル＝ａｎ（％）  …γ・ｋｎｅｅ補正前
ＫＥＹ信号レベル＝Ｋ（％）          …γ・ｋｎｅｅ補正前
撮像素子のダイナミックレンジ＝Ｄ（倍）（Ｄ＞１）
ここで、０＜ｎ＜ＡｖのときＫ＝１００とし、Ａｖ＜ｎ＜１００Ｄのとき、
ＡＶ＝（Ｋｎ／１００）＋（（１００−Ｋ）×ａｎ／１００）より、
Ｋ＝１００（Ａｖ−ａｎ）／ｎ（１−ａ）（ただし、Ｋ＜０と計算される場合はＫ＝０）
とする。また、１００Ｄ＜ｎのとき、Ｋ＝０とする。
【００３４】
これにより、映像調整部１６は、映像配分比を高精度に設定することができる。
【００３５】
なお、上述した中間レベルの照度変動時の映像配分比（ＫＥＹ信号レベル）の計算手法は、被写体の照度によらず、例えば精密モードで使用している場合は２系統の撮像素子の映像には常に合成される（配分比が１：０もしくは０：１となる場合もある）。また、配分比を決めるのがＫＥＹ信号レベルである。
【００３６】
＜高感度モード＞
高感度モードでは、２系統の同期した映像を画素毎に加算し、ハーフミラー１２の分光による感度低下を補う。高感度モードでは、入射光を分光して撮像する原理のため、「通常時」の光量が犠牲になり感度スペックが不利になるため、低照度時には分光した分を後から加算して補う高感度モードが存在する。
【００３７】
高感度モードでは、光点滅防止性能はない。しかしながら、高感度モードでは、精密モードで決めた配分比を用いてある程度光点滅防止性能を持たせてもよい。この場合、映像調整部１６は、通常時において、２系統の映像を加算し、フラッシュ時には合成するような制御を行ってもよい。
【００３８】
＜各モードの適用例＞
上述した各モードは、使用環境や設備事情により自動又はユーザ等の操作により選択することができる。図４は、各モードの適用例を示す図である。図４の例では、撮像時に運用者が事前にモードを設定する例を示すが、これに限定されるものではない。
【００３９】
例えば、本実施形態では、図４に示すように、使用環境や設備事情等により、「光点滅低減性能」、「遅延量」、「低照度撮影」等の条件に対応させてモードを選択することができる。なお、図４の例において、「◎」は最適条件であることを示し、「○」は適していることを示し、「△」は使用可能であることを示し、「×」は使用には向いていないことを示す。
【００４０】
なお、高感度モードにおいては、通常時は２系統の映像を加算し、フラッシュ時には合成するといった処理を行う場合、精密モードと比較して、通常時のＳ／Ｎが少し不利になることが考えられる。したがって、図４に示す条件を適用すると、高感度モードは、「光点滅低減性能」が「○」、「遅延量」が「△」、「低照度撮影」が「◎」となる。
【００４１】
＜本実施形態における各種データ例＞
次に、本実施形態における各種データ例について、図を用いて説明する。図５は、入射光量に対する撮像素子に蓄えられる電荷の量及び映像出力レベルの一例を示す図である。本実施形態では、図５において、５１は撮像素子に蓄えられる電荷量を示し、５２は映像出力レベルを示し、５３は電荷量の飽和および白クリップ制限を示す。
【００４２】
図５に示すように、入射光量が多いと撮像素子や映像レベルが飽和するため、分光して光量を抑えることでコントラストのある映像が得られる。
【００４３】
また、図６は、中間レベル変動に対応した映像配分量を決定するＫＥＹ信号レベルを説明するための図である。図６の例において、５４は通常系映像レベルｎ（横軸）を示す。図６の例では、上述した精密モードにおけるＫＥＹ信号レベルのグラフである。本実施形態では、例えば、通常時の出力平均レベルＡｖが期待する平均レベルより低い場合は、通常出力のみを使用し（ＫＥＹ＝１００％）、フラッシュ時出力が期待する平均レベルを上回っている場合は、フラッシュ時出力のみを使用する（ＫＥＹ＝０％）といった出力制御を行うことができる。
【００４４】
また、図７は、短時間の高照度（フラッシュ）光に対する応答のシャッター方式による違いを説明するための図である。図７の例において、５５は高照度（フラッシュ）閃光の例を示している。また、図７の例では、グローバルシャッター式カメラの映像出力（フィールド毎）５６と、ローリングシャッター式カメラの映像出力（フィールド毎）５７とが示されている。
【００４５】
グローバルシャッター式カメラの映像出力５６において、高照度（フラッシュ）閃光があった場合、フィールド５８に示すように一様な高輝度レベルとなる。また、ローリングシャッター式カメラの映像出力５７において、高照度（フラッシュ）閃光があった場合、フィールド５９に示すように部分的な高輝度レベルとなる。
【００４６】
図７の例に示すように、グローバルシャッター方式とローリングシャッター方式でのフラッシュ時の映像出力には違いがあり、何れの方式かは撮像素子毎に異なる。また、撮像素子の違いは、精密モードにおけるＫＥＹ信号生成の「細かさ」の違いを表す。
【００４７】
したがって、映像処理装置２０は、上述したように精密モードにおいて、グローバルシャッター方式の場合には、フィールド単位で映像配分比を決定し、ローリングシャッター方式の場合には、画素単位で映像配分比を決定することで、適切な映像を出力することができる。これは、高感度モードでも光点滅防止機能を付加する場合は同様となる。
【００４８】
上述したように本実施形態によれば、短時間に大きな照度変動がある被写体等を撮影した映像を視聴者に適切な状態で視聴させることができる。例えば、短時間に照度が大きく変動する被写体の撮影時に一定の映像レベルを得ることができる。また、本実施形態によれば、２つの撮像素子にそれぞれ適切な光量を入射させ２系統の映像を使用することで、短時間に大幅な照度変化がある被写体を撮影する際にも、視聴者が光過敏性発作等を起こさない自然な映像が出力可能となる。また、分光による感度低下が影響する低照度撮影時は、２系統の映像を加算することで撮像素子が持つ最大感度を得ることも可能となる。
【００４９】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
【符号の説明】
【００５０】
１０  撮像装置
１１  撮像レンズ（光学系）
１２  ハーフミラー（分岐手段）
１３  撮像素子部
１４  電荷制御部
１５  メモリ
１６  映像調整部（映像調整手段）
１７  記憶部
１８  出力部
２０  映像処理装置
【図１】
2016181810.tif 000003
【図２】
2016181810.tif 000004
【図３】
2016181810.tif 000005
【図４】
2016181810.tif 000006
【図５】
2016181810.tif 000007
【図６】
2016181810.tif 000008
【図７】
2016181810.tif 000009