(57)【要約】【課題】撮像装置で複数フレームを加算して高感度機能を実現する際、出力フレームレートが低下し、高輝度部分が白トビする課題を解決する。【解決手段】フレームメモリ部１１２から読み出したα倍に高感度化した映像信号を（α−１）／α倍したものと、撮像部１１０からの映像信号を加算部１１４で加算した信号に対して、レベル変換部１１５で高輝度部の階調を圧縮するレベル変換を施す。この結果をフレームメモリ部１１２にフレーム毎に書き込んで更新することで、高輝度部の白トビを抑えつつ低輝度部に対してはＮ倍の高感度化を実現する。【選択図】図１
2008283329.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートに基づいて画像データを逐次生成する撮像部と、
前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、
前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、
前記フレームレートのタイミングに従って、（Ｎ−１）番目（Ｎ：整数）の画像出力データに基づき前記ゲイン部で得られる画像データと、前記撮像部により生成されるＮ番目の画像データとを加算する加算部と、
前記加算部の加算結果に対し、前記フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、
を備えた撮像装置。
【請求項２】
フレームメモリ部を備えた撮像装置における画像出力方法であって、
所定のフレームレートに基づいて画像データを逐次生成する第１ステップと、
前記フレームレートに応じてフレーム単位の画像出力データを前記フレームメモリ部に逐次記憶する第２ステップと、
前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）する第３ステップと、
前記フレームレートのタイミングに従って、（Ｎ−１）番目（Ｎ：整数）の画像出力データに基づき前記第３ステップで得られる画像データと、前記第１ステップで生成されるＮ番目の画像データとを加算する第４ステップと、
前記第４ステップの加算結果に対し、前記フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成する第５ステップと、
を備えた画像出力方法。
【請求項３】
撮像装置に内蔵された集積回路であって、
所定のフレームレートに基づいて画像データを逐次生成する撮像部と、
前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、
前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、
前記フレームレートのタイミングに従って、（Ｎ−１）番目（Ｎ：整数）の画像出力データに基づき前記ゲイン部で得られる画像データと、前記撮像部により生成されるＮ番目の画像データとを加算する加算部と、
前記加算部の加算結果に対し、前記フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、
を備えた集積回路。
【請求項４】
撮像装置に内蔵された集積回路であって、
所定のフレームレートに基づいて画像データを逐次入力する入力部と、
前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、
前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、
前記フレームレートのタイミングに従って、（Ｎ−１）番目（Ｎ：整数）の画像出力データに基づき前記ゲイン部で得られる画像データと、前記入力部により入力されるＮ番目の画像データとを加算する加算部と、
前記加算部の加算結果に対し、前記フレームメモリ部で記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、
を備えた集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビカメラ等の撮像装置に関するものであり、特に高感度撮影機能を実現する技術に関するものである。
【背景技術】
【０００２】
近年、テレビジョン放送におけるＨＤ（High Definition：高精細）化の進展に伴い、ＨＤ方式の撮像装置の応用分野が広がっている。しかしながら、ＨＤ方式の撮像装置は、従来のＳＤ方式と比較してＨＤ方式の撮像装置は画像センサの画素サイズが小さく感度が低いため、暗所での監視用途など光量の少ない状況での撮影では高感度化処理が重要となる。
特許文献１には、従来の撮像装置における高感度画像の生成方法が開示されている。この特許文献１に開示された撮像装置の構成を示すブロック図を図１に示す。図１に示す撮像装置において、レンズユニット２００は、被写体の光学像を取得するための光学系を構成する。撮像部２１０は撮像素子を備え、レンズユニット２００から入射して撮像面に結像した光学像を電気的な映像信号に変換する。撮像部２１０で得られた映像信号は一旦画像データとしてフレームメモリ部２１２に記憶される。図１に示す撮像装置では、タイミング制御部２２３は、撮像部２１０を駆動する周期が長くなるように、つまり露光時間が複数フレームとなるように撮像素子制御部２１１を制御する。これにより、撮像部２１０から複数フレーム期間に１フレームのみ間欠的に画像データが出力されるようにする。メモリ制御部２２０では撮像部２１０から間欠的に出力される画像データのみをフレームメモリ部２１２に書き込むように制御する。フレームメモリ部２１２からの画像データの読み出しは、カメラ（撮像装置）の出力フレームレートに合わせて繰り返し行われる。
【０００３】
図１に示した従来の撮像装置では、撮像部２１０から間欠的に出力される画像データのレベルが長時間露光によって大きくなっており、この画像データを繰り返し読み出すことで切れ目のない映像出力を得ることができる。フレームメモリ部２１２から読み出された画像データはカメラ処理部２１６でカメラとして必要な各種信号処理が施され、カメラ出力２１７から出力される。
【特許文献１】特開平１−１４６４７６号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、図１に示した従来の撮像装置は、間欠的に得られる画像データを繰り返し出力するため、実質的なフレームレートが低下し、動いている被写体を撮影するとコマ落ちした動きになってしまうという問題点があった。さらに、この従来の撮像装置は、高輝度の被写体を撮影したときに撮像部で得られる映像信号の信号レベルが大きくなり過ぎ、画像データの高輝度部分がクリップして階調が失われてしまうという問題点を有していた。
本発明は、上記従来の問題点を解決するもので、高感度化した場合でも出力画像を更新するフレームレートを保ち、高輝度部分がクリップされにくい高感度機能を備えた撮像装置、画像出力方法、集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の観点は、所定のフレームレートに基づいて画像データを逐次生成する撮像部と、前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、前記ゲイン部で得られる（Ｎ−１）番目（Ｎ：整数）の画像出力データと、前記撮像部により生成されるＮ番目の画像データとを加算する加算部と、前記加算部の加算結果に対し、前記フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、を備えた撮像装置である。
本発明の第２の観点は、フレームメモリ部を備えた撮像装置における画像出力方法であって、所定のフレームレートに基づいて画像データを逐次生成する第１ステップと、フレームレートに応じてフレーム単位の画像出力データをフレームメモリ部に逐次記憶する第２ステップと、フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）する第３ステップと、フレームレートのタイミングに従って、（Ｎ−１）番目（Ｎ：整数）の画像出力データに基づき第３ステップで得られる画像データと、第１ステップで生成されるＮ番目の画像データとを加算する第４ステップと、第４ステップの加算結果に対し、フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成する第５ステップと、を備える。
【０００６】
本発明の第３の観点は、撮像装置に内蔵された集積回路であって、所定のフレームレートに基づいて画像データを逐次生成する撮像部と、前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、前記ゲイン部で得られる（Ｎ−１）番目（Ｎ：整数）の画像出力データと、前記撮像部により生成されるＮ番目の画像データとを加算する加算部と、前記加算部の加算結果に対し、前記フレームメモリ部に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、を備える。
本発明の第４の観点は、撮像装置に内蔵された集積回路であって、所定のフレームレートに基づいて画像データを逐次入力する入力部と、前記フレームレートに応じてフレーム単位の画像出力データを逐次記憶するフレームメモリ部と、前記フレームメモリ部から画像出力データを読み出し、その読み出した画像出力データのレベルを（α−１）／α倍（α：整数）するゲイン部と、前記ゲイン部で得られる（Ｎ−１）番目（Ｎ：整数）の画像出力データと、前記入力部により入力されるＮ番目の画像データとを加算する加算部と、前記加算部の加算結果に対し、前記フレームメモリ部で記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、Ｎ番目の画像出力データを生成するレベル変換部と、を備える。
【発明の効果】
【０００７】
以上のように本発明は、撮像装置において、高感度化した場合でも出力画像を更新するフレームレートを保ち、高輝度部分がクリップしにくいという優れた効果が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について、図面を参照しながら説明する。
（第１実施形態）
先ず、本発明の撮像装置の第１実施形態の構成について図２を参照して説明する。図２は本発明の撮像装置の一実施形態の構成を示すブロック図である。この撮像装置は、たとえばデジタルビデオカメラ等に組み込まれる。
図２に示す撮像装置において、レンズユニット１００は、被写体の光学像を取得するための光学系を構成する。撮像部１１０は、たとえばＣＣＤなどの撮像素子を主要部として構成される。撮像部１１０は、撮像装置が出力すべき画像出力データのフレームレートに適合したタイミングで、レンズユニット１００から入射して撮像面に結像した光学像を電気的な映像信号に変換し、さらに、その映像信号をデジタル化して画像データＳ１１０を逐次生成する。
【０００９】
フレームメモリ部１１２は、高感度化された画像出力データＳ１１５（後述する）を逐次記憶する。ゲイン部１１３は、フレームメモリ部１１２からフレームレートに応じて逐次読み出した画像データＳ１１２に対して（α−１）／α倍（α：整数）のゲインを掛け、画像データＳ１１３を出力する。
加算部１１４は、撮像部１１０から供給される画像データＳ１１０と、ゲイン部１１３から供給される画像データＳ１１３とを加算する。図２に示すように、加算部１１４に供給される画像データＳ１１３はフィードバックループを経ているので、加算部１１４では、フレームレートに応じて、（Ｎ−１）番目（Ｎ：整数）の画像出力データＳ１１５（Ｎ−１）に基づいてゲイン部１１３で得られる画像データＳ１１３（Ｎ−１）と、撮像部１１０により生成されるＮ番目の画像データＳ１１０（Ｎ）とが加算されることになる。さらに、レベル変換部１１５は、加算部１１４の出力データＳ１１４に対して、フレームメモリ部１１２に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行い、画像出力データＳ１１５を生成する。この画像出力データＳ１１５は、上述したようにフレームメモリ部１１２に書き込まれる。
【００１０】
また、カメラ処理部１１６は、レベル変換部１１５からの画像出力データＳ１１５に対してカメラとして必要な各種信号処理を施し、フレームレートのタイミングでカメラ出力１１７から出力する。
次に、本実施形態の撮像装置における高感度化の原理について説明する。撮像部１１０からの画像データＳ１１０を入力Ｕ、加算部１１４からの画像データＳ１１４を出力Ｙとし、仮にレベル変換部１１５が存在しないとした場合の図２のブロック図のフィードバック制御系は、図３に示すように表現することができる。このフィードバック制御系の入出力の関係は、Ｙ＝αＵと表すことができ、入力した画像データに対してα倍に高感度化された画像データの出力が得られることになる。たとえば、４倍の高感度機能を実現する場合（α＝４）には、ゲイン部１１３で掛けるゲインを（α−１）／α＝３／４とする。この場合、撮像部１１０からの画像データのレベルの４倍のレベルで画像データを記憶しているフレームメモリ部１１２からの出力を３／４倍し、撮像部１１０から入力される画像データを加算することで、再び４倍の映像信号レベルの画像データによってフレームメモリ部１１２の記憶内容が更新される。
【００１１】
本実施形態の撮像装置によれば、上述した原理によって高感度化が得られるものの、撮像部１１０で得られる映像信号のレベルが高い場合、すなわち高輝度である場合には、撮像部１１０から供給される画像データをそのままα倍にすると、表現できる映像信号レベル範囲（すなわち、表現できる画像データのレンジ）を超えてしまい、白トビした映像が出力されてしまう。これを防ぐため、本実施形態の撮像装置では、上述したように、フレームメモリ部１１２に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行うことによって、高輝度領域における階調の圧縮を行う。図４は、レベル変換部１１５のレベル変換特性の一例を示す図である。
図４に示すレベル変換特性（入出力特性）では、低輝度領域に対しては傾きが１であるため実質的に変換が行われず、高輝度領域に対しては傾きを１よりも小さくなっているため階調の圧縮が行われる。なお、図４のレベル変換特性は、高輝度領域の傾き、すなわち階調圧縮率を１／４とした場合を示している。撮像部１１０からの画像データのレンジの最大値を１とすると、撮像部１１０からの画像データのレベルが０〜１．０の値をとり、フレームメモリ部１１２からの階調圧縮後の画像データのレベルも０〜１．０の値をとるので、レベル変換部１１５への最大入力は１．０＋１．０×（α−１）／α＝１．０＋１．０×３／４＝１．７５となる。したがって、レベル変換部１１５のレベル変換特性は、図４に示すように、この最大入力時に出力が最大値１．０をとるように設定される。
【００１２】
図５は、本実施形態の撮像装置のレベル変換部１１５が図３に示すレベル変換特性を有する場合において、撮像部１１０の出力と、レベル変換部１１５の出力との入出力関係の過渡特性を示す図である。図５に示すように、レベル変換部１１５の出力は撮像部１１０の出力に対して、１フレーム毎にＰ１→Ｐ２→…→Ｐ６と変化していき、最終的に低輝度領域の傾きが４倍で、高輝度領域が圧縮された状態（Ｐ６）で収束する。つまり、低輝度領域は傾き４、すなわち４倍の高感度（α＝４）となり、高輝度領域はクリップすることなく階調が圧縮された画像出力データが得られることになる。
以上説明したように本実施形態の撮像装置によれば、高感度化を実現するためのフィードバック系を設けるとともに、高輝度領域を圧縮するレベル変換部を設けることにより、フレームレートを保ちながら、高輝度領域の白トビを抑えつつ低輝度領域の感度を上げることができる。
【００１３】
なお、上述した実施形態において、レベル変換部１１５のレベル変換特性を図３に示したような折れ線の特性として例示したが、これに限られない。レベル変換部１１５のレベル変換特性は、たとえば図６に示すような曲線としてもよい。図６に示すレベル変換特性によって、低輝度領域から高輝度領域にかけて階調の変化が図３のものと比較して急峻とならず、より好ましい映像出力が得られる。また、この実施形態の説明で例示したレベル変換特性は例示に過ぎず、加算部１１４の加算結果である画像データＳ１１３に対し、フレームメモリ部１１２に記憶できる画像データのレンジ内となるように高輝度領域におけるレベル変換を行うようにすればよい。
（他の実施形態）
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【００１４】
また、上記実施形態で説明した撮像装置の機能を集積回路によって実現する場合、撮像部１１０は必ずしもその集積回路に組み込まれる必要はなく、集積回路外部に設けられる撮像部からの画像データを集積回路の入力部が入力し、その入力した画像データに基づいて図２に示したような処理を集積回路が行うようにすることもできる。
【産業上の利用可能性】
【００１５】
本発明にかかる撮像装置は、高感度化した場合でも出力フレームレートを保ち、高輝度部分がクリップされにくいという優れた効果を有し、特に高感度撮影機能を実現する撮像装置として有用である。
【図面の簡単な説明】
【００１６】
【図１】従来の撮像装置の構成を示すブロック図。
【図２】第１実施形態の撮像装置の構成を示すブロック図。
【図３】第１実施形態の撮像装置における高感度化の原理を説明するための図。
【図４】第１実施形態の撮像装置におけるレベル変換部の入出力特性図。
【図５】第１実施形態の撮像装置におけるレベル変換部の出力変化を示す図。
【図６】第１実施形態の撮像装置におけるレベル変換部の入出力特性図。
【符号の説明】
【００１７】
１００  レンズユニット
１１０  撮像部
１１１  撮像素子制御部
１１２  フレームメモリ部
１１３  ゲイン部
１１４  加算部
１１５  レベル変換部
１１６  カメラ処理部
１１７  カメラ出力
２００  レンズユニット
２１０  撮像部
２１１  撮像素子制御部
２１２  フレームメモリ部
２１６  カメラ処理部
２１７  カメラ出力
２２０  メモリ制御部
２２１  書き込み制御信号
２２２  読み出し制御信号
２２３  タイミング制御部
【図１】
2008283329.tif 000003
【図２】
2008283329.tif 000004
【図３】
2008283329.tif 000005
【図４】
2008283329.tif 000006
【図５】
2008283329.tif 000007
【図６】
2008283329.tif 000008