(57)【要約】      （修正有）【課題】観察するのに十分な画質を確保する。【解決手段】撮像システム１において、撮像装置１０は、第１の光源３０ｂと、第２の光源３０ｄと、イメージセンサ１２ｃ、１２ｄ、１２ｅと、制御部１４とを備える。第１の光源は、第１の光を照射する。第２の光源は、第１の光と一部又は全ての波長帯域が異なる第２の光を照射する。イメージセンサは、行列状に配列された複数の画素を有し、第１の光及び第２の光により照明された対象物からの光を受光し、画素で発生した電気信号をローリングシャッタ方式で読み出してフレーム毎に出力する。制御部は、フレームのブランキング期間を基準とした第１の期間と同期するように、２フレームに１回の頻度で第１の光源を点灯させ、第１の期間と同期するように点灯タイミングが設定された、２フレームあたりの総点灯期間が相違する複数の点灯パターンを選択的に用いて第２の光源を点灯させる。【選択図】図１
2020068389.tif 000002
【特許請求の範囲】
【請求項１】
第１の光を照射する第１の光源と、
前記第１の光と一部又は全ての波長帯域が異なる第２の光を照射する第２の光源と、
行列状に配列された複数の画素を有し、前記第１の光及び前記第２の光により照明された対象物からの光を受光し、前記画素で発生した電気信号をローリングシャッタ方式で読み出してフレーム毎に出力するイメージセンサと、
前記フレームのブランキング期間を基準とした第１の期間と同期するように、２フレームに１回の頻度で前記第１の光源を点灯させ、前記第１の期間と同期するように点灯タイミングが設定された、２フレームあたりの総点灯期間が相違する複数の点灯パターンを選択的に用いて前記第２の光源を点灯させる制御部と、
を備える撮像装置。
【請求項２】
前記制御部は、第１の点灯パターンとして、前記２フレームの間、前記第２の光源を常時点灯させる、請求項１に記載の撮像装置。
【請求項３】
前記制御部は、第２の点灯パターンとして、前記第１の期間と同期するように、２フレームに１回の頻度で前記第１の光源と交互に前記第２の光源を点灯させる、請求項１又は２に記載の撮像装置。
【請求項４】
前記制御部は、第３の点灯パターンとして、前記第１の期間と同期するように、フレーム毎に前記第２の光源を点灯させる、請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記制御部は、前記２フレームのうち、先行するフレームの前記第１の期間の開始時間から次のフレームの前記第１の期間の開始時間直前までの範囲内で、前記第２の光源を点灯させる点灯期間を可変に制御する請求項４に記載の撮像装置。
【請求項６】
前記制御部は、第４の点灯パターンとして、前記２フレームの間、前記第２の光源を消灯させる、請求項１〜３の何れか一項に記載の撮像装置。
【請求項７】
前記制御部は、前記イメージセンサで受光された前記第１の光に基づく第１の画像の明るさと、前記イメージセンサで受光された前記第２の光に基づく第２の画像の明るさと、当該第２の画像に対応する前記第２の光源の点灯期間とに基づき、前記点灯パターンの何れか一つを選択する、請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
前記制御部は、前記第１の画像の明るさに対応する、前記第１の光を増幅する増幅回路の増幅率と、前記第２の画像の明るさに対応する、前記第２の光を増幅する前記増幅回路の増幅率との差分又は比率に応じて、前記点灯パターンの何れか一つを選択する、請求項７に記載の撮像装置。
【請求項９】
前記制御部は、指示に応じて前記点灯パターンを切り替える請求項１〜８の何れか一項に記載の撮像装置。
【請求項１０】
前記第１の光は可視光であり、前記第２の光は蛍光成分の励起光である、請求項１に記載の撮像装置。
【請求項１１】
第１の光及び当該第１の光と一部又は全ての波長帯域が異なる第２の光により照明された対象物からの光を、行列状に配列された複数の画素によって受光し、前記画素で発生した電気信号をローリングシャッタ方式で読み出してフレーム毎に出力するイメージセンサを備えた撮像装置を制御するためのプログラムであって、
前記フレームのブランキング期間を基準とした第１の期間と同期するように、２フレームに１回の頻度で前記第１の光を照明させ、
前記第１の期間と同期するように点灯タイミングが設定された、２フレームあたりの総点灯期間が相違する複数の点灯パターンを選択的に用いて前記第２の光を照明させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge  Coupled  Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１２５７２４号
【特許文献２】特許第６０１９１６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、観察するのに十分な画質を確保することができる撮像装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の撮像装置は、実施形態の撮像装置は、第１の光源と、第２の光源と、イメージセンサと、制御部とを備える。第１の光源は、第１の光を照射する。第２の光源は、前記第１の光と一部又は全ての波長帯域が異なる第２の光を照射する。イメージセンサは、行列状に配列された複数の画素を有し、前記第１の光及び前記第２の光により照明された対象物からの光を受光し、前記画素で発生した電気信号をローリングシャッタ方式で読み出してフレーム毎に出力する。制御部は、前記フレームのブランキング期間を基準とした第１の期間と同期するように、２フレームに１回の頻度で前記第１の光源を点灯させ、前記第１の期間と同期するように点灯タイミングが設定された、２フレームあたりの総点灯期間が相違する複数の点灯パターンを選択的に用いて前記第２の光源を点灯させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。
【図２】図２は、実施形態に係る撮像装置の撮像動作の一例を説明するための図である。
【図３】図３は、実施形態の画像処理回路が実行する画像処理の一例を説明するための図である。
【図４】図４は、実施形態に係る合成画像の一例を示す図である。
【図５】図５は、実施形態に係る撮像装置の撮像動作の一例を説明するための図である。
【図６】図６は、実施形態に係る撮像装置の撮像動作の一例を説明するための図である。
【図７】図７は、実施形態に係る出射パターンを説明するための図である。
【図８】図８は、実施形態の制御回路が行う制御の一例を説明するための図である。
【図９】図９は、実施形態の制御回路が行う制御の一例を説明するための図である。
【図１０】図１０は、実施形態の制御回路が行う制御の一例を説明するための図である。
【図１１】図１１は、実施形態の制御回路が行う処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、各実施形態に係る撮像装置及びプログラムを説明する。なお、実施形態は、以下の内容に限られるものではない。また、一つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。
【０００８】
図１は、本実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、本実施形態に係る撮像システム１は、撮像装置１０と、光源装置３０と、光ファイバ３１とを備える。
【０００９】
撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera  Control  Unit）１４とを備える。
【００１０】
スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。スコープ１１は、屈曲しない硬性を有する。
【００１１】
カメラヘッド１２は、励起光カットフィルタ１２ａと、分光プリズム１２ｂと、３つのイメージセンサ１２ｃ〜１２ｅ（１２ｃ，１２ｄ，１２ｅ）と、イメージセンサ制御回路１２ｆとを備える。
【００１２】
励起光カットフィルタ１２ａは、複数の画素の撮像領域に対向するように配置され、光源装置３０から出射された励起光以外の光を複数の画素に受光させる光学素子である。励起光カットフィルタ１２ａは、スコープ１１と分光プリズム１２ｂの入射面１２ｂ＿１との間に配置され、対物レンズ１１ａから入射される光のうち、励起光をカットし、励起光以外の光を通過させるフィルタである。したがって、分光プリズム１２ｂの入射面１２ｂ＿１には、光源装置３０により被検体１００の体内組織に照射された光の反射光（戻り光）のうち、励起光以外の光が入射される。以下の説明では、分光プリズム１２ｂに入射されてイメージセンサ１２ｃに入射される白色光の反射光を、単に、白色光と表記する場合がある。
【００１３】
分光プリズム１２ｂは、入射された光を赤色（Ｒ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光に分光する。そして、分光プリズム１２ｂは、青色の光をイメージセンサ１２ｃの撮像面に結像する。また、分光プリズム１２ｂは、緑色の光をイメージセンサ１２ｄの撮像面に結像する。また、分光プリズム１２ｂは、赤色の光をイメージセンサ１２ｅの撮像面に結像する。
【００１４】
イメージセンサ１２ｃ〜１２ｅのそれぞれは、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサである。イメージセンサ１２ｃ〜１２ｅのそれぞれの撮像面と、分光プリズム１２ｂの結像面とが略一致するように、イメージセンサ１２ｃ〜１２ｅが配置される。３つ（複数）のイメージセンサ１２ｃ〜１２ｅのそれぞれの複数の画素は、対応する種類の光を受光することにより映像信号を出力する。
【００１５】
イメージセンサ１２ｃ〜１２ｅのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、撮像面において行列状に配置される。各画素は、イメージセンサ制御回路１２ｆによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｃの各画素は、青色の光を受光することにより、Ｂ信号（Ｂの映像信号）を出力する。また、イメージセンサ１２ｄの各画素は、緑色の光を受光することにより、Ｇ信号（Ｇの映像信号）を出力する。また、イメージセンサ１２ｅの各画素は、赤色の光を受光することにより、Ｒ信号（Ｒの映像信号）を出力する。例えば、イメージセンサ１２ｃ〜１２ｅを備えるカメラヘッド１２は、カメラケーブル１３を介して、ＣＣＵ１４にＲＧＢ信号を出力する。なお、イメージセンサ１２ｃ〜１２ｅからは、アナログ形式の映像信号が出力される。
【００１６】
ここで、撮像装置１０は、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。本実施形態では、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００〜８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。この蛍光は、励起光カットフィルタ１２ａを通過して、分光プリズム１２ｂによりイメージセンサ１２ｅの撮像面に結像される。すなわち、イメージセンサ１２ｅは、励起光に基づく蛍光を受光することにより、Ｒ信号を出力する。以下、イメージセンサ１２ｅが蛍光を受光して、撮像装置１０が各種の処理を行う場合について説明するが、撮像装置１０は、励起光カットフィルタ１２ａを設けずに、励起光の反射光をイメージセンサ１２ｅに受光させて同様の処理を行っても良い。
【００１７】
イメージセンサ１２ｃ〜１２ｅのそれぞれは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。
【００１８】
なお、カメラヘッド１２は、分光プリズム１２ｂ及び３つのイメージセンサ１２ｃ〜１２ｅに代えて、ベイヤフィルタ及び１つのイメージセンサを備えても良い。この場合には、イメージセンサの撮像面側に、各画素に赤色フィルタ、緑色フィルタ及び青色フィルタの何れかが対向するようにベイヤフィルタが配置される。このように、１つの画素に対して１つの色のフィルタが対応する。イメージセンサは、画素毎に、当該画素に対応するフィルタの色の映像信号を出力する。なお、後述の画像処理回路１４ｃにより、画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、直接得られない残りの２色の各映像信号を推定する推定処理が実行される。この結果、撮像装置１０は、画素毎に、映像信号としてＲＧＢ信号を得ることができる。
【００１９】
イメージセンサ制御回路１２ｆは、後述する制御回路１４ａから出力された制御信号、並びに、後述するタイミング信号発生回路１４ｆから出力された各種の同期信号に基づいてイメージセンサ１２ｃ〜１２ｅを駆動制御する。例えば、イメージセンサ制御回路１２ｆは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｃ〜１２ｅから出力されるアナログ形式の映像信号に対し、ゲインを増幅させるゲイン増幅処理（アナログゲイン増幅処理）を施し、ゲインが増幅された映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ〜１２ｅを制御する。或いは、イメージセンサ１２ｃ〜１２ｅが図示しないＡＤコンバータを内蔵する場合、イメージセンサ制御回路１２ｆは、イメージセンサ１２ｃ〜１２ｅから出力されるデジタル形式の映像信号に対し、ゲインを増幅させるゲイン増幅処理（デジタルゲイン増幅処理）を施し、ゲインが増幅された映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ〜１２ｅを制御する。
【００２０】
カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。
【００２１】
ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に各種の画像処理を施すことにより、ディスプレイ１０１に表示させる画像を示す画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。なお、各種の画像処理が施された映像信号は、ディスプレイ１０１に表示させる画像を示す画像データである。
【００２２】
ＣＣＵ１４は、制御回路１４ａと、記憶制御回路１４ｂと、画像処理回路１４ｃと、画像合成回路１４ｄと、出力回路１４ｅと、タイミング信号発生回路１４ｆと、記憶回路１４ｇとを備える。なお、イメージセンサ１２ｃ〜１２ｅがＡＤコンバータを内蔵しない場合、ＣＣＵ１４は、図示しないＡＤ（Analog  to  Digital）コンバータ等も備える。かかるＡＤコンバータは、例えば、カメラヘッド１２から出力されたアナログ形式の映像信号をデジタル形式の映像信号に変換する。
【００２３】
制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｆ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ、出力回路１４ｅ及びタイミング信号発生回路１４ｆの各回路に対して制御信号を出力して、各回路を制御する。制御回路１４ａは、記憶回路１４ｇに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。制御回路１４ａは、例えば、ＭＰＵ（Micro-Processing  Unit）等のプロセッサにより実現される。
【００２４】
記憶制御回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、カメラヘッド１２から出力された映像信号を記憶回路１４ｇに記憶させる制御を行う。また、記憶制御回路１４ｂは、制御信号及び同期信号に基づいて、記憶回路１４ｇに記憶された映像信号を１行毎に読み取る。そして、記憶制御回路１４ｂは、読み取った１行分の映像信号を画像処理回路１４ｃに出力する。
【００２５】
画像処理回路１４ｃは、増幅回路の一例である。画像処理回路１４ｃは、制御回路１４ａから出力された制御信号、及び、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、記憶制御回路１４ｂから出力された映像信号に対して各種の画像処理を施す。これにより、画像処理回路１４ｃは、ディスプレイ１０１に表示させる画像を示す画像データを生成する。すなわち、画像処理回路１４ｃは、映像信号に基づいて、画像を生成する。
【００２６】
例えば、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対してゲイン増幅処理（デジタルゲイン増幅処理）を施すことで、画像の明るさを調整する。また、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対して、ノイズを低減させるノイズリダクション処理や輪郭を強調する輪郭強調処理等を行ってもよい。そして、画像処理回路１４ｃは、各種の画像処理が施された映像信号（ディスプレイ１０１に表示させる画像を示す画像データ）を画像合成回路１４ｄに出力する。
【００２７】
画像合成回路１４ｄは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、画像処理回路１４ｃから出力された映像信号を合成して合成画像データを生成する。そして、画像合成回路１４ｄは、合成画像データをディスプレイ１０１に出力する。
【００２８】
例えば、記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄは、ＤＳＰ（Digital  Signal  Processor）等の１つのプロセッサにより実現される。また、例えば記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄ、タイミング信号発生回路１４ｆは、１つのＦＰＧＡ（Field  Programmable  Gate  Array）により実現される。なお、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄは、１つの処理回路により実現されてもよい。この処理回路は、例えば、プロセッサにより実現される。
【００２９】
出力回路１４ｅは、画像合成回路１４ｄから出力された合成画像データをディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、合成画像データが示す合成画像を表示する。合成画像は、画像の一例である。出力回路１４ｅは、例えば、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ドライバＩＣ（Integrated  Circuit）やＳＤＩ（Serial  Digital  Interface）ドライバＩＣなどにより実現される。
【００３０】
タイミング信号発生回路１４ｆは、光源装置３０からの光の出射タイミング、イメージセンサ１２ｃ〜１２ｅの露光タイミング及び映像信号の出力タイミング、記憶制御回路１４ｂによる記憶回路１４ｇの制御タイミング等の各種のタイミングを一元管理する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、制御部の一例である。
【００３１】
タイミング信号発生回路１４ｆは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｆは、生成した各種の同期信号をイメージセンサ制御回路１２ｆ、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ及び出力回路１４ｅの各回路に出力する。
【００３２】
また、タイミング信号発生回路１４ｆは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源装置３０から出射される光を制御するとともに撮像システム１全体の同期をとるための制御信号である。そして、タイミング信号発生回路１４ｆは、生成した光源制御信号を光源装置３０に出力する。
【００３３】
例えば、光源制御信号の波形は、矩形波であり、光源制御信号は、ハイ（ｈｉｇｈ）レベル及びロー（ｌｏｗ）レベルの２つのレベル（状態）を有する。例えば、光源制御信号は、ハイレベルの間、白色ＬＥＤ３０ｂから白色光を出射させたり、ＩＲレーザ３０ｄから励起光を出射させたりし、ローレベルの間、白色ＬＥＤ３０ｂを消灯させたり、ＩＲレーザ３０ｄからの励起光の出射を停止させたりする制御信号である。
【００３４】
記憶回路１４ｇは、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路１４ｇは、各種のプログラムを記憶する。例えば、記憶回路１４ｇは、制御回路１４ａにより実行される制御プログラムを記憶する。また、記憶回路１４ｇには、記憶制御回路１４ｂにより映像信号が一時的に格納される。
【００３５】
光源装置３０は、光源制御信号に基づいて、白色光又は励起光を出射する。光源装置３０は、駆動回路３０ａと、白色ＬＥＤ（Light  Emitting  Diode）３０ｂと、駆動回路３０ｃと、ＩＲレーザ３０ｄとを備える。
【００３６】
駆動回路３０ａは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。なお、白色ＬＥＤ３０ｂは、第１の光源の一例である。また、白色光は、第１の光の一例である。
【００３７】
駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させて、ＩＲレーザ３０ｄから励起光を出射させる駆動制御を行う。ＩＲレーザ３０ｄは、駆動回路３０ｃによる駆動制御により、励起光を出射する。なお、上述したように、励起光は、励起光カットフィルタ１２ａによりカットされる。また、励起光によりＩＣＧが励起されてＩＣＧから出射された蛍光（励起光に基づく蛍光）は、励起光カットフィルタ１２ａを通過して、イメージセンサ１２ｅにより受光される。なお、ＩＲレーザ３０ｄは、第２の光源の一例である。また、励起光は、第２の光の一例である。
【００３８】
なお、本実施形態では、白色ＬＥＤ３０ｂから出射される白色光と、ＩＲレーザ３０ｄから出射される励起光との波長帯域は相違するものとするが、これに限らず、励起光の波長帯域は、白色光の波長帯域と一部重複するものであってもよい。
【００３９】
光ファイバ３１は、光源装置３０からの白色光及び励起光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。
【００４０】
ところで、上述した構成の撮像装置１０では、撮像装置１０と被検体１００との間の距離や、被検体１００周辺の照明の状態等によって、白色ＬＥＤ３０ｂから出射される白色光の反射の光量と、励起光の照射によって発生した蛍光の光量とのバランスに偏りが発生する場合がある。このような場合、白色光の反射光を受光することで得られる画像（カラー画像）と、励起光に基づく蛍光を受光することで得られる画像（蛍光画像）との明るさに偏りが生じるため、例えばカラー画像に比べて蛍光画像が暗すぎる等、画像を観察する医師等のユーザにとって、画質（明るさ）が十分でないという問題がある。また、この場合、蛍光画像に対しゲインを増幅する処理を施すことで、画像の明るさを向上させることも可能であるが、増幅量の増加に伴いノイズ成分も増加するため、ゲイン増幅処理を多用することは画質の低下に繋がる可能性がある。
【００４１】
そこで、撮像装置１０は、上述した構成のもと、ユーザが観察するのに十分な画質を確保することができるように、以下の更なる動作を行う。
【００４２】
具体的には、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間にのみ、イメージセンサ１２ｃ〜１２ｅそれぞれの複数の画素を受光させる制御を行う。例えば、制御回路１４ａは、このような制御をイメージセンサ制御回路１２ｆに行わせるための制御信号をイメージセンサ制御回路１２ｆに出力する。
【００４３】
ここで、制御回路１４ａは、読み出し期間以下の期間で、複数の画素を受光させる制御を行う。読み出し期間とは、例えば、イメージセンサ１２ｃ〜１２ｅから１フレームの映像信号が出力される期間を指す。また、読み出し期間とは、例えば、１フレームにおける最初の行からの映像信号の出力を開始してから最後の行からの映像信号の出力を終了するまでの期間を指す。
【００４４】
なお、ブランキング期間とは、例えば、本実施形態では、ｎ（ｎは、正の整数）フレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅの最初の行からの映像信号の出力を開始するまでの期間に対応する期間を指す。
【００４５】
本実施形態では、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、Ａ［ｆｐｓ（frame  per  second）］とする。この場合、読み出し期間を、１／（Ｍ・Ａ）［ｓ］とすることが可能なイメージセンサを、撮像装置１０のイメージセンサ１２ｃ〜１２ｅとして用いる。すなわち、１／(Ｍ・ｋ・Ａ)［ｓ］毎に、各行から映像信号を出力することが可能なイメージセンサをイメージセンサ１２ｃ〜１２ｅとして用いる。ただし、「Ｍ」は、１よりも大きい数であり、「ｋ」は、イメージセンサ１２ｃ〜１２ｅそれぞれの画素の行数である。以下、Ｍ＝２の場合を例に挙げて説明するが、Ｍは、２とは異なる数であって１よりも大きい数であってもよい。
【００４６】
そして、制御回路１４ａは、露光期間１／Ａ［ｓ］よりも短い読み出し期間１／（２Ａ）［ｓ］で１フレームの映像信号をイメージセンサ１２ｃ〜１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。ここで、露光期間とは、例えば、画素が電荷の蓄積を開始してから終了するまでの期間を意味する。
【００４７】
更に、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間と同期するように出射タイミング（点灯タイミング）が設定された、２フレームあたりの総出射期間（総点灯期間）が相違する複数の出射パターン（点灯パターン）を選択的に用いることで、ＩＲレーザ３０ｄから出射される励起光を制御する。
【００４８】
以下、Ａ＝６０の場合を例に、上述した制御回路１４ａの動作について説明する。つまり、露光期間と、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間とが同一の１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］である場合について説明する。
【００４９】
まず、図２を参照して、白色ＬＥＤ３０ｂから出射される白色光の反射の光量に比べて、励起光の照射によって発生した蛍光の光量が無視できるくらい小さい場合の、出射パターンについて説明する。
【００５０】
図２は、撮像装置１０の撮像動作の一例を説明するための図である。図２には、光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｃ〜１２ｅが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｃ〜１２ｅから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図２において、横軸は、時間を示す。ここで、励起光の出射タイミングは、ＩＲレーザ３０ｄの出射パターン（点灯パターン）に対応する。
【００５１】
また、図２では、図示を簡略化したため、ｎフレーム目の撮像においてイメージセンサ１２ｃ〜１２ｅの最後の行からの映像信号の出力を終了した時間（タイミング）、及び、（ｎ＋１）フレーム目の撮像においてイメージセンサ１２ｃ〜１２ｅの最初の行からの映像信号の出力を開始する時間の２つの異なる時間が、同一の「Ｔｐ（ｐ＝ｎ＋１）」で示されている。実際には、上述したように、ｎフレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅの最初の行からの映像信号の出力を開始するまでの間の期間として、ブランキング期間が存在する。
【００５２】
図２において、（ｎ）は、ｎフレーム目の撮像における露光タイミングを示す。ただし、ｎは、上述したように正の整数である。ｎが奇数の場合には、ＩＲｎは、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、ｎが奇数の場合には、ＩＲｎは、励起光に基づく蛍光を受光したイメージセンサ１２ｅから出力されるＲ信号を示す。
【００５３】
一方、ｎが偶数の場合には、Ｇｎは、ｎフレーム目の撮像において、イメージセンサ１２ｄから出力されるＧ信号を示す。また、ｎが偶数の場合には、Ｂｎは、ｎフレーム目の撮像において、イメージセンサ１２ｃから出力されるＢ信号を示す。また、ｎが偶数の場合には、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、白色光、及び、励起光に基づく蛍光を同時に受光したイメージセンサ１２ｅから出力されるＲ信号を示す。また、「Ｗｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅから出力されるＲＧＢ信号を示す。すなわち、「Ｗｎ＋ＩＲｎ」は、ＧｎとＢｎとＲｎとの合成信号である。
【００５４】
図２の例において、１フレーム目の撮像を開始する前又は１フレーム目の撮像の開始とともに、制御回路１４ａは、第１の光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する。第１の光源制御信号は、ＩＲレーザ３０ｄから励起光を連続的に出射させる出射パターン（第１の点灯パターン）を実現するための制御信号である。
【００５５】
タイミング信号発生回路１４ｆは、制御回路１４ａから出力された上述の制御信号に基づき、励起光を連続的に出射させるための第１の光源制御信号を駆動回路３０ｃに出力する。駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力された第１の光源制御信号に基づき、ＩＲレーザ３０ｄから励起光を連続的に出射させる。
【００５６】
図２に示すように、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。１フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ１）を出力する。すなわち、イメージセンサ１２ｅは、１／(１２０ｋ)［ｓ］毎に、各行から映像信号を出力する。なお、時間Ｔ１は、１フレーム目において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ２は、１フレーム目において、最後の行からの映像信号の出力が終了する時間である。
【００５７】
具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ１から読み出し期間１／１２０［ｓ］で１フレーム目の映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ１から、１／（１２０ｋ）［ｓ］毎に各行から順々に映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
【００５８】
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。
【００５９】
そして、記憶制御回路１４ｂは、１フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、記憶制御回路１４ｂは、時間Ｔ１から時間Ｔ２にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号を記憶回路１４ｇに記憶させる。このようにして１フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。
【００６０】
次に、図２に示すように、２フレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。
【００６１】
ここで、１フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間Ｔ２から、２フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間までの期間は、図２に示すように、ブランキング期間４０に対応する。なお、ブランキング期間４０は、露光期間等と比較して相対的に短い期間であるため、図２において一本の点線で示されているが、実際は、時間軸方向に一定の幅を有する期間である。
【００６２】
本実施形態では、図２に示すように、２フレーム目の撮像において、ブランキング期間４０又はブランキング期間４０を中心とした期間（以下、ブランキング周辺期間という）４１に、白色ＬＥＤ３０ｂから白色光が出射される。例えば、ブランキング周辺期間４１にのみ白色光が出射される場合、２フレーム目の撮像において、イメージセンサ１２ｃ〜１２ｅの複数の画素の全ての行のうち、最初の行側の少なくとも１つの行４２、及び、最後の行側の少なくとも１つの行４３には、ブランキング周辺期間４１よりも短い時間しか白色光が照射されない。
【００６３】
なお、ブランキング期間４０内で白色ＬＥＤ３０ｂから白色光が出射されてもよい。この場合には、ブランキング期間４０内であれば、どのようなタイミングで白色光が出射されてもよい。また、ブランキング周辺期間４１は、例えば、ブランキング期間４０よりも長い期間であり、ブランキング期間４０を含み、ブランキング期間４０よりも前の期間と後ろの期間とを含む。ブランキング期間４０、ブランキング期間４０内の期間、及び、ブランキング期間４０を中心としたブランキング周辺期間４１は、ブランキング期間を基準とした第１の期間の一例である。
【００６４】
一方、図２に示すように、全ての行のうち、行４２及び行４３を除いた１つ以上の行４４では、白色光を受光する受光期間が、略一致する。すなわち、行４４と、行４２及び行４３とでは、受光期間が異なる。このため、撮像装置１０は、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、明るさのムラが発生する可能性がある部分がマスクされた画像が表示される。したがって、画像の歪みの発生を抑制することができる。よって、撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
【００６５】
また、図２に示すように、３フレーム目の撮像において、複数の画素の全ての行のうち、最初の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。また、１フレーム目の撮像において、複数の画素の全ての行のうち、最後の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。よって、蛍光に加えて白色光も受光しているこれらの行から出力される映像信号からは、白色光の成分も含まれているため、蛍光成分のみからなる画質が良好な蛍光画像を生成することが困難である。
【００６６】
したがって、第１の実施形態に係る撮像装置１０は、１フレーム目の撮像及び３フレーム目の撮像においても同様に、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、画質が良好でない可能性がある部分がマスクされた画像が表示される。したがって、撮像装置１０によれば、この点からも、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
【００６７】
ここで、ブランキング周辺期間４１がブランキング期間４０を中心とした期間である理由の一例について説明する。仮に、ブランキング周辺期間４１がブランキング期間を中心としていない期間である場合には、両端がマスクされる画像において、一端側のマスクされている領域の大きさと、他端側のマスクされている領域との大きさとが異なり、画像を観察するユーザが違和感を覚える可能性がある。
【００６８】
しかしながら、ブランキング周辺期間４１がブランキング期間４０を中心とした期間であることで、一端側のマスクされている領域と、他端側のマスクされている領域との大きさが略一致し、ユーザに違和感を与えることを抑制することができる。
【００６９】
そして、イメージセンサ１２ｃ〜１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）からの映像信号（ＲＧＢ信号）を出力する。
【００７０】
具体的な制御方法について説明する。制御回路１４ａは、時間Ｔ２から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｃ〜１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ２から１／（１２０ｋ）［ｓ］毎に各行からの映像信号を出力することをイメージセンサ１２ｃ〜１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
【００７１】
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｃ〜１２ｅを駆動制御する。この結果、イメージセンサ１２ｃは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｂ信号）を出力する。また、イメージセンサ１２ｄは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｇ信号）を出力する。また、イメージセンサ１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、２フレーム目の撮像において、全ての行（ｋ行）から映像信号（Ｒ信号（Ｒ２＋ＩＲ２））を出力する。
【００７２】
記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｃの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｄの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、２フレーム目の撮像において、時間Ｔ２から時間Ｔ３にかけて、最初の行から順々に、最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして２フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。
【００７３】
そして、図２に示すように、３フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。３フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ３）を出力する。すなわち、イメージセンサ１２ｅの各行は、１／(１２０ｋ)［ｓ］毎に映像信号を出力する。なお、時間Ｔ３は、３フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ４は、３フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間である。
【００７４】
具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ３から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ３から１／（１２０ｋ）［ｓ］毎に各行から映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
【００７５】
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。
【００７６】
そして、記憶制御回路１４ｂは、３フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、３フレーム目の撮像において、時間Ｔ３から時間Ｔ４にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして３フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ７までは記憶回路１４ｇに記憶される。
【００７７】
ここで、図２の「（Ｗ２＋ＩＲ２）＋（ＩＲ１＋ＩＲ３）／２」が示す処理について説明する。時間Ｔ３の段階では、記憶回路１４ｇには、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）とが記憶されている。そして、時間Ｔ３からは、上述したように、３フレーム目の映像信号（ＩＲ３）が記憶回路１４ｇに記憶されることが開始される。
【００７８】
そして、本実施形態では、撮像装置１０は、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）と、３フレーム目の映像信号（ＩＲ３）とを合成してディスプレイ１０１に出力する。
【００７９】
ここで、単純に、撮像装置１０が、３フレーム目の撮像において、イメージセンサ１２ｅの各行から映像信号（ＩＲ３）が出力される度に、各行から出力された映像信号（ＩＲ３）と、各行から出力された映像信号（ＩＲ１）と、イメージセンサ１２ｃ〜１２ｅの各行から出力された映像信号（Ｗ２＋ＩＲ２）とを合成して、合成画像をディスプレイ１０１に出力する場合について説明する。この場合、ディスプレイ１０１には、１／１２０［ｓ］で、全ての行から出力された映像信号の合成画像が出力される。
【００８０】
すると、あるフレームの撮像において最後の行の映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行の映像信号がディスプレイ１０１に出力されるまでの１／１２０［ｓ］の間、ディスプレイ１０１に対して映像信号が出力されない期間が存在することになる。映像信号が出力されない期間は、ディスプレイ１０１に表示される画像が更新されない期間でもある。このため、画像が更新される１／１２０［ｓ］の期間と、画像が更新されない１／１２０［ｓ］の期間とが交互に並ぶ。このような場合、画像の更新頻度が一定でないため、ディスプレイ１０１は、このような入力に対応できないことがある。
【００８１】
そこで、本実施形態では、画像の更新頻度が一定となるように、出力回路１４ｅからディスプレイ１０１に出力される１フレームの映像信号のフレームレートを、６０［ｆｐｓ］に設定している。すなわち、あるフレームの撮像において最後の行の映像信号が出力されてから、その次のフレームの撮像において最初の行の映像信号が出力されるまでの期間を短縮している。
【００８２】
このため、記憶制御回路１４ｂは、時間Ｔ３から、１／（６０ｋ）［ｓ］毎に、１フレーム目の撮像において各行から出力された映像信号（ＩＲ１）、２フレーム目の撮像において各行から出力された映像信号（Ｗ２＋ＩＲ２）、及び、３フレーム目の撮像において各行から出力された映像信号（ＩＲ３）を順々に記憶回路１４ｇから読み出す。例えば、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ〜１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを読み出す。なお、ｍは、正の整数である。そして、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ〜１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを画像処理回路１４ｃに出力する。
【００８３】
そして、画像処理回路１４ｃは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）及び映像信号（ＩＲ３）、並びに、イメージセンサ１２ｃ〜１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）に対して各種の画像処理を施して、画像合成回路１４ｄに出力する。
【００８４】
具体的には、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクする。また、画像処理回路１４ｃは、上述した行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。
【００８５】
図３は、画像処理回路１４ｃが実行する画像処理の一例を説明するための図である。図３の例に示すように、例えば、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像を、黒色の画像５１に置換し、上述した行４４から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像の範囲を有効画像範囲５２として設定したカラー画像５０を生成する。ここで、映像信号（Ｗ２＋ＩＲ２）又はカラー画像５０は、第１の画像に対応する。
【００８６】
図３の例に示すカラー画像５０は、ブランキング期間４０を中心とし、ブランキング期間４０に１／１２００［ｓ］を加えた期間にのみイメージセンサ１２ｃ〜１２ｅの複数の画素を受光させた場合のカラー画像の一例を示す。カラー画像５０では、カラー画像５０の全体の１０％の領域がマスクされている。
【００８７】
同様に、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ１）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ１）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。また、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ３）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ３）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。ここで、映像信号（ＩＲ１）、映像信号（ＩＲ３）又は蛍光画像は、第２の画像に対応する。
【００８８】
画像合成回路１４ｄは、１フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ１）と、３フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ３）とを合成して合成画像を生成する。例えば、画像合成回路１４ｄは、映像信号（ＩＲ１）と映像信号（ＩＲ３）とを合成して合成画像（（ＩＲ１＋ＩＲ３）／２）を生成する。
【００８９】
そして、画像合成回路１４ｄは、例えば、合成画像（（ＩＲ１＋ＩＲ３）／２）のうち輝度が閾値以上の部分を抽出する。そして、画像合成回路１４ｄは、抽出した部分と同一の位置及び範囲を有するマーカであって、所定の色（例えば、高彩度の緑色）が付与されたマーカを生成する。そして、画像合成回路１４ｄは、２フレーム目の撮像において、各行から出力された映像信号（Ｗ２＋ＩＲ２）に、生成したマーカを重畳して、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成する。そして、画像合成回路１４ｄは、生成した合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を出力回路１４ｅに出力する。画像合成回路１４ｄは、カラー画像、及び、カラー画像の前後に生成された複数（２つ）の蛍光画像を用いて、合成画像を生成する。
【００９０】
例えば、被検体１００の体内を画像化したカラー画像の色合いは、全体的に赤みがかった色合いである。そのため、例えば、マーカに赤い色を付与しても、マーカが目立たない。そのため、赤色に対して補色である緑色をマーカに付与して、マーカを目立つようにする。
【００９１】
なお、画像合成回路１４ｄは、マーカではなく、蛍光により得られる蛍光画像から輪郭成分を抽出し、抽出した輪郭成分をカラー画像に重畳して合成画像を生成してもよい。
【００９２】
このような処理を、画像合成回路１４ｄは、全ての行から出力された映像信号に対して行う。すなわち、画像合成回路１４ｄは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行から出力された映像信号の合成画像を出力回路１４ｅに出力する。これにより、図２の「Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２」によって示されるように、出力回路１４ｅは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行の映像信号の合成画像をディスプレイ１０１に出力する。このため、ディスプレイ１０１に表示された合成画像は、１／６０［ｓ］毎に更新される。
【００９３】
４フレーム目以降についても、１フレーム目の撮像、２フレーム目の撮像及び３フレーム目の撮像において説明した撮像動作と同様の撮像動作が繰り返し行われる。したがって、制御回路１４ａは、励起光を光源装置３０から連続的に出射させるとともに、白色光を、ブランキング期間４０又はブランキング周辺期間４１と同期するように、光源装置３０から２フレームに１回の頻度で出射させる。画像処理回路１４ｃは、励起光に基づく蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号に基づいて蛍光画像を生成する。なお、蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号は、第１の電気信号の一例である。
【００９４】
また、画像処理回路１４ｃは、蛍光及び白色光の同時受光によりイメージセンサ１２ｃ〜１２ｅの複数の画素で発生した映像信号に基づいてカラー画像を生成する。なお、蛍光及び白色光の同時受光によりイメージセンサ１２ｃ〜１２ｅの複数の画素で発生した映像信号は、第２の電気信号の一例である。
【００９５】
画像合成回路１４ｄは、蛍光画像とカラー画像を用いて、合成画像を生成する。例えば、画像処理回路１４ｃ及び画像合成回路１４ｄは、画像生成部の一例である。
【００９６】
図４は、合成画像の一例を示す図である。図４の例には、明るさのムラが生じる可能性がある部分がマスクされたカラー画像５０に、マーカ５３が重畳された合成画像の一例が示されている。したがって、ユーザは、例えば、注目すべき箇所であるマーカ５３を容易に観察することができる。また、ユーザは、人間が実際に認識できるような内容のカラー画像であるカラー画像５０を観察しつつ、マーカ５３の情報を得ることができる。
【００９７】
また、カラー画像５０において、露光タイミングは一致している。このため、第１の実施形態に係る撮像装置１０によれば、画像の歪みの発生を抑制することができる。したがって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
【００９８】
図４に示すように、画像処理回路１４ｃは、最初の行と最後の行に対応する合成画像の端部を少なくとも除く有効画像範囲５２を合成画像に設定する。また、画像処理回路１４ｃ及び画像合成回路１４ｄは、有効画像範囲５２以外の範囲が黒色の画像（他の画像）５１に置き換えられた合成画像を生成する。
【００９９】
ここで、合成画像において、撮像対象が所定の方向に移動している場合について説明する。更に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ１）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に遅れた位置となる。
【０１００】
次に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ３）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ３）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に進んだ位置となる。
【０１０１】
ここで、本実施形態では、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成している。本実施形態によれば、撮像対象が移動していても、カラー画像（Ｗ２＋ＩＲ２）の撮像タイミングから、略同一な時間だけ前後する撮像タイミングで撮像された蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカをカラー画像（Ｗ２＋ＩＲ２）に重畳している。このため、カラー画像（Ｗ２＋ＩＲ２）の重心位置と合成画像（（ＩＲ１＋ＩＲ３）／２）の重心位置との差は、比較的小さい。したがって、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）に描出される撮像対象の重心位置に対するマーカの重心位置のずれを抑制することができる。よって、第１の実施形態によれば、動きに対して合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）からユーザに与える違和感を抑制することができる。
【０１０２】
以上、図２の撮像動作について説明した。かかる撮像動作で使用される点灯パターンでは、ＩＲレーザ３０ｄからは常時（連続的に）励起光が出射されることになる。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、励起光が常時出射されていない場合と比べて、大きくなる。このため、蛍光の受光感度を高くすることができ、光量不足による蛍光画像の明るさの低下を抑制することができる。
【０１０３】
次に、図５を参照して、白色ＬＥＤ３０ｂから出射される白色光の反射の光量と、励起光の照射によって発生した蛍光の光量とを略同等とする場合の出射パターンについて説明する。
【０１０４】
図５は、撮像装置１０の撮像動作の一例を説明するための図である。図５は、図２と同様のタイミング図を示すものであり、励起光の出射タイミング（出射パターン）が相違する。
【０１０５】
具体的には、制御回路１４ａは、１フレーム目の撮像を開始する前又は１フレーム目の撮像の開始とともに、第２の光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する。第２の光源制御信号は、ＩＲレーザ３０ｄから励起光を、白色光と交互に出射させる出射パターン（第２の点灯パターン）を実現するための制御信号である。
【０１０６】
タイミング信号発生回路１４ｆは、制御回路１４ａから出力された上述の制御信号に基づき、励起光を奇数フレーム毎に出射させるための第２の光源制御信号を駆動回路３０ｃに出力する。駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力された第２の光源制御信号に基づき、ＩＲレーザ３０ｄから励起光を奇数フレーム毎に出射させる。
【０１０７】
ここで、励起光は、白色光と同様にブランキング期間４０又はブランキング周辺期間４１に、ＩＲレーザ３０ｄから出射される。なお、ブランキング期間４０又はブランキング周辺期間４１内であれば、励起光の出射タイミング及び出射時間は特に問わないものとする。例えば、ブランキング期間４０又はブランキング周辺期間４１の間連続して励起光を出射させてもよい。また、ブランキング期間４０又はブランキング周辺期間４１内の特定のタイミングで励起光を単発出射させてもよいし、ブランキング期間４０又はブランキング周辺期間４１内の間、励起光を断続的に出射させてもよい。例えば、本点灯パターン内で、励起光を単発出射→断続出射→連続出射の順、或いは逆順に出射させることで、励起光の照射によって発生する蛍光の光量を変化させる形態としてもよい。
【０１０８】
このように、図５の出射パターンでは、励起光は、２フレームに１度の頻度で、白色光と交互にＩＲレーザ３０ｄから出射される。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、図２の出射パターンよりも小さくなる。
【０１０９】
なお、図５の撮像動作では、奇数フレームから偶数フレームに切り替わる際のブランキング期間４０又はブランキング周辺期間４１に励起光が出射されないため、偶数フレームに蛍光成分の映像信号は含まれない。そのため、出力回路１４ｅは、例えば、時間Ｔ３から時間Ｔ５にかけて、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２）と、３フレーム目の映像信号（ＩＲ３）とを合成してディスプレイ１０１に出力することになる。
【０１１０】
次に、図６を参照して、白色ＬＥＤ３０ｂから出射される白色光の反射の光量よりも、励起光の照射によって発生した蛍光の光量の方が小さい場合、つまり、白色光の反射の光量に対する蛍光の光量が、図２で想定した蛍光の光量よりも大きく、図５で想定した蛍光の光量よりも小さいような場合の出射パターンについて説明する。
【０１１１】
図６は、撮像装置１０の撮像動作の一例を説明するための図である。なお、図６は、図２及び図５と同様のタイミング図を示すものであり、励起光の出射タイミング（出射パターン）が相違する。
【０１１２】
具体的には、制御回路１４ａは、１フレーム目の撮像を開始する前又は１フレーム目の撮像の開始とともに、第３の光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する。第３の光源制御信号は、ＩＲレーザ３０ｄから励起光をフレーム毎に出射させる出射パターン（第３の点灯パターン）を実現するための制御信号である。
【０１１３】
タイミング信号発生回路１４ｆは、制御回路１４ａから出力された上述の制御信号に基づき、励起光をフレーム毎に出射させるための第３の光源制御信号を駆動回路３０ｃに出力する。駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力された第３の光源制御信号に基づき、ＩＲレーザ３０ｄから励起光をフレーム毎に出射させる。
【０１１４】
本出射パターンにおいて、励起光を出射させる期間（出射期間４５）は、ブランキング期間４０又はブランキング周辺期間４１内に限らず、フレーム内においてブランキング周辺期間４１を超える範囲で励起光を出射することが可能となっている。具体的には、出射期間４５は、連続する２フレームのうち、先行するフレームのブランキング期間４０又はブランキング周辺期間４１の開始時間から、次のフレームのブランキング期間４０又はブランキング周辺期間４１の開始時間直前までの範囲内で可変となっている。なお、出射期間４５の開始時間は、ブランキング期間４０又はブランキング周辺期間４１に含まれるものとする。
【０１１５】
例えば、図６の例では、励起光は、各フレームのブランキング期間４０又はブランキング周辺期間４１で出射が開始されているが、フレーム内のブランキング周辺期間４１を超える時間まで出射期間４５が継続されている。なお、出射期間４５が次のフレームのブランキング期間４０又はブランキング周辺期間４１の開始時間まで到達した状態は、図２で説明した励起光が常時出射（常時点灯）される状態に対応し、図６の出射パターンから図２の出射パターンに切り替わったことを意味する。
【０１１６】
また、本出射パターンでは、出射期間４５内であれば、励起光の出射方法は特に問わないものとする。例えば、出射期間４５の間連続して励起光を出射させてもよい。また、出射期間４５内の特定のタイミングで励起光を単発出射させてもよいし、出射期間４５内の間、励起光を断続的に出射させてもよい。例えば、本点灯パターン内で、励起光を単発出射→断続出射→連続出射の順、或いは逆順に出射させることで、励起光の照射によって発生する蛍光の光量を変化させる形態としてもよい。
【０１１７】
このように、図６に示す点灯パターンでは、励起光は、フレーム毎にＩＲレーザ３０ｄから出射される。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、図２に示した蛍光の光量よりも小さく、図５に示した蛍光の光量よりも大きくなる。
【０１１８】
なお、図６の撮像動作では、出力回路１４ｅから出力される映像信号は、図２と同様となるため。そのため、出力回路１４ｅは、例えば、時間Ｔ３から時間Ｔ５にかけて、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）と、３フレーム目の映像信号（ＩＲ３）とを合成してディスプレイ１０１に出力することになる。
【０１１９】
次に、図７を参照して、上述した図２、図５及び図６の出射パターンを含む、複数の出射パターン間の関係について説明する。
【０１２０】
図７は、出射パターンを説明するための図である。パターンＰ１〜Ｐ４は、それぞれ異なる励起光の出射パターンを模式的に示しており、横軸は時間を示す。なお、図中に示す時間Ｔ１〜時間Ｔ５は、図２、図５及び図６に示した時間Ｔ１〜時間Ｔ５に対応するものである。また、白色光は、図２、図５及び図６と同様、２フレームに一度の頻度で、ブランキング期間４０又はブランキング周辺期間４１に出射（偶数フレーム毎に出射）する例を示している。
【０１２１】
まず、パターンＰ１は、例えば、白色光のみを出射させる場合に適用される点灯パターンである。パターンＰ１では、励起光は常時消灯された状態となり、白色光により反射光がイメージセンサ１２ｅにより受光される。なお、パターンＰ１は、第４の点灯パターンに対応する。
【０１２２】
パターンＰ２は、図５で説明した励起光の出射パターンに対応するものである。パターンＰ２では、励起光と白色光とが、ブランキング期間４０又はブランキング周辺期間４１と同期するように、交互に出射される。ここで、パターンＰ１とパターンＰ２とを比較すると、２フレームあたりの励起光の総出射時間はパターンＰ２の方が大きくなる。そのため、イメージセンサ１２ｅにより受光される蛍光の光量は、パターンＰ２の方が大きくなる。
【０１２３】
また、図７では、パターンＰ２として、パターンＰ２ａとパターンＰ２ｂとを例示している。パターンＰ２ａは、励起光をブランキング期間４０に出射させる出射パターンであり、パターンＰ２ｂは、励起光をブランキング周辺期間４１の間出射させる出射パターンである。パターンＰ２ａとパターンＰ２ｂとを比較すると、励起光の出射時間はパターンＰ２ｂの方が長くなる。そのため、イメージセンサ１２ｅにより受光される蛍光の光量は、パターンＰ２ａよりもパターンＰ２ｂの方が大きくなる。
【０１２４】
パターンＰ３は、図６で説明した励起光の出射パターンに対応するものである。パターンＰ３では、励起光が、ブランキング期間４０又はブランキング周辺期間４１と同期するように、フレーム毎に出射される。ここで、パターンＰ２とパターンＰ３とを比較すると、２フレームあたりの励起光の総出射時間はパターンＰ３の方が大きくなる。そのため、イメージセンサ１２ｅにより受光される蛍光の光量は、パターンＰ２よりもパターンＰ３の方が大きくなる。
【０１２５】
また、図７では、パターンＰ３の点灯パターンとして、パターンＰ３ａとパターンＰ３ｂとを例示している。パターンＰ３ａは、励起光の出射期間４５をブランキング周辺期間４１とした例を示すものであり、パターンＰ３ｂは、励起光の出射期間４５を、ブランキング周辺期間４１を超える範囲まで延長した例を示している。ここで、パターンＰ３ａとパターンＰ３ｂとを比較すると、２フレームあたりの励起光の総出射時間はパターンＰ３ｂの方が大きくなる。そのため、イメージセンサ１２ｅにより受光される蛍光の光量は、パターンＰ３ａよりもパターンＰ３ｂの方が大きくなる。
【０１２６】
パターンＰ４は、図２で説明した励起光の点灯パターンに対応するものである。パターンＰ４では、励起光が、常時（連続的に）出射される。そのため、パターンＰ３とパターンＰ４とを比較すると、２フレームあたりの励起光の総出射時間はパターンＰ４の方が大きくなる。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、パターンＰ３よりもパターンＰ４の方が大きくなる。
【０１２７】
上述したように、ＩＲレーザ３０ｄから出射される励起光の２フレームあたりの総出射時間は、パターンＰ１〜パターンＰ４でそれぞれ相違する。また、パターンＰ１からパターンＰ４にかけて、ＩＲレーザ３０ｄから出射される励起光の２フレームあたりの総出射時間は増加するよう設計されている。したがって、パターンＰ１からパターンＰ４を選択的に用いながらＩＲレーザ３０ｄを動作させることで、励起光の照射によって発生する蛍光の光量を制御することができる。
【０１２８】
更に、本実施形態の制御回路１４ａは、上述した複数の出射パターンを選択的用いることで、カラー画像の明るさに対する蛍光画像の明るさが、目標の明るさになるようにＩＲレーザ３０ｄが発する励起光を制御する。具体的には、制御回路１４ａは、画像処理回路１４ｃ等と協働し、出射パターンを選択的に用いてＩＲレーザ３０ｄが発する励起光を制御することで、蛍光画像の明るさを制御する。なお、目標の明るさは、例えば、ユーザにより指定される輝度の値である。
【０１２９】
ここで、画像の明るさの算出方法の一例について説明する。制御回路１４ａは、フレーム毎に、以下の処理を実行する。例えば、制御回路１４ａは、各種の画像処理が施された結果得られたカラー画像及び蛍光画像の各々の画像データを画像処理回路１４ｃから取得する。そして、制御回路１４ａは、画像データを構成する各画素のＲの輝度、Ｇの輝度及びＢの輝度の中から最も高い輝度を画素毎に選択する。なお、例えば、画像を構成する各画素は、イメージセンサ１２ｃ〜１２ｅの各画素に対応する。そして、制御回路１４ａは、画素毎に選択した輝度の合計を算出する。そして、制御回路１４ａは、算出した輝度の合計を、画像を構成する画素の数（画素数）で除して、１つの画素あたりの輝度の平均値を算出する。そして、制御回路１４ａは、算出した輝度の平均値を画像の明るさとして扱う。
【０１３０】
制御回路１４ａは、カラー画像及び蛍光画像の明るさに基づき、ＩＲレーザ３０ｄの制御に係る出射パターンを切り替えることで、カラー画像に対する蛍光画像の明るさを制御する。また、制御回路１４ａは、画像処理回路１４ｃと協働し、蛍光画像に対するゲイン増幅処理（デジタルゲイン）を制御することで、カラー画像に対する蛍光画像の明るさを制御する。
【０１３１】
以下、図８〜図１０を参照し、制御回路１４ａが行う蛍光画像の明るさ制御について説明する。図８〜図１０は、制御回路１４ａが行う制御の一例を説明するための図である。横軸は、蛍光画像に対するトータルゲイン量を示しており、縦軸は、各制御対象（点灯パターン、画像処理回路１４ｃ）のそれぞれのゲイン量を示している。また、ここでは、一例として、図７で説明したパターンＰ２ｂの光量（光の強度亜×出射時間）を０ｄＢ、パターンＰ４の光量を１８ｄＢ相当としており、各パターンの出射期間をゲインで表している。なお、蛍光画像に対するトータルゲイン量は、画像処理回路１４ｃによるゲイン増幅処理の設定値（増幅率）と、励起光の出射期間から相対的に導出されるゲインとの合算値を意味する。
【０１３２】
また、実線で示すグラフ（パルス幅調整）は、出射パターンの切り替えに伴う蛍光画像のゲイン変化を示すものである。破線で示すグラフ（増幅処理）は、ゲイン増幅処理に伴う蛍光画像のゲイン変化を示すものである。一点鎖線で示すグラフ（トータルゲイン）は、蛍光画像の明るさを目標値とするためのトータルゲインに対応する。なお、図８〜図１０では、カラー画像のゲイン増幅処理の設定値に対し、蛍光画像のゲイン増幅処理の設定値が１５ｄＢ以上高くなるよう制御する例を示している。このように、カラー画像のゲイン増幅処理の設定値よりも、蛍光画像のゲイン増幅処理の設定値を所定値以上高くすることで、カラー画像に蛍光画像が混入した場合であっても、混入した蛍光画像成分の増幅量を抑えることができるため、画質の向上を図ることができる。
【０１３３】
図８は、カラー画像のゲイン増幅処理の設定値を１倍（０ｄＢ）とした場合の制御例を示している。かかる制御例は、例えば、撮像装置１０と被検体１００との間の距離が近い等、白色光が十分に明るい場合に対応する。
【０１３４】
まず、制御回路１４ａは、図７で説明したパターンＰ２でＩＲレーザ３０ｄを制御することで、白色光と交互に励起光を出射させる。ここで、蛍光画像のゲイン増幅処理から、カラー画像のゲイン増幅処理を減算した値が１５ｄＢに満たない場合、制御回路１４ａは、画像処理回路１４ｃと協働することで、蛍光画像のゲイン増幅処理とカラー画像のゲイン増幅処理との差分が１５ｄＢになるまで蛍光画像に対しゲイン増幅処理を優先的に使用する。
【０１３５】
また、制御回路１４ａは、１５ｄＢまでゲイン増幅処理を施した蛍光画像を更に明るくするような場合、図７で説明したパターンＰ２からパターンＰ３に切り替えることで、フレーム毎に励起光を出射させる。また、制御回路１４ａは、パターンＰ３で励起光を出射させている間、必要に応じて出射期間４５の時間長を増加させる。これに伴い、蛍光画像に対するトータルゲインは増加していく。また、制御回路１４ａは、出射期間４５が次のフレームのブランキング期間４０又はブランキング周辺期間４１の開始時間まで到達すると、図７で説明したパターンＰ４に切り替えることで励起光を連続出射させる。
【０１３６】
図８では、蛍光画像のトータルゲイン量が１５ｄＢの位置からパターンＰ３による制御が開始されており、出射期間４５の時間長が徐々に増加されることで最終的に１８ｄＢ分のゲインが増幅されている。そのため、パターンＰ４に切り替わった時点での蛍光画像のトータルゲインは、１５ｄＢに１８ｄＢを加算した３３ｄＢとなる。
【０１３７】
また、制御回路１４ａは、３３ｄＢまでゲインを増幅させた蛍光画像を更に明るくするような場合、画像処理回路１４ｃと協働し、蛍光画像又は当該蛍光画像の元となる映像信号（以下、総称して蛍光画像という）に対しゲイン増幅処理を施すことで、蛍光画像のトータルゲインを増幅させる。
【０１３８】
一方、図９は、カラー画像のゲイン増幅処理が２８ｄＢの場合の制御例を示している。かかる制御例は、例えば、撮像装置１０と被検体１００との間の距離が遠い等、白色光が暗いため、カラー画像のゲイン増幅処理の設定値を高くした場合に対応する。
【０１３９】
まず、制御回路１４ａは、図８と同様にパターンＰ２で励起光をＩＲレーザ３０ｄから出射させる。次いで、制御回路１４ａは、画像処理回路１４ｃと協働することで、蛍光画像のゲイン増幅処理がカラー画像のゲイン増幅処理（２８ｄＢ）に１５ｄＢを加算した４３ｄＢになるまで、必要に応じてゲイン増幅処理を施す。
【０１４０】
また、制御回路１４ａは、４３ｄＢまでゲイン増幅処理を施した蛍光画像を更に明るくするような場合、パターンＰ２からパターンＰ３に切り替えることで、フレーム毎に励起光を出射させる。また、制御回路１４ａは、パターンＰ３で励起光を出射させている間、必要に応じて出射期間４５の時間長を増加させる。これに伴い、蛍光画像のトータルゲイン量は増加していく。また、制御回路１４ａは、出射期間４５が次のフレームのブランキング期間４０又はブランキング周辺期間４１の開始時間直前まで到達すると、図７で説明したパターンＰ４に切り替えることで励起光を連続出射させる。
【０１４１】
図９では、蛍光画像のトータルゲインが４３ｄＢの位置からパターンＰ３による制御が開始されており、出射期間４５の時間長が徐々に増加されることで最終的に１８ｄＢ分が増幅されている。そのため、パターンＰ４に切り替わった時点での蛍光画像のトータルゲインは、４３ｄＢに１８ｄＢを加算した６１ｄＢとなる。
【０１４２】
また、図１０は、図８及び図９の制御結果を重ねたものである。ここで、範囲Ａ１は、パターンＰ３による出射期間４５の変更により増幅させた場合のゲインの範囲を示している。また、範囲Ａ２は、ゲイン増幅処理で増幅させた場合のゲインの範囲を示している。このように、本実施形態では、出射パターンの切り替えによる増幅と、ゲイン増幅処理による増幅とを併用し、蛍光画像の明るさを目標とする明るさに制御する。これにより、ゲイン増幅処理の使用を抑えることができるため、蛍光画像に混入するノイズ成分を減少させることができる。また、カラー画像に混入する蛍光画像の成分を抑えることができるため、高画質化を図ることができる。
【０１４３】
ここで、画像処理回路１４ｃによるゲイン増幅処理の一例について説明する。例えば、画像処理回路１４ｃは、１フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）に対して、蛍光画像用のゲイン増幅処理を施す。同様に、画像処理回路１４ｃは、３フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ３）に対して、蛍光画像用のゲイン増幅処理を施す。
【０１４４】
画像処理回路１４ｃは、２フレーム目の撮像において、ｍ番目の映像信号（Ｗ２＋ＩＲ２）については、蛍光画像用のゲイン増幅処理を実行せずに、カラー画像用のゲイン増幅処理を実行する。
【０１４５】
なお、上述した制御例では、カラー画像に対するゲイン増幅処理の設定値と、蛍光画像に対するゲイン増幅処理の設定値との差分に基づき、使用する出射パターンを選択したが、これに限らず、カラー画像に対するゲイン増幅処理の設定値と、蛍光画像に対するゲイン増幅処理の設定値との比率に応じて、使用する出射パターンを選択してもよい。
【０１４６】
次に、制御回路１４ａが行う蛍光画像の明るさ制御に係る処理について説明する。図１１は、制御回路１４ａが行う処理の一例を示すフローチャートである。かかる処理は、例えば、図示しないマウスやキーボード等のユーザからの指示を受け付ける入力装置により、被検体１００の体内の撮像を開始する指示がＣＣＵ１４に入力された場合に、制御回路１４ａにより実行される。なお、図１１の処理は、上述した図８の制御例に基づくものである。
【０１４７】
まず、制御回路１４ａは、カラー画像の現在の明るさと、カラー画像に対するゲイン増幅処理の現在の設定値と、カラー画像の明るさの目標値とを取得する（ステップＳ１１）。次いで、制御回路１４ａは、ステップＳ１１で取得したカラー画像の明るさと目標値とに基づき、カラー画像の明るさを目標値とするためのゲイン増幅処理の設定値を算出する（ステップＳ１２）。
【０１４８】
続いて、制御回路１４ａは、蛍光画像の現在の明るさと、蛍光画像に対するゲイン増幅処理の現在の設定値と、蛍光画像の明るさの目標値とを取得する（ステップＳ１３）。次いで、制御回路１４ａは、ステップＳ１３で取得した蛍光画像の明るさと目標値とに基づき、蛍光画像の明るさを目標値とするためのトータルゲイン（図８の一点破線に対応）を算出する（ステップＳ１４）。
【０１４９】
続いて、制御回路１４ａは、ステップＳ１４で算出した蛍光画像のトータルゲインから、ステップＳ１２で算出したカラー画像のゲイン増幅処理の設定値を減算した値が、１５ｄＢ以下か否かを判定する（ステップＳ１５）。ここで、１５ｄＢ以下と判定した場合（ステップＳ１５；Ｙｅｓ）、制御回路１４ａは、パターンＰ２で励起光をＩＲレーザ３０ｄから出射させる（ステップＳ１６）。そして、制御回路１４ａは、蛍光画像のトータルゲインを、蛍光画像のゲイン増幅処理の設定値に設定する（ステップＳ１７）。
【０１５０】
また、１５ｄＢを上回ると判定した場合（ステップＳ１５；Ｎｏ）、制御回路１４ａは、ステップＳ１４で算出した蛍光画像のトータルゲインから、ステップＳ１２で算出したカラー画像のゲイン増幅処理の設定値を減算した値が、３３ｄＢ以上か否かを判定する（ステップＳ１８）。ここで、３３ｄＢ以上と判定した場合（ステップＳ１８；Ｙｅｓ）、制御回路１４ａは、パターンＰ４で励起光をＩＲレーザ３０ｄから出射させる（ステップＳ１９）。そして、制御回路１４ａは、蛍光画像のトータルゲインから１８ｄＢを減算した値を、蛍光画像のゲイン増幅処理の設定値に設定する（ステップＳ２０）。
【０１５１】
また、ステップＳ１８で、３３ｄＢ未満と判定した場合（ステップＳ１８；Ｎｏ）、制御回路１４ａは、カラー画像のゲイン増幅処理の設定値に１５ｄＢを加算した値を、蛍光画像のゲイン増幅処理の設定値に設定する（ステップＳ２１）。そして、制御回路１４ａは、パターンＰ３で励起光をＩＲレーザ３０ｄから出射させると（ステップＳ２２）、蛍光画像のトータルゲインが、ステップＳ１４で算出したトータルゲインの値となるように、励起光の出射期間を調整する（ステップＳ２３）。
【０１５２】
以上、本実施形態に係る撮像装置１０について説明した。本実施形態に係る撮像装置１０によれば、２フレームあたりの総点灯時間が相違する複数の出射パターンを選択的に用いてＩＲレーザ３０ｄを制御することで、カラー画像に対する蛍光画像の明るさを調整することができるため、ユーザが観察するのに十分な画質を確保することができる。また、ゲイン増幅処理の低減化を図ることができるため、画質の向上を図ることができる。
【０１５３】
（変形例１）
上述した実施形態では、制御回路１４ａの制御により出射パターンを自動で選択する形態を説明したが、これに限らず、手動で選択する形態としてもよい。この場合、例えば、図示しないマウスやキーボード等のユーザからの指示を受け付ける入力装置により、出射パターンを切り替える指示がＣＣＵ１４に入力されると、当該指示に応じて制御回路１４ａが出射パターンを切り替える形態としてもよい。
【０１５４】
これにより、ユーザは、カラー画像に対する蛍光画像の明るさを確認しながら出射パターンを切り替えることで、所望する明るさの蛍光画像を得ることができ、観察するのに十分な画質を確保することができる。
【０１５５】
（変形例２）
上述した実施形態では、画像処理回路１４ｃを用いて蛍光画像のゲインを増幅させる形態を説明したが、これに限らず、イメージセンサ１２ｅにおいてゲインを増幅させる形態としてもよい。これにより、上述した実施形態と同様の効果を奏することができる。
【０１５６】
以上述べた実施形態又は変形例に係る撮像装置によれば、ユーザが観察するのに十分な画像の画質を確保することができる。
【０１５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１５８】
１  撮像システム
１０  撮像装置
１２ｃ，１２ｄ，１２ｅ  イメージセンサ
１４ａ  制御回路
１４ｃ  画像処理回路
１４ｄ  画像合成回路
【図１】
2020068389.tif 000003
【図２】
2020068389.tif 000004
【図３】
2020068389.tif 000005
【図４】
2020068389.tif 000006
【図５】
2020068389.tif 000007
【図６】
2020068389.tif 000008
【図７】
2020068389.tif 000009
【図８】
2020068389.tif 000010
【図９】
2020068389.tif 000011
【図１０】
2020068389.tif 000012
【図１１】
2020068389.tif 000013