(57)【特許請求の範囲】
【請求項１】
パルス光で照明された被写体からの光を受光して画素信号を生成する複数の画素を有する撮像素子から、少なくとも一部において前記パルス光の照明期間を含む読み出しタイミングで読み出される１フレーム分の画素信号である第１の画素信号と、前記第１の画素信号の１フレーム後の読み出しタイミングで読み出される１フレーム分の画素信号である第２の画素信号と、が入力され、前記複数の画素のうち前記パルス光の前記照明期間と前記読み出しタイミングとが重複する重複ラインにおいて、前記第１の画素信号のうち前記重複ラインに対応する画素信号と、前記第２の画素信号のうち前記重複ラインに対応する画素信号と、を合成して１フレームの画素信号を生成する信号処理部を備えたことを特徴とする処理装置。
【請求項２】
前記撮像素子から画素信号が読み出される前記読み出しタイミングと前記パルス光の前記照明期間とを取得し、前記読み出しタイミングと前記照明期間とに基づき前記重複ラインを検出する検出部を有し、
前記信号処理部は、前記検出部により検出された前記重複ラインに対応する前記第１の画素信号と前記第２の画素信号とを合成することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記信号処理部は、前記複数の画素のうち前記重複ライン以外の非重複ラインにおいて、前記第１の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、前記第２の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、を用いて１フレームの画素信号を生成することを特徴とする請求項１に記載の処理装置。
【請求項４】
パルス光で照明された被写体からの光を受光して画素信号を生成する複数の画素を有する受光部と、
前記受光部に対し、前記複数の画素に対する露光と前記複数の画素からの画素信号の読み出しとを行う読出し部と、
前記読出し部により少なくとも一部において前記パルス光の照明期間を含む読み出しタイミングで読み出される１フレーム分の画素信号である第１の画素信号と、前記第１の画素信号の１フレーム後の読み出しタイミングで読み出される１フレーム分の画素信号である第２の画素信号とから、前記複数の画素のうち前記パルス光の前記照明期間と前記読み出しタイミングとが重複する重複ラインにおいて、前記第１の画素信号のうち前記重複ラインに対応する画素信号と、前記第２の画素信号のうち前記重複ラインに対応する画素信号と、を合成して１フレームの画素信号を生成する信号処理部と、
を備えたことを特徴とする撮像装置。
【請求項５】
前記受光部から画素信号が読み出される前記読み出しタイミングと前記パルス光の前記照明期間とを取得し、前記読み出しタイミングと前記照明期間とに基づき前記重複ラインを検出する検出部を有し、
前記信号処理部は、前記検出部により検出された前記重複ラインに対応する前記第１の画素信号と前記第２の画素信号とを合成することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記信号処理部は、前記複数の画素のうち前記重複ライン以外の非重複ラインにおいて、前記第１の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、前記第２の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、を用いて１フレームの画素信号を生成することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記受光部および前記読出し部は、ＣＭＯＳ撮像素子によって構成されることを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記受光部および前記読出し部は、ＣＣＤ撮像素子によって構成されることを特徴とする請求項４に記載の撮像装置。
【請求項９】
被写体を照明するためのパルス光を発する光源と、
前記光源による前記パルス光で照明された前記被写体からの光を受光して画素信号を生成する複数の画素を有する受光部と、
前記受光部に対し、前記複数の画素に対する露光と前記複数の画素からの画素信号の読み出しとを行う読出し部と、
前記読出し部により少なくとも一部において前記パルス光の照明期間を含む読み出しタイミングで読み出される１フレーム分の画素信号である第１の画素信号と、前記第１の画素信号の１フレーム後の読み出しタイミングで読み出される１フレーム分の画素信号である第２の画素信号とから、前記複数の画素のうち前記パルス光の前記照明期間と前記読み出しタイミングとが重複する重複ラインにおいて、前記第１の画素信号のうち前記重複ラインに対応する画素信号と、前記第２の画素信号のうち前記重複ラインに対応する画素信号と、を合成して１フレームの画素信号を生成する信号処理部と、
を備えたことを特徴とする内視鏡システム。
【請求項１０】
前記受光部から画素信号が読み出される前記読み出しタイミングと前記パルス光の前記照明期間とを取得し、前記読み出しタイミングと前記照明期間とに基づき前記重複ラインを検出する検出部を有し、
前記信号処理部は、前記検出部により検出された前記重複ラインに対応する前記第１の画素信号と前記第２の画素信号とを合成することを特徴とする請求項９に記載の内視鏡システム。
【請求項１１】
前記信号処理部は、前記複数の画素のうち前記重複ライン以外の非重複ラインにおいて、前記第１の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、前記第２の画素信号のうち前記パルス光で照明された前記被写体からの光を受光して生成された前記非重複ラインの画素信号と、を用いて１フレームの画素信号を生成することを特徴とする請求項９に記載の内視鏡システム。
【請求項１２】
前記被写体は、声帯である
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１３】
音声が入力される音声入力部と、
前記音声入力部に入力された音声の振動周期を検出する振動周期検出部と、
前記振動周期検出部によって検出された音声の振動周期に同期させて、前記光源によるパルス光の照明タイミングおよび照明期間を制御する光源制御部と、
をさらに備えたことを特徴とする請求項１２に記載の内視鏡システム。
【請求項１４】
前記光源によるパルス光の照明タイミングを、前記受光部および前記読出し部によるフレーム周期に同期させるとともに前記読出し部によって読み出された画素信号をもとに前記光源によるパルス光の照明期間を制御する光源制御部を備えたことを特徴とする請求項９に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素信号を処理する処理装置、撮像装置および内視鏡システムに関する。
【背景技術】
【０００２】
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡システムは、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から照明光を間欠的に照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように撮像された生体画像は、この内視鏡システムのディスプレイに表示される。【０００３】
間欠照明のもとで撮像を行う場合、撮像素子の露光タイミングによっては、画像間で明るさのばらつきが生じ、ディスプレイへの表示時に画像がちらついてしまう場合があった。特に、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）撮像素子を採用し、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用した場合には、１つの撮像期間において水平ラインごとに露光タイミングが異なってしまうため、画像の輝度ムラが生じやすかった。【０００４】
この問題を解決するため、従来、フレーム画像から所定の閾値以上の輝度を有する領域を除去して表示用画像を生成する技術（たとえば、特許文献１参照）が提案されている。さらに、画像の一部を除去する特許文献１記載の技術とは別に、撮像素子の各画素の露光期間のうち全ての画素で共通する期間に、光源から照明光を出射させることによって、画像の全領域で一定の輝度を確保できるようにした技術（たとえば、特許文献２参照）も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５９２１号公報
【特許文献２】特開２００９−１３６４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この全ての画素で共通して露光させることが可能な期間を十分に確保するためには、フレームレートの低速化、あるいは、読出しの高速化が必要となり、動画の品質や撮像素子の発熱などを考慮すると、撮像素子の読出しタイミングに対して照明タイミングが重複するように制御せざるを得ない場合があった。また、たとえば声帯の振動周波数に同期させてパルス光で照明を行うストロボ観察装置などでは、照明タイミングと読出しタイミングとが非同期になるため、全ての画素で共通して露光させることが可能な期間が十分確保されている場合であっても、読出しタイミングに対して照明タイミングが重複する場合があった。この場合、画像間で露光量が異なってしまい、画像間の明るさのばらつきをなくすことができず、画像品質を保持できないという問題があった。【０００７】
本発明は、上記に鑑みてなされたものであって、撮像素子の読出しタイミングに対してどのようなタイミングでパルス光が発光されても、画像品質を保持可能とした処理装置、撮像装置、および、内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる処理装置は、パルス光で照明された被写体からの光を受光し、該受光した光を光電変換して画素信号を生成する複数の画素の画素信号を処理する処理装置であって、前記画素信号から、前記パルス光の照明期間と前記画素信号の読み出しタイミングとの重複状態に応じて、前記パルス光の照明期間で前記複数の画素が露光された場合の画素信号である照明時画素信号を生成する信号処理部を備えたことを特徴とする。【０００９】
また、本発明にかかる処理装置は、前記複数の画素の行列配置に対応させて、前記画素信号をフレーム単位で記憶する記憶部をさらに備え、前記信号処理部は、前記記憶部に記憶された連続する複数のフレームの前記画素信号から、前記パルス光の照明期間に対応する前記照明時画素信号を前記パルス光の照明期間ごとにフレーム単位で生成することを特徴とする。【００１０】
また、本発明にかかる処理装置は、前記読み出しタイミングと前記パルス光の照明期間とを取得し、前記画素信号のうち、前記照明時画素信号の生成対象である前記パルス光の照明期間に前記読み出しタイミングが重複した画素行を重複画素行として検出する検出部をさらに備えたことを特徴とする。【００１１】
また、本発明にかかる処理装置は、前記信号処理部は、前記パルス光の照明期間と重複する重複タイミングで読み出された前記重複画素行の画素信号と、該重複タイミングの後に読み出されたフレームの前記画素信号における前記重複画素行の画素信号とに基づいて、前記重複画素行の照明時画素信号を生成することを特徴とする。【００１２】
また、本発明にかかる処理装置は、前記信号処理部は、前記重複画素行以外の画素行である非重複画素行については、前記照明時画素信号の生成対象である前記パルス光の照明期間の後に読み出されたフレームの前記画素信号における前記非重複画素行の画素信号に基づいて、前記照明時画素信号を生成することを特徴とする。【００１３】
また、本発明にかかる処理装置は、当該処理装置が接続する表示装置の表示周期に合わせて、前記信号処理部が生成した複数のフレームの照明時画素信号から、前記表示装置に表示させるための表示用画像信号を生成する表示制御部をさらに備えたことを特徴とする。【００１４】
また、本発明にかかる撮像装置は、パルス光で照明された被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素を有し、前記複数の画素が行列状に配置された受光部と、前記受光部に対し、前記複数の画素に対する露光と前記複数の画素からの画素信号の読み出しとを行う読出し部と、前記読出し部によって読み出された前記画素信号から、前記パルス光の照明期間と前記読出し部による前記画素信号の読み出しタイミングとの重複状態に応じて、前記パルス光の照明期間で前記複数の画素が露光された場合の画素信号である照明時画素信号を生成する信号処理部と、を備えたことを特徴とする。【００１５】
また、本発明にかかる撮像装置は、前記受光部における前記複数の画素の行列配置に対応させて、前記画素信号をフレーム単位で記憶する記憶部をさらに備え、前記信号処理部は、前記記憶部に記憶された連続する複数のフレームの前記画素信号から、前記パルス光の照明期間に対応する前記照明時画素信号を前記パルス光の照明期間ごとにフレーム単位で生成することを特徴とする。【００１６】
また、本発明にかかる撮像装置は、前記読み出しタイミングと前記パルス光の照明期間とを取得し、前記画素信号のうち、前記照明時画素信号の生成対象である前記パルス光の照明期間に前記読み出しタイミングが重複した画素行を重複画素行として検出する検出部をさらに備えたことを特徴とする。【００１７】
また、本発明にかかる撮像装置は、前記信号処理部は、前記パルス光の照明期間と重複する重複タイミングで読み出された前記重複画素行の画素信号と、該重複タイミングの後に読み出されたフレームの前記画素信号における前記重複画素行の画素信号とに基づいて、前記重複画素行の照明時画素信号を生成することを特徴とする。【００１８】
また、本発明にかかる撮像装置は、前記信号処理部は、前記重複画素行以外の画素行である非重複画素行については、前記照明時画素信号の生成対象である前記パルス光の照明期間の後に読み出されたフレームの前記画素信号における前記非重複画素行の画素信号に基づいて、前記照明時画素信号を生成することを特徴とする。【００１９】
また、本発明にかかる撮像装置は、当該撮像装置が接続する表示装置の表示周期に合わせて、前記信号処理部が生成した複数のフレームの照明時画素信号から、前記表示装置に表示させるための表示用画像信号を生成する表示制御部をさらに備えたことを特徴とする。【００２０】
また、本発明にかかる撮像装置は、前記受光部および前記読出し部は、ＣＭＯＳ撮像素子によって構成されることを特徴とする。【００２１】
また、本発明にかかる撮像装置は、前記受光部および前記読出し部は、ＣＣＤ撮像素子によって構成されることを特徴とする。【００２２】
また、本発明にかかる内視鏡システムは、被写体を照明するためのパルス光を発する光源と、前記光源による前記パルス光で照明された前記被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素を有し、前記複数の画素が行列状に配置された受光部と、前記受光部に対し、前記複数の画素に対する露光と前記複数の画素からの画素信号の読み出しとを行う読出し部と、前記読出し部によって読み出された前記画素信号から、前記光源による前記パルス光の照明期間と前記読出し部による前記画素信号の読み出しタイミングとの重複状態に応じて、前記パルス光の照明期間で前記複数の画素が露光された場合の画素信号である照明時画素信号を生成する信号処理部と、を備えたことを特徴とする。【００２３】
また、本発明にかかる内視鏡システムは、前記受光部における前記複数の画素の行列配置に対応させて、前記画素信号をフレーム単位で記憶する記憶部をさらに備え、前記信号処理部は、前記記憶部に記憶された連続する複数のフレームの前記画素信号から、前記パルス光の照明期間に対応する前記照明時画素信号を前記パルス光の照明期間ごとにフレーム単位で生成することを特徴とする。【００２４】
また、本発明にかかる内視鏡システムは、前記読み出しタイミングと前記パルス光の照明期間とを取得し、前記画素信号のうち、前記照明時画素信号の生成対象である前記パルス光の照明期間に前記読み出しタイミングが重複した画素行を重複画素行として検出する検出部をさらに備えたことを特徴とする。【００２５】
また、本発明にかかる内視鏡システムは、前記信号処理部は、前記パルス光の照明期間と重複する重複タイミングで読み出された前記重複画素行の画素信号と、該重複タイミングの後に読み出されたフレームの前記画素信号における前記重複画素行の画素信号とに基づいて、前記重複画素行の照明時画素信号を生成することを特徴とする。【００２６】
また、本発明にかかる内視鏡システムは、前記信号処理部は、前記重複画素行以外の画素行である非重複画素行については、前記照明時画素信号の生成対象である前記パルス光の照明期間の後に読み出されたフレームの前記画素信号における前記非重複画素行の画素信号に基づいて、前記照明時画素信号を生成することを特徴とする。【００２７】
また、本発明にかかる内視鏡システムは、当該内視鏡システムが接続する表示装置の表示周期に合わせて、前記信号処理部が生成した複数のフレームの照明時画素信号から、前記表示装置に表示させるための表示用画像信号を生成する表示制御部をさらに備えたことを特徴とする。【００２８】
また、本発明にかかる内視鏡システムは、前記被写体は、声帯であることを特徴とする。【００２９】
また、本発明にかかる内視鏡システムは、音声が入力される音声入力部と、前記音声入力部に入力された音声の振動周期を検出する振動周期検出部と、前記振動周期検出部によって検出された音声の振動周期に同期させて、前記光源によるパルス光の照明タイミングおよび照明期間を制御する光源制御部と、をさらに備えたことを特徴とする。【００３０】
また、本発明にかかる内視鏡システムは、前記光源によるパルス光の照明タイミングを、前記受光部および前記読出し部によるフレーム周期に同期させるとともに、前記読出し部によって読み出された画素信号をもとに前記光源によるパルス光の照明期間を制御する光源制御部を備えたことを特徴とする。【００３１】
また、本発明にかかる内視鏡システムは、前記受光部および前記読出し部は、ＣＭＯＳ撮像素子によって構成されることを特徴とする。【００３２】
また、本発明にかかる内視鏡システムは、前記受光部および前記読出し部は、ＣＣＤ撮像素子によって構成されることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、パルス光で照射された被写体からの光を受光した複数の画素の画素信号から、パルス光の照明タイミングと画素信号の読み出しタイミングとの重複状態に応じて、パルス光の照明期間で複数の画素が露光された場合の画素信号である照明時画素信号を生成するため、撮像素子の読出しタイミングに対してどのようなタイミングでパルス光が発光されても、画像品質を保持することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。
【図２】図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。
【図３】図３は、図２に示す光検出部を構成する電気回路の構成の一例を示す図である。
【図４】図４は、パルス光の照明タイミングに対する、撮像部における理想出画タイミングを示すタイミングチャートである。
【図５】図５は、図２に示す光源装置によるパルス光の照明タイミングと読出し部による露光および読み出しタイミングとを説明する図である。
【図６】図６は、図２に示す撮像部、処理装置の各構成部の処理状態を示すタイミングチャートである。
【図７】図７は、図２に示す表示制御部による表示用画像信号の生成処理を説明するための図である。
【図８】図８は、図２に示す表示制御部による表示用画像信号の生成処理を説明するための図である。
【図９】図９は、実施の形態２における光源によるパルス光の照明タイミングと読出し部による露光および読み出しタイミングとを説明する図である。
【図１０】図１０は、実施の形態２における撮像部、処理装置の各構成部の処理状態を示すタイミングチャートである。
【図１１】図１１は、実施の形態２における表示制御部による表示用画像信号の生成処理を説明するための図である。
【図１２】図１２は、実施の形態１，２においてＣＣＤ撮像素子を採用した場合における光源によるパルス光の照明タイミングと読出し部による露光および読み出しタイミングとを説明する図である。
【図１３】図１３は、実施の形態１，２においてＣＣＤ撮像素子を採用した場合における光源によるパルス光の照明タイミングと読出し部による露光および読み出しタイミングとの他の例を説明する図である。
【図１４】図１４は、実施の形態３にかかる内視鏡システムの構成を模式的に示すブロック図である。
【図１５】図１５は、図１４に示す光源によるパルス光の照明タイミングと読出し部による露光および読み出しタイミングとを説明する図である。
【図１６Ａ】図１６Ａは、実施の形態３における撮像部、処理装置の各構成部の処理状態を示すタイミングチャートである。
【図１６Ｂ】図１６Ｂは、実施の形態３における画像処理部によって生成されたパルス光に対応する照明時画素信号のイメージを説明する模式図である。
【図１７】図１７は、分岐部および光検出部をアダプタに設けた場合を模式的に示す図である。
【図１８】図１８は、分岐部および光検出部をアダプタに設けた他の場合を模式的に示すブロック図である。
【発明を実施するための形態】
【００３５】
以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態１にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡２（スコープ）と、音声が入力される音声入力装置３と、内視鏡２の照明光（観察光）としてパルス光を生成する光源装置５と、内視鏡２によって撮像された画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置４と、処理装置４が画像処理を施した画像信号に対応する画像を表示する表示装置６と、を備える。
【００３７】
内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。
【００３８】
挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２１１と、複数の湾曲駒によって構成された湾曲自在な湾曲部２１２と、湾曲部２１２の基端部側に設けられた可撓性を有する可撓管部２１３と、を有する。先端部２１１には、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部２１４および送気・送水用ノズル（図示せず）が設けられている。
【００３９】
操作部２２は、湾曲部２１２を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２２と、処理装置４、光源装置５、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２３と、を有する。処置具挿入部２２２から挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部２１４から表出する。
【００４０】
ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐しており、分岐した一方の分岐コード２３１の端部がコネクタ２３２であり、分岐した他方の分岐コード２３４の基端がコネクタ２３３である。コネクタ２３２は、処理装置４に対して着脱自在であり、コネクタ２３３は、光源装置５に対して着脱自在である。ユニバーサルコード２３は、先端部２１１に設けられた撮像部が撮像した画像信号を、コネクタ２３２を介して、処理装置４に伝送する。ユニバーサルコード２３は、光源装置５から出射された照明光を、コネクタ２３３、操作部２２および可撓管部２１３を介して先端部２１１に伝播する。
【００４１】
音声入力装置３は、被写体が声帯である場合、声帯から発せられた音声が入力される。コード３１は、先端が音声入力装置３と接続しており、基端のコネクタ３１１は、処理装置４に対して着脱自在である。音声入力装置３は、コード３１およびコネクタ３１１を介して、入力された音声を処理装置４に出力する。
【００４２】
処理装置４は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２１１における撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置４は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２３から送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。
【００４３】
光源装置５は、パルス状の白色光を発する光源や集光レンズ等を用いて構成される。光源装置５は、白色光源からのパルス状の白色光を、コネクタ２３２およびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。なお、光源装置５から発せられたパルス光は、コネクタ２３３で一部が分岐、パルス信号化された後に、分岐コード２３４，２３１およびコネクタ２３２を介して、処理装置４に入力される。
【００４４】
表示装置６は、液晶または有機ＥＬ（Electro  Luminescence）を用いた表示ディスプレイ等を用いて構成される。表示装置６は、映像ケーブル６１を介して処理装置４によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置６が表示する画像（体内画像）を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
【００４５】
つぎに、図１で説明した内視鏡２、音声入力装置３、処理装置４および光源装置５の構成について説明する。図２は、内視鏡システム１の構成を模式的に示すブロック図である。
【００４６】
内視鏡２は、先端部２１１に撮像部２４を有する。撮像部２４は、後述する受光部２４２の受光面側に配置された対物レンズ等の光学系２４１と、受光面に結像された光学像から被検体内を表す画素信号を生成する受光部２４２と、読出し部２４３とを備える。
【００４７】
受光部２４２は、受光面に、光源装置５によるパルス光で照明された被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が配置される。受光部２４２には、複数の画素が行列状に配置される。受光部２４２には、二以上の画素が水平方向に沿って配置する画素行（水平ライン）が、垂直方向に複数並ぶように配置される。受光部２４２は、受光面に結像された光学像から被検体内を表す画素信号を生成する。
【００４８】
読出し部２４３は、受光部２４２における複数の画素に対する露光と複数の画素からの画素信号の読み出しとを行う。受光部２４２および読出し部２４３は、たとえば、ＣＭＯＳ撮像素子によって構成され、水平ラインごとの露光、かつ、読み出しが可能である。読出し部２４３は、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画素信号を生成する。したがって、撮像部２４においては、１つの撮像期間（フレーム）であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。読出し部２４３は、受光部２４２の複数の画素から読み出した画素信号を、ケーブル（不図示）およびコネクタ２３２を介して、処理装置４に出力する。なお、ＣＭＯＳ撮像素子から出力された画素信号に付される垂直同期信号および水平同期信号は、後述するタイミング検出部４４にも入力される。
【００４９】
次に、処理装置４について説明する。処理装置４は、入力部４１と、振動周波数検出部４２と、制御部４３と、タイミング検出部４４と、画像処理部４５（信号処理部）と、メモリ４６と、表示制御部４７とを備える。
【００５０】
入力部４１は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部４１は、被検体情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。
【００５１】
振動周波数検出部４２は、音声入力装置３に入力され、コード３１およびコネクタ３１１を介して処理装置４に入力された音声の周波数を検出する。この音声は、被写体である声帯から発せられたものである。振動周波数検出部４２は、検出した音声の周波数を制御部４３に出力する。
【００５２】
制御部４３は、ＣＰＵ等を用いて実現される。制御部４３は、処理装置４の各部の処理動作を制御する。制御部４３は、処理装置４の各構成に対する指示情報やデータの転送等を行うことによって、処理装置４の動作を制御する。制御部４３は、各ケーブルを介して撮像部２４および光源装置５それぞれに接続されている。制御部４３は、光源装置５の動作を制御する光源制御部４３１を備える。光源制御部４３１は、振動周波数検出部４２によって検出された音声の周波数に同期させて、光源５１によるパルス光の照明タイミングおよび照明期間を制御する。なお、制御部４３は、撮像部２４の動作についても制御を行う。
【００５３】
タイミング検出部４４は、光源装置５から入力された光源装置５からのパルス光に対応するパルス信号をもとに、パルス光の照明タイミングおよび照明期間を検出する。タイミング検出部４４は、撮像部２４から出力される画素信号に付される垂直同期信号および水平同期信号をもとに、読出し部２４３による画素信号の読み出しタイミングを水平ラインごとに検出する。タイミング検出部４４は、読み出しタイミングと照明タイミングおよび照明期間とを取得し、読出し部２４３によって読み出された画素信号のうち、後述する照明時画素信号の生成対象の照明期間に、読み出しタイミングが重複した水平ラインを重複ラインとして検出する。
【００５４】
画像処理部４５は、撮像部２４の読出し部２４３によって読み出された複数の画素の画素信号に対し、所定の信号処理を行う。たとえば、画像処理部４５は、画素信号に対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像信号の同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。
【００５５】
画像処理部４５は、撮像部２４の読出し部２４３によって読み出された複数の画素の画素信号から、光源装置５によるパルス光の照明タイミングおよび照明期間と、読出し部２４３による画素信号の読み出しタイミングとの重複状態に応じて、光源装置５によるパルス光の照明期間で複数の画素が露光された場合の画素信号である照明時画素信号を生成する。画像処理部４５は、後述するメモリ４６に記憶された連続する複数のフレームの画素信号から、照明タイミングごとに、照明の照明期間に対応する照明時画素信号をフレーム単位で生成する。画像処理部４５は、重複ラインについては、パルス光の照明期間と重複する重複タイミングで読み出された該重複ラインの画素信号と、該重複タイミングの後であって、かつ、最も先に読み出されたフレームの画素信号における重複ラインの画素信号とに基づいて、照明時画素信号を生成する。画像処理部４５は、重複ライン以外の水平ラインである非重複ラインについては、照明時画素信号の生成対象であるパルス光の照明期間の後であって、かつ、最も先に読み出されたフレームの画素信号における非重複画素ラインの画素信号に基づいて、照明時画素信号を生成する。
【００５６】
メモリ４６は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置４および光源装置５を動作させるための各種プログラムを記憶する。メモリ４６は、処理装置４の処理中の情報を一時的に記録する。メモリ４６は、受光部２４２における複数の画素の行列配置に対応させて、読出し部２４３によって読み出された画素信号を、フレーム単位で記憶する。メモリ４６は、画像処理部４５によって生成された照明時画素信号をフレーム単位で記憶する。メモリ４６は、処理装置４の外部から装着されるメモリカード等を用いて構成されてもよい。
【００５７】
表示制御部４７は、表示装置６の表示周期に合わせて、画像処理部４５が生成した複数のフレームの照明時画素信号から、表示装置６に表示させるための表示用画像データを生成する。表示制御部４７は、表示装置６の表示周期ごとに、画像処理部４５が生成した複数のフレームの照明時画素信号の中から、表示用画像データを選択する。あるいは、表示制御部４７は、表示装置６の表示周期ごとに、画像処理部４５が生成した複数のフレームの照明時画素信号を合成して、表示用画像信号を生成する。表示制御部４７は、表示用画像データを、デジタル信号からアナログ信号に変換し、変換したアナログ信号の画像データをハイビジョン方式等のフォーマットに変更、表示装置６へ出力する。
【００５８】
つぎに、光源装置５について説明する。光源装置５は、光源５１と、光源ドライバ５２とを備える。
【００５９】
光源５１は、パルス状の白色光を発する白色ＬＥＤ等の光源と、集光レンズなどの光学系と用いて構成される。光源５１は、内視鏡２に供給する照明光を発生する。
【００６０】
光源ドライバ５２は、光源制御部４３１の制御のもと、光源５１に所定の電力を供給する。これにより、光源５１から発せられた光は、コネクタ２３３およびユニバーサルコード２３を介して挿入部２１の先端部２１１の照明窓２１１ａから被写体に照明される。なお、照明窓２１１ａ近傍には、撮像部２４が配置される。
【００６１】
コネクタ２３３は、光源５１から発せられたパルス光の一部を分岐して光検出部５４に入射する分岐部５３と、分岐部５３から入射されたパルス光をパルス信号に変換する光検出部５４とを備える。分岐部５３は、プリズムなどの光学系によって構成される。光検出部５４は、変換したパルス信号を分岐コード２３４，２３１およびコネクタ２３２を介して、処理装置４のタイミング検出部４４に入力する。図３は、光検出部５４を構成する電気回路の構成の一例を示す図である。図３に示すように、光検出部５４では、パルス光が入射すると、フォトトランジスタＰｔがオン状態となり、コンデンサＣを介して、電流が増幅器Ａｄに入力される。その後、増幅器Ａｄにおいて、ＤＣ成分除去および増幅されることによって、パルス光に対応するパルス信号が処理装置４に入力される。
【００６２】
図４は、パルス光の照明タイミングに対する、撮像部２４における理想出画タイミングを示すタイミングチャートである。図４のように、パルス光の各照明タイミング（図４（１）参照）が、撮像部２４における各露光タイミングに一致すると（図４（２）参照）、出力される複数の画像間で明るさのばらつきは生じない。これに対し、実施の形態１においては、光源５１のパルス光の照明タイミングは、被写体である声帯から発せられる音声の振動周波数と同期するように制御されているため、パルス光の照明タイミングと、撮像部２４における露光タイミングとは必ずしも一致しない。実施の形態１では、パルス光の発光周期が撮像部２４のフレーム周期および表示装置６における表示周期よりも長い場合について説明する。まず、図５を参照して、光源５１によるパルス光の照明タイミングと読出し部２４３による露光および読み出しタイミングとを説明する。
【００６３】
図５は、光源５１によるパルス光の照明タイミングと読出し部２４３による画素に対する露光および画素信号の読み出しタイミングとを説明する図である。図５の（１）は、光源５１から発せられるパルス光の照明タイミングを示すタイミングチャートの一例を示す図である。図５の（２）は、読出し部２４３による複数の画素に対する露光および読み出しタイミングを説明するタイミングチャートの一例を示す図である。なお、各パルス光は、同一のパルス幅（照明期間）で出力される。
【００６４】
光源５１から発せられるパルス光Ｌの照明タイミングは、被写体である声帯から発せられる音声の振動周波数と同期するように制御されている。光源５１からは、たとえば、図５の（１）に示す周期Ｃｐごとに、期間ＴLの間、パルス光Ｌが発光される。
【００６５】
撮像部２４は、水平ラインＶ（Ｖは整数。V=１，…，ｍ，…，ｓ，…，ｎ，…，ｔ，…，ｕ，…，ｊ）ごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用している。したがって、同一フレームの画素信号であっても、水平ラインごとに露光期間および読み出しタイミングは異なる。たとえばフレーム（Ｎ−１）の先頭の水平ライン１の画素に対しては、読出し部２４３は、期間Ａ１に露光を行った後に時間Ｒ１で画素信号を読み出す。読出し部２４３は、以降の水平ラインの画素に対しては、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しを行う。そして、最終の水平ラインｊの画素に対しては、期間Ａｊにおいて露光を行い、時間Ｒｊで画素信号を読み出す。図５に示すフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）は、先頭ライン１から最終ラインｊの各水平ラインに対する露光が順次実行されるとともに、時間Ｒ１から時間Ｒｊまでの期間に水平ラインＶの画素信号が先頭から順に矢印Ｙ（Ｎ−１）のように読み出されることによって生成される。
【００６６】
このように、ローリングシャッタ方式を採用した場合、同一フレームであっても、露光期間が水平ライン間で時間的にずれるため、光源５１によるパルス光の発光周期と撮像部２４のフレーム周期とが一致していないと、１回のパルス光の照明が複数のフレームにわたって露光される場合がある。この結果、同じ水平ラインであってもフレーム間で照明回数や照明期間が異なってしまい、フレーム間で水平ラインごとに明るさのばらつきが生じてしまう。
【００６７】
たとえば、図５の例では、パルス光の発光周期が撮像部２４のフレーム周期よりも長いため、パルス光Ｌ６の照明期間ＴＬ６は、フレーム（Ｎ−１）における前半の水平ラインの露光期間と、フレーム（Ｎ−２）における後半の水平ラインの露光期間とに重複する。この結果、フレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）については、パルス光Ｌ６全てを露光する上部領域（水平ライン１〜ｓ）は明るいが、パルス光Ｌ６の一部しか露光できない中央領域（水平ライン（ｓ＋１）〜ｔ）は次第に暗くなり（グラデーション）、パルス光が露光されない次の領域（水平ライン（ｔ＋１）〜ｕ）は真っ暗になり、次のパルス光Ｌ１１の一部を露光する最下部の領域（水平ライン（ｕ＋１）〜ｊ）は次第に明るくなる（グラデーション）。また、パルス光Ｌ６の次のパルス光Ｌ１１の照明期間ＴＬ１１は、最初と最後の一部がフレーム（Ｎ−１）の露光期間とフレーム（Ｎ＋１）の露光期間とに重複するものの、フレームＮの露光期間にほぼ含まれるため、フレームＮの画素信号ＤＮは、上部と下部の一部領域はやや暗くなるものの、それ以外の領域では明るくなる。
【００６８】
この実施の形態１では、同じ水平ラインであってもフレーム間で照明回数や照明期間が異なることに起因して明るさがばらついた各フレームの画素信号をそのまま出力するのではなく、複数のフレームの画素信号から、処理装置４の画像処理部４５が、パルス光の照明タイミングで受光部２４２の全ての画素が露光された場合の画素信号である照明時画素信号を生成することによって、明るさのばらつきをなくした画素信号を出力する。
【００６９】
そこで、処理装置４における照明時画素信号の生成処理について、図５（１）のパルス光Ｌ６で受光部２４２の全ての画素が露光された場合の画素信号に相当する照明時画素信号を生成する場合を例に説明する。
【００７０】
まず、処理装置４では、タイミング検出部４４が、光源５１によるパルス光の照明タイミングおよび照明期間と、読出し部２４３による受光部２４２の各水平ラインの読み出しタイミングとを検出し、読出し部２４３によって読み出された画素信号のうち、照明時画素信号の生成対象の照明期間に読み出しタイミングが重複した水平ラインを重複ラインとして検出する。また、タイミング検出部４４は、読出し部２４３によって読み出された画素信号のうち、照明時画素信号の生成対象の照明期間と読み出しタイミングとが重複していない水平ラインを非重複ラインとして検出する。
【００７１】
図５の例では、タイミング検出部４４は、先頭の水平ライン１から水平ラインｓを、パルス光Ｌ６の照明期間ＴＬ６がフレーム（Ｎ−２）の画素信号Ｄ（Ｎ−２）およびフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）のいずれの読み出しタイミングとも重複していない非重複ラインとして検出する。タイミング検出部４４は、水平ライン（ｓ＋１）から水平ラインｔを、パルス光Ｌ６の照明期間ＴＬ６とフレーム（Ｎ−２）の画素信号Ｄ（Ｎ−２）の読み出しタイミングとが重複した重複ラインとして検出する。タイミング検出部４４は、水平ライン（ｔ＋１）から水平ラインｊを、パルス光Ｌ６の照明期間ＴＬ６がいずれのフレームの読み出しタイミングとも重複していない非重複ラインとして検出する。
【００７２】
非重複ラインである水平ライン１から水平ラインｓにおける照明時画素信号の生成について説明する。たとえば、水平ラインｍ（１≦ｍ≦ｓ）を例に説明する。水平ラインｍについては、照明時画素信号の生成対象であるパルス光Ｌ６の照明期間ＴＬ６の全てが、フレーム（Ｎ−１）の水平ラインｍの露光期間に含まれている。そして、水平ラインｍについては、パルス光Ｌ６以外のパルス光がこのフレーム（Ｎ−１）の露光期間に照明されない。したがって、パルス光Ｌ６の照明後に読み出されたフレーム（Ｎ−１）の水平ラインｍの画素信号は、パルス光Ｌ６の照明期間ＴＬ６で水平ラインｍに位置するすべての画素が露光された場合の画素信号である。このため、画像処理部４５は、パルス光Ｌ６の照明期間で水平ラインｍの画素が露光された場合の画素信号（照明時画素信号）として、フレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）の水平ラインｍの各画素のデータをそのまま当てはめる。すなわち、画像処理部４５は、水平ラインｍの各画素ｘについては、（１）式を用いて、照明時画素信号を演算する。
【００７３】
【数１】
0005948512.tif 000002
【００７４】
同様に、非重複ラインの水平ライン（ｔ＋１）から水平ラインｊにおいては、照明時画素信号の生成対象であるパルス光Ｌ６の照明期間ＴＬ６の全てが、フレーム（Ｎ−２）の露光期間に含まれ、パルス光Ｌ６以外のパルス光がこのフレーム（Ｎ−２）の露光期間に照明されない。したがって、パルス光Ｌ６照明後に読み出されたフレーム（Ｎ−２）の水平ライン（ｔ＋１）〜ｊの各画素信号は、パルス光Ｌ６の照明タイミングで水平ライン（ｔ＋１）〜ｊに位置するすべての画素が露光された場合の画素信号である。このため、画像処理部４５は、水平ライン（ｔ＋１）から水平ラインｊのパルス光Ｌ６の照明時画素信号として、フレーム（Ｎ−２）の画素信号Ｄ（Ｎ−2）のそれぞれの水平ラインの各画素のデータをそのまま当てはめる。
【００７５】
このように、画像処理部４５は、非重複ラインである水平ラインについては、照明時画素信号の生成対象であるパルス光の照明タイミングの次の読み出しタイミングで読み出されたフレームの非重複画素行の画素信号に基づいて、照明時画素信号を生成する。
【００７６】
次に、重複ラインである水平ライン（ｓ＋１）から水平ラインｔにおける照明時画素信号の生成について、水平ラインｎ（ｓ＋１≦ｎ≦ｔ）を例に説明する。パルス光Ｌ６の照明期間ＴＬ６は、フレーム（Ｎ−２）における水平ラインｎの読み出しタイミングと重複しており、フレーム（Ｎ−２）の水平ラインｎの露光期間とフレーム（Ｎ−１）の水平ラインｎの露光期間との双方にまたがっている。水平ラインｎについては、他のパルス光が、フレーム（Ｎ−２）の水平ラインｎの露光期間とフレーム（Ｎ−１）の水平ラインｎの露光期間とのいずれにおいても照明されない。画素による画素信号の出力値は実際に光を受光した受光時間に比例するため、パルス光Ｌ６の照明期間で水平ラインｎの画素が露光された場合の画素信号（照明時画素信号）は、フレーム（Ｎ−２）の画素信号Ｄ（Ｎ−２）における水平ラインｎの画素信号と、フレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）における水平ラインｎの画素信号とをそのまま合成したものとなる。このため、画像処理部４５は、水平ラインｎの各画素ｘについては、以下の（２）式を用いて、照明時画素信号を演算する。
【００７７】
【数２】
0005948512.tif 000003
【００７８】
画像処理部４５は、重複ラインとなる水平ラインについては、照明期間と重複する重複タイミングで読み出された該重複ラインの画素信号と、該重複タイミングの次のフレームの画素信号における重複ラインの画素信号とを合成することによって、重複画素行の照明時画素信号を生成する。画像処理部４５は、各画素ごとに、重複ラインまたは非重複ラインに位置するかに応じて、（１）式または（２）式を用いて照明時画素信号を演算し、演算した照明時画素信号を、フレーム単位の画像信号として出力する。
【００７９】
このように、実施の形態１によれば、複数の画素から読み出された画素信号から、光源５１によるパルス光の照明タイミングおよび照射期間と、画素信号の読み出しタイミングとの重複状態に応じて、パルス光の照明期間で複数の画素が露光された場合の画素信号である照明時画素信号を生成するため、撮像素子の読出しタイミングに対してどのようなタイミングでパルス光が発光されても、出力される画像間の明るさのばらつきをなくすことができ、画像品質を保持することができる。
【００８０】
処理装置４では、たとえば、容量の大きいＤＤＲ３などを用いたフレームバッファをメモリ４６として使用し、画像処理部４５の演算時においては、過去の画素信号を複数フレーム分、読み出した状態でパイプライン処理を行うことによって、複数フレームの画素信号を１フレーム期間で処理して複数フレームの照明時画素信号を生成するアルゴリズムを採用する。図６の（１）は、撮像部２４を構成するＣＭＯＳ撮像素子における垂直同期信号、ＣＭＯＳ撮像素子の露光状態、ならびに、データ読み出しについて示すタイミングチャートである。図６の（２）は、タイミング検出部４４による検出対象データについてのタイミングチャートである。図６の（３）は、メモリ４６の各領域１〜４に記憶されるフレーム単位の画素信号についてのタイミングチャートである。図６の（４）は、画像処理部４５における画像処理についてのタイミングチャートである。図６の（５）は、表示制御部４７における表示画像データ生成処理についてのタイミングチャートである。
【００８１】
図６の（１）〜（５）に示すように、撮像部２４による垂直同期信号のタイミングにしたがって、露光、画素信号の読み出しを順次行い、読み出した画素データをフレーム単位で順次処理装置４に出力する。図６の（２）の例では、タイミング検出部４４は、５フレーム分の画素信号を１フレーム期間で処理し、現フレーム期間では、５フレーム前から１フレーム前の画素信号の読み出しタイミングと、５フレーム前から１フレーム前における照明タイミングおよび照明期間とを検出する。図６の（３）に示すように、メモリ４６の各領域１〜４には、それぞれ１フレーム分の画素信号が記憶され、１フレーム期間ごとに、記憶される画素信号が、新しく書き換えられる。現フレーム期間では、領域１〜４に記憶されていた５フレーム前から２フレーム前の画素信号が、４フレーム前から１フレーム前の画素信号にそれぞれ書き換えられる。図６の（４）の矢印Ｙ１に示すように、画像処理部４５は、現フレーム期間では、メモリ４６の領域１〜４に記憶されている４フレーム前から１フレーム前の４フレーム分の画素信号Ｄｇ１を読み出して、照明時画素信号を生成し、生成した照明時画素信号をフレーム単位で出力する（照明時画素信号Ｇ６，Ｇ１１）。この画像処理部４５における照明時画素信号Ｇ６，Ｇ１１の生成処理は、図５を用いた説明で前述したとおりである。なお、画像処理部４５において一度に生成される照明時画素信号Ｇのフレーム数は、常に一定のフレーム数とは限らず、フレーム周期に対するパルス光の発光数に応じて変動する。
【００８２】
続いて、図６の（５）に示すように、表示制御部４７は、表示装置６の表示周期に合わせて、画像処理部４５が生成した照明時画素信号から、表示装置６に表示させるための表示用画像信号Ｍ１〜Ｍ７を生成する。表示制御部４７は、現フレーム期間に対応する表示周期については、矢印Ｙ２のように、画像処理部４５が生成した照明時画素信号Ｇ６，Ｇ１１から表示用画像信号Ｍ７を生成する。この表示制御部４７による表示用画像信号の生成処理について、図７および図８を参照して、説明する。
【００８３】
図７および図８は、表示制御部４７による表示用画像信号の生成処理を説明するための図である。図７の（１）および図８の（１）は、表示装置６における表示周期を示すタイミングチャートである。図７の（２）および図８の（２）は、光源５１から発せられるパルス光の照明タイミングを示すタイミングチャートの一例であり、図７（３）および図８（３）は、読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例である。図７および図８については、説明のために、表示周期に対応する時間軸に、各照明時画素信号に対応するパルス光の照明タイミングの時間軸を移動させて、重ね合わせている。また、図７では、画像処理部４５において生成される各パルス光Ｌ１，Ｌ６，Ｌ１１の照明タイミングに対応する照明時画素信号Ｇ１，Ｇ６，Ｇ１１についても模式的に示す。図８では、画像処理部４５において生成される各パルス光Ｌａ１，Ｌａ６，Ｌａ１１，Ｌａ１６の照明タイミングに対応する照明時画素信号Ｇａ１，Ｇａ６，Ｇａ１１，Ｇａ１６についても模式的に示す。
【００８４】
図７の（１）および図８の（１）に示すように、表示装置６は、表示周期Ｃｄで表示用画像信号を表示出力する。ここで、パルス光の発光周期が表示周期よりも長い場合には、表示周期ごとに、表示周期内にパルス光の照明期間の全てが入る場合と、一部しか入らない場合がある。図７の例では、各表示周期Ｃｄ１〜Ｃｄ３のそれぞれに、照明時画素信号Ｇ１，Ｇ６，Ｇ１１に対応するパルス光Ｌ１，Ｌ６，Ｌ１１の照明期間が含まれるため、照明時画素信号Ｇ１，Ｇ６，Ｇ１１をそのまま各表示周期Ｃｄ１〜Ｃｄ３に対応する表示用画像信号として選択して出力する。すなわち、表示制御部４７は、表示周期Ｃｄ１については、照明時画素信号Ｇ１を表示用画像信号として表示装置６に表示させる（矢印Ｙ３参照）。同様に、表示制御部４７は、表示周期Ｃｄ２については、照明時画素信号Ｇ６を表示用画像信号として表示装置６に表示させ（矢印Ｙ４参照）、表示周期Ｃｄ３については、照明時画素信号Ｇ１１を表示用画像信号として表示装置６に表示させる（矢印Ｙ５参照）。もしくは、表示制御部４７は、複数の照明時画素信号Ｇを合成したものを表示用画像信号として生成してもよい。たとえば、表示周期Ｃｄ２の表示用画像信号を生成する場合、表示制御部４７は、表示周期Ｃｄ２に対応する範囲Ｈｄ２から、表示周期Ｃｄ２の前後の表示周期Ｃｄ１，Ｃｄ３も含まれる範囲Ｈｄ２ｇにまで、画像採用範囲を広げる。そして、表示制御部４７は、照明時画素信号Ｇ６とともに、これらの範囲Ｈｄ２ｇに含まれる照明時画素信号Ｇ１，Ｇ１１も採用して、表示周期Ｃｄ２の中心時間Ｃｄ２ｃと、各照明時画素信号のパルス光の照明期間の中心時間との距離（時間差）に応じた重みづけで合成した画像信号を、表示周期Ｃｄ２の表示用画像信号として出力する。
【００８５】
これに対し、図８の例では、各表示周期Ｃｄ４〜Ｃｄ６のうち、表示周期Ｃｄ４，Ｃｄ６は、パルス光Ｌａ６，Ｌａ１１の照明期間に応じた照明時画素信号Ｇａ６，Ｇａ１１が対応するが、表示周期Ｃｄ５にはパルス光が照明されず、この表示周期Ｃｄ５に対応する照明時画素信号が存在しない。このため、表示制御部４７は、表示周期Ｃｄ５の表示用画像信号を生成するために、表示周期Ｃｄ５に対応する範囲Ｈｄ５から、表示周期Ｃｄ５の前後の表示周期Ｃｄ４，Ｃｄ６も含まれる範囲Ｈｄ５ｇにまで、画像採用範囲を広げる。
【００８６】
続いて、表示制御部４７は、範囲Ｈｄ５ｇ内に対応する照明時画素信号Ｇａ６，Ｇａ１１に対し、表示周期Ｃｄ５の中心時間Ｃｄ５ｃと、各照明時画素信号Ｇａ６，Ｇａ１１のパルス光の照明期間の中心時間との距離（時間差）Ｔｄ６，Ｔｄ１１（＜Ｔｄ６）を比較する。そして、表示制御部４７は、距離が小さい方の照明時画素信号Ｇａ１１を、表示周期Ｃｄ５に対応する表示用画像信号として表示装置６に表示させる（矢印Ｙ７）。もしくは、表示制御部４７は、範囲Ｈｄ５ｇに含まれる照明時画素信号Ｇａ６，Ｇａ１１を、表示周期Ｃｄ５の中心時間Ｃｄ５ｃと、各照明時画素信号に対応するパルス光の照明期間の中心時間との距離（時間差）に応じた重みづけで合成した画像信号を、表示周期Ｃｄ５に対応する表示用画像信号として生成する。なお、パルス光Ｌａ６，Ｌａ１１の照明期間が含まれる表示周期Ｃｄ４，Ｃｄ６については、照明時画素信号Ｇａ６，Ｇａ１１を表示周期Ｃｄ４，Ｃｄ６の表示用画像信号として表示装置６に表示させる（矢印Ｙ６および矢印Ｙ８参照）。
【００８７】
このように、実施の形態１によれば、光源５１によるパルス光の発光周期と表示装置６における表示周期とが一致していない場合であっても、画像処理部４５が生成した明るさのばらつきのない複数フレームの照明時画素信号から、表示装置６の表示周期に合わせて、表示用画像信号を生成して表示装置６に表示させるため、ディスプレイに表示される画像品質が良好であるとともに、画像が途切れることなく円滑に順次表示されるという効果を奏する。
【００８８】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、パルス光の発光周期が撮像部２４のフレーム周期および表示装置６の表示周期よりも短い場合について説明する。なお、実施の形態２にかかる内視鏡システムは、実施の形態１にかかる内視鏡システムと同じ構成を有する。
【００８９】
図９は、実施の形態２にかかる内視鏡システムの撮像時における光源５１によるパルス光の照明タイミングと読出し部２４３による露光および読み出しタイミングとを説明する図である。図９の（１）は、光源５１から発せられるパルス光Ｌｂの照明タイミングを示すタイミングチャートの一例を示す図である。図９の（２）は、読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例を示す図である。なお、各パルス光は、同一のパルス幅（照明期間）で出力される。
【００９０】
図９の（１）に示すように、光源５１からは、撮像部２４のフレーム周期よりも短い周期Ｃｐｂで、期間ＴLｂの間、パルス光Ｌｂが発光される。図９の例では、いずれの水平ラインの露光期間においても、複数回のパルス光が照明されており、各水平ラインの画素は、多重露光されることとなる。したがって、画像処理部４５は、読み出しタイミングと照明期間とが重複しているラインがあることに加え、各水平ラインの画素が多重露光されていることを考慮して、照明時画素信号の生成のための演算処理を行う。具体的に、図９の（１）のパルス光Ｌｂ６で受光部２４２の全ての画素が露光された場合の画素信号に相当する照明時画素信号を画像処理部４５が生成する場合を例に説明する。
【００９１】
まず、非重複ラインである水平ラインｍについて説明する。画像処理部４５は、非重複ラインである水平ラインｍについては、パルス光Ｌｂ６の照明期間の次の読み出しタイミングで読み出されたフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）のうちの水平ラインｍの画素信号に基づいて、照明時画素信号を生成する。ただし、このフレーム（Ｎ−１）の水平ラインｍの露光期間には、パルス光Ｌｂ６の全照明期間ＴＬｂ６に加えて、パルス光Ｌｂ７，Ｌｂ８の全照明期間およびパルス光Ｌｂ９の照明期間ＴＬｂ９の一部も含まれている。このため、画像処理部４５は、水平ラインｍの各画素ｘについては、パルス光Ｌｂ６の照明期間と、その他のパルス光Ｌｂ７，Ｌｂ８，Ｌｂ９の照明期間との比率分を考慮した（３）式を用いて、照明時画素信号を演算する。なお、フレーム（Ｎ−１）において、パルス光Ｌｂ９の照明期間ＴＬｂ９が水平ラインｍの露光期間に含まれる期間ｖとし、含まれない期間をｗとする（領域Ｓａ参照）。
【００９２】
【数３】
0005948512.tif 000004
【００９３】
画像処理部４５は、重複ラインである水平ラインｎについては、パルス光Ｌｂ６の照明期間との重複タイミングで読み出されたフレーム（Ｎ−２）の画素信号Ｄ（Ｎ−２）における水平ラインｎの画素信号と、該重複タイミングの次のフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）における水平ラインｎの画素信号に基づいて、照明時画素信号を生成する。ただし、フレーム（Ｎ−２）の水平ラインｎの露光期間には、パルス光Ｌｂ６の照明期間ＴＬｂ６の前半に加えて、パルス光Ｌｂ３，Ｌｂ４，Ｌｂ５の照明期間も含まれている。また、フレーム（Ｎ−１）の水平ラインｎの露光期間には、パルス光Ｌｂ６の照明期間ＴＬｂ６の後半に加えて、パルス光Ｌｂ７，Ｌｂ８，Ｌｂ９の照明期間も含まれている。このため、画像処理部４５は、水平ラインｎの各画素ｘについては、パルス光Ｌｂ６の照明期間と、その他のパルス光の照明期間との比率分を考慮して、パルス光Ｌｂ６のみを受光した場合の水平ラインｎの画素信号を、フレーム（Ｎ−２）、フレーム（Ｎ−１）の場合とでそれぞれ演算し、これらを合成する。
【００９４】
具体的には、画像処理部４５は、（４）式を用いて、重複ラインである水平ラインｎの各画素ｘの照明時画素信号を演算する。なお、フレーム（Ｎ−２）において、パルス光Ｌｂ６の照明期間ＴＬｂ６が水平ラインｎの露光期間に含まれる期間をｙとし、含まれない期間をｚとする（領域Ｓｂ参照）。また、図示していないが、フレーム（Ｎ−１）において、パルス光Ｌｂ９の照明期間ＴＬｂ９が水平ラインｎの露光期間に含まれる期間をｚとし、含まれない期間はｙとする。また、上記の例では、すべてのパルス光のパルス幅（照明期間）は、同一であり、（ｖ＋ｗ）＝（ｙ＋ｚ）の前提で演算を行っている。
【００９５】
【数４】
0005948512.tif 000005
【００９６】
図１０は、実施の形態２における撮像部２４、処理装置４の各構成部の処理状態を示すタイミングチャートである。図１０の（１）は、撮像部２４を構成するＣＭＯＳ撮像素子における垂直同期信号、ＣＭＯＳ撮像素子の露光状態、ならびに、データ読み出しについて示すタイミングチャートである。図１０の（２）は、タイミング検出部４４による検出対象データについてのタイミングチャートである。図１０の（３）は、メモリ４６の各領域１〜４に記憶されるフレーム単位の画素信号についてのタイミングチャートである。図１０の（４）は、画像処理部４５における画像処理についてのタイミングチャートである。図１０の（５）は、表示制御部４７における表示画像データ生成処理についてのタイミングチャートである。実施の形態２では、現フレーム期間では、メモリ４６の領域１〜４に記憶されている４フレーム前から１フレーム前の４フレーム分の画素信号Ｄｇ１１を読み出して、各パルス光に対応する照明時画素信号を生成し（矢印Ｙ１１参照）、フレーム単位で出力する（照明時画素信号Ｇｂ４〜Ｇｂ１３）。なお、実施の形態１と同様に、画像処理部４５において一度に生成される照明時画素信号Ｇのフレーム数は、常に一定のフレーム数とは限らず、フレーム周期に対するパルス光の発光数に応じて変動する。
【００９７】
そして、図１０の（５）に示すように、表示制御部４７は、表示装置６の表示周期に合わせて、矢印Ｙ１２のように、画像処理部４５が生成した照明時画素信号群Ｄｇ２１から、表示装置６に表示させるための表示用画像信号Ｍｂ１〜Ｍｂ７を生成する。表示制御部４７は、現フレーム期間に対応する表示周期については、画像処理部４５が生成した照明時画素信号Ｇｂ４〜Ｇｂ１３から表示用画像信号Ｍｂ７を生成する。この表示制御部４７による表示用画像信号の生成処理について、図１１を参照して、説明する。
【００９８】
図１１は、実施の形態２における表示制御部４７による表示用画像信号の生成処理を説明するための図である。図１１の（１）は、表示装置６における表示周期を示すタイミングチャートである。図１１の（２）は、光源５１から発せられるパルス光の照明タイミングを示すタイミングチャートの一例であり、図１１の（３）は、読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例である。図１１については、説明のために、表示周期に対応する時間軸に、各照明時画素信号に対応するパルス光の照明タイミングの時間軸を移動させて、重ね合わせている。また、図１１では、画像処理部４５において生成される各パルス光Ｌｂ１〜Ｌｂ１７の照明時に対応する照明時画素信号Ｇｂ１〜Ｇｂ１７についても模式的に示す。
【００９９】
図１１に示す各表示周期Ｃｄ７〜Ｃｄ９のうち表示周期Ｃｄ８に対応する表示用画像信号を生成する場合について説明する。表示周期Ｃｄ８に対応する期間Ｈｄ８には、照明時画素信号Ｇｂ７〜Ｇｂ１０に対応するパルス光Ｌｂ７〜Ｌｂ１０の照明期間が含まれる。表示制御部４７は、照明時画素信号Ｇｂ７〜Ｇｂ１０を合成することによって、表示周期Ｃｄ８に対応する表示用画像信号Ｍを生成する。ただし、照明時画素信号Ｇｂ７に対応する照明期間については、表示周期Ｃｄ８に対応する期間Ｈｄ８に対して、一部のみが対応しており、パルス光Ｌｂ７の照明期間が表示周期Ｃｄ８に対応する期間Ｈｄ８に含まれる期間をａとし、含まれない期間をｂとする（領域Ｓｄ参照）。また、各パルス光の照明期間（パルス幅）は均一である。このため、表示制御部４７は、（５）式を用いて、表示周期Ｃｄ８に対応する表示用画像信号Ｍを生成する。
【０１００】
【数５】
0005948512.tif 000006
【０１０１】
また、表示制御部４７は、表示周期Ｃｄ８の中心時間Ｃｄ８ｃに対して重みづけ係数（α，β，γ，δ）を、対応する各データに乗算して、表示周期Ｃｄ８に対応する表示用画像信号Ｍを演算してもよい。具体的には、表示制御部４７は、（６）式を用いて、表示周期Ｃｄ８に対応する表示用画像信号Ｍを生成する。
【０１０２】
【数６】
0005948512.tif 000007
【０１０３】
したがって、表示制御部４７は、表示周期における時間軸に各照明時画素信号の照明タイミングの時間軸を重ね合わせた場合に、制御対象の表示周期内に含まれる全ての照明タイミングに対応する複数の照明時画素信号を露光比率に応じて合成して、表示用画像信号を生成する。なお、この重みづけ係数（α，β，γ，δ）は、制御部４３による光源５１への明るさ制御に兼用してもよい。この結果、光量の不足や、パルス光を照明して観察するストロボ観察時におけるフレーム間の明るさばらつきを抑制できる。具体的には、（α＋β＋γ＋δ）≧１にして明るくし、（α＋β＋γ＋δ）≦１にして暗くするなどができる。また、（α＋β＋γ＋δ）の値を固定値にすれば、フレーム間の明るさばらつきを抑えられる。
【０１０４】
この実施の形態２のように、パルス光の発光周期が撮像部２４のフレーム周期および表示装置６の表示周期よりも短い場合には、画素ごとに、重複ラインまたは非重複ラインのいずれに位置するかとともに、照明時画素信号の生成対象のパルス光の照明期間と、該ラインの露光期間に含まれる他のパルス光の照明期間との比率分を考慮して、照明時画素信号を演算すればよい。また、実施の形態２のように、光源５１によるパルス光の発光周期が表示装置６における表示周期よりも短い場合には、表示装置６の表示周期に合わせて、画像処理部４５が生成した複数の照明時画素信号を合成した表示用画像信号を表示装置６に表示させればよい。これによって、実施の形態２においても、実施の形態１と同様の効果を奏する。
【０１０５】
なお、本実施の形態１，２は、撮像部２４の撮像素子として、グローバルシャッタ方式で撮像処理を行うＣＣＤ（Charge  Coupled  Devices）撮像素子を採用した場合にも適用可能である。図１２の（１）は、光源５１から発せられるパルス光Ｌｃの照明タイミングを示すタイミングチャートの一例を示す図である。図１２の（２）は、撮像部２４の撮像素子がＣＣＤ撮像素子である場合の、読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例を示す図である。なお、各パルス光は、同一のパルス幅（照明期間）で出力される。
【０１０６】
図１２の例では、撮像部２４のフレーム周期よりも長い周期で、パルス光Ｌｃが発光される。また、撮像部２４は、グローバルシャッタ方式を採用するため、同一フレームであれば、受光部２４２の画素信号は、すべて同じ期間で露光され、同タイミングで読み出される。すなわち、フレーム（Ｎ−２）であれば、露光期間Ａ（Ｎ−２）で露光された後に、時間Ｒ（Ｎ−２）において、全画素の画素信号に対応する画素信号Ｄ（Ｎ−２）が読み出される。同様に、フレーム（Ｎ＋１）、フレームＮ、フレーム（Ｎ＋１）については、それぞれ、露光期間Ａ（Ｎ−１），ＡＮ，Ａ（Ｎ＋１）で露光された後に、時間Ｒ（Ｎ−１），ＲＮ，Ｒ（Ｎ＋１）において、全画素の画素信号に対応する画素信号Ｄ（Ｎ−１），ＤＮ，Ｄ（Ｎ＋１）が読み出される。この図１２の例では、パルス光Ｌｃの各照明期間は、各画素信号の読み出しタイミングとは重複していないため、実施の形態１における非重複ラインに対しての照明時画素信号の生成処理と同様に、照明時画素信号の生成対象であるパルス光の照明期間の次に読み出されたフレームの画素信号における非重複ラインの画素信号に基づいて、照明時画素信号を生成する。たとえば、図１２の（１）のパルス光Ｌｃ３で受光部２４２の全ての画素が露光された場合の画素信号に相当する照明時画素信号を生成する場合には、いずれの水平ラインＶの各画素ｘについても、（７）式を用いて、照明時画素信号を演算する。
【０１０７】
【数７】
0005948512.tif 000008
【０１０８】
なお、図１２には例示していないが、パルス光Ｌｃの各照明期間のうち、各画素信号の読み出しタイミングと重複する照明期間については、いずれの水平ラインの各画素についても、実施の形態１における重複ラインに対しての照明時画素信号の生成処理と同様に、該照明期間と重複する重複タイミングで読み出された該重複ラインの画素信号と、該重複タイミングの次のフレームの画素信号における重複ラインの画素信号とを合成することによって、重複画素行の照明時画素信号を生成する。
【０１０９】
画素信号Ｄ（Ｎ−２）〜Ｄ（Ｎ＋１）のうち、画素信号Ｄ（Ｎ−２），ＤＮ，Ｄ（Ｎ＋１）は、各露光期間中Ａ（Ｎ−１）），ＡＮ，Ａ（Ｎ＋１）中にパルス光の照明が１回行われたため、暗めの画像となる。そして、画素信号Ｄ（Ｎ−２）〜Ｄ（Ｎ＋１）のうち、画素信号Ｄ（Ｎ−１）は、露光期間Ａ（Ｎ−１）中にパルス光の照明が行われなかったため、露光のない真っ暗な画像となるが、画像処理部４５から実際に出力される照明時画素信号は、パルス光で受光部２４２の全ての画素が露光された場合の画素信号に相当するため、明るさにばらつきは生じない。
【０１１０】
また、図１３を参照して、撮像部２４のフレーム周期よりも短い周期で、パルス光Ｌｄが発光される場合について説明する。図１３の（１）は、光源５１から発せられるパルス光Ｌｄの照明タイミングを示すタイミングチャートの一例を示す図である。図１３の（２）は、撮像部２４の撮像素子がＣＣＤ撮像素子である場合の、読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例を示す図である。なお、各パルス光は、同一のパルス幅（照明期間）で出力される。
【０１１１】
たとえば、図１３の（１）のパルス光Ｌｄ６について照明時画素信号を生成する場合について説明する。パルス光Ｌｄ６の照明期間ＴＬｄ６は、各画素信号の読み出しタイミングとは重複していない。この場合には、いずれの水平ラインＶについても、パルス光Ｌｄ６の照明タイミングの次の読み出しタイミングで読み出されたフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）のそれぞれに対応する水平ラインＶの画素信号に基づいて、照明時画素信号を生成する。ただし、このフレーム（Ｎ−１）の露光期間には、パルス光Ｌｄ６の照明期間ＴＬｄ６に加えて、パルス光Ｌｄ４の一部の期間と、パルス光Ｌｄ５，Ｌｄ７の全照明期間とが含まれる。このため、画像処理部４５は、実施の形態２の非重複ラインの場合と同様に、パルス光Ｌｄ６の照明期間と、その他のパルス光Ｌｄ４，Ｌｄ５，Ｌｄ７の照明期間との比率分を考慮した（８）式を用いて、照明時画素信号を演算する。
【０１１２】
【数８】
0005948512.tif 000009
【０１１３】
そして、図１３の（１）のパルス光Ｌｄ４について照明時画素信号を生成する場合について説明する。パルス光Ｌｄ４の照明期間ＴＬｄ４は、フレーム（Ｎ−２）における読み出しタイミングＲ（Ｎ−２）と重複している。この場合には、いずれの水平ラインＶについても、パルス光Ｌｄ４の照明タイミングとの重複タイミングで読み出されたフレーム（Ｎ−２）の画素信号Ｄ（Ｎ−２）における水平ラインＶの画素信号と、該重複タイミングの次のフレーム（Ｎ−１）の画素信号Ｄ（Ｎ−１）における水平ラインＶの画素信号とに基づいて、照明時画素信号を生成する。ただし、フレーム（Ｎ−２）の露光期間には、パルス光Ｌｄ４の照明期間ＴＬｄ４の前半に加えて、パルス光Ｌｄ１〜Ｌｄ３の照明期間も含まれている。また、フレーム（Ｎ−１）の露光期間には、パルス光Ｌｄ４の照明期間ＴＬｄ４の後半に加えて、パルス光Ｌｄ５〜Ｌｄ７の照明期間も含まれている。このため、画像処理部４５は、いずれの水平ラインＶの各画素ｘについても、パルス光Ｌｄ４の照明期間と、その他のパルス光の照明期間との比率分を考慮し、フレーム（Ｎ−２）、フレーム（Ｎ−１）の場合とでそれぞれ演算し、これらを合成する。具体的には、（９）式を用いて、重複ラインである水平ラインＶの各画素ｘの照明時画素信号を演算する。
【０１１４】
【数９】
0005948512.tif 000010
【０１１５】
なお、ローリングシャッタ方式の場合には、演算式の分数項（露光時間比率）は水平ラインごとに変動するが、グローバルシャッタ方式の場合には、演算式の分数項は固定値となる。また、撮像部２４にＣＣＤ撮像素子を採用した場合も、表示制御部４７は、実施の形態１，２と同様に、画像処理部４５が生成した照明時画素信号をもとに、表示用画像信号を生成する。
【０１１６】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、パルス光の出力幅（照明期間）を可変としたＰＷＭ方式を採用した場合について説明する。
【０１１７】
図１４は、実施の形態３にかかる内視鏡システム２０１の構成を模式的に示すブロック図である。図１４に示すように、内視鏡システム２０１は、図２に示す処理装置４に代えて、処理装置２０４を備える。また、内視鏡システム２０１は、図２に示す音声入力装置３、コード３１およびコネクタ３１１を削除した構成である。また、内視鏡２０２におけるユニバーサルコードの分岐コード２３４Ａの光源装置５側のコネクタ２３３Ａは、図２に示す分岐部５３および光検出部５４を削除した構成である。
【０１１８】
処理装置２０４の制御部４３Ａは、撮像部２４によって読み出された画素信号の明るさをもとに、光源５１から出力されるパルス光のパルス幅（照明期間）を制御する光源制御部４３１Ａを備える。光源制御部４３１Ａは、光源５１によるパルス光の照明タイミングを、撮像部２４によるフレーム周期に同期させた制御を行う。タイミング検出部４４Ａは、光源制御部４３１Ａによる光源制御信号と、撮像部２４から出力される画素信号に付される垂直同期信号および水平同期信号とをもとに、撮像部２４から読み出された画素信号のうち、照明時画素信号の生成対象の照明タイミングおよび照明期間と、読み出しタイミングとが重複したラインを重複ラインとして検出する。
【０１１９】
図１５の（１）は、光源５１から発せられるパルス光Ｌｅの照明タイミングを示すタイミングチャートの一例を示す図である。図１５の（２）は、撮像部２４の読出し部２４３による露光および読み出しタイミングを説明するタイミングチャートの一例を示す図である。図１５の例では、光源５１によるパルス光の照明周期と、撮像部２４におけるフレーム周期とは、同周期である。また、光源５１からのパルス光のパルス幅（照明期間）は、フレームＭの露光期間に照明されるパルス光Ｌｅ１とフレーム（Ｍ＋１）に照明されるパルス光Ｌｅ２とで異なる。図１５の例では、パルス光Ｌｅ１の照明期間ＴＬｅ１の方が、パルス光Ｌｅ２の照明期間ＴＬｅ２よりも長くなっている。また、フレームＭの画素信号ＤＭは、各水平ラインが順次露光されるとともに、期間ＡＭにおいて先頭の水平ラインから順に画素信号が読み出されることによって矢印ＹＭのように生成される。フレーム（Ｍ＋１）の画素信号Ｄ（Ｍ＋１）は、各水平ラインが順次露光されるとともに、期間ＡＭ＋１において先頭の水平ラインから順に画素信号が読み出されることによって矢印ＹＭ＋１のように生成される。図１５の右領域に示すように、フレーム（Ｍ＋１）の画素信号Ｄ（Ｍ＋１）の垂直方向の濃淡は、パルス光Ｌｅ２で露光された上部領域は明るくなり、パルス光Ｌｅ２の照明期間ＴＬｅ２とフレーム（Ｍ＋１）の読み出しタイミングとが重複する領域では次第に暗くなり（グラデーション）、パルス光Ｌｅ２での露光に対応する画素信号がフレームＭにおいて既に読み出された下部の領域では暗くなる。
【０１２０】
そこで、処理装置２０４では、パルス幅が異なる各パルス光に対応する照明時画素信号を生成するために、まず、実施の形態１，２と同様に、タイミング検出部４４Ａが、光源５１によるパルス光の照明タイミングおよび照明期間と、読出し部２４３による受光部２４２の各水平ラインの読み出しタイミングとを検出する。タイミング検出部４４Ａは、読出し部２４３から読み出された画素信号のうち、照明時画素信号の生成対象の照明期間に読み出しタイミングが重複した水平ラインを重複ラインとして検出する。
【０１２１】
次に、画像処理部４５による照明時画素信号の生成処理について説明する。図１６Ａは、実施の形態３における撮像部２４、処理装置２０４の各構成部の処理状態を示すタイミングチャートである。図１６Ａの（１）は、撮像部２４を構成するＣＭＯＳ撮像素子における垂直同期信号の出力を示すタイミングチャートであり、図１６のＡ（２）は、ＣＭＯＳ撮像素子の読出し部２４３からのデータ出力を示すタイミングチャートであり、図１６Ａの（３）は、ＣＭＯＳ撮像素子の露光状態を示すタイミングチャートであり、図１６Ａの（４）は、光源５１から発せられるパルス光（ＰＷＭ）の照明タイミングを示すタイミングチャートの一例を示す図である。図１６Ａの（５）は、メモリ４６に入力されるフレーム単位の画素信号について示すタイミングチャートである。図１６Ａの（６）は、画像処理部４５によって生成された照明時画素信号を示すタイミングチャートである。また、図１６Ｂは、画像処理部４５によって生成されたパルス光（ＰＷＭ２）に対応する照明時画素信号（ＧＰＷＭ２）のイメージを説明する模式図である。また、各パルス光（ＰＷＭ１，ＰＷＭ２）のパルス信号は、それぞれ対応する垂直信号の立ち上がりから期間Ｔｅで立ち上がる。
【０１２２】
図１６Ａの（４）のパルス光（ＰＷＭ２）で受光部２４２の全ての画素が露光された場合の画素信号に相当する照明時画素信号（ＧＰＷＭ２）を画像処理部４５が生成する場合を例に説明する。図１６Ａでは、水平ラインＶ（Ｖは整数。Ｖ=１，…，ｅ，…，ｈ…，ｆ，…，ｉ，…，ｇ，…，ｊ）のうち、非重複ラインは、水平ライン１から水平ラインｅ、水平ライン（ｆ＋１）から最終の水平ラインｊである。また、重複ラインは、水平ライン（ｅ＋１）から水平ラインｆまでである。
【０１２３】
まず、非重複ラインのうち水平ライン１〜ｅに対する照明時画素信号の生成について説明する。水平ライン１〜ｅについては、照明時画素信号の生成対象であるパルス光ＰＷＭ２の照明期間Ｔ６の全てが、フレーム（Ｍ＋１）の各水平ライン１〜ｅの露光期間に含まれている。また、水平ライン１〜ｅについては、他のパルス光がこのフレーム（Ｍ＋１）の露光期間に照明されない。このため、画像処理部４５は、水平ライン１〜ｅにおけるパルス光ＰＷＭ２の照明時画素信号として、該パルス光ＰＷＭ２の照明タイミングの次の読み出しタイミングで読み出されたフレーム（Ｍ＋１）の画素信号Ｄ（Ｍ＋１）の水平ライン１〜ｅの各画素のデータをそのまま出力する（図１６Ｂの領域Ａ参照）。また、非重複ラインのうち水平ライン（ｇ＋１）〜ｊについても、パルス光（ＰＷＭ２）の照明期間Ｔ６の全てが、フレームＭの各水平ライン（ｇ＋１）〜ｊの露光期間に含まれており、他のパルス光もこのフレームＭの露光期間に照明されない。このため、画像処理部４５は、水平ライン（ｇ＋１）〜ｊにおけるパルス光ＰＷＭ２の照明時画素信号として、該パルス光ＰＷＭ２の照明タイミングの次の読み出しタイミングで読み出されたフレームＭの画素信号ＤＭの水平ライン（ｇ＋１）〜ｊの各画素のデータをそのまま出力する（図１６Ｂの領域Ｄ参照）。
【０１２４】
続いて、非重複ラインのうちの水平ラインｉ（ｆ＋１≦ｉ≦ｇ）に対する照明時画素信号の生成について説明する。水平ラインｉについては、照明時画素信号の生成対象であるパルス光ＰＷＭ２の照明期間Ｔ６に加えて、その前に照明されたパルス光ＰＷＭ１の一部の照明期間Ｔ５が、フレームＭの水平ラインｉの露光期間に含まれている。画像処理部４５は、水平ラインｉの各画素ｘについては、パルス光ＰＷＭ２の照明タイミングの次の読み出しタイミングで読み出されたフレームＭの画素信号ＤＭのうちの水平ラインｉの画素信号に対し、パルス光ＰＷＭ２の照明期間Ｔ６と、その前に照明されたパルス光（ＰＷＭ１）の一部の照明期間Ｔ５との比率分を考慮した（１０）式を用いて、照明時画素信号を演算する。すなわち、水平ラインｉ（ｆ＋１≦ｉ≦ｇ）に対応する図１６Ｂの領域Ｃは、画素信号ＤＭに対してゲイン補正をした信号で構成される。
【０１２５】
【数１０】
0005948512.tif 000011
【０１２６】
次に、重複ラインである水平ラインｈ（ｅ＋１≦ｈ≦ｆ）に対する照明時画素信号の生成について説明する。画像処理部４５は、水平ラインｈについては、パルス光ＰＷＭ２の照明タイミングとの重複タイミングで読み出されたフレームＭの画素信号ＤＭにおける水平ラインｈの画素信号と、該重複タイミングの次のフレーム（Ｍ＋１）の画素信号Ｄ（Ｍ＋１）における水平ラインｈの画素信号とに基づいて、照明時画素信号を生成する。ただし、フレームＭの水平ラインｈの露光期間には、パルス光（ＰＷＭ２）の照明期間Ｔ６の前半期間Ｔ２に加えて、その前に照明されたパルス光（ＰＷＭ１）の照明期間の後半期間Ｔ１も含まれている。また、フレーム（Ｍ＋１）の水平ラインｈの露光期間には、パルス光ＰＷＭ２の照明期間Ｔ６の後半期間Ｔ３に加えて、その次に照明されたパルス光ＰＷＭ３の照明期間の前半期間Ｔ４も含まれている。
【０１２７】
このため、画像処理部４５は、水平ラインｈの各画素ｘについては、パルス光ＰＷＭ２の照明期間の前半期間Ｔ２と、その前のパルス光ＰＷＭ１の照明期間の後半期間Ｔ１との比率分を考慮して、フレームＭにおけるパルス光ＰＷＭ２のみを受光した場合の水平ラインｈの画素信号を演算する。そして、画像処理部４５は、パルス光ＰＷＭ２の照明期間の後半期間Ｔ３と、その次のパルス光ＰＷＭ３の照明期間の前半期間Ｔ４との比率分を考慮して、フレーム（Ｍ＋１）におけるパルス光ＰＷＭ２のみを受光した場合の水平ラインｈの画素信号を演算する。画像処理部４５は、フレームＭにおけるパルス光ＰＷＭ２のみを受光した場合の水平ラインｈの画素信号と、フレーム（Ｍ＋１）におけるパルス光ＰＷＭ２のみを受光した場合の水平ラインｈの画素信号とを合成することによって、水平ラインｈの各画素ｘの照明時画素信号を演算する。具体的には、（１１）式を用いて、重複ラインである水平ラインｈの各画素ｘの照明時画素信号を演算する。したがって、水平ラインｈ（ｅ＋１≦ｈ≦ｆ）に対応する図１６Ｂの領域Ｂは、画素信号ＤＭと画素信号Ｄ（Ｍ＋１）との合成信号で構成される。
【０１２８】
【数１１】
0005948512.tif 000012
【０１２９】
この実施の形態３のように、ＰＷＭ方式を用いて光源から発せられるパルス光の照明期間を可変とした場合も、画素ごとに、重複ラインまたは非重複ラインに位置するかとともに、照明時画素信号の生成対象のパルス光の照明期間と、該ラインの露光期間に含まれる他のパルス光の照明期間との比率分を考慮して、照明時画素信号を演算すればよい。なお、実施の形態３においても、表示制御部４７は、実施の形態１，２と同様に、画像処理部４５が生成した照明時画素信号をもとに、表示用画像信号を生成すればよい。
【０１３０】
また、読出し部２４３は、受光部２４２の露光制御および読み出し制御を行うことができれば足りるため、必ずしも撮像部２４に読出し部２４３を設ける必要はなく、処理装置４，２０４の画像処理部４５の前段に読出し部２４３を設けてもよい。
【０１３１】
また、本実施の形態では、光源部５１から発せられたパルス光の光路上に分岐部５３を設け、分岐部５３が分岐した光を受信できる位置に光検出部５４を設ければ足りる。たとえば、図１７に例示するように、ユニバーサルコード２３Ａのコネクタ２３３Ａと、光源装置５のコネクタ５５とを接続するアダプタ７に、分岐部５３と光検出部５４とを設けてもよい。
【０１３２】
図１７に示すように、アダプタ７は、コネクタ７１、コネクタ７２、ライトガイドケーブル７３、ライトガイドケーブル７３のパルス光Ｌの伝搬経路上に設けられた分岐部５３、光検出部５４、パルス信号用コード７４、および、コネクタ７５を備える。コネクタ７１は、光源装置５のコネクタ５５に接続する。コネクタ７２は、ユニバーサルコード２３Ａのコネクタ２２３Ａに接続する。ライトガイドケーブル７３は、光源部５１のパルス光Ｌをユニバーサルコード２３Ａのライトガイドケーブル２３５に伝搬する。パルス信号用コード７４は、光検出部５４が変換したパルス信号Ｅｐを処理装置４Ｂに伝送する。コネクタ７５は、パルス信号用コード７４の端部に設けられ、処理装置４Ｂのコネクタ４８Ｂに接続する。なお、図１７の処理装置４Ｂには、コネクタ４８Ａについても示す。このコネクタ４８Ａには、画像信号Ｅｇの伝送用ケーブルを有する分岐コード２３１Ａ端部のコネクタ２３２Ａが接続する。
【０１３３】
また、図１８に示すように、処理装置４Ｃ、光源装置５と、ユニバーサルコード２３Ｂの端部の一体型コネクタ２３３Ｂとを、一体型のアダプタ７Ｂで接続する構成の場合には、この一帯型のアダプタ７Ｂに分岐部５３および光検出部５４を設ければよい。一体型のアダプタ７Ｂは、本体部に、分岐部５３および光検出部５４に加え、光源装置５のコネクタ５５と接続するコネクタ７１と、処理装置４Ｃの一体型コネクタ４８と接続する一体型コネクタ７６と、ユニバーサルコード２３Ｂ端部の一体型コネクタ２３３Ｂと接続する一体型コネクタ７２Ｂとを有する。光源装置５からパルス光を発光させる場合には、図１７または図１８に示すアダプタ７，７Ｂを選択し、光源装置５からパルス光以外の光を発光させる場合には、分岐部５３および光検出部５４を省いたアダプタを選択することによって、パルス光以外の光の発光時における分岐部５３経由による光量減衰を防ぐ。なお、図１７および図１８に示す処理装置４Ｂ，４Ｃは、処理装置４と同様の構成を有する。また、図１７および図１８は、光源装置５については、要部のみを示している。
【０１３４】
また、本実施の形態にかかる画像処理部４５、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【符号の説明】
【０１３５】
１，２０１  内視鏡システム
２，２０２  内視鏡
３  音声入力装置
４，２０４  処理装置
５  光源装置
６  表示装置
７，７Ｂ  アダプタ
２１  挿入部
２２  操作部
２３，２３Ａ，２３Ｂ  ユニバーサルコード
２４  撮像部
３１  コード
４１  入力部
４２  振動周波数検出部
４３，４３Ａ  制御部
４４，４４Ａ  タイミング検出部
４５  画像処理部
４６  メモリ
４７  表示制御部
５１  光源
５２  光源ドライバ
５３  分岐部
５４  光検出部
６１  映像ケーブル
７１，７２，７５，２３２，２３３，２３３Ａ，３１１  コネクタ
７２Ｂ，７６，２３３Ｂ  一体型コネクタ
７３  ライトガイドケーブル
７４  パルス信号用コード
２１１ａ  照明窓
２１１  先端部
２１２  湾曲部
２１３  可撓管部
２１４  開口部
２２１  湾曲ノブ
２２２  処置具挿入部
２２３  スイッチ部
２３１，２３１Ａ，２３４，２３４Ａ  分岐コード
２４１  光学系
２４２  受光部
２４３  読出し部
【図１】
0005948512.tif 000013
【図２】
0005948512.tif 000014
【図３】
0005948512.tif 000015
【図４】
0005948512.tif 000016
【図５】
0005948512.tif 000017
【図６】
0005948512.tif 000018
【図７】
0005948512.tif 000019
【図８】
0005948512.tif 000020
【図９】
0005948512.tif 000021
【図１０】
0005948512.tif 000022
【図１１】
0005948512.tif 000023
【図１２】
0005948512.tif 000024
【図１３】
0005948512.tif 000025
【図１４】
0005948512.tif 000026
【図１５】
0005948512.tif 000027
【図１６Ａ】
0005948512.tif 000028
【図１６Ｂ】
0005948512.tif 000029
【図１７】
0005948512.tif 000030
【図１８】
0005948512.tif 000031