(57)【特許請求の範囲】
【請求項１】
被写体を撮像して、同一画素配置で異なる色成分に対応した情報を有する複数の画像データを生成する撮像部と、
前記撮像部の動作モードを設定する動作モード設定部と、
前記動作モードに応じて前記複数の色成分の画像データのそれぞれに対して間引き率を設定する間引き率設定部と、
前記間引き率に応じて前記撮像部で生成された前記複数の色成分の画像データのそれぞれに対して間引き処理を行う間引き処理部と、
前記複数の色成分の画像データのそれぞれを別個に伝送するための複数の伝送チャネルを有し、前記間引き率の大きい色成分の画像データの伝送に用いられる伝送チャネルを用いて前記間引き率の小さい色成分の画像データの一部を伝送する伝送部と、
を具備する固体撮像装置。
【請求項２】
前記被写体を白色光又は特殊光で照明する照明部をさらに具備し、
前記撮像部の動作モードは、前記白色光で照明された前記被写体を撮像する白色光撮像モードと前記特殊光で照明された前記被写体を撮像する特殊光撮像モードとを含み、
前記間引き率設定部は、前記動作モードが前記特殊光撮像モードである場合には、前記特殊光に用いられない光に対応した色成分の画像データの前記間引き率を、前記特殊光に用いられる光に対応した色成分の画像データの前記間引き率に対して大きくする、
請求項１に記載の固体撮像装置。
【請求項３】
前記複数の画像データから表示画像データを生成する画像処理部と、
前記表示画像データに基づいて前記被写体に係る画像をインターレース方式で表示する表示部と、
をさらに具備し、
前記間引き率設定部は、前記インターレース方式の表示フィールドに対応した画像データを残すように前記間引き率を設定する、
請求項１に記載の固体撮像装置。
【請求項４】
前記複数の画像データから表示画像データ又は記録画像データを生成する画像処理部をさらに具備し、
前記間引き率設定部は、前記表示画像データ又は記録画像データのアスペクト比に応じて前記間引き率を設定する、
請求項１に記載の固体撮像装置。
【請求項５】
前記複数の画像データから表示画像データ又は記録画像データを生成し、生成した表示画像データ又は記録画像データに対して電子ズーム処理を施す画像処理部をさらに具備し、
前記間引き率設定部は、前記電子ズーム処理の倍率に応じて前記間引き率を設定する、
請求項１に記載の固体撮像装置。
【請求項６】
前記被写体の明るさを検知する明るさ検知部をさらに具備し、
前記間引き率設定部は、前記撮像部におけるフレームレートと前記明るさ検知部で検知された前記被写体の明るさとに基づいて前記間引き率を設定する、
請求項１に記載の固体撮像装置。
【請求項７】
撮像部によって被写体を撮像して、同一画素配置で異なる色成分に対応した情報を有する複数の画像データを生成することと、
前記撮像部の動作モードを設定することと、
前記動作モードに応じて前記複数の色成分の画像データのそれぞれに対して間引き率を設定することと、
前記間引き率に応じて前記撮像部で生成された前記複数の色成分の画像データのそれぞれに対して間引き処理を行うことと、
前記複数の色成分の画像データのそれぞれを別個に伝送するための複数の伝送チャネルのうち、前記間引き率の大きい色成分の画像データの伝送に用いられる伝送チャネルを用いて前記間引き率の小さい色成分の画像データの一部を画像処理部に伝送することと、
を具備する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置及びそれを用いた撮像方法に関する。
【背景技術】
【０００２】
例えば多板撮像素子のような、同一画素配置で異なる色成分に対応した情報を有する複数の画像データを生成する撮像素子を有した固体撮像装置が知られている。このような撮像素子は、単板の撮像素子に比べてデータ量が増大し易い。したがって、例えばデータの伝送帯域の削減を目的として、撮像素子で得られた画像データに対する間引き処理が行われることが多い。例えば、日本国特開２０１２−１２９９２７号公報の撮像装置は、動画モードの場合に多板撮像素子で得られた画像データの一部を間引いている。
【発明の概要】
【０００３】
日本国特開２０１２−１２９９２７号公報等の固体撮像装置では、色成分の異なる複数の画像データを一律の間引き率に従って間引いている。ここで、間引き処理では画質劣化が生じるので、一律の間引き率ではなく必要最低限の間引き処理が行われることが望ましい。
【０００４】
本発明は、前記の事情に鑑みてなされたもので、画質劣化の程度を抑えつつ、必要な間引き処理を行うことが可能な固体撮像装置及びそれを用いた撮像方法を提供することを目的とする。
【０００５】
前記の目的を達成するために、本発明の第１の態様の固体撮像装置は、被写体を撮像して、同一画素配置で異なる色成分に対応した情報を有する複数の画像データを生成する撮像部と、前記撮像部の動作モードを設定する動作モード設定部と、前記動作モードに応じて前記複数の色成分の画像データのそれぞれに対して間引き率を設定する間引き率設定部と、前記間引き率に応じて前記撮像部で生成された前記複数の色成分の画像データのそれぞれに対して間引き処理を行う間引き処理部と、前記複数の色成分の画像データのそれぞれを別個に伝送するための複数の伝送チャネルを有し、前記間引き率の大きい色成分の画像データの伝送に用いられる伝送チャネルを用いて前記間引き率の小さい色成分の画像データの一部を伝送する伝送部とを具備する。
【０００６】
前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部によって被写体を撮像して、同一画素配置で異なる色成分に対応した情報を有する複数の画像データを生成することと、前記撮像部の動作モードを設定することと、前記動作モードに応じて前記複数の色成分の画像データのそれぞれに対して間引き率を設定することと、前記間引き率に応じて前記撮像部で生成された前記複数の色成分の画像データのそれぞれに対して間引き処理を行うことと、前記複数の色成分の画像データのそれぞれを別個に伝送するための複数の伝送チャネルのうち、前記間引き率の大きい色成分の画像データの伝送に用いられる伝送チャネルを用いて前記間引き率の小さい色成分の画像データの一部を画像処理部に伝送することとを具備する。
【０００７】
本発明によれば、画質劣化の程度を抑えつつ、必要な間引き処理を行うことが可能な固体撮像装置及びそれを用いた撮像方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一実施形態の固体撮像装置の適用例としての内視鏡システムの全体の概略の構成を示す図である。
【図２】図２は、内視鏡システムの構成を示すブロック図である。
【図３】図３は、一例の白色光の波長特性を示す図である。
【図４】図４は、一例の特殊光の波長特性を示す図である。
【図５】図５は、白色光観察モードの場合の間引き処理の例を示す図である。
【図６】図６は、特殊光観察モードの場合の間引き処理の例を示す図である。
【図７】図７は、内視鏡システムの表示処理又は動画記録処理の動作を示すフローチャートである。
【図８】図８は、白色光観察モードにおける内視鏡システムの表示処理又は動画記録処理の動作を示すタイミングチャートである。
【図９】図９は、特殊光観察モードにおける内視鏡システムの表示処理又は動画記録処理の動作を示すタイミングチャートである。
【図１０】図１０は、白色光観察モードの場合の内視鏡システムのインターレース表示処理又はインターレース記録処理の動作を示すタイミングチャートである。
【図１１】図１１は、アスペクト比の変更の一例を示す図である。
【図１２】図１２は、電子ズーム処理の一例を示す図である。
【図１３】図１３は、変形例６の撮像部の構成を示す図である。
【図１４】図１４は、変形例６の内視鏡システムの表示処理又は動画記録処理の動作を示すフローチャートである。
【図１５】図１５は、明るさと、撮像フレームレートと、間引き率との関係を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態の固
体撮像装置の適用例としての内視鏡システムの全体の概略の構成を示す図である。図２は、内視鏡システム１の構成を示すブロック図である。ここで、本実施形態に係る技術は、内視鏡システム以外の各種の固体撮像装置についても適用可能である。
【００１０】
内視鏡システム１は、内視鏡先端部１０と、カメラヘッド２０と、表示装置３０と、光源装置４０と、制御装置５０とを有している。
【００１１】
内視鏡先端部１０は、光学系１０２を有している。光学系１０２は、結像光学系、射出光学系といった各種の光学系を含む。結像光学系は、被検体からの光（被検体光）をカメラヘッド２０に設けられた撮像部２２２の撮像素子の撮像面上に結像させるための光学系である。結像光学系は、変倍光学系として構成されていても良い。射出光学系は、光源装置４０から内視鏡先端部１０に入射される照明光を被検体に向けて射出するための光学系である。
【００１２】
カメラヘッド２０は、被写体としての被検体の内部を撮像して被検体の内部の画像データを生成する。このカメラヘッド２０は、ヘッド部と２２と、ケーブル２４と、コネクタ部２６とを有している。
【００１３】
ヘッド部２２は、撮像部２２２を有している。撮像部２２２は、光学系１０２の結像光学系を介して撮像面上に結像した光を電気信号（画像データ）に変換して出力する。この撮像部２２２は、撮像素子２２２１と、画像信号処理回路２２２２と、撮像制御回路２２２３とを有している。
【００１４】
撮像素子２２２１は、入射した光を電気信号に変換するための画素を有している。画素は、例えば２次元状に配列されている。それぞれの画素は、例えばフォトダイオードであり、入射した光の量に応じたアナログの電気信号（画像信号）を生成する。
【００１５】
ここで、本実施形態における撮像素子２２２１は、同一の画素配置を有して異なる色成分の情報を有する複数の画像信号を生成するように構成されている。例えば、図２の撮像素子２２２１は、被検体からの赤色成分の光に対応した画像信号を生成する画素を有する画素領域２２２１Ｒと、被検体からの緑色成分の光に対応した画像信号を生成する画素を有する画素領域２２２１Ｇと、被検体からの緑色成分の光に対応した画像信号を生成する画素を有する画素領域２２２１Ｂとを有する。これら画素領域２２２１Ｒと、画素領域２２２１Ｇと、画素領域２２２１Ｂとは同一画素構成を有している。
【００１６】
このような構成の撮像素子２２２１としては、例えば多板撮像素子及び多層撮像素子が考えられる。多板式撮像素子は、被検体からの異なる色成分の光を受光する複数の撮像素子から構成されている。多板式撮像素子は、例えば、赤成分の光を受光する画素領域２２２１Ｒのみを有する撮像素子と、緑成分の光を受光する画素領域２２２１Ｇのみを有する撮像素子と、青成分の光を受光する画素領域２２２１Ｂのみを有する撮像素子とによって構成されている。撮像素子２２２１が多板式撮像素子である場合、光学系１０２には、色分解光学系が設けられている。色分解光学系は、多板式撮像素子を構成しているそれぞれの撮像素子に被検体からの対応する色成分の光が入射されるよう、被検体からの光を色分解する光学系である。色分解光学系には、例えばダイクロイックプリズムが用いられる。そして、色分解された光の射出部にそれぞれの色成分に対応した撮像素子が配置される。また、多層撮像素子は、被検体からの異なる色成分の光を受光する複数の撮像層を積層することによって構成されている。多層撮像素子は、例えば、赤成分の光を受光して画素領域２２２１Ｒの層と、緑成分の光を受光して赤成分の光を透過させる画素領域２２２１Ｇの層と、青成分の光を受光して赤成分及び緑成分の光を透過させる画素領域２２２１Ｂの層とを積層することによって構成されている。撮像素子２２２１が多層式撮像素子である場合、光学系１０２には、色分解光学系が設けられている必要はない。
【００１７】
また、撮像素子２２２１のそれぞれの画素領域は、画像信号を出力するための複数（図２ではチャネルｃｈ１、チャネルｃｈ２の２つ）のチャネルを有している。画素領域で生成された画像信号は、所定量ずつ（例えば１ラインずつ）チャネルを介して読み出される。図２の例では、それぞれの画素領域で生成された画像信号は、２行ずつ読み出される。それぞれの画素領域に２つずつのチャネルを持たせることにより、伝送帯域は、１／２に削減される。なお、チャネルの数は、２つに限るものではない。
【００１８】
画像信号処理回路２２２２は、画素領域２２２１Ｒのｃｈ１、ｃｈ２を介して入力される画像信号に対応した画像信号処理回路２２２２Ｒと、画素領域２２２１Ｇのｃｈ１、ｃｈ２を介して入力される画像信号に対応した画像信号処理回路２２２２Ｇと、画素領域２２２１Ｂのｃｈ１、ｃｈ２を介して入力される画像信号に対応した画像信号処理回路２２２２Ｂとを有している。これらの画像信号処理回路２２２２Ｒ、２２２２Ｇ、２２２２Ｂは、撮像素子２２２１で生成された画像信号に対して信号処理を行う。例えば、画像信号処理回路２２２２Ｒ、２２２２Ｇ、２２２２Ｂは、対応するチャネルを介して入力された画像信号のそれぞれをデジタルの画像信号（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に変換する。また、例えば、画像信号処理回路２２２２Ｒ、２２２２Ｇ、２２２２Ｂは、画像データをシリアル画像データに変換（シリアライズ）する。このシリアル画像データは、例えば、Ｒ画像データ、Ｇ画像データ、又はＢ画像データのシリアルデータを含む、ＬＶＤＳ（Low Voltage Differential Signaling）方式の差動シリアルデータである。なお、以後の説明においては、Ｒ画像データに対応したシリアル画像データをシリアルＲ画像データ、Ｇ画像データに対応したシリアル画像データをシリアルＧ画像データ、Ｂ画像データに対応したシリアル画像データをシリアルＢ画像データという。
【００１９】
撮像制御回路２２２３は、動作モード設定部５１０１で設定された動作モードに従って、撮像素子２２２１の画素領域２２２１Ｒ、２２２１Ｇ、２２２１Ｂの撮像と画像信号処理回路２２２２の信号処理とを同期動作させるための制御信号を、画素領域２２２１Ｒ、２２２１Ｇ、２２２１Ｂと画像信号処理回路２２２２Ｒ、２２２２Ｇ、２２２２Ｂとに入力する。この制御信号に従って、画素領域２２２１Ｒ、２２２１Ｇ、２２２１Ｂにおける撮像と画像信号の読み出しとが制御される。また、この制御信号をシリアル画像データに付加しておくことにより、制御装置５０においてシリアル画像データが復元される。
【００２０】
ケーブル２４は、カメラヘッド２０とコネクタ部２６とを接続している。このケーブル２４の内部には、画像信号処理回路２２２２Ｒ、２２２２Ｇ、２２２２Ｂにおいて生成されたシリアル画像データを伝送するための伝送ライン及び制御装置５０からの制御信号を伝送するための伝送ラインといった各種の伝送ラインが設けられている。
【００２１】
コネクタ部２６は、デシリアライザ２６１と、間引き処理回路２６２と、シリアライザ２６３と、コネクタ２６４とを有している。
【００２２】
デシリアライザ２６１は、画像信号処理回路２２２２Ｒに対応したデシリアライザ２６１Ｒと、画像信号処理回路２２２２Ｇに対応したデシリアライザ２６１Ｇと、画像信号処理回路２２２２Ｂに対応したデシリアライザ２６１Ｂとを有している。デシリアライザ２６１Ｒは、画像信号処理回路２２２２Ｒから伝送された２チャネル分のシリアルＲ画像データをパラレルＲ画像データに変換（デシリアライズ）する。デシリアライザ２６１Ｇは、画像信号処理回路２２２２Ｇから伝送された２チャネル分のシリアルＧ画像データをパラレルＧ画像データに変換する。デシリアライザ２６１Ｂは、画像信号処理回路２２２２Ｂから伝送された２チャネル分のシリアルＢ画像データをパラレルＢ画像データに変換する。
【００２３】
間引き処理回路２６２は、デシリアライザ２６１Ｒ、２６１Ｇ、２６１Ｂのそれぞれから伝送されたパラレルデータに対して間引き処理を行う。間引き処理回路２６２による間引き処理は、間引き率設定部５１０２によって設定される間引き率に基づいて、チャネル毎に入力される画像データのそれぞれに対して行われる。間引き処理は、例えば間引き率の値が大きくなるほど、多くの画素のデータを間引く処理である。例えば、間引き率が１／２であれば、出力データ量が１／２になるように間引き処理が行われる。実際の間引き処理は、例えば入力された画像データのうちの所定の列の画素のデータを間引くことにより行われる。例えば、間引き率が１／２であれば、入力された画像データの奇数列又は偶数列のデータを間引く処理が行われる。また、間引き率が１であれば、全ての画素のデータを間引く間引き処理が行われる。間引き率が０であれば、間引き処理は行われない。
【００２４】
ここで、間引き処理回路２６２は、Ｒ画像データ用の１つの出力端子と、Ｇ画像データ用の２つの出力端子と、Ｂ画像データ用の１つの出力端子とを有している。Ｇ画像データ用の出力端子だけが２つ設けられているのは、本実施形態ではＧ画像データは、間引き処理されないためである。すなわち、間引き処理されない２チャネル分のＧ画像データを伝送するため、Ｇ画像データ用の出力端子だけは２つ設けられている。Ｇ画像データに対しても間引き処理が行われる場合であればＧ画像データ用の出力端子も１つで良い。
【００２５】
シリアライザ２６３は、画像信号処理回路２２２２Ｒに対応したシリアライザ２６３Ｒと、画像信号処理回路２２２２Ｇに対応したシリアライザ２６３Ｇと、画像信号処理回路２２２２Ｂに対応したシリアライザ２６３Ｂとを有している。シリアライザ２６３Ｒは、間引き処理回路２６２から伝送されたパラレルＲ画像データをシリアルＲ画像データに変換（シリアライズ）する。シリアライザ２６３Ｇは、間引き処理回路２６２から伝送されたパラレルＧ画像データをシリアルＧ画像データに変換する。シリアライザ２６３Ｂは、間引き処理回路２６２から伝送されたパラレルＢ画像データをシリアルＢ画像データに変換する。
【００２６】
コネクタ２６４は、カメラヘッド２０を制御装置５０にデータ伝送可能に接続するためのコネクタである。ここで、本実施形態においては、コネクタ２６４は、シリアルＲ画像データを伝送するための伝送ラインに対応した１つのコネクタと、シリアルＧ画像データを伝送するための伝送ラインに対応した２つのコネクタと、シリアルＢ画像データを伝送するための伝送ラインに対応した１つのコネクタとを有している。
【００２７】
表示装置３０は、表示画像データに基づいて被検体の画像を表示する。表示装置３０は、例えば、液晶モニタである。表示装置３０の表示画面上に、タッチパネルが形成されていても良い。
【００２８】
光源装置４０は、ライトガイド４２を介して内視鏡先端部１０に接続されている。この光源装置４０は、例えば複数のＬＥＤ光源を有し、白色光又は特殊光を、ライトガイド４２を介して照射する。図３は、一例の白色光の波長特性を示している。図３に示すように、白色光は、可視波長域において波長に対してブロードな強度の特性を有する光である。
図４は、一例の特殊光の波長特性を示している。図４に示すように、特殊光は、特定の波長付近にピークを有するスペクトル光である。例えば、図４の例の特殊光は、４１５ｎｍ付近と５４０ｎｍ付近にピークを有するスペクトル光である。このような特殊光は、血管等の観察に用いられる。
【００２９】
制御装置５０は、コネクタ部２６のコネクタ２６４を介してカメラヘッド２０に対してデータ伝送可能に接続される。制御装置５０は、伝送部５０２と、画像処理回路５０４と、記録媒体５０６と、操作部５０８と、制御回路５１０とを有している。ここで、制御装置５０は、互いに絶縁された患者回路と２次回路とに分けられている。このような構成により、患者回路から２次回路への直接的な電気信号の流入及び２次回路から患者回路への直接的な電気信号の流入が起こらないようになっている。図２で示したブロックのうち、画像処理回路５０４と、記録媒体５０６と、操作部５０８と、制御回路５１０とは２次回路に含まれる。
【００３０】
伝送部５０２は、患者回路と２次回路との間のデータ伝送をする。この伝送部５０２は、例えばコネクタ２６４の数と同数のパルストランスによって構成されている。
【００３１】
画像処理回路５０４は、伝送部５０２から伝送されたシリアル画像データから画像データを復元し、復元した画像データに対して画像処理を行う。画像処理回路５０４は、画像処理として、例えばＲ画像データ、Ｇ画像データ、Ｂ画像データの画素配置を同じにするための補間処理を行う。補間処理は、例えば、間引き処理された画素のデータをその周辺の画素のデータを用いて補間する処理である。
【００３２】
また、画像処理回路５０４は、ガンマ補正処理等を施して表示画像データ又は記録画像データを生成する処理を行う。表示画像データは、表示装置３０に被検体の画像を表示させるために用いられる画像データである。記録画像データは、記録媒体５０６への記録用に用いられる画像データである。
【００３３】
さらに、画像処理回路５０４は、必要に応じて、表示画像データ又は記録画像データのアスペクト比を変更する処理、表示画像データ又は記録画像データに対する電子ズーム処理、表示画像データ又は記録画像データにおける周辺光量落ちの部分をマスクするマスク処理等も行う。
【００３４】
記録媒体５０６は、画像処理回路５０４によって得られた記録画像データを記録する。操作部５０８は、医師等のユーザが内視鏡システム１の制御装置５０に対して各種の操作を行うための操作部である。操作部５０８は、内視鏡システム１の動作モードを選択するための操作部、内視鏡システム１の電源をオン又はオフするための操作部等を含む。
【００３５】
制御回路５１０は、例えばＣＰＵやメモリを含む。この制御回路５１０は、制御装置５０の動作を含む内視鏡システム１の全体の動作を制御する。例えば、制御回路５１０は、撮像部２２２、表示装置３０、光源装置４０の動作を制御する。また、制御回路５１０は、画像処理回路５０４で生成された記録画像データを記録媒体５０６に記録させる。
【００３６】
また、制御回路５１０は、動作モード設定部５１０１と、間引き率設定部５１０２とを有している。動作モード設定部５１０１は、内視鏡システム１の動作モードを設定し、設定した動作モードの情報を撮像制御回路２２２３と光源装置４０とに入力する。本実施形態において、内視鏡システム１の動作モードは、白色光観察モードと特殊光観察モードとを含む。白色光観察モードは、被検体に対して白色光を照明して観察を行うための動作モードである。特殊光観察モードは、被検体に対して特殊光を照明して観察を行うための動作モードである。
【００３７】
間引き率設定部５１０２は、動作モード設定部５１０１で設定された動作モードに従って、間引き処理回路２６２において用いられる間引き率を設定する。間引き率は、表示画像データ又は記録画像データの画質に対する寄与の大きさに応じて決定される。また、間引き率設定部５１０２は、間引き処理回路２６２において間引き処理の対象にする画素の位置を設定する。
【００３８】
白色光観察モードでは、Ｒ成分、Ｇ成分、Ｂ成分をそれぞれ含む光が被検体に照射されるので、撮像により得られる画像データは、Ｒ、Ｇ、Ｂの何れの成分も含み得る。一方で、表示画像データ又は記録画像データの画質に対する寄与が最も大きいのは、Ｇ画像データである。このため、Ｇ画像データを間引きしてしまうと大きな画質劣化が生じる。したがって、白色光観察モードでは、Ｇ画像データに対する間引き処理を行わず、Ｒ画像データとＢ画像データに対する間引き処理のみを行う。間引き率設定部５１０２は、例えばＲ画像データとＢ画像データに対する間引き率を１／２に設定し、Ｇ画像データに対する間引き率を０に設定する。また、間引き率設定部５１０２は、Ｒ画像データについては間引きする画素を偶数列に設定し、Ｂ画像データについては間引きする画素の位置を奇数列に設定する。このような設定により、間引き処理回路２６２では、図５に示すように、Ｒ画像データの偶数列の画素のデータが間引かれるとともに、Ｂ画像データの奇数列の画素のデータが間引かれる。ここで、図５の例では、Ｒ画像データとＢ画像データとで間引きする列を異ならせている。これにより、補間処理の精度を向上させることが可能である。
【００３９】
また、特殊光観察モードでは、Ｇ、Ｂをそれぞれ含む光が被検体に照射されるので、撮像により得られる画像データは、Ｒ成分を殆ど含んでいないと考えられる。すなわち、表示画像データ又は記録画像データの画質に対するＲ画像データの寄与は非常に小さいと考えられる。一方で、表示画像データ又は記録画像データの画質に対するＧ画像データ及びＢ画像データの寄与は大きいと考えられる。したがって、特殊光観察モードでは、Ｇ画像データ及びＢ画像データに対する間引き処理を行わず、Ｒ画像データを全て間引きする間引き処理を行う。間引き率設定部５１０２は、例えば、Ｒ画像データに対する間引き率を１に設定し、Ｇ画像データ及びＢ画像データに対する間引き率を０に設定する。このような設定により、間引き処理回路２６２では、図６に示すように、Ｒ画像データの全画素のデータが間引かれる。
【００４０】
次に、本実施形態の固体撮像装置の一例としての内視鏡システム１の動作を説明する。図７は、内視鏡システム１の表示処理又は動画記録処理の動作を示すフローチャートである。図７の動作は、制御回路５１０によって制御される。また、図８及び図９は、図７の動作に従うタイミングチャートである。ここで、図８は、白色光観察モードにおけるタイミングチャートであり、図９は、特殊光観察モードにおけるタイミングチャートである。なお、図８及び図９は、上から、撮像制御回路２２２３に入力される制御信号ＶＤ、撮像、画素領域Ｒのｃｈ１の出力であるｃｈ１［Ｒ］、画素領域Ｒのｃｈ２の出力であるｃｈ２［Ｒ］、間引き処理回路２６２のＲ画像データ用の出力端子の出力である間引きｃｈ［Ｒ］、画素領域Ｇのｃｈ１の出力であるｃｈ１［Ｇ］、画素領域Ｇのｃｈ２の出力であるｃｈ２［Ｇ］、間引き処理回路２６２のＧ画像データ用の出力端子の出力である間引きｃｈ１［Ｇ］、間引きｃｈ２［Ｇ］、画素領域Ｂのｃｈ１の出力であるｃｈ１［Ｂ］、画素領域Ｂのｃｈ２の出力であるｃｈ２［Ｂ］、間引き処理回路２６２のＢ画像データ用の出力端子の出力である間引きｃｈ［Ｂ］、画像処理、表示（記録）のタイミングを示している。
【００４１】
図７の処理は、例えば、操作部５０８の操作によって内視鏡システム１の電源がオンされた場合に開始される。ステップＳ１０１において、制御回路５１０は、動作モード設定部５１０１によって内視鏡システム１の動作モードを設定する。動作モードは、基本的には、前回のステップＳ１０１の処理の際に設定された動作モードを引き継ぐ。そして、例えばユーザによる操作部５０８の操作があった場合には、動作モードは変更される。
【００４２】
ステップＳ１０２において、制御回路５１０は、間引き率設定部５１０２によって間引き率を設定する。間引き率設定部５１０２は、動作モードが白色光観察モードである場合には、Ｒ画像データとＢ画像データに対する間引き率を１／２に設定し、Ｇ画像データに対する間引き率を０に設定する。また、間引き率設定部５１０２は、Ｒ画像データについては間引きする画素を偶数列に設定し、Ｂ画像データについては間引きする画素を奇数列に設定する。一方、間引き率設定部５１０２は、動作モードが特殊光観察モードである場合には、Ｒ画像データの間引き率を１に、Ｇ画像データとＢ画像データの間引き率を０に設定する。
【００４３】
ステップＳ１０３において、制御回路５１０は、撮像部２２２による撮像が開始されるよう、撮像制御回路２２２３に対して制御信号を送る。この制御信号を受けて、撮像制御回路２２２３は、所定の撮像フレームレートで、撮像素子２２２１の画素領域２２２１Ｒ、２２２１Ｇ、２２２１Ｂのそれぞれによる撮像を行わせる。また、制御回路５１０は、撮像部２２２による撮像と同期した照明が行われるように、光源装置４０に制御信号を送る。この制御信号を受けて、光源装置４０は、動作モードに対応した照明光を照射する。撮像により生成された画像信号は、例えば画素行毎に読み出される。図８及び図９で示すように、各画素領域のｃｈ１からは奇数行（１行目、３行目、…）の画像信号Ｒ１、Ｒ３、…、画像信号Ｇ１、Ｇ３、…、画像信号Ｂ１、Ｂ３…が読み出され、ｃｈ２からは偶数行（２行目、４行目、…）の画像信号Ｒ２、Ｒ４、…、画像信号Ｇ２、Ｇ４、…、画像信号Ｂ２、Ｂ４…が読み出される。画像信号は、シリアル画像データに変換され、ケーブル２４を介して伝送される。そして、このシリアル画像データは、デシリアライザ２６１においてパラレル画像データに変換されて間引き処理回路２６２に入力される。
【００４４】
ステップＳ１０４において、間引き処理回路２６２は、間引き率に従って、入力された画像データに対して間引き処理をする。
【００４５】
白色光観察モードの場合、間引き処理回路２６２は、Ｒ画像データとＢ画像データのデータ量（画素数）をそれぞれ１／２にする間引き処理を行う。一方、間引き処理回路２６２は、Ｇ画像データについては間引き処理をしない。この結果、Ｒ画像データＲ１、Ｒ２、Ｒ３、Ｒ４、…から、偶数列の画素のデータが間引かれたＲ画像データＲ１’、Ｒ２’、Ｒ３’、Ｒ４’、…が生成される。同様に、Ｂ画像データＢ１、Ｂ２、Ｂ３、Ｂ４、…から、奇数列の画素のデータが間引かれたＢ画像データＢ１’、Ｂ２’、Ｂ３’、Ｂ４’、…が生成される。間引き処理により、Ｒ画像データとＢ画像データのデータ量は１／２になっているので、図８に示すように、１行分のＧ画像データの転送の間に２行分のＲ画像データとＢ画像データを転送することが可能である。これにより、Ｒ画像データ用の出力端子とＢ画像データ用の出力端子の数をそれぞれ１つずつとしても適切なデータ伝送が行われる。
【００４６】
特殊光観察モードの場合、間引き処理回路２６２は、Ｒ画像データをすべて間引く間引き処理を行う。一方、間引き処理回路２６２は、Ｇ画像データ及びＢ画像データについては間引き処理をしない。Ｂ画像データに対して間引き処理をしないので、１つの出力端子のみからＢ画像データの伝送をしてしまうと適切なデータ伝送が行えなくなる。このため、図９に示すように、Ｂ画像データの一部（例えばｃｈ２のＢ画像データ）をＲ画像データ用の出力端子から出力させる。これにより、Ｒ画像データ用の出力端子とＢ画像データ用の出力端子の数をそれぞれ１つずつとしても適切なデータ伝送が行われる。
【００４７】
ステップＳ１０５において、画像処理回路５０４は、Ｒ画像データ、Ｇ画像データ、Ｂ画像データの画素配置を同じにするための補間処理を行う。さらに画像処理回路５０４は、表示又は記録のために必要な画像処理を施して表示画像データ又は記録画像データＬ１、Ｌ２、Ｌ３、…を生成する。
【００４８】
ステップＳ１０６において、制御回路５１０は、画像処理回路５０４において生成された表示画像データを表示装置３０に入力する。表示装置３０は、入力された表示画像データＬ１、Ｌ２、Ｌ３、…に基づいて被検体に係る画像を表示する。このようにして、表示装置３０には、被検体の体内の画像がリアルタイム表示される。また、制御回路５１０は、画像処理回路５０４において生成された記録画像データＬ１、Ｌ２、Ｌ３、…を記録媒体５０６に記録させる。このようにして１フレーム分の表示処理又は動画処理は終了する。
【００４９】
ステップＳ１０７において、制御回路５１０は、内視鏡システム１の動作を終了させるか否かを判定する。例えば、内視鏡システム１の電源がオフされた場合に内視鏡システム１の動作を終了させると判定される。ステップＳ１０７において、内視鏡システム１の動作を終了させないと判定された場合、処理はステップＳ１０１に戻る。ステップＳ１０７において、内視鏡システム１の動作を終了させると判定された場合、図７の処理は終了される。
【００５０】
以上説明したように本実施形態によれば、同一の画素配置を有して異なる色成分の情報を有する複数の画像信号を生成するように構成された撮像素子を備える固体撮像装置の動作モードに応じて各色成分の画像データの間引き率を設定し、この間引き率に従って画像データを色成分毎に間引き処理している。これにより、表示画像データ又は記録画像データの画質劣化を抑制しつつ、画像データのデータ量を削減することができる。したがって、コネクタの数を減らした場合であってもデータの転送が可能である。また、パルストランスのような伝送帯域の低い伝送部であっても容易にデータを伝送することが可能である。
【００５１】
以下、本実施形態の変形例を説明する。
【００５２】
［変形例１］
前述した実施形態では、白色光観察モードと特殊光観察モードにおける間引き率の設定を示しているが、他の動作モードにおいても本実施形態の技術は適用され得る。例えば、被検体に赤外光を照射した状態で観察が行われる赤外光観察モードでは、表示画像データ又は記録画像データの画質にＲ画像データが最も大きく寄与する。したがって、赤外光観察モードでは、Ｂ画像データの間引き率をＲ画像データ及びＧ画像に比して大きくするような設定がなされる。
【００５３】
［変形例２］
前述した実施形態では、特殊光観察モードのＲ画像データについては、すべての画素を間引く処理を行っている。このような場合には、すべての画素のデータを間引く代わりに、画像信号の読み出し自体を行わないようにしても良い。
【００５４】
［変形例３］
前述した実施形態では、間引き処理回路２６２は、ｃｈ１の画像データとｃｈ２の画像データの両方に対して同じ間引き率の間引き処理を行っている。これに対し、ｃｈ１の画像データとｃｈ２の画像データとで異なる間引き率の間引き処理を行うようにしても良い。例えば、インターレース表示に対応した表示装置３０に表示を行う場合や、インターレース記録をする場合には、対応するフィールドの画像データが残るようにｃｈ１とｃｈ２とで異なる間引き処理を行っても良い。
【００５５】
図１０は、白色光観察モードの場合の内視鏡システム１のインターレース表示処理又はインターレース記録処理の動作を示すタイミングチャートである。図１０は、１フレームを２つのフィールドに分けて表示又は記録をする場合のタイミングチャートを示している。インターレース表示やインターレース記録の指示は、例えば操作部５０８の操作によって指示される。なお、フレームの分割数は２に限るものではない。
【００５６】
変形例３では、間引き率設定部５１０２は、奇数フィールド（フィールド１）の場合には、Ｒ画像データ、Ｇ画像データ、Ｂ画像データの間引き率を１／２に、また、間引きする行を偶数行に設定する。一方、間引き率設定部５１０２は、偶数フィールド（フィールド２）の場合には、Ｒ画像データ、Ｇ画像データ、Ｂ画像データの間引き率を１／２に、また、間引きする行を奇数行に設定する。このような設定に従って、図１０に示すように、奇数フィールド（フィールド１）では、間引き処理回路２６２は、偶数行のＲ画像データ（Ｒ２、Ｒ４、…）、Ｇ画像データ（Ｇ２、Ｇ４、…）、Ｂ画像データ（Ｂ２、Ｂ４、…）を間引き、偶数フィールド（フィールド２）では、奇数行のＲ画像データ（Ｒ１、Ｒ３、…）、Ｇ画像データ（Ｇ１、Ｇ３、…）、Ｂ画像データ（Ｂ１、Ｂ３、…）を間引く。このため、フィールド１では、表示画像データＬ１、Ｌ３、…に基づいて被検体に係る画像が表示されるか、記録画像データＬ１、Ｌ３、…が記録媒体５０６に記録される。また、フィールド２では、表示画像データＬ２、Ｌ４、…に基づいて被検体に係る画像が表示されるか、記録画像データＬ２、Ｌ４、…が記録媒体５０６に記録される。
【００５７】
このように変形例３では、間引き処理を表示や記録に合わせることにより効率良く間引き処理を行うことが可能である。なお、図１０は、白色光観察モードの例である。特殊光観察モードの場合には、奇数フィールドと偶数フィールドの両方でＲ画像データのすべての画素のデータが間引かれる。
【００５８】
［変形例４］
前述したように、画像処理回路５０４では、必要に応じて画像データに対するアスペクト比の変更処理が行われ得る。例えば、撮像素子２２２１を構成する画素の縦横比が１６：９であり、表示装置３０の縦横比が４：３である場合、表示画像データのアスペクト比を１６：９から４：３に変更する必要が生じる。図１１は、アスペクト比の変更の一例を示している。一例のアスペクト比の変更では、１６：９の表示画像データＡ１から４：３の表示画像データＡ２を切り出す処理が行われる。このとき、表示画像データＡ２以外の部分は不要なデータとして破棄される。したがって、この不要部分のデータが間引き処理回路２６２によって間引かれるように間引き率設定部５１０２において設定しておくことで、画像処理回路５０４で改めてアスペクト比の変更処理をする必要がなくなる。
【００５９】
［変形例５］
前述したように、画像処理回路５０４では、必要に応じて画像データに対する電子ズーム処理が行われ得る。図１２は、電子ズーム処理の一例を示している。一例の電子ズーム処理では、表示画像データ又は記録画像データの一部が電子ズームの倍率に応じて切り出され、切り出された表示画像データ又は記録画像データは所望のサイズに拡大される。例えば、倍率１．２のときには、表示画像データ又は記録画像データＡ５が切り出される。また、倍率１．６のときには、表示画像データ又は記録画像データＡ５よりも狭い範囲の表示画像データ又は記録画像データＡ４が切り出される。さらに、倍率２．０のときには、表示画像データ又は記録画像データＡ４よりも狭い範囲の表示画像データ又は記録画像データＡ３が切り出される。何れの場合であっても、切り出された表示画像データ又は記録画像データ以外の部分は不要なデータとして破棄される。したがって、この不要部分のデータが間引き処理回路２６２によって間引かれるように間引き率設定部５１０２において設定しておくことで、画像処理回路５０４では拡大処理のみを行えば良い。
【００６０】
［変形例６］
一般に、撮像素子の撮像フレームレートは、撮像により得られる画像データの明るさによって調整することが望ましい。すなわち、暗い画像データが得られた場合、明るい画像データが得られるように露光時間を長くすることが望ましく、この場合には撮像フレームレートを遅くする必要がある。一方、明るい画像データが得られた場合、露光時間を長くする必要はない。
【００６１】
ここで、一定の表示フレームレートで表示装置３０による表示を行うためには、撮像フレームレートによらずに、撮像により得られた画像データを同じ伝送レートで伝送できるようにする必要がある。すなわち、撮像フレームレートが高い場合には、短い間隔で画像データが伝送されるので間引き率を大きくして高速のデータ伝送を可能にする。逆に、撮像フレームレートが低い場合には、間引き率を小さくする。
【００６２】
以下、変形例６について詳細に説明する。図１３は、変形例６の撮像部２２２の構成を示す図である。なお、図２と同一の構成については図２と同一の参照符号を付すことで説明を省略する。すなわち、変形例６の撮像部２２２は、図２で示した構成に加えて明るさ検知部２２２４と、明るさ調整回路２２２５とを有している。
【００６３】
明るさ検知部２２２４は、フォトダイオード等の明るさセンサであって撮像素子２２２１の近傍に設けられている。この明るさ検知部２２２４は、被写体としての被検体の明るさを検知し、検知した明るさの情報を撮像制御回路２２２３に出力する。
【００６４】
明るさ調整回路２２２５は、画像信号処理回路２２２２で得られた画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対する明るさ調整を行う。明るさ調整は、例えばゲイン調整によって行われる。
【００６５】
図１４は、変形例６の内視鏡システム１の表示処理又は動画記録処理の動作を示すフローチャートである。以下の説明において、図７と同様の処理については簡単に説明する。
【００６６】
ステップＳ２０１において、制御回路５１０は、動作モード設定部５１０１によって内視鏡システム１の動作モードを設定する。動作モードの設定は、図７と同様である。
【００６７】
ステップＳ２０２において、撮像制御回路２２２３は、明るさ検知部２２２４によって被検体の明るさを検知する。そして、撮像制御回路２２２３は、検知した明るさの情報を間引き率設定部５１０２に伝送する。
【００６８】
ステップＳ２０３において、撮像制御回路２２２３は、撮像フレームレートを設定する。図１５は、明るさと、撮像フレームレートと、間引き率との関係を示している。図１５に示すように、被検体が明るい場合には、撮像フレームレートを速く（例えば基準の１／６０に）する。また、被検体が暗い場合には、撮像フレームレートを遅く（例えば基準の１／１５に）する。
【００６９】
ステップＳ２０４において、制御回路５１０は、間引き率設定部５１０２によって間引き率を設定する。まず、間引き率設定部５１０２は、動作モードに応じて間引き率を設定する。そして、間引き率設定部５１０２は、図１５に示すように、撮像フレームレートに応じて間引き率を変更する。例えば、撮像フレームレートが１／１５の場合には間引き率を動作モードに応じて設定された間引き率にする。また、撮像フレームレートが１／２になった場合には間引き率を２倍にする。なお、間引き率は、０から１の間で設定される。したがって、撮像フレームレートによる変更の結果として、間引き率が０以下又は１以上とならないように撮像フレームレートに応じた間引き率の調整のための係数を設定しておくことが望ましい。
【００７０】
ステップＳ２０５において、制御回路５１０は、撮像部２２２による撮像が開始されるよう、撮像制御回路２２２３に対して制御信号を送る。この制御信号を受けて、撮像制御回路２２２３は、所定の撮像フレームレートで、撮像素子２２２１の画素領域２２２１Ｒ、２２２１Ｇ、２２２１Ｂのそれぞれによる撮像を行わせる。また、制御回路５１０は、撮像部２２２による撮像と同期した照明が行われるように、光源装置４０に制御信号を送る。この制御信号を受けて、光源装置４０は、動作モードに対応した照明光を照射する。
【００７１】
ステップＳ２０６において、明るさ調整回路２２２５は、画像データに対する明るさ調整を行う。これ以後のステップＳ２０７〜ステップＳ２１０はステップＳ１０４〜Ｓ１０７と同様であるので説明を省略する。
【００７２】
以上のような変形例６では、撮像フレームレートに応じて間引き率を変更することで伝送レートを一定に保つことが可能である。
【図１】
0005932173.tif 000002
【図２】
0005932173.tif 000003
【図３】
0005932173.tif 000004
【図４】
0005932173.tif 000005
【図５】
0005932173.tif 000006
【図６】
0005932173.tif 000007
【図７】
0005932173.tif 000008
【図８】
0005932173.tif 000009
【図９】
0005932173.tif 000010
【図１０】
0005932173.tif 000011
【図１１】
0005932173.tif 000012
【図１２】
0005932173.tif 000013
【図１３】
0005932173.tif 000014
【図１４】
0005932173.tif 000015
【図１５】
0005932173.tif 000016