(57)【特許請求の範囲】
【請求項１】
１フレームの画像の一部を構成するラインデータを間欠的に出力する撮像素子と、
前記撮像素子が出力した前記ラインデータを記憶する記憶部と、
前記ラインデータを用いて前記画像を拡大して、通常画像に存在するラインデータと、通常画像に存在せず拡大画像に存在する補間ラインデータとを備えた拡大画像を作成する補間処理部とを備え、
前記記憶部が、Ｎ（Ｎは整数）個のラインメモリを有し、
前記記憶部に入力されたラインデータは、Ｎ個のラインメモリに順次シフトしながら記憶され、
前記補間処理部は、前記撮像素子からラインデータが出力されるとき、前記記憶部に入力されるラインデータと、Ｎ−１個のラインメモリに記憶されているラインデータとを用いて補間ラインデータを作成し、前記撮像素子からラインデータが出力されないとき、Ｎ個のラインメモリに記憶されているラインデータを用いて補間ラインデータを作成する内視鏡用撮像装置。
【請求項２】
１つの補間ラインデータを作成する期間と同じ期間だけ、前記撮像素子がラインデータを出力しない請求項１に記載の内視鏡用撮像装置。
【請求項３】
マスク信号を第２の周期で出力するマスク信号生成部と、
パルス信号を第１の周期で前記撮像素子に出力し、前記マスク信号を受信したときに前記パルス信号を前記撮像素子に出力しないＣＣＤ駆動信号生成部とをさらに備える請求項１又は２に記載の内視鏡用撮像装置。
【請求項４】
前記記憶部は、４つのラインメモリを有し、
前記補間処理部は、４つのラインデータを用いて補間ラインデータを作成する請求項１から３のいずれかに記載の内視鏡用撮像装置。
【請求項５】
前記撮像素子はＣＣＤであって、パルス信号を受信したときに垂直転送を行って前記ラインデータを出力し、パルス信号を受信していないときは垂直転送を行なわず前記ラインデータを出力しない請求項１から４のいずれかに記載の内視鏡用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、画像を拡大する内視鏡用撮像装置に関する。
【背景技術】
【０００２】
従来、撮像素子が出力した１フレームの画像を構成する全てのデータを記憶装置に記憶させ、記憶済みのデータを用いて拡大画像を得る構成が知られている。特許文献１は、撮像素子が規則的に出力した複数の走査線データを複数のラインメモリに各々記憶させ、新たな走査線データを補間することにより画像を拡大する構成を開示する。ラインメモリの本数は、補間に用いる走査線の本数よりも１本以上多いことが必要である。補間は、高次の補間を用いてもよい。特許文献２は、撮像素子が間欠的に出力した１フレームのデータ全てをメモリに記憶させ、新たなラインのデータを補間することにより画像を拡大する構成を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２６１０８６号公報
【特許文献２】特開２０００−１８４２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、高次の補間について詳細を開示せず、特許文献２において１フレームのデータ全てを記憶する記憶装置を設けると、コストが嵩むばかりでなく、消費電力の増加、基板面積の増加等の問題が生じる。
【０００５】
本発明はこれらの問題に鑑みてなされたものであり、少ないメモリで画像を拡大可能な内視鏡用撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本願第１の発明による内視鏡用撮像装置は、１フレームの画像の一部を構成するラインデータを間欠的に出力する撮像素子と、撮像素子が出力したラインデータを記憶する記憶部と、ラインデータを用いて画像を拡大して拡大画像を作成する補間処理部とを備えることを特徴とする。
【０００７】
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、撮像素子は、パルス信号を受信したときにラインデータを出力することが好ましい。ラインデータを補間する期間を確保できる。
【０００８】
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、補間処理部は、パルス信号を受信したとき記憶部に記憶されているラインデータと、撮像素子から受信したラインデータとを用いて拡大画像を作成し、パルス信号を受信していないときは記憶部に記憶されているラインデータを用いて拡大画像を作成することが好ましい。ラインデータを補間できる。
【０００９】
記憶部は、４つのラインデータを記憶可能であって、補間処理部は、４つのラインデータを用いて拡大画像を作成することが好ましい。少ないメモリで画像を拡大できる。
【００１０】
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、撮像素子はＣＣＤであって、パルス信号を受信したときに垂直転送を行ってラインデータを出力し、パルス信号を受信していないときは垂直転送を行なわずラインデータを出力しないことが好ましい。ラインデータを補間する期間を確保できる。
【発明の効果】
【００１１】
本発明によれば、少ないメモリで画像を拡大可能な内視鏡用撮像装置を得る。
【図面の簡単な説明】
【００１２】
【図１】本願発明による内視鏡用撮像装置を有する内視鏡システムを概略的に示したブロック図である。
【図２】映像処理回路を概略的に示したブロック図である。
【図３】補間処理部を概略的に示したブロック図である。
【図４】画像拡大の原理を示した図である。
【図５】画像拡大の原理を示した図である。
【図６】撮像素子の駆動タイミングを示したタイミングチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態による内視鏡用撮像装置１００を備える内視鏡システム２００について説明する。図１は内視鏡システム２００を概略的に示す図である。内視鏡システム２００は、スコープ１２０と、スコープ１２０に接続される内視鏡プロセッサ１３０と、内視鏡プロセッサ１３０に接続されるモニタ１５０とを主に備える。
【００１４】
内視鏡用撮像装置１００は、撮像素子１０１と、ＣＣＤ駆動信号生成部を成すＣＣＤ駆動回路１０２と、映像処理回路１０３と、マスク信号生成部を成すスコープタイミングコントローラ１０４とを主に備える。
【００１５】
スコープ１２０は、内視鏡用撮像装置１００と、アナログ信号処理回路１２３と、マスク処理回路１２４と、スコープシステムコントローラ１２５と、スコープメモリ１２６と、ライトガイドファイバ１２７とを主に備える。
【００１６】
撮像素子１０１は、複数の画素を格子状に並べたＣＣＤであり、画素に蓄積された電荷をライン毎に出力することによって１フレームの画像を出力する。１ラインの電荷をラインデータと呼ぶ。スコープ１２０の先端部に撮像素子１０１は格納され、患者の体内に挿入されて観察対象物を撮像する。そして、撮像した画像をラインデータ毎にアンプ１２２に送信する。
【００１７】
アンプ１２２は、ラインデータを所定のレベルに増幅し、アナログ信号処理回路１２３に送信する。アナログ信号処理回路１２３は、撮像素子１０１からアナログ信号を受信してデジタル信号に変換し、映像処理回路１０３に送信する。
【００１８】
映像処理回路１０３は、補間処理部１０５と、記憶部を成す複数のラインメモリ１０６とを主に備える。補間処理部１０５は、ラインメモリ１０６を使用しながら、１フレームの画像を処理して通常画像を作成、又は１フレームの画像を拡大して拡大画像を作成することができる。通常画像及び拡大画像はマスク処理回路１２４に送信される。
【００１９】
マスク処理回路１２４は、１フレームの周縁部にマスクを掛け、内視鏡プロセッサ１３０に送信する。
【００２０】
スコープタイミングコントローラ１０４は、スコープシステムコントローラ１２５からの信号に応じて、アナログ信号処理回路１２３、映像処理回路１０３、及びＣＣＤ駆動回路１０２にタイミング信号を送信するとともに、後述するマスク信号をＣＣＤ駆動回路１０２に送信する。
【００２１】
ＣＣＤ駆動回路１０２は、スコープタイミングコントローラ１０４からのタイミング信号に応じて、後述するパルス信号を撮像素子１０１に送信する。パルス信号は、垂直読み出しパルス信号、垂直転送パルス信号、水平転送パルス信号を含み、スコープタイミングコントローラ１０４は、垂直読み出しパルス信号、垂直転送パルス信号、及び水平転送パルス信号を常に周期的に撮像素子１０１に送信する。
【００２２】
スコープメモリ１２６は、スコープ１２０のファームウェアや各種の設定情報などを記憶する。ライトガイドファイバ１２７は、内視鏡プロセッサ１３０から受光した照明光を観察対象物に照射する。
【００２３】
内視鏡プロセッサ１３０は、内視鏡プロセッサ１３０の動作を制御するプロセッサシステムコントローラ１３１と、プロセッサタイミングコントローラ１３２と、信号処理部１３３と、フロントパネル１３４と、モータ１３５と、絞り１３６と、集光レンズ１３７と、光源１３８とを主に備える。
【００２４】
プロセッサシステムコントローラ１３１は、スコープシステムコントローラ１２５に接続され、スコープシステムコントローラ１２５と情報をやりとりする。
【００２５】
信号処理部１３３は、アナログ信号処理回路１２３から画像データを受信して、モニタ１５０に表示可能なフォーマットに変換して、変換した画像データをモニタ１５０に送信する。モニタ１５０は信号処理部１３３から受信した画像データを表示する。
【００２６】
プロセッサタイミングコントローラ１３２は、プロセッサシステムコントローラ１３１、信号処理部１３３、及びスコープシステムコントローラ１２５に接続され、プロセッサシステムコントローラ１３１の制御の下で各部材の同期を図る。
【００２７】
フロントパネル１３４は、図示しない画面及び複数の操作ボタンを備え、スコープシステムコントローラ１２５に接続される。画面は、内視鏡システム２００を操作するために必要な情報を表示する。例えば医師であるユーザは、操作ボタンを操作して内視鏡システム２００を操作する。
【００２８】
光源１３８は、照明光を照射する。照明光は集光レンズ１３７及び絞り１３６を介してライトガイドファイバ１２７に入射する。絞り１３６はロータリシャッタから成り、照明光の光量及び発光タイミングを調節する。絞り１３６の開度及びタイミングは、プロセッサシステムコントローラ１３１に接続されたモータ１３５により制御される。
【００２９】
次に、図２及び３を用いて映像処理回路１０３について説明する。
【００３０】
映像処理回路１０３は、前段信号処理回路１０７と、補間処理部１０５と、後段信号処理回路１０８とを主に備える。前段信号処理回路１０７は、アナログ信号処理回路１２３からラインデータを受信して所定の処理を行った後に、補間処理部１０５に送信する。
【００３１】
画像を拡大する場合、拡大された画像は、撮像素子１０１から受信したラインデータよりも多くのラインデータを有するため、撮像素子１０１から受信したラインデータを用いて新たなラインデータを作成する必要がある。そこで、画像を拡大する場合、補間処理部１０５は、複数のラインデータを用いて新たなラインデータを作成し、後段信号処理回路１０８に送信する。
【００３２】
後段信号処理回路１０８は、補間処理部１０５からラインデータを受信して所定の処理を施した後、マスク処理部に送信する。
【００３３】
図３は、補間処理部１０５の内部に設けられるセレクタ１０９及びラインメモリ１０６を示す。補間処理部１０５は、４つのラインメモリ１０６ａ−ｄを備える。ラインメモリ１０６ａ−ｄには、メモリ書き込み制御信号を伝送する信号線１１０が接続される。信号線１１０は、スコープタイミングコントローラ１０４に接続される。信号線１１０を介してメモリ書き込み制御信号を受信したラインメモリ１０６ａ−ｄは、書き込みを停止、すなわち現在記憶しているラインデータを維持し、新たなラインデータを記憶しない。
【００３４】
セレクタ１０９は、前段信号処理回路１０７、ラインメモリ１０６ａ、ラインメモリ１０６ｂ、及びラインメモリ１０６ｃから受信したラインデータの組合せ、またはラインメモリ１０６ａ−ｄが出力したラインデータの組合せのどちらかを選択して後段信号処理回路１０８に送信する。セレクタ１０９には、セレクト信号線１１１が接続される。セレクト信号線１１１は、スコープタイミングコントローラ１０４に接続される。セレクト信号線１１１を介してセレクト信号を受信したセレクタ１０９は、セレクト信号に応じて、前段信号処理回路１０７、ラインメモリ１０６ａ、ラインメモリ１０６ｂ、及びラインメモリ１０６ｃから受信したラインデータの組合せ、またはラインメモリ１０６ａ−ｄが出力したラインデータの組合せのどちらかを後段信号処理回路１０８に送信する。
【００３５】
次に、内視鏡用撮像装置１００が通常画像を出力する処理について説明する。
【００３６】
撮像素子１０１は、ＣＣＤ駆動回路１０２から垂直読み出しパルス信号を受信すると、画素に蓄積された電荷を垂直転送部に移動させる。次に、垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。これにより、１ラインのラインデータが撮像素子１０１から出力される。これを全てのライン分だけ反復実行することにより、１フレームの画像を構成するラインデータ全てが出力される。
【００３７】
次に、内視鏡用撮像装置１００が拡大画像を出力する処理について説明する。
【００３８】
まず、図４及び５を用いて、画像を拡大する原理について説明する。一例として、バイキュービック法を用いて１．５倍に画像を拡大する場合について説明する。拡大画像は、通常画像を拡大して得られるものであり、通常画像に存在するラインデータと、通常画像に存在せず拡大画像に存在するラインデータを備える。通常画像に存在せず拡大画像に存在するラインデータを補間ラインデータという。補間処理部１０５は、補間ラインデータを作成する場合、４つのラインデータを用いて、１つのラインデータを補間、すなわち１つの補間ラインデータを作成する。他方、通常画像に存在するラインデータに関しては、補間を行わず、そのまま拡大画像のラインデータとして使用する。つまり、図４において、補間ラインデータＬ’３は、ラインデータＬ１、Ｌ２、Ｌ３、及びＬ４を用いて作成され、補間ラインデータＬ’４は、ラインデータＬ３を用いて作成され、補間ラインデータＬ’５は、ラインデータＬ２、Ｌ３、Ｌ４、及びＬ５を用いて作成され、補間ラインデータＬ’６は、ラインデータＬ３、Ｌ４、Ｌ５、及びＬ６を用いて作成され、補間ラインデータＬ’７は、ラインデータＬ５を用いて作成される。
【００３９】
図５を参照すると、補間ラインデータＡ４は、ラインデータＬ１、Ｌ２、Ｌ３、及びＬ４、並びに係数ｗ１、ｗ２、ｗ３、及びｗ４を用いて、以下の式により求められる。
Ａ４＝ｗ１・Ｌ１＋ｗ２・Ｌ２＋ｗ３・Ｌ３＋ｗ４・Ｌ４
ここで、補間ラインデータＡ４とラインデータＬｎとの距離をｘｎとすると、係数ｗ１、ｗ２、ｗ３、及びｗ４は以下の式により求められる。
｜ｘｎ｜≦１．０の場合
ｗｎ（ｘｎ）＝（ａ＋２）・｜ｘｎ３｜−（ａ＋３）・｜ｘｎ２｜＋１
１．０≦｜ｘｎ｜＜２の場合
ｗｎ（ｘｎ）＝ａ・｜ｘｎ３｜−５ａ・ｘｎ２＋８・ａ｜ｘｎ｜−４ａ
２．０≦｜ｘｎ｜の場合
ｗｎ（ｘｎ）＝０
【００４０】
補間処理部１０５が、４つのラインデータを用いて、１つの補間ラインデータを作成するには一定の期間を要するため、撮像素子１０１が通常画像と同様のタイミングでラインデータを出力すると、出力されたラインデータの数よりも拡大に用いたラインデータの数が少ない状態が発生する。そのため、拡大処理が間に合わなくなるため、出力されたラインデータをメモリ等に記憶しておく必要が生じる。しかし、メモリは基板上で一定の範囲を占め、かつコストが掛かるため、できる限り削減されなければならない。そこで、１つの補間ラインデータを作成する期間と同じ期間だけ撮像素子１０１がラインデータを出力せず、補間ラインデータを作成する期間を確保する。これにより、１フレーム分のラインデータ全てが記憶されていなくても、４つのラインデータをラインメモリ１０６が記憶していれば、ラインメモリ１０６に記憶されている４つのラインデータを用いて補間ラインデータを補間処理部１０５が作成することができる。あるいは、４つのラインデータ全てをラインメモリ１０６が記憶していなくても、ラインメモリ１０６に記憶されている３つのラインデータと、前段信号処理回路１０７から受信したラインデータとを用いて補間ラインデータを補間処理部１０５が作成することも可能である。以下、これらについて詳細に説明する。
【００４１】
図６を用いて撮像素子１０１の駆動タイミングについて説明する。撮像素子１０１は、ＣＣＤ駆動回路１０２から垂直読み出しパルス信号を受信すると、画素に蓄積された電荷を垂直転送部に移動させる。次に、垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。そして、所定の期間経過ごと、例えば２ライン分のラインデータをアンプ１２２に出力するごとに、ＣＣＤ駆動回路１０２が垂直転送パルス信号を撮像素子１０１に出力すると同時に、スコープタイミングコントローラ１０４がマスク信号をＣＣＤ駆動回路１０２に送信する。マスク信号は垂直転送パルス信号をマスク、すなわち打ち消す。これにより、垂直転送パルス信号が間欠的に撮像素子１０１に送信され、撮像素子１０１は垂直転送パルス信号を受信しないため、垂直転送部に記憶されている電荷が水平転送部に移動されない。そのため、次に撮像素子１０１が水平転送パルス信号を受信したとき、出力されるラインデータは０の値を取る。その後更に、撮像素子１０１が垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。これにより、撮像素子１０１がラインデータを間欠的に出力する。
【００４２】
ラインメモリ１０６ａ−ｄは、前段信号処理回路１０７を介して撮像素子１０１からラインデータを受信して記憶する。図６において、撮像素子１０１がラインデータを出力するタイミングとラインメモリ１０６がラインデータを記憶するタイミングが離れているのは、アンプ１２２、アナログ信号処理回路１２３、及び前段信号処理回路１０７がラインデータを処理するために一定の期間が経過するためである。ラインメモリ１０６は、始めに受信したラインデータ１を先ずラインメモリ１０６ａが記憶する。そして、次にラインメモリ１０６ａがラインデータ２を受信すると、ラインメモリ１０６ｂにラインデータ１を記憶させ、ラインメモリ１０６ａがラインデータ２を記憶する。これをラインデータ４まで反復すると、ラインメモリ１０６ａがラインデータ４を記憶し、ラインメモリ１０６ｂがラインデータ３を記憶し、ラインメモリ１０６ｃがラインデータ２を記憶し、ラインメモリ１０６ｄがラインデータ１を記憶する。その後、０のラインデータが入力ラインからラインメモリ１０６ａに送信される。ここで、ラインメモリ１０６ａが０のラインデータを受信するとき、補間処理部１０５は、ラインメモリ１０６ａにメモリ書き込み制御信号を送信している。メモリ書き込み制御信号を受信したラインメモリ１０６ａは、０のラインデータを記憶しない。これにより、ラインメモリ１０６ａはラインデータ４を記憶しつづけ、次のラインデータ５を待つ。さらにその後、ラインメモリ１０６ａがラインデータ５を受信すると、ラインメモリ１０６ａはラインデータ５を記憶する。同様にして、ラインメモリ１０６ｂがラインデータ４を記憶し、ラインメモリ１０６ｃがラインデータ３を記憶し、ラインメモリ１０６ｄはラインデータ１を破棄してラインデータ２を記憶する。
【００４３】
ラインメモリ１０６ａがラインデータ３を記憶し、ラインメモリ１０６ｂがラインデータ２を記憶し、ラインメモリ１０６ｃがラインデータ１を記憶したタイミングにおいて、補間処理部１０５は、入力ラインから受信したラインデータ４及びラインメモリ１０６ａ−ｃに記憶されているラインデータ１−３を用いて補間ラインデータＬ’３を作成する。
【００４４】
ラインメモリ１０６ａがラインデータ４を記憶し、ラインメモリ１０６ｂがラインデータ３を記憶し、ラインメモリ１０６ｃがラインデータ２を記憶し、ラインメモリ１０６ｄがラインデータ１を記憶したタイミングにおいて、補間処理部１０５は、ラインメモリ１０６ｂに記憶されているラインデータ３を用いて補間ラインデータＬ’４を作成する。その後、入力ラインからラインデータ５を受信したタイミングにおいて、入力ラインから受信したラインデータ５及びラインメモリ１０６ａ−ｃに記憶されているラインデータ２−４を用いて補間ラインデータＬ’５を作成する。
【００４５】
入力ラインからラインデータ６を受信し、ラインメモリ１０６ａがラインデータ５を記憶し、ラインメモリ１０６ｂがラインデータ４を記憶し、ラインメモリ１０６ｃがラインデータ３を記憶したタイミングにおいて、補間処理部１０５は、入力ラインから受信したラインデータ６及びラインメモリ１０６ａ−ｃに記憶されているラインデータ３−５を用いて補間ラインデータＬ’６を作成する。
【００４６】
ラインメモリ１０６ａがラインデータ６を記憶し、ラインメモリ１０６ｂがラインデータ５を記憶し、ラインメモリ１０６ｃがラインデータ４を記憶し、ラインメモリ１０６ｄがラインデータ３を記憶したタイミングにおいて、補間処理部１０５は、ラインメモリ１０６ｂに記憶されているラインデータ５を用いて補間ラインデータＬ’７を作成する。その後、入力ラインからラインデータ７を受信したタイミングにおいて、入力ラインから受信したラインデータ７及びラインメモリ１０６ａ−ｃに記憶されているラインデータ４−６を用いて補間ラインデータＬ’８を作成する。以降、これらと同様の処理を反復することにより、全ての補間ラインデータが作成される。
【００４７】
本実施形態によれば、少ないメモリで画像を拡大することができる。
【００４８】
なお、拡大倍率及びラインメモリ１０６の数は例示であって、前述の値に限定されない。
【符号の説明】
【００４９】
１００  内視鏡用撮像装置
１０１  撮像素子
１０２  ＣＣＤ駆動回路
１０３  映像処理回路
１０４  スコープタイミングコントローラ
１０５  補間処理部
１０６  ラインメモリ
１０７  前段信号処理回路
１０８  後段信号処理回路
１０９  セレクタ
１１０  信号線
１１１  セレクト信号線
１２０  スコープ
１２２  アンプ
１２３  アナログ信号処理回路
１２４  マスク処理回路
１２５  スコープシステムコントローラ
１２６  スコープメモリ
１２７  ライトガイドファイバ
１３０  内視鏡プロセッサ
１３１  プロセッサシステムコントローラ
１３２  プロセッサタイミングコントローラ
１３３  信号処理部
１３４  フロントパネル
１３５  モータ
１３７  集光レンズ
１３８  光源
１５０  モニタ
２００  内視鏡システム
【図１】
0006412361.tif 000002
【図２】
0006412361.tif 000003
【図３】
0006412361.tif 000004
【図４】
0006412361.tif 000005
【図５】
0006412361.tif 000006
【図６】
0006412361.tif 000007