(57)【要約】      （修正有）【課題】内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する。【解決手段】同期補償回路１１０４は、所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部１１０５に送信する。同期補償回路は、所望の画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力する同期コード検出部１１０４１と、ブランキングデータと所望の画像データとの一致数を示す第１値と、１水平ライン目の同期コードと所望の画像データとの一致数を示す第２値との関係から、１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力する同期コード推測部と、第１情報および第２情報に基づいて制御情報を生成して画像処理部に出力するタイミングコントローラ１１０４５と、を備える。【選択図】図７
2020014065.tif 000002
【特許請求の範囲】
【請求項１】
所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償回路であって、
前記所望の画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力する同期コード検出部と、
ブランキングデータと前記所望の画像データとの一致数を示す第１値と、前記１水平ライン目の同期コードと前記所望の画像データとの一致数を示す第２値との関係から、前記１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力する同期コード推測部と、
前記第１情報および前記第２情報に基づいて前記制御情報を生成して前記画像処理部に出力するタイミングコントローラと、
を備える同期補償回路。
【請求項２】
請求項１において、
前記同期コード検出部は、前記所望の画像データが前記１水平ライン目の同期コードと完全に一致するコードを含むか否か判断し、完全一致したことを示すイネーブル信号を前記第１情報として出力する、同期補償回路。
【請求項３】
請求項１または２において、
前記同期コード推測部は、前記第１値が前記第２値よりも大きい場合に、前記所望の画像データに前記１水平ライン目の同期コードに少なくとも類似するコードを検出できたことを示すイネーブル信号を前記第２情報として出力する、同期補償回路。
【請求項４】
請求項１から３の何れか１項において、
前記タイミングコントローラは、前記第１情報と前記第２情報とが一致する場合以外は、前記所望の画像データの信頼性が低いことを示す第３情報を前記画像処理部に出力する、同期補償回路。
【請求項５】
請求項４において、
前記タイミングコントローラは、Ｈブランキング期間中において、前記第１情報と前記第２情報とが一致するか判断する、同期補償回路。
【請求項６】
光を被検体に照射して得られる像を撮像する撮像素子と、
前記撮像素子からの画像データを受信してプロセッサ側に送信する受信回路と、を備え、
前記受信回路は、請求項１から５の何れか１項に記載の同期補償回路を含む、内視鏡装置。
【請求項７】
請求項６に記載の内視鏡装置と、
前記内視鏡装置が接続され、前記受信回路から画像データを取得して処理するプロセッサと、
前記プロセッサによって処理された画像を表示する表示装置と、
を備える内視鏡システム。
【請求項８】
撮像素子によって取得された画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償方法であって、
同期コード検出部が、前記画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力することと、
同期コード推測部が、ブランキングデータと前記画像データとの一致数を示す第１値と、前記１水平ライン目の同期コードと前記画像データとの一致数を示す第２値との関係から、前記１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力することと、
タイミングコントローラが、前記第１情報および前記第２情報に基づいて前記制御情報を生成して前記画像処理部に出力することと、
を含む同期補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、同期補償回路、内視鏡装置、内視鏡システム、および同期補償方法に関する。
【背景技術】
【０００２】
電子内視鏡や電子内視鏡システムにおいては、撮像素子が取得した画像データ（例えば、ＬＶＤＳフォーマットの画像データ）を伝送してこれを処理することが行われる。画像データの処理は、例えば、８ｂ／１０ｂ等の符号化アルゴリズムを利用した高速シリアル転送方式の他、クロック埋め込みを利用したチープアルゴリズムであるエンベデット・クロック方式により実行される。
【０００３】
エンベデット・クロック方式では、スタートビットとエンドビットを含んでパケット化されたデータビット列が伝送され、受信側（ＬＶＤＳ受信回路）では、データビット列に適したワードアラインパターンに従って、スタートビットとエンドビットを外すデータ復号化処理（ワードアライン処理）が実行される。そして、同期補償回路が、復号化データから同期コード（タイミングコード）を検出し、フレームデータ処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０１５４０号公報
【特許文献２】特開２０１４−１１０８４３号公報
【特許文献３】特開２０１４−１１０８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、データ復号時にＬＶＤＳデータをオーバーサンプリングすると、誤ビットを発生させる可能性がある。復号データに誤ビットが含まれていると、同期補償回路においてフレームの先頭画素を示す同期コード（１水平ライン目のＳＡＶ；以下、１Ｈ目ＳＡＶという）を正しく検出できなくなり、正しいフレームデータを後段の画像処理回路に送信できなくなる。その結果、内視鏡システムにおける画像生成処理に破綻を来し、映像信号を正常に出力できなくなってしまう。
【０００６】
本開示はこのような状況に鑑みてなされたものであり、内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本実施形態の同期補償回路は、所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償回路であって、
所望の画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力する同期コード検出部と、
ブランキングデータと所望の画像データとの一致数を示す第１値と、１水平ライン目の同期コードと所望の画像データとの一致数を示す第２値との関係から、１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力する同期コード推測部と、
第１情報および第２情報に基づいて制御情報を生成して画像処理部に出力するタイミングコントローラと、
を備える。
【０００８】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
【発明の効果】
【０００９】
本開示によれば、内視鏡システムにおける画像生成処理の破綻を回避し、映像信号を正常に出力できるようになる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態による電子内視鏡システム１の構成例を示すブロック図である。
【図２】電子スコープ１００およびプロセッサ２００の内部構成例を示す図である。
【図３】本実施形態による受信回路１１０の内部構成例を示す図である。
【図４】ワードアライン後の伝送画像データのフォーマット例を示す図である。
【図５】ＬＶＤＳ出力データフォーマットで表現されたＨブランキングデータと同期コード（ワードアライン処理によってスタートビットおよびエンドビットを取り除く前のデータ構成）を示す図である。
【図６】同期補償部１１０４で用いられるＨブランキングデータと同期コード（ＳＡＶ）の構造を示す図である。
【図７】本実施形態による電子スコープ１００に設けられた同期補償部１１０４の内部構成例を示すブロック図である。
【図８】Ｈブランキングデータと１Ｈ目ＳＡＶの１ｓｔおよび２ｎｄワードとを比較する処理を説明する図である。
【図９】同期コード検出部１１０４１の処理内容を説明するためのフローチャートである。
【図１０】データ比較部１１０４２における処理内容を説明するためのフローチャートである。
【図１１】タイミングコントローラ１１０４５による、画像処理部１１０５への制御信号出力処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
内視鏡装置の受信回路（撮像素子の後段に設置）においてチープアルゴリズム（スタート／エンドビットのみ）でパケット化された画像データから画像データを復号する際に、ＬＶＤＳデータにオーバーサンプリングなどの処理によってジッタが多く含まれている場合、画像データ復号時に誤ビットが発生する可能性がある。この誤ビットが原因でフレームデータの先頭画素を示す同期コード（例えば、１ｓｔワードから４ｔｈワードで構成される１Ｈ目ＳＡＶ）が適切に検出できなくなる可能性がある。１Ｈ目ＳＡＶが適切に検出できない結果、内視鏡システムの画像処理に破綻を来し、画像（映像）信号を正常に出力できなくなってしまうという課題があった。
【００１２】
本実施形態は、以下に、このような課題を解決する技術について詳細に開示する。一例として、本実施形態は、画像データに１Ｈ目ＳＡＶと完全一致するコードか含まれるか判定すると共に、１Ｈ目ＳＡＶ（例えば、１Ｈ目ＳＡＶとして検出した同期コードの１ｓｔワードおよび２ｎｄワード）とブランキングデータ（Ｈブランキングデータ）と画像データとの一致数と、１Ｈ目ＳＡＶと画像データとの一致数との関係から、１Ｈ目ＳＡＶに少なくとも類似するコードを検出したか否かを判定し、２つの判定結果に基づいて制御情報を生成して画像処理部に出力する同期補償処理について開示する。ただし、本実施形態は当該課題を解決するための一例であり、本開示の技術的思想は特許請求の範囲に表され、本開示の技術的思想を限定するものではない。
【００１３】
＜電子内視鏡システム１の外観構成例＞
図１は、本実施形態による電子内視鏡システム１の構成例を示すブロック図である。図１に示されるように、電子内視鏡システム１は、例えば、医療用に特化されたシステムであり、電子スコープ１００と、プロセッサ２００と、モニタ３００（図１には簡略化のため省略）と、を備えている。
【００１４】
図１に示されるように、電子スコープ１００は、可撓性を有するシース（外皮）１１ａによって外装された可撓管１１を備えている。可撓管１１の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２が連結されている。可撓管１１と先端部１２との連結箇所にある湾曲部１４は、可撓管１１の基端に連結された手元操作部１３からの遠隔操作（例えば、湾曲操作ノブ１３ａの回転操作）によって屈曲自在に構成されている。この屈曲機構は、一般的な電子スコープに組み込まれている周知の機構であり、湾曲操作ノブ１３ａの回転操作に連動した操作ワイヤの牽引によって湾曲部１４を屈曲させるように構成されている。先端部１２の方向が上記操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。
【００１５】
プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、電子スコープ１００を介して自然光が届かない体腔内で光を照射する光源装置とを一体に備えた装置である。なお、別の実施形態として、信号処理装置と光源装置を別体で構成してもよい。
【００１６】
プロセッサ２００は、電子スコープ１００の基端に設けられたコネクタ部１０に対応するコネクタ部２０を備えている。コネクタ部２０は、コネクタ部１０に対応する連結構造を有し、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続するように構成されている。
【００１７】
＜電子内視鏡システム１の内部構成例＞
図２は、主に、電子スコープ１００およびプロセッサ２００の内部構成例を示す図である。
【００１８】
電子スコープ（内視鏡装置）１００は、受信回路１１０と、ドライバ信号処理回路１１２とを備えている。ドライバ信号処理回路１１２には、照射光Ｌにより照射された生体組織を撮像した各画素の画素データが固体撮像素子１０８よりフレーム周期で入力される。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される画素データに対して欠陥画素補正、デモザイク、固体撮像素子１０８固有の補正処理等の処理を施して画素データをプロセッサ２００の信号処理回路２２０に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。
【００１９】
ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。また、ドライバ信号処理回路１１２は、タイミングジェネレータ１１２１を含み、受信回路１１０に対してクロック信号を供給する。受信回路１１０に含まれる各種回路（例えば、オーバーサンプリング部、ワードアライン処理部、同期補償部や画像処理部など）は、タイミングジェネレータ１１２１から取得したクロック信号（受信回路１１０用基準クロック）に基づいて、各種回路の動作に必要なタイミング信号をそれぞれ生成している。
【００２０】
プロセッサ２００側の絞り２１２を通過した照射光Ｌは、ＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。入射端面よりＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播する。
【００２１】
ＬＣＢ１０２内を伝播した照射光Ｌは、電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して体腔内の生体組織を照射する。照射光Ｌにより照射された生体組織からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
【００２２】
固体撮像素子１０８は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることができる。その他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。
【００２３】
撮像素子１０８によって生成された画像データは、受信回路１１０に入力される。受信回路１１０は、画像データをオーバーサンプリングし、得られたデータビット列から信頼性の高いデータビット列を選択する（復調処理）と共に、復調して得られるデータに対してワードアライン処理を行う。また、受信回路１１０は、ワードアライン処理された画像データ（ＳＥビットが除かれたデータビット列）から同期コードを検出して（同期補償処理）、同期補償された画像データに対して所定の画像処理を実行し、プロセッサ２００に受け渡すようにする。なお、受信回路１１０の内部構成および動作の詳細については図３以降の図面を用いて後述する。
【００２４】
図２に示されるように、電子内視鏡システム１は、電子スコープ１００に接続されるプロセッサ２００と、所定のケーブルを介してプロセッサ２００に接続されたモニタ３００と、を備えている。
【００２５】
プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４（電子スコープ１００の受信回路１１０のタイミングコントローラ１１０４５とは異なる）を備えている。システムコントローラ２０２は、メモリ２３０に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する電子内視鏡システム１の各構成要素を制御する。また、システムコントローラ２０２は、操作パネル２１８に接続されている。システムコントローラ２０２は、操作パネル２１８より入力される術者あるいは操作者（オペレータ）からの指示に応じて、電子内視鏡システム１の各動作の実行及び各動作のためのパラメータの変更を行う。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。本実施形態では、動作モードとして、低周波強調モード、中間周波数強調モード、高周波強調モード等がある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
【００２６】
ランプ２０８は、ランプ電源イグナイタ２０６による始動後、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（あるいは少なくとも可視光領域を含む光）を放射する。ランプ２０８としては、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプ又はＬＥＤ（Light Emitting Diode）を用いることができる。ランプ２０８より放射された照射光Ｌは、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。
【００２７】
絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された白色光Ｌの光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
【００２８】
操作パネル２１８の構成には様々な形態が想定されうる。操作パネル２１８は、例えば、プロセッサ２００のフロント面に実装された機能毎のハードウェアキー、タッチパネル式ＧＵＩ（Graphical User Interface）や、ハードウェアキーとＧＵＩとの組み合わせ等によって構成することができる。
【００２９】
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
【００３０】
プロセッサ２００のタイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００３１】
プロセッサ２００に備えられる信号処理回路２２０は、マトリックス回路２２２、ＹＵＶ変換回路２２４、輪郭強調回路２２６及び出力回路２２８を有している。
【００３２】
マトリックス回路２２２は、ドライバ信号処理回路１１２よりフレーム周期で入力されるＲＧＢ形式の画素データにマトリックス処理を施して、ＹＵＶ変換回路２２４に出力する。ＹＵＶ変換回路２２４は、マトリックス回路２２２より入力されるマトリックス処理後の画素データ（ＲＧＢ形式）をＹＵＶ形式に変換し、変換処理によって得られた輝度信号（Ｙ）、色差信号（Ｕ，Ｖ）を、それぞれ、輪郭強調回路２２６、出力回路２２８に出力する。輪郭強調回路２２６は、ラプラシアンフィルタ、ローパスフィルタ、ゲイン回路、クリップ回路、および強調量計算回路などで構成され、画像における所定の周波数成分を強調する処理を行う。出力回路２２８は、輪郭強調回路２２６より入力される輝度信号（Ｙ）及びＹＵＶ変換回路２２４より入力される色差信号（Ｕ，Ｖ）を所定のビデオフォーマット信号に変換する。出力回路２２８が順次入力される各画素のデータを所定のビデオフォーマット信号に変換してモニタ３００に出力することにより、生体組織の特定の周波数成分を強調した強調画像を通常のカラー画像に重ね合わせたものがモニタ３００の表示画面に表示される。
【００３３】
＜受信回路１１０の内部構成＞
図３は、本実施形態による受信回路１１０の内部構成例を示す図である。なお、受信回路１１０の内部構成要素としては、図３に示される構成要素とは異なる構成要素を含んでいてもよい。
【００３４】
図３に示されるように、受信回路１１０は、例えば、オーバーサンプリング部１１０１と、エッジ選択部１１０２と、ワードアライン処理部１１０３と、同期補償部１１０４と、画像処理部１１０５と、を備えている。
【００３５】
オーバーサンプリング部１１０１は、固体撮像素子１０８からＬＶＤＳフォーマット（シリアルデータ）で伝送されてきた画像データ（例えば、２０ビットのデータビット列（Ｄ０、Ｄ１、…、Ｄ１８、Ｄ１９）の先頭と末尾に各１ビットのスタートビット（Ｓ）とエンドビット（Ｅ）を埋め込んでパケット化された２２ビットを一単位として、これが複数サイクルに亘って連なったもの）を受信し、画像データ（データビット列）の各データビットをオーバーサンプリングして出力する。オーバーサンプリング部１１０１は、例えば、レシーバに対して入力シリアルデータレートの整数倍を設定することにより、オーバーサンプリング処理を実行する。なお、ここで、スタートビット（Ｓ）とエンドビット（Ｅ）は、同期クロックとも呼ばれるものであり、スタートビットのデータ値は“１”、エンドビットのデータ値は“０”で表される。周期が一定となるスタートビットとエンドビットの信号の遷移エッジを検出してこれを外すことによって、受信側で画素データを抽出することが可能になる。
【００３６】
エッジ選択部１１０２は、オーバーサンプリング部１１０１によるオーバーサンプリング後のデータビット列の各データビットの一部分を選択することにより、オーバーサンプリング後のデータビット列を復調する。エッジ選択部１１０２は、例えば、データビット（Ｄ０）とデータビット（Ｄ１）をそれぞれ４倍した８ビットのデータの中から２ビットのデータを選択することにより、オーバーサンプリング後のデータビット列を復調する。
【００３７】
ワードアライン処理部１１０３は、エッジ選択部１１０２で復調したデータビット列のワードアラインパターンの中から同期コード（ワードアラインのための同期コードであって、後述の同期補償処理時の同期コードとは異なる）を検出し、当該同期コードに従って位置決めした状態で、スタートビットとエンドビットを外す処理を実行し、スタートビットとエンドビットを外したビット列を後段の処理部に送信する。
【００３８】
同期補償部１１０４は、ワードアライン後の画像データ（スタートビットとエンドビットが取り除かれたビット列）において、フレーム先頭画素を示す同期コード（例えば、ＳＡＶ：Start of Active Video）を検出（１Ｈ（１水平期間）目のＳＡＶを検出）し、同期が取れた画像データを後段の画像処理部１１０５に送信する。１Ｈのピクセル数は予め決まっているため、１Ｈ目のＳＡＶが検出できれば、同期補償部１１０４は、各水平期間におけるＳＡＶの位置を特定することができる。従って、各水平期間の当該特定された位置におけるコードがＳＡＶと同一でない場合（例えば、オーバーサンプリングによるジッタによってＳＡＶが別のコードになってしまうことがある）、同期補償部１１０４は、当該特定された位置におけるコードをＳＡＶに置き換えることにより、後段における処理に影響を与えないようにすることができるようになる。さらに、同期補償部１１０４は、１Ｈ目において同期コード（ＳＡＶ）そのものを検出できない場合、同期コードに近いコードを検出したときには、同期コード（ＳＡＶ）そのものではないがそれに近いコードを検出したことを示す情報（後述のＮＧフレーム信号）を生成し、後段の画像処理部１１０５に送信する。なお、同期補償部１１０４の詳細については後述する。
【００３９】
画像処理部１１０５は、例えば、フレームメモリを備え、フレームレートを変更する処理を実行する。また、例えば、画像処理部１１０５は、同期補償部１１０４から上記ＮＧフレーム信号を受け取ると、該当するフレームに対して補正処理を実行する。補正処理の具体例として、前フレームの画像データをプロセッサ２００に送信するようにしてもよいし、６４ＦＰＳの画像データを用いて補間処理を行い、１２８ＦＰＳデータを生成してプロセッサ２００に送信するようにしてもよいし、さらに予測画像を生成してプロセッサ２００に送信するようにしてもよい。このようにすることにより、内視鏡診断中に、内視鏡画像が乱れてしまうことを防止することが可能となる。
【００４０】
＜画像データのフォーマット＞
図４は、ワードアライン後の伝送画像データのフォーマット例を示す図である。
【００４１】
図４に示されるように、画像データフォーマットは、例えば、Ｖブランキングと、ＯＢ（Optical Black：OB_AからOB_C）と、ダミーデータと、ＥＡＶと、ＳＡＶと、Ｈブランキングとによって構成される。
【００４２】
ＯＢは、光学的に絶対的な黒のレベルを示す情報であり、他の色のレベルの基準となるデータである。画像処理部１１０５は、ＯＢを用いることによって、例えば、あるピクセルの黒が本来の黒より明るい場合や暗い場合に、オフセットでレベルを下げたり上げたりするという処理を実行することが可能となる。図４のフォーマットは、複数のＯＢ（OB_AからOB_C）が配置されているデータ構造例である。ダミーデータは、例えば、画像データの補正処理に用いたり、予め決められたデータ量とするために用いたり、時間調整のために用いたりするデータである。
【００４３】
Ｖブランキングは、垂直帰線期間とも言い、現フィールドの最後の走査位置から次フィールドの最初の走査位置へ移行するための時間を示している。また、Ｈブランキングは、水平帰線期間とも言い、現水平ラインの最後の走査位置から次水平ラインの最初の走査位置へ移行するための時間を示している。ＳＡＶ（Start of Active Video）およびＥＡＶ（End of Active Video）は、同期コードであり、１フレーム中の各水平ラインにそれぞれ配置される。画像処理を行う上で特に重要な同期コードは、１Ｈ目ＳＡＶである。１Ｈ目ＳＡＶが検出できなければ、固体撮像素子１０８側でフレームレートが変化した場合にフレーム同期を取ることができなくなるからである。
【００４４】
ここで、図５および６を用いて、Ｈブランキングデータと同期コード（タイミングコード：Ｈ＝０のときがＳＡＶ、Ｈ＝１のときがＥＡＶとなる）の構成について説明する。図５は、ＬＶＤＳ出力データフォーマットで表現されたＨブランキングデータと同期コード（ワードアライン処理によってスタートビットおよびエンドビットを取り除く前のデータ構成）を示す図である。図６は、同期補償部１１０４で用いられるＨブランキングデータとＳＡＶの構造を示す図である。
【００４５】
ワードアライン処理前では、図５に示されるように、Ｈブランキングデータは、例えば、０ｘ０７Ｃ１Ｆ（１６進法で表したときの２０ビット分のデータ：図中“０”および“１”で示されるビット列は２進法で表したときのデータを示している）が所定ワード数分連続したデータ構造となっており、各１ワード分のデータがスタートビット（Ｓ）とエンドビット（Ｅ）によって挟まれている。一方、ワードアライン処理前では、同期コード（ＳＡＶおよびＥＡＶ）は、例えば、１ｓｔワードと２ｎｄワード（０ｘ００３ＦＦ）、および３ｒｄワードと４ｔｈワードをそれぞれスタートビット（Ｓ）とエンドビット（Ｅ）によって挟んだデータ構造となっている。同期コードがＳＡＶであるかＥＡＶであるかは、４ｔｈワードに含まれるＦ、Ｖ、Ｈのデータのうち、Ｈの値によって決まる。同期コードは、Ｈ＝０のときがＳＡＶであり、Ｈ＝１のときがＥＡＶとなる。ワードアライン処理後は、ＳＥビットがワードアライン処理によって取り除かれているため、図６に示されるように、Ｈブランキングデータは、複数の０ｘ０７Ｃ１Ｆ（２０ビット）によって構成され、同期コードは、０ｘ００３ＦＦ（１ｓｔワードと２ｎｄワード：２０ビット）と０ｘＡ５２ＡＡ（３ｒｄワードと４ｔｈワード：２０ビット）とによって構成されている。図６では、４ｔｈワードにおいてＨ＝０であるため、同期コードとしてＳＡＶ（Ｆ＝０、Ｖ＝１、Ｈ＝０；Ｆは画像エリアか否かを示し、ＶはＶブランクか否かを示し、ＨはＳＡＶかＥＡＶかを示すビットデータである）が示されている。同期補償部１１０４は、入力される画像データから１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出することにより、同期を取ることが可能となる。
【００４６】
＜同期補償回路について＞
図７は、本実施形態による電子スコープ１００に設けられた同期補償部１１０４の内部構成例を示すブロック図である。同期補償部１１０４は各フレームについて自力で１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出する必要がある。外部Ｖ同期モード（受信回路からＶｓｙｎｃ信号を送るまで固体撮像素子１０８は次フレームの）であってフレームレートを可変させるモードの場合、Ｈブランクデータ長（図４の矢印で示す部分の長さ）が変化するため、あるいは、ケーブルによる伝送遅延により、１Ｈ目ＳＡＶの出現タイミングが変化するからである。このため、同期補償部１１０４は、後述するような動作により、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出するように構成されている。固体撮像素子が同期（Vsync）信号をサンプリングするクロックと、同期（Vsync）信号を出力生成（受信回路側）するクロックが異なる場合、そのクロック位相のズレ影響で、Ｈブランキングの画素数が変化し、ＳＡＶが出現するタイミングが毎フレーム変化するからである。フレームレートが決まれば、１フレームの画素数が決まり、１フレームにおける各ラインの画素数を特定することができる。このため、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出することができれば、２Ｈ以降の同期コード（２Ｈ以降のＳＡＶおよびＥＡＶ）の位置を特定することができる。
【００４７】
同期補償部１１０４は、所望データ（所望の画像データ）から１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出する同期コード検出部１１０４１と、所望データと１Ｈ目の同期コード１Ｈ目ＳＡＶの１ｓｔワードと２ｎｄワード（０ｘ００３ＦＦに相当）とを比較し、かつ所望データとＨブランキングデータ（０ｘ０７Ｃ１Ｆに相当）とを比較するデータ比較部１１０４２と、所望データのデータビットと０ｘ００３ＦＦのデータビットとの一致数、および所望データのデータビットと０ｘ０７Ｃ１Ｆのデータビットとの一致数をカウントするデータ一致数加算部１１０４３と、各フレームの１Ｈ目の同期コード（１Ｈ目ＳＡＶ）をデータ一致数加算部１１０４３の演算結果に基づいて推測する１Ｈ目ＳＡＶ推測部１１０４４と、同期コード検出部１１０４１の結果および１Ｈ目ＳＡＶ推測部１１０４４の結果に基づいて、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）が正しく検出できたか否かを判定する処理を実行するタイミングコントローラ１１０４５と、を備えている。
【００４８】
同期コード検出部１１０４１は、所望データが上記４ワードで構成される１Ｈ目の同期コード（１Ｈ目ＳＡＶ：０ｘ００３ＦＦ（１ｓｔ＆２ｎｄワード）＋０ｘＡ５２ＡＡ（３ｒｄ＆４ｔｈワード）の４０ビット）と完全一致するか判断する。完全一致した場合、同期コード検出部１１０４１は、タイミングコントローラ１１０４５に対して、検出できたことを示すイネーブルフラグ信号（例えば、sav1st＝１）を出力する。一方、完全一致でない場合、同期コード検出部１１０４１は、タイミングコントローラ１１０４５に対して、検出できなかったことを示すイネーブルフラグ信号（例えば、sav1st＝０）を出力する。
【００４９】
データ比較部１１０４２は、所望データの各データビットと１Ｈ目の同期コード（１Ｈ目ＳＡＶ）に含まれる固定値である１ｓｔおよび２ｎｄワード（つまり、０ｘ００３ＦＦ）の各データビットとを比較（例えば、EXNOR回路）して各ビットが一致しているか否かの比較結果を後段のデータ一致数加算部に出力する。また、データ比較部１１０４２は、所望データの各データビットとＨブランキングデータ（つまり、０ｘ０７Ｃ１Ｆ）の各データビットとを比較（例えば、EXNOR回路）して各ビットが一致しているか否かの比較結果を後段のデータ一致数加算部に出力する。
【００５０】
データ一致数加算部１１０４３は、データ比較部１１０４２から所望データの各データビットと１Ｈ目ＳＡＶの１ｓｔおよび２ｎｄワード（０ｘ００３ＦＦ）の各データビットとの比較結果を取得し、一致数を算出する（この一致数を“ａ”とする）。また、データ一致数加算部１１０４３は、データ比較部１１０４２から所望データの各データビットとＨブランキングデータ（０ｘ０７Ｃ１Ｆ）の各データビットとの比較結果を取得し、一致数を算出する（この一致数を“ｂ”とする）。
【００５１】
１Ｈ目ＳＡＶ推測部１１０４４は、一致数ａが一致数ｂよりも大きいか否か判定する。同期コードの１ｓｔワードと２ｎｄワードが正常に検出できている場合には、例えば、ａ＝２０となり、ｂ＝１０となる。そして、１Ｈ目ＳＡＶ推測部１１０４４は、１Ｈ目ＳＡＶが正常に検出できる場合を含み、ａ＞ｂである場合には、イネーブルフラグ信号（例えば、sav1st_like＝１）をタイミングコントローラ１１０４５に対して出力する。つまり、ａ＞ｂである限り、正常に１Ｈ目ＳＡＶが検出できなかった場合（この場合、ａ＝２０、ｂ＝１０となっておらず、また、同期コード検出部１１０４１からはsav1st＝０が出力されている）でも１Ｈ目ＳＡＶに類似するコードが検出できた（所望データが１Ｈ目ＳＡＶである）と推測することになる。図８に示されるように、所望データと０ｘ００３ＦＦとにおいて１０ビット以上のビットにおいて不一致が生じていると、ａ＞ｂとはならない。よって、この場合は、ａ＞ｂではないことを示すイネーブルフラグ信号（例えば、sav1st_like信号＝０）を出力する。なお、イネーブル信号（sav1st_like信号：０あるいは１）は、入力される画像データの各ラインの上記比較処理が実行される度に出力される。しかし、タイミングコントローラ１１０４５は、各フレームにおいて、１Ｈ目の位置のデータについてのみイネーブル信号（sav1st_like信号）を参照するように構成されている。したがって、１Ｈ目以外のラインについてのイネーブル信号（sav1st_like信号）として何が出力されるかは特に重要ではない。
【００５２】
タイミングコントローラ１１０４５は、１Ｈ目のデータについて、所望データがＨブランキング中のデータであるか否か、同期コード検出部１１０４１からイネーブルフラグ信号（sav1st）を検出したか否か、および１Ｈ目ＳＡＶ推測部１１０４４からイネーブルフラグ信号（sav1st_like）を検出したか否かについて判断する。つまり、１Ｈ目にイネーブルフラグ信号（sav1st）およびイネーブルフラグ信号（sav1st_like）を検出することができたか判断している。イネーブルフラグ信号（sav1st）がイネーブルではなく（sav1st＝０）、イネーブルフラグ信号（sav1st_like）がイネーブル（sav1st_like＝１）の場合、タイミングコントローラ１１０４５は、後段の画像処理部１１０５に対して、各フレームの１Ｈ目において同期コード（１Ｈ目ＳＡＶ）が検出できなかった（当該画像データ（フレームデータ）は信頼性が低い）ことを示すＮＧフレーム信号を出力する。この場合、画像処理部１１０５は、例えば、当該フレームに対して補正処理（例えば、正しい同期コード（ＳＡＶ）に置き換える処理）を実行したり、当該フレームを別の同期が取れたフレームの画像データに置き換えたりする等、所定の画像処理を実行する。一方、イネーブルフラグ信号（sav1st）およびイネーブルフラグ信号（sav1st_like）が共にイネーブル（つまり、共にフラグ信号＝１）の場合、タイミングコントローラ１１０４５は、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）が正確に検出できたと判定し、ＮＧフレーム信号を画像処理部１１０５には送信しない。この場合、画像処理部１１０５は、受け取った画像データをそのまま用いて所定の画像処理（プロセッサ２００に画像データを伝送するための画像処理）を実行する。
【００５３】
以下においては、フローチャートを用いて、同期補償部１１０４の動作について説明する。この場合、同期補償部１１０４による処理をプログラムによって実現し、ＣＰＵなどの演算ユニットによって実行するようにしてもよい。
【００５４】
＜同期コード検出処理（１Ｈ目ＳＡＶ検出処理）＞
図９は、同期コード検出部１１０４１の処理内容を説明するためのフローチャートである。ここでは、動作主体を同期コード検出部１１０４１として各ステップの処理について説明するが、プログラムで同期コード検出処理を実現している場合には演算ユニットとすることも可能である。
【００５５】
（i）ステップ９０１
同期コード検出部１１０４１は、ワードアライン処理部１１０３から受信した所望の画像データと１Ｈ目の同期コード（例えば、１ｓｔから４ｔｈワードの４０ビットで構成される１Ｈ目ＳＡＶ：図６参照）とを比較する。
【００５６】
（ii）ステップ９０２
同期コード検出部１１０４１は、ステップ９０１の処理の結果、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）を検出できたか判断する。つまり、同期コード検出部１１０４１は、受信した画像データが、固定値である１ｓｔワード、２ｎｄワード（例えば、０ｘ００３ＦＦ）、および３ｒｄワードと、Ｖブランクか否かを示す情報（Ｖ）、画像エリアか否かを示す情報（Ｆ）、および同期コード種別を示す情報（Ｈ：ＳＡＶの場合、Ｈ＝０）が変動する４ｔｈワード（０ｘＡ５２ＡＡ）とで構成された同期コード（１Ｈ目ＳＡＶ）と完全一致するか否か判定する。完全一致する場合（ステップ９０２でＹｅｓの場合）には、処理はステップ９０３に移行する。一方、１ビットでも異なる場合（ステップ９０２でＮｏの場合）には、処理はステップ９０４に移行する。
【００５７】
（iii）ステップ９０３
同期コード検出部１１０４１は、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）と完全一致するコードが画像データにおいて検出できたことを示すイネーブルフラグ信号（例えば、sav1st＝１）をタイミングコントローラ１１０４５に出力する。
【００５８】
（iv）ステップ９０４
同期コード検出部１１０４１は、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）と完全一致するコードが画像データにおいて検出できなかったことを示すイネーブルフラグ信号（例えば、sav1st＝０）をタイミングコントローラ１１０４５に出力する。
【００５９】
＜データ比較処理＞
図１０は、データ比較部１１０４２における処理内容を説明するためのフローチャートである。ここでは、動作主体をデータ比較部１１０４２として各ステップの処理について説明するが、プログラムで比較処理を実現している場合には演算ユニットとすることも可能である。
【００６０】
（i）ステップ１００１
データ比較部１１０４２は、ワードアライン処理部１１０３から受信した所望の画像データと、１Ｈ目の同期コード（１Ｈ目ＳＡＶ）に含まれる１ｓｔワードと２ｎｄワードから構成される固定コード（例えば、０ｘ００３ＦＦ）およびＨブランキングデータ（例えば、０ｘ０７Ｃ１Ｆ）とを比較する（各ビット単位で一致するか否かを比較）。
【００６１】
（ii）ステップ１００２
データ比較部１１０４２は、ステップ１００１の比較結果から、画像データとタイミングコードとの一致数（ａ）と、画像データとＨブランキングデータとの一致数（ｂ）を算出する。
【００６２】
（iii）ステップ１００３
データ比較部１１０４２は、ａがｂよりも大きいか（ａ＞ｂ）判定する。ａ＞ｂである場合（ステップ１００３でＹｅｓの場合）、処理はステップ１００４に移行する。一方、ａ≦ｂである場合（ステップ１００３でＮｏの場合）、処理はステップ１００５に移行する。
【００６３】
（iv）ステップ１００４
データ比較部１１０４２は、ａ＞ｂであることを示すイネーブル信号（例えば、sav1st_like＝１）をタイミングコントローラ１１０４５に出力する。
【００６４】
（v）ステップ１００５
データ比較部１１０４２は、ａ≦ｂであること（ａ＞ｂではないこと）を示すイネーブル信号（例えば、sav1st_like＝０）をタイミングコントローラ１１０４５に出力する。
【００６５】
＜制御信号出力処理＞
図１１は、タイミングコントローラ１１０４５による、画像処理部１１０５への制御信号出力処理を説明するためのフローチャートである。ここでは、動作主体をタイミングコントローラ１１０４５として各ステップの処理について説明するが、プログラムで比較処理を実現している場合には演算ユニットとすることも可能である。
【００６６】
（i）ステップ１１０１
タイミングコントローラ１１０４５は、Ｈブランキング中の画像データについて、同期コード検出部１１０４１から受信したイネーブルフラグ信号（sav1st信号）と、１Ｈ目ＳＡＶ推測部１１０４４から受信したイネーブルフラグ信号（sav1st_like信号）とが共にイネーブルか（ともにフラグが“１”か）判定する。共にイネーブルである場合（ステップ１１０１でＹｅｓの場合）、処理はステップ１１０２に移行する。一方、sav1st信号とsav1st_like信号とが一致しない場合（ステップ１１０１でＮｏの場合）処理は、ステップ１１０３に移行する。なお、sav1st信号とsav1st_like信号とが一致しない場合とは、sav1st＝０で、sav1st_like＝１の場合をいう。また、両者が一致していたとしても、sav1st＝０で、sav1st_like＝０となることは実用上成立しないため、除かれる。
【００６７】
（ii）ステップ１１０２
タイミングコントローラ１１０４５は、例えば、同期コード（１Ｈ目ＳＡＶ）が正確に検出できたと判定し、画像処理部１１０５に対して、当該画像データを信頼性あるフレームとして受信してもよいことを示す情報（例えば、ＮＧフレーム信号＝０）を出力する。
【００６８】
画像処理部１１０５は、同期補償部１１０４で信頼性があると判断された画像データ（フレームデータ）を受信し、プロセッサ２００に対して送信するために必要な画像処理を当該画像データに対して実行し、処理された画像データをプロセッサ２００に送信する。
【００６９】
（iii）ステップ１１０３
タイミングコントローラ１１０４５は、例えば、同期コード（１Ｈ目ＳＡＶ）が正確に検出できなかったと判定し、画像処理部１１０５に対して、当該画像データにフレームは信頼性が低いことを示す情報（ＮＧフレーム信号＝１）を出力する。
【００７０】
画像処理部１１０５は、タイミングコントローラ１１０４５からのＮＧフレーム信号＝１に応答して、同期補償部１１０４で信頼性が低いと判断された画像データ（フレームデータ）を受信せず、あるいは受信したとしても正しいフレームデータとしては取り扱わないようにし、プロセッサ２００に対して送信するために必要な画像処理を当該画像データに対して実行し、処理された画像データをプロセッサ２００に送信する。
【００７１】
以上のように、本実施形態では、所望の画像データと同期コード（１Ｈ目ＳＡＶ））との完全一致を判定するだけでなく、所望の画像データが同期コード（１Ｈ目ＳＡＶ）らしいコード（ａ＞ｂを満たすコード：１Ｈ目ＳＡＶに類似するコード）を検出するようにしている。そして、同期コード（１Ｈ目ＳＡＶ）との完全一致があったか否かを示す情報（sav1st信号）と同期コード（１Ｈ目ＳＡＶ）らしいコードが検出できたか否かを示す情報（sav1st_like信号）とに応じて後段の画像処理部１１０５に当該フレームデータをそのまま用いて良いか、あるいは補正処理や置換処理を実行すべきか通知する。これにより、同期が取れた画像データの伝送を保証し、映像信号を正常に出力できるようになる。
【００７２】
＜本開示のまとめ＞
本実施形態によれば、同期補償回路の後段に設置された画像処理回路においてフレームデータ処理が行われないという状態の発生を回避することができるようになる。
【００７３】
（i）特定事項１
所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償回路であって、
前記所望の画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力する同期コード検出部と、
ブランキングデータと前記所望の画像データとの一致数を示す第１値と、前記１水平ライン目の同期コードと前記所望の画像データとの一致数を示す第２値との関係から、前記１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力する同期コード推測部と、
前記第１情報および前記第２情報に基づいて前記制御情報を生成して前記画像処理部に出力するタイミングコントローラと、
を備える同期補償回路。
【００７４】
（ii）特定事項２
特定事項１において、
前記同期コード検出部は、前記所望の画像データが前記１水平ライン目の同期コードと完全に一致するコードを含むか否か判断し、完全一致したことを示すイネーブル信号を前記第１情報として出力する、同期補償回路。
【００７５】
（iii）特定事項３
特定事項１または２において、
前記同期コード推測部は、前記第１値が前記第２値よりも大きい場合に、前記所望の画像データに前記１水平ライン目の同期コードに少なくとも類似するコードを検出できたことを示すイネーブル信号を前記第２情報として出力する、同期補償回路。
【００７６】
（iv）特定事項４
特定事項１から３の何れか１項において、
前記タイミングコントローラは、前記第１情報と前記第２情報とが一致する場合以外は、前記所望の画像データの信頼性が低いことを示す第３情報を前記画像処理部に出力する、同期補償回路。
【００７７】
（v）特定事項５
特定事項４において、
前記タイミングコントローラは、Ｈブランキング期間中において、前記第１情報と前記第２情報とが一致するか判断する、同期補償回路。
【００７８】
（vi）特定事項６
光を被検体に照射して得られる像を撮像する撮像素子と、
前記撮像素子からの画像データを受信してプロセッサ側に送信する受信回路と、を備え、
前記受信回路は、特定事項１から５の何れか１項に記載の同期補償回路を含む、内視鏡装置。
【００７９】
（vii）特定事項７
特定事項６に記載の内視鏡装置と、
前記内視鏡装置が接続され、前記受信回路から画像データを取得して処理するプロセッサと、
前記プロセッサによって処理された画像を表示する表示装置と、
を備える内視鏡システム。
【００８０】
（viii）特定事項８
撮像素子によって取得された画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償方法であって、
同期コード検出部が、前記画像データが１水平ライン目の同期コードを含むか否か判断し、当該１水平ライン目の同期コードが検出できたか否かを示す第１情報を出力することと、
同期コード推測部が、ブランキングデータと前記画像データとの一致数を示す第１値と、前記１水平ライン目の同期コードと前記画像データとの一致数を示す第２値との関係から、前記１水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第２情報を出力することと、
タイミングコントローラが、前記第１情報および前記第２情報に基づいて前記制御情報を生成して前記画像処理部に出力することと、
を含む同期補償方法。
【符号の説明】
【００８１】
１  電子内視鏡システム
１００  電子スコープ（内視鏡装置）
２００  プロセッサ
１１０  受信回路
１１０４  同期補償部（同期補償回路）
１１０４１  同期コード検出部
１１０４２  データ比較部
１１０４３  データ一致数加算部
１１０４４  １Ｈ目ＳＡＶ推測部
１１０４５  タイミングコントローラ
【図１】
2020014065.tif 000003
【図２】
2020014065.tif 000004
【図３】
2020014065.tif 000005
【図４】
2020014065.tif 000006
【図５】
2020014065.tif 000007
【図６】
2020014065.tif 000008
【図７】
2020014065.tif 000009
【図８】
2020014065.tif 000010
【図９】
2020014065.tif 000011
【図１０】
2020014065.tif 000012
【図１１】
2020014065.tif 000013