(57)【要約】【課題】伝送エラーを起こした伝送路があった場合でも映像出力を途切れさせない撮像制御技術を提供する。【解決手段】分離型撮像装置１００は、カメラヘッド１０から複数本の伝送路２００で映像を取得する。伝送エラー検出部３０は、複数本の伝送路２００から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する。補正方法判断・指示部４０および信号処理部２０は、エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する。【選択図】図１
2017175403.tif 000002
【特許請求の範囲】
【請求項１】
カメラヘッドから複数本の伝送路で映像を取得する撮像制御装置であって、
複数本の伝送路から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する検出部と、
エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する補正部とを含むことを特徴とする撮像制御装置。
【請求項２】
複数本の伝送路への映像信号の出力を切り替えることにより、カメラヘッドから複数本の伝送路により伝送される映像データを伝送路間で入れ替える切替部をさらに含むことを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
カメラヘッドに送信する読み出し位置制御信号を用いて撮像素子の読み出し開始位置を変化させることにより、カメラヘッドから複数本の伝送路に伝送される映像データを伝送路間で入れ替える制御信号出力部をさらに含むことを特徴とする請求項１に記載の撮像制御装置。
【請求項４】
前記検出部は、ライン間で映像データの水平周波数成分および色成分の少なくとも一方を比較し、特定ラインと他のラインの相関性によって前記特定ラインに対応する伝送路のエラーの有無を検出するこことを特徴とする請求項１から３のいずれかに記載の撮像制御装置。
【請求項５】
前記検出部は、特定ラインの映像データと、前記特定ラインの上下ラインの映像データの補間により生成される映像データとを比較することにより、前記特定ラインに対応する伝送路のエラーの有無を検出することを特徴とする請求項１から４のいずれかに記載の撮像制御装置。
【請求項６】
前記検出部は、現在のフレームの映像データと過去のフレームの映像データをライン単位で比較し、特定ラインと他のラインの相関性によって前記特定ラインに対応する伝送路のエラーの有無を検出することを特徴とする請求項１から５のいずれかに記載の撮像制御装置。
【請求項７】
カメラヘッドから複数本の伝送路で映像を取得する撮像制御方法であって、
複数本の伝送路から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する検出ステップと、
エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する補正ステップとを含むことを特徴とする撮像制御方法。
【請求項８】
カメラヘッドから複数本の伝送路で映像を取得する撮像制御プログラムであって、
複数本の伝送路から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する検出ステップと、
エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する補正ステップとをコンピュータに実行させることを特徴とする撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラヘッドから複数本の伝送路で映像を取得する撮像制御技術に関する。
【背景技術】
【０００２】
車載カメラや医療用カメラなどを用いた撮影環境では、使用中に映像出力が停止すると安全や生命に関わる不測の事態につながる虞がある。車載カメラや医療用カメラでは、カメラヘッドとカメラコントロールユニットを複数本の伝送路で接続した分離型撮像装置が用いられることが多いが、伝送路において何らかのエラーが発生した場合、映像が途切れることになる。
【０００３】
特許文献１には、動画像を圧縮符号化して複数の伝送路で送受信する無線伝送装置において、一方の伝送路にエラーが混入しても他方の伝送路から得られた信号によって画像を再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２２３４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される技術は、無線通信におけるノイズの影響などによる一時的なエラーに対応したものであり、有線通信における伝送路の断線など永続的なエラーに対応するものではない。また、特定の伝送路が常にエラーを起こしている場合には、映像におけるエラーの発生個所が固定化され、画質が劣化するという問題があった。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、伝送エラーを起こした伝送路があった場合でも映像出力を途切れさせない撮像制御技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の撮像制御装置は、カメラヘッド（１０）から複数本の伝送路（２００）で映像を取得する撮像制御装置（１００）であって、複数本の伝送路（２００）から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する検出部（３０）と、エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する補正部（４０、２０）とを含む。
【０００８】
本発明の別の態様は、撮像制御方法である。この方法は、カメラヘッドから複数本の伝送路で映像を取得する撮像制御方法であって、複数本の伝送路から取得される複数ラインの映像データに対してライン単位で相関を評価することにより少なくとも１本以上の伝送路のエラーの有無を検出する検出ステップと、エラー検出時に正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する補正ステップとを含む。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、伝送エラーを起こした伝送路があった場合でも映像出力が途切れることがない。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る分離型撮像装置の構成図である。
【図２】図２（ａ）〜図２（ｄ）は、ある画像領域の８ラインの輝度信号を表す図である。
【図３】図３（ａ）〜図３（ｄ）は、図２（ａ）〜図２（ｄ）の映像データを伝送チャンネル毎に分けて表示した図である。
【図４】図４（ａ）、図４（ｂ）は、それぞれ図２（ａ）、図２（ｂ）に対して第４チャンネルが断線などで画素値が黒に固定された場合を示す図である。
【図５】図５（ａ）、図５（ｂ）は、それぞれ図２（ａ）、図２（ｂ）に対して第４チャンネルに高周波のノイズが発生し、画素値が白と黒を繰り返す信号になった場合を示す図である。
【図６】伝送エラーが発生していない画像を説明する図である。
【図７】ある特定のチャンネルに伝送エラーが発生した場合の画像を説明する図である。
【図８】図８（ａ）〜図８（ｃ）は、縦線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【図９】図９（ａ）〜図９（ｄ）は、斜め線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【図１０】図１０（ａ）〜図１０（ｃ）は、横線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【図１１】図１１（ａ）および図１１（ｂ）は、カメラヘッドからの映像信号の出力と複数の伝送路間の接続を切り替えるセレクタの構成と動作を説明する図である。
【図１２Ａ】エラーがない場合の映像の第１フレームを示す図である。
【図１２Ｂ】エラーがない場合の映像の第２フレームを示す図である。
【図１３Ａ】８本のチャンネルへの映像信号の出力が固定されている場合に、１本のチャンネルにエラーが発生した映像の第１フレームを示す図である。
【図１３Ｂ】８本のチャンネルへの映像信号の出力が固定されている場合に、１本のチャンネルにエラーが発生した映像の第２フレームを示す図である。
【図１４Ａ】８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第１フレームを示す図である。
【図１４Ｂ】８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第２フレームを示す図である。
【図１５Ａ】８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第１フレームを示す図である。
【図１５Ｂ】８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第２フレームを示す図である。
【図１６】エラーがない場合の映像の見え方を説明する図である。
【図１７Ａ】図１３Ａの第１フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレームを示す図である。
【図１７Ｂ】図１３Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第２補正フレームを示す図である。
【図１７Ｃ】図１７Ａの第１補正フレームと図１７Ｂの第２補正フレームの合成画像を示す図である。
【図１８Ａ】図１４Ａの第１フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレームを示す図である。
【図１８Ｂ】図１４Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第２補正フレームを示す図である。
【図１８Ｃ】図１８Ａの第１補正フレームと図１８Ｂの第２補正フレームの合成画像を示す図である。
【図１９Ａ】図１５Ａの第１フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレームを示す図である。
【図１９Ｂ】図１５Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第２補正フレームを示す図である。
【図１９Ｃ】図１９Ａの第１補正フレームと図１９Ｂの第２補正フレームの合成画像を示す図である。
【図２０】読み出し開始ライン制御信号が与えられた場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。
【図２１】別の読み出し開始ライン制御信号が与えられた場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。
【図２２】同期基準信号に合わせて読み出し開始ライン制御信号を変更した場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。
【図２３】実施の形態３の分離型撮像装置の構成図である。
【図２４】実施の形態４の分離型撮像装置の構成図である。
【発明を実施するための形態】
【００１２】
図１は、実施の形態１に係る分離型撮像装置１００の構成図である。この図に従って分離型撮像装置１００の構成要素と構成要素間の信号の流れを説明する。
【００１３】
分離型撮像装置１００は、カメラヘッド１０とカメラコントロールユニット９０を備える。カメラヘッド１０とカメラコントロールユニット９０は、映像信号を伝送する複数本の伝送路２００と同期信号や制御信号をやり取りする双方向の伝送路２１０で接続される。
【００１４】
カメラヘッド１０がカメラコントロールユニット９０から分離しているため、カメラヘッド１０をカメラコントロールユニット９０から離れた位置に設置したり、カメラヘッド１０を動かして被写体に近づけることができる。分離型撮像装置１００の一例は、内視鏡カメラや車載カメラであるが、用途はこれらに限定されるものではない。
【００１５】
カメラヘッド１０は、レンズなどの光学系、撮像素子、光学系と撮像素子を制御・駆動する回路、および複数本の伝送路２００に映像データを送信する回路を備える。カメラヘッド１０により撮像された映像データは複数本の伝送路２００を介してカメラコントロールユニット９０に伝送される。特に４Ｋ、８Ｋなどの高解像度の映像の場合、単一の伝送路では伝送が困難であり、複数本の伝送路２００が必要である。伝送路２００の本数はたとえば８本であり、カメラヘッド１０の撮像素子から順次８ラインの映像データが読み出され、ライン毎に８本の伝送路に分配されて伝送される。伝送路２００の本数は８本に限られない。
【００１６】
カメラコントロールユニット９０は、信号処理部２０、伝送エラー検出部３０、補正方法判断・指示部４０、および同期信号制御信号出力部５０を含む。
【００１７】
信号処理部２０は、複数本の伝送路２００から映像データを受信し、ノイズ除去、ホワイトバランス、ガンマ補正、ＹＣ分離、ゲイン調整などのカメラ信号処理を行い、映像信号を出力する。
【００１８】
伝送エラー検出部３０は、複数本の伝送路２００から受信された複数ラインの映像データに対してライン単位の相関検出を行うことにより少なくとも１本以上の伝送路２００のエラーの有無を検出する。
【００１９】
補正方法判断・指示部４０は、エラーのある伝送路が検出された場合、補正方法を判断し信号処理部２０に補正を指示する。信号処理部２０は指示された補正方法にしたがって、正常に伝送された伝送路の映像データを用いてエラーを起こした伝送路の映像データを補間することにより映像を補正する。このように補正方法判断・指示部４０と信号処理部２０が連携して「補正部」の機能を実行する。
【００２０】
同期信号制御信号出力部５０は、双方向の伝送路２１０を介して同期信号および制御信号をカメラヘッド１０に供給し、撮像素子からの映像信号の出力のタイミングの同期制御を行う。
【００２１】
伝送エラー検出部３０による画像の相関検出によるエラー検出について詳しく説明する。相関検出は、複数の伝送路２００にどのように伝送データを分配するかなどにより、その方法が変わるが、ここでは説明を簡単にするためにカメラヘッド１０からの８ラインのデータがライン毎に８本の伝送路（チャンネルｃｈ１〜ｃｈ８と呼ぶ）に分配されて伝送される場合について述べる。したがって、以下の説明では第１チャンネルｃｈ１〜第８チャンネルｃｈ８は、そのまま第１ラインＬ１〜第８ラインＬ８に対応しており、チャンネルをラインと読み替えても説明がそのまま成り立つが、後述のようにセレクタ６０によってチャンネルとラインの対応関係を切り替えることがあるので、「チャンネルに対応するライン」あるいは「ラインに対応するチャンネル」と記述することにより、相互の対応関係を明確にすることがある。
【００２２】
図２（ａ）〜図２（ｄ）は、ある画像領域の８ラインの輝度信号を表す図である。図２（ａ）はその領域に含まれる映像が縦線の成分のみである場合、図２（ｂ）は横線の成分のみの場合、図２（ｃ）は斜め線の成分のみの場合、図２（ｄ）は縦線、横線、斜め線すべての成分が含まれる場合を示す。図２（ｄ）のようなパターンは、映像の変化点において現れる。この他、局所的な領域では信号が全く変化しない場合も存在するが、これに関しては省略し、前述の４種類の映像に関して第１の相関検出方法として水平方向の周波数成分による相関検出の方法を説明する。
【００２３】
図３（ａ）〜図３（ｄ）は、図２（ａ）〜図２（ｄ）の映像データを伝送チャンネル毎に分けて表示した図である。
【００２４】
図３（ａ）の場合、この領域の映像は縦線の成分のみであるため、各チャンネルの水平周波数成分は一致している。
【００２５】
図３（ｂ）の場合、この領域の映像は横線の成分のみであるため、垂直方向には成分の差があるが、水平方向の周波数成分はいずれのチャンネルもゼロであり、各チャンネルの水平周波数成分は一致している。
【００２６】
図３（ｃ）の場合、この領域の映像は斜め線の成分のみであるため、図３（ｅ）に示すように各チャンネルの位相をずらすと、図３（ａ）の縦線の成分のみの場合と同様に水平周波数成分が一致していることが分かる。
【００２７】
図３（ｄ）の場合、同様に図３（ｆ）のように各チャンネルの位相をずらした場合、第１チャンネルｃｈ１から第５チャンネルｃｈ５の水平周波数成分は一致しているが、第６チャンネルｃｈ６から第８チャンネルｃｈ８の部分では左側は水平周波数成分は一致しているが右側では水平周波数成分は一致しないことが分かる。
【００２８】
しかしながら、図２（ｄ）は局所的な部分を抜き出したものであり、実際の映像の１ラインは水平方向にフルハイビジョンの映像では１９２０画素有り、ライン全体でみた場合、そのすべての局所的な領域が図２（ｄ）のような映像の変化点であることはまれであり、図２（ａ）、図２（ｂ）、図２（ｃ）で示したような縦線、横線、斜め線の成分のみで構成された領域が多くを占める。従って、各チャンネルの局所的な領域の水平周波数成分を比較し、その類似性を１ラインにわたって積算することで各チャンネルの水平周波数成分の類似性の指標を得ることできる。この積算された類似性の指標により、８本の伝送路２００から送られてきた画像信号が連続した映像を構成する８ラインのデータかどうか、すなわち伝送エラーが発生していない正常なデータかどうかを判断することができる。
【００２９】
上記の説明では、説明上、局所的な映像信号を目視して直観的に類似性を判断したが、実際の伝送エラー検出部３０における処理では、離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）や複数種類の特定の帯域通過フィルターの出力レベルの比較などにより水平周波数成分を求め、ライン間で水平周波数成分の比較を行う。
【００３０】
ここで、あるチャンネルに伝送エラーがあった場合を説明する。
【００３１】
図４（ａ）、図４（ｂ）は、それぞれ図２（ａ）、図２（ｂ）に対して第４チャンネルｃｈ４が断線などで画素値が黒に固定された場合を示す図である。図５（ａ）、図５（ｂ）は、それぞれ図２（ａ）、図２（ｂ）に対して第４チャンネルｃｈ４に高周波のノイズが発生し、画素値が白と黒を繰り返す信号になった場合を示す図である。
【００３２】
図４（ａ）の場合、伝送エラー検出部３０が各チャンネルの水平周波数成分を比較する際、第４チャンネルｃｈ４のみが常に水平周波数成分がゼロであり、他のチャンネルと相関がないと判断する。これにより、伝送エラー検出部３０は、他のチャンネルとの相関性がない第４チャンネルｃｈ４にエラーが発生したことを検出する。
【００３３】
図４（ｂ）の場合、伝送エラー検出部３０が各チャンネルの水平周波数成分を比較しても、エラーが起きていない時と同様、第４チャンネルｃｈ４を含めてすべてのチャンネルの水平周波数成分がゼロであることから、第４チャンネルｃｈ４のエラーを検出することができない。
【００３４】
図５（ａ）および図５（ｂ）の場合、伝送エラー検出部３０が各チャンネルの水平周波数成分を比較する際、第４チャンネルｃｈ４のみが他のチャンネルよりも常に高い水平周波数成分を発生させており、他のチャンネルと相関が無いと判断する。これにより、他のチャンネルとの相関性がない第４チャンネルｃｈ４にエラーが発生したことを検出する。
【００３５】
このように各チャンネルの水平周波数成分の比較により、チャンネル間の相関性の有無をある程度判断し、エラーが発生したチャンネルを検出することができる。もっとも図４（ｂ）の場合のように、エラーの有無を検出できないこともあるため、この検出手法のみで最終的な判断を下すには信頼性の面でさらなる改善の余地がある。そこで、実際には複数の判定手段により総合的にエラーチャンネルの検出を行うことがより好ましい。以下、他の検出手法を説明する。
【００３６】
第２の検出方法では、各チャンネルの色成分を比較することにより、チャンネル間の相関を評価し、エラーのあるチャンネルを検出する。色信号は輝度信号に対して周波数帯域が低い。そのため色の境界部分では色成分に差が発生するが、ある特定のラインだけが異なる色になることはまずないと考えられる。色信号のこの性質を用いれば、チャンネル間の色成分を相関の有無から特定のチャンネルのエラーを検出することができる。
【００３７】
図６は、伝送エラーが発生していない画像を説明する図である。画像の下は道路、中央付近には前方を走る車や対向車、画面両側には建物や標識（図示しない歩行者）など、画面上部に空がある。この中で、空以外の領域は比較的動きもあり高い周波数成分を多く含むが、空の領域は比較的変化も少なくコントラストが低い。
【００３８】
図７は、ある特定のチャンネルに伝送エラーが発生した場合の画像を説明する図である。８ライン単位で８本の伝送路を使用して映像データを伝送する場合、ある特定のチャンネルがエラーになった場合、図７の破線部分のように伝送エラーを起こしているチャンネルのライン出力だけが他のラインとは異なる色になる。このような場合、変化の少ない空の領域に着目してライン間で色成分を比較して、相関の有無を評価することで、正しい伝送が行われているチャンネルとエラーを起こしているチャンネルの分離の精度を上げることが可能となる。
【００３９】
第３の検出方法では、画像の垂直方向の信号を比較することにより、チャンネル間の相関を評価し、エラーのあるチャンネルを検出する。チャンネルにまたがった信号を扱うため、選択した特定チャンネルに対応する特定ラインの映像データと、その特定ラインの上下ラインの映像データの補間により作成された映像データとを比較し、類似性があると判断された場合は、その特定ラインに対応するチャンネルにはエラーが発生していないと判定する。
【００４０】
図８〜図１０を参照して、第３の検出方法を説明する図である。図８（ａ）〜図８（ｃ）は、縦線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【００４１】
図８（ａ）に示す縦線の成分のみを含む画像に対して第４ラインＬ４に対応するチャンネルが正常かどうかを検出するために、第４ラインＬ４の上下ラインである第３ラインＬ３の画素と第５ラインＬ５の画素を補間した画像を作成する。たとえば、第３ラインＬ３の画素と第５ラインＬ５の画素の平均値を取ることにより補間画像を生成する。補間の結果、Ｌ３とＬ５がともに白のところは白、ともに黒のところは黒、一方が白でもう一方が黒のところは灰色になる。
【００４２】
図８（ｂ）は、第３ラインＬ３と第５ラインＬ５の間に、第３ラインＬ３の画素と第５ラインＬ５の画素の平均を取ることにより補間した画像を示す図である。図８（ｃ）に示すように、補間データ（Ｌ３＋Ｌ５）／２は、第４ラインＬ４のデータと一致する。第４ラインＬ４に対応するチャンネルにエラーが発生した場合、第４ラインＬ４のデータは補間データ（Ｌ３＋Ｌ５）／２に一致しなくなるため、類似性を評価して第４ラインＬ４に対応するチャンネルのエラーの有無を検出することができる。
【００４３】
図９（ａ）〜図９（ｄ）は、斜め線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【００４４】
図９（ａ）に示す斜め線の成分のみを含む画像に対して第４ラインＬ４に対応するチャンネルが正常かどうかを検出するために、第４ラインＬ４の上下ラインである第３ラインＬ３の画素と第５ラインＬ５の画素を補間した画像を作成する。図９（ｂ）は、第３ラインＬ３と第５ラインＬ５の間に、第３ラインＬ３の画素と第５ラインＬ５の画素の平均を取ることにより補間した画像を示す図である。図９（ｃ）に示すように、補間データ（Ｌ３＋Ｌ５）／２は、第４ラインＬ４のデータと完全には一致しないが、図９（ｄ）に示すように、白を１００、黒を０、灰色を５０のグラフで両者のデータを表現すると、その波形が類似していることが分かる。したがって、第４ラインＬ４に対応するチャンネルにエラーが発生した場合、第４ラインＬ４のデータと補間データ（Ｌ３＋Ｌ５）／２の間で信号の類似性を評価して第４ラインＬ４に対応するチャンネルのエラーの有無を検出することができる。
【００４５】
図１０（ａ）〜図１０（ｃ）は、横線の成分のみを含む画像に対する第３の検出方法によるチャンネルのエラー検出を説明する図である。
【００４６】
図１０（ａ）に示す横線の成分のみを含む画像に対して第４ラインＬ４に対応するチャンネルが正常かどうかを検出するために、第４ラインＬ４の上下ラインである第３ラインＬ３の画素と第５ラインＬ５の画素を補間した画像を作成する。図１０（ｂ）は、第３ラインＬ３と第５ラインＬ５の間に、第３ラインＬ３の画素と第５ラインＬ５の画素の平均を取ることにより補間した画像を示す図である。図１０（ｃ）に示すように、補間データ（Ｌ３＋Ｌ５）／２は、第４ラインＬ４のデータと一致しない。図１０（ａ）のような垂直方向に相関のない横線の成分のみの画像の場合、第３の検出方法ではエラーの発生したチャンネルを特定することはできない。そのため、他の検出方法と組み合わせて最終判断することが望ましい。
【００４７】
第４の検出方法では、フレームメモリを用いて１フレーム前の同じ座標近辺のデータを比較することによりエラーを検出する。きわめて激しい動きのある映像でない限り１フレーム前の映像と現在の映像は、ほぼ同じ映像と考えることができる。そこで、フレーム間で画素値を比較し特定のチャンネルのみ多くの相違点がある場合、そのチャンネルにエラーが発生して信号が不安定になっていると判断することができる。
【００４８】
伝送エラー検出部３０は、以上述べたような複数種類の検出方法による判定結果を総合的に判断してエラーチャンネルの検出を行う。
【００４９】
前述の説明では８チャンネルの内、１チャンネルのエラーに関して述べたが、複数チャンネルがエラーになる場合も考えられる。しかし、正常に分離型撮像装置１００を起動した後で特定のチャンネルがエラーになる場合、多くても１〜２本のチャンネルがエラーになると考えるのが妥当である。伝送チャンネルの半分以上がエラーになる場合、分離型撮像装置１００の起動時にすでに多くのエラーが発生している状況であると考えられる。これは最初から装置の使用を中止して修理が必要となる場合である。また、使用開始時には問題が無い状況でも事故などで突然複数チャンネルがエラーになる場合もあるが、この場合は強い衝撃を受けても断線しないなど、映像信号処理とは別の対応が必要と考えられる。
【００５０】
伝送エラー検出部３０により、複数種類の検出方法を適宜組み合わせて映像信号のライン単位の相関を評価した結果、特定のチャンネルのエラーが検出された場合、補正方法判断・指示部４０は、エラーチャンネルのデータの使用を禁止することと、エラーチャンネルに対応するラインの周辺のデータを伝送した他のチャンネルのデータから補間処理によりエラーチャンネルのデータを生成することを信号処理部２０に指示する。補間処理は、一般的なバイリニア方式や高次関数による補間、相関値を補間の際の重み付けに利用した補間などシステムに求められる画質を確保できる方式であればいずれの方法でもよい。
【００５１】
伝送エラーチャンネルを他のチャンネルの映像データによる補間で補う際、一定の画質劣化は避けられない。そこで、常に固定化された場所の画質が周囲に比べて劣化するのを防ぐために、一定周期で複数の伝送路２００に送る映像信号を入れ替える方法を採用する。ここではもっとも単純な切り替え方式としてフレーム毎に奇数ラインと偶数ラインのチャンネルを入れ替える手法に関して説明する。
【００５２】
図１１（ａ）および図１１（ｂ）は、カメラヘッド１０からの映像信号の出力と複数の伝送路２００間の接続を切り替えるセレクタ６０の構成と動作を説明する図である。
【００５３】
図１１（ａ）に示すように、カメラヘッド１０からの８本の出力はセレクタ６０を介して８本の伝送路２００に接続される。セレクタ６０が存在しない場合、カメラヘッド１０の出力ｉはチャンネルｃｈｉで伝送され、カメラコントロールユニット９０の入力ｉになる（ここでｉ＝１〜８）が、セレクタ６０は、一般にカメラヘッド１０の出力ｉをチャンネルｃｈｊ（ここでｊ≠ｉ）に切り替えることができる。
【００５４】
ここでは、一例として、セレクタ６０は、８本の伝送路にカメラヘッドの８本の出力をライン毎に送る場合に、奇数ラインと偶数ラインの入力を適時入れ替える。図１１（ｂ）は、セレクタ６０の内部の状態を示したもので、一例として、奇数フレームでは入力１の信号を出力１に、入力２の信号を出力２にそのまま出力し、偶数フレームでは入力１の信号を出力２に、入力２の信号を出力１に入れ替えて出力する。
【００５５】
このようにセレクタ６０による切り替え動作をすることで、第４チャンネルｃｈ４に不具合があった場合、奇数フレームではカメラヘッド１０の出力４の情報が正しく伝送されないが、偶数フレームではカメラヘッド１０の出力４は正常な第３チャンネルｃｈ３を介してカメラコントロールユニットの入力３に正しく伝送され、他方、カメラヘッド１０の出力３のデータは第４チャンネルｃｈ４で伝送されるため、正常に伝送されないことになる。
【００５６】
この場合、補間処理によって、奇数フレームではカメラヘッド１０の出力４に相当する部分の画像が他のチャンネルからの補間信号となり、偶数フレームではカメラヘッド１０の出力３に相当する部分の画像が他のチャンネルからの補間信号となる。すなわちエラーチャンネルは常に第４チャンネルｃｈ４であるが、第４チャンネルｃｈ４で伝送されるカメラヘッド１０の出力ラインが入れ替わるため、実際の映像では補間されるラインが奇数フレームと偶数フレームでは異なる。
【００５７】
上記のようなセレクタ６０による切り替え動作をしない場合、エラーの発生した第４チャンネルｃｈ４にカメラヘッド１０の出力４が固定的に接続されているため、常にカメラヘッドの出力４に相当するラインの画質が若干劣化した画像となる。他方、上記のようなセレクタ６０による切り替え動作を行う場合、フレーム毎にカメラヘッドの出力４の部分の画質が若干劣化した画像と出力３の部分の画質が若干劣化した画像が交互に表示される。瞬間の画像を静止画として取り出した場合は、セレクタ６０による切り替え動作をしない場合と同様の画質であるが、動画として観測した場合、視覚の残像効果により、劣化するラインが入れ替わるため、画質劣化が緩和されて観測されるという利点がある。
【００５８】
これは、常にすべてのフレームデータを表示するプログレッシブ方式の画像表示ではなく、偶数ラインのみから構成される偶数フィールドと奇数ラインのみから構成される奇数フィールドを交互に表示することでフレーム画像を表示するＮＴＳＣなどのインターレース方式の画像表示と同様の効果である。
【００５９】
ここでは、説明を簡単にするためにフレーム毎に奇数ラインと偶数ラインを入れ替える場合を説明したが、入れ替えるチャンネルの組み合わせや入れ替えタイミングなどはこの限りではない。たとえば、カメラヘッド１０の出力１を一つ隣の第２チャンネルｃｈ２に接続する代わりに、間隔を空けて第４チャンネルｃｈ４に接続してもよい。これにより、補間処理により劣化するラインが間隔を空けて入れ替わることになるため、画質劣化がより緩和される。
【００６０】
図１２Ａ〜図１９Ｃを参照して、セレクタ６０による映像信号の出力と複数の伝送路２００の間の接続を切り替えることによる視覚的な効果を実験例により説明する。
【００６１】
図１２Ａ、図１２Ｂは、エラーがない場合の映像の第１フレーム、第２フレームを示す図である。第１フレームと第２フレームは連続する動画のフレームである。ここでは効果を説明するために便宜上、部分的に拡大した画像を示している。
【００６２】
図１３Ａ、図１３Ｂは、８本のチャンネルへの映像信号の出力が固定されている場合に、１本のチャンネルにエラーが発生した映像の第１フレーム、第２フレームを示す図である。図１３Ａ、図１３Ｂに示すように、図１２Ａの第１フレーム、図１２Ｂの第２フレームに対して８ライン周期のエラーが発生しており、映像においてエラー発生箇所は固定されている。
【００６３】
図１４Ａ、図１４Ｂは、８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第１フレーム、第２フレームを示す図である。ここでは、映像信号の出力を１ラインだけずらして８本のチャンネルに入力されるように切り替える場合を示す。図１４Ａ、図１４Ｂに示すように、図１２Ａの第１フレーム、図１２Ｂの第２フレームに対して８ライン周期のエラーが発生しており、２つのフレーム間でエラー発生箇所は１ラインだけずれている。
【００６４】
図１５Ａ、図１５Ｂは、８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生した映像の第１フレーム、第２フレームを示す図である。ここでは、映像信号の出力を４ラインだけずらして８本のチャンネルに入力されるように切り替える場合を示す。図１５Ａ、図１５Ｂに示すように、図１２Ａの第１フレーム、図１２Ｂの第２フレームに対して８ライン周期のエラーが発生しており、２つのフレーム間でエラー発生箇所は４ラインだけずれている。
【００６５】
図１６は、エラーがない場合の映像の見え方を説明する図である。ここでは、図１２Ａの第１フレームと、図１２Ｂの第２フレームの合成画像を示す。人間の目には連続するフレームの残像として動画が観察されるため、ここでは二つのフレームの合成画像を用いて視覚的な効果を便宜的に説明する。図１６に示すように、エラーがない場合、正常な縞模様が観察される。
【００６６】
図１７Ａ〜図１７Ｃを参照して、８本のチャンネルへの映像信号の出力が固定されている場合に、１本のチャンネルにエラーが発生し、補正処理した映像の視覚的効果を説明する。
【００６７】
図１７Ａ、図１７Ｂは、それぞれ図１３Ａの第１フレーム、図１３Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレーム、第２補正フレームを示す。図１７Ｃは、図１７Ａの第１補正フレームと図１７Ｂの第２補正フレームの合成画像を示す。人間の目には図１７Ｃの合成画像のように見える。エラー箇所が固定されるため、合成画像を見た場合、画質の劣化が目立ってしまう。
【００６８】
図１８Ａ〜図１８Ｃを参照して、８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生し、補正処理した映像の視覚的効果を説明する。
【００６９】
図１８Ａ、図１８Ｂは、それぞれ図１４Ａの第１フレーム、図１４Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレーム、第２補正フレームを示す。第１補正フレーム、第２補正フレームでは補正されるラインが１ラインだけずれている。図１８Ｃは、図１８Ａの第１補正フレームと図１８Ｂの第２補正フレームの合成画像を示す。エラー箇所が１ラインずれるため、合成画像を見た場合、画質の劣化は図１７Ｃと比べて抑えられていることがわかる。
【００７０】
図１９Ａ〜図１９Ｃを参照して、８本のチャンネルへの映像信号の出力を切り替える場合に、１本のチャンネルにエラーが発生し、補正処理した映像の視覚的効果を説明する。
【００７１】
図１９Ａ、図１９Ｂは、それぞれ図１５Ａの第１フレーム、図１５Ｂの第２フレームに対して、エラーが発生したラインの上下ラインを用いてエラーが発生したラインを補間した第１補正フレーム、第２補正フレームを示す。第１補正フレーム、第２補正フレームでは補正されるラインが４ラインだけずれている。図１９Ｃは、図１９Ａの第１補正フレームと図１９Ｂの第２補正フレームの合成画像を示す。エラー箇所が４ラインずれるため、合成画像を見た場合、画質の劣化は図１８Ｃと比べてさらに抑えられていることがわかる。
【００７２】
セレクタ６０を導入する場合、カメラコントロールユニット９０はセレクタ６０による接続の切り替え情報にもとづいてチャンネルの映像出力の順序を並べ直して出力する。このように、セレクタ６０を用いて伝送路に送る映像信号を入れ替える場合、カメラヘッド１０とカメラコントロールユニット９０の間で入れ替え方法を事前に取り決めておく必要がある。この事前の取り決めの必要性をなくす方法を実施の形態２として説明する。
【００７３】
実施の形態２の分離型撮像装置１００は、カメラコントロールユニット９０の同期信号制御信号出力部５０が読み出し位置制御信号をカメラヘッド１０に供給する。この読み出し位置制御信号において指示するカメラヘッド１０の撮像素子の読み出し位置を適時変化させる。以下、この方法を詳しく説明する。
【００７４】
一般的なカメラに使用される撮像素子は、２次元に配置された光電変換素子とその電荷を転送する転送回路で構成される。さらに、このような撮像素子は、２次元に配置された光電変換素子のどの座標からデータを読み出すかを指示して読み出し開始位置を変えることができる機能を有しているものがほとんどである。そこで、この機能を利用して出力チャンネルの切り替えを行う。
【００７５】
図２０は、読み出し開始ライン制御信号が与えられた場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。読み出し開始ライン制御信号による読み出し開始ラインの設定が１である場合、同期基準信号から一定期間後に撮像素子から最初に第１ラインＬ１から信号が出力される。カメラヘッド１０は撮像素子から最初に出力される第１ラインＬ１の映像データを第１チャンネルｃｈ１送信用のラインメモリに書き込み、その後、撮像素子から順次出力される第２ラインＬ２〜第８ラインＬ８の映像データを第２チャンネルｃｈ２〜第８チャンネルｃｈ８送信用のラインメモリに書き込む。８ライン分すべてのラインメモリの書き込みが終了すると、カメラヘッド１０は、８ライン分の映像信号を８チャンネルの伝送路２００に出力する。
【００７６】
図２０の場合、第１チャンネルｃｈ１には第１ラインＬ１、第２チャンネルｃｈ２には第２ラインＬ２、第３チャンネルｃｈ３〜第８チャンネルｃｈ８にはそれぞれ第３ラインＬ３〜第８ラインＬ８の信号が出力される。次の８ライン分の映像信号の出力タイミングでは、第１チャンネルｃｈ１〜第８チャンネルｃｈ８にはそれぞれ第９ラインＬ９〜第１６ラインＬ１６の信号が出力される。
【００７７】
図２１は、別の読み出し開始ライン制御信号が与えられた場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。読み出し開始ライン制御信号による読み出し開始ラインの設定が３である場合、図２１に示すように、同期基準信号から一定期間後に撮像素子から最初に第３ラインＬ３から信号が出力される。撮像素子から順次出力される第３ラインＬ３〜第１０ラインＬ１０の映像データは第１チャンネルｃｈ１〜第８チャンネルｃｈ８送信用のラインメモリに書き込まれ、８ライン分の映像信号が８チャンネルの伝送路２００に出力される。
【００７８】
図２１の場合、第１チャンネルｃｈ１には第３ラインＬ３、第２チャンネルｃｈ２には第４ラインＬ４、第３チャンネルｃｈ３〜第８チャンネルｃｈ８にはそれぞれ第５ラインＬ５〜第１０ラインＬ１０の信号が出力される。次の８ライン分の映像信号の出力タイミングでは、第１チャンネルｃｈ１〜第８チャンネルｃｈ８にはそれぞれ第１１ラインＬ１１〜第１８ラインＬ１８の信号が出力される。このように、図２０の場合と比較して２ラインずれた信号が各チャンネルの伝送路に出力される。
【００７９】
カメラコントロールユニット９０からカメラヘッド１０に送る読み出し開始ライン制御信号を同期基準信号に合わせて適時変更することで同一チャンネルの伝送路２００から出力される撮像素子のライン番号を変えることが可能になる。
【００８０】
図２２は、同期基準信号に合わせて読み出し開始ライン制御信号を変更した場合の撮像素子出力と各チャンネルに伝送されるデータを説明する図である。同期基準信号に合わせて読み出し開始ライン制御信号を変更し、読み出し開始ラインの設定を１、５、２、６と変化させた場合、第１チャンネルｃｈ１に注目した場合、読み出し開始ラインの設定が１の時は第１ラインＬ１、第９ラインＬ９の信号が出力され、読み出し開始ラインの設定が５の時は第５ラインＬ５、第１３ラインＬ１３の信号が出力され、読み出し開始ラインの設定が２の時は第２ラインＬ２、第１０ラインＬ１０の信号が出力され、読み出し開始ラインの設定が６の時は第６ラインＬ６、第１４ラインＬ１４の信号が出力される。図示を省略するが他のチャンネルについても同様である。
【００８１】
このようにカメラコントロールユニット９０からカメラヘッド１０に送信する読み出し開始ライン制御信号によって撮像素子の読み出し開始ラインを変えることにより、伝送路２００の各チャンネルに入力される映像信号を入れ替えることができる。
【００８２】
この場合、カメラコントロールユニット９０の同期信号制御信号出力部５０が読み出し開始ライン制御信号を生成してカメラヘッド１０に供給することから、カメラコントロールユニット９０は撮像素子のどのラインの映像信号が伝送路２００のどのチャンネルに出力されるかを事前に把握している。したがって、カメラヘッド１０とカメラコントロールユニット９０の間で複数の伝送路２００に出力する映像信号を入れ替えることに関して事前の約束事を決める必要がない。
【００８３】
カメラコントロールユニット９０では、同期信号制御信号出力部５０がカメラヘッド１０に供給する読み出し開始ライン制御信号に合わせて信号処理部２０が各チャンネルの映像信号をずらす処理をして映像を出力すればよい。ここで、８ラインずつ８本の伝送路で送る場合、映像信号の出力ラインをずらす設定値の最大値は７となる。この設定値により出力ラインをずらすために使用されなくなる撮像素子上の画像データが発生するが、一般的な撮像素子は最終的に出力する放送規格などに求められるライン数よりも多くのマージンを持たせて作られているものがほとんどであるため、出力ラインをずらす処理による不具合は起こらない。例えば、読み出し開始ライン制御信号による読み出し開始ラインの設定が３である場合、同期基準信号から一定期間後に撮像素子から最初に第３ラインＬ３から信号が出力されるが、マージンを持たせてあるため、第１ラインＬ１および第２ラインＬ２は出力されなくても不具合は生じない。
【００８４】
図２３は、実施の形態３の分離型撮像装置１００の構成図である。実施の形態３の分離型撮像装置１００では、カメラヘッド１０とカメラコントロールユニット９０との間の複数本の伝送路２００を双方向にして、同期信号制御信号出力部５０からの同期信号と制御信号を双方向の伝送路２００を用いてカメラヘッド１０に送る。同期信号や制御信号は映像信号に比べて情報量が少ないため、複数の伝送路２００に同じ同期信号や制御信号を送り、カメラヘッド１０では正しく送られてきたいずれかの伝送路２００からの信号を使うようにすれば特定のチャンネルの伝送路２００に不具合があった場合でも問題なく動作可能である。
【００８５】
図２４は、実施の形態４の分離型撮像装置１００の構成図である。実施の形態４の分離型撮像装置１００では、カメラヘッド１０とカメラコントロールユニット９０との間の複数本の伝送路２００を双方向にして同期信号を送信する点は、実施の形態３と同様である。制御信号は１フレーム期間中に任意のタイミングでカメラヘッド１０に伝わればよく、同期信号と違って詳細なタイミングを守る必要性がないため、実施の形態４の分離型撮像装置１００では、図２４に示すように制御信号は無線通信によってカメラヘッド１０に送信する。
【００８６】
以上説明したように、実施の形態に係る分離型撮像装置１００によれば、カメラヘッド１０とカメラコントロールユニット９０は複数本の伝送路２００で接続されるが、一部の伝送路２００に不具合があった場合でも他の伝送路２００の映像データを用いて補間することができるので、映像出力が停止されることがない。また、複数の伝送路２００に出力される映像信号を適時切り替えるため、一部の伝送路に継続的な不具合があった場合でも補間による画質劣化の部分が固定化されず、人間の目で見て良好な映像を提供することができる。
【００８７】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８８】
なお、実施の形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【符号の説明】
【００８９】
１０  カメラヘッド、  ２０  信号処理部、  ３０  伝送エラー検出部、  ４０  補正方法判断・指示部、  ５０  同期信号制御信号出力部、  ６０  セレクタ、  ９０  カメラコントロールユニット、  １００  分離型撮像装置、  ２００、２１０  伝送路。
【図１】
2017175403.tif 000003
【図２】
2017175403.tif 000004
【図３】
2017175403.tif 000005
【図４】
2017175403.tif 000006
【図５】
2017175403.tif 000007
【図６】
2017175403.tif 000008
【図７】
2017175403.tif 000009
【図８】
2017175403.tif 000010
【図９】
2017175403.tif 000011
【図１０】
2017175403.tif 000012
【図１１】
2017175403.tif 000013
【図１２Ａ】
2017175403.tif 000014
【図１２Ｂ】
2017175403.tif 000015
【図１３Ａ】
2017175403.tif 000016
【図１３Ｂ】
2017175403.tif 000017
【図１４Ａ】
2017175403.tif 000018
【図１４Ｂ】
2017175403.tif 000019
【図１５Ａ】
2017175403.tif 000020
【図１５Ｂ】
2017175403.tif 000021
【図１６】
2017175403.tif 000022
【図１７Ａ】
2017175403.tif 000023
【図１７Ｂ】
2017175403.tif 000024
【図１７Ｃ】
2017175403.tif 000025
【図１８Ａ】
2017175403.tif 000026
【図１８Ｂ】
2017175403.tif 000027
【図１８Ｃ】
2017175403.tif 000028
【図１９Ａ】
2017175403.tif 000029
【図１９Ｂ】
2017175403.tif 000030
【図１９Ｃ】
2017175403.tif 000031
【図２０】
2017175403.tif 000032
【図２１】
2017175403.tif 000033
【図２２】
2017175403.tif 000034
【図２３】
2017175403.tif 000035
【図２４】
2017175403.tif 000036