(57)【要約】【課題】画像情報とセンシング情報とを並列して出力することができる撮像装置を提供する。【解決手段】撮像装置は、複数の画素が行列状に配置された画素部、前記画素の露光時間を制御する露光制御部、前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、前記第１画像データに対して第１画像処理を実行する第１処理部と前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部を備えており、前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる。【選択図】  図１
2018033072.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
前記第１画像データに対して第１画像処理を実行する第１処理部と前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像装置。
【請求項２】
行方向に配列されて成る画素群を選択する選択部、及び、
前記選択された画素群をアクセスするタイミングを制御するタイミング制御部、
をさらに備えており、
前記タイミング制御部は、前記第１画像データを生成する際に画素群へアクセスするタイミングと、前記第２画像データを生成する際に画素群へアクセスするタイミングをそれぞれ制御する、
請求項１に記載の撮像装置。
【請求項３】
前記第１フレームレートは、前記第２フレームレートとは異なる値に設定されている、
請求項２に記載の撮像装置。
【請求項４】
前記第１フレームレートは、前記第２フレームレートよりも高い値に設定されており、
前記第１画像処理は、センシング情報を出力するための画像処理であり、
前記第２画像処理は、表示用画像データを出力するための画像処理である、
請求項３に記載の撮像装置。
【請求項５】
第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われ、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と、前記第２画像データを生成する際にアクセスする画素群とが重ならないように選択する、
請求項４に記載の撮像装置。
【請求項６】
前記タイミング制御部は、前記第１画像データの読み出し期間と前記第２画像データのシャッター期間とが重ならないように制御する、
請求項５に記載の撮像装置。
【請求項７】
前記タイミング制御部は、前記第２画像データの読み出し期間と前記第１画像データのシャッター期間とが重ならないように制御する、
請求項５に記載の撮像装置。
【請求項８】
第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われ、
前記信号処理部は、前記センシング情報と前記表示用画像データとを互いに独立して出力する、
請求項４に記載の撮像装置。
【請求項９】
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが異なるよう選択する、
請求項８に記載の撮像装置。
【請求項１０】
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが交互になるように選択する、
請求項９に記載の撮像装置。
【請求項１１】
前記画像データ生成部は、前記第１画像データを生成する第１画像データ生成部と、前記第２画像データを生成する第２画像データ生成部とを有する、
請求項９に記載の撮像装置。
【請求項１２】
前記センシング情報と前記表示用画像データとを統合して出力するデータパッキング部をさらに備えている、
請求項４に記載の撮像装置。
【請求項１３】
前記画像データ生成部は、前記画素部から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部を有する、
請求項１に記載の撮像装置。
【請求項１４】
前記画素部、前記画像データ生成部、前記信号処理部は、同一の半導体基板上に形成されている、
請求項１に記載の撮像装置。
【請求項１５】
第１半導体基板と第２半導体基板とを少なくとも含む複数の半導体基板が積層されており、
前記第１半導体基板には、前記画素部が少なくとも形成されており、
前記第２半導体基板には、前記信号処理部が少なくとも形成されている、
請求項１に記載の撮像装置。
【請求項１６】
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
第１画像データに対して第１画像処理を実行する第１処理部と第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像システム。
【請求項１７】
複数の画素が行列状に配置された画素部から第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する工程、及び、
前記第１画像データに対して第１画像処理を実行すると共に前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する工程、
を含んでおり、
前記第１画像処理と前記第２画像処理とを互いに独立して実行する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像システム、及び、信号処理方法に関する。
【背景技術】
【０００２】
画像情報に対して計測処理等を施すセンシング処理を行い、物体の大きさや重心位置、物体までの距離、物体の移動量などといった情報をセンシング情報として用いることが提案されている。
【０００３】
このため、光電変換を行う光検出器と画像検出処理要素とが平面上に配列されてなる画像検出処理装置が提案されている（例えば、特許文献１、特許文献２参照）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９５５６４号公報
【特許文献２】特開２００３−２１８３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
センシング情報は、所定のフレームレートで撮像される画像に対してセンシング処理を行うことで得ることができる。センシング処理が正しく行われているかどうかを確認するためには、センシング情報と画像表示用のデータとを同時に取得できることが好ましい。
【０００６】
しかしながら、画像表示装置などに画像を表示するための撮像を行う場合のフレームレート（例えば３０〜６０ｆｐｓ）に対して、通常、センシングの際のフレームレートはより高い値に設定される。従って、センシングのための撮像は露光期間も短くならざるを得ず、撮像される画像は、輝度の低下やノイズの増加によって画質が低下する。このため、センシング用の撮像画像データを画像表示用のデータとして流用するといった構成では、画質に優れた画像表示用データを得ることができない。
【０００７】
そこで、本開示は、第１フレームレートと第２フレームレートとで画像を撮像し処理をすることができる撮像装置、撮像システム、及び、信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本開示に係る撮像装置は、
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
前記第１画像データに対して第１画像処理を実行する第１処理部と前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像装置である。
【０００９】
上記の目的を達成するための本開示に係る撮像システムは、
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
第１画像データに対して第１画像処理を実行する第１処理部と第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部と、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像システムである。
【００１０】
上記の目的を達成するための本開示に係る信号処理方法は、
複数の画素が行列状に配置された画素部から第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する工程、及び、
前記第１画像データに対して第１画像処理を実行すると共に前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する工程、
を含んでおり、
前記第１画像処理と前記第２画像処理とを互いに独立して実行する、
画像処理方法である。
【発明の効果】
【００１１】
本開示によれば、第１フレームレートと第２フレームレートとで画像を撮像し処理をすることができる。従って、センシングを高速に行いつつ画質に優れた画像表示用データを得るといったことが可能になる。
【００１２】
尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】図１は、本開示の第１の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。
【図２】図２は、第１の実施形態に係る撮像装置等の動作の概念図である。
【図３】図３は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【図４】図４は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【図５】図５は、撮像装置や撮像システムの変形例を説明するための模式図である。
【図６】図６は、本開示の第２の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。
【図７】図７は、第２の実施形態に係る撮像装置等の動作の概念図である。
【図８】図８は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【図９】図９は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【図１０】図１０は、本開示の第３の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。
【図１１】図１１は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【図１２】図１２は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【図１３】図１３は、内視鏡手術システムの概略的な構成の一例を示す図である。
【図１４】図１４は、図１３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図１５】図１５は、車両制御システムの概略的な構成の一例を示すブロック図である。
【図１６】図１６は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、撮像装置、撮像システム、及び、信号処理方法、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第１の応用例
６．第２の応用例
７．本開示の構成
【００１５】
［本開示に係る、撮像装置、撮像システム、及び、信号処理方法、全般に関する説明］
本開示の撮像装置や撮像システム、及び、本開示の信号処理方法が実行される撮像装置や撮像システム（以下、これらを単に、本開示の撮像装置等と呼ぶ場合がある）にあっては、
行方向に配列されて成る画素群を選択する選択部、及び、
前記選択された画素群をアクセスするタイミングを制御するタイミング制御部、
をさらに備えており、
前記タイミング制御部は、前記第１画像データを生成する際に画素群へアクセスするタイミングと、前記第２画像データを生成する際に画素群へアクセスするタイミングをそれぞれ制御する、
構成とすることができる。
【００１６】
上述した好ましい構成を含む本開示の撮像装置等において、前記第１フレームレートは、前記第２フレームレートとは異なる値に設定されている構成とすることができる。この場合において、
前記第１フレームレートは、前記第２フレームレートよりも高い値に設定されており、
前記第１画像処理は、センシング情報を出力するための画像処理であり、
前記第２画像処理は、表示用画像データを出力するための画像処理である、
構成とすることができる。
【００１７】
上述した好ましい構成を含む本開示の撮像装置等にあっては、
第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われ、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と、前記第２画像データを生成する際にアクセスする画素群とが重ならないように選択する、
構成とすることができる。
【００１８】
この場合において、
前記タイミング制御部は、前記第１画像データの読み出し期間と前記第２画像データのシャッター期間とが重ならないように制御する、
構成とすることができる。
【００１９】
また、この場合において、
前記タイミング制御部は、前記第２画像データの読み出し期間と前記第１画像データのシャッター期間とが重ならないように制御する、
構成とすることができる。
【００２０】
あるいは又、上述した好ましい構成を含む本開示の撮像装置等にあっては、
第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われ、
前記信号処理部は、前記センシング情報と前記表示用画像データとを互いに独立して出力する、
構成とすることができる。
【００２１】
この場合において、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが異なるよう選択する、
構成とすることができる。
【００２２】
この場合において、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが交互になるように選択する、
構成とすることができる。
【００２３】
上述した各種の好ましい構成を含む本開示の撮像装置等にあっては、
前記画像データ生成部は、前記第１画像データを生成する第１画像データ生成部と、前記第２画像データを生成する第２画像データ生成部とを有する、
構成とすることができる。
【００２４】
上述した各種の好ましい構成を含む本開示の撮像装置等にあっては、
前記センシング情報と前記表示用画像データとを統合して出力するデータパッキング部をさらに備えている、
構成とすることができる。
【００２５】
更には、本開示の撮像装置等において、
前記画像データ生成部は、前記画素部から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部を有する、
構成とすることができる。
【００２６】
更には、本開示の撮像装置等において、前記画素部、前記画像データ生成部、前記信号処理部は、同一の半導体基板上に形成されている構成とすることができる。あるいは又、第１半導体基板と第２半導体基板とを少なくとも含む複数の半導体基板が積層されており、
前記第１半導体基板には、前記画素部が少なくとも形成されており、
前記第２半導体基板には、前記信号処理部が少なくとも形成されている、
構成とすることもできる。
【００２７】
上述した各種の好ましい構成を含む本開示の撮像装置等や信号処理方法（以下、これらを単に、本開示と呼ぶ場合がある）において、画素部は、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサとして構成することができる。以下の説明において、シャッター方式として、水平ライン毎に順次露光を開始し撮像信号を取得するローリングシャッター方式が用いられるとするが、これに限るものではない。動作に支障が生じない限り、所謂グローバルシャッター方式を採用することもできる。
【００２８】
選択部、タイミング制御部、露光制御部、画像データ生成部などは、例えば、論理回路や記憶回路などから構成することができ、これらは、周知の回路素子を用いて構成することができる。画像データ生成部のＡ／Ｄ変換部は、例えば、画素の列ごとに配置されていてもよい。この構成にあっては、画素から出力される信号は、並列的にＡ／Ｄ変換され、デジタル信号として出力される。
【００２９】
高速なセンシングを可能にするためには、センシングに用いられる画像データを高いフレームレートで取得する必要がある。一方、センシングに用いられる画像データの階調値は比較的低い値で足りる。従って、Ａ／Ｄ変換におけるビット数は、センシング用途の場合には画像表示用途に対して相対的に小さい値とすることが好ましい。例えば、センシング用途の場合は４ビット、画像表示用途の場合は１０ビット、というように設定することができる。画像データ生成部が共通化されている場合には、量子化のビット数が動的に制御可能なＡ／Ｄ変換部を含むように、画像データ生成部を構成すればよい。
【００３０】
センシング情報は、センシングに用いられる画像データに対して平滑化、輝度ノイズ低減、エッジ抽出などといった周知の処理を行い、処理後のデータに基づいて計測処理を行うことで得ることができる。例えば、２値化を行ったデータから、センシング対象に対応する白表示部分の大きさ、重心位置、面積、主軸角などを計測するといった処理を行えばよい。更には、時間を異にするデータを比較することによって、物体の移動量や距離などを得ることもできる。尚、センシング情報としてどのような情報を出力するかは、用途に応じて、適宜設定すればよい。
【００３１】
［第１の実施形態］
第１の実施形態は、本開示に係る、撮像装置、撮像システム、及び、信号処理方法に関する。
【００３２】
図１は、本開示の第１の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。尚、以下の説明にあっては、撮像装置として構成されているとして説明する。他の実施形態についても同様である。
【００３３】
図１に示すように、撮像装置１００は、
複数の画素が行列状に配置された画素部１１０、
画素の露光時間を制御する露光制御部１２０、
露光時間の制御に基づいて、第１フレームレートで出力される第１画像データＤ１および第２フレームレートで出力される第２画像データＤ２を生成する画像データ生成部１３０、及び、
第１画像データＤ１に対して第１画像処理を実行する第１処理部１６１と第２画像データＤ２に対して第１画像処理とは異なる第２画像処理を実行する第２処理部１６２とを有する信号処理部１６０、
を備えている。そして、信号処理部１６０は、第１画像処理と第２画像処理とを互いに独立して動作させる。
【００３４】
第１の実施形態における画像処理方法は、
複数の画素が行列状に配置された画素部１１０から第１フレームレートで出力される第１画像データＤ１および第２フレームレートで出力される第２画像データＤ２を生成する工程、及び、
第１画像データＤ１に対して第１画像処理を実行すると共に第２画像データＤ２に対して第１画像処理とは異なる第２画像処理を実行する工程、
を含んでおり、
第１画像処理と第２画像処理とを互いに独立して実行する。後述する他の実施形態においても同様である。
【００３５】
撮像装置１００は、更に、
行方向に配列されて成る画素群を選択する選択部１５０、及び、
選択された画素群をアクセスするタイミングを制御するタイミング制御部１４０、
を備えている。
タイミング制御部１４０は、第１画像データＤ１を生成する際に画素群へアクセスするタイミングと、第２画像データＤ２を生成する際に画素群へアクセスするタイミングをそれぞれ制御する。
【００３６】
画像データ生成部１３０は、画素部１１０から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１３１を有する。第１画像データＤ１と第２画像データＤ２は、所定のビット数の階調値を持つデータとして、画像データ生成部１３０から信号処理部１６０に供給される。
【００３７】
撮像装置１００全体の動作は、図示せぬ制御回路などによって制御される。画素部１１０、画像データ生成部１３０、信号処理部１６０などは、例えばシリコンから成る同一の半導体基板上に形成されている。尚、第１半導体基板と第２半導体基板とを少なくとも含む複数の半導体基板が積層されており、第１半導体基板には、画素部１１０が少なくとも形成されており、第２半導体基板には、信号処理部１６０が少なくとも形成されているといった構成にすることもできる。
【００３８】
信号処理部１６０は、画像データ生成部１３０からの信号に対して種々の信号処理を施し、センシング情報ＳＤや表示用画像データＰＤを生成する。尚、信号処理はハードウェア的に行う構成であってもよいし、ソフトウェア的に行う構成であってもよい。
【００３９】
画素部１１０は、光電変換部を有する画素１１１がマトリクス状に配列されて成る。各画素１１１は、行ごとに、制御線１１２を介して選択部１５０に接続される。また、各画素１１１は、列ごとに、信号線１１３を介して画像データ生成部１３０に接続される。
【００４０】
画素部１１０には、図示せぬ光学系により集光される光が入射する。画素１１１は、受光する光の光量に応じたレベルの画素信号を出力する。画素信号によって、被写体の画像が構成される。
【００４１】
画素１１１は、フォトダイオードなどから成る光電変換部、光電変換部からの電荷が転送される浮遊拡散領域、及び、画素を駆動するためのトランジスタなどから構成される。例えば、これらの構成要素が、ｎ型の半導体基板に設けられたｐ型ウェル内に形成されている構成とすることができる。
【００４２】
選択部１５０は、シフトレジスタやアドレスデコーダなどの論理回路によって構成されており、画素部１１０の画素１１１を行ごとにアクセスするための走査信号を、制御線１１２を介して画素１１１に供給する。画素１１１のリセットなどの動作のため、実際には、１つの画素行に対応して、複数の制御線が配される。図示の都合上、図１では画素行毎に１本の制御線１１２を示した。
【００４３】
画素１１１から出力される信号は、信号線１１３を介して、画像データ生成部１３０に送られる。画像データ生成部１３０は、画素１１１から出力される信号に基づき、Ａ／Ｄ変換部１３１でＡ／Ｄ変換を行う。画像データ生成部１３０は、画素列ごとに並列的にＡ／Ｄ変換を行う構成とすることができる。
【００４４】
上述したように、画像データ生成部１３０は、第１フレームレートで出力される第１画像データＤ１と、第２フレームレートで出力される第２画像データＤ２を生成する。第１フレームレートは第２フレームレートとは異なる値に設定されている。より具体的には、第１フレームレートは、第２フレームレートよりも高い値に設定されている。例えば、第１フレームレートは１２０ｆｐｓ、第２フレームレートは３０ｆｐｓといった値に設定されている。そして、信号処理部１６０の第１処理部１６１によって、第１画像データＤ１に基づいてセンシング情報ＳＤを出力するための第１画像処理が行われる。また、信号処理部１６０の第２処理部１６２によって、第２画像データＤ２に基づいて表示用画像データＰＤを出力するための第２画像処理が行われる。後述する他の実施形態においても同様である。
【００４５】
第１の実施形態にあっては、第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われ、選択部１５０は、第１画像データＤ１を生成する際にアクセスする画素群と、第２画像データＤ２を生成する際にアクセスする画素群とが重ならないように選択する。
【００４６】
第１の実施形態では、第１画像データＤ１と第２画像データＤ２とは、時系列的に分割されて出力される。センシング用と表示用とで異なるフレームレートに対応するように、露光制御部１２０によって画素１１１の露光時間を制御するための信号が生成され、タイミング制御部１４０に供給される。選択部１５０は、タイミング制御部１４０からの信号に基づいて、制御線１１２に走査信号を供給し、行単位で画素群を順次アクセスする（線順次走査）。尚、選択部１５０は、画素１１１を空間方向に分離するために、センシング用と表示用とで位置をずらして画素１１１をアクセスする。また、画像データ生成部１３０は、センシング用として画素１１１がアクセスされる場合にはセンシング用途のＡ／Ｄ変換を行うように設定され、表示用として画素１１１がアクセスされる場合には画像表示用途のＡ／Ｄ変換を行うように設定される。
【００４７】
以下、図面を参照して、第１の実施形態の動作について説明する。
【００４８】
図２は、第１の実施形態に係る撮像装置等の動作の概念図である。
【００４９】
図２は、表示用の画素読み出しが終了した後、次の表示用の画素読み出しが開始されるまでの間に、複数回センシング用の画素読み出しを行う例を示している。符号ＶＳＨＴは、表示用の撮像におけるシャッター設定が可能な期間を示し、基本的には、表示用の第２画像データＤ２の読み出しの繰り返しの期間に概ね相当する。シャッター開始時期は符号ＶＳＨＴで示す期間の間であればどこでも設定可能であり、被写体の明るさなどに応じて適宜設定することができる。
【００５０】
図２では、センシング用のシャッター動作が表示用の画素読み出し時のノイズ原因とならないようにタイミングが設定されている。
【００５１】
符号ＳＳＨＴは、センシング用の撮像におけるシャッター設定が可能な期間を示し、基本的には、センシング用の第１画像データＤ１の読み出しの繰り返しの期間に概ね相当する。図１に示したタイミング制御部１４０は、第１画像データＤ１の読み出し期間と第２画像データＤ２のシャッター期間とが重ならないように制御する。より具体的には、図２に示す表示用読み出しの始期（符号ｔ1で表す）と終期（符号ｔ2）との間に、センシング用の最初の撮像におけるセンシング用のシャッター動作が開始しないようにタイミングが設定されている。即ち、図２において、ｔ1＜ｔ2＜ｔ3である。
【００５２】
尚、表示用のシャッター動作がセンシング用の画素読み出し時のノイズ原因とならないようにする場合、タイミング制御部１４０は、第２画像データＤ２の読み出し期間と第１画像データＤ１のシャッター期間とが重ならないように制御すればよい。
【００５３】
センシング用の読み出しによって画素１１１から得られた信号が画像データ生成部１３０に送られて、第１画像データＤ１が生成される。また、表示用の読み出しによって画素１１１から得られた信号が画像データ生成部１３０に送られて、第２画像データＤ２が生成される。
【００５４】
図３は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【００５５】
第１画像データＤ１の生成の際には、例えば、画素部１１０の奇数行の画素群が線順次走査される。また、図示せぬ制御回路などによって、画像データ生成部１３０のＡ／Ｄ変換部１３１はセンシング用途の処理を行うように設定される。そして、量子化された第１画像データＤ１が生成される。
【００５６】
第１画像データＤ１は、信号処理部１６０の第１処理部１６１に入力される。第１処理部１６１は、第１画像データＤ１に対して、センシング情報ＳＤを出力するための画像処理である、第１画像処理を実行する。例えば、画像データに対して平滑化、輝度ノイズ低減、エッジ抽出などといった周知の処理を行い、処理後のデータに基づいて計測処理を行う。センシング情報ＳＤの出力は、基本的には、第１フレームレートで行われる。
【００５７】
図４は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【００５８】
第２画像データＤ２の生成の際には、例えば、画素部１１０の偶数行の画素群が線順次走査される。また、図示せぬ制御回路などによって、画像データ生成部１３０のＡ／Ｄ変換部１３１は画像表示用途の処理を行うように設定される。そして、量子化された第２画像データＤ２が生成される。
【００５９】
第２画像データＤ２は、信号処理部１６０の第２処理部１６２に入力される。第２処理部１６２は、第２画像データＤ２に対して、表示用画像データＰＤを出力するための画像処理である、第２画像処理を実行する。例えば、画像データに対して、ノイズ低減、エッジ強調などといった周知の処理を行い、処理後のデータを表示用画像データＰＤとして出力する。表示用画像データＰＤの出力は、基本的には、第２フレームレートで行われる。
【００６０】
以上、第１の実施形態について説明した。
【００６１】
尚、用途によっては、センシング情報と表示用画像データとを統合して出力するといったことも考えられる。このような構成の変形例について説明する。
【００６２】
図５は、撮像装置や撮像システムの変形例を説明するための模式図である。
【００６３】
図５に示す撮像装置１００Ａは、図１に示す撮像装置１００に対して、センシング情報ＳＤと表示用画像データＰＤとを統合して出力するデータパッキング部１７０が追加されている点が相違する。
【００６４】
データパッキング部１７０には、信号処理部１６０からセンシング情報ＳＤと表示用画像データＰＤとが入力される。データパッキング部１７０は、例えば、センシング情報ＳＤを表示用画像データＰＤのヘッダー部やフッター部に書き込むことで統合し、センシング情報が加えられた表示用画像データＡＰＤとして出力する。
【００６５】
［第２の実施形態］
第２の実施形態も、本開示に係る、撮像装置、撮像システム、及び、信号処理方法に関する。
【００６６】
第１の実施形態にあっては、第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われた。これに対し、第２の実施形態にあっては、第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われる。そして、信号処理部は、センシング情報と表示用画像データとを互いに独立して出力する。主に、以上の点が、第１の実施形態に対して相違する。
【００６７】
図６は、本開示の第２の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。
【００６８】
図６に示すように、撮像装置２００は、
複数の画素が行列状に配置された画素部２１０、
画素の露光時間を制御する露光制御部２２０、
露光時間の制御に基づいて、第１フレームレートで出力される第１画像データＤ１および第２フレームレートで出力される第２画像データＤ２を生成する画像データ生成部２３０、及び、
第１画像データＤ１に対して第１画像処理を実行する第１処理部２６１と第２画像データＤ２に対して第１画像処理とは異なる第２画像処理を実行する第２処理部２６２とを有する信号処理部２６０、
を備えている。そして、信号処理部２６０は、第１画像処理と第２画像処理とを互いに独立して動作させる。
【００６９】
第１の実施形態にあっては、第１画像データＤ１と第２画像データＤ２とを共通の画像データ生成部で生成した。これに対し、第２の実施形態において、画像データ生成部２３０は、第１画像データＤ１を生成する第１画像データ生成部２３１と、第２画像データＤ２を生成する第２画像データ生成部２３２とを有する。
【００７０】
撮像装置２００は、更に、
行方向に配列されて成る画素群を選択する選択部２５０、及び、
選択された画素群をアクセスするタイミングを制御するタイミング制御部２４０、
を備えている。
タイミング制御部２４０は、第１画像データＤ１を生成する際に画素群へアクセスするタイミングと、第２画像データＤ２を生成する際に画素群へアクセスするタイミングをそれぞれ制御する。
【００７１】
画素部２１０には、第１の実施形態と同様に、各画素行に対応して制御線１１２が形成されている。一方、第１の実施形態とは異なり、各画素列に対応して、信号線２１３Ａ，２１３Ｂが形成されている。そして、奇数行に属する画素１１１は信号線２１３Ａに接続され、偶数行に属する画素１１１は信号線２１３Ｂに接続されている。
【００７２】
奇数行の画素１１１から出力される信号は、信号線２１３Ａを介して、第１画像データ生成部２３１に送られる。第１画像データ生成部２３１は、奇数行の画素１１１から出力される信号に基づき、図示せぬＡ／Ｄ変換部でセンシング用途のＡ／Ｄ変換を行う。第１画像データ生成部２３１は、画素列ごとに並列的にＡ／Ｄ変換を行う構成とすることができる。
【００７３】
偶数行の画素１１１から出力される信号は、信号線２１３Ｂを介して、第２画像データ生成部２３２に送られる。第２画像データ生成部２３２は、偶数行の画素１１１から出力される信号に基づき、図示せぬＡ／Ｄ変換部で画像表示用途のＡ／Ｄ変換を行う。第２画像データ生成部２３２は、画素列ごとに並列的にＡ／Ｄ変換を行う構成とすることができる。
【００７４】
第１画像データ生成部２３１からの第１画像データＤ１は、信号処理部２６０の第１処理部２６１に入力される。また、第２画像データ生成部２３２からの第２画像データＤ２は、信号処理部２６０の第１処理部２６２に入力される。そして、信号処理部２６０は、センシング情報ＳＤと表示用画像データＰＤとを互いに独立して出力する。信号処理部２６０においてされる処理自体は、基本的には、第１の実施形態において説明した信号処理部１６０の処理と同様である。
【００７５】
露光制御部２２０、タイミング制御部２４０、選択部２５０、信号処理部２６０は、動作タイミングなどが相違するものの、基本的には第１の実施形態で説明した構成と同様であるので、説明を省略する。
【００７６】
上述したように、第２の実施形態にあっては、第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われる。そして、選択部２５０は、第１画像データＤ１を生成する際にアクセスする画素群と第２画像データＤ２を生成する際にアクセスする画素群とが異なるよう選択する。例えば、選択部２５０は、第１画像データＤ１を生成する際にアクセスする画素群と第２画像データＤ２を生成する際にアクセスする画素群とが交互になるように選択する。
【００７７】
以下、図面を参照して、第２の実施形態の動作について説明する。
【００７８】
図７は、第２の実施形態に係る撮像装置等の動作の概念図である。
【００７９】
図７は、表示用の画素読み出しが終了した後、次の表示用の画素読み出しが開始されるまでの間に、並行して複数回センシング用の画素読み出しを行う例を示している。符号ＶＳＨＴは、表示用の撮像におけるシャッター設定が可能な期間を示し、基本的には、表示用の第２画像データＤ２の読み出しの繰り返しの期間に概ね相当する。シャッター開始時期は符号ＶＳＨＴで示す期間の間であればどこでも設定可能であり、被写体の明るさなどに応じて適宜設定することができる。符号ＳＳＨＴは、センシング用の撮像におけるシャッター設定が可能な期間を示し、基本的には、センシング用の第１画像データＤ１の読み出しの繰り返しの期間に概ね相当する。
【００８０】
図８は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【００８１】
第１画像データＤ１の生成の際には、例えば、画素部２１０の奇数行の画素群が線順次走査される。信号線２１３Ａからの信号は、第１画像データ生成部２３１に入力され、量子化された第１画像データＤ１が生成される。
【００８２】
第１画像データＤ１は、信号処理部２６０の第１処理部２６１に入力される。第１処理部２６１の動作は、第１の実施形態において説明した動作と同様であるので、説明を省略する。
【００８３】
図９は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【００８４】
第２画像データＤ２の生成の際には、例えば、画素部２１０の偶数行の画素群が線順次走査される。信号線２１３Ｂからの信号は、第２画像データ生成部２３２に入力され、量子化された第２画像データＤ２が生成される。
【００８５】
第２画像データＤ２は、信号処理部２６０の第２処理部２６２に入力される。第２処理部２６２の動作は、第１の実施形態において説明した動作と同様であるので、説明を省略する。
【００８６】
第１の実施形態では、センシング情報と表示用データとは、いずれか一方が逐次出力されるといった構成であった。これに対し、第２の実施形態では、センシング情報と表示用データとは並列して出力される。従って、より詳しいセンシング情報を得られるといった利点を備えている。
【００８７】
また、上述した図５と同様に、センシング情報ＳＤと表示用画像データＰＤとを統合して出力するデータパッキング部を含むといった構成とすることもできる。
【００８８】
［第３の実施形態］
第３の実施形態も、本開示に係る、撮像装置、撮像システム、及び、信号処理方法に関する。第２の実施形態に対して、画素部の構成が主に相違する。
【００８９】
図１０は、本開示の第２の実施形態に係る撮像装置や撮像システムの構成を説明するための模式図である。
【００９０】
図１０に示すように、撮像装置３００は、
複数の画素が行列状に配置された画素部３１０、
画素の露光時間を制御する露光制御部３２０、
露光時間の制御に基づいて、第１フレームレートで出力される第１画像データＤ１および第２フレームレートで出力される第２画像データＤ２を生成する画像データ生成部３３０、及び、
第１画像データＤ１に対して第１画像処理を実行する第１処理部３６１と第２画像データＤ２に対して第１画像処理とは異なる第２画像処理を実行する第２処理部３６２とを有する信号処理部３６０、
を備えている。そして、信号処理部３６０は、第１画像処理と第２画像処理とを互いに独立して動作させる。
【００９１】
画素部３１０の各画素３１１は、それぞれ、画素３１１Ａと画素３１１Ｂの対で構成されている。尚、図では画素３１１Ａと画素３１１Ｂを並置しているが、例えば重なるように配置されていてもよい。
【００９２】
画素部３１０には、各画素行に対応して制御線が形成されている。但し、第１の実施形態や第２の実施形態とは異なり、画素行のうち画素３１１Ａに対応して制御線３１２Ａが形成され、画素行のうち画素３１１Ｂに対応して制御線３１２Ｂが形成されている。
【００９３】
また、各画素列には、第２の実施形態と同様に、２本の信号線が形成されている。但し、画素３１１Ａに対応して信号線３１３Ａが形成され、画素３１１Ｂに対応して信号線３１３Ｂが形成されている。
【００９４】
画素３１１Ａから出力される信号は、信号線３１３Ａを介して、第１画像データ生成部３３１に送られる。第１画像データ生成部３３１は、画素３１１Ａから出力される信号に基づき、図示せぬＡ／Ｄ変換部でセンシング用途のＡ／Ｄ変換を行う。第１画像データ生成部３３１は、画素列ごとに並列的にＡ／Ｄ変換を行う構成とすることができる。
【００９５】
画素３１１Ｂから出力される信号は、信号線３１３Ｂを介して、第２画像データ生成部３３２に送られる。第２画像データ生成部３３２は、画素３１１Ｂから出力される信号に基づき、図示せぬＡ／Ｄ変換部で画像表示用途のＡ／Ｄ変換を行う。第２画像データ生成部３３２は、画素列ごとに並列的にＡ／Ｄ変換を行う構成とすることができる。
【００９６】
第１画像データ生成部３３１からの第１画像データＤ１は、信号処理部３６０の第１処理部３６１に入力される。また、第２画像データ生成部３３２からの第２画像データＤ２は、信号処理部３６０の第１処理部３６２に入力される。そして、信号処理部３６０は、センシング情報ＳＤと表示用画像データＰＤとを互いに独立して出力する。信号処理部３６０においてされる処理自体は、基本的には、第１の実施形態において説明した信号処理部１６０の処理と同様である。
【００９７】
露光制御部３２０、タイミング制御部３４０、選択部３５０、信号処理部３６０は、動作タイミングなどが相違するものの、基本的には第１の実施形態で説明した構成と同様であるので、説明を省略する。
【００９８】
第２の実施形態と同様に、第３の実施形態においても、第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われる。第３の実施形態に係る撮像装置等の動作の概念図は、第２の実施形態において参照した図７と同様である。
【００９９】
図１１は、第１画像データを処理してセンシング情報を出力する際の動作の概念図である。
【０１００】
第１画像データＤ１の生成の際には、例えば、画素部３１０の画素３１１Ａから成る群が線順次走査される。信号線３１３Ａからの信号は、第１画像データ生成部３３１に入力され、量子化された第１画像データＤ１が生成される。
【０１０１】
第１画像データＤ１は、信号処理部３６０の第１処理部３６１に入力される。第１処理部３６１の動作は、第１の実施形態において説明した動作と同様であるので、説明を省略する。
【０１０２】
図１２は、第２画像データを処理して表示用画像データを出力する際の動作の概念図である。
【０１０３】
第２画像データＤ２の生成の際には、例えば、画素部３１０の画素３１１Ｂから成る群が線順次走査される。信号線３１３Ｂからの信号は、第２画像データ生成部３３２に入力され、量子化された第２画像データＤ２が生成される。
【０１０４】
第２画像データＤ２は、信号処理部３６０の第２処理部３６２に入力される。第２処理部３６２の動作は、第１の実施形態において説明した動作と同様であるので、説明を省略する。
【０１０５】
第３の実施形態にあっては、第２の実施形態の利点の他、より画素数の多い画像データを取得することができるといった利点を備えている。
【０１０６】
また、上述した図５と同様に、センシング情報ＳＤと表示用画像データＰＤとを統合して出力するデータパッキング部を含むといった構成とすることもできる。
【０１０７】
［第１の応用例］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【０１０８】
図１３は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１３では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【０１０９】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０１１０】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【０１１１】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【０１１２】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【０１１３】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１１４】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０１１５】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０１１６】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【０１１７】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【０１１８】
光源装置５０４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【０１１９】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【０１２０】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【０１２１】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【０１２２】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０１２３】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１２４】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【０１２５】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１３では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【０１２６】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【０１２７】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【０１２８】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１２９】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０１３０】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【０１３１】
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１３２】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１３３】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１３４】
（カメラヘッド及びＣＣＵ）
図１４を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【０１３５】
図１４を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【０１３６】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０１３７】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【０１３８】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０１３９】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
【０１４０】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【０１４１】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【０１４２】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【０１４３】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【０１４４】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５００１に搭載される。
【０１４５】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
【０１４６】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０１４７】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【０１４８】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０１４９】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０１５０】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０１５１】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０１５２】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０１５３】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１５４】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【０１５５】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１５６】
本開示に係る技術は、以上説明した構成のうち、内視鏡による術部の撮像に好適に適用され得る。即ち、術部画像と共にセンシング情報も得ることができるため、手術をより安全にかつより確実に行うことが可能になる。
【０１５７】
［第２の応用例］
【０１５８】
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１５９】
図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１６０】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１６１】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１６２】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１６３】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１６４】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１６５】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０１６６】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１６７】
ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１６８】
なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０１６９】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１７０】
図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１７１】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１７２】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１７３】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１７４】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１７５】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１７６】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１７７】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１７８】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０１７９】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０１８０】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１８１】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０１８２】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１８３】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１８４】
なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０１８５】
本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットによる判定に適用され得る。即ち、画像と共にセンシング情報も得ることができるため、より詳細な情報を得ることが可能になる。
【０１８６】
［本開示の構成］
尚、本開示は、以下のような構成をとることもできる。
［Ａ１］
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
前記第１画像データに対して第１画像処理を実行する第１処理部と前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像装置。
［Ａ２］
行方向に配列されて成る画素群を選択する選択部、及び、
前記選択された画素群をアクセスするタイミングを制御するタイミング制御部、
をさらに備えており、
前記タイミング制御部は、前記第１画像データを生成する際に画素群へアクセスするタイミングと、前記第２画像データを生成する際に画素群へアクセスするタイミングをそれぞれ制御する、
上記［Ａ１］に記載の撮像装置。
［Ａ３］
前記第１フレームレートは、前記第２フレームレートとは異なる値に設定されている、
上記［Ａ２］に記載の撮像装置。
［Ａ４］
前記第１フレームレートは、前記第２フレームレートよりも高い値に設定されており、
前記第１画像処理は、センシング情報を出力するための画像処理であり、
前記第２画像処理は、表示用画像データを出力するための画像処理である、
上記［Ａ３］に記載の撮像装置。
［Ａ５］
第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われ、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と、前記第２画像データを生成する際にアクセスする画素群とが重ならないように選択する、
上記［Ａ４］に記載の撮像装置。
［Ａ６］
前記タイミング制御部は、前記第１画像データの読み出し期間と前記第２画像データのシャッター期間とが重ならないように制御する、
上記［Ａ５］に記載の撮像装置。
［Ａ７］
前記タイミング制御部は、前記第２画像データの読み出し期間と前記第１画像データのシャッター期間とが重ならないように制御する、
上記［Ａ５］または［Ａ６］に記載の撮像装置。
［Ａ８］
第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われ、
前記信号処理部は、前記センシング情報と前記表示用画像データとを互いに独立して出力する、
上記［Ａ４］に記載の撮像装置。
［Ａ９］
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが異なるよう選択する、
上記［Ａ８］に記載の撮像装置。
［Ａ１０］
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが交互になるように選択する、
上記［Ａ９］に記載の撮像装置。
［Ａ１１］
前記画像データ生成部は、前記第１画像データを生成する第１画像データ生成部と、前記第２画像データを生成する第２画像データ生成部とを有する、
上記［Ａ１９］または［Ａ１０］に記載の撮像装置。
［Ａ１２］
前記センシング情報と前記表示用画像データとを統合して出力するデータパッキング部をさらに備えている、
上記［Ａ４］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１３］
前記画像データ生成部は、前記画素部から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部を有する、
上記［Ａ１］ないし［Ａ１２］のいずれかに記載の撮像装置。
［Ａ１４］
前記画素部、前記画像データ生成部、前記信号処理部は、同一の半導体基板上に形成されている、
上記［Ａ１］ないし［Ａ１３］のいずれかに記載の撮像装置。
［Ａ１５］
第１半導体基板と第２半導体基板とを少なくとも含む複数の半導体基板が積層されており、
前記第１半導体基板には、前記画素部が少なくとも形成されており、
前記第２半導体基板には、前記信号処理部が少なくとも形成されている、
上記［Ａ１］ないし［Ａ１３］のいずれかに記載の撮像装置。
［Ｂ１］
複数の画素が行列状に配置された画素部、
前記画素の露光時間を制御する露光制御部、
前記露光時間の制御に基づいて、第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する画像データ生成部、及び、
第１画像データに対して第１画像処理を実行する第１処理部と第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する第２処理部とを有する信号処理部、
を備えており、
前記信号処理部は、前記第１画像処理と前記第２画像処理とを互いに独立して動作させる、
撮像システム。
［Ｂ２］
行方向に配列されて成る画素群を選択する選択部、及び、
前記選択された画素群をアクセスするタイミングを制御するタイミング制御部、
をさらに備えており、
前記タイミング制御部は、前記第１画像データを生成する際に画素群へアクセスするタイミングと、前記第２画像データを生成する際に画素群へアクセスするタイミングをそれぞれ制御する、
上記［Ｂ１］に記載の撮像システム。
［Ｂ３］
前記第１フレームレートは、前記第２フレームレートとは異なる値に設定されている、
上記［Ｂ２］に記載の撮像システム。
［Ｂ４］
前記第１フレームレートは、前記第２フレームレートよりも高い値に設定されており、
前記第１画像処理は、センシング情報を出力するための画像処理であり、
前記第２画像処理は、表示用画像データを出力するための画像処理である、
上記［Ｂ３］に記載の撮像システム。
［Ｂ５］
第１フレームレートの撮像と第２フレームレートの撮像とは時分割で行われ、
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と、前記第２画像データを生成する際にアクセスする画素群とが重ならないように選択する、
上記［Ｂ４］に記載の撮像システム。
［Ｂ６］
前記タイミング制御部は、前記第１画像データの読み出し期間と前記第２画像データのシャッター期間とが重ならないように制御する、
上記［Ｂ５］に記載の撮像システム。
［Ｂ７］
前記タイミング制御部は、前記第２画像データの読み出し期間と前記第１画像データのシャッター期間とが重ならないように制御する、
上記［Ｂ５］または［Ｂ６］に記載の撮像システム。
［Ｂ８］
第１フレームレートの撮像と第２フレームレートの撮像とは並行して行われ、
前記信号処理部は、前記センシング情報と前記表示用画像データとを互いに独立して出力する、
上記［Ｂ４］に記載の撮像システム。
［Ｂ９］
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが異なるよう選択する、
上記［Ｂ８］に記載の撮像システム。
［Ｂ１０］
前記選択部は、前記第１画像データを生成する際にアクセスする画素群と前記第２画像データを生成する際にアクセスする画素群とが交互になるように選択する、
上記［Ｂ９］に記載の撮像システム。
［Ｂ１１］
前記画像データ生成部は、前記第１画像データを生成する第１画像データ生成部と、前記第２画像データを生成する第２画像データ生成部とを有する、
上記［Ｂ１９］または［Ｂ１０］に記載の撮像システム。
［Ｂ１２］
前記センシング情報と前記表示用画像データとを統合して出力するデータパッキング部をさらに備えている、
上記［Ｂ４］ないし［Ｂ１１］のいずれかに記載の撮像システム。
［Ｂ１３］
前記画像データ生成部は、前記画素部から出力されるアナログ信号をデジタル信号に変換するＢ／Ｄ変換部を有する、
上記［Ｂ１］ないし［Ｂ１２］のいずれかに記載の撮像システム。
［Ｂ１４］
前記画素部、前記画像データ生成部、前記信号処理部は、同一の半導体基板上に形成されている、
上記［Ｂ１］ないし［Ｂ１３］のいずれかに記載の撮像システム。
［Ｂ１５］
第１半導体基板と第２半導体基板とを少なくとも含む複数の半導体基板が積層されており、
前記第１半導体基板には、前記画素部が少なくとも形成されており、
前記第２半導体基板には、前記信号処理部が少なくとも形成されている、
上記［Ｂ１］ないし［Ｂ１３］のいずれかに記載の撮像システム。
［Ｃ１］
複数の画素が行列状に配置された画素部から第１フレームレートで出力される第１画像データおよび第２フレームレートで出力される第２画像データを生成する工程、及び、
前記第１画像データに対して第１画像処理を実行すると共に前記第２画像データに対して前記第１画像処理とは異なる第２画像処理を実行する工程、
を含んでおり、
前記第１画像処理と前記第２画像処理とを互いに独立して実行する、
画像処理方法。
［Ｃ２］
前記第１フレームレートは、前記第２フレームレートとは異なる値に設定されている、
上記［Ｃ１］に記載の画像処理方法。
［Ｃ３］
前記第１フレームレートは、前記第２フレームレートよりも高い値に設定されており、
前記第１画像処理は、センシング情報を出力するための画像処理であり、
前記第２画像処理は、表示用画像データを出力するための画像処理である、
上記［Ｃ２］に記載の画像処理方法。
［Ｃ４］
第１フレームレートの撮像と第２フレームレートの撮像とを時分割で行い、
前記第１画像データを生成する際にアクセスする画素群と、前記第２画像データを生成する際にアクセスする画素群とが重ならないように選択する、
上記［Ｃ３］に記載の画像処理方法。
［Ｃ５］
第１フレームレートの撮像と第２フレームレートの撮像とを並行して行い、
前記センシング情報と前記表示用画像データとを互いに独立して出力する、
上記［Ｃ３］に記載の画像処理方法。
［Ｃ６］
前記センシング情報と前記表示用画像データとを統合して出力する工程をさらに備えている、
上記［Ｃ３］ないし［Ｃ５］のいずれかに記載の画像処理方法。
【符号の説明】
【０１８７】
１００，２００，３００・・・撮像装置、１１０，２１０，３１０・・・画素部、１１１，３１１，３１１Ａ，３１１Ｂ・・・画素、１１２，３１２Ａ，３１２Ｂ・・・制御線、１１３，２１３Ａ，２１３Ｂ，３１３Ａ，３１３Ｂ・・・信号線、１２０，２２０，３２０・・・露光制御部、１３０，２３０，３３０・・・画像データ生成部、１４０，２４０，３４０・・・タイミング制御部、１３１・・・Ａ／Ｄ変換部、２３１，３３１・・・第１画像データ生成部、２３２，３３２・・・第２画像データ生成部、１６０，２６０，３６０・・・信号処理部、１６１，２６１，３６１・・・第１処理部、１６２，２６２，３６２・・・第２処理部、１７０・・・データパッキング部、Ｄ１・・・第１画像データ、Ｄ２・・・第２画像データ、ＳＤ・・・センシング情報、ＰＤ・・・表示用画像データ、ＡＰＤ・・・センシング情報が加えられた表示用画像データ
【図１】
2018033072.tif 000003
【図２】
2018033072.tif 000004
【図３】
2018033072.tif 000005
【図４】
2018033072.tif 000006
【図５】
2018033072.tif 000007
【図６】
2018033072.tif 000008
【図７】
2018033072.tif 000009
【図８】
2018033072.tif 000010
【図９】
2018033072.tif 000011
【図１０】
2018033072.tif 000012
【図１１】
2018033072.tif 000013
【図１２】
2018033072.tif 000014
【図１３】
2018033072.tif 000015
【図１４】
2018033072.tif 000016
【図１５】
2018033072.tif 000017
【図１６】
2018033072.tif 000018