(57)【要約】【課題】画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにする。【解決手段】生成部は、内視鏡により撮像された位相の異なる赤色画像、緑色画像、および青色画像に対し、複数の種類の戻し処理を実行することで、赤色画像、緑色画像、および青色画像より高い解像度を有する、複数の高解像度画像を生成する。選択部は、生成部により生成された複数の高解像度画像に基づいて、複数の種類の戻し処理のうちの１つを選択する。本開示は、例えば、ＣＣＵ等に適用することができる。【選択図】図７
2017099616.tif 000002
【特許請求の範囲】
【請求項１】
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択部と
を備える手術用制御装置。
【請求項２】
前記生成部は、前記複数の画像に対し、前記選択部により選択された前記処理を実行することで前記複数の画像より高い解像度を有する高解像度画像を生成する
ように構成された
請求項１に記載の手術用制御装置。
【請求項３】
前記選択部は、前記生成部により生成された前記複数の高解像度画像のそれぞれと基準画像との差分に基づいて、前記複数の種類の処理のうちの１つを選択する
ように構成された
請求項１に記載の手術用制御装置。
【請求項４】
前記手術用撮像装置は、チャートを被写体として含むように撮像を行うことにより、前記複数の画像を撮像する
ように構成された
請求項１に記載の手術用制御装置。
【請求項５】
前記選択部は、前記チャートを被写体として含む前記複数の高解像度画像のぞれぞれと前記チャートの理想的な高解像度画像との差分に基づいて、前記複数の種類の処理のうちの１つを選択する
ように構成された
請求項４に記載の手術用制御装置。
【請求項６】
前記手術用撮像装置は、前記チャートと前記手術用撮像装置の位置関係が治具により固定された状態で撮像を行うことにより、前記複数の画像を撮像する
ように構成された
請求項４に記載の手術用制御装置。
【請求項７】
前記チャートの図柄は、格子状の線を含む
ように構成された
請求項４に記載の手術用制御装置。
【請求項８】
前記チャートの図柄は、間隔の異なる縦線を含む
ように構成された
請求項４に記載の手術用制御装置。
【請求項９】
前記チャートの図柄は、前記手術用撮像装置の少なくとも１つの撮像面の画素の水平方向の長さより間隔の大きい縦線と、前記画素の垂直方向の長さより間隔の大きい横線とを含む
ように構成された
請求項４に記載の手術用制御装置。
【請求項１０】
前記選択部により選択された前記処理に対応する、前記位相の理想値とのずれ量に基づいて、警告を出力させる警告部
をさらに備える
請求項１に記載の手術用制御装置。
【請求項１１】
前記警告部は、前記ずれ量に基づいて、前記手術用撮像装置の交換を促す警告が表示部に表示されるように、前記表示部を制御する
請求項１０に記載の手術用制御装置。
【請求項１２】
前記手術用撮像装置は、互いに異なる色の光に対して感度を有する、位相の異なる複数の撮像面を有し、前記複数の撮像面で同時に撮像を行うことにより、前記複数の画像を撮像する
ように構成された
請求項１に記載の手術用制御装置。
【請求項１３】
前記手術用撮像装置は、１つの撮像面を有し、前記撮像面の位置を変化させて複数回撮像を行うことにより、前記複数の画像を撮像する
ように構成された
請求項１に記載の手術用制御装置。
【請求項１４】
前記高解像度画像は、少なくとも４ｋ解像度以上の解像度を有する画像である
ように構成された
請求項１に記載の手術用制御装置。
【請求項１５】
手術用制御装置が、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択ステップと
を含む手術用制御方法。
【請求項１６】
コンピュータを、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択部と
して機能させるためのプログラム。
【請求項１７】
位相の異なる複数の画像を撮像する手術用撮像装置と、
前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、
前記手術用撮像装置と前記チャートとの位置関係を固定する治具と
を備える手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、手術用制御装置、手術用制御方法、およびプログラム、並びに手術システムに関し、特に、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにした手術用制御装置、手術用制御方法、およびプログラム、並びに手術システムに関する。
【背景技術】
【０００２】
近年、医療現場において、従来の開腹手術に代えて、内視鏡で術野を撮像しながら手術を行う内視鏡下手術が行われている。
【０００３】
一方、位相の異なる複数の画像を撮像する画素ずらし技術を用いて高解像度の画像を生成する戻し処理を行うことが考案されている。しかしながら、各画像の位相は、経年変化等により理想値からずれる場合があり、この場合、生成される高解像度の画像の画質が劣化する。
【０００４】
そこで、位相の理想値からのずれ量を検出し、検出されたずれ量を考慮して高解像度の画像を生成することにより、高解像度の画像の画質を向上させることが考案されている（例えば、特許文献１および２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００６/０６４７５１号パンフレット
【特許文献２】特開２０１３−８８６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および２の発明では、位相の理想値からのずれ量の検出精度が悪い場合、高解像度の画像の画質が十分に向上されない。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の第１の側面の手術用制御装置は、手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択部とを備える手術用制御装置である。
【０００９】
本開示の第１の側面の手術用制御方法およびプログラムは、本開示の第１の側面の手術用制御装置に対応する。
【００１０】
本開示の第１の側面においては、手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理が実行されることで、前記複数の画像より高い解像度を有する、複数の高解像度画像が生成され、生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つが選択される。
【００１１】
本開示の第２の側面の手術システムは、位相の異なる複数の画像を撮像する手術用撮像装置と、前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、前記手術用撮像装置と前記チャートとの位置関係を固定する治具とを備える手術システムである。
【００１２】
本開示の第２の側面においては、位相の異なる複数の画像を撮像する手術用撮像装置と、前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、前記手術用撮像装置と前記チャートとの位置関係を固定する治具とが備えられる。
【発明の効果】
【００１３】
本開示の第１の側面によれば、画像処理を行うことができる。また、本開示の第１および第２の側面によれば、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【図２】最適化システムの構成例を示す図である。
【図３】チャートの図柄の例を示す図である。
【図４】チャートの図柄の例を示す図である。
【図５】チャートの図柄の例を示す図である。
【図６】ＣＣＵのハードウエアの構成例を示すブロック図である。
【図７】戻し制御処理部の機能的構成例を示すブロック図である。
【図８】赤色撮像面、緑色撮像面、および青色撮像面の位相を説明する図である。
【図９】高解像度画像の赤色成分の戻し処理を説明する図である。
【図１０】最適な戻し処理の選択を説明する図である。
【図１１】戻し制御処理を説明するフローチャートである。
【図１２】第２実施の形態における赤色撮像面、緑色撮像面、および青色撮像面の位相を説明する図である。
【図１３】第３実施の形態における画素ずらしを説明する図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：内視鏡手術システム（図１乃至図１１）
２．第２実施の形態：内視鏡手術システム（図１２）
３．第３実施の形態：内視鏡手術システム（図１３）
【００１７】
＜第１実施の形態＞
（内視鏡手術システムの第１実施の形態の構成例）
図１は、本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【００１８】
内視鏡手術システム１０は、表示装置１１、ＣＣＵ（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３１に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
【００１９】
具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、ＣＣＵ１２から供給される画像等を表示する。
【００２０】
ＣＣＵ１２は、カメラケーブルを介して内視鏡１９と接続する。なお、ＣＣＵ１２は、内視鏡１９と無線で接続していてもよい。ＣＣＵ１２は、フットスイッチ２６から供給される操作信号に基づいて、各種の処理を行う。
【００２１】
また、ＣＣＵ１２は、内視鏡１９が画素ずらしを行った結果得られる位相の異なる３枚のＨＤ（High Definition）の画像を、カメラケーブルを介して受信する。ＣＣＵ１２は、図示せぬ操作ボタンを有する。術者等は、内視鏡手術システム１０においてＣＣＵ１２を用いる場合、ＣＣＵ１２が有する図示せぬ操作ボタンを操作し、ＣＣＵ１２の動作モードを通常モードに設定する。
【００２２】
ＣＣＵ１２は、動作モードが通常モードである場合、所定の戻し処理により、受信されたＨＤの画像を用いて４ｋ解像度の画像を生成する。そして、ＣＣＵ１２は、生成された４ｋ解像度の画像（以下、高解像度画像という）を表示装置１１に供給する。４ｋ解像度とは、3860または4096などの約4000の水平解像度を有するものである。ＣＣＵ１２は、必要に応じて、高解像度画像をレコーダ１６やプリンタ１７に供給する。
【００２３】
光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、各種の波長の光を切り換えて内視鏡１９に出射する。
【００２４】
処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。
【００２５】
気腹装置１５は、送気手段および吸気手段を備え、腹部３１の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３１の内部に空気を送気したり吸気したりする。
【００２６】
レコーダ１６は、ＣＣＵ１２から供給される画像を記録する。プリンタ１７は、ＣＣＵから供給される画像を印刷する。
【００２７】
内視鏡１９（手術用撮像装置）は、撮像部と照明レンズなどの光学系とにより構成される。内視鏡１９は、腹部３１の腹壁に取り付けられたトロッカ２２の孔から、手術対象としての腹部３１の内部に挿入される。内視鏡１９の照明レンズは、光源装置１３から出射された光を腹部３１の内部に照射する。
【００２８】
撮像部は、赤色、緑色、および青色の光に対して感度を有する３つの撮像面を有する３板式の撮像部である。なお、以下では、赤色、緑色、青色の光に対して感度を有する撮像面を、それぞれ、赤色撮像面、緑色撮像面、青色撮像面という。緑色撮像面の位相と、赤色撮像面および青色撮像面の位相とは、異なっている。
【００２９】
撮像部は、緑色撮像面、赤色撮像面、および青色撮像面で同時に撮像を行うことにより、画素ずらしを行う。これにより、撮像部は、腹部３１の内部の緑色のＨＤの画像と、その画像とは異なる位相の赤色および青色のＨＤの画像を取得する。内視鏡１９は、取得された３枚のＨＤの画像を、カメラケーブルを介してＣＣＵ１２に供給する。
【００３０】
エネルギ処置具２０は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３１の腹壁に取り付けられたトロッカ２３の孔から、腹部３１の内部に挿入される。エネルギ処置具２０は、処置具用装置１４から供給される高周波電流により発生される電気熱を用いて、腹部３１の内部を変性させたり、切断したりする。
【００３１】
鉗子２１は、腹部３１の腹壁に取り付けられたトロッカ２５の孔から、腹部３１の内部に挿入される。鉗子２１は、腹部３１の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、ロボット等により把持される。
【００３２】
フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、ＣＣＵ１２や処置具用装置１４に供給する。
【００３３】
術者は、以上のように構成される内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３１内の患部を切除することができる。
【００３４】
このような内視鏡手術システム１０では、経年変化や滅菌処理時の熱等により、画素ずらしにより取得される各画像の位相が理想値からずれる場合がある。この場合、位相が理想値であるときに最適な戻し処理では、高画質の高解像度画像を生成することができないことがある。従って、術者等は、定期的に、戻し処理を最適化する必要がある。
【００３５】
（最適化システムの構成例）
図２は、図１のＣＣＵ１２における戻し処理の最適化に用いられる最適化システムの構成例を示す図である。
【００３６】
図２の最適化システム４０（手術システム）は、ＣＣＵ１２、内視鏡１９、治具４１、およびチャート４２により構成される。
【００３７】
術者等は、戻し処理の最適化を行う場合、ＣＣＵ１２が接続された内視鏡１９に、チャート４２を保持する治具４１を取り付ける。そして、術者等は、ＣＣＵ１２の図示せぬ操作ボタンを操作することにより、動作モードを最適化モードに設定する。
【００３８】
治具４１は、内視鏡１９とチャート４２との位置関係を固定する。
【００３９】
内視鏡１９は、チャート４２を被写体として画素ずらしを行う。具体的には、チャート４２からの光は、内視鏡１９の光学系のうちのレンズ５１を通り、プリズム５２により赤色成分、緑色成分、および青色成分に分離される。分離された赤色成分は、撮像部の赤色撮像面５３に集光され、赤色撮像面５３はＨＤの赤色の画像（以下、赤色画像という）を取得する。同様に、緑色成分は緑色撮像面５４に集光され、緑色撮像面５４は、赤色画像とは位相の異なるＨＤの緑色の画像（以下、緑色画像という）を取得する。また、青色成分は青色撮像面５５に集光され、青色撮像面５５は、赤色画像と同一の位相のＨＤの青色の画像（以下、青色画像という）を取得する。内視鏡１９は、赤色画像、緑色画像、および青色画像を、カメラケーブル等を介してＣＣＵ１２に送信する。
【００４０】
ＣＣＵ１２は、動作モードが最適化モードである場合、内視鏡１９から送信されてくる赤色画像、緑色画像、および青色画像を用いて、複数の種類の戻し処理で高解像度画像を生成する。ＣＣＵ１２は、複数の種類の戻し処理で生成された高解像度画像と、チャート４２の理想的な高解像度画像である基準画像とに基づいて、複数の種類の戻し処理のうちの１つを最適な戻し処理として選択する。選択された最適な戻し処理は、通常モード時に行われる。
【００４１】
（チャートの図柄の例）
図３乃至図５は、チャート４２の図柄の例を示す図である。
【００４２】
図３に示すように、チャート４２の図柄は、格子状の線６１であってもよいし、図４に示すように、間隔の異なる縦線６２であってもよい。また、図５に示すように、チャート４２の図柄は、赤色撮像面、緑色撮像面、および青色撮像面の少なくとも１つの画素のサイズ７１の水平方向の長さより間隔の大きい縦線７２と、垂直方向の長さより間隔の大きい横線７３であってもよい。
【００４３】
チャート４２の図柄が図５の図柄である場合、治具４１により、例えば、赤色撮像面５３の４×４の各画素の撮像領域８１が、チャート４２上の縦線７２と横線７３の境界を含むように、チャート４２と内視鏡１９が固定される。
【００４４】
なお、チャート４２の図柄は、図３乃至図５の図柄に限定されず、ＣＣＵ１２により生成される高解像度画像が、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量の影響を受ける図柄であれば、どのようなものであってもよい。また、術者等は、複数のチャート４２を治具４１に順番に保持させてもよい。
【００４５】
（ＣＣＵのハードウエアの構成例）
図６は、ＣＣＵ１２のハードウエアの構成例を示すブロック図である。
【００４６】
ＣＣＵ１２において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ（Read Only Memory）２０２，ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００４７】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【００４８】
入力部２０６は、操作ボタン、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。通信部２０９は、表示装置１１、内視鏡１９、レコーダ１６、プリンタ１７、およびフットスイッチ２６との通信を行う。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【００４９】
以上のように構成されるＣＣＵ１２では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、戻し制御処理等が行われる。戻し制御処理とは、動作モードに応じて戻し処理の最適化または戻し処理を行う処理である。
【００５０】
ＣＣＵ１２（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００５１】
ＣＣＵ１２では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００５２】
なお、ＣＣＵ１２が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００５３】
（ＣＣＵの機能的構成例）
図７は、図６のＣＣＵ１２により実現される戻し制御処理を行う戻し制御処理部の機能的構成例を示すブロック図である。
【００５４】
図７の戻し制御処理部２３０は、設定部２３１、受信部２３２、生成部２３３、選択部２３４、保持部２３５、警告部２３６、および送信部２３７により構成される。設定部２３１、生成部２３３、および選択部２３４は、例えば、図６のＣＰＵ２０１により実現され、受信部２３２と送信部２３７は、例えば、通信部２０９により実現される。また、保持部２３５は、例えば、記憶部２０８により実現され、警告部２３６は、例えば、出力部２０７により実現される。
【００５５】
戻し制御処理部２３０の設定部２３１は、術者等の入力部２０６の操作に応じて、動作モードを通常モードまたは最適化モードに設定する。具体的には、術者等は、ＣＣＵ１２を内視鏡手術システム１０で用いる場合、入力部２０６を操作して通常モードの設定を指示し、設定部２３１は、この指示に応じて、動作モードを通常モードに設定する。
【００５６】
一方、術者等は、ＣＣＵ１２を最適化システム４０で用いる場合、入力部２０６を操作して最適化モードの設定を指示し、設定部２３１は、この指示に応じて、動作モードを最適化モードに設定する。設定部２３１は、設定された動作モードを生成部２３３に供給する。
【００５７】
受信部２３２は、内視鏡１９から送信されてくる赤色画像、緑色画像、および青色画像を受信し、生成部２３３に供給する。
【００５８】
生成部２３３は、設定部２３１から供給される動作モードが通常モードである場合、保持部２３５から戻し処理を特定する処理特定情報を読み出す。そして、生成部２３３は、読み出された処理特定情報により特定される戻し処理で、受信部２３２から供給される赤色画像、緑色画像、および青色画像を用いて高解像度画像を生成する。生成部２３３は、生成された高解像度画像を送信部２３７に供給する。
【００５９】
一方、設定部２３１から供給される動作モードが最適化モードである場合、生成部２３３は、戻し処理の候補となる複数の種類の戻し処理のそれぞれで、受信部２３２から供給される赤色画像、緑色画像、および青色画像を用いて、高解像度画像を生成する。戻し処理の候補は、例えば、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量が所定の各値である場合に最適な戻し処理である。生成部２３３は、生成された複数の高解像度画像と、その高解像度画像の生成時の戻し処理の候補の処理特定情報とを対応付けて選択部２３４に供給する。
【００６０】
選択部２３４は、保持部２３５から基準画像を読み出す。選択部２３４は、生成部２３３から供給される複数の高解像度画像のそれぞれと、基準画像との差分を求める。選択部２３４は、戻し処理の候補のうちの、基準画像との差が最も小さい高解像度画像に対応する１つを、最適な戻し処理として選択する。選択部２３４は、最適な戻し処理の処理特定情報を保持部２３５に供給する。
【００６１】
また、選択部２３４は、最適な戻し処理に対応する、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量を認識する。選択部２３４は、認識されたずれ量が閾値を超える場合、内視鏡１９の交換が必要であると判断し、警告部２３６に警告を指示する。
【００６２】
保持部２３５は、選択部２３４から供給される処理特定情報を保持する。また、保持部２３５は、基準画像を保持する。警告部２３６は、選択部２３４からの指示に応じて、内視鏡１９の交換を促す警告を出力する。具体的には、警告部２３６は、選択部２３４からの指示に応じて、例えば、出力部２０７のディスプレイ（表示部）を制御し、内視鏡１９の交換を促す警告画面をディスプレイに表示させる。なお、警告の出力方法は、警告画面の表示に限定されず、出力部２０７の警告ランプの点灯、出力部２０７のスピーカからの警告音などの出力などであってもよい。
【００６３】
送信部２３７は、設定部２３１から供給される高解像度画像を表示装置１１に送信する。また、送信部２３７は、必要に応じて、高解像度画像をレコーダ１６やプリンタ１７に送信する。
【００６４】
（内視鏡の撮像面の位相の説明）
図８は、内視鏡１９の赤色撮像面５３、緑色撮像面５４、および青色撮像面５５の位相を説明する図である。
【００６５】
図８Ａに示すように、内視鏡１９の撮像部は、赤色撮像面５３、緑色撮像面５４、および青色撮像面５５を有する。
【００６６】
また、図８Ｂに示すように、緑色撮像面５４の位相と、赤色撮像面５３の位相とは、水平方向と垂直方向にそれぞれ1/2画素だけずれている。赤色撮像面５３と青色撮像面５５の位相は同一である。これにより、ＨＤの赤色画像、緑色画像、および青色画像から、水平方向および垂直方向の解像度がそれぞれＨＤの２倍である４ｋの高解像度画像を生成することができる。
【００６７】
（高解像度画像の赤色成分の戻し処理の説明）
図９は、高解像度画像の赤色成分の戻し処理を説明する図である。
【００６８】
図９において、斜線が付されていない実線の丸は、高解像度画像のうちの赤色画像（青色画像）の画素と同一の位置の画素を表し、斜線が付された実線の丸は緑色画像の画素と同一の位置の画素を表す。また、点線の丸は、高解像度画像のうちの、赤色画像、緑色画像、および青色画像の画素のいずれとも異なる位置の画素（以下、新画素という）を表す。
【００６９】
高解像度画像のうちの緑色画像の画素と同一の位置の画素の赤色成分Ｒ´は、例えば、その画素の周囲の赤色画像の画素を用いて、その画素と赤色成分Ｒ´の画素の位置関係から、以下の式（１）により求めることができる。
【００７０】
【数１】
2017099616.tif 000003
【００７１】
式（１）のＲ11，Ｒ12，Ｒ21，Ｒ22は、それぞれ、赤色成分Ｒ´に対応する画素の左上、右上、左下、右下の赤色画像の画素である。αとβは、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化する、0以上１以下の値のパラメータである。αとβは、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量が０である場合、即ち赤色画像、緑色画像、および青色画像の位相が理想値である場合、両方とも0.5である。
【００７２】
従って、αとβの異なる式（１）により赤色成分Ｒ´を求める処理が、高解像度画像の赤色成分Ｒ´の戻し処理の候補とされる。高解像度画像の赤色成分Ｒ´の戻し処理の候補に対応するαとβの値の組み合わせ(α,β)としては、例えば、（0.5,0.5）,(0.4,0.5),(0.5,0.4),(0.6,0.5)などがある。
【００７３】
なお、詳細な説明は省略するが、点線の丸で表す新画素の赤色成分も、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により求めることができる。従って、そのパラメータの異なる式により赤色成分を求める処理が、高解像度画像の新画素の赤色成分の戻し処理の候補とされる。青色画像の位相は赤色画像の位相と同一であるので、高解像度画像の全画素の青色成分の戻し処理の候補は、赤色成分の戻し処理の候補と同一である。
【００７４】
また、高解像度画像の全画素の緑色成分も、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により求めることができる。従って、そのパラメータの異なる式により緑色成分を求める処理が、高解像度画像の全画素の緑色成分の戻し処理の候補とされる。
【００７５】
高解像度画像の赤色成分、緑色成分、および青色成分の戻し処理の候補は、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量ごとにまとめられて、戻し処理の候補とされる。
【００７６】
（最適な戻し処理の選択の説明）
図１０は、図７の選択部２３４による最適な戻し処理の選択を説明する図である。
【００７７】
図１０に示すように、選択部２３４には、基準画像と高解像度画像が供給される。選択部２３４は、以下の式（２）により、戻し処理の候補ごとに、基準画像と高解像度画像の赤色成分の差分を求める。
【００７８】
【数２】
2017099616.tif 000004
【００７９】
式（２）において、Ｅｒｒnは、ｎ番目（n=1,2,...,N）の戻し処理の候補により生成された高解像度画像と基準画像の赤色成分の差分を表す。また、Ｒ（i,j）は、基準画像の位置（i,j）の画素の赤色成分を表し、Ｒn´（i,j）は、ｎ番目の戻し処理の候補により生成された高解像度画像の位置（i,j）の画素の赤色成分を表す。
【００８０】
式（２）によれば、差分Ｅｒｒnは、高解像度画像と基準画像の各画素の赤色成分の差分の絶対値和である。
【００８１】
選択部２３４は、基準画像と高解像度画像の赤色成分の差分と同様に、緑色成分および青色成分の差分も求める。選択部２３４は、戻し処理の候補ごとに、赤色成分、緑色成分および青色成分の差分を加算し、加算値を基準画像と高解像度画像の差分とする。
【００８２】
選択部２３４は、基準画像と高解像度画像の差分が最小となる戻し処理の候補を最適な戻し処理として選択する。
【００８３】
（ＣＣＵの処理の説明）
図１１は、図７の戻し制御処理部２３０の戻し制御処理を説明するフローチャートである。この戻し制御処理は、例えば、内視鏡１９からＣＣＵ１２に画像が送信されてきたとき、開始される。
【００８４】
図１１のステップＳ１１において、戻し制御処理部２３０の受信部２３２は、内視鏡１９から送信されてくる赤色画像、緑色画像、および青色画像を受信し、受信部２３２に供給する。
【００８５】
ステップＳ１２において、生成部２３３は、設定部２３１から供給される動作モードが最適化モードであるかどうかを判定する。
【００８６】
ステップＳ１２で動作モードが最適化モードであると判定された場合、ステップＳ１３において、生成部２３３は、戻し処理の候補のそれぞれにより、受信部２３２から供給される赤色画像、緑色画像、および青色画像を用いて、高解像度画像を生成する。生成部２３３は、生成された複数の高解像度画像と、その高解像度画像の生成時の戻し処理の候補の処理特定情報とを対応付けて選択部２３４に供給する。
【００８７】
ステップＳ１４において、選択部２３４は、保持部２３５から基準画像を読み出す。ステップＳ１５において、選択部２３４は、生成部２３３から供給される複数の高解像度画像のそれぞれと、基準画像との差分を求める。ステップＳ１６において、選択部２３４は、戻し処理の候補のうちの、基準画像との差が最も小さい高解像度画像に対応する１つを、最適な戻し処理として選択する。
【００８８】
ステップＳ１７において、選択部２３４は、最適な戻し処理の処理特定情報を保持部２３５に供給して保持（更新）させる。これにより、次回のステップＳ１７の処理まで、後述するステップＳ２２の処理において、この処理特定情報で特定される戻し処理が行われる。
【００８９】
ステップＳ１８において、選択部２３４は、最適な戻し処理に対応する、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量を認識する。ステップＳ１９において、選択部２３４は、認識されたずれ量が閾値を超えるかどうかを判定する。ステップＳ１９でずれ量が閾値を超えたと判定された場合、選択部２３４は、内視鏡１９の交換が必要であると判断し、警告部２３６に警告を指示する。
【００９０】
そして、ステップＳ２０において、警告部２３６は、内視鏡１９の交換を促す警告を出力し、処理をステップＳ２４に進める。
【００９１】
一方、ステップＳ１２で動作モードが最適化モードではないと判定された場合、即ち動作モードが通常モードである場合、処理はステップＳ２１に進む。ステップＳ２１において、生成部２３３は、保持部２３５から処理特定情報を読み出す。
【００９２】
ステップＳ２２において、生成部２３３は、読み出された処理特定情報により特定される戻し処理により、受信部２３２から供給される赤色画像、緑色画像、および青色画像を用いて高解像度画像を生成する。生成部２３３は、生成された高解像度画像を送信部２３７に供給する。
【００９３】
ステップＳ２３において、送信部２３７は、設定部２３１から供給される高解像度画像を表示装置１１等に送信し、処理をステップＳ２４に進める。
【００９４】
ステップＳ２４において、戻し制御処理部２３０は、戻し制御処理を終了するかどうかを判定する。例えば、戻し制御処理部２３０は、内視鏡１９による撮像が終了した場合や、ＣＣＵ１２の電源が切断された場合、戻し制御処理を終了すると判定する。
【００９５】
ステップＳ２４で戻し制御処理を終了しないと判定された場合、処理はステップＳ１１に戻り、戻し制御処理が終了すると判定されるまで、処理が繰り返される。
【００９６】
一方、ステップＳ２４で戻し制御処理を終了すると判定された場合、処理は終了する。
【００９７】
以上のように、ＣＣＵ１２は、赤色画像、緑色画像、および青色画像を用いて、複数の種類の戻し処理の候補により高解像度画像を生成し、その高解像度画像に基づいて、複数の種類の戻し処理のうちの最適な１つを選択する。従って、ＣＣＵ１２は、選択された最適な戻し処理で高解像度画像を生成することにより、赤色撮像面５３、緑色撮像面５４、および青色撮像面５５の位相が理想値からずれた場合であっても、高解像度画像の画質を十分に向上させることができる。
【００９８】
また、戻し処理の候補は、赤色撮像面５３、緑色撮像面５４、および青色撮像面５５の位相の理想値からのずれ量に応じたパラメータを用いた式により高解像度画像を生成する処理である。従って、ＣＣＵ１２は、最適な戻し処理からずれ量を認識することができる。その結果、ずれ量が閾値を超えた場合に、術者等に内視鏡１９の交換を促す警告を発することができる。
【００９９】
さらに、戻し処理の最適化時に、治具４１により、チャート４２と内視鏡１９の位置関係が固定されるので、最適化の精度を向上させることができる。
【０１００】
＜第２実施の形態＞
（第２実施の形態における内視鏡の撮像面の位相の説明）
本開示を適用した内視鏡手術システムおよび最適化システムの第２実施の形態の構成は、主に、内視鏡１９の赤色撮像面５３と青色撮像面５５の位相が異なる点が、図１および図２の構成と異なっている。従って、以下では、内視鏡１９の赤色撮像面５３、緑色撮像面５４、および青色撮像面５５の位相についてのみ説明する。
【０１０１】
図１２は、第２実施の形態における内視鏡１９の赤色撮像面５３、緑色撮像面５４、および青色撮像面５５の位相を説明する図である。
【０１０２】
図１２に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０３】
図１２に示すように、第２実施の形態では、緑色撮像面５４の位相と、赤色撮像面５３の位相は、垂直方向に1/2画素だけずれている。また、緑色撮像面５４と青色撮像面５５の位相は、水平方向に1/2画素だけずれている。これにより、ＨＤの赤色画像、緑色画像、および青色画像から、水平方向および垂直方向の解像度がそれぞれＨＤの２倍である４ｋの高解像度画像を生成することができる。
【０１０４】
第２実施の形態における戻し処理の候補は、第１実施の形態とは異なるが、第１実施の形態と同様に、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により高解像度画像を生成する処理である。
【０１０５】
＜第３実施の形態＞
（第３実施の形態における画素ずらしの説明）
本開示を適用した内視鏡手術システムおよび最適化システムの第３実施の形態の構成は、主に、内視鏡１９の撮像面が１つである点、および、撮像面の位置を変化させて複数回撮像を行うことにより画素ずらしが行われる点が、図１および図２の構成と異なっている。従って、以下では、画素ずらしについてのみ説明する。
【０１０６】
図１３は、第３実施の形態における画素ずらしを説明する図である。
【０１０７】
図１３では、内視鏡１９の撮像面が有する画素のうちの２×２の画素における画素ずらしについて説明する。図１３において、丸は、内視鏡１９の撮像面の２×２の画素の位置を表し、丸の中の「Ｒ」、「Ｇ」、「Ｂ」は、それぞれ、その画素が、赤色、緑色、青色の光に対して感度を有することを表している。また、丸の中の数字は、何回目の撮像時の位置であるかを表している。図１３の例では、４回撮像が行われ、撮像面のカラー配列はベイヤ配列である。
【０１０８】
図１３Ａの例では、模様が付されている丸で表される位置で、２×２の画素が１回目の撮像を行う。次に、内視鏡１９の撮像面が、図中の右方向（行方向）に１画素分移動され、２が付されている丸で表される位置で、２×２の画素が２回目の撮像を行う。
【０１０９】
そして、内視鏡１９の撮像面が、図中の左斜め下方向に１画素分移動され、３が付されている丸で表される位置で、２×２の画素が３回目の撮像を行う。最後に、内視鏡１９の撮像面が、図中の右方向に１画素分移動され、４が付されている丸で表される位置で、２×２の画素が４回目の撮像を行う。以上のようにして、位相の異なる４つのＨＤの画像を撮像する画素ずらしが行われる。
【０１１０】
一方、図１３Ｂの例では、模様が付されている丸で表される位置で、２×２の画素が１回目の撮像を行う。次に、内視鏡１９の撮像面が、図中の右方向に２画素分移動され、２が付されている丸で表される位置で、２×２の画素が２回目の撮像を行う。
【０１１１】
そして、内視鏡１９の撮像面が、図中の左斜め下方向に２画素分移動され、３が付されている丸で表される位置で、２×２の画素が３回目の撮像を行う。最後に、内視鏡１９の撮像面が、図中の右方向に２画素分移動され、４が付されている丸で表される位置で、２×２の画素が４回目の撮像を行う。以上のようにして、位相の異なる４つのＨＤ画像を撮像する画素ずらしが行われる。
【０１１２】
第３実施の形態における戻し処理の候補は、第１実施の形態とは異なるが、第１実施の形態と同様に、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により高解像度画像を生成する処理である。
【０１１３】
なお、第３実施の形態における画素ずらしは、図１３の例には限定されず、例えば、撮像回数は４回以外であってもよい。
【０１１４】
上述した一連の処理は、ハードウエアにより実行することもできる。
【０１１５】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１６】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１１７】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１８】
例えば、内視鏡１９により撮像される画像の解像度はＨＤに限定されず、高解像度画像の解像度は４ｋに限定されない。例えば、高解像度画像の解像度は、８ｋ解像度などの４ｋ解像度より高い解像度にすることもできる。
【０１１９】
また、高解像度画像と基準画像の赤色成分、緑色成分、および青色成分の全ての差分の合計ではなく、１つの成分の差分に基づいて最適な戻し処理を選択するようにしてもよい。また、色ごとに、最適な戻し処理の選択を行ってもよい。
【０１２０】
さらに、第１および第２実施の形態における内視鏡１９の撮像面の数は３つに限定されない。例えば、内視鏡１９は、１枚の赤色撮像面、２枚の緑色撮像面、および１枚の青色撮像面からなる４板式の撮像部を有するようにすることもできる。
【０１２１】
本開示は、内視鏡のほか、画素ずらしを行うビデオ顕微鏡などの撮像装置により取得された画像を用いて戻し処理を行う画像処理装置に適用することができる。
【０１２２】
なお、本開示は、以下のような構成もとることができる。
【０１２３】
（１）
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択部と
を備える手術用制御装置。
（２）
前記生成部は、前記複数の画像に対し、前記選択部により選択された前記処理を実行することで前記複数の画像より高い解像度を有する高解像度画像を生成する
ように構成された
前記（１）に記載の手術用制御装置。
（３）
前記選択部は、前記生成部により生成された前記複数の高解像度画像のそれぞれと基準画像との差分に基づいて、前記複数の種類の処理のうちの１つを選択する
ように構成された
前記（１）または（２）に記載の手術用制御装置。
（４）
前記手術用撮像装置は、チャートを被写体として含むように撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記（１）に記載の手術用制御装置。
（５）
前記選択部は、前記チャートを被写体として含む前記複数の高解像度画像のぞれぞれと前記チャートの理想的な高解像度画像との差分に基づいて、前記複数の種類の処理のうちの１つを選択する
ように構成された
前記（４）に記載の手術用制御装置。
（６）
前記手術用撮像装置は、前記チャートと前記手術用撮像装置の位置関係が治具により固定された状態で撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記（４）または（５）に記載の手術用制御装置。
（７）
前記チャートの図柄は、格子状の線を含む
ように構成された
前記（４）乃至（６）のいずれかに記載の手術用制御装置。
（８）
前記チャートの図柄は、間隔の異なる縦線を含む
ように構成された
前記（４）乃至（６）のいずれかに記載の手術用制御装置。
（９）
前記チャートの図柄は、前記手術用撮像装置の少なくとも１つの撮像面の画素の水平方向の長さより間隔の大きい縦線と、前記画素の垂直方向の長さより間隔の大きい横線とを含む
ように構成された
前記（４）乃至（６）のいずれかに記載の手術用制御装置。
（１０）
前記選択部により選択された前記処理に対応する、前記位相の理想値とのずれ量に基づいて、警告を出力させる警告部
をさらに備える
前記（１）乃至（９）のいずれかに記載の手術用制御装置。
（１１）
前記警告部は、前記ずれ量に基づいて、前記手術用撮像装置の交換を促す警告が表示部に表示されるように、前記表示部を制御する
前記（１０）に記載の手術用制御装置。
（１２）
前記手術用撮像装置は、互いに異なる色の光に対して感度を有する、位相の異なる複数の撮像面を有し、前記複数の撮像面で同時に撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記（１）乃至（１１）のいずれかに記載の手術用制御装置。
（１３）
前記手術用撮像装置は、１つの撮像面を有し、前記撮像面の位置を変化させて複数回撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記（１）乃至（１１）のいずれかに記載の手術用制御装置。
（１４）
前記高解像度画像は、少なくとも４ｋ解像度以上の解像度を有する画像である
ように構成された
前記（１）乃至（１３）のいずれかに記載の手術用制御装置。
（１５）
手術用制御装置が、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択ステップと
を含む手術用制御方法。
（１６）
コンピュータを、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの１つを選択する選択部と
して機能させるためのプログラム。
（１７）
位相の異なる複数の画像を撮像する手術用撮像装置と、
前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、
前記手術用撮像装置と前記チャートとの位置関係を固定する治具と
を備える手術システム。
【符号の説明】
【０１２４】
１２  ＣＣＵ,  １９  内視鏡,  ４０  最適化システム，  ４１  治具,  ４２  チャート，  ５３  赤色撮像面,  ５４  緑色撮像面,  ５５  青色撮像面,  ６１  線,  ６２，７２  縦線,  ７３  横線,  ２０７  出力部,  ２３３  生成部，  ２３４  選択部，  ２３６  警告部
【図１】
2017099616.tif 000005
【図２】
2017099616.tif 000006
【図３】
2017099616.tif 000007
【図４】
2017099616.tif 000008
【図５】
2017099616.tif 000009
【図６】
2017099616.tif 000010
【図７】
2017099616.tif 000011
【図８】
2017099616.tif 000012
【図９】
2017099616.tif 000013
【図１０】
2017099616.tif 000014
【図１１】
2017099616.tif 000015
【図１２】
2017099616.tif 000016
【図１３】
2017099616.tif 000017