(57)【要約】【課題】ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させる。【解決手段】医療用機器により撮像された画像を示す入力画像信号に対する画像処理に関連するソフトウェアの状態を判定する判定部と、ソフトウェアの状態の判定結果に基づいて、ソフトウェアによって入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させる出力制御部とを備える、信号処理装置が提供される。【選択図】図２
2020054834.tif 000002
【特許請求の範囲】
【請求項１】
医療用機器から入力された信号を画像信号に変換する現像処理を行う第１の回路と、
前記医療用機器から入力された信号を画像信号に変換する現像処理を行われた画像信号に対して、補正処理を行う第２の回路と、
を含み、
前記第１の回路は、前記第２の回路の状態を判定する判定処理を行い、前記第２の回路が第１の状態であると判定した場合は前記第１の回路が現像処理を行った画像信号を出力し、前記第２の回路が第２の状態であると判定した場合は前記第２の回路が前記補正処理を行った画像信号を出力する、
医療信号処理システム。
【請求項２】
前記第１の回路は、ＦＰＧＡである、請求項１に記載の医療信号処理システム。
【請求項３】
前記第２の回路は、ＧＰＵである、請求項１または２に記載の医療信号処理システム。
【請求項４】
前記医療用機器から入力された信号は、前記医療用機器により撮像されたＲＡＷ画像を示す信号であるＲＡＷ信号である、請求項１〜３のいずれか１項に記載の医療信号処理システム。
【請求項５】
前記第２の回路は、前記医療用機器から入力されたＲＡＷ信号を画像信号に変換する現像処理を行った後に、前記画像信号に対して補正処理を行う、請求項４に記載の医療信号処理システム。
【請求項６】
前記補正処理は、ノイズ抑制処理、色補正処理、強調処理の少なくとも１つを含む、請求項１〜５のいずれか１項に記載の医療信号処理システム。
【請求項７】
前記第１の回路は、前記第２の回路が補正処理を行った画像信号を取得し、第１の回路が現像処理を行った画像信号と、前記第２の回路が補正処理を行った画像信号と、を選択的に出力可能である、請求項１〜６のいずれか１項に記載の医療信号処理システム。
【請求項８】
前記第１の回路は、前記判定処理において、前記第２の回路が実行した第１のソフトウェア処理の結果を取得し、前記第１のソフトウェア処理の結果に基づいて、前記第２の回路が第１の状態または第２の状態のいずれかであるかを判定する、請求項１〜７のいずれか１項に記載の医療信号処理システム。
【請求項９】
前記第１の回路は、前記判定処理において、前記第２の回路が実行した第１のソフトウェア処理の結果を取得し、前記第１のソフトウェア処理の結果が誤っている場合、または、前記第１のソフトウェア処理の結果が得られない場合に、前記第２の回路が第１の状態であると判定する、請求項１〜８のいずれか１項に記載の医療信号処理システム。
【請求項１０】
前記第１の回路は、前記判定処理において、前記第２の回路が実行した第１のソフトウェア処理の結果を取得し、前記第１のソフトウェア処理の結果が誤っている場合、または、前記第１のソフトウェア処理の結果が得られない場合に、前記第２の回路が異常状態であることを示す第１の状態であると判定する、請求項１〜８のいずれか１項に記載の医療信号処理システム。
【請求項１１】
前記第１の回路は、前記判定処理において、認証を行う認証処理、所定の演算を実行する演算処理、所定の応答要求に対して応答を行わせる処理、所定の暗号化処理を実行させる処理、前記補正処理後の画像信号の妥当性の判定処理、の少なくとも１つを前記第２の回路に対して実行させる、請求項１〜１０のいずれか１項に記載の医療信号処理システム。
【請求項１２】
前記医療用機器は、内視鏡、手術顕微鏡、ＣＴ、ＭＲＩ、ＰＥＴ、超音波診断装置のいずれかである、請求項１〜１１のいずれか１項に記載の医療信号処理システム。
【請求項１３】
内視鏡撮像デバイスと、
内視鏡信号処理装置と、
を備え、
前記内視鏡信号処理装置は、内視鏡の撮像デバイスから入力された信号を画像信号に変換する現像処理を行う第１の回路と、前記内視鏡の撮像デバイスから入力された信号を画像信号に変換する現像処理を行われた画像信号に対して、補正処理を行う第２の回路と、
を含み、
前記第１の回路は、前記第２の回路の状態を判定する判定処理を行い、前記第２の回路が第１の状態であると判定した場合は前記第１の回路が現像処理を行った画像信号を出力し、前記第２の回路が第２の状態であると判定した場合は第２の回路が前記補正処理を行った画像信号を出力する、
内視鏡装置。
【請求項１４】
医療用機器から入力された信号を画像信号に変換する現像処理を行う第１の回路と、
前記医療用機器から入力された信号を画像信号に変換する現像処理を行われた画像信号に対して、補正処理を行う第２の回路と、
を含み、
前記第１の回路は、前記第２の回路の状態を判定する判定処理を行い、前記第２の回路が第１の状態であると判定した場合は前記第１の回路が現像処理を行った画像信号を出力し、前記第２の回路が第２の状態であると判定した場合は前記第２の回路が前記補正処理を行った画像信号を出力する、
信号処理装置。
【請求項１５】
撮像機器から入力された信号を画像信号に変換する現像処理を行う第１の回路と、
前記撮像機器から入力された信号を画像信号に変換する現像処理を行われた画像信号に対して、補正処理を行う第２の回路と、
を含み、
前記第１の回路は、前記第２の回路の状態を判定する判定処理を行い、前記第２の回路が第１の状態であると判定した場合は前記第１の回路が現像処理を行った画像信号を出力し、前記第２の回路が第２の状態であると判定した場合は第２の回路が前記補正処理を行った画像信号を出力する、
信号処理装置。
【請求項１６】
医療用機器から入力された信号を画像信号に変換する現像処理を第１の回路を用いて行う第１のステップと、
前記医療用機器から入力された信号を画像信号に変換する現像処理を行われた画像信号に対して、補正処理を第２の回路を用いて行う第２のステップと、
を有し、
前記第１のステップは、前記第２の回路の状態を判定する判定処理を行い、前記第２の回路が第１の状態であると判定した場合は前記第１の回路が現像処理を行った画像信号を出力し、前記第２の回路が第２の状態であると判定した場合は前記第２の回路が前記補正処理を行った画像信号を出力する、
信号処理方法。
【請求項１７】
前記第１の回路は、ＦＰＧＡである、請求項１６に記載の信号処理方法。
【請求項１８】
前記第２の回路は、ＧＰＵである、請求項１６に記載の信号処理方法。
【請求項１９】
前記医療用機器から入力された信号は、前記医療用機器により撮像されたＲＡＷ画像を示す信号であるＲＡＷ信号である、請求項１６に記載の信号処理方法。
【請求項２０】
前記第２の回路は、前記医療用機器から入力されたＲＡＷ信号を画像信号に変換する現像処理を行った後に、前記画像信号に対して補正処理を行う、請求項１６に記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、および信号処理方法に関する。
【背景技術】
【０００２】
ＦＰＧＡ（Field  Programmable  Gate  Array）の回路構成を定義し直す技術が開発されている。ＦＰＧＡから読み出された論理回路を定義するための属性情報と期待値との比較結果に基づいて、属性情報を更新することによって、ＦＰＧＡの回路構成を定義し直す技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０１５９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば内視鏡などの医療で用いられる機器などの様々な機器では、画像信号に対して画像処理を行う場合において、例えば、画像処理用のハードウェアによって画像信号に対する画像処理が行われる。一方、例えば、画像処理の内容の変更がより容易であることや、変更に要するコストがより低いなどの理由によって、画像信号に対するソフトウェアによる画像処理が着目されている。しかしながら、例えば、画像信号に対するソフトウェアによる画像処理は、画像信号に対する画像処理用のハードウェアによる画像処理と比べて実績が十分であるとはいえない。
【０００５】
本開示では、ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させることが可能な、新規かつ改良された信号処理装置、および信号処理方法を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、医療用機器により撮像された画像を示す入力画像信号に対する画像処理に関連するソフトウェアの状態を判定する判定部と、上記ソフトウェアの状態の判定結果に基づいて、上記ソフトウェアによって上記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させる出力制御部と、を備える、信号処理装置が提供される。
【０００７】
また、本開示によれば、入力された入力画像信号に対する画像処理に関連するソフトウェアを実行するソフトウェア処理部と、上記入力画像信号に対して画像処理を行う画像処理用のハードウェアを有するハードウェア処理部と、を備え、上記ハードウェア処理部は、上記関連するソフトウェアの状態を判定する判定部と、上記ソフトウェアの状態の判定結果に基づいて、実行されたソフトウェアによって上記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させる出力制御部と、を備える、信号処理装置が提供される。
【０００８】
また、本開示によれば、入力された入力画像信号に対する画像処理に関連するソフトウェアの状態を判定するステップと、上記ソフトウェアの状態の判定結果に基づいて、上記ソフトウェアによって上記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させるステップと、を有する、信号処理方法が提供される。
【発明の効果】
【０００９】
本開示によれば、ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させることができる。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】画像処理用のハードウェアが用いられる場合の画像処理の一例と、ソフトウェアが用いられる場合の画像処理の一例とを示す説明図である。
【図２】本実施形態に係る信号処理装置の構成の一例を示すブロック図である。
【図３】本実施形態に係る信号処理装置のハードウェア構成の一例を示す説明図である。
【図４】図３に示す本実施形態に係る信号処理装置により行われる処理の一例を示すタイミングチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る信号処理方法
２．本実施形態に係る信号処理装置
【００１４】
（本実施形態に係る信号処理方法）
本実施形態に係る信号処理装置の構成について説明する前に、まず、本実施形態に係る信号処理方法について説明する。以下では、本実施形態に係る信号処理方法に係る処理を、本実施形態に係る信号処理装置が行う場合を例に挙げて、本実施形態に係る信号処理方法について説明する。
【００１５】
［１］本実施形態に係る信号処理方法に係る処理の概要
ソフトウェアにより画像信号に対して画像処理を行う場合には、画像処理の内容の変更がより容易であることや、変更に要するコストがより低いなどの理由から、画像処理用のハードウェアが用いられる場合よりもより高度な画像処理を行うことが可能である。
【００１６】
図１は、画像処理用のハードウェアが用いられる場合の画像処理の一例と、ソフトウェアが用いられる場合の画像処理の一例とを示す説明図である。図１のＡは、画像処理用のハードウェアが用いられる場合の画像処理の一例を示しており、図１のＢは、ソフトウェアが用いられる場合の画像処理の一例を示している。
【００１７】
図１のＡに示すように、画像処理用のハードウェアが用いられる場合には、現像に係る各種処理を行う現像処理が画像信号に対して行われる。一方、図１のＢに示すように、ソフトウェアが用いられる場合には、現像処理に加え、さらに、デジタルフィルタなどを用いてノイズを低減するノイズ抑制処理や、色を補正する色補正処理、周波数が所定の閾値よりも高い領域を強調する高域強調処理が、画像信号に対して行われる。
【００１８】
ここで、画像処理用のハードウェアが用いられる場合においても、ノイズ抑制処理や、色補正処理、高域強調処理などを実現することは可能ではある。しかしながら、図１のＡに示すような現像処理を行う画像処理用のハードウェアにおける処理の内容の変更は困難であり、ノイズ抑制処理や、色補正処理、高域強調処理などを実現するためには、新たな画像処理用のハードウェアを用いなければならない可能性が高い。そのため、画像処理用のハードウェアが用いられる場合には、画像処理の内容の変更が容易ではなく、また、変更に要するコストもかかる。一方、ソフトウェアによる処理内容の変更は、ハードウェアの変更よりも容易である可能性が高い。
【００１９】
なお、画像処理用のハードウェアが用いられる場合の画像処理の一例と、ソフトウェアが用いられる場合の画像処理の一例とは、図１に示す例に限られない。例えば、画像処理用のハードウェアおよびソフトウェアそれぞれは、任意の画像処理を行うことができ、また、画像処理用のハードウェアと、ソフトウェアとは、同一の処理を行うことも可能である。
【００２０】
上記のように、ソフトウェアにより画像信号に対して画像処理を行う場合には、画像処理用のハードウェアが用いられる場合よりもより高度な画像処理を、より容易に実現することができる可能性が高い。しかしながら、画像信号に対するソフトウェアによる画像処理は、画像信号に対する画像処理用のハードウェアによる画像処理と比べて実績が十分であるとはいえない。そのため、ソフトウェアにより画像信号に対して画像処理が行われる場合には、ソフトウェアによって画像信号に対して画像処理が行われた画像信号（以下、「第１の処理画像信号」と示す。）が、正常に処理が行われた結果得られた画像信号であることが保証されることが望まれている。つまり、ソフトウェアにより画像信号に対して画像処理が行われる場合であっても、画像処理用のハードウェアが用いられる場合と同程度の信頼性が担保されることが望まれている。
【００２１】
そこで、本実施形態に係る信号処理装置は、本実施形態に係る信号処理方法に係る処理として、入力された画像信号（以下、「入力画像信号」と示す。）に対する画像処理に関連するソフトウェアの状態を判定し、ソフトウェアの状態の判定結果に基づいて、第１の処理画像信号を選択的に出力させる。本実施形態に係る信号処理装置は、ソフトウェアの状態が正常であると判定された場合に、第１の処理画像信号を出力させ、ソフトウェアの状態が正常であると判定されない場合には、第１の処理画像信号を出力させない。
【００２２】
ここで、本実施形態に係る入力画像信号としては、例えば、ＲＡＷ画像を示す画像信号が挙げられる。また、本実施形態に係る入力画像信号は、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）それぞれに対応する画像を示す複数の画像信号であってもよい。
【００２３】
また、本実施形態に係る入力画像信号としては、例えば、軟性内視鏡や手術内視鏡（硬性鏡）などの内視鏡を構成する撮像デバイスにより撮像された内視鏡画像を示す画像信号が挙げられる。なお、本実施形態に係る入力画像信号は、内視鏡画像を示す画像信号に限られない。例えば、本実施形態に係る入力画像信号としては、下記に示すような画像信号が挙げられる。
・手術顕微鏡を構成する撮像デバイスにより撮像された画像を示す画像信号
・ＣＴ（Computed  Tomography）、ＭＲＩ（Magnetic  Resonance  Imaging）、ＰＥＴ（Positron  Emission  Tomography）、超音波診断装置などの各種医療用の機器で撮像されることなどにより生成される画像を示す画像信号
・放送局用のカメラにより撮像された画像を示す画像信号
・放送局用の表示装置などの、表示装置に表示させるための画像を示す画像信号
・デジタルビデオカメラやデジタルスチルカメラなどの撮像装置や、スマートフォンなどが備える撮像デバイスにより撮像された画像を示す画像信号
【００２４】
本実施形態に係る入力画像信号は、例えば、上記のような撮像デバイスなどにより生成された画像信号であってもよいし、記録媒体に記憶されている画像データが、当該記録媒体から読み出された画像信号であってもよい。
【００２５】
また、本実施形態に係る画像処理に関連するソフトウェア（以下、単に「関連するソフトウェア」と示す場合がある。）としては、例えば、各種画像処理を行う画像処理用のソフトウェアや、ＯＳ（Operating  System）などの、画像処理用のソフトウェアの動作環境に係るシステムソフトウェアなどが挙げられる。本実施形態に係る関連するソフトウェアは、例えば、１または２以上のプロセッサコアを有するプロセッサなどの、ハードウェアにより実行される。本実施形態に係るプロセッサとしては、例えば、ＣＰＵ（Central  Processing  Unit）などが挙げられる。プロセッサなどの、本実施形態に係る関連するソフトウェアを実行するハードウェアは、例えば、実行するソフトウェアに応じた処理を
行うことが可能なハードウェア、すなわち汎用的に処理を行うことが可能なハードウェアである。
【００２６】
また、本実施形態に係る信号処理装置は、例えば、本実施形態に係る信号処理装置が備える出力部（後述する）、または、出力部（後述する）と同様の機能を有する外部の出力デバイスに対して、画像信号の出力を制御する制御信号を伝達することによって、第１の処理画像信号を選択的に出力させる。
【００２７】
本実施形態に係る制御信号としては、例えば、出力部（後述する）などを構成する１または２以上のスイッチング素子をそれぞれオン状態またはオフ状態とする信号（例えば、ハイレベルまたはローレベルの信号）が挙げられる。出力部（後述する）などを構成するスイッチング素子としては、例えば、ＭＯＳＦＥＴ（Metal-Oxide-Semiconductor  Field-Effect  Transistor）などが挙げられる。
【００２８】
［２］本実施形態に係る信号処理方法に係る処理の一例
より具体的には、本実施形態に係る信号処理装置は、本実施形態に係る信号処理方法に係る処理として、例えば、（１）判定処理、および（２）出力制御処理、を行う。
【００２９】
なお、下記に示す（１）判定処理、および（２）出力制御処理は、便宜上、本実施形態に係る信号処理方法に係る処理を２つの処理に切り分けたものである。よって、本実施形態に係る信号処理方法に係る処理は、下記に示す（１）判定処理、および（２）出力制御処理を１つの処理と捉えることもでき、または、または、任意の切り分け方による２以上の処理と捉えることも可能である。以下では、本実施形態に係る信号処理方法に係る処理を、（１）判定処理、および（２）出力制御処理に分けて説明する。
【００３０】
（１）判定処理
本実施形態に係る信号処理装置は、入力画像信号に対する画像処理に関連するソフトウェアの状態を判定する。
【００３１】
（１−１）判定処理の第１の例：関連するソフトウェアを実行するハードウェアのテスト結果に基づく判定
本実施形態に係る信号処理装置は、例えば、関連するソフトウェアを実行するハードウェアに、設定された所定の処理を行わせる。そして、本実施形態に係る信号処理装置は、所定の処理の結果に基づいて、関連するソフトウェアの状態（以下、単に「ソフトウェアの状態」と示す。）を判定する。
【００３２】
ここで、本実施形態に係る所定の処理としては、例えば、所定の演算を行う演算処理が挙げられる。所定の演算としては、例えば“ｎ＝ｎ＋１”（ｎは、整数）などの、任意の演算が挙げられる。
【００３３】
なお、本実施形態に係る所定の処理は、演算処理に限られない。例えば、本実施形態に係る所定の処理は、応答命令を含む応答要求に対して応答（例えば、ＡＣＫ）を行わせる処理であってもよい。以下では、本実施形態に係る所定の処理が、演算処理である場合を主に例に挙げる。
【００３４】
本実施形態に係る所定の処理が演算処理である場合、本実施形態に係る信号処理装置は、演算処理の結果が正しいときに、ソフトウェアの状態が、正常な状態であると判定する。また、本実施形態に係る所定の処理が演算処理である場合、本実施形態に係る信号処理装置は、演算処理の結果が誤っているとき、または、演算処理の結果が得られないときに、ソフトウェアの状態が、正常な状態ではないと判定する。
【００３５】
本実施形態に係る信号処理装置は、定期的または非定期的に、所定の演算を行わせる演算命令を含む演算要求を、関連するソフトウェアを実行するハードウェアに伝達する。また、関連するソフトウェアを実行するハードウェアから演算要求に対する計算結果が伝達された場合には、本実施形態に係る信号処理装置は、当該計算結果を検証して当該計算結果の妥当性を判定する。そして、演算要求に対する計算結果が正しい結果である場合（当該計算結果が妥当である場合）には、本実施形態に係る信号処理装置は、ソフトウェアの状態が正常であると判定する。また、演算要求に対する計算結果が正しい結果ではない場合（当該計算結果が妥当でない場合）、または、演算要求に対する計算結果が得られないときには、本実施形態に係る信号処理装置は、ソフトウェアの状態が正常であると判定しない。
【００３６】
また、本実施形態に係る所定の処理が応答要求に対して応答を行わせる処理である場合、本実施形態に係る信号処理装置は、定期的または非定期的に応答要求を、関連するソフトウェアを実行するハードウェアに伝達する。そして、本実施形態に係る信号処理装置は、関連するソフトウェアを実行するハードウェア（または、実行された関連するソフトウェア）から応答が返ってきた場合に、ソフトウェアの状態が、正常な状態であると判定する。また、本実施形態に係る信号処理装置は、設定されている所定の時間内に、関連するソフトウェアを実行するハードウェア（または、実行された関連するソフトウェア）から応答が返ってこない場合に、ソフトウェアの状態が、正常な状態ではないと判定する。
【００３７】
また、関連するソフトウェアを実行するハードウェアが、関連するソフトウェアを実行する複数のプロセッサコアを有する場合には、本実施形態に係る信号処理装置は、複数のプロセッサコアの一部または全部に、所定の処理を行わせる。そして、本実施形態に係る信号処理装置は、所定の処理を行ったプロセッサコアにおける所定の処理の結果に基づいて、ソフトウェアの状態を判定する。
【００３８】
ここで、複数のプロセッサコアの一部に所定の処理を行わせる場合には、複数のプロセッサコアの全部に所定の処理を行わせる場合よりも、判定処理に係る時間や負荷を低減させることが可能となる。また、複数のプロセッサコアの全部に所定の処理を行わせる場合には、複数のプロセッサコアの一部に所定の処理を行わせる場合よりも、ソフトウェアの状態の判定精度をより高めることができる。
【００３９】
複数のプロセッサコアの一部または全部に所定の処理を行わせる場合において、所定の処理を行わせたプロセッサコアの所定の処理の結果から、ソフトウェアの状態が正常な状態ではないと判定された場合には、本実施形態に係る信号処理装置は、例えば下記のような対応をとることが可能である。
・正常な状態ではないと判定された判定結果に対応するプロセッサコアにより処理された第１の処理画像信号を、（２）の処理（出力制御処理）により出力させない。
・正常な状態ではないと判定された判定結果に対応するプロセッサコアを無効とし、関連するソフトウェアを実行させない。
・正常な状態ではないと判定された判定結果に対応するプロセッサコアを含む、全てのプロセッサコアにより処理された第１の処理画像信号を、（２）の処理（出力制御処理）により出力させない。
・正常な状態ではないと判定された判定結果に対応するプロセッサコアを含む、全てのプロセッサコアを無効とし、関連するソフトウェアを実行させない。
【００４０】
（１−２）判定処理の第２の例：関連するソフトウェアの認証結果に基づく判定
本実施形態に係る信号処理装置は、例えば、関連するソフトウェアを認証し、認証結果に基づいて、ソフトウェアの状態を判定する。
【００４１】
本実施形態に係る信号処理装置は、関連するソフトウェアの認証が正常に完了した場合に、ソフトウェアの状態が、正常な状態であると判定する。また、本実施形態に係る信号処理装置は、関連するソフトウェアの認証が正常に完了しない場合に、ソフトウェアの状態が、正常な状態ではないと判定する。
【００４２】
第２の例に係る判定処理が行われる場合、正常に認証された関連するソフトウェアが、正常な状態であると判定される。よって、本実施形態に係る信号処理装置が第２の例に係る判定処理を行うことにより、例えば、改竄された関連するソフトウェアなどの、不正な関連するソフトウェアにより画像処理された第１の処理画像信号が出力されることが防止される。
【００４３】
本実施形態に係る信号処理装置は、予め設定された認証手順に従った、関連するソフトウェアからの応答が行われるか否かを判定することによって、関連するソフトウェアを認証する。
【００４４】
具体例を挙げると、本実施形態に係る信号処理装置は、関連するソフトウェアに対して、設定された所定の長さの平文を、伝達する。関連するソフトウェアは、伝達された平文を、関連するソフトウェアが保持している秘密鍵を用いて所定の暗号化処理を行い、当該平文が暗号化された暗号文を、本実施形態に係る信号処理装置へ伝達する。本実施形態に係る信号処理装置は、伝達された暗号文を復号し、復号された平文が、関連するソフトウェアに対して伝達した平文と一致するか否かを判定する。本実施形態に係る信号処理装置は、復号された平文が関連するソフトウェアに対して伝達した平文と一致する場合に、ソフトウェアの状態が、正常な状態であると判定する。また、本実施形態に係る信号処理装置は、伝達された暗号文を復号できない場合、または、復号された平文が関連するソフトウェアに対して伝達した平文と一致しない場合には、ソフトウェアの状態が、正常な状態ではないと判定する。
【００４５】
なお、第２の例に係る判定処理における認証に係る処理は、上記に示す例に限られない。
【００４６】
例えば、本実施形態に係る信号処理装置は、関連するソフトウェアの認証を行うことが可能な任意の手順によって、関連するソフトウェアを認証することが可能である。
【００４７】
また、関連するソフトウェアにおける暗号化処理には、例えば、本実施形態に係る信号処理装置が備える記憶部（後述する）などの記録媒体に記憶されているプログラムのサイズを示す値など、本実施形態に係る信号処理装置が関連するソフトウェアを認証に用いることが可能な値に依存する計算が含まれていてもよい。上記のように、関連するソフトウェアにおける暗号化処理に、本実施形態に係る信号処理装置が関連するソフトウェアを認証に用いることが可能な値に依存する計算が含まれる場合には、さらに改竄防止の強度を高めることが可能となる。
【００４８】
（１−３）判定処理の第３の例：第１の処理画像信号の妥当性の判定結果に基づく判定
本実施形態に係る信号処理装置は、例えば、第１の処理画像信号の妥当性を判定し、妥当性の判定結果に基づいて、ソフトウェアの状態を判定する。本実施形態に係る信号処理装置は、例えば、第１の処理画像信号を構成する画素値に基づいて第１の処理画像信号の妥当性を判定する。
【００４９】
本実施形態に係る信号処理装置は、第１の処理画像信号が妥当であると判定された場合に、ソフトウェアの状態が、正常な状態であると判定する。また、本実施形態に係る信号処理装置は、第１の処理画像信号が妥当であると判定されない場合に、ソフトウェアの状態が、正常な状態ではないと判定する。
【００５０】
本実施形態に係る信号処理装置は、例えば、第１の処理画像信号が下記のような場合に、第１の処理画像信号が妥当であると判定しない。なお、本実施形態に係る第１の処理画像信号が妥当であると判定しない場合の例が、下記に示す例に限られないことは、言うまでもない。
・第１の処理画像信号が、全黒を示す画像である場合（第１の処理画像信号が示す全ての画素値が“０”である場合）
・入力画像信号が、動画像を示す場合、前フレームに対応する第１の処理画像信号と、現フレームに対応する第１の処理画像信号との差分が、設定されている閾値以上である場合（または、当該差分が、当該閾値より大きい場合）
・入力画像信号が内視鏡画像である場合において、内視鏡のマスク部（例えば円形部）以外の画素値が、設定されている閾値以上である場合（または、当該差分が、当該閾値より大きい場合）
・第１の処理画像信号が、あり得ない画素値を有する場合
・入力画像信号が示す画像の特徴量と、第１の処理画像信号が示す画像の特徴量との差分が、設定されている閾値以上である場合（または、当該差分が、当該閾値より大きい場合）
・第１の処理画像信号が示す画像が、あり得ない特徴を有する場合
【００５１】
ここで、第１の処理画像信号があり得ない画素値を有する場合の具体例としては、例えば下記に示す例が挙げられる。
・画素値フォーマットを１０ｂｉｔデータであり、画像データが、１０ｂｉｔデータと６ビットの無効データからなる場合において、６ビットの無効データが“０”と定義されているにも関わらず、６ビットの無効データが非０データとなっている。
・上記の場合において、毎フレームごとに無効データの位置が、ＬＳＢ（Least  Significant  Bit）側、ＭＳＢ（Most  Significant  Bit）側が切り替わるとき、６ビットの無効データが“０”と定義されているにも関わらず、６ビットの無効データが非０データとなっている。
【００５２】
また、第１の処理画像信号が示す画像が、あり得ない特徴を有する場合の具体例としては、例えば下記に示す例が挙げられる。
・入力画像信号が内視鏡画像である場合において、第１の処理画像信号が示す画像が、“中心部が明るくて、周辺部が暗い”という特徴（所定の特徴の一例）を有していない。
【００５３】
（１−４）判定処理の第４の例
本実施形態に係る信号処理装置は、上記（１−１）に示す第１の例に係る判定処理〜上記（１−３）に示す第３の例に係る判定処理のうちの、２以上の処理をそれぞれ行うことによって、ソフトウェアの状態を判定してもよい。
【００５４】
本実施形態に係る信号処理装置は、判定処理として、例えば、上記（１−１）に示す第１の例に係る判定処理〜上記（１−４）に示す第４の例に係る判定処理のいずれかの処理を行うことによって、入力画像信号に対する画像処理に関連するソフトウェアの状態を判定する。
【００５５】
（２）出力制御処理
本実施形態に係る信号処理装置は、上記（１）の処理（判定処理）におけるソフトウェアの状態の判定結果に基づいて、第１の処理画像信号を選択的に出力させる。
【００５６】
本実施形態に係る信号処理装置は、上記（１）の処理（判定処理）におけるソフトウェアの状態の判定結果が正常な状態である場合に、第１の処理画像信号を出力させる。また、本実施形態に係る信号処理装置は、上記（１）の処理（判定処理）におけるソフトウェアの状態の判定結果が正常な状態ではない場合には、第１の処理画像信号を出力させない。
【００５７】
また、例えば、本実施形態に係る信号処理装置が備える画像処理用のハードウェア（後述する第２の画像処理部が有する画像処理用のハードウェア）や、本実施形態に係る信号処理装置と通信が可能な外部の画像処理用のハードウェアによって、入力処理画像に対して画像処理が行われる場合もありうる。上記の場合において、第１の処理画像信号を出力させないときには、本実施形態に係る信号処理装置は、画像処理用のハードウェアによって入力画像信号に対して画像処理が行われた画像信号（以下、「第２の処理画像信号」と示す。）を、出力させてもよい。
【００５８】
画像処理用のハードウェアが、入力処理画像に対する画像処理を常時行っている場合、本実施形態に係る信号処理装置は、出力部（後述する）などに対して、上記（１）の処理（判定処理）におけるソフトウェアの状態の判定結果に応じた制御信号を伝達することによって、出力部（後述する）などから出力される画像信号を、第１の処理画像信号または第２の処理画像信号の一方に切り替える。つまり、本実施形態に係る制御信号は、出力部（後述する）などから出力される画像信号を切り替える切替信号の役目を果たす。
【００５９】
例えば、ソフトウェアの状態の判定結果が正常な状態であると判定された場合には、本実施形態に係る信号処理装置は、出力部（後述する）などに対して、第２の処理画像信号を出力させずに、第１の処理画像信号を出力させるための第１の制御信号を伝達する。また、ソフトウェアの状態の判定結果が正常な状態であると判定されない場合には、本実施形態に係る信号処理装置は、出力部（後述する）などに対して、第１の処理画像信号を出力させずに、第２の処理画像信号を出力させるための第２の制御信号を伝達する。上記第１の制御信号または上記第２の制御信号によって、出力部（後述する）などを構成する１または２以上のスイッチング素子がオン状態またはオフ状態となることによって、出力部（後述する）などから出力される画像信号は、第１の処理画像信号、または第２の処理画像信号となる。
【００６０】
なお、画像処理用のハードウェアでは、入力処理画像に対する画像処理が常時行われていなくてもよい。画像処理用のハードウェアにおいて入力処理画像に対する画像処理が常時行われない場合には、本実施形態に係る信号処理装置は、上記（１）の処理（判定処理）においてソフトウェアの状態が正常な状態ではないと判定された場合に、画像処理用のハードウェアに、入力画像信号に対する画像処理を行わせる。本実施形態に係る信号処理装置は、例えば、画像処理用のハードウェアに入力画像信号を選択的に入力させるスイッチング素子に対して、当該スイッチング素子のオン状態またはオフ状態を制御する信号を伝達することによって、画像処理用のハードウェアに、入力画像信号に対する画像処理を選択的に行わせる。
【００６１】
本実施形態に係る信号処理装置が、ソフトウェアの状態が正常な状態ではないと判定された場合に、画像処理用のハードウェアに入力画像信号に対する画像処理を行わせることによって、例えば、画像処理用のハードウェアで消費される消費電力を低減させることができる。
【００６２】
本実施形態に係る信号処理装置は、本実施形態に係る信号処理方法に係る処理として、例えば、上記（１）の処理（判定処理）、および上記（２）の処理（出力制御処理）を行う。本実施形態に係る信号処理装置は、上記（１）の処理（判定処理）において関連するソフトウェアの状態を判定する。そして、本実施形態に係る信号処理装置は、上記（２）の処理（出力制御処理）において、ソフトウェアの状態が正常であると判定された場合に、第１の処理画像信号（ソフトウェアにより画像処理が行われた画像信号）を、出力させる。また、本実施形態に係る信号処理装置は、上記（２）の処理（出力制御処理）において、ソフトウェアの状態が正常であると判定されない場合には、第１の処理画像信号を出力させない。
【００６３】
したがって、本実施形態に係る信号処理装置は、ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させることができる。
【００６４】
また、ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させることが可能であるので、例えば、画像処理用のハードウェアが用いられる場合と同程度の信頼性（画像処理用のハードウェアが用いられる場合に準じる信頼性）を担保することが可能となる。
【００６５】
（本実施形態に係る信号処理装置）
次に、上述した本実施形態に係る信号処理方法に係る処理を行うことが可能な、本実施形態に係る信号処理装置の構成の一例について説明する。以下では、本実施形態に係る信号処理方法に係る処理が、上記（１）の処理（判定処理）、および上記（２）の処理（出力制御処理）に切り分けられる場合における、本実施形態に係る信号処理装置の構成の一例を、例に挙げる。
【００６６】
図２は、本実施形態に係る信号処理装置１００の構成の一例を示すブロック図である。信号処理装置１００は、例えば、ハードウェア処理部１０２と、ソフトウェア処理部１０４とを備える。
【００６７】
また、信号処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read  Only  Memory。図示せず）、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。信号処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００６８】
制御部（図示せず）は、例えば、ＣＰＵなどの演算回路で構成されるプロセッサや、各種処理回路などで構成され、信号処理装置１００全体を制御する役目を果たす。また、信号処理装置１００では、例えば、ソフトウェア処理部１０４が、制御部（図示せず）の役目を果たしてもよい。
【００６９】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００７０】
記憶部（図示せず）は、信号処理装置１００が備える記憶手段であり、例えば、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ソリッドステートドライブ（Solid  State  Drive）や、ハードディスク（Hard  Disk）などの磁気記録媒体、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、信号処理装置１００から着脱可能であってもよい。
【００７１】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどの、操作入力デバイスが挙げられる。また、表示部（図示せず）としては、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などの、表示デバイスが挙げられる。
【００７２】
［信号処理装置１００のハードウェア構成例］
図３は、本実施形態に係る信号処理装置１００のハードウェア構成の一例を示す説明図である。信号処理装置１００は、例えば、ＦＰＧＡボード１５０と、ＣＰＵ１５２と、ＧＰＵボード１５４、１５６と、メモリ１５８と、ＩＯコントローラ１６０と、記録媒体１６２と、インタフェース１６４とを備える。また、ＦＰＧＡボード１５０、ＣＰＵ１５２、およびＧＰＵボード１５４、１５６は、例えば、バス１６６で接続される。
【００７３】
ＦＰＧＡボード１５０は、図２に示すハードウェア処理部１０２に該当し、本実施形態に係る信号処理方法に係る処理を主導的に行う役目を果たす。ＦＰＧＡボード１５０は、例えば、ＦＰＧＡと、入力画像信号が入力される入力インタフェースと、第１の処理画像信号または第２の処理画像信号（以下、総称して「出力画像信号」と示す場合がある。）が出力される出力インタフェースを含む。ＦＰＧＡボード１５０では、例えばＦＰＧＡがハードウェア処理部１０２に該当する。
【００７４】
ＣＰＵ１５２と、ＧＰＵボード１５４、１５６とは、図２に示すソフトウェア処理部１０４に該当する。ＣＰＵ１５２と、ＧＰＵボード１５４、１５６とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。図３では、ＣＰＵ１５２が、８個のコアプロセッサを備える例を示している。また、ＧＰＵボード１５４、１５６それぞれは、ＧＰＵ（Graphics  Processing  Unit）とＤＲＡＭ（Dynamic  Random  Access  Memory）を含む。図３では、ＧＰＵボード１５４、１５６それぞれが、２０４８個のコアプロセッサを備える例を示している。
【００７５】
メモリ１５８には、例えば、入力画像信号に対応するデータや、第２の処理画像信号に対応するデータなど、様々なデータが記憶される。メモリ１５８としては、例えば、ＤＩＭＭ（Dual  Inline  Memory  Module）などが挙げられる。ＣＰＵ１５２は、メモリ１５８への各種データの書き込みや読み出しを制御する役目を果たす。
【００７６】
ＩＯコントローラ１６０は、例えば、ＣＰＵ１５２と、記録媒体１６２およびインタフェース１６４との間の信号の伝達を制御する役目を果たす。
【００７７】
記録媒体１６２は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１６２としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体１６２は、信号処理装置１００から着脱可能であってもよい。
【００７８】
インタフェース１６４としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子および処理回路や、ＬＡＮ（Local  Area  Network）端子および送受信回路などが挙げられる。
【００７９】
信号処理装置１００は、例えば図３に示す構成によって、本実施形態に係る信号処理方法に係る処理を行う。なお、本実施形態に係る信号処理装置１００のハードウェア構成は、図３に示す構成に限られない。
【００８０】
例えば、図３では、ＧＰＵボード１５４、１５６を備える構成を示しているが、ＣＰＵ１５２がＧＰＵの機能を有している場合には、本実施形態に係る信号処理装置１００は、ＧＰＵボード１５４、１５６を備えていなくてもよい。
【００８１】
また、本実施形態に係る信号処理装置１００は、本実施形態に係る信号処理方法に係る処理を行うことが可能な、任意のハードウェア構成をとることが可能である。
【００８２】
以下では、図３に示すハードウェア構成を適宜参照しつつ、本実施形態に係る信号処理装置１００の構成の一例について説明する。
【００８３】
再度図２を参照して、信号処理装置１００の構成の一例について説明する。ハードウェア処理部１０２は、ハードウェアによって、本実施形態に係る信号処理方法に係る処理などの各種処理を行う。
【００８４】
ハードウェア処理部１０２は、例えば、監視部１１０と、第１機能実現部１１２（第２の画像処理部）と、出力部１１４とを備える。ハードウェア処理部１０２としては、例えば図３に示すＦＰＧＡボード１５０が挙げられる。
【００８５】
監視部１１０は、例えば、判定部１２０と、出力制御部１２２とを有し、本実施形態に係る信号処理方法に係る処理を主導的に行う役目を果たす。
【００８６】
判定部１２０は、上記（１）の処理（判定処理）を主導的に行う役目を果たし、関連するソフトウェアの状態を判定する。判定部１２０は、ソフトウェア処理部１０４において実行される関連するソフトウェアの状態を判定する。
【００８７】
判定部１２０は、例えば、上記（１−１）に示す第１の例に係る判定処理〜上記（１−４）に示す第４の例に係る判定処理のいずれかの処理を行うことによって、ソフトウェア処理部１０４において実行される関連するソフトウェアの状態を判定する。
【００８８】
ここで、判定部１２０における処理の一例について、信号処理装置１００が図３に示すハードウェア構成をとる場合を例に挙げて説明する。
【００８９】
（ａ）第１の例に係る判定処理が行われる場合
ＦＰＧＡボード１５０のＦＰＧＡは、例えば、ＣＰＵ１５２において実行されるＯＳなどのソフトウェアに対して、定期的（例えば、１６［ｍｓｅｃ］ごとなど)に演算要求を伝達する。ＣＰＵ１５２において実行されるソフトウェアは、演算要求に対して、例えばインクリメントされる値などの演算結果を返す。演算結果を得たＦＰＧＡボード１５０のＦＰＧＡは、演算結果が期待値と一致するか否かを確認する。演算結果が期待値であることを確認することによって、例えば、ＣＰＵ１５２において実行されるＯＳなどのソフトウェアがハングアップしていないことや、当該ソフトウェアが演算要求に対して毎回応答していること（もれなく応答していること）が、確認される。
【００９０】
ここで、図３に示すＣＰＵ１５２は、８個のコアプロセッサが並列に動作しており、ＣＰＵ１５２において実行されるＯＳなどのソフトウェアは、８個の演算を各コアプロセッサに割り当て、８個の演算結果を得る。そして、ＣＰＵ１５２は、８個の演算結果を、ＦＰＧＡボード１５０のＦＰＧＡに対して伝達する。なお、ＣＰＵ１５２は、８個の演算結果が期待値と一致するか否かを確認し、８個のコアプロセッサの動作の確認結果を、ＦＰＧＡボード１５０のＦＰＧＡに伝達してもよい。
【００９１】
また、ＣＰＵ１５２において実行されるＯＳなどのソフトウェアは、演算要求が伝達された場合において、例えば、伝達された演算要求が示す演算処理を行わせる演算命令を、ＧＰＵボード１５４、１５６が有するＧＰＵに対して伝達する。図３に示すＧＰＵは、２０４８個のコアプロセッサが並列に動作しており、ＣＰＵ１５２において実行されるソフトウェアは、例えば、２０４８個の演算をＧＰＵに行わせる。ＧＰＵボード１５４、１５６が有するＧＰＵそれぞれは、２０４８個の演算を、各コアプロセッサに割り当て、２０４８個の演算結果を、ＣＰＵ１５２に伝達する。ＣＰＵ１５２において実行されるソフトウェアは、例えば、２０４８個の演算結果が期待値と一致するか否かを確認し、ＧＰＵの動作の確認結果を、ＦＰＧＡボード１５０のＦＰＧＡに伝達する。なお、例えば、ＣＰＵ１５２において実行されるソフトウェアは、ＧＰＵの演算結果を、ＦＰＧＡボード１５０のＦＰＧＡに伝達し、ＦＰＧＡが、２０４８個の演算結果が期待値と一致するか否かを確認してもよい。
【００９２】
信号処理装置１００が図３に示すハードウェア構成をとる場合、信号処理装置１００では、例えば上記のような処理が行われることによって、監視部１１０として機能するＦＰＧＡボード１５０のＦＰＧＡは、ＣＰＵ１５２の８個のコアプロセッサと、ＧＰＵボード１５４、１５６が有するＧＰＵの２０４８個のコアプロセッサとが、正しく応答していることを確認することができる。
【００９３】
なお、第１の例に係る判定処理が行われる場合の例は、上記に示す例に限られない。
【００９４】
例えば、ＧＰＵボード１５４、１５６が有するＧＰＵのコアプロセッサには、整数加算器や、整数乗算器、浮動小数点加算器、浮動小数点乗算器、浮動小数点特殊関数（三角関数、指数関数、対数関数など）の演算器、テクスチャバッファなどが含まれる場合がある。本実施形態に係る演算要求には、上記のような計算リソースの一部または全部が機能しているかをテストするための演算命令が含まれていてもよい。上記のような計算リソースをテストすることによって、第１の例に係る判定処理におけるソフトウェアの状態の判定精度を、より高めることができる。
【００９５】
また、上記のような計算リソースをテストする場合、定期的（例えば、１６［ｍｓｅｃ］ごとなど)に伝達される演算要求それぞれには、計算リソースのテストの全部に対応する演算命令ではなく、計算リソースのテストの一部分に対応する演算命令が含まれていてもよい。定期的に伝達される演算要求それぞれに、計算リソースのテストの一部分に対応する演算命令が含まれる場合には、ＧＰＵボード１５４、１５６が有するＧＰＵなどの負荷を低減しつつ、第１の例に係る判定処理におけるソフトウェアの状態の判定精度をより高めることができる。
【００９６】
（ｂ）第２の例に係る判定処理が行われる場合
ＦＰＧＡボード１５０のＦＰＧＡは、例えば、ＣＰＵ１５２において実行されるソフトウェアを、定期的（例えば、３［ｍｓｅｃ］ごとなど)に認証する。
【００９７】
例えば、ＦＰＧＡボード１５０のＦＰＧＡは、ＣＰＵ１５２において実行されるソフトウェアに対して、設定された所定の長さの平文を、伝達する。ＣＰＵ１５２において実行されるソフトウェアは、保持している秘密鍵を用いて所定の暗号化処理を行い、当該平文が暗号化された暗号文を、ＦＰＧＡボード１５０のＦＰＧＡへ伝達する。ＦＰＧＡボード１５０のＦＰＧＡは、伝達された暗号文を復号し、復号された平文が、ＣＰＵ１５２において実行されるソフトウェアに対して伝達した平文に戻ることを確認する。ここで、ＣＰＵ１５２において実行されるソフトウェアが暗号化を行う際の手順に、例えば記録媒体１６２に記憶されているプログラムのサイズに依存する計算が含まれる場合には、さらに改竄防止の強度を高めることができる。
【００９８】
（ｃ）第３の例に係る判定処理が行われる場合
ＦＰＧＡボード１５０のＦＰＧＡは、ソフトウェア処理部１０４として機能するＣＰＵ１５２およびＧＰＵボード１５４、１５６から第１の処理画像信号が伝達された場合に、伝達される第１の処理画像信号の妥当性を判定する。
【００９９】
判定部１２０は、例えば、上記（ａ）に示す処理〜上記（ｃ）に示す処理のいずれかの処理、または、上記（ａ）に示す処理〜上記（ｃ）に示す処理の２以上の処理を行う。なお、判定部１２０における処理が、上記に示す例に限られないことは、言うまでもない。
【０１００】
出力制御部１２２は、上記（２）の処理（出力制御処理）を主導的に行う役目を果たす。出力制御部１２２は、判定部１２０におけるソフトウェアの状態の判定結果に基づいて、第１の処理画像信号を選択的に出力させる。
【０１０１】
出力制御部１２２は、例えば、出力部１１４に対してソフトウェアの状態の判定結果に応じた制御信号を伝達することによって、出力部１１４に第１の処理画像信号を選択的に出力させる。また、判定部１２０においてソフトウェアの状態が正常な状態ではないと判定された場合には、出力制御部１２２は、例えば、出力部１１４に、後述する第１機能実現部１１２において入力画像信号が処理された画像信号（第２の処理画像信号に該当する。）を出力させる。
【０１０２】
また、出力制御部１２２は、例えば、判定部１２０におけるソフトウェアの状態の判定結果に基づいて、後述する第１機能実現部１１２における処理の実行を制御することも可能である。出力制御部１２２は、例えば、判定部１２０においてソフトウェアの状態が正常な状態ではないと判定された場合に、第１機能実現部１１２に処理を行わせる。
【０１０３】
監視部１１０は、例えば判定部１２０と出力制御部１２２とを有することによって、本実施形態に係る信号処理方法に係る処理を主導的に行う。
【０１０４】
第１機能実現部１１２は、画像処理用のハードウェアを有し、画像処理用のハードウェアによって入力画像信号に対して画像処理を行う。第１機能実現部１１２における画像処理としては、例えば図１のＡに示す処理が挙げられるが、第１機能実現部１１２における画像処理は、図１のＡに示す例に限られない。
【０１０５】
そして、第１機能実現部１１２は、画像処理が行われた画像信号（第２の処理画像信号）を、出力部１１４へ伝達する。
【０１０６】
出力部１１４は、出力制御部１２２から伝達される制御信号に基づいて、後述するソフトウェア処理部１０４から伝達される第１の処理画像信号を選択的に出力する。また、出力部１１４は、例えば、第１の処理画像信号を出力させない場合、第１機能実現部１１２から伝達される第２の処理画像信号を出力する。つまり、出力部１１４は、出力制御部１２２から伝達される制御信号に基づいて、第１の処理画像信号または第２の処理画像信号を、出力画像信号として出力する。
【０１０７】
出力部１１４としては、例えば、出力制御部１２２から伝達される制御信号に基づいて、第１の処理画像信号または第２の処理画像信号を出力することが可能な、任意の構成のスイッチング回路が挙げられる。
【０１０８】
ハードウェア処理部１０２は、例えば、監視部１１０と、第１機能実現部１１２（第２の画像処理部）と、出力部１１４とを備えることによって、本実施形態に係る信号処理方法に係る処理などの各種処理を行う。
【０１０９】
ソフトウェア処理部１０４は、関連するソフトウェアを実行する。ソフトウェア処理部１０４としては、例えば図３に示すＣＰＵ１５２、およびＧＰＵボード１５４、１５６が挙げられ、ソフトウェア処理部１０４では、ＣＰＵ１５２などにより関連するソフトウェアが実行されることによって、各種処理が行われる。
【０１１０】
例えば、ソフトウェア処理部１０４は、第２機能実現部１１６（第１の画像処理部）を有し、ソフトウェアを実行することによって入力画像信号を画像処理する。第２機能実現部１１６における画像処理としては、例えば図１のＢに示す処理が挙げられるが、第２機能実現部１１６における画像処理は、図１のＢに示す例に限られない。第２機能実現部１１６により処理された入力画像信号は、第１の処理画像信号に該当する。
【０１１１】
そして、第２機能実現部１１６は、画像処理が行われた画像信号（第１の処理画像信号）を、出力部１１４へ伝達する。
【０１１２】
信号処理装置１００は、例えば図２に示すように、本実施形態に係る信号処理方法に係る処理を行うハードウェア処理部１０２と、ソフトウェアを実行することによって入力画像信号を画像処理するソフトウェア処理部１０４とを備える。
【０１１３】
ここで、信号処理装置１００により行われる処理の一例を示す。図４は、図３に示す本実施形態に係る信号処理装置１００により行われる処理の一例を示すタイミングチャートである。図４では、ソフトウェア処理部１０４における処理を「ＳＷ」と示し、ハードウェア処理部１０２における処理を「ＨＷ」と示している。また、図４では、ハードウェア処理部１０２の第１機能実現部１１２を「機能１」と示し、ソフトウェア処理部１０４の第２機能実現部１１６を「機能２」と示している。
【０１１４】
入力画像信号が動画像を示す画像信号である場合を例に挙げると、信号処理装置１００において、ハードウェア処理部１０２（より厳密には、監視部１１０）と、ソフトウェア処理部１０４とは、例えば１フレーム（１／６０［ｓｅｃ］）ごとにやりとりを行う。
【０１１５】
ハードウェア処理部１０２の判定部１２０は、例えば、上記（１−１）に示す第１の例に係る判定処理（テスト結果に基づく判定）と、上記（１−２）に示す第２の例に係る判定処理（認証結果に基づく判定）とを、１フレームごとに行う。また、ハードウェア処理部１０２の判定部１２０は、例えば、上記（１−３）に示す第３の例に係る判定処理（第１の処理画像信号の妥当性の判定結果に基づく判定）を、第１の処理画像信号がソフトウェア処理部１０４から得られるごとに逐次行う。
【０１１６】
ハードウェア処理部１０２の判定部１２０において、ソフトウェアの状態の判定結果が正常な状態ではないと判定された場合（図４に示す“ＮＧ判定”）には、ソフトウェアの状態の判定結果が正常な状態ではないと判定された次のフレームから、出力画像信号が、第１の処理画像信号（図４に示す“機能２出力”）から第２の処理画像信号（図４に示す“機能１出力”）に切り替わる。
【０１１７】
出力画像信号が第１の処理画像信号から第２の処理画像信号に切り替わった場合には、信号処理装置１００は、例えば下記に示す動作を行ってもよい。
・ユーザに対して、ソフトウェア処理部１０４の動作が不完全な動作になったとして、再起動を促す通知を行う（文字や画像、光などによる視覚的な通知や、音声（音楽も含む）による聴覚的な通知など）。
・ソフトウェアの状態の判定結果が正常な状態であると判定された場合に、出力画像信号が、第２の処理画像信号（図４に示す“機能１出力”）から第１の処理画像信号（図４に示す“機能２出力”）に切り替える。
・上記（１−２）に示す第２の例に係る判定処理（認証結果に基づく判定）により、ソフトウェアの状態の判定結果が正常な状態ではないと判定された場合には、ソフトウェアの改竄の可能性があるので、ユーザに対して、予め設定されている連絡先（例えば、ソフトウェアメーカや信号処理装置１００のメーカなど）への連絡を促す通知を行う。
・上記（１−２）に示す第２の例に係る判定処理（認証結果に基づく判定）により、ソフトウェアの状態の判定結果が正常な状態ではないと判定された場合には、ソフトウェアの改竄の可能性があることを示す情報（データ）を、予め設定されている送信先（例えば、ソフトウェアメーカのサーバや信号処理装置１００のメーカのサーバなどの外部装置）へ送信する。
【０１１８】
信号処理装置１００により行われる処理は、図４に示す例に限られない。
【０１１９】
例えば、図４では、ハードウェア処理部１０２の第１機能実現部１１２（図４に示す“機能１”）における処理が常時行われる例を示しているが、ソフトウェアの状態の判定結果が正常な状態ではないと判定された場合（図４に示す“ＮＧ判定”）に、ハードウェア処理部１０２の第１機能実現部１１２における処理が開始されてもよい。
【０１２０】
信号処理装置１００は、例えば図２に示す構成によって、本実施形態に係る信号処理方法に係る処理（例えば、上記（１）の処理（判定処理）および上記（２）の処理（出力制御処理））を行う。
【０１２１】
したがって、信号処理装置１００は、例えば図２に示す構成によって、ソフトウェアによる画像信号に対する画像処理が正常に行われる場合に、ソフトウェアにより画像処理が行われた画像信号を出力させることができる。
【０１２２】
また、例えば図２に示す構成によって、信号処理装置１００は、例えば上述したような、本実施形態に係る信号処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１２３】
なお、本実施形態に係る信号処理装置の構成は、図２に示す構成に限られない。
【０１２４】
例えば、本実施形態に係る信号処理装置は、図２に示す判定部１２０と出力制御部１２２との一方または双方を、ハードウェア処理部１０２とは別の処理回路で実現することができる。
【０１２５】
また、例えば、“第１機能実現部１１２と同様の機能を有する外部の画像処理用のハードウェアにおいて入力画像信号に対する画像処理が行われる場合”や、“ソフトウェアの状態の判定結果が正常な状態ではないと判定された場合に第２の処理画像信号を出力しない構成である場合”には、本実施形態に係る信号処理装置は、第１機能実現部１１２を備えていなくてもよい。
【０１２６】
また、例えば、出力部１１４と同様の機能を有する出力デバイスにおいて、第１の処理画像信号が選択的に出力される場合には、本実施形態に係る信号処理装置は、出力部１１４を備えていなくてもよい。上記の場合には、本実施形態に係る信号処理装置は、例えば、上記出力デバイスに対して制御信号を送信することによって、上記出力デバイスにおける出力画像信号の出力を制御する。
【０１２７】
また、例えば、ソフトウェア処理部１０４と同様の機能を有する外部装置において、ソフトウェアにより入力画像信号に対する画像処理が行われる場合には、本実施形態に係る信号処理装置は、ソフトウェア処理部１０４を備えていなくてもよい。上記の場合には、本実施形態に係る信号処理装置は、例えば、上記外部装置において実行される関連するソフトウェアの状態を判定する。
【０１２８】
また、上述したように、上記（１）の処理（判定処理）および上記（２）の処理（出力制御処理）は、便宜上、本実施形態に係る信号処理方法に係る処理を切り分けたものである。よって、本実施形態に係る信号処理方法に係る処理を実現するための構成は、図２に示す判定部１２０、および出力制御部１２２に限られず、本実施形態に係る信号処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０１２９】
以上、本実施形態として、信号処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“内視鏡やＣＴ、ＭＲＩ、ＰＥＴ、超音波診断装置などの各種医療用の機器”や、“放送局用のカメラや、デジタルビデオカメラ、デジタルスチルカメラなどの撮像装置”、“携帯電話やスマートフォンなどの通信装置”、タブレット型の装置、“ＰＣ（Personal  Computer）やサーバなどのコンピュータ”、表示装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、本実施形態に係る信号処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１３０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
医療用機器により撮像された画像を示す入力画像信号に対する画像処理に関連するソフトウェアの状態を判定する判定部と、
前記ソフトウェアの状態の判定結果に基づいて、前記ソフトウェアによって前記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させる出力制御部と、
を備える、信号処理装置。
（２）
前記判定部は、前記ソフトウェアを実行するハードウェアに所定の処理を行わせ、前記所定の処理の結果に基づいて、前記ソフトウェアの状態を判定する、（１）に記載の信号処理装置。
（３）
前記ハードウェアが、複数のプロセッサコアを有する場合、
前記判定部は、複数の前記プロセッサコアの一部に前記所定の処理を行わせ、一部の前記プロセッサコアにおける前記所定の処理の結果に基づいて、前記ソフトウェアの状態を判定する、（２）に記載の信号処理装置。
（４）
前記判定部は、前記所定の処理が演算処理である場合に前記演算処理の結果が誤っている場合、または、前記所定の処理の結果が得られない場合に、前記ソフトウェアの状態が、正常な状態ではないと判定し、
前記出力制御部は、前記ソフトウェアの状態の判定結果が正常な状態ではない場合には、前記第１の処理画像信号を出力させない、（２）、または（３）に記載の信号処理装置。
（５）
前記判定部は、前記ソフトウェアを認証し、認証結果に基づいて、前記ソフトウェアの状態を判定する、（１）〜（４）のいずれか１つに記載の信号処理装置。
（６）
前記判定部は、認証が正常に完了しない場合に、前記ソフトウェアの状態が、正常な状態ではないと判定し、
前記出力制御部は、前記ソフトウェアの状態の判定結果が正常な状態ではない場合には、前記第１の処理画像信号を出力させない、（５）に記載の信号処理装置。
（７）
前記判定部は、前記第１の処理画像信号を構成する画素値に基づいて前記第１の処理画像信号の妥当性を判定し、前記妥当性の判定結果に基づいて、前記ソフトウェアの状態を判定する、（１）〜（６）のいずれか１つに記載の信号処理装置。
（８）
前記判定部は、前記第１の処理画像信号が妥当であると判定されない場合に、前記ソフトウェアの状態が、正常な状態ではないと判定し、
前記出力制御部は、前記ソフトウェアの状態の判定結果が正常な状態ではない場合には、前記第１の処理画像信号を出力させない、（７）に記載の信号処理装置。
（９）
前記ソフトウェアを実行することによって前記入力画像信号を画像処理する第１の画像処理部をさらに備え、
前記出力制御部は、前記第１の画像処理部において画像処理された前記入力画像信号を、前記第１の処理画像信号として選択的に出力させる、（１）〜（８）のいずれか１つに記載の信号処理装置。
（１０）
前記出力制御部は、前記第１の処理画像信号を出力させない場合には、画像処理用のハードウェアによって前記入力画像信号に対して画像処理が行われた画像信号である第２の処理画像信号を、出力させる、（１）〜（９）のいずれか１つに記載の信号処理装置。
（１１）
前記出力制御部から伝達される制御信号に基づいて、前記第１の処理画像信号を選択的に出力する出力部をさらに備える、（１）〜（１０）のいずれか１つに記載の信号処理装置。
（１２）
前記入力画像信号が示す画像は、内視鏡を構成する撮像デバイスにより撮像された内視鏡画像である、（１）〜（１１）のいずれか１つに記載の信号処理装置。
（１３）
前記判定部は、前記内視鏡画像が示す所定の特徴に基づいて、前記第１の処理画像信号の妥当性を判定し、前記妥当性の判定結果に基づいて、前記ソフトウェアの状態を判定する、（１２）に記載の信号処理装置。
（１４）
入力された入力画像信号に対する画像処理に関連するソフトウェアを実行するソフトウェア処理部と、
前記入力画像信号に対して画像処理を行う画像処理用のハードウェアを有するハードウェア処理部と、
を備え、
前記ハードウェア処理部は、
前記関連するソフトウェアの状態を判定する判定部と、
前記ソフトウェアの状態の判定結果に基づいて、実行されたソフトウェアによって前記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させる出力制御部と、
を備える、信号処理装置。
（１５）
前記出力制御部は、前記第１の処理画像信号を出力させない場合には、前記画像処理用のハードウェアによって前記入力画像信号に対して画像処理が行われた画像信号である第２の処理画像信号を出力させる、（１４）に記載の信号処理装置。
（１６）
前記判定部は、前記ソフトウェアを実行するハードウェアに所定の処理を行わせ、前記所定の処理の結果に基づいて、前記ソフトウェアの状態を判定する、（１４）、または（１５）に記載の信号処理装置。
（１７）
前記出力制御部は、前記ソフトウェアの状態が正常な状態ではないと判定された場合に、前記画像処理用のハードウェアに、前記入力画像信号に対する画像処理を行わせる、（１４）〜（１６）のいずれか１つに記載の信号処理装置。
（１８）
入力された入力画像信号に対する画像処理に関連するソフトウェアの状態を判定するステップと、
前記ソフトウェアの状態の判定結果に基づいて、前記ソフトウェアによって前記入力画像信号に対して画像処理が行われた画像信号である第１の処理画像信号を、選択的に出力させるステップと、
を有する、信号処理方法。
【符号の説明】
【０１３３】
１００  信号処理装置
１０２    ハードウェア処理部
１０４    ソフトウェア処理部
１１０    監視部
１１２    第１機能実現部
１１４    出力部
１１６    第２機能実現部
１２０    判定部
１２２    出力制御部
【図１】
2020054834.tif 000003
【図２】
2020054834.tif 000004
【図３】
2020054834.tif 000005
【図４】
2020054834.tif 000006