(57)【要約】【課題】ＨＭＤを装着して全天球画像データを広範囲にわたって容易に視認できる。【解決手段】画像処理システム１は、全天球カメラ１１とヘッドマウントディスプレイ（ＨＭＤ）１３とを備え、全天球カメラ１１は撮影した画像の画像データを送信する送信部１１１を備え、ＨＭＤ１３は、当該画像データを取得する撮影画像取得部１３０と、取得した画像データに基づいて全天球画像データを生成する全天球画像データ生成部１３５と、ＨＭＤ１３の位置の変化量を検出する傾きセンサ１３３と、検出した位置の変化量が所定の範囲内である場合に、位置の変化量に基づいて全天球画像データから画像領域を選択する画像領域選択部１３６と、選択した画像領域を表示する表示部１３４と、を備え、傾きセンサ１３３が検出した位置の変化量が所定の値よりも大きい場合に、全天球画像データを所定の角度だけ回転させて生成する。【選択図】図３
2020039052.tif 000002
【特許請求の範囲】
【請求項１】
全天球カメラとヘッドマウントディスプレイ（ＨＭＤ）とを備え、全天球画像データを表示する表示システムであって、
前記全天球カメラは撮影した画像の画像データを送信する送信部を備え、
前記ＨＭＤは、
前記全天球カメラが送信した前記画像データを取得する撮影画像取得部と、
前記撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、
前記ＨＭＤの位置の変化量を検出する傾きセンサと、
前記傾きセンサが検出した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、
前記画像領域選択部が選択した前記画像領域を表示する表示部と、
を備え、
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、
画像処理システム。
【請求項２】
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、天地方向を軸として前記全天球画像データを１８０°回転させて生成する、
請求項１に記載の画像処理システム。
【請求項３】
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きく、且つ、前記ＨＭＤの位置が変化してから所定の時間以上前記ＨＭＤの位置の変化量が所定の値よりも小さい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、
請求項１に記載の画像処理システム。
【請求項４】
全天球画像データを表示するヘッドマウントディスプレイ（ＨＭＤ）であって、
全天球カメラが送信した画像データを取得する撮影画像取得部と、
撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、
前記ＨＭＤの位置の変化量を検出する傾きセンサと、
前記傾きセンサが検出した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、
前記画像領域選択部が選択した前記画像領域を表示する表示部と、
を備え、
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、
ＨＭＤ。
【請求項５】
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、天地方向を軸として前記全天球画像データを１８０°回転させて生成する、
請求項４に記載のＨＭＤ。
【請求項６】
前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きく、且つ、前記ＨＭＤの位置が変化してから所定の時間以上前記ＨＭＤの位置の変化量が所定の値よりも小さい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、
請求項４に記載のＨＭＤ。
【請求項７】
全天球カメラと画像処理装置とヘッドマウントディスプレイ（ＨＭＤ）とを備え、全天球画像データを表示する表示システムであって、
前記全天球カメラは撮影した画像の画像データを送信する送信部を備え、
前記画像処理装置は、
前記全天球カメラが送信した前記画像データを取得する撮影画像取得部と、
前記撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、
前記ＨＭＤの位置の変化量を取得する位置変化量取得部と、
前記位置変化量取得部が取得した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、
前記画像領域選択部が選択した前記画像領域の画像データを前記ＨＭＤに送信する画像データ送信部と、
を備え、
前記全天球画像データ生成部は、前記位置変化量取得部が取得した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成し、
前記ＨＭＤは、
前記ＨＭＤの位置の変化量を検出する傾きセンサと、
前記傾きセンサが検出した前記位置の変化量を前記画像処理装置に送信する位置変化量送信部と、
前記画像処理装置が送信した前記画像データを取得する表示画像取得部と、
前記表示画像取得部が取得した前記画像データを表示する表示部と、
を備える画像処理システム。
【請求項８】
前記全天球画像データ生成部は、前記位置変化量取得部が取得した前記位置の変化量が所定の値よりも大きい場合に、天地方向を軸として前記全天球画像データを１８０°回転させて生成する、
請求項７に記載の画像処理システム。
【請求項９】
前記全天球画像データ生成部は、前記位置変化量取得部が取得した前記位置の変化量が所定の値よりも大きく、且つ、前記ＨＭＤの位置が変化してから所定の時間以上前記ＨＭＤの位置の変化量が所定の値よりも小さい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、
請求項７に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、全天球カメラで撮影した画像を表示する画像処理システムおよびＨＭＤに関する。
【背景技術】
【０００２】
近年、３６０°の画角の画像を複数の撮像素子で同時に撮影可能な全天球カメラが利用されている。全天球カメラは、例えば、光学系に魚眼レンズを用いることによって一つの撮像素子で１８０°以上の画角の画像を撮影し、二つの撮像素子で撮影した画像を組み合わせて３６０°の画角の画像を記録する。
【０００３】
全天球カメラで取得した画像は、複数の撮像素子で同時に取得した画像を合成することによって全天球画像データに変換され、ディスプレイには当該全天球画像データの一部が表示される。全天球画像データに基づいて３６０°の画角の映像を表示する際は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）がディスプレイとして用いられる。ＨＭＤには、加速度センサが取り付けられており、全天球画像データのうちユーザが向いた方向の画像が部分的にディスプレイに表示される。
【０００４】
撮像時に全天球カメラの上下方向が反転するかまたは鉛直方向に対してブレが生じた場合、全天球カメラで撮影した画像を見ているユーザは気分が悪くなることがある。この問題に対処するために、特許文献１には、検出された基準方向に対する撮影手段の傾きに応じて傾き補正された動画データを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−６７９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来、内視鏡装置を用いて人間が入り込むことができない狭い空間内の映像を取得し、内部の様子を観察することが行われている。内視鏡装置は、医師が患者の体内を観察する用途として頻繁に利用されているが、現在の内視鏡先端部に設けられた撮像素子では手術中に広い視野が得られない。
【０００７】
そこで、より広い視野を得るために上記の全天球カメラを内視鏡の先端部に取り付けて患者の体内に挿入することが考えられる。内視鏡装置を使用する場合、術者とは異なる別の人間が内視鏡装置を操作してモニタに映像を表示するが、術者がＨＭＤを装着すれば、術者自身が表示箇所を変更できるため直観的に施術を行うことができ、内視鏡装置の操作性が向上する。
【０００８】
また、これまでの内視鏡装置と異なり、内視鏡装置の先端に全天球カメラを装着すれば、内視鏡の挿入方向だけでなく挿入方向とは反対方向の視野も得られるが、当該反対方向の画像を確認するためには、ＨＭＤを装着している術者が正面とは反対方向を向く必要がある。しかしながら、術者がＨＭＤを装着した状態で正面（患者を見る方向）とは反対方向を向くのは困難であり、３６０°の画角の全天球画像データを容易に視認できるとは言い難い。
【０００９】
本開示は、上記の点に鑑みてなされたものであり、ＨＭＤを装着して全天球画像データを広範囲にわたって容易に視認できる技術を提供する。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、全天球カメラとヘッドマウントディスプレイ（ＨＭＤ）とを備え、全天球画像データを表示する表示システムであって、前記全天球カメラは撮影した画像の画像データを送信する送信部を備え、前記ＨＭＤは、前記全天球カメラが送信した前記画像データを取得する撮影画像取得部と、前記撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、前記ＨＭＤの位置の変化量を検出する傾きセンサと、前記傾きセンサが検出した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、前記画像領域選択部が選択した前記画像領域を表示する表示部と、を備え、前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、画像処理システムを提供する。
【００１１】
また、全天球画像データを表示するヘッドマウントディスプレイ（ＨＭＤ）であって、全天球カメラが送信した画像データを取得する撮影画像取得部と、撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、前記ＨＭＤの位置の変化量を検出する傾きセンサと、前記傾きセンサが検出した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、前記画像領域選択部が選択した前記画像領域を表示する表示部と、を備え、前記全天球画像データ生成部は、前記傾きセンサが検出した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成する、ＨＭＤを提供する。
【００１２】
また、全天球カメラと画像処理装置とヘッドマウントディスプレイ（ＨＭＤ）とを備え、全天球画像データを表示する表示システムであって、前記全天球カメラは撮影した画像の画像データを送信する送信部を備え、前記画像処理装置は、前記全天球カメラが送信した前記画像データを取得する撮影画像取得部と、前記撮影画像取得部が取得した前記画像データに基づいて前記全天球画像データを生成する全天球画像データ生成部と、前記ＨＭＤの位置の変化量を取得する位置変化量取得部と、前記位置変化量取得部が取得した前記位置の変化量が所定の範囲内である場合に、前記位置の変化量に基づいて前記全天球画像データから画像領域を選択する画像領域選択部と、前記画像領域選択部が選択した前記画像領域の画像データを前記ＨＭＤに送信する画像データ送信部と、を備え、前記全天球画像データ生成部は、前記位置変化量取得部が取得した前記位置の変化量が所定の値よりも大きい場合に、前記全天球画像データを所定の角度だけ回転させて生成し、前記ＨＭＤは、前記ＨＭＤの位置の変化量を検出する傾きセンサと、前記傾きセンサが検出した前記位置の変化量を前記画像処理装置に送信する位置変化量送信部と、前記画像処理装置が送信した前記画像データを取得する表示画像取得部と、前記表示画像取得部が取得した前記画像データを表示する表示部と、を備える画像処理システムを提供する。
【発明の効果】
【００１３】
本開示によれば、ＨＭＤを装着して全天球画像データを広範囲にわたって容易に視認できる。
【図面の簡単な説明】
【００１４】
【図１】全天球カメラで撮影して生成した全天球画像データとヘッドマウントディスプレイ（ＨＭＤ）で視認する映像との関係を説明するための図である。
【図２】第１の実施形態の画像処理システムの構成を概念的に示す図である。
【図３】画像処理システムの構成を概略的に示すブロック図である。
【図４】ＨＭＤの位置の変化量を説明するための図である。
【図５】全天球画像データが回転された例を示す図である。
【図６】画像処理システムの処理のフローを示すフローチャートである。
【図７】第２の実施形態の画像処理システムの構成を概略的に示すブロック図である。
【図８】画像処理システムの処理のフローを示すフローチャートである。
【発明を実施するための形態】
【００１５】
［概要］
図１は、全天球カメラで撮影して生成した全天球画像データとヘッドマウントディスプレイ（以下、ＨＭＤ）で視認する映像との関係を説明するための図である。図１（ａ）および（ｂ）には、ＨＭＤに表示される画像とＨＭＤを装着したユーザの視線方向との関係が示されている。
【００１６】
図１（ａ）および（ｂ）において、全天球画像データの斜線が施された画像領域が、ＨＭＤを装着したユーザが矢印の方向を向いているときにＨＭＤのモニタに表示される画像である。
【００１７】
ユーザは、自身がどの方向を向いているときにどの画像領域をＨＭＤに表示するかを、例えば、ＨＭＤに設けられたボタンを押すなどして自由に選択する（画像領域を設定する）ことができる。初期設定では、例えば、全天球カメラが備える二つの撮像素子のうち一方の撮像素子の正面方向の画像領域をＨＭＤに表示する。図１（ａ）に示された例では、ユーザが矢印の方向を向いているときに上記斜線が施された画像領域を表示するように設定されている。
【００１８】
図１（ｂ）には、ユーザが基準方向から角度θだけ左方向を向いているときにＨＭＤに表示される画像領域が斜線で示されている。図１（ｂ）に示されているように、ユーザがＨＭＤを装着している状態で視線方向を変更すると、ＨＭＤが備える傾きセンサによってＨＭＤの位置の変化量が検出され、ＨＭＤに表示する画像領域が変更される。つまり、ユーザは、顔の向きを変更することにより、全天球画像データのうち任意の方向の画像を視認することができる。
【００１９】
例えば、細い管内を全天球カメラで撮影すれば、全天球カメラの挿入方向を管内で反転させることができなくても、挿入方向とは反対方向の管内の様子を確認することができるため、全天球画像データの全てをユーザが容易に確認できるようにすることは有用である。しかしながら、手術などの特定の作業をする際のディスプレイとしてＨＭＤを用いた場合、ユーザは前方のみを向き、後ろに振り返ることがほとんどない。
【００２０】
そこで、本開示の画像処理システムは、ユーザが所定の角度よりも大きく視認方向を変更した場合（ＨＭＤの位置の変化量が所定の値よりも大きい場合）、全天球画像データを所定の角度だけ回転させて生成する。つまり、ユーザが所定の角度よりも大きく視認方向を変更した場合に、初期設定でＨＭＤに表示される画像領域を変更する。そして、ＨＭＤの位置の変化量が所定の範囲内にある場合には、当該変更後の画像領域を基準にしてＨＭＤに表示する画像領域を変更する。
【００２１】
上記のようにすると、ユーザは体の向きを大きく変えずに全天球画像データの大部分を視認することができる。また、ＨＭＤが有線によって画像データを取得する場合であっても、ユーザが体の向きを回転させずに済むため、通信ケーブルが絡まることを防ぐことができる。以下に、本開示のいくつかの実施形態について図面を参照しながら説明する。
【００２２】
＜第１の実施形態＞
図２は、第１の実施形態の画像処理システム１の外観の構成例を示す概念図である。画像処理システム１は、先端に全天球カメラ１１が備え付けられた内視鏡挿入部１２とＨＭＤ１３とを備える。画像処理システム１は、これ自体を内視鏡システムと考えてもよい。なお、図２において、内視鏡挿入部１２とＨＭＤ１３とは有線によって接続されているが、内視鏡挿入部１２とＨＭＤ１３とは無線で通信できるように構成されてもよい。
【００２３】
全天球カメラ１１は、魚眼レンズと撮像素子とが組み合わされた撮像系（１１Ａおよび１１Ｂ）によって、３６０°方向の画像を同時に撮影することができる。また、全天球カメラ１１は、図示しない傾き検出センサ（例えば、ジャイロセンサ）を有し、例えば、特開２０１８−６７９６４号公報に記載された技術によってＨＭＤに表示する画像の傾き補正を行ってもよい。
【００２４】
図３は、画像処理システム１の構成を概略的に示すブロック図である。上述のとおり、画像処理システム１は、全天球カメラ１１とＨＭＤ１３とを備える。
【００２５】
全天球カメラ１１は撮像系１１０と送信部１１１とを備え、送信部１１１は撮像系１１０（二つの撮像系１１Ａおよび１１Ｂを併せた撮像系）によって撮影した画像の画像データをＨＭＤ１３に有線または無線で送信する。
【００２６】
ＨＭＤ１３は、撮影画像取得部１３０と記録部１３１と制御部１３２とＨＭＤ１３の位置の変化量を検出する傾きセンサ１３３と制御部１３２が送信する画像データを表示する表示部１３４とを備える。傾きセンサ１３３は、例えば、ジャイロセンサ、磁気センサまたは加速度センサである。表示部１３４は、例えば、有機ＥＬディスプレイである。
【００２７】
ここで、ＨＭＤ１３の位置の変化量とは、例えば、３次元極座標中の二つの角度（θ、φ）の変化量を意味し、ＨＭＤ１３が回転せずに並進移動のみした場合は、位置の変化量が０であるとみなしてもよい。
【００２８】
図４は、ＨＭＤ１３の位置の変化量を例示的に示した図である。図４（ａ）は、ユーザがｘ軸方向（ｚ＝０の水平方向）を向いているときのＨＭＤ１３の位置座標が（θ＝０°、φ＝９０°）であることを示している。図４（ｂ）は、ユーザが水平方向において６０°分左を向き、上下方向において３０°分下を向いているときのＨＭＤ１３の位置座標が（θ＝６０°、φ＝１２０°）であることを示している。
【００２９】
撮影画像取得部１３０は、例えば、全天球カメラ１１とデータのやり取りをする通信インターフェースであり、全天球カメラ１１が送信した画像データを有線または無線で取得する。撮影画像取得部１３０は、取得した画像データを制御部１３２に送信する。
【００３０】
記録部１３１は、例えば、各種プログラムが記録されたＲＯＭ（Read Only Memory）、データを一時的に記録するＲＡＭ（Random Access Memory）および全天球カメラ１１で撮影した画像を記録するＳＳＤ（Solid State Drive）を備える。ＲＯＭには、例えば、全天球カメラ１１が撮影した画像の画像データに基づいて全天球画像データを生成する際のプログラムが記録されている。また、ＲＯＭには、ＨＭＤ１３の位置の変化量を検出した際に、全天球画像データから画像領域を選択するためのプログラムが記録されている。
【００３１】
制御部１３２は、例えば、ＣＰＵ（Central Processing Unit）であり、記録部１３１に記録されたプログラムを実行することにより、全天球画像データ生成部１３５および画像領域選択部１３６として機能する。
【００３２】
全天球画像データ生成部１３５は、撮影画像取得部１３０が取得した画像データに基づいて例えば周知の方法により全天球画像データを生成する。
【００３３】
画像領域選択部１３６は、全天球画像データ生成部１３５が生成した全天球画像データから表示部１３４に表示する画像領域を選択する。初期設定では、画像領域選択部１３６は、例えば、全天球画像データの天頂方向の画像領域または撮像系１１Ａが備える撮像素子の正面方向（魚眼レンズの中心軸方向）の画像領域を選択する。全天球画像データの天頂方向は、内視鏡挿入部１２の挿入方向でもある。
【００３４】
また、画像領域選択部１３６は、傾きセンサ１３３が検出したＨＭＤ１３の位置の変化量が所定の範囲内である場合、上記位置の変化量に基づいて全天球画像データから画像領域を選択する。図１を参照して説明したように、例えば、ＨＭＤ１３を装着しているユーザが顔の向きを水平方向に角度θ（−８０°≦θ≦８０°）ずらした場合、全天球画像データにおいて、画像領域選択部１３６は、初期設定されている画像領域から水平方向に角度θ（−８０°〜８０°）ずらした位置にある画像領域を選択する。そして、表示部１３４は、画像領域選択部１３６が選択した画像領域を表示する。ここで、角度の定義は、正の回転角が反時計回りの回転を意味し、負の回転角が時計回りの回転を意味するが、どちらの向きを正とするかは任意である。
【００３５】
さらに、本開示の画像処理システム１は、傾きセンサ１３３が検出したＨＭＤ１３の位置の変化量が所定の値よりも大きい場合に、全天球画像データ生成部１３５は、全天球画像データを所定の角度だけ回転させて生成する。
【００３６】
具体的には、例えば、ＨＭＤ１３を装着しているユーザが真正面から８０°よりも大きく顔の向きを（左方向または右方向に）回転させた場合、全天球画像データ生成部１３５は、全天球画像データを３０°、９０°または１８０°水平方向に回転させて（即ち、天地方向を軸として全天球画像データを３０°、９０°または１８０°回転させて）生成する。
【００３７】
この際、全天球画像データを回転させた分だけ初期設定の画像領域がずれるため、画像領域選択部１３６が選択する画像領域は、初めに生成した全天球画像データから画像領域を選択する場合と比較して、上記回転角だけずれた画像領域が選択される。言い換えると、ＨＭＤ１３の表示部１３４には、上記回転角だけずれた画像領域が表示されるようになる。
【００３８】
図５は、全天球画像データが回転された例を示す図である。図５では、ＨＭＤ１３を装着しているユーザが真正面から９０°より大きく顔の向きを左方向に回転させた場合に、全天球画像データ生成部１３５が、全天球画像データを１８０°水平方向に回転させて（即ち、天地方向を軸として全天球画像データを１８０°回転させて）生成した例が示されている。図５において、ＨＭＤ１３の表示部の表示部１３４に表示される画像領域は、ドットが施された領域から斜線が施された領域へ変換される。
【００３９】
上記のようにすると、ユーザは、顔を後方に向け続けなくても全天球画像データの広い範囲を視認することができる。特に、顔の向きを変えるだけで表示部１３４に表示する画像領域を変更することができるため、両手が器具を掴んで自由でない状況であっても容易に視認したい画像を変更することができる。
【００４０】
また、全天球画像データ生成部１３５は、傾きセンサ１３３が検出したＨＭＤ１３の位置の変化量が所定の値（第１の振れ幅）よりも大きく、且つ、ＨＭＤ１３の位置が変化してから所定の時間以上ＨＭＤ１３の位置の変化量が所定の値（第２の振れ幅）よりも小さい場合に、全天球画像データを所定の角度だけ回転させて生成してもよい。
【００４１】
具体的には、例えば、全天球画像データ生成部１３５は、ＨＭＤ１３を装着しているユーザが真正面から８０°以上顔の向きを回転させ、且つ、ＨＭＤ１３がその状態を維持したまま２秒以上経過した場合に、全天球画像データを３０°、９０°または１８０°水平方向に回転させて生成してもよい。
【００４２】
このようにすると、ユーザが意図せず偶然ＨＭＤ１３の位置を変えた場合に、全天球画像データが回転してしまうことを防ぐことができＨＭＤ１３に所望の範囲の画像を表示させることができる。
【００４３】
［画像処理システムの処理フロー］
図６は、画像処理システム１の処理のフローを示すフローチャートである。以下に、図６の各ステップにおける画像処理システム１の動作を記す。
（Ｓ５０１）
全天球カメラ１１の撮像系１１０が画像を撮影する。
（Ｓ５０２）
全天球カメラ１１の送信部１１１が、撮像系１１０で撮影した画像データをＨＭＤ１３に送信する。
（Ｓ５０３）
ＨＭＤ１３の撮影画像取得部１３０が、全天球カメラ１１が撮影した画像データを取得する。
（Ｓ５０４）
ＨＭＤ１３の全天球画像データ生成部１３５が全天球画像データを生成する。
（Ｓ５０５）
ＨＭＤ１３の画像領域選択部１３６が初期設定の画像領域を選択して表示部１３４に画像データを表示する。例えば、画像領域選択部１３６は、全天球カメラ１１の撮像系１１Ａが備える魚眼レンズの中心軸方向に相当する画像領域を選択する。
（Ｓ５０６）
ＨＭＤ１３の制御部１３２が傾きセンサ１３３からＨＭＤ１３の位置の変化量を取得する。
（Ｓ５０７）
ＨＭＤ１３の位置の変化量が所定の値よりも大きい場合、Ｓ５０８に進む。それ以外の場合は、Ｓ５０９に進む。
（Ｓ５０８）
全天球画像データ生成部１３５が全天球画像データを所定の角度だけ回転させて生成する。（この際、画像領域選択部１３６が選択する初期設定の画像領域は当該所定の角度だけずれた画像領域となる。）
（Ｓ５０９）
画像領域選択部１３６が、ＨＭＤ１３の位置の変化量に基づいて全天球画像データから画像領域を選択する。例えば、ＨＭＤ１３の極座標が（θ＝０°、φ＝０°）から（θ＝６０°、φ＝３０°）へ変化した場合、画像領域選択部１３６が、全天球画像データから当該座標位置に相当する画像領域を選択する。
（Ｓ５１０）
画像領域選択部１３６が選択した画像領域の画像を表示部に表示する。
【００４４】
［画像処理システム１が有する有利な点］
上記の構成を有する画像処理システム１は、ユーザが体の向きを大きく変えずに全天球画像データの大部分を視認することができる。また、ＨＭＤ１３が有線によって画像データを取得する場合であっても、ユーザが体の向きを回転させずに済むため、通信ケーブルが絡まることを防ぐことができる。
【００４５】
＜第２の実施形態＞
続いて、第２の実施形態の画像処理システムについて説明する。全天球カメラが撮影した画像からリアルタイムで全天球画像データを生成し、ＨＭＤの位置の変化に合わせて画像領域を選択するには高い計算能力を必要とする。
【００４６】
そのため、第２の実施形態の画像処理システムでは、第１の実施形態の画像処理システム１と異なり、全天球画像データの生成および画像領域の選択をＨＭＤにて実行せず、高い計算能力を有する画像処理装置にて行う。そして、ＨＭＤは位置の変化量を画像処理装置に送信し、画像処理装置が送信した画像を表示部に表示する。
【００４７】
［画像処理システムの構成］
図７は、第２の実施形態の画像処理システム２の構成を概略的に示すブロック図である。画像処理システム２は、全天球カメラ１１、画像処理装置１４およびＨＭＤ１５を備える。画像処理装置１４は、例えば、高い性能のＧＰＵ（Graphic Processing Unit）を備えるデスクトップ型のコンピュータである。全天球カメラ１１は、実施形態１と同じ構成を有するが、送信部１１１が撮像系１１０で撮影した画像の画像データをＨＭＤ１３ではなく画像処理装置１４に送信する点が異なる。
【００４８】
画像処理装置１４は、撮影画像取得部１４０と記録部１４１と制御部１４２と位置変化量取得部１４３と画像データ送信部１４４とを備える。撮影画像取得部１４０は、例えば、全天球カメラ１１とデータのやり取りをする通信インターフェースであり、全天球カメラ１１が送信した画像データを有線または無線で取得する。撮影画像取得部１４０は、取得した画像データを制御部１４２に送信する。
【００４９】
記録部１４１は、例えば、各種プログラムが記録されたＲＯＭ（Read Only Memory）、データを一時的に記録するＲＡＭ（Random Access Memory）および全天球カメラ１１で撮影した画像を記録するＳＳＤ（Solid State Drive）を備える。ＲＯＭには、例えば、全天球カメラ１１が撮影した画像の画像データに基づいて全天球画像データを生成する際のプログラムが記録されている。また、ＲＯＭには、ＨＭＤ１５の位置の変化量を検出した際に、全天球画像データから画像領域を選択するためのプログラムが記録されている。
【００５０】
制御部１４２は、例えば、ＣＰＵ（Central Processing Unit）であり、記録部１４１に記録されたプログラムを実行することにより、全天球画像データ生成部１４５および画像領域選択部１４６として機能する。全天球画像データ生成部１４５および画像領域選択部１４６の機能は実施形態１の画像処理システム１と同様であるため説明を省略する。
【００５１】
位置変化量取得部１４３および画像データ送信部１４４は、それぞれ、ＨＭＤ１５とデータの送受信をする通信インターフェースである。位置変化量取得部１４３は、ＨＭＤ１５が送信したＨＭＤ１５の位置の変化量を取得する。また、画像データ送信部１４４は、ＨＭＤ１５の表示部１５４に表示する画像データを送信する。
【００５２】
ＨＭＤ１５は、傾きセンサ１５１と位置変化量送信部１５２と表示画像取得部１５３と表示部１５４とを備える。第２の実施形態のＨＭＤ１５は、画像処理装置１４にＨＭＤ１５の位置の変化量を送信する位置変化量送信部１５２と画像処理装置１４が送信した画像データを受信する表示画像取得部１５３とを備える点が第１の実施形態とは異なる。
【００５３】
［画像処理システムの処理フロー］
図８は、画像処理システム２の処理のフローを示すフローチャートである。以下に、図８の各ステップにおける画像処理システム２の動作を記す。
（Ｓ７０１）
全天球カメラ１１の撮像系１１０が、画像を撮影する。
（Ｓ７０２）
全天球カメラ１１の送信部１１１が撮影した画像データを画像処理装置１４に送信する。
（Ｓ７０３）
画像処理装置１４の撮影画像取得部１４０が、全天球カメラ１１が撮影した画像を取得する。
（Ｓ７０４）
画像処理装置１４の全天球画像データ生成部１４５が、全天球画像データを生成する。
（Ｓ７０５）
画像処理装置１４の画像領域選択部１４６が、初期設定の画像領域を選択しＨＭＤ１５に画像データを送信する。例えば、画像領域選択部１３６は、全天球カメラ１１の撮像系１１Ａが備える魚眼レンズの中心軸方向に相当する画像領域を選択する。
（Ｓ７０６）
ＨＭＤ１５の表示画像取得部１５３が、画像データを取得して表示部１５４に画像を表示する。
（Ｓ７０７）
ＨＭＤ１５の位置変化量送信部１５が、傾きセンサ１５１が検出したＨＭＤ１５の位置の変化量を画像処理装置１４へ送信する。
（Ｓ７０８）
画像処理装置１４の位置変化量取得部１４３が、ＨＭＤ１５の位置の変化量を取得する。
（Ｓ７０９）
ＨＭＤ１５の位置の変化量が所定の値よりも大きい場合、Ｓ７１０に進む。それ以外の場合は、Ｓ７１１に進む。
（Ｓ７１０）
画像処理装置１４の全天球画像データ生成部１４５が全天球画像データを所定の角度だけ回転させて生成する。（この際、画像領域選択部１４６が選択する初期設定の画像領域は当該所定の角度だけずれた画像領域となる。）
（Ｓ７１１）
画像処理装置１４の画像領域選択部１４６が、ＨＭＤ１５の位置の変化量に基づいて全天球画像データから画像領域を選択する。
（Ｓ７１２）
画像処理装置１４の画像データ送信部１４４が、ＨＭＤ１５に画像を送信する
（Ｓ７１３）
ＨＭＤ１５の表示画像取得部１５３が画像データを取得し、ＨＭＤ１５の表示部１５４に画像を表示する。
【００５４】
［画像処理システムが有する有利な点］
上記の構成を有する画像処理システム２は、第１の実施形態の画像処理システム１と同様の有利な点を有するだけでなく、高い計算能力を有する画像処理装置１４で画像処理をしているため動画像の遅延を防ぐことができる。また、ＨＭＤ１５における計算処理を落としているためＨＭＤ１５の筐体が熱くなるのを防ぐことができる。
【００５５】
なお、本開示は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の説明では、傾きセンサ１３３が検出したＨＭＤ１３の位置の変化量が所定の値よりも大きい場合に、全天球画像データ生成部１３５が、全天球画像データを所定の角度だけ回転させて生成した。代わりに、全天球画像データは固定させたままにして、画像領域選択部１３６が選択する画像領域の位置を同じ角度だけ変更してもよい。
【００５６】
また、ＨＭＤ１３の位置の変化量を所定の値よりも大きくすることで全天球画像データを回転させる代わりに、ＨＭＤ１３または画像処理装置１４に音声認識装置を取り付け、例えば、ユーザの「３０°回転」といた音声を音声認識装置に認識させることによって全天球画像データを回転させてもよい。
【００５７】
また、上の説明では、全天球カメラ１１は、傾き検出センサを有し、例えば、周知の技術によってＨＭＤ１３に表示する画像の傾き補正を行った。ここで、全天球カメラ１１を内視鏡挿入部の先端に取り付ける場合、全天球カメラ１１の寸法はなるべく小さいほうがよい。そのため、例えば、上記傾きセンサを内視鏡挿入部の外に設けることで、全天球カメラ１１の小型化を図ってもよい。
【００５８】
傾きセンサは、例えば、内視鏡挿入部を固定するトロッカーに取り付けてもよい。トロッカーは、内視鏡挿入部と一体となって動くため、全天球カメラ１１の動きとトロッカーの動きは一致する。そのため、トロッカーに傾き検出センサと通信部と電源とを取り付けて、ＨＭＤ１３または画像処理装置１４にトロッカーの傾き検出センサが検出したトロッカーの姿勢の変化（全天球カメラ１１の姿勢の変化）を送信し、全天球画像データの傾き補正を実施してもよい。
【００５９】
また、画像領域選択部（１３６および１４６）は、選択した画像領域の画像データに、選択した画像領域が全天球画像データのうちどの位置にあるかを示す情報を重畳してもよい。例えば、画像領域選択部（１３６および１４６）は、全天球画像データのうち選択された画像領域を強調表示した画像または選択された画像領域の位置を示す極座標を重畳してもよい。或いは、画像領域選択部（１３６および１４６）は、初期状態と比較して全天球画像データが何度回転された状態であるかを示す情報を、選択した画像領域の画像データに重畳してもよい。
【符号の説明】
【００６０】
１、２…画像処理システム
１１…全天球カメラ
１１０…撮像系
１１１…送信部
１２…内視鏡挿入部
１３、１５…ＨＭＤ
１３０、１４０…撮影画像取得部
１３１、１４１…記録部
１３２、１４２…制御部
１３３、１５１…傾きセンサ
１３４、１５４…表示部
１３６、１４６…画像領域選択部
１５２…位置変化量送信部
１３３…表示画像取得部
１４…画像処理装置
１４３…位置変化量取得部
１４４…画像データ送信部
【図１】
2020039052.tif 000003
【図２】
2020039052.tif 000004
【図３】
2020039052.tif 000005
【図４】
2020039052.tif 000006
【図５】
2020039052.tif 000007
【図６】
2020039052.tif 000008
【図７】
2020039052.tif 000009
【図８】
2020039052.tif 000010