(57)【要約】【課題】複数の画像を結合し一つの画像を生成したとき、表示される画像の不自然さを軽減する。【解決手段】サーバ装置１０は、カメラ情報取得部１１２、画像処理部１１３、及びカメラ情報記憶部１２１を備える。カメラ情報記憶部１２１は、少なくとも、異なる撮像方向を有する複数のカメラＣ１〜Ｃ４の撮像方向及び画角を含む情報を保持する。画像処理部１１３は、カメラＣ１〜Ｃ４より取得した複数の画像より撮像範囲が重ならない第１画像データＤ１及び第２画像データＤ２を生成する。画像処理部１１３は、少なくとも一方向において第１画像データＤ１及び第２画像データＤ２に対し複数のカメラＣ１〜Ｃ４の画角よりも大きい角度範囲を有するように画像処理を行い、画像処理を行った第１画像データＤ１及び第２画像データＤ２を含む一つの全天球画像データを生成する。【選択図】図４
2018026706.tif 000002
【特許請求の範囲】
【請求項１】
異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき、一つの画像を生成するための画像処理装置であって、
少なくとも、前記複数の撮像装置の撮像方向及び画角を含む情報を保持するメモリと、
前記複数の画像より撮像範囲が重ならない第１画像データ及び第２画像データを取得又は生成し、少なくとも一方向において前記第１画像データ及び前記第２画像データに対し前記画角よりも大きい角度範囲を有するように画像処理を行い、前記画像処理を行った第１画像データ及び第２画像データを含む一つの多方位画像データを生成する制御部と、
を備える、画像処理装置。
【請求項２】
前記制御部は、前記第１画像データ及び前記第２画像データの間に、前記第１画像データ及び前記第２画像データのいずれでもない所定の画像データ領域を有するように、前記多方位画像データを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記多方位画像データが表示されたとき前記所定の画像データ領域が視覚可能なように、前記多方位画像データを生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記一方向とは異なる他方向において前記第１画像データ及び前記第２画像データに対し前記画角よりも小さい角度範囲を有するように画像処理を行う、
請求項１に記載の画像処理装置。
【請求項５】
前記制御部は、撮像範囲が重なる複数の画像をつなぎ合わせることにより前記第１画像データ及び前記第２画像データの少なくとも一方を生成する、
請求項１に記載の画像処理装置。
【請求項６】
前記多方位画像データは、全天球画像データ、半天球画像データ、又は全天球画像データの一部である、
請求項１に記載の画像処理装置。
【請求項７】
異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき生成された一つの画像を表示する画像表示装置であって、
前記複数の画像に基づき生成された多方位画像データを取得し、前記多方位画像データから前記画像表示装置の姿勢又は操作に応じて表示用画像データを生成する制御部と、
前記表示用画像データを表示する表示部と、
を備え、
前記多方位画像データは、撮像範囲の重ならない少なくとも二つの画像データを含み、更に前記二つの画像データの間に前記二つの画像データのいずれでもない所定の画像データ領域を有し、
前記表示部は、前記表示用画像データに含まれる前記所定の画像データ領域を表示可能である、
画像表示装置。
【請求項８】
前記表示部は、前記所定の画像データ領域を視覚可能に表示する、
請求項７に記載の画像表示装置。
【請求項９】
前記画像表示装置の姿勢を検出する姿勢センサを備え、
前記表示部は、前記画像表示装置の姿勢に応じて生成された表示用画像データを表示する、
請求項７に記載の画像表示装置。
【請求項１０】
入力操作を受け付ける入力部を備え、
前記表示部は、前記入力操作に応じて生成された表示用画像データを表示する、
請求項７に記載の画像表示装置。
【請求項１１】
前記表示部は、全天球画像データ、半天球画像データ、又は全天球画像データの一部を表示可能である、
請求項７に記載の画像表示装置。
【請求項１２】
請求項１に記載の画像処理装置と、
前記画像処理装置と通信可能であり、前記一つの多方位画像データの少なくとも一部を表示可能な表示部を有する画像表示装置と、
を備える、画像処理システム。
【請求項１３】
異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき、一つの画像を生成するための画像処理方法であって、
少なくとも、前記複数の撮像装置の撮像方向及び画角を含む情報をメモリに保持し、
前記複数の画像より撮像範囲が重ならない第１画像データ及び第２画像データを取得又は生成し、
少なくとも一方向において前記第１画像データ及び前記第２画像データに対し前記画角よりも大きい角度範囲を有するように画像処理を行い、
前記画像処理を行った第１画像データ及び第２画像データを含む一つの多方位画像データを生成する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像表示装置、画像処理システム、及び画像処理方法に関し、特に複数の画像から一つの画像を生成する技術に関する。
【背景技術】
【０００２】
従来、複数の画像を結合して一つの画像を生成し表示する技術が知られている。例えば、特許文献１には、情報処理装置から取得した関連性の高い複数の画像を結合して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９８６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、複数の画像を結合し一つの画像を生成したとき、表示される画像の不自然さを軽減することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の一つの観点に係る画像処理装置は、異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき、一つの画像を生成するための画像処理装置であって、メモリと制御部とを備える。メモリは、少なくとも、複数の撮像装置の撮像方向及び画角を含む情報を保持する。制御部は、複数の画像より撮像範囲が重ならない第１画像データ及び第２画像データを取得又は生成し、少なくとも一方向において第１画像データ及び第２画像データに対し画角よりも大きい角度範囲を有するように画像処理を行い、画像処理を行った第１画像データ及び第２画像データを含む一つの多方位画像データを生成する。
【０００６】
本開示の別の観点に係る画像表示装置は、異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき生成された一つの画像を表示する画像表示装置であって、制御部と表示部とを備える。制御部は、複数の画像に基づき生成された多方位画像データを取得し、同多方位画像データから画像表示装置の姿勢又は操作に応じて表示用画像データを生成する。表示部は、同表示用画像データを表示する。多方位画像データは、撮像範囲の重ならない少なくとも二つの画像データを含み、更に二つの画像データの間に二つの画像データのいずれでもない所定の画像データ領域を有する。表示部は、表示用画像データに含まれる所定の画像データ領域を表示可能である。
本開示の更に別の観点に係る画像処理システムは、上記画像処理装置と、同画像処理装置と通信可能であり、一つの多方位画像データの少なくとも一部を表示可能な表示部を有する画像表示装置と、を備える。
【０００７】
本開示の更に別の観点に係る画像処理方法は、異なる撮像方向を有する複数の撮像装置により同期して撮像された複数の画像に基づき、一つの画像を生成するための画像処理方法であって、少なくとも、前記複数の撮像装置の撮像方向及び画角を含む情報をメモリに保持し、複数の画像より撮像範囲が重ならない第１画像データ及び第２画像データを取得又は生成し、少なくとも一方向において第１画像データ及び第２画像データに対し画角よりも大きい角度範囲を有するように画像処理を行い、画像処理を行った第１画像データ及び第２画像データを含む一つの多方位画像データを生成することを含む。
【発明の効果】
【０００８】
本開示によれば、複数の画像を結合し一つの画像を生成したとき、表示される画像の不自然さを軽減するのに有効である。
【図面の簡単な説明】
【０００９】
【図１】カメラの位置を示す図。
【図２】一実施形態に係る画像処理システムの概略全体図。
【図３】同画像処理システムに含まれるサーバ装置と携帯端末の概略構成図。
【図４】同サーバ装置の機能構成図。
【図５】同携帯端末の機能構成図。
【図６Ａ】サーバ装置により実行される画像処理のフローチャート。
【図６Ｂ】サーバ装置により実行される画像処理のフローチャート。
【図７】携帯端末により実行される画像表示処理のフローチャート。
【図８】カメラより取得される画像の例を示す図。
【図９Ａ】画像処理の概念を説明するための図。
【図９Ｂ】画像処理の概念を説明するための図。
【図１０】全天球画像を表示するための３次元モデルの形成について説明するための図。
【図１１】サーバ装置により処理された画像データを説明するための図。
【図１２】その他実施形態に係るサーバ装置の機能構成図。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（概要）
３Ｄパノラマ画像を利用したエンターテイメントのニーズが高まりつつある。かかる３Ｄパノラマ画像は、異なる方位を向いた複数のカメラにより撮像された画像を結合して、連続した撮像範囲をカバーする多方位の画像を生成することにより取得可能である。
【００１３】
しかし、カメラの設置場所やその個数が制限されている環境では、撮像できない部分、つまりカメラの撮像範囲が重ならない部分において、撮像した画像が存在しない部分が生じる。このような場合、多方位の画像を網羅する画像が取得できない。特に航空機に設置された複数のカメラで飛行中の景色を撮像しその映像を搭乗者であるユーザに配信する場合、航空機のカメラの設置場所や個数は安全性等の観点から限定的となるため、連続する多方位の撮像範囲をカバーする映像が得られないことが多い。
【００１４】
本開示は、カメラにより撮像できなかった部分があっても、より自然な全天球画像を生成し表示することができる技術を提供する。
【００１５】
（実施の形態）
以下、一の実施形態について説明する。なお、以下においては、本実施形態にかかる画像処理システムが航空機において適用された場合を例として説明する。
【００１６】
［１−１．構成］
［１−１−１．システムの構成］
図１は、本実施形態においてカメラが設置される位置を示す。同図に示すように、航空機ＰＬには、カメラＣ１、Ｃ２、Ｃ３、Ｃ４が機体の両側側面（窓の設置場所近辺）に四箇設置されている。カメラＣ１〜Ｃ４（撮像装置の一例）は、航空機ＰＬの飛行中、外側の風景を撮像したライブ映像をサーバ装置１０に送信する。各カメラＣ１〜Ｃ４はそれぞれ画角Ａ１、Ａ２、Ａ３、Ａ４を有するため、カメラＣ１とカメラＣ２の撮像範囲は一部重なっており、カメラＣ３とカメラＣ４の撮像範囲も一部重なっている。一方、カメラＣ１、Ｃ２の撮像範囲はカメラＣ３、Ｃ４の撮像範囲と重なっていない。なお、画角Ａ１、Ａ２、Ａ３、Ａ４は全部同じであってもよいし、その一部又は全てが異なっていてもよい。
【００１７】
図２は、本実施形態に係る画像処理システム１の全体構成を概略的に示す。画像処理システム１は、サーバ装置１０と、サーバ装置１０に接続可能なクライアント端末である携帯端末２０とを備え、クライアントサーバシステムにより構成される。
【００１８】
サーバ装置１０は、カメラＣ１、Ｃ２、Ｃ３、Ｃ４により撮像された画像を取得し、取得した画像に対し後述するように画像処理を施す。
【００１９】
携帯端末２０はサーバ装置１０にアクセスし、サーバ装置１０より画像処理された画像を取得し、表示する。携帯端末２０により表示される画像（ライブ映像）は、全方位画像であり、ユーザが所望の方向に携帯端末２０を向けることによって、携帯端末２０はその方向に対応する画像を表示させることができる。
【００２０】
［１−１−２．サーバ装置の構成］
図３は、サーバ装置１０と携帯端末２０の各物理的構成を概略的に示す。
【００２１】
サーバ装置１０は、航空機ＰＬ内に設置されるコンピュータ装置である。サーバ装置１０（画像処理装置の一例）は、ＣＰＵ１１（制御部の一例）、ＨＤＤ（ハードディスクドライブ）１２（メモリの一例）、ＲＡＭ１３、ＲＯＭ１４、及び通信ＩＦ（インタフェース）１６を備える。
【００２２】
ＣＰＵ１１は、所定のプログラムに従って処理を実行するプロセッサ又は回路である。ＨＤＤ１２は、アプリケーションやＯＳなどの各プログラムとデータを格納する。なお、ＨＤＤ１２は別体の記憶装置としてサーバ装置１０に接続されていてもよい。ＲＡＭ１３は、ワークメモリとして一時的に制御プログラムやデータを一時的に格納する。ＲＯＭ１４は、ＣＰＵ１１の処理手順を記述した制御プログラム等を記憶する。通信ＩＦ１６は、無線通信により携帯端末２０と通信する。通信ＩＦ１６は、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）規格等に準拠した無線通信回路やコネクタを含む。映像受信部１９は、カメラＣ１〜Ｃ４により撮像された映像を遂次受信する回路及びコネクタを含む。
【００２３】
図４は、サーバ装置１０の機能的構成を概略的に示す。サーバ装置１０は、ＣＰＵ１１が所定のプログラムを読み込んで処理を実行することにより実現される画像処理装置であって、画像取得部１１１、カメラ情報取得部１１２、画像処理部１１３、及び画像データ送信部１１５を含む。サーバ装置１０はまた、ＨＤＤ１２の一部により実現される、カメラ情報記憶部１２１、角度範囲記憶部１２３、画像データ記憶部１２５を含む。
【００２４】
画像取得部１１１は、映像受信部１９を介してカメラＣ１〜Ｃ４から受信される画像（ライブ映像）を取得する。カメラ情報取得部１１２は、カメラ情報記憶部１２１に予め記憶されたカメラ情報を取得する。カメラ情報は、カメラＣ１〜Ｃ４それぞれの撮像方向及び画角を示す情報を含む。画像処理部１１３は、角度範囲記憶部１２３に予め記憶された所定の角度範囲を取得し、後述するように、角度範囲とカメラ情報に基づき画像に対し所定の画像処理を行う。所定の画像処理は、後述するように、カメラＣ１とＣ２の画像に対しスティッチング処理を行って第１画像データＤ１を生成すること、カメラＣ３とＣ４の画像に対しスティッチング処理を行って第２画像データＤ２を生成すること、第１画像データＤ１及び第２画像データＤ２に対し角度範囲の変更処理を行うことを含む。この所定の画像処理により、全方位をカバーする全天球画像データが生成され、画像データ記憶部１２５に記憶される。画像データ送信部１１５は、携帯端末２０からの要求に応じて画像データ記憶部１２５から第１画像データＤ１及び第２画像データＤ２を取得し、圧縮処理後、通信ＩＦ１６を介して携帯端末２０に送信する。送信される画像データは、例えばフルハイビジョンのデータである。
【００２５】
［１−１−３．携帯端末の構成］
携帯端末２０は、航空機ＰＬの搭乗者であるユーザが携帯する携帯電話、スマートフォン、タブレット端末、又はこれらに類似するコンピュータ装置である。図３に示すように、携帯端末２０（画像表示装置の一例）は、ＣＰＵ２１（制御部の一例）、メモリ２２、ＲＡＭ２３、ＲＯＭ２４、姿勢センサ２５、通信ＩＦ（インタフェース）２６、ディスプレイ２８（表示部の一例）、及び入力ＩＦ（インタフェース）２９を備える。
【００２６】
ＣＰＵ２１は、命令やデータを処理して出力するプロセッサ又は回路である。メモリ２２は半導体メモリ等の記憶回路であり、画像等のデータを記憶する。ＲＡＭ２３は、ワークメモリとして一時的に制御プログラムやデータを格納する。ＲＯＭ２４は、ＣＰＵ２１の処理手順を記述した制御プログラム等を記憶する。姿勢センサ２５は、ジャイロセンサ、加速度センサ、角加速度センサ等の一部又はすべての組み合わせにより構成され、携帯端末２０の向きや傾き等の姿勢情報を検出する。通信ＩＦ２６は、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）規格等に準拠した無線通信回路やコネクタを含み、アンテナ（図示省略）を介して無線通信によりサーバ装置１０と通信する。ディスプレイ２８は、液晶パネル、有機ＥＬパネル、又はこれらに類似するパネルによって構成され、処理された画像を表示する画面を含む。入力ＩＦ２９は、タッチパネル、キーボード、ポインティングデバイス（マウス等）を介して入力されるユーザによる入力操作を受け付ける。
【００２７】
図５は、携帯端末２０の機能的構成を概略的に示す。携帯端末２０は、ＣＰＵ２１が所定のプログラムを読み込んで処理を実行することにより実現される画像表示装置であって、画像データ取得部２１１と表示用画像データ生成部２１３とを含む。
【００２８】
画像データ取得部２１１は、通信ＩＦ２６を介してサーバ装置１０より全天球画像データを取得する。表示用画像データ生成部２１３は、姿勢センサ２５により携帯端末２０の向きや傾き等の姿勢情報を取得し、後述するように三次元モデルに基づき、取得した姿勢情報に応じた画像を生成し、ディスプレイ２８に表示させる。
【００２９】
［１−２．動作］
［１−２−１．サーバ装置の動作］
図６Ａは、サーバ装置１０の主にＣＰＵ１１により構成される画像処理装置による画像処理方法を実行するための動作を示すフローチャートである。
【００３０】
ステップＳ１１０１：サーバ装置１０の画像取得部１１１により、カメラＣ１〜Ｃ４により撮像される画像（ライブ映像）が取得される。
【００３１】
ステップＳ１１０２：カメラ情報取得部１１２により、カメラＣ１〜Ｃ４それぞれの撮像方向及び画角を示す情報を含むカメラ情報が取得される。
【００３２】
ステップＳ１１０３：画像処理部１１３により、カメラＣ１とＣ２の画像がスティッチング処理により結合され、第１画像データＤ１が生成される。また、カメラＣ３とＣ４の画像がスティッチング処理により結合され、第２画像データＤ２が生成される。
【００３３】
ここで、スティッチング処理とは、複数の画像を結合させる処理である。本実施形態においては、カメラＣ１とＣ２は航空機ＰＬの一側面に配置され（図１）、同じ方向の景色を撮像しているため、図８に示すように、二つの画像を張り合わせることにより連続した画像である第１画像データＤ１を生成できる。同様に、カメラＣ３とＣ４は航空機ＰＬの他方の側面に配置され、同じ方向の景色を撮像しているため、二つの画像を張り合わせることにより一つのほぼ連続した画像である第２画像データＤ２を生成できる。
【００３４】
ステップＳ１１０４：画像処理部１１３により、第１画像データＤ１及び第２画像データＤ２の角度範囲を変更する。角度範囲は、角度範囲記憶部１２３に所定の角度範囲として予め記憶されている。角度範囲を変更するのは、次のような趣旨である。
【００３５】
カメラＣ１〜Ｃ４から取得される画像からは、図８に示すように、航空機ＰＬの前方ＦＬ、上方ＵＰ、下方ＬＷ、後方ＢＫにおいてデータが得られない、つまりカメラＣ１〜Ｃ４ではカバーできない部分が生じる。この画像が途切れた部分の少なくとも一部を、第１画像データＤ１と第２画像データＤ２を用いてカバーするように画像処理を行う。例えば、図９Ａに示すように、第１画像データＤ１と第２画像データＤ２間には画像を取得できなかったギャップＧ−１が存在する。これを、図９Ｂに示すように、第１画像データＤ１と第２画像データＤ２を互いに近づけるように拡大して、ギャップＧ−１より狭いＧ−２を形成する。ここで、ギャップＧ−２は、表示される画像データが人間の視覚的補完の効果によって第１画像データＤ１と第２画像データＤ２があたかも連続するように知覚される程度のギャップである。よって、表示された状態において視覚可能な程度の間隙であるギャップＧ−２が形成されるように画像処理を行う。なお、表示される画像においては、このギャップＧ−２に、第１画像データＤ１と第２画像データＤ２のいずれでもない画像データ領域ＤＡ（図１１）が形成される。この画像データ領域ＤＡには、例えば黒やグレー等の一色のデータや、予めメモリ等に記憶されている所定の画像データを割り当てて表示するようにしてもよい。
【００３６】
角度範囲を変更するとは、少なくとも一方向において第１画像データＤ１及び第２画像データＤ２に対し、カメラ情報に含まれる画角よりも大きい角度範囲又は小さい角度範囲を有するように画像処理を行うことを含む。この結果、カメラＣ１〜Ｃ４から取得された元の画像よりも拡大又は縮小した画像データが生成される。元の画像よりも拡大又は縮小した画像データを生成するとは、例えば次のような処理を含む。
【００３７】
図１０は、後述するように携帯端末２０によって生成される全天球画像データの三次元モデルＭ１の例を概念的に示す。説明のため、同図においては、カメラの画角に対応した元の画像データＩＭ１（実線で示す）を三次元モデルに貼り付けた場合と、角度範囲を変更した場合の画像データＩＭ１ａ（点線で示す）を三次元モデルに貼り付けた場合との比較を示す。同図に示すように、元の画像データＩＭ１の角度範囲を少なくとも一方向において大きくすることにより、少なくとも一方向において拡大された画像データＩＭ１ａが取得される。また、元の画像データＩＭ１の角度範囲を、他方向において小さくすることにより、他方向において縮小された画像データＩＭ１ａが取得される。
【００３８】
角度範囲を大きくすることによって、全天球画像データのうち画像が得られていない箇所の一部をカバーし、より自然な全方位画像を生成することができる。一方、角度範囲を小さくすることによって、例えばスティッチング処理をした画像のつなぎ目部分が変形した場合、当該変形部分（例えば、図１０のＤＥ１）を小さくすることができる。
【００３９】
なお、角度範囲を変更する方向や、いずれの方向において角度範囲を大きくするのか小さくするのかは、予め決められ、角度範囲記憶部１２３に所定の角度範囲として記憶されている。
【００４０】
以上の処理の結果、第１画像データＤ１と第２画像データＤ２は、図８の状態から図１１の状態に変更され、撮像時の画角に対応する角度範囲が変更される。
【００４１】
ステップＳ１１０５：角度範囲が変更された第１画像データＤ１と第２画像データＤ２は、一つの全天球画像データとして、画像データ記憶部１２５に記憶され、逐次更新される。
【００４２】
図６Ｂに示すように、サーバ装置１０はクライアントである携帯端末２０からの要求に応じて（ステップＳ１１１０）、全天球画像データを携帯端末２０に送信する（ステップＳ１１１１）。
【００４３】
［１−２−２．携帯端末の動作］
図７は、携帯端末２０の主にＣＰＵ２１により構成される画像表示装置による画像表示方法を実行するための動作を示すフローチャートである。
【００４４】
ステップＳ１２０１：携帯端末２０は、サーバ装置１０との接続を確立した後、サーバ装置１０に対し画像の配信要求を送信する。
【００４５】
ステップＳ１２０２：サーバ装置１０より生成された全天球画像データをストリーム受信する。全天球画像データは、バッファ等のメモリに格納され、受信毎に更新される。
【００４６】
ステップＳ１２０３：表示用画像データ生成部２１３により、姿勢センサ２５を介して携帯端末２０の傾きや方向を含む姿勢情報が検出される。
【００４７】
ステップＳ１２０４：表示用画像データ生成部２１３により、受信した全天球画像データから、検出された携帯端末２０の姿勢情報に応じて、所定の方向及び範囲の画像が生成される。
【００４８】
画像の生成においては、例えば、図１０に概念的に示すように、携帯端末２０の位置（図中の視点Ｖ１であって携帯端末２０のユーザの位置に対応する）を中心とする三次元モデルが使用される。三次元モデルの生成は、例えば、公知のテクスチャマッピングの手法により行うことができる。テクスチャマッピングは、三次元形状の表面にテクスチャ画像を貼り付けるグラフィックス処理である。三次元モデルよって、視点Ｖ１を中心とする周囲に沿って全天球画像データが割り当てられ、携帯端末２０の位置に対応させた全天球画像が表示可能となる。三次元モデルは、サーバ装置１０によるフレーム速度に応じて更新される。
【００４９】
なお、携帯端末２０の位置に対応する視点Ｖ１は、カメラＣ１〜Ｃ４が航空機ＰＬに固定されており携帯端末２０の位置（つまりユーザの位置）は航空機ＰＬの中に位置することから、予め所定の位置が決められている。
【００５０】
以上のように、携帯端末２０の位置（視点Ｖ１に相当し三次元モデルである球体の中心に固定された位置）と検出された携帯端末２０の姿勢情報に応じて、表示用画像データが生成される。
【００５１】
ステップ１２０５：ステップＳ１２０４において生成された表示用画像データが表示される。具体的には、ユーザが携帯端末２０をかざした方向や傾きに応じた画像がディスプレイ２８の画面に表示される。表示用画像データは、姿勢情報が新たに検出される毎に、更新され表示される。
【００５２】
このとき、ユーザが携帯端末２０をかざす方向（例えば、航空機ＰＬの前方、後方、上下方向等）によっては、第１画像データＤ１と第２画像データＤ２のいずれでもない画像データ領域ＤＡを含む表示用画像データが表示される。
【００５３】
ステップＳ１２０６：サーバ装置１０からの画像の配信が終了するまで、ステップＳ１２０２に戻って処理が繰り返される。なお、画像の配信の終了は、例えば携帯端末２０に対するユーザの入力操作により画像の表示を停止させる要求がなされた場合や、サーバ装置１０により画像の配信が停止された場合等をトリガとして行われる。
【００５４】
［１−３．特徴等］
本実施形態に係るサーバ装置１０（画像処理装置の一例）は、異なる撮像方向を有する複数のカメラＣ１〜Ｃ４（撮像装置の一例）により同期して撮像された複数の画像に基づき一つの画像を生成するための画像処理装置であって、ＨＤＤ１２（メモリの一例）とＣＰＵ１１（制御部の一例）とを備える。ＨＤＤ１２は、少なくとも、複数のカメラＣ１〜Ｃ４の撮像方向及び画角を含む情報を保持する。ＣＰＵ１１は、複数の画像より撮像範囲が重ならない第１画像データＤ１及び第２画像データＤ２を生成し、少なくとも一方向において第１画像データＤ１及び第２画像データＤ２に対し画角よりも大きい角度範囲を有するように画像処理を行い、同画像処理を行った第１画像データＤ１及び第２画像データＤ２を含む一つの全天球画像データ（多方位画像データの一例）を生成する。
【００５５】
このため、複数のカメラＣ１〜Ｃ４で同期して撮像された複数の画像間にカメラにより撮像された画像がない部分があっても、カメラからの画像の角度範囲を大きくすることにより、当該画像がない部分の範囲が狭められるため、より自然な表示用画像データを生成することができる。
【００５６】
更に、ＣＰＵ１１は、第１画像データＤ１及び第２画像データＤ２の間に、第１画像データＤ１及び第２画像データＤ２のいずれでもない所定の画像データ領域ＤＡを有するように、全天球画像データを生成する。第１画像データＤ１及び第２画像データＤ２のいずれでもない領域（カメラＣ１〜Ｃ４により撮像された画像がない領域）に対し人間の視覚的補完がなされることにより、あたかも画像が連続しているかのように知覚される。一方で、連続していない画像を直接結合することによる画像の歪みやずれを避けることができる。この結果、より自然な画像を表示することができる。
【００５７】
本実施形態に係る携帯端末２０（画像表示装置の一例）は、異なる撮像方向を有する複数のカメラＣ１〜Ｃ４（撮像装置の一例）により同期して撮像された複数の画像に基づき生成された一つの画像を表示する画像表示装置であって、ＣＰＵ２１（制御部の一例）とディスプレイ２８（表示部の一例）とを備える。ＣＰＵ２１は、複数の画像に基づき生成された全天球画像データを取得し、同全天球画像データから携帯端末２０の姿勢に応じて表示用画像データを生成する。ディスプレイ２８は、同表示用画像データを表示する。全天球画像データは、撮像範囲の重ならない少なくとも二つの画像データを含み、更に二つの画像データの間に二つの画像データのいずれでもない所定の画像データ領域ＤＡを有する。ディスプレイ２８は、表示用画像データに含まれる所定の画像データ領域ＤＡを表示可能である。なお、所定の画像データ領域ＤＡは、表示用画像データが表示された状態において視覚可能に表示されてもよい。
【００５８】
このため、複数のカメラＣ１〜Ｃ４で同期して撮像された複数の画像によって構成された全天球画像データについて、カメラＣ１〜Ｃ４により撮像された画像がない領域ＤＡに対して人間の視覚的補完がなされることにより、第１画像データＤ１及び第２画像データＤ２が連続するように知覚される。一方で、連続していない画像を結合することによる画像の歪みやずれを避けることができる。この結果、より自然な画像を表示することができる。
【００５９】
（その他実施形態）
以上のように、本出願において開示する技術の例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【００６０】
そこで、以下、他の実施の形態を例示する。
【００６１】
［１］
上記実施形態において、サーバ装置１０の画像処理部１１３（図４）は、第１画像データＤ１及び第２画像データＤ２の間に、第１画像データＤ１及び第２画像データＤ２のいずれでもない所定の画像データ領域ＤＡを有するように、全天球画像データを生成（図６ＡのステップＳ１１０４〜Ｓ１１０５）しているが、これに限定されない。画像処理部１１３は、所定の画像データ領域ＤＡを形成しないように第１画像データＤ１及び第２画像データＤ２を連続させて全天球画像データを生成してもよい。この場合であっても、第１画像データＤ１及び第２画像データＤ２を角度範囲を変えずに単に結合した場合に比して、表示される画像の不自然さを軽減することができる。
【００６２】
［２］
上記実施形態において、カメラの設置台数や撮像方向は上記例に限定されない。例えば、カメラＣ１、Ｃ２は一台のカメラに代えてもよいし、カメラＣ３、Ｃ４を一台のカメラに代えてもよい。この場合、上記画像処理装置（サーバ装置１０）におけるスティッチング処理は不要となる。或いは、カメラＣ１、Ｃ２は三台以上のカメラに代えてもよいし、カメラＣ３、Ｃ４を三台以上のカメラに代えてもよい。この場合、上記画像処理装置（サーバ装置１０）は、スティッチング処理において３つ以上の画像を結合させる。
【００６３】
また、カメラの設置位置についても限定されず、航空機ＰＬの機体の上下部分であってもよい。
【００６４】
［３］
上記実施形態においては、携帯端末２０が表示用画像データを生成し、姿勢情報に応じて表示する画像を生成しているが、これらの機能をサーバ装置１０が備えていてもよい。この場合、図１２に示すように、サーバ装置１０は、携帯端末２０の表示用画像データ生成部に相当する表示用画像データ生成部１１７を備え、画像データ送信部１１５に代わる表示用画像データ送信部１１８を備える。他の構成及び機能について、図４に示すものと同様である。
【００６５】
表示用画像データ生成部１１７は、図５に示す携帯端末２０の表示用画像データ生成部２１３と同様に、三次元モデルを使用して、携帯端末２０から送信される姿勢情報（姿勢センサ２５（図５）により検出された情報）に応じた表示用画像データを生成する。表示用画像データ送信部１１８は、表示用画像データを携帯端末２０に送信する。携帯端末２０においては、受信した画像データをディスプレイ２８に表示する。
【００６６】
［４］
上記実施形態において、画像表示装置の例として携帯端末２０を挙げたがこれに限定されない。画像表示装置は座席等に固定された端末装置であってもよい。なお、この場合、端末装置は姿勢センサを備えない点を除いては、図３に示す携帯端末２０の構成と同様である。タッチパネルや操作ボタン等の入力Ｉ／Ｆからの入力操作に応じて、全天球画像データから所望の方向における表示用画像データが生成され、表示される。
【００６７】
［５］
上記実施形態においては、全天球画像データを生成しているが、半天球画像データを生成してもよい。この場合、例えば、図１のカメラＣ１及びＣ２からの画像、又はカメラＣ３及びＣ４からの画像のいずれかを用いて、同様の画像処理を行う。画像処理装置は、航空機ＰＬの片側のみの撮像範囲にかかる画像データを生成し、画像表示装置に表示させる。
【００６８】
また、円筒形状の画像やその他多方位のパノラマ画像（全天球の一部である画像であって、１８０度未満の画像、１８０度より大きく３６０度未満の画像等）を生成してもよい。
【００６９】
［６］
上記実施形態においては、第１画像データＤ１及び第２画像データＤ２の変更される角度範囲は、予め記憶されているものに限定されず、サーバ装置１０のＣＰＵ１１によってカメラ情報から所定の計算式又は対応テーブル等を用いて自動的に計算されてもよい。
【００７０】
［７］
上記実施形態においては、カメラの設置場所として航空機を例にしたがこれに限定されない。自動車、電車、船等他の乗り物であってもよい。また、建物や設備等固定された場所に設置される監視カメラ等のシステムに適用されてもよい。
【００７１】
［８］
サーバ装置１０又は携帯端末２０は、携帯端末２０の位置情報をＧＰＳセンサ等により検出しその位置情報に応じて、画像を表示するようにしてもよい。例えば、異なる位置（図１０の視点Ｖ１）を中心とする複数の三次元モデルを形成して記憶しておき、携帯端末２０のＧＰＳセンサ（図示省略）から得られる位置情報に応じた三次元モデルを選択して、対応する画像を生成しディスプレイ２８に表示することが可能である。
【００７２】
なお、この場合、携帯端末２０の位置情報に代えて、航空機ＰＬやサーバ装置１０の位置情報を検出し、同位置情報に応じた三次元モデルを選択して、対応する画像を生成しディスプレイ２８に表示するようにしてもよい。
【００７３】
更に、サーバ装置１０又は携帯端末２０は、航空機ＰＬの運行情報を取得して、同運行情報に応じて多方位画像を表示可能とするようにしてもよい。例えば、三次元モデルの画像を、撮影時の航空機の運行情報（離陸してからの時間や距離等）と関連付けてメモリに記憶しておき、現在の飛行中の運行情報に応じた画像を表示可能な状態してもよい。
【００７４】
［９］
上記実施形態において、サーバ装置１０等の画像処理装置の記憶部は、ＨＤＤ１２に限定されず、半導体メモリ、光記憶媒体、光磁気記憶媒体等であってもよい。
【００７５】
また、携帯端末２０等の画像表示装置は、ＣＰＵ２１に加え、画像処理を主に行うＧＰＵ（Graphics Processing Unit）やＶＰＵ（Visual Processing Unit）等のプロセッサ又は回路を備えていてもよい。更に、ＲＡＭ２３は、ディスプレイ２８の画面に表示する画像データを一時的に記憶するＶＲＡＭを含んでいてもよい。
【００７６】
［１０］
上記実施形態における処理（図６Ａ、図６Ｂ、図７等）の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えてもよい。例えば、図６ＡのステップＳ１１０３とＳ１１０４は逆の順序にしてもよい。
【００７７】
［１１］
本開示は、画像処理装置又は画像表示装置の形態により実施されることに限られない。画像処理装置により実行される画像処理方法、画像表示装置により実行される画像表示方法、画像処理装置又は画像表示装置により実行されるコンピュータプログラム、かかるプログラムを記録したコンピュータ読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリを挙げることができる。
【００７８】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【産業上の利用可能性】
【００７９】
本開示は、画像処理装置、画像表示装置、画像処理システム、及び画像処理方法として利用可能である。
【符号の説明】
【００８０】
１          ：画像処理システム
１０        ：サーバ装置
１１        ：ＣＰＵ
１２        ：ＨＤＤ
１３        ：ＲＡＭ
１４        ：ＲＯＭ
１６        ：通信ＩＦ
１９        ：映像受信部
２０        ：携帯端末
２１        ：ＣＰＵ
２２        ：メモリ
２３        ：ＲＡＭ
２４        ：ＲＯＭ
２５        ：姿勢センサ
２６        ：通信ＩＦ
２８        ：ディスプレイ
２９        ：入力ＩＦ
１１１      ：画像取得部
１１２      ：カメラ情報取得部
１１３      ：画像処理部
１１５      ：画像データ送信部
１１７      ：表示用画像データ生成部
１１８      ：表示用画像データ送信部
１２１      ：カメラ情報記憶部
１２３      ：角度範囲記憶部
１２５      ：画像データ記憶部
２１１      ：画像データ取得部
２１３      ：表示用画像データ生成部
Ａ１〜Ａ４  ：画角
Ｃ１〜Ｃ４  ：カメラ
Ｄ１        ：第１画像データ
Ｄ２        ：第２画像データ
ＤＡ        ：所定の画像データ領域
Ｇ−１      ：ギャップ
Ｇ−２      ：ギャップ
ＩＭ１      ：画像データ
ＩＭ１ａ    ：画像データ
Ｍ１        ：三次元モデル
ＰＬ        ：航空機
【図１】
2018026706.tif 000003
【図２】
2018026706.tif 000004
【図３】
2018026706.tif 000005
【図４】
2018026706.tif 000006
【図５】
2018026706.tif 000007
【図６Ａ】
2018026706.tif 000008
【図６Ｂ】
2018026706.tif 000009
【図７】
2018026706.tif 000010
【図８】
2018026706.tif 000011
【図９Ａ】
2018026706.tif 000012
【図９Ｂ】
2018026706.tif 000013
【図１０】
2018026706.tif 000014
【図１１】
2018026706.tif 000015
【図１２】
2018026706.tif 000016