(57)【要約】【課題】異なるタイミングで撮像される複数の撮像画像に基づく全周映像の再生又は統合的な処理の際に生じる撮像タイミングのズレに起因する不都合を解消し又は軽減すること。【解決手段】互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御部、を備え、前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、画像処理装置を提供する。【選択図】図１９
2017150394.tif 000002
【特許請求の範囲】
【請求項１】
互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御部、を備え、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、
画像処理装置。
【請求項２】
前記再生制御部は、３６０°の視野全体のうちの一部である前記再生視野に対応する前記再生画像を再生することにより、前記全周映像を再生させる、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、第１期間内に撮像される前記Ｍ個の視野に対応するＭ個の撮像画像と、前記第１期間に連続する第２期間内に撮像される少なくとも１つの視野に対応する少なくとも１つの撮像画像とを記憶するバッファ、をさらに備える、請求項１に記載の画像処理装置。
【請求項４】
前記バッファは、前記Ｍ個の撮像画像と前記少なくとも１つの撮像画像とを循環的に記憶するリングバッファである、請求項３に記載の画像処理装置。
【請求項５】
前記再生制御部は、前記バッファから読み出される、１つの視野又は連続して撮像された２つ以上の視野に対応する画像に基づく前記再生画像を前記表示部に表示させる、請求項３に記載の画像処理装置。
【請求項６】
前記再生制御部は、再生開始後に直ちに再生視野が移動された場合に移動後の再生視野に対応する再生画像を生成できることを条件として、前記再生画像の表示を開始する、請求項３に記載の画像処理装置。
【請求項７】
前記画像処理装置は、フレーム間予測を用いて符号化された一連の撮像画像の各々を、当該撮像画像を基準としてＭ個おきの参照フレームを用いて復号する復号部、をさらに備える、請求項３に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記Ｍ個の視野に対応するＭ個の撮像画像をスティッチングすることにより生成される全周画像を取得する画像取得部、
をさらに備え、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、第１の全周画像内の前記１番目の視野に対応する第１部分画像と、前記第１の全周画像よりも早く撮像された第２の全周画像内の前記Ｍ番目の視野に対応する第２部分画像とに基づいて、前記再生画像を前記表示部に表示させる、
請求項１に記載の画像処理装置。
【請求項９】
前記画像処理装置は、要求される前記再生視野を判定する判定部、をさらに備え、
前記再生制御部は、前記判定部により判定される前記再生視野に対応する前記再生画像を前記表示部に表示させる、
請求項１に記載の画像処理装置。
【請求項１０】
前記複数の撮像画像は、撮像装置によって、撮像方向を回転軸周りに回転させながら前記Ｍ個の視野を順次撮像することにより生成された画像である、請求項１に記載の画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置と、
前記表示部と、
を備える表示装置。
【請求項１２】
互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御方法であって、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
画像処理装置において、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を生成することと、
生成した前記再生画像を表示部に表示させることと、
を含む再生制御方法。
【請求項１３】
互いに部分的に重複して周回する複数の視野で順次撮像を行うことにより、複数の撮像画像を生成する撮像装置と、
前記複数の撮像画像に基づく全周映像の再生を制御する再生制御部を備える画像処理装置と、
を含み、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、
画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、表示装置、再生制御方法及び画像処理システムに関する。
【背景技術】
【０００２】
近年、３６０°の視野全体を撮像することのできる全周カメラが実用化されている。全周カメラの多くは、互いに異なる方向に向けられる複数のカメラモジュールからの撮像画像を統合的に処理して、全周画像（又は映像）を提供する。特許文献１は、複数のカメラからの画像をスティッチング（貼り合せ）して全周画像を生成する手法の一例を開示している。【０００３】
全周画像は、単一のカメラモジュールの視野を周回させながら（即ち、カメラモジュールを回転させながら）順次撮像を行い、そのように撮像された複数の撮像画像をスティッチングすることによっても生成され得る。特許文献２は、そうした全周画像を生成するためのデジタルスチルカメラの一例を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０３９５６４号公報
【特許文献２】特開２０１５−１５６５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
全周画像を用いて映像を構成しようとした場合、撮像タイミングのズレが、全周映像の再生又は統合的な処理に支障を生じさせる場合がある。本開示に係る技術は、そうした不都合を解消し又は軽減することを目的とする。
【課題を解決するための手段】
【０００６】
本開示によれば、互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御部、を備え、前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、画像処理装置が提供される。【０００７】
また、本開示によれば、上述した画像処理装置と、前記表示部と、を備える表示装置が提供される。【０００８】
また、本開示によれば、互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御方法であって、前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、画像処理装置において、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を生成することと、生成した前記再生画像を表示部に表示させることと、を含む再生制御方法が提供される。【０００９】
また、本開示によれば、互いに部分的に重複して周回する複数の視野で順次撮像を行うことにより、複数の撮像画像を生成する撮像装置と、前記複数の撮像画像に基づく全周映像の再生を制御する再生制御部を備える画像処理装置と、を含み、前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、画像処理システムが提供される。
【発明の効果】
【００１０】
本開示に係る技術によれば、異なるタイミングで撮像される複数の撮像画像に基づく全周映像の再生又は統合的な処理の際に生じる撮像タイミングのズレに起因する不都合が解消され又は軽減される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１Ａ】全周カメラの概略的な構成の一例について説明するための説明図である。
【図１Ｂ】全周カメラの概略的な構成の他の例について説明するための説明図である。
【図２Ａ】方位角方向に隣接する複数のカメラモジュールの配置の第１の例について説明するための説明図である。
【図２Ｂ】方位角方向に隣接する複数のカメラモジュールの配置の第２の例について説明するための説明図である。
【図３Ａ】仰俯角方向にも隣接する複数のカメラモジュールの配置の第１の例について説明するための説明図である。
【図３Ｂ】仰俯角方向にも隣接する複数のカメラモジュールの配置の第２の例について説明するための説明図である。
【図４Ａ】横置きで配置され方位角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。
【図４Ｂ】縦置きで配置され方位角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。
【図５Ａ】縦置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。
【図５Ｂ】横置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。
【図６】第１の実施形態に係るカメラシステムの構成の一例を示す概略図である。
【図７】第１の実施形態に係る撮像装置及び表示端末の構成の一例を示すブロック図である。
【図８】横置きで配置され方位角方向に隣接する２つのカメラモジュール間の撮像タイミングの制御の一例について説明するための説明図である。
【図９】縦置きで配置され方位角方向に隣接する２つのカメラモジュール間の撮像タイミングの制御の一例について説明するための説明図である。
【図１０】縦置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の撮像タイミングの制御の一例について説明するための説明図である。
【図１１】横置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の撮像タイミングの制御の一例について説明するための説明図である。
【図１２】複数フレームにわたって位相ズレ無しで撮像される全周画像の一例について説明するための説明図である。
【図１３】様々な再生視野に応じて構築され得る表示画像のいくつかの例について説明するための説明図である。
【図１４】第１の実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。
【図１５Ａ】制御情報取得処理の詳細な流れの一例を示すフローチャートである。
【図１５Ｂ】制御情報取得処理の詳細な流れの他の例を示すフローチャートである。
【図１６】第１の実施形態に係る再生制御処理の流れの一例を示すフローチャートである。
【図１７】回転カメラの概略的な構成の一例について説明するための説明図である。
【図１８】カメラモジュールと、カメラモジュールの回転に従って周回する撮像視野とを示す説明図である。
【図１９】第２の実施形態に係るカメラシステムの構成の一例を示す概略図である。
【図２０】第２の実施形態の第１の実施例に係る撮像装置の構成の一例を示すブロック図である。
【図２１】図２０に示した全周フレーム生成部により生成される全周フレームの一例について説明するための説明図である。
【図２２】第２の実施形態の第１の実施例に係る表示端末の構成の一例を示すブロック図である。
【図２３Ａ】あるシナリオにそってユーザが再生視野を移動させる様子を示す第１の説明図である。
【図２３Ｂ】あるシナリオにそってユーザが再生視野を移動させる様子を示す第２の説明図である。
【図２３Ｃ】あるシナリオにそってユーザが再生視野を移動させる様子を示す第３の説明図である。
【図２４Ａ】図２３Ａの時点での再生画像の生成について説明するための説明図である。
【図２４Ｂ】図２３Ｂの時点での再生画像の生成について説明するための説明図である。
【図２４Ｃ】図２３Ｃの時点で生成される再生画像に破綻が生じる様子を示す説明図である。
【図２４Ｄ】図２３Ｃの時点で破綻の無い再生画像が生成される様子を示す説明図である。
【図２５】第２の実施形態の第１の実施例に係る撮像制御処理の流れの一例を示すフローチャートである。
【図２６】第２の実施形態の第１の実施例に係る再生制御処理の流れの一例を示すフローチャートである。
【図２７】第２の実施形態の第２の実施例に係る撮像装置の構成の一例を示すブロック図である。
【図２８】第２の実施例におけるフレーム間予測のための参照フレームについて説明するための説明図である。
【図２９】第２の実施形態の第２の実施例に係る表示端末の構成の一例を示すブロック図である。
【図３０】図２９に示したフレームバッファの所要バッファサイズの一例について説明するための説明図である。
【図３１】図２９に示したフレームバッファ内の所望の再生視野に対応する再生画像の読み出し位置について説明するための説明図である。
【図３２】第２の実施形態の第２の実施例に係る撮像制御処理の流れの一例を示すフローチャートである。
【図３３】第２の実施形態の第２の実施例に係る再生制御処理の流れの一例を示すフローチャートである。
【図３４】第１のシナリオにおけるフレームバッファのバッファ状態の遷移の一例を示す説明図である。
【図３５】第２のシナリオにおけるフレームバッファのバッファ状態の遷移の一例を示す説明図である。
【図３６】第３のシナリオにおけるフレームバッファのバッファ状態の遷移の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
本明細書において、「全周画像」とは、少なくとも１つの方向（例えば、方位角方向及び仰俯角方向のうちの１つ以上）において３６０°の視野全体をカバーする画像をいう。全周画像は、典型的には、複数の撮像画像を統合することにより生成される。「全周映像」とは、少なくとも１つの方向において３６０°の視野全体をカバーする映像をいう。全周画像の再生及び全周映像の再生は、典型的には、部分的な再生視野で行われる。例えば、全周映像の再生の際、３６０°の視野全体のうちユーザにより要求される任意の方向の（部分的な）再生視野の再生画像（再生フレーム）が生成され、スクリーン上に表示される。全周映像の再生フレームは、一例として、予め生成される全周フレームから再生視野に合わせて切り出されてもよい。他の例として、全周映像の再生フレームは、対応する１つ以上の撮像視野の撮像画像から再生時に構築されてもよい。「全周フレーム」との表現は、全周画像とほぼ等価な意味を有し、但し動画を構成するフレームの一種であることを示唆する。単なる「フレーム」又は「個別フレーム」との表現は、個別の撮像視野で撮像された、映像を構成する一連の撮像画像の各々を含む。
【００１４】
本開示は、複数のカメラモジュールによって撮像される画像に基づく全周映像の撮像及び再生に関する技術と、回転する単一のカメラモジュールによって撮像される画像に基づく全周映像の撮像及び再生に関する技術とを含む。次の章立ての中で、「１．第１の実施形態」は主に前者を、「２．第２の実施形態」は主に後者を説明する。なお、これら実施形態の中で説明される特徴は、別段の説明の無い限り、互いにどのように組み合わされてもよい。
１．第１の実施形態
１−１．序論
１−１−１．課題の概略
１−１−２．全周カメラの概略
１−１−３．画素読み出し方式
１−１−４．カメラモジュール間の位相ズレ
１−２．カメラシステムの構成例
１−３．装置の構成例
１−３−１．撮像装置
１−３−２．表示端末
１−４．処理の流れの例
１−４−１．撮像制御処理
１−４−２．制御情報取得処理
１−４−３．再生制御処理
１−５．第１の実施形態のまとめ
２．第２の実施形態
２−１．序論
２−１−１．課題の概略
２−１−２．回転カメラの構成例
２−２．カメラシステムの構成例
２−３．第１の実施例
２−３−１．撮像装置
２−３−２．表示端末
２−３−３．処理の流れの例
２−４．第２の実施例
２−４−１．撮像装置
２−４−２．表示端末
２−４−３．処理の流れの例
２−４−４．バッファ状態の遷移例
２−５．第２の実施形態のまとめ
３．むすび
【００１５】
＜１．第１の実施形態＞
［１−１．序論］
［１−１−１．課題の概略］
全周カメラの各カメラモジュールによる画素値の読み出しのタイミングは、画素位置に依存して異なることがある。例えば、１つのイメージセンサの先頭の画素と末尾の画素とでは、画素値の読み出しのタイミングが相違し得る。この相違は、部分的に重複する視野をそれぞれ撮像するカメラモジュールの間で、視野の重複部分の撮像タイミングのズレを生じさせる。このズレを、本明細書では、位相ズレという。全周カメラにより動きの速い被写体が撮像される場合、こうした位相ズレに起因して隣り合うカメラモジュールの間で被写体の見え方が一致せず、それらカメラモジュールからの撮像画像を統合的に処理することが困難となり得る。カメラを速く動かしながら撮像が行われる場合も同様である。
【００１６】
本実施形態では、こうした全周カメラ（又は少なくとも複数のカメラモジュールからの撮像画像を統合的に処理する装置）における位相ズレに起因する不都合を解消し又は軽減するための技術を提案する。
【００１７】
［１−１−２．全周カメラの概略］
本項では、全周カメラの概略について説明する。全周カメラは、多くの場合、ある基準軸の周りの３６０°の視野全体を撮像することのできるカメラをいう。一例において、基準軸は鉛直軸であり、方位角方向に３６０°の視野が形成される。いくつかの全周カメラは、仰俯角方向にも広い視野を有し、例えば天頂までをも撮像可能であり得る。本実施形態は、様々な視野を有する様々な全周カメラに適用されてよい。例えば、本実施形態は、いずれの方向にも３６０°に満たない視野しか有しないカメラにも適用可能である。
【００１８】
図１Ａは、全周カメラの概略的な構成の一例について説明するための説明図である。図１Ａに示した全周カメラ１０ａは、軸１３ａの周りに円筒状に形成された筐体１１ａを有する。筐体１１ａの外周面には、放射状にそれぞれ異なる方向に向けられたレンズを有する複数のカメラモジュール２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈが配設されている。なお、以下の説明において、カメラモジュール２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈを互いに区別する必要の無い場合には、符号の末尾のアルファベットを省略することにより、これらをカメラモジュール２０と総称する。後述する他の構成要素及び符号の組合せについても同様である。
【００１９】
例えば、筐体１１ａの底面を水平面（図中のｘ−ｚ平面）上に載置する形で全周カメラ１０ａが設置されると、軸１３ａは鉛直軸となる。そして、各カメラモジュール２０は、当該カメラモジュールの視野を撮像し、撮像画像を生成する。例えば、カメラモジュール２０ａは、第１の視野を撮像することにより、第１の画像信号を生成する。カメラモジュール２０ｂは、第１の視野と方位角方向に隣接する第２の視野を撮像することにより、第２の画像信号を生成する。図１Ａの例では、８つのカメラモジュール２０の光軸が、水平面内で放射状に延びている。そのため、各カメラモジュール２０の方位角方向の視野が４５°以上の角度を有するならば、全てのカメラモジュール２０からの撮像画像を統合することにより、方位角方向の３６０°の視野全体をカバーする統合的な画像を得ることができる。実際には、スティッチング又はステレオマッチングといった撮像画像の統合的な処理のために、隣接する２つの視野の間にいくらかの割合で重複部分が存在することが望ましく、その場合、各カメラモジュール２０の方位角方向の視野は４５°よりも大きい視野角を有する。
【００２０】
図１Ｂは、全周カメラの概略的な構成の他の例について説明するための説明図である。図１Ｂに示した全周カメラ１０ｂは、軸１３ｂに直交する上面及び底面でカットされた略球状に形成された筐体１１ｂを有する。筐体１１ｂの外周面には、仰俯角方向に隣り合う視野を有するカメラモジュールの４つのペアが配設されている。より具体的には、カメラモジュール２０ｉ及び２０ｊのペア、カメラモジュール２０ｋ及び２０ｍのペア、カメラモジュール２０ｎ及び２０ｐのペア、並びにカメラモジュール２０ｑ及び２０ｒのペアが、隣り合うペア間で方位角方向に９０°の間隔を空けて配設されている。
【００２１】
例えば、筐体１１ｂの底面を水平面（図中のｘ−ｚ平面）上に載置する形で全周カメラ１０ｂが設置されると、軸１３ｂは鉛直軸となる。そして、各カメラモジュール２０は、当該カメラモジュールの視野を撮像し、撮像画像を生成する。例えば、カメラモジュール２０ｉは、第１の視野を撮像することにより、第１の画像信号を生成する。カメラモジュール２０ｊは、第１の視野と仰俯角方向に隣接する第２の視野を撮像することにより、第２の画像信号を生成する。図１Ｂの例では、各ペアの２つのカメラモジュール２０の光軸が鉛直面内で放射状に延びている。例えば、カメラモジュール２０ｉ及び２０ｊの双方の仰俯角方向の視野が６０°の視野角を有し、視野間の重複部分の割合が２５％（６０°×０．２５＝１５°）であるとすると、カメラモジュール２０ｉ及び２０ｊにより生成される撮像画像を統合することにより、仰俯角方向に１０５°（＝６０°×２−１５°）の視野角を有する統合的な画像を得ることができる。さらにカメラモジュール２０の４つのペアからの撮像画像を統合することにより、方位角方向の３６０°の視野全体をカバーする画像を得ることもできる。
【００２２】
なお、あらためて言うと、図１Ａ及び図１Ｂに示した全周カメラの構成は、一例に過ぎない。本実施形態は、２つ以上のいかなる数のカメラモジュールを備えた、いかなる形状のカメラに適用されてもよい。
【００２３】
［１−１−３．画素読み出し方式］
イメージセンサからの画素値の読み出しは、通常、ローリングシャッター方式又はグローバルシャッター方式で行われる。撮像素子としてＣＣＤ（Charge  Coupled  Device）が採用される場合には、原理上、画素値の読み出しはグローバルシャッター方式で行われる。撮像素子としてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）が採用される場合には、通常は、画素値の読み出しはローリングシャッター方式で行われる。ＣＭＯＳデバイスにグローバルシャッターを実装することも可能ではあるものの、グローバルシャッターの実装は、コスト及び小型化の観点で不利である。ローリングシャッター方式での画素値の読み出しは、順次読み出し方式とも呼ばれる。順次読み出し方式によれば、通常、２次元のフォーカルプレーン内で上のラインから下のラインへと、及び各ライン内で左の画素から右の画素へと、各画素に蓄積された電荷が画素値として順次読み出される。順次読み出し方式の画素読み出し方向を考慮すると、カメラモジュールの配置には、横置き（Landscape）及び縦置き（Portrait）という、典型的な２つのパターンがあり得る。
【００２４】
図２Ａは、方位角方向に隣接する複数のカメラモジュールの配置の第１の例について説明するための説明図である。図２Ａでは、複数のカメラモジュールの視野が、方位角θを表す横軸と、仰俯角φを表す縦軸とを用いて２次元的に表現されている。例えば、視野Ｆｖ１ａは、カメラモジュール２０ａの視野である。視野Ｆｖ１ｂは、カメラモジュール２０ｂの視野である。視野Ｆｖ１ｃは、カメラモジュール２０ｃの視野である。視野Ｆｖ１ａ及びＦｖ１ｂは、方位角方向に互いに隣接し、重複部分Ｆｏ１ａを共に含む。視野Ｆｖ１ｂ及びＦｖ１ｃは、方位角方向に互いに隣接し、重複部分Ｆｏ１ｂを共に含む。カメラモジュール２０が横置きで配置される場合、カメラモジュール２０は、図中に矢印で示したように、自らの視野内の各画素の画素値を、横ラインごとに且つ各ライン内で左から右へと読み出す。よって、例えば、カメラモジュール２０ａの視野Ｆｖ１ａは、画素読み出し方向において、カメラモジュール２０ｂの視野Ｆｖ１ｂよりも先行する。カメラモジュール２０ｂの視野Ｆｖ１ｂは、画素読み出し方向において、カメラモジュール２０ｃの視野Ｆｖ１ｃよりも先行する。例えば、カメラモジュール２０ａの画素値の読み出しが開始された後、読み出しタイミングが重複部分Ｆｏ１ａに達するまでの時間は、１ラインの読み出しに要する時間よりも重複部分の割合だけ少ない。
【００２５】
図２Ｂは、方位角方向に隣接する複数のカメラモジュールの配置の第２の例について説明するための説明図である。図２Ｂの例において、視野Ｆｖ２ａは、カメラモジュール２０ａの視野である。視野Ｆｖ２ｂは、カメラモジュール２０ｂの視野である。視野Ｆｖ２ｃは、カメラモジュール２０ｃの視野である。視野Ｆｖ２ａ及びＦｖ２ｂは、方位角方向に互いに隣接し、重複部分Ｆｏ２ａを共に含む。視野Ｆｖ２ｂ及びＦｖ２ｃは、方位角方向に互いに隣接し、重複部分Ｆｏ２ｂを共に含む。カメラモジュール２０が縦置きで配置される場合、カメラモジュール２０は、図中に矢印で示したように、自らの視野内の各画素の画素値を、縦ラインごとに且つ各ライン内で下から上へと読み出す。よって、例えば、カメラモジュール２０ａの視野Ｆｖ２ａは、画素読み出し方向において、カメラモジュール２０ｂの視野Ｆｖ２ｂよりも先行する。カメラモジュール２０ｂの視野Ｆｖ２ｂは、画素読み出し方向において、カメラモジュール２０ｃの視野Ｆｖ２ｃよりも先行する。例えば、カメラモジュール２０ａの画素値の読み出しが開始された後、読み出しタイミングが重複部分Ｆｏ２ａに達するまでの時間は、フォーカルプレーン内の全ラインの読み出しに要する時間よりも重複部分の割合だけ少ない。
【００２６】
図３Ａは、仰俯角方向にも隣接する複数のカメラモジュールの配置の第１の例について説明するための説明図である。図３Ａでは、図２Ａと同様、複数のカメラモジュールの視野が、方位角θを表す横軸と、仰俯角φを表す縦軸とを用いて２次元的に表現されている。例えば、視野Ｆｖ３ｉは、カメラモジュール２０ｉの視野である。視野Ｆｖ３ｊは、カメラモジュール２０ｊの視野である。視野Ｆｖ３ｋは、カメラモジュール２０ｋの視野である。視野Ｆｖ３ｉ及びＦｖ３ｊは、仰俯角方向に互いに隣接し、重複部分Ｆｏ３ｉｊを共に含む。視野Ｆｖ３ｉ及びＦｖ３ｋは、方位角方向に互いに隣接し、重複部分Ｆｏ３ｉｋを共に含む。カメラモジュール２０が縦置きで配置される場合、カメラモジュール２０は、図中に矢印で示したように、自らの視野内の各画素の画素値を、縦ラインごとに且つ各ライン内で下から上へと読み出す。よって、例えば、カメラモジュール２０ｉの視野Ｆｖ３ｉは、画素読み出し方向において、カメラモジュール２０ｊの視野Ｆｖ３ｊよりも先行し、及びカメラモジュール２０ｋの視野Ｆｖ３ｋよりも先行する。例えば、カメラモジュール２０ｉの画素値の読み出しが開始された後、読み出しタイミングが重複部分Ｆｏ３ｉｊに達するまでの時間は、１ラインの読み出しに要する時間よりも重複部分の割合だけ少ない。
【００２７】
図３Ｂは、仰俯角方向にも隣接する複数のカメラモジュールの配置の第２の例について説明するための説明図である。例えば、視野Ｆｖ４ｊは、カメラモジュール２０ｊの視野である。視野Ｆｖ４ｍは、カメラモジュール２０ｍの視野である。視野Ｆｖ４ｉは、カメラモジュール２０ｉの視野である。視野Ｆｖ４ｊ及びＦｖ４ｍは、方位角方向に互いに隣接し、重複部分Ｆｏ４ｊｍを共に含む。視野Ｆｖ４ｊ及びＦｖ４ｉは、仰俯角方向に互いに隣接し、重複部分Ｆｏ４ｊｉを共に含む。カメラモジュール２０が横置きで配置される場合、カメラモジュール２０は、図中に矢印で示したように、自らの視野内の各画素の画素値を、横ラインごとに且つ各ライン内で左から右へと読み出す。よって、例えば、カメラモジュール２０ｊの視野Ｆｖ４ｊは、画素読み出し方向において、カメラモジュール２０ｍの視野Ｆｖ４ｍよりも先行し、及びカメラモジュール２０ｉの視野Ｆｖ４ｉよりも先行する。例えば、カメラモジュール２０ｊの画素値の読み出しが開始された後、読み出しタイミングが重複部分Ｆｏ４ｊｉに達するまでの時間は、フォーカルプレーン内の全ラインの読み出しに要する時間よりも重複部分の割合だけ少ない。
【００２８】
［１−１−４．カメラモジュール間の位相ズレ］
上述したように、順次読出し方式では、例えば第１撮像部により撮像される第１の視野と、第２撮像部により撮像される第２の視野とが部分的に重複する場合に、重複部分に対応する画像信号の位相が、第１撮像部により生成される第１の画像信号と第２撮像部により生成される第２の画像信号とで相違する。ここでの位相とは、１つのフレーム時間内での、ある画素位置の画素値が読み出されるタイミングを意味するものと理解されてよい。
【００２９】
図４Ａは、横置きで配置され方位角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。図４Ａの例において、視野Ｆｖ１ａは、カメラモジュール２０ａの視野である。視野Ｆｖ１ｂは、カメラモジュール２０ｂの視野である。画素Ｐ１１ａ及び画素Ｐ１２ａは、視野Ｆｖ１ａ内の画素である。画素Ｐ１１ｂ及び画素Ｐ１２ｂは、視野Ｆｖ１ｂ内の画素である。画素Ｐ１２ａ及び画素Ｐ１１ｂは、統合的な視野内で実質的に同じ位置を占める。これらカメラモジュール２０ａ及び２０ｂによる撮像が、時刻Ｔ＝０（ゼロ）に同時に開始されるものとする。カメラモジュール２０ａによる画素Ｐ１１ａの画素値の読み取りは、時刻Ｔ＝０に行われる（実際には撮像開始と画素値の読み取りとの間に露光時間が存在する。但し、ここでは説明の簡明さのために、露光時間を無視する）。同時にカメラモジュール２０ｂによる画素Ｐ１１ｂの画素値の読み取りも行われるが、実質的に同じ位置の画素Ｐ１２ａの画素値は、この時点でカメラモジュール２０ａにより読み取られない。その後、ある時間が経過すると、カメラモジュール２０ａは、画素Ｐ１２ａの画素値を読み取る。この経過時間（図中の破線矢印）の間に、重複部分Ｆｏ１ａに映る被写体又は背景が動いてしまっている可能性がある。同じタイミングで、カメラモジュール２０ｂは、画素Ｐ１２ｂの画素値を読み取る。
【００３０】
図４Ｂは、縦置きで配置され方位角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。図４Ｂの例において、視野Ｆｖ２ａは、カメラモジュール２０ａの視野である。視野Ｆｖ２ｂは、カメラモジュール２０ｂの視野である。画素Ｐ２１ａ及び画素Ｐ２２ａは、視野Ｆｖ２ａ内の画素である。画素Ｐ２１ｂ及び画素Ｐ２２ｂは、視野Ｆｖ２ｂ内の画素である。画素Ｐ２２ａ及び画素Ｐ２１ｂは、統合的な視野内で実質的に同じ位置を占める。これらカメラモジュール２０ａ及び２０ｂによる撮像が、時刻Ｔ＝０（ゼロ）に同時に開始されるものとする。カメラモジュール２０ａによる画素Ｐ２１ａの画素値の読み取りは、時刻Ｔ＝０に行われる。同時にカメラモジュール２０ｂによる画素Ｐ２１ｂの画素値の読み取りも行われるが、実質的に同じ位置の画素Ｐ２２ａの画素値は、この時点でカメラモジュール２０ａにより読み取られない。その後、ある時間が経過すると、カメラモジュール２０ａは、画素Ｐ２２ａの画素値を読み取る。この経過時間の間に、重複部分Ｆｏ２ａに映る被写体又は背景が動いてしまっている可能性がある。同じタイミングで、カメラモジュール２０ｂは、画素Ｐ２２ｂの画素値を読み取る。
【００３１】
図５Ａは、縦置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。図５Ａの例において、視野Ｆｖ３ｉは、カメラモジュール２０ｉの視野である。視野Ｆｖ３ｊは、カメラモジュール２０ｊの視野である。画素Ｐ３１ｉ及び画素Ｐ３２ｉは、視野Ｆｖ３ｉ内の画素である。画素Ｐ３１ｊ及び画素Ｐ３２ｊは、視野Ｆｖ３ｊ内の画素である。画素Ｐ３２ｉ及び画素Ｐ３１ｊは、統合的な視野内で実質的に同じ位置を占める。これらカメラモジュール２０ｉ及び２０ｊによる撮像が、時刻Ｔ＝０（ゼロ）に同時に開始されるものとする。カメラモジュール２０ｉによる画素Ｐ３１ｉの画素値の読み取りは、時刻Ｔ＝０に行われる。同時にカメラモジュール２０ｊによる画素Ｐ３１ｊの画素値の読み取りも行われるが、実質的に同じ位置の画素Ｐ３２ｉの画素値は、この時点でカメラモジュール２０ｉにより読み取られない。その後、ある時間が経過すると、カメラモジュール２０ｉは、画素Ｐ３２ｉの画素値を読み取る。この経過時間の間に、重複部分Ｆｏ３ｉｊに映る被写体又は背景が動いてしまっている可能性がある。同じタイミングで、カメラモジュール２０ｊは、画素Ｐ３２ｊの画素値を読み取る。
【００３２】
図５Ｂは、横置きで配置され仰俯角方向に隣接する２つのカメラモジュール間の位相ズレについて説明するための説明図である。図５Ｂの例において、視野Ｆｖ４ｊは、カメラモジュール２０ｊの視野である。視野Ｆｖ４ｉは、カメラモジュール２０ｉの視野である。画素Ｐ４１ｊ及び画素Ｐ４２ｊは、視野Ｆｖ４ｊ内の画素である。画素Ｐ４１ｉ及び画素Ｐ４２ｉは、視野Ｆｖ４ｉ内の画素である。画素Ｐ４２ｊ及び画素Ｐ４１ｉは、統合的な視野内で実質的に同じ位置を占める。これらカメラモジュール２０ｊ及び２０ｉによる撮像が、時刻Ｔ＝０（ゼロ）に同時に開始されるものとする。カメラモジュール２０ｊによる画素Ｐ４１ｊの画素値の読み取りは、時刻Ｔ＝０に行われる。同時にカメラモジュール２０ｉによる画素Ｐ４１ｉの画素値の読み取りも行われるが、実質的に同じ位置の画素Ｐ４２ｊの画素値は、この時点でカメラモジュール２０ｊにより読み取られない。その後、ある時間が経過すると、カメラモジュール２０ｊは、画素Ｐ４２ｊの画素値を読み取る。この経過時間の間に、重複部分Ｆｏ４ｊｉに映る被写体又は背景が動いてしまっている可能性がある。同じタイミングで、カメラモジュール２０ｉは、画素Ｐ４２ｉの画素値を読み取る。
【００３３】
図４Ａ〜図５Ｂを用いて説明した位相ズレは、全周カメラにより動きの速い被写体が撮像される場合、又はカメラを速く動かしながら撮像が行われる場合に、隣り合う視野を映した撮像画像の間の被写体又は背景の見え方の不一致を招来し、スティッチング又はステレオマッチングといった統合的な処理の精度を低下させる。そこで、次節より詳細に説明するカメラシステムにおいて、こうした位相ズレを解消するための撮像タイミングの制御を導入する。
【００３４】
［１−２．カメラシステムの構成例］
図６は、第１の実施形態に係るカメラシステムの構成の一例を示す概略図である。図６を参照すると、カメラシステム１は、撮像装置１００、サーバ１６０、並びに表示端末１７０ａ及び１７０ｂを含み得る。
【００３５】
撮像装置１００は、例えば、ある基準軸の周囲の３６０°の視野全体を統合的にカバーするような複数の視野をそれぞれ有する複数の撮像部（カメラモジュール）を備える。撮像装置１００は、いかなる数の撮像部を備えてもよく、それら撮像部はいかなる配置を有していてもよい。図６の例では、撮像装置１００は、撮像環境１０２内に置かれた全周カメラである。撮像装置１００は、例えば、ローカルメモリに撮像画像を記録するスタンドアローン型の装置であってもよい。また、撮像装置１００は、ネットワーク１６５を介してサーバ１６０又は表示端末１７０ａ若しくは１７０ｂへ接続されてもよい。
【００３６】
サーバ１６０は、撮像装置１００により生成される撮像画像（又はそれら撮像画像から統合的な処理を経て生成される再生用画像）を蓄積する情報処理装置である。サーバ１６０は、ネットワーク１６５を介して、又は直接的な接続線（図示せず）を介して撮像装置１００から画像を受信し、受信した画像を記憶媒体に記憶させる。また、サーバ１６０は、表示端末１７０（１７０ａ又は１７０ｂ）から受信されるリクエストに応じて、撮像装置１００から受信された画像を表示端末１７０へ配信する。なお、撮像装置１００と表示端末１７０とが直接的に接続される場合には、カメラシステム１は、サーバ１６０を含まなくてもよい。
【００３７】
ネットワーク１６５は、インターネットなどのパブリックネットワークであってもよく、又はホームネットワーク若しくは企業内ネットワークなどのプライベートネットワークであってもよい。ネットワーク１６５は、無線リンク及び有線リンクのいかなる組合せを含んでもよい。
【００３８】
表示端末１７０ａは、撮像装置１００により撮像される画像を表示する機能を有する端末装置である。図６の例では、表示端末１７０ａは、ユーザの頭部に装着されるウェアラブル端末である。ユーザは、撮像装置１００により撮像される画像を表示端末１７０ａのスクリーン上で再生させることができる。撮像装置１００により撮像される画像は、例えば、３６０°の視野全体を統合的にカバーする全周画像（静止画又は動画を構成するフレームの各々）である。ユーザがある方向を向いている場合には、全周画像のうちの、その方向に対応する再生視野の表示画像が再生され得る。そして、ユーザが頭部を他の方向に向けると（又は、再生視野を動かすための指示を表示端末１７０ａへ入力すると）、再生視野が変化し、変化後の再生視野の表示画像が再生され得る。
【００３９】
表示端末１７０ｂもまた、撮像装置１００により撮像される画像を表示する機能を有する端末装置である。図６の例では、表示端末１７０ｂは、ユーザにより保持されるモバイル端末である。ユーザは、撮像装置１００により撮像される全周画像を表示端末１７０ｂのスクリーン上で再生させることができる。表示端末１７０ｂがある方向を向いている場合には、全周画像のうちの、その方向に対応する再生視野の表示画像が再生され得る。そして、ユーザが表示端末１７０ｂを他の方向に向けると（又は、再生視野を動かすための指示を表示端末１７０ｂへ入力すると）、再生視野が変化し、変化後の再生視野の表示画像が再生され得る。
【００４０】
表示端末１７０は、撮像装置１００から直接的に全周画像を取得してもよく、又はサーバ１６０から全周画像を取得してもよい。撮像装置１００の複数の撮像部により生成される撮像画像から全周画像又は個々の表示画像を構築する処理は、撮像装置１００、サーバ１６０及び表示端末１７０のいずれにより行われてもよい。
【００４１】
［１−３．装置の構成例］
［１−３−１．撮像装置］
図７は、第１の実施形態に係る撮像装置１００の構成の一例を示している。図７を参照すると、撮像装置１００は、マルチカメラユニット１１０、撮像制御部１２０、メモリ１２５、画像処理部１３０及びフレームバッファ１３５を備える。
【００４２】
（１）マルチカメラユニット
マルチカメラユニット１１０は、複数の撮像部１１２ａ、１１２ｂ、１１２ｃ、…、１１２ｎを含む。第１撮像部１１２ａは、第１の視野を撮像することにより第１の画像信号を生成し、生成した第１の画像信号を画像処理部１３０へ出力する。第２撮像部１１２ｂは、第２の視野を撮像することにより第２の画像信号を生成し、生成した第２の画像信号を画像処理部１３０へ出力する。第２の視野は、第１の視野に部分的に重複する。第３撮像部１１２ｃは、第３の視野を撮像することにより第３の画像信号を生成し、生成した第３の画像信号を画像処理部１３０へ出力する。第３の視野は、第１の視野及び第２の視野の少なくとも一方に部分的に重複する。第ｎ撮像部１１２ｎは、第ｎの視野を撮像することにより第ｎの画像信号を生成し、生成した第ｎの画像信号を画像処理部１３０へ出力する。これら複数の撮像部１１２ａ、１１２ｂ、１１２ｃ、…、１１２ｎの視野の全て又はそれらのサブセットにより、ある基準軸の周囲の３６０°の視野全体が統合的にカバーされ得る。以下の説明では、基準軸は鉛直軸であり、方位角方向の３６０°の視野全体が複数の視野によりカバーされるものとする。但し、基準軸がいかなる傾きを有する場合にも、本実施形態は適用可能である。
【００４３】
一例として、第１撮像部１１２ａは、第１の視野からレンズを介して入射する光の像を電気信号へと光電変換するＣＭＯＳイメージセンサ（図示せず）を含み、当該イメージセンサから順次読み出し方式で画素値を読み出すことにより第１の画像信号を生成する。同様に、第２撮像部１１２ｂは、第２の視野からレンズを介して入射する光の像を電気信号へと光電変換するＣＭＯＳイメージセンサ（図示せず）を含み、当該イメージセンサから順次読み出し方式で画素値を読み出すことにより第２の画像信号を生成する。他の撮像部１１２もまた、それぞれ固有の視野を有することを除いて、第１撮像部１１２ａ及び第２撮像部１１２ｂと同様の手法でそれぞれの画像信号を生成し得る。
【００４４】
ある例において、第１撮像部１１２ａの第１の視野及び第２撮像部１１２ｂの第２の視野は方位角方向に隣接する。また、第１撮像部１１２ａ及び第２撮像部１１２ｂは、共に縦置きに配置され、縦ラインごとに画素値を読み出す。この場合の第１及び第２の視野の間の関係は、図２Ｂに例示した視野Ｆｖ２ａと視野Ｆｖ２ｂとの間の関係に相当する。
【００４５】
他の例において、第１撮像部１１２ａの第１の視野及び第２撮像部１１２ｂの第２の視野は方位角方向に隣接する。また、第１撮像部１１２ａ及び第２撮像部１１２ｂは、共に横置きに配置され、横ラインごとに画素値を読み出す。この場合の第１及び第２の視野の間の関係は、図２Ａに例示した視野Ｆｖ１ａと視野Ｆｖ１ｂとの間の関係に相当する。
【００４６】
別の例において、第１撮像部１１２ａの第１の視野及び第２撮像部１１２ｂの第２の視野は仰俯角方向に隣接する。また、第１撮像部１１２ａ及び第２撮像部１１２ｂは、共に縦置きに配置され、縦ラインごとに画素値を読み出す。この場合の第１及び第２の視野の間の関係は、図３Ａに例示した視野Ｆｖ３ｉと視野Ｆｖ３ｊとの間の関係に相当する。
【００４７】
また別の例において、第１撮像部１１２ａの第１の視野及び第２撮像部１１２ｂの第２の視野は仰俯角方向に隣接する。また、第１撮像部１１２ａ及び第２撮像部１１２ｂは、共に横置きに配置され、横ラインごとに画素値を読み出す。この場合の第１及び第２の視野の間の関係は、図３Ｂに例示した視野Ｆｖ４ｊと視野Ｆｖ４ｉとの間の関係に相当する。
【００４８】
（２）撮像制御部−撮像タイミングの制御
撮像制御部１２０は、マルチカメラユニット１１０における撮像動作を制御するコントローラモジュールである。撮像制御部１２０は、例えば何らかのユーザインタフェース（図示せず）又は通信インタフェース（図示せず）を介して検出される撮像開始のトリガに応じて、マルチカメラユニット１１０における全周画像の撮像を開始させる。全周画像が動画を構成する場合には、全周画像の撮像は、撮像終了のトリガが検出されるまで複数のフレームにわたって繰り返され得る。
【００４９】
本実施形態において、撮像制御部１２０は、各フレームの撮像動作のために、マルチカメラユニット１１０の各撮像部１１２の撮像タイミングを制御する。例えば、撮像制御部１２０は、第１撮像部１１２ａにおいて生成される第１の画像信号及び第２撮像部１１２ｂにおいて生成される第２の画像信号のうちの少なくとも一方の撮像タイミングを、第１の視野及び第２の視野の重複部分に対応する上記第１の画像信号の位相及び上記第２の画像信号の位相が一致するように制御する。また、撮像制御部１２０は、互いに部分的に重複する視野を有する他の撮像部のペアの撮像タイミングをも、ペア間で重複部分に対応する画像信号の位相が一致するように、同様に制御する。
【００５０】
例えば、第１撮像部１１２ａの第１の視野が、画素読み出し方向において第２撮像部１１２ｂの第２の視野よりも先行するものとする。この場合、撮像制御部１２０は、第１撮像部１１２ａにおける読み出し画素位置が先頭の画素から、第１の視野及び第２の視野の重複部分に達するまでの時間だけ、第２撮像部１１２ｂにおける先頭の画素の画素値の読み出しを遅延させ得る。
【００５１】
図８〜図１１は、撮像部の２つの配置パターン（横置き／縦置き）と、撮像部の２つの隣接方向（方位角方向／仰俯角方向）との組合せの各々について、撮像制御部１２０による撮像タイミングの制御の一例を示している。各図において、左側には撮像タイミングの制御が行われない場合の画素値の読み取りのタイミングチャートが対比のために示され、右側には撮像制御部１２０による撮像タイミングの制御が行われる場合の画素値の読み取りのタイミングチャートが示される。各タイミングチャートの横軸は画像信号の位相を表し、縦軸は順次読み出し方式の読み出し順に従って一次元化された画素位置を表す。
【００５２】
図８は、第１撮像部１１２ａ及び第２撮像部１１２ｂが横置きで配置されており、それら撮像部の視野が方位角方向に隣接するケースに対応する。各タイミングチャートにおいて、実線は第１撮像部１１２ａにより生成される第１の画像信号Ｉｍ１ａの画素位置ごとの撮像タイミング（画素値の読み取りタイミング）を表し、破線は第２撮像部１１２ｂにより生成される第２の画像信号Ｉｍ１ｂの画素位置ごとの撮像タイミングを表す。
【００５３】
撮像制御部１２０による撮像タイミングの制御が行われない場合（左のタイミングチャート参照）、第１の画像信号Ｉｍ１ａの撮像が画素Ｐ１１ａにおいて開始されると同時に、第２の画像信号Ｉｍ１ｂの撮像が画素Ｐ１１ｂにおいて開始される。第２の画像信号Ｉｍ１ｂの画素Ｐ１１ｂは、統合的な視野において第１の画像信号Ｉｍ１ａの画素Ｐ１２ａと実質的に同じ位置を占めるものの、この時点では第１の画像信号Ｉｍ１ａの画素Ｐ１２ａの画素値は読み出されない。その後、時間τ１が経過した時点で、第１撮像部１１２ａにより画素Ｐ１２ａの画素値が読み出される。
【００５４】
撮像制御部１２０による撮像タイミングの制御が行われる場合（右のタイミングチャート参照）、撮像制御部１２０は、第１撮像部１１２ａにおける読み出し画素位置が先頭の画素Ｐ１１ａから重複部分の最初の画素Ｐ１２ａに達するまでの時間τ１だけ、第２撮像部１１２ｂにおける先頭の画素Ｐ１１ｂの画素値の読み出しを遅延させる。その結果、視野の重複部分に属する画素について、第１の画像信号Ｉｍ１ａの位相と、第２の画像信号Ｉｍ１ｂの位相とが一致する。
【００５５】
図９は、第１撮像部１１２ａ及び第２撮像部１１２ｂが縦置きで配置されており、それら撮像部の視野が方位角方向に隣接するケースに対応する。各タイミングチャートにおいて、実線は第１撮像部１１２ａにより生成される第１の画像信号Ｉｍ２ａの画素位置ごとの撮像タイミング（画素値の読み取りタイミング）を表し、破線は第２撮像部１１２ｂにより生成される第２の画像信号Ｉｍ２ｂの画素位置ごとの撮像タイミングを表す。
【００５６】
撮像制御部１２０による撮像タイミングの制御が行われない場合（左のタイミングチャート参照）、第１の画像信号Ｉｍ２ａの撮像が画素Ｐ２１ａにおいて開始されると同時に、第２の画像信号Ｉｍ２ｂの撮像が画素Ｐ２１ｂにおいて開始される。第２の画像信号Ｉｍ２ｂの画素Ｐ２１ｂは、統合的な視野において第１の画像信号Ｉｍ２ａの画素Ｐ２２ａと実質的に同じ位置を占めるものの、この時点では第１の画像信号Ｉｍ２ａの画素Ｐ２２ａの画素値は読み出されない。その後、時間τ２が経過した時点で、第１撮像部１１２ａにより画素Ｐ２２ａの画素値が読み出される。
【００５７】
撮像制御部１２０による撮像タイミングの制御が行われる場合（右のタイミングチャート参照）、撮像制御部１２０は、第１撮像部１１２ａにおける読み出し画素位置が先頭の画素Ｐ２１ａから重複部分の最初の画素Ｐ２２ａに達するまでの時間τ２だけ、第２撮像部１１２ｂにおける先頭の画素Ｐ２１ｂの画素値の読み出しを遅延させる。その結果、視野の重複部分に属する画素について、第１の画像信号Ｉｍ２ａの位相と、第２の画像信号Ｉｍ２ｂの位相とが一致する。
【００５８】
図１０は、第１撮像部１１２ａ及び第２撮像部１１２ｂが縦置きで配置されており、それら撮像部の視野が仰俯角方向に隣接するケースに対応する。各タイミングチャートにおいて、実線は第１撮像部１１２ａにより生成される第１の画像信号Ｉｍ３ａの画素位置ごとの撮像タイミング（画素値の読み取りタイミング）を表し、破線は第２撮像部１１２ｂにより生成される第２の画像信号Ｉｍ３ｂの画素位置ごとの撮像タイミングを表す。
【００５９】
撮像制御部１２０による撮像タイミングの制御が行われない場合（左のタイミングチャート参照）、第１の画像信号Ｉｍ３ａの撮像が画素Ｐ３１ｉにおいて開始されると同時に、第２の画像信号Ｉｍ３ｂの撮像が画素Ｐ３１ｊにおいて開始される。第２の画像信号Ｉｍ３ｂの画素Ｐ３１ｊは、統合的な視野において第１の画像信号Ｉｍ３ａの画素Ｐ３２ｉと実質的に同じ位置を占めるものの、この時点では第１の画像信号Ｉｍ３ａの画素Ｐ３２ｉの画素値は読み出されない。その後、時間τ３が経過した時点で、第１撮像部１１２ａにより画素Ｐ３２ｉの画素値が読み出される。
【００６０】
撮像制御部１２０による撮像タイミングの制御が行われる場合（右のタイミングチャート参照）、撮像制御部１２０は、第１撮像部１１２ａにおける読み出し画素位置が先頭の画素Ｐ３１ｉから重複部分の最初の画素Ｐ３２ｉに達するまでの時間τ３だけ、第２撮像部１１２ｂにおける先頭の画素Ｐ３１ｊの画素値の読み出しを遅延させる。その結果、視野の重複部分に属する画素について、第１の画像信号Ｉｍ３ａの位相と、第２の画像信号Ｉｍ３ｂの位相とが一致する。
【００６１】
図１１は、第１撮像部１１２ａ及び第２撮像部１１２ｂが横置きで配置されており、それら撮像部の視野が仰俯角方向に隣接するケースに対応する。各タイミングチャートにおいて、実線は第１撮像部１１２ａにより生成される第１の画像信号Ｉｍ４ａの画素位置ごとの撮像タイミング（画素値の読み取りタイミング）を表し、破線は第２撮像部１１２ｂにより生成される第２の画像信号Ｉｍ４ｂの画素位置ごとの撮像タイミングを表す。
【００６２】
撮像制御部１２０による撮像タイミングの制御が行われない場合（左のタイミングチャート参照）、第１の画像信号Ｉｍ４ａの撮像が画素Ｐ４１ｊにおいて開始されると同時に、第２の画像信号Ｉｍ４ｂの撮像が画素Ｐ４１ｉにおいて開始される。第２の画像信号Ｉｍ４ｂの画素Ｐ４１ｉは、統合的な視野において第１の画像信号Ｉｍ４ａの画素Ｐ４２ｊと実質的に同じ位置を占めるものの、この時点では第１の画像信号Ｉｍ４ａの画素Ｐ４２ｊの画素値は読み出されない。その後、時間τ４が経過した時点で、第１撮像部１１２ａにより画素Ｐ４２ｊの画素値が読み出される。
【００６３】
撮像制御部１２０による撮像タイミングの制御が行われる場合（右のタイミングチャート参照）、撮像制御部１２０は、第１撮像部１１２ａにおける読み出し画素位置が先頭の画素Ｐ４１ｊから重複部分の最初の画素Ｐ４２ｊに達するまでの時間τ４だけ、第２撮像部１１２ｂにおける先頭の画素Ｐ４１ｉの画素値の読み出しを遅延させる。その結果、視野の重複部分に属する画素について、第１の画像信号Ｉｍ４ａの位相と、第２の画像信号Ｉｍ４ｂの位相とが一致する。
【００６４】
なお、図８に例示したケース（横置き、方位角方向の隣接）及び図１０に例示したケース（縦置き、仰俯角方向の隣接）の遅延時間τ１及びτ３は、１ラインの読み出しに要する時間よりも短い。そのため、撮像制御部１２０は、これらケースに該当する撮像部１１２のペアについて、統合的な処理への影響の小さい位相ズレを無視し、撮像タイミングを相対的に遅延させなくてもよい。
【００６５】
一実施例において、メモリ１２５は、図８〜図１１を用いて説明したような遅延時間τ１、τ２、τ３又はτ４を予め定義するタイミング制御情報を記憶してよい。タイミング制御情報は、例えば、第１撮像部１１２ａの撮像タイミングを基準とする第２撮像部１１２ｂの撮像タイミングの遅延時間（即ち、第１の画像信号に対する第２の画像信号の撮像タイミングの遅延時間）のみならず、他の撮像部１１２ｃ〜１１２ｎの各々の撮像タイミングの遅延時間をも定義し得る。撮像制御部１２０は、各撮像部１１２に関連付けてこうした遅延時間を予め定義するタイミング制御情報をメモリ１２５から取得し、取得したタイミング制御情報に従って、各撮像部１１２へ撮像開始指示信号を送出してもよい。その代わりに、タイミング制御情報に従って、撮像制御部１２０から第１撮像部１１２ａへ、第１撮像部１１２ａから第２撮像部１１２ｂへ、第２撮像部１１２ｂから第３撮像部１１２ｃへ（以下、同様）といったように、撮像制御部１２０から第１撮像部１１２ａへ送出される撮像開始指示信号をトリガとして、隣り合う視野を有する撮像部１１２の間で撮像開始指示信号が逐次的に転送されてもよい。
【００６６】
他の実施例において、撮像制御部１２０は、第１撮像部１１２ａの撮像タイミングを基準とする、他の撮像部１１２ｂ〜１１２ｎの撮像タイミングの遅延時間を動的に決定し、決定した遅延時間に従って各撮像部１１２へ撮像開始指示信号を送出してもよい。典型的には、隣り合う視野を有する２つの撮像部１１２の間の撮像タイミングの遅延時間は、後述するようにフレーム時間に依存し得る。そのため、例えば、撮像制御部１２０は、可変的に設定され得る所要フレーム時間（又は所要フレームレート）に依存して各撮像部に適用すべき遅延時間を動的に決定し得る。
【００６７】
いずれの実施例においても、撮像制御部１２０は、第１撮像部１１２ａにおける画素読み出し速度を、先頭の画素（例えば、図８の画素Ｐ１１ａ、図９の画素Ｐ２１ａ、図１０の画素Ｐ３１ｉ又は図１１の画素Ｐ４１ｊ）から重複部分（例えば、図８の画素Ｐ１２ａ、図９の画素Ｐ２２ａ、図１０の画素Ｐ３２ｉ又は図１１の画素Ｐ４２ｊ）に達するまでの範囲内の画素値が第２撮像部１１２ｂにおける画素値の読み出しの遅延時間（例えば、τ１、τ２、τ３又はτ４）内に読み出されるように、第１撮像部１１２ａにおける画素読み出し速度を制御するのが望ましい。
【００６８】
（３）撮像制御部−遅延時間の決定
ここで、ある基準軸の周りの３６０°の視野全体をＮＣＡＭ個の撮像部１１２の視野が統合的にカバーするものとする。ＮＣＡＭ個の撮像部１１２は、マルチカメラユニット１１０に含まれる撮像部の全てであってもよく、又はそれら撮像部のサブセット（例えば、図１Ｂの例における上面側の４つのカメラモジュール、又は底面側の４つのカメラモジュール）であってもよい。また、各フレーム時間において、第１撮像部１１２ａの撮像タイミングがＮＣＡＭ個の撮像部１１２のうちで最も早く、第ｎ撮像部１１２ｎの撮像タイミングが最も遅いものとする。第ｎ撮像部１１２ｎの視野は、第１撮像部１１２ａの視野に（画素読み出し方向とは逆方向に）隣接する。撮像タイミングの観点においては、ｉ−１番目のフレームの第ｎ撮像部１１２ｎの撮像の次に、ｉ番目のフレームの第１撮像部１１２ａの撮像が行われる。こうした構成において、ＮＣＡＭ個の撮像部１１２の画素読み出し速度及び撮像タイミングの遅延時間を適切に制御することで、ｉ−１番目のフレームの第ｎ撮像部１１２ｎの撮像画像と、ｉ番目のフレームの第１撮像部１１２ａの撮像画像との間の重複部分における位相ズレを、任意の整数ｉについて解消し、それら撮像画像の統合的な処理を円滑化することができる。
【００６９】
より具体的には、図９のケース（縦置き／方位角方向の隣接）を想定すると、全周画像の所要フレームレートの逆数であるフレーム時間ＴＦＲＡＭＥと、鉛直軸であり得る基準軸の周りに配置される撮像部１１２の数ＮＣＡＭとの間に次の関係式が成り立つ場合に、ＮＣＡＭ個の撮像部１１２における画素値の読み出しを複数フレームにわたって循環的に位相ズレ無しで反復することができる。
【００７０】
【数１】
2017150394.tif 000003
【００７１】
なお、式（１）におけるｒＯＬは、１つの撮像部１１２の撮像画像内の、他の１つの撮像部１１２の撮像画像との重複部分の割合を表す。ＴＦＰは、１つの撮像部１１２が１つのフォーカルプレーンの撮像画像を読み出すために要する時間である。隣り合う視野を有する２つの撮像部１１２の間の撮像タイミングの遅延時間τは、式（１）に基づいて次のように決定され得る。
【００７２】
【数２】
2017150394.tif 000004
【００７３】
即ち、例えばＮＣＡＭ個の撮像部１１２のうちの第１撮像部１１２ａに対する第２撮像部１１２ｂにおける画素値の読み出しの遅延時間τは、所要フレーム時間ＴＦＲＡＭＥを撮像部１１２の数ＮＣＡＭで除算した商に等しい。視野及び視野の重複部分の割合が複数の撮像部１１２にわたって均等である限り、任意の隣り合う２つの撮像部１１２の間の遅延時間も同じ値であってよい。また、各撮像部１１２における画素読み出し速度ＳＦＰは、例えば１つのフォーカルプレーン内の総画素数をフォーカルプレーン時間ＴＦＰで除算した商であってよい。
【００７４】
一例として、遅延時間τ及び画素読み出し速度ＳＦＰの計算は、上述したように、予め（例えば、カメラの製造又は製造後の校正の際に）行われてもよい。その場合、各撮像部１１２の撮像タイミングの遅延時間を定義するタイミング制御情報、及び画素読み出し速度ＳＦＰを定義する読み出し制御情報が生成され、メモリ１２５により記憶され得る。他の例として、撮像制御部１２０は、各撮像部１１２の撮像タイミングの遅延時間及び画素読み出し速度のうちの一方又は双方を、上述したパラメータを用いて動的に計算してもよい。
【００７５】
図１２は、複数フレームにわたって位相ズレ無しで撮像される全周画像の一例について説明するための説明図である。ここでは、３６０°の視野を８つの撮像部１１２の視野が統合的にカバーしており（即ち、ＮＣＡＭ＝８）、図９のケースのようにそれら撮像部１１２は縦置きで配置され、それらの視野は方位角方向に隣り合うものとする。
【００７６】
図１２を参照すると、全周画像のｉ番目のフレームは、８つの撮像画像Ｉｍ５１ａ、Ｉｍ５１ｂ、Ｉｍ５１ｃ、Ｉｍ５１ｄ、Ｉｍ５１ｅ、Ｉｍ５１ｆ、Ｉｍ５１ｇ及びＩｍ５１ｈから構成される。そして、これら撮像画像の撮像タイミングは、画素読み出し方向において先行する撮像画像から順に遅延時間τずつ遅延されており、τの８倍がフレーム時間ＴＦＲＡＭＥに等しい。即ち、遅延時間τと撮像部１１２の数ＮＣＡＭとの積が全周画像のフレーム時間ＴＦＲＡＭＥに等しく、位相遅延の合計が３６０°に相当する。結果的に、ｉ−１番目のフレームの最も遅く撮像される撮像画像Ｉｍ５０ｈとｉ番目のフレームの最も早く撮像される撮像画像Ｉｍ５１ａとの間でも重複部分における位相が一致し、かつｉ番目のフレームの最も遅く撮像される撮像画像Ｉｍ５１ｈとｉ＋１番目のフレームの最も早く撮像される撮像画像Ｉｍ５２ａとの間でも重複部分における位相が一致する。このような手法によれば、後述する画像処理部１３０又は表示端末１７０は、処理対象の（又は再生対象の）視野が位相原点（図１２において位相がゼロ又は３６０°である点）をまたぐ場合にも、ｉ（又はｉ＋１）番目のフレームの最も早い視野の撮像画像とｉ−１（又はｉ）番目のフレームの最も遅い視野の撮像画像とを、位相ズレの影響を受けることなく統合的に処理することができる。
【００７７】
なお、全周画像は、通常、円筒図法（例えば、正距円筒図法又は心射円筒図法など）に従ってカメラの周囲の視野の像を２次元的に表現する。この場合、画像の一方の次元において視野は循環し、他方の次元において視野は循環しない。全周カメラの典型的な用途では、人間の視覚系の特性に合わせて、方位角方向に循環的な視野が、仰俯角方向に非循環的な視野がそれぞれ適用される。この場合、方位角方向に隣接する視野を有する撮像部１１２の間の撮像タイミングの遅延時間を、上記式（２）に従って決定することが有益である。循環しない方向に隣接する視野を有する撮像部１１２の間の撮像タイミングの遅延時間は、視野の重複部分の画像信号の位相が一致する限り、いかなる手法で決定されてもよい。また、位相のズレが小さく画質に与える影響を無視できる場合には、遅延時間は設定されなくてもよい。
【００７８】
（４）画像処理部
画像処理部１３０は、マルチカメラユニット１１０の複数の撮像部１１２から入力される画像信号により表される画像を統合的に処理して、出力画像を生成する。複数の撮像部１１２から入力される画像信号は、互いに異なる視野をそれぞれ映した撮像画像を表す。一例として、画像処理部１３０は、隣り合う視野を映した２つの撮像画像の重複部分における部分画像を用いてそれら撮像画像をスティッチングして、合成画像を生成してもよい。他の例として、画像処理部１３０は、互いに重複する２つの撮像画像を用いてステレオマッチングを実行することにより、被写体の視差を判定してもよい。画像処理部１３０は、視差判定の結果を表すデプスマップを生成してもよく、又は全周の立体視画像を生成してもよい。３６０°の視野全体にわたって視差を判定するためには、隣り合う視野を映した２つの撮像画像の間の重複部分の割合は、５０％以上であることが望ましい。また別の例として、画像処理部１３０は、複数の撮像画像からなる全周画像の蓄積又は再生のために、それら画像を他の装置（例えば、図６を用いて説明したサーバ１６０又は表示端末１７０）へと単に転送してもよい。画像処理部１３０は、画像を転送する前に任意の映像圧縮方式で画像を圧縮符号化してもよい。
【００７９】
画像処理部１３０は、例えばスティッチング又はステレオマッチングを実行する際に、処理対象の視野が位相原点をまたぐ場合、ｉ（又はｉ＋１）番目のフレームの撮像画像とｉ−１（又はｉ）番目のフレームの撮像画像とを統合的に処理することにより、位相ズレの影響を回避してもよい。こうした位相原点をまたぐ処理のために、フレームバッファ１３５は、撮像部１１２によりそれぞれ撮像された最新のフレームの撮像画像のみならず、直前のフレームの撮像画像をもバッファリングし得る。
【００８０】
［１−３−２．表示端末］
図７は、第１の実施形態に係る表示端末１７０の構成の一例をも示している。図７を参照すると、表示端末１７０は、再生制御部１８０、フレームバッファ１８５及び表示部１９０を備える。
【００８１】
（１）再生制御部
再生制御部１８０は、例えば何らかのユーザインタフェース（図示せず）を介して検出される再生開始のトリガに応じて、撮像装置１００から出力される全周画像を取得し、表示部１９０のスクリーン上で全周画像を再生する。再生制御部１８０は、画像を撮像装置１００から直接的に受信してもよく、又は例えばサーバ１６０のような中間的な装置を介して画像を受信してもよい。
【００８２】
再生制御部１８０により取得される全周画像は、典型的には、フレームごとに、互いに異なる視野をそれぞれ映した複数の画像からなる。各画像は、撮像装置１００の撮像部１１２により生成された撮像画像そのものであってもよく、又は撮像画像を加工することにより生成された画像（例えば、右眼画像及び左眼画像を含む立体視画像）であってもよい。再生制御部１８０は、例えば、ユーザにより指示される（又は例えば端末の姿勢に応じて自律的に決定される）再生視野に対応する１つ以上の画像をトリミングし又は連結して、再生視野の表示画像を構築する。そして、再生制御部１８０は、構築した表示画像を表示部１９０へ出力する。
【００８３】
図１３は、様々な再生視野に応じて構築され得る表示画像のいくつかの例について説明するための説明図である。ここでは、方位角方向の３６０°の視野を８つの撮像部１１２の視野がカバーし、かつ仰俯角方向の統合的な視野を２つ撮像部１１２がカバーしているものとする。従って、１つのフレームの全周画像は、合計で１６個の画像から構成される。再生視野は、全周画像の視野全体よりも小さい。図１３には、太枠の矩形で３つの例示的な再生視野Ｆｒ１、Ｆｒ２及びＦｒ３が示されている。再生制御部１８０は、例えばｉ−１番目のフレームの画像Ｉｍ６０ｐ、並びにｉ番目のフレームの画像Ｉｍ６１ｂ及びＩｍ６１ｄを取得し、それら画像Ｉｍ６０ｐ、Ｉｍ６１ｂ及びＩｍ６１ｄから必要とされる部分をトリミングし及び連結して、再生視野Ｆｒ１の表示画像を構築し得る。また、再生制御部１８０は、ｉ番目のフレームの画像Ｉｍ６１ｅ、Ｉｍ６１ｇ及びＩｍ６１ｉを取得し、それらから必要とされる部分をトリミングし及び連結して、再生視野Ｆｒ２の表示画像を構築し得る。また、再生制御部１８０は、ｉ番目のフレームの画像Ｉｍ６１ｍ、Ｉｍ６１ｎ、Ｉｍ６１ｏ及びＩｍ６１ｐ、並びにｉ＋１番目のフレームの画像Ｉｍ６２ａ及びＩｍ６２ｂを取得し、それらから必要とされる部分をトリミングし及び連結して、再生視野Ｆｒ３の表示画像を構築し得る。例えば、再生視野Ｆｒ１には被写体Ｊ１が映っているが、再生視野Ｆｒ１の表示画像を構成する部分画像の間に、それら部分画像が異なるカメラモジュールにより撮像されたにも関わらず位相ズレが無いため、被写体Ｊ１の画像が歪み又は破綻無く再生され得る。同様に、再生視野Ｆｒ３にも被写体Ｊ１が映っているが、再生視野Ｆｒ３の表示画像を構成する部分画像の間に位相ズレが無いため、被写体Ｊ１の画像が歪み又は破綻無く再生され得る。対照的に、もし再生視野Ｆｒ３の表示画像がｉ番目のフレームの画像Ｉｍ６１ａ、Ｉｍ６１ｂ、Ｉｍ６１ｍ、Ｉｍ６１ｎ、Ｉｍ６１ｏ及びＩｍ６１ｐから構築されていたとしたら、画像Ｉｍ６１ａ及びＩｍ６１ｂと、残りの画像との間の位相ズレに起因して被写体Ｊ１の画像が破綻していたはずである。しかし、上述した実施形態において説明した手法によって、そうした破綻は防止され得る。
【００８４】
フレームバッファ１８５は、再生制御部１８０により取得される全周画像（静止画又は動画）を構成する個々の画像を、過去２フレーム分にわたってバッファリングする。それにより、３６０°の視野全体のうちのいかなる方向に再生視野が設定されたとしても、再生制御部１８０がその再生視野の表示画像を適切に構築するために要する全ての部分画像にアクセスすることができる。
【００８５】
（２）表示部
表示部１９０は、典型的には、スクリーンとディスプレイドライバとを含み得る表示デバイスである。表示部１９０は、再生制御部１８０から入力される再生視野の表示画像を、スクリーン上で再生する。スクリーンは、例えば、図６に示した眼鏡型のウェアラブル端末１７０ａにおいてはマイクロディスプレイ、モバイル端末１７０ｂにおいてはタッチパネルに相当し得る。但し、これらの例に限定されず、全周画像は、例えばＰＣ（Personal  Computer）又はテレビジョン装置のような固定端末のモニタ上に表示されてもよい。また、全周画像は、プロジェクタによりスクリーン上へ投影されてもよい。
【００８６】
［１−４．処理の流れの例］
本項では、上述した実施形態において各装置により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【００８７】
［１−４−１．撮像制御処理］
図１４は、第１の実施形態に係る撮像制御部１２０により実行され得る撮像制御処理の流れの一例を示すフローチャートである。
【００８８】
図１４を参照すると、まず、撮像制御部１２０は、マルチカメラユニット１１０における撮像動作を制御するための制御情報を取得する（ステップＳ１１０）。ここで取得される制御情報は、複数の撮像部１１２の各々の撮像タイミングの遅延時間を定義するタイミング制御情報、及び画素読み出し速度を定義する読み出し制御情報を含み得る。
【００８９】
次に、撮像制御部１２０は、撮像開始のトリガを待ち受ける（ステップＳ１１５）。例えば、ユーザインタフェースを介して撮像開始を指示するユーザ入力が検出され、又は通信インタフェースを介して撮像開始を指示する制御コマンドが検出されると、撮像制御処理はステップＳ１２０へ進む。
【００９０】
ステップＳ１２０において、撮像制御部１２０は、複数の撮像部１１２のうち最も早いタイミングで動作すべき第１撮像部１１２ａへ、撮像開始指示信号を供給する（ステップＳ１２０）。第１撮像部１１２ａは、供給された撮像開始指示信号によりトリガされて、フォーカルプレーンの先頭の画素から順次読み出し方式で画素値の読み出しを開始する。各撮像部１１２における画素読み出し速度は、撮像開始指示信号により指定されてもよく、又は別個の制御信号を介して設定されてもよい。
【００９１】
その後、タイミング制御情報により定義された遅延時間が経過し、次に動作すべき第２撮像部１１２ｂの撮像タイミングが到来すると（ステップＳ１２５）、第２撮像部１１２ｂへ撮像開始指示信号が供給される（ステップＳ１３０）。こうした遅延時間の待機及び撮像開始信号の供給は、全ての視野の撮像が開始されるまで繰り返される（ステップＳ１３５）。
【００９２】
画像処理部１３０は、このようにして複数の撮像部１１２により異なるタイミングでそれぞれ撮像された、異なる視野を映した撮像画像を統合的に処理する（ステップＳ１４０）。撮像制御部１２０は、次のフレームの撮像タイミングが到来すると（ステップＳ１５０）、再び第１撮像部１１２ａへ撮像開始指示信号を供給する（ステップＳ１２０）。こうした全周画像の撮像は、撮像終了が指示されるまで繰り返され得る。
【００９３】
［１−４−２．制御情報取得処理］
（１）第１の例
図１５Ａは、図１４のステップＳ１１０において実行され得る制御情報取得処理の詳細な流れの一例を示すフローチャートである。
【００９４】
図１５Ａを参照すると、まず、撮像制御部１２０は、全周画像のフレーム時間ＴＦＲＡＭＥ及びカメラモジュール数ＮＣＡＭを考慮して予め決定されたモジュールごとの撮像タイミングを定義するタイミング制御情報を、メモリ１２５から取得する（ステップＳ１１１）。
【００９５】
また、撮像制御部１２０は、予め決定された画素読み出し速度を定義する読み出し制御情報を、メモリ１２５から取得する（ステップＳ１１２）。
【００９６】
（２）第２の例
図１５Ｂは、図１４のステップＳ１１０において実行され得る制御情報取得処理の詳細な流れの他の例を示すフローチャートである。
【００９７】
図１５Ｂを参照すると、まず、撮像制御部１２０は、全周画像のフレーム時間ＴＦＲＡＭＥ及びカメラモジュール数ＮＣＡＭに基づいて、モジュールごとの撮像タイミング（例えば、１つの撮像部１１２の撮像タイミングを基準とする、他の撮像部１１２の撮像タイミングの遅延時間）を決定し、決定した撮像タイミングを示すタイミング制御情報を生成する（ステップＳ１１３）。
【００９８】
また、撮像制御部１２０は、例えば１つのフォーカルプレーン内の総画素数及びフォーカルプレーン時間などのパラメータに基づいて、画素読み出し速度を決定し、決定した画素読み出し速度を示す読み出し制御情報を生成する（ステップＳ１１４）。
【００９９】
［１−４−３．再生制御処理］
図１６は、第１の実施形態に係る表示端末１７０により実行され得る再生制御処理の流れの一例を示すフローチャートである。
【０１００】
表示端末１７０の再生制御部１８０は、例えば、全周画像の再生が開始されると、ユーザからの指示又は端末の姿勢の測定結果に基づいて、再生視野を判定する（ステップＳ１８１）。その後の処理は、判定された再生視野が位相原点をまたぐか否かに応じて分岐する（ステップＳ１８３）。
【０１０１】
再生視野が位相原点をまたがない場合、再生制御部１８０は、単一フレームの全周画像を構成する画像集合から、再生視野に対応する１つ以上の画像を取得する（ステップＳ１８５）。一方、再生視野が位相原点をまたぐ場合、再生制御部１８０は、複数フレームにわたる全周画像を構成する画像集合から、再生視野に対応する複数の画像を取得する（ステップＳ１８７）。
【０１０２】
次に、再生制御部１８０は、ステップＳ１８５又はＳ１８７において取得した１つ以上の画像を再生視野に合わせてトリミングし又は連結して、再生視野の表示画像を構築する（ステップＳ１８９）。
【０１０３】
そして、表示部１９０は、再生制御部１８０により構築された再生視野の表示画像を、スクリーン上で再生する（ステップＳ１９１）。こうした全周画像の再生は、再生終了が指示されるまで繰り返されてよい（ステップＳ１９３）。
【０１０４】
［１−５．第１の実施形態のまとめ］
ここまで、図１Ａ〜図１６を用いて、本開示に係る技術の第１の実施形態について詳細に説明した。第１の実施形態によれば、互いに部分的に重複する視野を撮像してそれぞれ画像信号を生成する２つの撮像部のうちの少なくとも一方の撮像タイミングが、それら視野の重複部分に対応する画像信号の位相が一致するように制御される。即ち、２つの撮像部の間の位相ズレが抑制されるため、当該２つの撮像部からの撮像画像の統合的な処理が位相ズレに起因して困難となることを防止することができる。例えば、撮像画像に動きの速い被写体又は背景が映っていたとしても、統合的な処理の精度は低下しない。また、２つの撮像画像を合成したとしても、視野の重複部分に存在する被写体又は背景の画像は破綻しない。
【０１０５】
こうした利点は、各撮像部において画像信号がイメージセンサから順次読み出し方式で読み出される場合にも享受され得る。従って、例えばイメージセンサとしてＣＭＯＳを採用することができ、ＣＭＯＳデバイスにグローバルシャッターを実装する必要も無い。これは、本実施形態が、動きの速い被写体を高品質に撮像可能な全周カメラ、又は速いカメラワークをもサポートし得る全周カメラの、低コストでの製造又は小型化を容易にすることを意味する。
【０１０６】
また、第１の実施形態によれば、第２撮像部の視野よりも画素読み出し方向において先行する視野を有する第１撮像部における読み出し画素位置が先頭の画素から視野の重複部分に達するまでの時間だけ、第２撮像部における先頭の画素の画素値の読み出しが遅延され得る。この場合、各フレームの画素値の読み出しを開始するタイミングを撮像部ごとに遅延させるという簡易な制御だけで、視野の重複部分に対応する画像信号の位相を一致させることができる。撮像部ごとのこうした遅延時間が予め決定される場合には、撮像時のカメラの処理に追加的な計算の負荷は課せられない。遅延時間が動的に計算される場合には、例えば所要フレームレートなどのパラメータをユーザに可変的に設定させる柔軟性を持ちながら、位相ズレを抑制することができる。
【０１０７】
また、第１の実施形態によれば、ある基準軸の周囲の３６０°の視野全体を統合的にカバーする撮像部の数と、所要のフレーム時間とに基づいて、上記遅延時間が決定され得る。この場合、カメラの周囲の視野の像を例えば円筒図法で２次元的に表現する全周画像において、循環する方向（例えば、方位角方向）のどの位置においても位相ズレを円滑に抑制することができる。
【０１０８】
また、第１の実施形態によれば、先頭の画素から視野の重複部分に達するまでの範囲内の画素値が上記遅延時間内に読み出されるように、各撮像部における画素読み出し速度が制御され得る。この場合、視野の重複部分が画像全体に対していかなる割合であったとしても、画素読み出し速度の制御によって上記遅延時間を達成し、位相ズレを確実に抑制することができる。
【０１０９】
＜２．第２の実施形態＞
［２−１．序論］
［２−１−１．課題の概略］
前節では、全周カメラの複数のカメラモジュールによりそれぞれ撮像される撮像画像の間の撮像タイミングのズレについて検討した。ここでは、回転するカメラモジュールが順次撮像する複数の撮像画像の間の撮像タイミングのズレについて検討する。
【０１１０】
例えば、単一のカメラモジュールが、ある回転軸の周りを３６０°回転する間に、Ｍ回の撮像を行うものとする。１回の撮像視野が３６０°／Ｍ以上の視野角を有する場合、Ｍ個の撮像画像が３６０°の視野全体をカバーする。これらＭ個の撮像画像をスティッチングすることにより、１つの全周画像を生成することができる。カメラモジュールがＸ回回転しながら撮像を行った場合、Ｘ・Ｍ個の撮像画像から、全周フレームＸ個分の全周映像を構成することができる。第１の実施形態と同様、表示端末は、３６０°の視野全体の全周フレームのうち端末の向きに対応する再生視野の部分画像を再生することで、あたかもユーザの周りに全周フレームに映された通りの景色が広がっているかのような体験をユーザに与えることができる。
【０１１１】
しかしながら、例えば、全周フレームのうち順方向で最初に位置する１番目の撮像画像と、順方向で最後に位置するＭ番目の撮像画像とでは、撮像タイミングが大きく異なる。隣り合う撮像画像の撮像タイミング間の時間差をΔｔとすると、全周フレームの両端に位置する２つの撮像画像の撮像タイミング間の時間差は、（Ｍ−１）・Δｔである。全周フレームの境界に相当する基準方向を再生視野がまたぐ場合に、１番目の撮像画像及びＭ番目の撮像画像に基づいて再生画像を生成しようとすると、それらの間の時間差（Ｍ−１）・Δｔを原因として生じる被写体又は背景の見え方の不一致が、再生画像を破綻なく生成することを妨げる。
【０１１２】
本実施形態では、こうした回転するカメラモジュールからの撮像画像に基づく全周映像の再生における撮像タイミングのズレに起因する不都合を解消し又は軽減するための技術を提案する。
【０１１３】
［２−１−２．回転カメラの構成例］
図１７は、回転カメラの概略的な構成の一例について説明するための説明図である。図１７に示した回転カメラ５０は、カメラモジュール６０を備える筐体６１と、回転部材６３と、固定部材６５とから構成される。筐体６１は、その一側面（又は底面）において回転部材６３と固定的に連結される。回転部材６３は、回転軸５１の周りを回動可能に固定部材６５と連結される。図１７の例では、回転軸５１は、鉛直軸である。固定部材６５の回転軸５１を基準として、例えば、図示しないモータに駆動されて回転部材６３が回転することにより、カメラモジュール６０もまた回転軸５１の周りを回転する。カメラモジュール６０は、後に詳しく説明するように、そのように回転しながら周期的に撮像を行い、撮像画像を生成する。回転軸５１とカメラモジュール６０の光軸との交点を節点（Nodal  Point）という。カメラモジュール６０が回転している間、節点５３は動かない。
【０１１４】
図１８は、鉛直上方から見たカメラモジュール６０と、カメラモジュール６０の回転に従って節点５３（又は回転軸５１）の周りを周回する撮像視野とを示している。図１８の例では、カメラモジュール６０は、１回の回転の間に６回の撮像を行う。例えば、カメラモジュール６０は、第１の撮像方向Ｄ１ａを向いて第１の撮像視野Ｆｖ６ａで１回目の撮像を行う。次に、カメラモジュール６０は、第２の撮像方向Ｄ１ｂを向いて第２の撮像視野Ｆｖ６ｂで２回目の撮像を行う。次に、カメラモジュール６０は、第３の撮像方向Ｄ１ｃを向いて第３の撮像視野Ｆｖ６ｃで３回目の撮像を行う。次に、カメラモジュール６０は、第４の撮像方向Ｄ１ｄを向いて第４の撮像視野Ｆｖ６ｄで４回目の撮像を行う。次に、カメラモジュール６０は、第５の撮像方向Ｄ１ｅを向いて第５の撮像視野Ｆｖ６ｅで５回目の撮像を行う。次に、カメラモジュール６０は、第６の撮像方向Ｄ１ｆを向いて第６の撮像視野Ｆｖ６ｆで６回目の撮像を行う。３６０°の視野全体がこのように６つの撮像視野でカバーされる場合、個々の撮像視野の視野角が６０°（＝３６０°／６）より大きければ、任意の連続して撮像される２つの撮像視野は互いに重複する。このような撮像を通じて得られる６つの撮像画像を統合することで、１つの全周画像を得ることができる。さらに、カメラモジュール６０が回転を続けながら撮像を継続することで、複数の全周フレームにわたる全周映像を構成することができる。
【０１１５】
なお、図１７及び図１８に示した回転カメラは一例に過ぎない。例えば、本実施形態は、回転軸５１がいかなる傾きを有する場合にも適用可能である。また、回転カメラは、２つ以上のカメラモジュールを有していてもよい。回転カメラは、１回の回転の間に撮像を何回行ってもよい。１回の回転の間にＬ回（Ｌ＞Ｍ）の撮像が行われ、Ｌ個の撮像画像のうちのＭ個の撮像画像のみに基づいて全周映像が構成されてもよい（例えば、Ｌ＝２Ｍであって、１つおきの撮像画像のみから全周映像が構成されてもよい）。また、図１７では回転部材６３がアーム状の形状を、固定部材６５が棒状の形状をそれぞれ有する例を示しているが、これら部材は他の形状を有していてもよい。
【０１１６】
［２−２．カメラシステムの構成例］
図１９は、第２の実施形態に係るカメラシステムの構成の一例を示す概略図である。図１９を参照すると、カメラシステム５は、撮像装置２００、サーバ２４０、並びに表示端末２５０ａ及び２５０ｂを含み得る。
【０１１７】
撮像装置２００は、例えば、ある回転軸の周りに回転しながら周期的に撮像を行う、図１７に例示した回転カメラ５０と同様の装置である。図１９の例では、撮像装置２００は、撮像環境２０２内に置かれている。撮像装置２００は、例えば、ローカルメモリに撮像画像を記録するスタンドアローン型の装置であってもよい。また、撮像装置２００は、ネットワーク２４５を介してサーバ２４０又は表示端末２５０ａ若しくは２５０ｂへ接続されてもよい。
【０１１８】
サーバ２４０は、撮像装置２００により生成される撮像画像又はそれら撮像画像から生成される全周フレームを蓄積する情報処理装置である。サーバ２４０は、ネットワーク２４５を介して、又は直接的な接続線（図示せず）を介して撮像装置２００から画像を受信し、受信した画像を記憶媒体に記憶させる。また、サーバ２４０は、表示端末２５０（２５０ａ又は２５０ｂ）から受信されるリクエストに応じて、撮像装置２００から受信された画像を表示端末２５０へ配信する。なお、撮像装置２００と表示端末２５０とが直接的に接続される場合には、カメラシステム５は、サーバ２４０を含まなくてもよい。
【０１１９】
ネットワーク２４５は、インターネットなどのパブリックネットワークであってもよく、又はホームネットワーク若しくは企業内ネットワークなどのプライベートネットワークであってもよい。ネットワーク２４５は、無線リンク及び有線リンクのいかなる組合せを含んでもよい。
【０１２０】
表示端末２５０ａは、撮像装置２００により撮像される画像を表示する機能を有する端末装置である。図１９の例では、表示端末２５０ａは、ユーザの頭部に装着されるウェアラブル端末である。ユーザは、撮像装置２００により撮像される画像を表示端末２５０ａのスクリーン上で再生させることができる。ユーザがある方向を向いている場合には、３６０°の視野全体のうちその方向に対応する再生視野の画像が再生され得る。そして、ユーザが頭部を他の方向に向けると（又は、再生視野を動かすための指示を表示端末２５０ａへ入力すると）、再生視野が変化し、変化後の再生視野の画像が再生され得る。
【０１２１】
表示端末２５０ｂもまた、撮像装置２００により撮像される画像を表示する機能を有する端末装置である。図１９の例では、表示端末２５０ｂは、ユーザにより保持されるモバイル端末である。ユーザは、撮像装置２００により撮像される画像を表示端末２５０ｂのスクリーン上で再生させることができる。表示端末２５０ｂがある方向を向いている場合には、３６０°の視野全体のうちその方向に対応する再生視野の画像が再生され得る。そして、ユーザが表示端末２５０ｂを他の方向に向けると（又は、再生視野を動かすための指示を表示端末２５０ｂへ入力すると）、再生視野が変化し、変化後の再生視野の画像が再生され得る。表示端末２５０は、撮像装置２００から直接的に画像を取得してもよく、又はサーバ２４０から画像を取得してもよい。
【０１２２】
一連の撮像画像から全周フレーム又は個々の再生画像を構築する処理は、撮像装置、サーバ及び表示端末のいずれにより行われてもよい。本節では、まず第１の実施例として、撮像装置が全周映像を構成する全周フレームの各々を生成する例を説明する。次に、第２の実施例として、撮像装置により生成される個々の撮像画像から表示端末が全周映像のための再生画像を生成する例を説明する。
【０１２３】
［２−３．第１の実施例］
［２−３−１．撮像装置］
図２０は、第２の実施形態の第１の実施例に係る撮像装置２００の構成の一例を示している。図２０を参照すると、撮像装置２００は、撮像部２１０、撮像制御部２２０、全周フレーム生成部２３０及びフレームメモリ２３５を備える。
【０１２４】
（１）撮像部
撮像部２１０は、後述する撮像制御部２２０による制御の下で、その時点で光軸が向いている撮像視野を撮像することにより、撮像画像を生成する。より具体的には、撮像制御部２２０が撮像部２１０の撮像方向を回転軸周りに１回転させる（撮像視野を１周分周回させる）間、撮像部２１０は、互いに部分的に重複する少なくともＭ個（Ｍ＞１）の撮像視野を順次撮像することにより、Ｍ個の撮像画像を生成する。１番目からＭ番目までのＭ個の撮像視野により、全周フレームの３６０°の視野全体が統合的にカバーされる。撮像部２１０は、これら撮像画像を表す画像信号を、全周フレーム生成部２３０へ順次出力する。
【０１２５】
（２）撮像制御部
撮像制御部２２０は、撮像装置２００の筐体の回転と撮像部２１０における撮像動作とを制御する。撮像制御部２２０は、例えば何らかのユーザインタフェース（図示せず）又は通信インタフェース（図示せず）を介して検出される撮像開始の指示に応じて、撮像装置２００の筐体の回転軸周りの回転を開始させる。また、撮像制御部２２０は、基準方向を起点とする１番目の視野からＭ番目の視野までのＭ個の撮像視野（又はより多くの撮像視野）を撮像部２１０が向くそれぞれのタイミングで、撮像部２１０に撮像を行わせる。撮像制御部２２０は、例えば何らかのユーザインタフェース又は通信インタフェースを介して検出される撮像終了の指示に応じて、撮像部２１０による周期的な撮像を終了させ、及び撮像装置２００の筐体の回転を停止させる。
【０１２６】
（３）全周フレーム生成部
全周フレーム生成部２３０は、撮像部２１０から入力される撮像画像を統合的に処理して、全周フレームを生成する。上述したように、撮像部２１０から順次入力されるＭ個の撮像画像は、互いに異なる撮像視野をそれぞれ映しており、全体として３６０°の視野全体をカバーする。ある手法において、全周フレーム生成部２３０は、隣り合う視野を映した２つの撮像画像の重複部分を重ね合せて、それら２つの撮像画像を連結してもよい。他の手法において、全周フレーム生成部２３０は、隣り合う視野を映した２つの撮像画像の重複部分のうちの一方をトリミングした後に、それら２つの撮像画像を連結してもよい。本明細書におけるスティッチングとの語は、これら２つの手法の双方を含むものとする。
【０１２７】
図２１は、全周フレーム生成部２３０により生成される全周フレームの一例について説明するための説明図である。図２１の上半分に示したチャートの縦軸は、基準方向の位相θ０を基準とするカメラモジュールの回転の位相を表す。チャートの横軸は、時間を表す。ここでは、１回の回転の間に撮像される撮像視野の個数Ｍは６に等しい。画像Ｉｍ（ｉ，ｊ）は、ｉ回目の回転の期間中に生成されるｊ番目の撮像画像である（１≦ｉ、１≦ｊ≦Ｍ）。画像Ｉａ（ｉ）は、ｉ回目の回転の期間中に生成されるＭ個の撮像画像から生成される全周フレームである。図示したように、全周フレーム生成部２３０は、１回目の回転の期間中に生成される撮像画像Ｉｍ（１，１）〜Ｉｍ（１，Ｍ）をスティッチングすることにより、１番目の全周フレームＩａ（１）を生成する。また、全周フレーム生成部２３０は、２回目の回転の期間中に生成される撮像画像Ｉｍ（２，１）〜Ｉｍ（２，Ｍ）をスティッチングすることにより、２番目の全周フレームＩａ（２）を生成する。
【０１２８】
全周フレーム生成部２３０は、撮像部２１０による撮像が継続されている間、所定の全周フレームレートでこのように全周フレームの生成を繰り返し、生成した全周フレームを、フレームメモリ２３５に記憶させる。全周フレーム生成部２３０は、生成した全周フレームを、全周映像の撮像又は再生を支援するサーバ（例えば、図１９に示したサーバ２４０）へと転送してもよい。また、全周フレーム生成部２３０（又はサーバ２４０）は、全周フレームをリアルタイムで１つ以上の表示端末へ配信してもよい。全周フレーム生成部２３０は、全周フレームを記憶させ、転送し又は配信する前に、任意の映像圧縮方式で全周映像を圧縮符号化してもよい。
【０１２９】
［２−３−２．表示端末］
図２２は、第１の実施例に係る表示端末２５０の構成の一例を示している。図２２を参照すると、表示端末２５０は、画像取得部２６０、フレームバッファ２６５、視野判定部２７５、再生制御部２８０及び表示部２９０を備える。
【０１３０】
（１）画像取得部
画像取得部２６０は、撮像装置２００により生成される一連の全周フレームから構成される全周映像を、撮像装置２００又はサーバ２４０から取得する。画像取得部２６０は、全周映像が圧縮符号化されている場合には、撮像装置２００又はサーバ２４０から取得される映像情報を復号して一連の全周フレームを復元してもよい。そして、画像取得部２６０は、全周映像を構成する各全周フレームをフレームバッファ２６５に記憶させる。各全周フレームは、上述したＭ個の撮像視野に対応するＭ個の撮像画像をスティッチングすることにより生成された画像である。
【０１３１】
（２）フレームバッファ
フレームバッファ２６５は、画像取得部２６０により取得される全周フレームを一時的に記憶する。本実施例において、フレームバッファ２６５は、最新の全周フレームのみならず、少なくとも１フレーム前の全周フレームをバッファリングする。
【０１３２】
（３）視野判定部
視野判定部２７５は、ユーザにより要求される再生視野を判定する。例えば、視野判定部２７５は、再生開始時に、予め定義される基準方向に基づいて初期の再生視野を設定し、再生開始後の表示端末２５０の姿勢の変化に応じて再生視野を順方向又は逆方向へと周回させてもよい。視野判定部２７５は、表示端末２５０の姿勢の変化を加速度センサ又はジャイロセンサを用いて測定してもよい。また、視野判定部２７５は、地磁気センサにより測定される表示端末２５０の向きに応じて、再生視野を判定してもよい。また、視野判定部２７５は、ユーザインタフェース（図示せず）を介して検出されるユーザ入力（例えば、タップ若しくはドラッグなど）、又は音声認識モジュール（図示せず）を介して検出される音声コマンドに応じて、再生視野を判定してもよい。
【０１３３】
（４）再生制御部
再生制御部２８０は、再生開始のトリガに応じて、画像取得部２６０に全周フレームの取得を開始させる。取得された全周フレームは、フレームバッファ２６５によりバッファリングされる。そして、再生制御部２８０は、視野判定部２７５により判定される再生視野に対応する再生画像を、表示部２９０のスクリーン上に表示させる、再生制御部２８０は、基準方向をまたがない再生視野での再生が要求される場合には、１つの全周フレーム内の再生視野に対応する部分の再生画像を全周フレームから切り出すことにより、再生画像を生成する。１全周フレーム時間が経過すると、再生制御部２８０は、次の全周フレーム内の再生視野に対応する部分の再生画像を全周フレームから切り出すことにより、次の再生画像を生成する。これら再生画像が後述する表示部２９０において順次表示されることで、映像がユーザに向けて表示される。
【０１３４】
再生制御部２８０は、基準方向をまたぐ再生視野での再生が要求される場合には、その時点の全周フレーム内の１番目の撮像視野に対応する第１部分画像と、当該全周フレームよりも早く（典型的には、直前に）撮像された過去の全周フレーム内のＭ番目の撮像視野に対応する第２部分画像とに基づいて、再生画像を生成する。
【０１３５】
図２３Ａ〜図２３Ｃは、あるシナリオにそってユーザが再生視野を移動させる様子を示している。これら図面を通じたシナリオにおいて、基準方向Ｄ０＝θ０、再生視野Ｆｒ４１の視野角Ｒｖ＝１２０°であるものとする。図２３Ａの時点において、再生方向Ｄ２１＝θ０＋１２０°である。再生視野Ｆｒ４１は、θ０＋１２０°からθ０＋２４０°までの方位をカバーする。なお、ここでは、再生方向は再生視野の中央ではなく再生視野の起点に対応するものとする（例えば、撮像視野が右へ回転する場合には、再生方向は再生視野の左端に対応する）。図２３Ｂの時点において、再生方向Ｄ２２＝θ０＋３０°である。再生視野Ｆｒ４２は、θ０＋３０°からθ０＋１５０°までの方位をカバーする。即ち、再生視野は、図２３Ａの時点から９０°左方へ移動している。図２３Ｃの時点において、再生方向Ｄ２３＝θ０−６０°である。再生視野Ｆｒ４３は、θ０−６０°からθ０＋６０°までの方位をカバーする。即ち、再生視野は、図２３Ｂの時点からさらに９０°左方へ移動している。図２３Ａ及び図２３Ｂの時点では、再生視野Ｆｒ４１及びＦｒ４２は基準方向Ｄ０をまたがないが、図２３Ｂの時点では、再生視野Ｆｒ４３は基準方向Ｄ０をまたぐ。
【０１３６】
図２４Ａ及び図２４Ｂは、それぞれ図２３Ａ及び図２３Ｂの時点での再生画像の生成について説明するための説明図である。図２４Ａを参照すると、フレームバッファ２６５によりバッファリングされている全周フレームＩａ（ｉ−１）及びＩａ（ｉ−２）が示されている。この時点でフレームバッファ２６５へ書き込まれている最中であり得る全周フレームＩａ（ｉ）は図示されていない。再生制御部２８０は、再生すべき再生視野Ｆｒ４１がθ０＋１２０°からθ０＋２４０°までの範囲を占めるため、全周フレームＩａ（ｉ−１）からこの範囲の部分画像を切り出すことにより再生画像を生成し得る。次に、図２４Ｂを参照すると、再生制御部２８０は、再生すべき再生視野Ｆｒ４２がθ０＋３０°からθ０＋１５０°までの範囲を占めるため、全周フレームＩａ（ｉ−１）からこの範囲の部分画像を切り出すことにより再生画像を生成し得る。なお、実際には、時間の経過に伴い全周フレームはより先のフレーム内容を映しているはずである。しかし、ここでは説明の簡明さのために、フレームの序数をｉ−１及びｉ−２のままとしている。
【０１３７】
図２４Ｃは、図２３Ｃの時点で単一の全周フレームから再生画像を生成した場合に再生画像に破綻が生じる様子を示している。対照的に、図２４Ｄは、同じ時点で本実施例に従って破綻の無い再生画像が生成される様子を示している。図２４Ｃを参照すると、再生視野Ｆｒ４３は、基準方向をまたいでおり、θ０−６０°（θ０＋３００°）からθ０（θ０＋３６０°）までの範囲と、θ０からθ０＋６０°までの範囲とを占める。この場合に、単一の全周フレームＩａ（ｉ−１）からこれら範囲の部分画像を切り出して連結すると、生成される再生画像Ｉｒ４３´において破綻が生じ得る。本シナリオでは、被写体が動いているために、再生画像Ｉｒ４３´内の部分画像の連結部分において、被写体が歪んでいる。これに対し、本実施例に係る再生制御部２８０は、図２４Ｄに示したように、全周フレームＩａ（ｉ−２）のうちθ０＋３００°からθ０＋３６０°までの範囲を占めるＭ番目の撮像視野に対応する第２部分画像と、全周フレームＩａ（ｉ−１）のうちθ０からθ０＋６０°までの範囲を占める１番目の撮像視野に対応する第１部分画像とを連結することにより、再生画像Ｉｒ４３を生成する。これら２つの部分画像は、単一の全周フレームの両端の撮像タイミング差よりも有意に短い撮像タイミング差で撮像されているため、２つの部分画像の連結部分において被写体は互いにフィットし、再生画像に大きな破綻は生じない。
【０１３８】
（５）表示部
表示部２９０は、典型的には、スクリーンとディスプレイドライバとを含み得る表示デバイスである。表示部２９０は、再生制御部２８０により生成される再生視野に対応する再生画像を、スクリーン上に表示させる。スクリーンは、例えば、図１９に示した眼鏡型のウェアラブル端末２５０ａにおいてはマイクロディスプレイ、モバイル端末２５０ｂにおいてはタッチパネルに相当し得る。但し、これらの例に限定されず、再生画像は、例えばＰＣ又はテレビジョン装置のような固定端末のモニタ上に表示されてもよい。また、再生画像は、プロジェクタによりスクリーン上へ投影されてもよい。再生制御部２８０により順次生成される再生画像を表示部２９０が表示する結果として、全周映像の３６０°の視野全体のうちの任意の部分的な再生視野の映像をユーザが視聴することが可能となる。
【０１３９】
［２−３−３．処理の流れの例］
本項では、第１の実施例において各装置により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１４０】
（１）撮像制御処理
図２５は、第１の実施例に係る撮像制御部２２０により実行され得る撮像制御処理の流れの一例を示すフローチャートである。
【０１４１】
図２５を参照すると、まず、撮像制御部２２０は、撮像開始のトリガを待ち受ける（ステップＳ２１０）。例えば、ユーザインタフェースを介して撮像開始を指示するユーザ入力が検出され、又は通信インタフェースを介して撮像開始を指示する制御コマンドが検出されると、撮像制御処理はステップＳ２１５へ進む。
【０１４２】
ステップＳ２１５において、撮像制御部２２０は、撮像装置２００の筐体の回転を開始させる。その後、撮像制御部２２０は、撮像タイミングが到来すると（ステップＳ２２０）、撮像部２１０へ撮像開始指示信号を供給することにより、撮像を指示する（ステップＳ２２５）。撮像制御部２２０は、筐体が１回転する間にＭ回の撮像指示を繰り返し、Ｍ個の撮像画像が蓄積されると（ステップＳ２３０）、全周フレーム生成部２３０にＭ個の撮像画像から全周フレームを生成させる（ステップＳ２３５）。
【０１４３】
撮像制御部２２０は、このようにして所定の全周フレームレートで全周フレーム生成部２３０に全周フレームを生成させる。その間、撮像装置２００の筐体は回転を続ける。撮像制御部２２０は、撮像終了を指示するユーザ入力又は制御コマンドが検出されると（ステップＳ２４０）、筐体の回転を停止させ（ステップＳ２４５）、撮像制御処理を終了する。
【０１４４】
（２）再生制御処理
図２６は、第１の実施例に係る表示端末２５０により実行され得る再生制御処理の流れの一例を示すフローチャートである。
【０１４５】
表示端末２５０の再生制御部２８０は、全周映像の再生が開始されると、ユーザからの指示又は端末の姿勢の測定結果に基づいて、視野判定部２７５に再生視野を判定させる（ステップＳ２６０）。その後の処理は、判定された再生視野が基準方向をまたぐか否かに応じて分岐する（ステップＳ２６５）。
【０１４６】
再生視野が基準方向をまたがない場合、再生制御部２８０は、バッファリングされている単一の全周フレームから、再生視野に対応する再生画像を生成する（ステップＳ２７０）。一方、再生視野が基準方向をまたぐ場合、再生制御部２８０は、ある全周フレームと、その直前に撮像された全周フレームからそれぞれ切り出される再生視野に対応する２つの部分画像を連結することにより、再生画像を生成する（ステップＳ２７２）。
【０１４７】
そして、再生制御部２８０は、生成した再生画像を表示部２９０に表示させる（ステップＳ２８０）。こうした再生画像の生成及び表示は、再生終了が指示されるまで繰り返される（ステップＳ２９０）。
【０１４８】
［２−４．第２の実施例］
以下に説明する第２の実施例において、カメラシステムは、図１９を用いて説明したカメラシステム５と同様に構成されてよい。本実施例に係るカメラシステムは、少なくとも図２７に例示する撮像装置３００と、図２９に例示する表示端末３５０とを含む。カメラシステムは、さらに、全周映像の撮像又は再生を支援するサーバを含んでもよい。
【０１４９】
［２−４−１．撮像装置］
図２７は、第２の実施形態の第２の実施例に係る撮像装置３００の構成の一例を示している。図２７を参照すると、撮像装置３００は、撮像部３１０、方向検出部３１５、撮像制御部３２０、情報多重化部３３０及びフレームメモリ３３５を備える。
【０１５０】
（１）撮像部
撮像部３１０は、後述する撮像制御部３２０による制御の下で、その時点で光軸が向いている撮像視野を撮像することにより、撮像画像を生成する。より具体的には、撮像制御部３２０が撮像部３１０の撮像方向を回転軸周りに１回転させる（撮像視野を１周分周回させる）間、撮像部３１０は、互いに部分的に重複する少なくともＭ個（Ｍ＞１）の撮像視野を順次撮像することにより、Ｍ個の撮像画像を生成する。１番目からＭ番目までのＭ個の撮像視野により、全周フレームの３６０°の視野全体が統合的にカバーされる。撮像部３１０は、これら撮像画像を表す画像信号を、情報多重化部３３０へ順次出力する。
【０１５１】
（２）方向検出部
方向検出部３１５は、撮像部３１０の光軸が向いている方向（撮像方向）を検出する。方向検出部３１５は、例えば、回転角センサ、加速度センサ、ジャイロセンサ又は地磁気センサなどのセンサデバイスを用いて、撮像方向を検出してもよい。方向検出部３１５は、検出した撮像方向を示すセンサデータを撮像制御部３２０へ出力する。
【０１５２】
（３）撮像制御部
撮像制御部３２０は、撮像装置３００の筐体の回転と撮像部３１０における撮像動作とを制御する。撮像制御部３２０は、撮像開始の指示に応じて、撮像装置３００の筐体の回転軸周りの回転を開始させる。そして、撮像制御部３２０は、筐体が回転している期間中に、基準方向を起点とする１番目の視野からＭ番目の視野までのＭ個（又はより多く）の撮像視野を撮像部３１０が向くそれぞれのタイミングで、撮像部３１０に撮像を行わせる。撮像制御部３２０は、撮像終了の指示に応じて、撮像部３１０による周期的な撮像を終了させ、及び撮像装置３００の筐体の回転を停止させる。
【０１５３】
さらに、本実施例において、撮像制御部３２０は、撮像制御情報を情報多重化部３３０へ出力する。例えば、撮像制御情報は、各撮像画像の撮像方向を特定する撮像方向情報を含む。撮像方向情報は、例えば次のパラメータのうちの１つ以上を含んでよい：
・各撮像画像に関連付けられる絶対角度（基準方向からの角度差）
・各撮像画像に関連付けられる相対角度（直前の撮像方向からの角度差）
・一連の撮像画像に共通する、隣り合う２つの撮像方向間の一定の角度差
・１回転周期当たりの撮像回数（３６０°をこの値で除算することで一定の角度差が導かれる）
撮像制御情報は、さらに、個々の撮像視野の視野角を特定する視野角情報、並びに全周フレームレート及び個別フレームレートの一方又は双方を特定するフレームレート情報などを含み得る。
【０１５４】
（３）情報多重化部
情報多重化部３３０は、撮像部３１０による撮像が継続されている間、一連の撮像画像をフレームメモリ３３５に記憶させ、又はサーバ若しくは表示端末へ撮像画像を伝送する。情報多重化部３３０は、一連の撮像画像に、上述した撮像制御情報を多重化する。情報多重化部３３０は、例えば、一連の撮像画像により構成される映像情報のヘッダ領域に、撮像制御情報を挿入してもよい。また、情報多重化部３３０は、一連の撮像画像が伝送される伝送路上のブランキング期間において、撮像制御情報を伝送してもよい。
【０１５５】
情報多重化部３３０は、一連の撮像画像を記憶させ又は伝送する前に任意の映像圧縮方式で圧縮符号化を実行する符号化部３３２、を含んでもよい。符号化部３３２は、一連の撮像画像からなる全周映像をフレーム間予測を用いて圧縮符号化する際に、符号化対象フレーム（撮像画像）を基準としてＭ個おきの参照フレームを用いて、符号化対象フレームを符号化する。
【０１５６】
図２８は、第２の実施例におけるフレーム間予測のための参照フレームについて説明するための説明図である。図２８の例において、ｋ番目の撮像画像Ｉｍ（ｋ）が符号化対象フレームである。時間軸上で撮像画像Ｉｍ（ｋ）の直前に位置する参照フレームは撮像画像Ｉｍ（ｋ−１）であり、時間軸上で撮像画像Ｉｍ（ｋ）の直後に位置する参照フレームは撮像画像Ｉｍ（ｋ＋１）である。しかしながら、撮像画像Ｉｍ（ｋ−１）及びＩｍ（ｋ＋１）は、符号化対象フレームとは異なる撮像視野を映した画像であり、フレーム間予測のための参照フレームとしてはほとんどの場合有効的でない。一方、１個別フレーム時間のＭ倍がカメラモジュールの回転周期に一致する場合、時間軸上で符号化対象フレームからＭ個別フレーム時間分離れている撮像画像Ｉｍ（ｋ−Ｍ）及び撮像画像Ｉｍ（ｋ＋Ｍ）は、符号化対象フレームと同じ回転位相を有し、即ち同じ撮像視野を映している。よって、符号化対象フレームを基準としてＭ個おきの参照フレームを用いてフレーム間予測を行うことで、実効的な予測符号化を可能とし、符号化効率を高めることができる。
【０１５７】
なお、情報多重化部３３０は、必ずしも符号化部３３２を含まなくてもよい。また、撮像装置２００の外部の装置（例えばサーバ２４０）が全周映像を符号化してもよい。
【０１５８】
［２−４−２．表示端末］
図２９は、第２の実施例に係る表示端末３５０の構成の一例を示している。図２９を参照すると、表示端末３５０は、画像取得部３６０、書き込み制御部３６５、フレームバッファ３７０、視野判定部２７５、再生制御部３８０及び表示部２９０を備える。
【０１５９】
（１）画像取得部
画像取得部３６０は、撮像装置３００により生成される、全周映像を構成するために使用される一連の撮像画像を、撮像装置３００又はサーバ２４０から取得する。画像取得部３６０は、撮像画像が圧縮符号化されている場合に符号化ストリームを復号して一連の撮像画像を復元する復号部３６２、を含んでもよい。その場合、復号部３６２は、フレーム間予測を用いて符号化されたＭ個の撮像画像の各々を、当該撮像画像を基準としてＭ個おきの参照フレームを用いて復号してもよい。画像取得部３６０は、必ずしも復号部３６２を含まなくてもよい。画像取得部３６０は、取得した撮像画像を書き込み制御部３６５へ順次出力する。
【０１６０】
また、画像取得部３６０は、一連の撮像画像に関連付けられている（例えば、多重化されている）撮像制御情報を、撮像装置３００又はサーバ２４０から取得する。撮像制御情報は、例えば、上述した撮像方向情報、視野角情報及びフレームレート情報を含み得る。そして、画像取得部３６０は、取得した撮像制御情報を再生制御部３８０へ出力する。
【０１６１】
（２）書き込み制御部／フレームバッファ
書き込み制御部３６５は、撮像画像のフレームバッファ３７０への書き込みを制御する。本実施例において、フレームバッファ３７０は、第１期間（１つの全周フレーム期間）内に撮像されるＭ個の撮像視野に対応するＭ個の撮像画像に加えて、第１期間に連続する第２期間内に撮像される少なくとも１つの撮像視野に対応する少なくとも１つの撮像画像を記憶する。書き込み制御部３６５は、典型的には、画像取得部３６０から入力される撮像画像の各々を、後続の（又は先行する）撮像画像との重複部分をトリミングした後に、個別フレームとしてフレームバッファ３７０へ書き込む。一例として、フレームバッファ３７０は、Ｍ個の撮像画像及び少なくとも１つの撮像画像（に対応する少なくともＭ＋１個の個別フレーム）を循環的に記憶するリングバッファであってよい。
【０１６２】
図３０は、図２９に示したフレームバッファ３７０の所要バッファサイズの一例について説明するための説明図である。図３０に示したように、再生画像の位相方向の解像度をＷｖ、位相方向に直交する方向の解像度をＨｖ、再生視野角をＲｖとすると、フレームバッファ３７０の所要バッファサイズＢＳは、次式により表現される。
【０１６３】
【数３】
2017150394.tif 000005
【０１６４】
ここで、ＲＴＯＴＡＬは、フレームバッファ３７０が保持すべき位相方向の合計角度幅を表す。図３０から理解されるように、ＲＴＯＴＡＬは、３６０°分の総視野角３７１、再生視野角３７２、移動余裕分３７３及び書き込みフレーム分３７４の和に相当する。まず、再生方向（再生視野の起点）が総視野角３７１（図中で斜線で網掛けされている）の末端（図中の右端）に位置する場合、再生視野は、バッファ内位相の先頭Θｉｎｉｔ＋３６０°からΘｉｎｉｔ＋３６０°＋Ｒｖまでを占める。よって、再生視野の移動を考慮しない場合にも、少なくとも総視野角３７１及び再生視野角３７２の和に相当するバッファサイズが必要とされる。
【０１６５】
さらに、次のフレームが復号され又は取得されるまでにユーザが再生視野を動かしても再生画像を適切に生成できるようにするために、上述した角度幅に加えて、移動余裕分３７３の画像データを保持しておく必要がある。これが、合計角度幅ＲＴＯＴＡＬに移動余裕分３７３が取り入れられる理由である。ここで、カメラモジュールの回転速度よりも早くユーザは再生視野を動かすことができないと仮定すると、移動余裕分３７３の角度幅Ｒｍを次式のように想定することができる：
【０１６６】
【数４】
2017150394.tif 000006
【０１６７】
ここで、Ｒｃは、撮像視野角から、両端の重複部分のうちの一方を除いた角度幅を表し、典型的には３６０°／Ｍに等しい。以下の説明において、Ｒｃを個別フレーム角という。なお、再生視野の移動に関する条件又は制約に依存して、移動余裕分３７３は、式（４）とは異なる定義を有していてもよい。
【０１６８】
さらに、書き込み制御部３６５が新たなフレームをフレームバッファ３７０へ書き込むための容量として、書き込みフレーム分３７４が取り入れられる。書き込みフレーム分３７４の角度幅は、個別フレーム角Ｒｃに等しい。よって、フレームバッファ３７０が保持すべき位相方向の合計角度幅ＲＴＯＴＡＬは、次式により与えられ得る。
【０１６９】
【数５】
2017150394.tif 000007
【０１７０】
関数Ｉｎｔ（）は、引き数よりも小さい最大の整数を返す関数である。３６０°＋Ｒｍは必ずしも個別フレーム角Ｒｃの倍数ではないが、バッファへの書き込みは個別フレーム角Ｒｃを１単位として行われるため、こうした整数化演算が適用されることが望ましい。
【０１７１】
書き込み制御部３６５は、次の式（６）により決定される書き込み位置Θｗｒｉｔｅ，ｔから、ｔ番目の個別フレームの画像データをフレームバッファ３７０へ書き込む。
【０１７２】
【数６】
2017150394.tif 000008
【０１７３】
なお、大文字のシータ（Θ）は、ゼロ以上ＲＴＯＴＡＬ未満までのレンジを有するバッファ内位相をその変数が示すことを意味する。Θｉｎｉｔは、最初の個別フレームの書き込み位置を表す。ｍｏｄは、剰余演算を表す。式（６）は、合計角度幅ＲＴＯＴＡＬを法として個別フレームの書き込み位置が循環的に決定されることを表現している。
【０１７４】
（３）再生制御部
再生制御部３８０は、互いに部分的に重複して周回する複数の視野で順次撮像されたＭ個の撮像画像に基づく全周映像の再生を制御する。上述したように、全周映像の再生は、３６０°の視野全体のうちの一部である再生視野に対応する再生画像を再生することにより行われる。全周映像の３６０°の視野全体は、基準方向を起点として、１番目からＭ番目までのＭ個の撮像視野によりカバーされる。
【０１７５】
再生制御部３８０は、全周映像の再生が要求されると、画像取得部３６０に一連の撮像画像の取得を開始させる。取得される各撮像画像は、例えば重複部分をトリミングされた後に、個別フレームとしてフレームバッファ３７０によりバッファリングされる。そして、再生制御部３８０は、視野判定部２７５により判定される再生視野に対応する再生画像を生成する。本実施例において、再生視野に対応する再生画像は、フレームバッファ３７０から適切なバッファ領域の画像データを読み出すことにより生成され得る。
【０１７６】
一例として、再生制御部３８０は、基準方向Ｄ０をまたぐ再生視野での再生が要求される場合には、基準方向Ｄ０に対応するバッファ内位相をまたぐ範囲の画像データを読み出すことで、その再生視野に対応する再生画像を生成する。基準方向Ｄ０に対応するバッファ内位相を境界として、より位相の小さい側にはＭ番目の撮像視野に対応する個別フレームが記憶されており、より位相の大きい側には１番目の撮像視野に対応する個別フレームが記憶されている。これら２つの個別フレームは、連続して（又は単一の全周フレームの両端の撮像タイミング差よりも有意に短い撮像タイミング差で）撮像された画像であるため、このように生成される再生画像に大きな破綻は生じない。
【０１７７】
再生制御部２８０は、再生開始が指示された後、次に説明する１つ以上の再生開始条件が充足されるまで待機し、それら再生開始条件が充足されて初めて再生画像の表示を開始してもよい。初期の（再生開始時の）再生方向（再生視野の起点）をθｖ、バッファリング済みの最新の個別フレームの撮像方向（撮像視野の起点）をθｃとすると、第１の再生開始条件は、例えば次式により表される。なお、小文字のシータ（θ）は、ゼロ以上３６０°未満のレンジを有する方向をその変数が示すことを意味する。
【０１７８】
【数７】
2017150394.tif 000009
【０１７９】
上の式から理解されるように、第１の再生開始条件が充足される場合、初期の再生視野の末端（θｖ＋Ｒｖ）よりも１個別フレーム分（Ｒｃ）の余裕をもって、バッファリング済みの個別フレームの撮像視野の末端（θｃ＋Ｒｃ）が先行している。再生制御部２８０は、画像取得部３６０から入力される撮像制御情報から、各個別フレームの撮像方向θｃ及び個別フレーム角Ｒｃを導出することができる。再生方向θｖ及び再生視野角Ｒｖは、視野判定部２７５により判定される。
【０１８０】
第２の再生開始条件は、例えば次式により表される。
【０１８１】
【数８】
2017150394.tif 000010
【０１８２】
ここで、θｉｎｉｔは、最初にバッファリングされた個別フレームの撮像視野の起点を表す。θｃ´は、バッファリング済みの最新の個別フレームの撮像方向を表すが、θｃとは異なり、３６０°を超えてもゼロに戻ることなく増加するものとする。式（８）の左辺は、初期の再生視野の起点（θｖ）から逆方向へ向けて画像データの無い位相の境界（θｉｎｉｔ）に達するまでの位相差に相当する。右辺の１番目の括弧内は、画像データの無い位相の境界から３６０°先を起点とする再生視野の末端（θｉｎｉｔ＋３６０°＋Ｒｖ）に１個別フレーム分（Ｒｃ）の余裕を加えたものである。右辺の２番目の括弧内は、バッファリング済みの個別フレームの撮像視野の末端（θｃ´＋Ｒｃ）を表す。即ち、第２の再生開始条件は、初期の再生視野から逆方向へユーザが再生視野を直ちに移動させたとしても、その移動後の再生視野の１全周フレーム後の個別フレームの準備が間に合うか、を意味する。第２の再生開始条件が満たされる場合、再生開始後に直ちに再生視野が移動されたとしても、移動後の再生視野に対応する再生画像がフレームバッファ３７０に格納済みであるために、再生画像が適切に生成され得る。なお、ユーザが急速に再生視野を移動させないことが想定される場合には、第２の再生開始条件は省略されてもよい。
【０１８３】
所望の再生方向θｖ、バッファリング済みの最新の個別フレームの撮像方向θｃ、書き込み中の個別フレームの書き込み位置Θｗｒｉｔｅ，ｔが与えられた場合、再生画像をフレームバッファ３７０から読み出す際の読み出し位置Θｒｅａｄ（θｖ，θｃ，Θｗｒｉｔｅ，ｔ）は、次式のように導かれ得る。
【０１８４】
【数９】
2017150394.tif 000011
【０１８５】
即ち、読み出し位置Θｒｅａｄは、書き込み中の個別フレームの撮像視野が再生方向に重なる場合（（θｃ＋２・Ｒｃ）ｍｏｄ３６０°≦θｖ）には、その再生方向よりも３６０°早い位相を有するバッファ位置として計算され、そうでない場合には３６０°の位相の減算は不要である。図３１は、書き込み中の個別フレームの撮像視野が再生視野と重なるために、３６０°早い位相を有するバッファ位置（Θｗｒｉｔｅ，ｔ−（θｃ＋Ｒｃ）−３６０°＋θｖ）が再生画像の読み出し位置Θｒｅａｄとして計算される様子が示されている。
【０１８６】
再生制御部２８０は、このように計算される読み出し位置に従って、フレームバッファ３７０から１つの撮像視野又は連続して撮像された２つ以上の撮像視野に対応する個別フレームの画像データを読み出し、読み出した画像データに基づいて再生画像を生成する。そして、再生制御部２８０は、生成した再生画像を表示部２９０のスクリーン上に表示させる。
【０１８７】
［２−４−３．処理の流れの例］
本項では、第２の実施例において各装置により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１８８】
（１）撮像制御処理
図３２は、第２の実施例に係る撮像制御部３２０により実行され得る撮像制御処理の流れの一例を示すフローチャートである。
【０１８９】
図３２を参照すると、まず、撮像制御部３２０は、撮像開始のトリガを待ち受ける（ステップＳ３１０）。例えば、ユーザインタフェースを介して撮像開始を指示するユーザ入力が検出され、又は通信インタフェースを介して撮像開始を指示する制御コマンドが検出されると、撮像制御処理はステップＳ３１５へ進む。
【０１９０】
ステップＳ３１５において、撮像制御部３２０は、撮像装置３００の筐体の回転を開始させる。その後、撮像制御部３２０は、撮像タイミングが到来すると（ステップＳ３２０）、撮像部３１０へ撮像開始指示信号を供給することにより、撮像を指示する（ステップＳ３２５）。
【０１９１】
撮像制御部３２０は、例えば筐体が１回転する間にＭ回の撮像指示を繰り返す。撮像制御部３２０は、撮像部３１０により撮像画像が生成される都度、情報多重化部３３０に撮像画像をフレームメモリ３３５に記憶させ、又はサーバ若しくは表示端末へ撮像画像を伝送させる（ステップＳ３３５）。記憶され又は伝送される一連の撮像画像には、撮像制御情報が多重化される。
【０１９２】
撮像制御部３２０は、撮像終了を指示するユーザ入力又は制御コマンドが検出されると（ステップＳ３４０）、筐体の回転を停止させ（ステップＳ３４５）、撮像制御処理を終了する。
【０１９３】
（２）再生制御処理
図３３は、第２の実施例に係る表示端末３５０により実行され得る再生制御処理の流れの一例を示すフローチャートである。
【０１９４】
全周映像の再生が要求されると、表示端末３５０の書き込み制御部３６５は、画像取得部３６０により取得され（必要に応じて復号される）撮像画像のフレームバッファ３７０への書き込みを開始する（ステップＳ３５０）。再生制御部３８０は、ユーザからの指示又は端末の姿勢の測定結果に基づいて、視野判定部２７５に初期の再生視野を判定させる（ステップＳ３５２）。その後、再生制御部３８０は、１つ以上の再生開始条件が充足されるまで待機する（ステップＳ３５４）。
【０１９５】
再生開始条件が充足されると、再生制御部３８０は、式（９）に従って、所望の再生視野に対応するフレームバッファ３７０内の読み出し位置を計算する（ステップＳ３６５）。次いで、再生制御部３８０は、フレームバッファ３７０から、計算した読み出し位置を起点として１つの再生視野角分の画像データを読み出すことにより、再生画像を生成する（ステップＳ３７０）。
【０１９６】
そして、再生制御部３８０は、生成した再生画像を表示部２９０に表示させる（ステップＳ３８０）。こうした再生画像の生成及び表示は、再生終了が指示されるまで繰り返される（ステップＳ３９０）。各繰り返しにおいて、再生視野の判定も再度実行され、再生視野はユーザの要求に応じて移動する（ステップＳ３６０）。
【０１９７】
［２−４−４．バッファ状態の遷移例］
本項では、循環的に利用されるフレームバッファ３７０のバッファ状態の遷移のいくつかの例について説明する。図３４〜図３６には、３つのシナリオにおけるフレームバッファのバッファ状態の遷移の例がそれぞれ示されている。
【０１９８】
（１）第１のシナリオ
図３４に示した第１のシナリオにおいて、個別フレーム角Ｒｃは６０°であり、再生視野角Ｒｖは１２０°である。再生方向θｖはθ０＋６０°で移動しないものとする。フレームバッファ３７０の合計角度幅ＲＴＯＴＡＬは、式（４）及び式（５）に従い６００°であり、これは個別フレーム１０個分に相当する。ゼロ番目の個別フレームの書き込み位置Θｉｎｉｔは、０°に等しいものとする。
【０１９９】
各図において、データ書き込み中の領域はドットで網掛けされている。データの無い領域には×印が示されている。読み出し可能なデータが存在する領域は白色である。再生視野に対応する読み出し領域は太線枠で示されている。バッファ内の領域を表すブロックの下に付される黒いバーは、アクセス可能な再生方向の範囲を表す。
【０２００】
図３４を参照すると、まず、撮像画像の取得が開始される時刻ｔ＝０において、１番目の個別フレームのバッファ領域［０°，６０°］への書き込みが開始される。この時点で、再生視野に対応する再生画像は未だフレームバッファ３７０に書き込まれていない。１個別フレーム時間が経過し、時刻ｔ＝１になると、２番目の個別フレームのバッファ領域［６０°，１２０°］への書き込みが開始される。この時点でも、再生開始条件は充足されず、全周映像の再生は開始されない。時刻ｔ＝８になると、９番目の個別フレームのバッファ領域［４８０°，５４０°］への書き込みが開始される。この時点で、２つの再生開始条件が充足され、全周映像の再生が開始される。バッファ領域［０°，３６０°］が再生方向としてアクセス可能である。時刻ｔ＝１０になると、フレームバッファ３７０への書き込みが循環して、個別フレームのバッファ領域［０°，６０°］への書き込みが再び開始される。再生画像の読み出し領域は、それまでのバッファ領域［６０°，１２０°］から３６０°進んで、バッファ領域［４２０°，５４０°］になる。さらに時間が経過し、時刻ｔ＝１６になると、再生画像の読み出し領域は、それまでのバッファ領域［４２０°，５４０°］から３６０°進み及び循環して、バッファ領域［１８０°，３００°］になる。
【０２０１】
（２）第２のシナリオ
図３５に示した第２のシナリオにおいても、個別フレーム角Ｒｃは６０°であり、再生視野角Ｒｖは１２０°である。再生方向θｖは、当初はθ０＋２４０°であり、再生が開始された後に順方向へ１個別フレーム時間当たり６０°移動する。
【０２０２】
図３５を参照すると、まず、撮像画像の取得が開始される時刻ｔ＝０において、１番目の個別フレームのバッファ領域［０°，６０°］への書き込みが開始される。この時点で、再生視野に対応する再生画像は未だフレームバッファ３７０に書き込まれていない。時刻ｔ＝７になると、８番目の個別フレームのバッファ領域［４２０°，４８０°］への書き込みが開始される。この時点で、２つの再生開始条件が充足され、全周映像の再生が開始される。バッファ領域［０°，３６０°］が再生方向としてアクセス可能であり、バッファ領域［２４０°，３６０°］から再生画像が読み出される。時刻ｔ＝８になると、再生視野の移動に従って読み出し位置は順方向へ６０°移動し、バッファ領域［３００°，４２０°］から再生画像が読み出される。時刻ｔ＝９になると、再生視野の移動に従って読み出し位置は順方向へ６０°移動し、バッファ領域［３６０°，４８０°］から再生画像が読み出される。その後、時刻ｔ＝１２になり、再生画像の読み出し領域がフレームバッファ３７０の末端に達すると、読み出し領域もフレームバッファ３７０の先頭へ循環する。
【０２０３】
（３）第３のシナリオ
図３６に示した第３のシナリオにおいても、個別フレーム角Ｒｃは６０°であり、再生視野角Ｒｖは１２０°である。再生方向θｖは、当初はθ０＋６０°であり、再生が開始された後に逆方向へ１個別フレーム時間当たり６０°移動する。
【０２０４】
図３６を参照すると、まず、撮像画像の取得が開始される時刻ｔ＝０において、１番目の個別フレームのバッファ領域［０°，６０°］への書き込みが開始される。この時点で、再生視野に対応する再生画像は未だフレームバッファ３７０に書き込まれていない。時刻ｔ＝８になると、９番目の個別フレームのバッファ領域［４８０°，５４０°］への書き込みが開始される。この時点で、２つの再生開始条件が充足され、全周映像の再生が開始される。バッファ領域［０°，３６０°］が再生方向としてアクセス可能であり、バッファ領域［６０°，１８０°］から再生画像が読み出される。時刻ｔ＝９になると、再生視野の移動に従って読み出し位置は逆方向へ６０°移動するが、読み出し位置はアクセス可能なバッファ領域から外れるために３６０°変位し、バッファ領域［３６０°，４８０°］から再生画像が読み出される。時刻ｔ＝１０になると、再生視野の移動に従って読み出し位置は逆方向へ６０°移動し、バッファ領域［３００°，４２０°］から再生画像が読み出される。
【０２０５】
［２−５．第２の実施形態のまとめ］
ここまで、図１７〜図３６を用いて、本開示に係る技術の第２の実施形態について詳細に説明した。第２の実施形態によれば、互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する際に、基準方向をまたぐ再生視野での再生が要求される場合には、１番目の視野に対応する第１撮像画像と、第１撮像画像よりも早く撮像されたＭ番目の視野に対応する第２撮像画像とに基づく再生画像が表示される。従って、再生画像を構成する部分画像の間の撮像タイミング差が、単一の全周フレームの両端の撮像タイミング差よりも有意に小さくなるため、統合的に生成される再生画像に大きな破綻が生じることを防止することができる。
【０２０６】
また、上述した第２の実施形態によれば、全周映像の再生は、３６０°の視野全体のうちの一部である再生視野に対応する再生画像を再生することにより行われる。この場合、ユーザが全周フレームの起点に相当する基準方向をまたいで再生視野を移動させる可能性があるが、そうした場合にも再生画像の破綻が防止されるため、全周映像へのユーザの没入体験が損なわれることがない。
【０２０７】
また、ある実施例によれば、ある全周フレーム期間内に撮像されるＭ個の撮像視野に対応するＭ個の撮像画像に加えて、その全周フレーム期間に連続する別の全周フレーム期間内に撮像される少なくとも１つの撮像視野に対応する少なくとも１つの撮像画像が全周映像の再生のためにバッファリングされる。従って、ユーザが３６０°のうちのどの方向に再生視野を向けたとしても、自然な再生画像を生成して表示することができる。そのバッファリングのためにリングバッファが活用される場合には、リングバッファへのフレームの循環的な書き込みと、再生方向に対応する適切な読み出し領域からの再生画像の読み出しという簡易な仕組みで、破綻の無い再生画像を迅速に生成することができる。例えば、全周映像をリアルタイムで再生する用途においても、少ない遅延で再生される映像をユーザに提供することができる。
【０２０８】
また、ある実施例によれば、再生開始後に直ちに再生視野が移動された場合に移動後の再生視野に対応する再生画像を生成できることを条件として、再生画像の表示が開始される。従って、一度再生が開始された後にユーザが再生視野を移動させた結果として必要な画像データが存在しないために再生が中断してしまうことを回避することができる。
【０２０９】
また、ある実施例によれば、Ｍ個の撮像視野に対応するＭ個の撮像画像をスティッチングすることにより予め全周フレームが生成され、全周映像の再生の際に基準方向をまたぐ再生視野での再生が要求される場合には、第１の全周フレーム内の１番目の撮像視野に対応する第１部分画像と、より早く撮像された第２の全周フレーム内のＭ番目の撮像視野に対応する第２部分画像とに基づいて、再生画像が統合的に生成される。この場合にも、再生画像の破綻を防止し、全周映像へのユーザの没入体験が損なわれることを回避することができる。
【０２１０】
また、上述した第２の実施形態によれば、全周映像の再生には、撮像方向を回転軸周りに回転させながら複数の撮像視野を順次撮像することにより生成された撮像画像が使用される。従って、複数のカメラモジュールを備える全周カメラを利用する必要性が無く、全周映像を提供するカメラシステムをより低いコストで構築することができる。カメラシステムの撮像側の構成としては、一般的なデジタルビデオカメラに回転機構を付加するだけでもよい。
【０２１１】
＜３．むすび＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１２】
なお、本明細書において説明した各装置による制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【０２１３】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０２１４】
なお、１つの観点において、以下のような構成も本開示の技術的範囲に属する。
（１）
互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御部、を備え、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、
画像処理装置。
（２）
前記再生制御部は、３６０°の視野全体のうちの一部である前記再生視野に対応する前記再生画像を再生することにより、前記全周映像を再生させる、前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、第１期間内に撮像される前記Ｍ個の視野に対応するＭ個の撮像画像と、前記第１期間に連続する第２期間内に撮像される少なくとも１つの視野に対応する少なくとも１つの撮像画像とを記憶するバッファ、をさらに備える、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記バッファは、前記Ｍ個の撮像画像と前記少なくとも１つの撮像画像とを循環的に記憶するリングバッファである、前記（３）に記載の画像処理装置。
（５）
前記再生制御部は、前記バッファから読み出される、１つの視野又は連続して撮像された２つ以上の視野に対応する画像に基づく前記再生画像を前記表示部に表示させる、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記再生制御部は、再生開始後に直ちに再生視野が移動された場合に移動後の再生視野に対応する再生画像を生成できることを条件として、前記再生画像の表示を開始する、前記（３）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記画像処理装置は、フレーム間予測を用いて符号化された一連の撮像画像の各々を、当該撮像画像を基準としてＭ個おきの参照フレームを用いて復号する復号部、をさらに備える、前記（３）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、
前記Ｍ個の視野に対応するＭ個の撮像画像をスティッチングすることにより生成される全周画像を取得する画像取得部、
をさらに備え、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、第１の全周画像内の前記１番目の視野に対応する第１部分画像と、前記第１の全周画像よりも早く撮像された第２の全周画像内の前記Ｍ番目の視野に対応する第２部分画像とに基づいて、前記再生画像を前記表示部に表示させる、
前記（１）に記載の画像処理装置。
（９）
前記画像処理装置は、要求される前記再生視野を判定する判定部、をさらに備え、
前記再生制御部は、前記判定部により判定される前記再生視野に対応する前記再生画像を前記表示部に表示させる、
前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記複数の撮像画像は、撮像装置によって、撮像方向を回転軸周りに回転させながら前記Ｍ個の視野を順次撮像することにより生成された画像である、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記（１）〜（１０）のいずれか１項に記載の画像処理装置と、
前記表示部と、
を備える表示装置。
（１２）
互いに部分的に重複して周回する複数の視野で順次撮像された複数の撮像画像に基づく全周映像の再生を制御する再生制御方法であって、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
画像処理装置において、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を生成することと、
生成した前記再生画像を表示部に表示させることと、
を含む再生制御方法。
（１３）
互いに部分的に重複して周回する複数の視野で順次撮像を行うことにより、複数の撮像画像を生成する撮像装置と、
前記複数の撮像画像に基づく全周映像の再生を制御する再生制御部を備える画像処理装置と、
を含み、
前記全周映像は、基準方向を起点とする１番目の視野からＭ番目（Ｍ＞１）の視野までのＭ個の視野によりカバーされ、
前記再生制御部は、前記基準方向をまたぐ再生視野での再生が要求される場合に、前記１番目の視野に対応する第１撮像画像と、前記第１撮像画像よりも早く撮像された前記Ｍ番目の視野に対応する第２撮像画像とに基づく再生画像を表示部に表示させる、
画像処理システム。
【０２１５】
別の観点において、以下のような構成も本開示の技術的範囲に属する。
（１）
第１撮像部において第１の視野を撮像することにより生成される第１の画像信号及び第２撮像部において前記第１の視野に部分的に重複する第２の視野を撮像することにより生成される第２の画像信号のうちの少なくとも一方の撮像タイミングを、前記第１の視野及び前記第２の視野の重複部分に対応する、前記第１の画像信号の位相及び前記第２の画像信号の位相が一致するように制御する制御部、
を備える撮像制御装置。
（２）
前記第１の画像信号は、前記第１撮像部のイメージセンサから順次読み出し方式で読み出される画素値を示し、
前記第２の画像信号は、前記第２撮像部のイメージセンサから順次読み出し方式で読み出される画素値を示す、
前記（１）に記載の撮像制御装置。
（３）
前記第１の視野は、画素読み出し方向において前記第２の視野よりも先行し、
前記制御部は、前記第１撮像部における読み出し画素位置が先頭の画素から前記重複部分に達するまでの時間だけ、前記第２撮像部における先頭の画素の画素値の読み出しを遅延させる、
前記（２）に記載の撮像制御装置。
（４）
３６０°の視野全体が、前記第１撮像部及び前記第２撮像部を含む複数の撮像部の視野によりカバーされ、
前記第１撮像部に対する、前記第２撮像部における画素値の読み出しの遅延時間は、所要のフレーム時間を前記複数の撮像部の数で除算した商に等しい、
前記（３）に記載の撮像制御装置。
（５）
前記制御部は、フレームの前記先頭から前記重複部分に達するまでの範囲内の画素値が前記第１撮像部に対する前記第２撮像部における画素値の読み出しの遅延時間内に読み出されるように、前記第１撮像部における画素読み出し速度を制御する、前記（３）又は前記（４）に記載の撮像制御装置。
（６）
前記第１撮像部の撮像タイミングは、前記複数の撮像部のうちで最も早く、
前記複数の撮像部のうちの第３撮像部の撮像タイミングは、前記複数の撮像部のうちで最も遅く、
前記第１撮像部により撮像される前記第１の視野のｉ番目（ｉは整数）のフレームの画像は、前記第３撮像部により撮像される第３の視野のｉ−１番目のフレームの画像と統合的に処理される、
前記（４）に記載の撮像制御装置。
（７）
前記第１の視野及び前記第２の視野は、方位角方向に隣接し、
前記第１撮像部及び前記第２撮像部は、縦ラインごとに画素値を読み出す、
前記（１）〜（６）のいずれか１項に記載の撮像制御装置。
（８）
前記第１の視野及び前記第２の視野は、方位角方向に隣接し、
前記第１撮像部及び前記第２撮像部は、横ラインごとに画素値を読み出す、
前記（１）〜（６）のいずれか１項に記載の撮像制御装置。
（９）
前記第１の視野及び前記第２の視野は、仰俯角方向に隣接し、
前記第１撮像部及び前記第２撮像部は、縦ラインごとに画素値を読み出す、
前記（１）〜（３）のいずれか１項に記載の撮像制御装置。
（１０）
前記第１の視野及び前記第２の視野は、仰俯角方向に隣接し、
前記第１撮像部及び前記第２撮像部は、横ラインごとに画素値を読み出す、
前記（１）〜（３）のいずれか１項に記載の撮像制御装置。
（１１）
前記第１の画像信号により表される画像及び前記第２の画像信号により表される画像をスティッチングする画像処理部、をさらに備える、前記（１）〜（１０）のいずれか１項に記載の撮像制御装置。
（１２）
前記第１の画像信号により表される画像及び前記第２の画像信号により表される画像を用いてステレオマッチングを実行する画像処理部、をさらに備える、前記（１）〜（１１）のいずれか１項に記載の撮像制御装置。
（１３）
前記撮像制御装置は、前記第１の画像信号に対する前記第２の画像信号の撮像タイミングの遅延時間を予め定義する制御情報を記憶するメモリ、をさらに備え、
前記制御部は、前記第２撮像部における前記先頭の画素の画素値の読み出しを、前記制御情報により定義される前記遅延時間だけ遅延させる、前記（３）〜（６）のいずれか１項に記載の撮像制御装置。
（１４）
前記制御部は、フレーム時間又はフレームレートの設定に依存して前記第１の画像信号に対する前記第２の画像信号の撮像タイミングの遅延時間を動的に決定し、前記第２撮像部における前記先頭の画素の画素値の読み出しを、動的に決定した前記遅延時間だけ遅延させる、前記（３）〜（６）のいずれか１項に記載の撮像制御装置。
（１５）
前記第１撮像部と、
前記第２撮像部と、
前記（１）〜（１４）のいずれか１項に記載の前記撮像制御装置と、
を備える撮像装置。
（１６）
第１の視野を撮像することにより第１の画像信号を生成する第１撮像部及び前記第１の視野に部分的に重複する第２の視野を撮像することにより第２の画像信号を生成する第２撮像部、を備える撮像装置を制御する撮像制御方法であって、
前記第１の画像信号及び前記第２の画像信号のうちの少なくとも一方の撮像タイミングを、前記第１の視野及び前記第２の視野の重複部分に対応する、前記第１の画像信号の位相及び前記第２の画像信号の位相が一致するように制御すること、
を含む撮像制御方法。
【符号の説明】
【０２１６】
１                      カメラシステム
１０ａ，１０ｂ          全周カメラ
１００                  撮像装置
１１２ａ〜１１２ｎ      撮像部（カメラモジュール）
１２０                  撮像制御部（撮像制御装置）
１３０                  画像処理部
１７０                  表示端末
１８０                  再生制御部
１９０                  表示部
τ１，τ２，τ３，τ４  遅延時間
５                      カメラシステム
５０                    回転カメラ
２００，３００          撮像装置
２１０，３１０          撮像部
２２０，３２０          撮像制御部
２３０                  全周フレーム生成部
３３０                  情報多重化部
２５０，３５０          表示端末
２６０，３６０          画像取得部
３６５                  書き込み制御部
２６５，３７０          フレームバッファ
２７５                  視野判定部
２８０，３８０          再生制御部
２９０                  表示部
【図１Ａ】
2017150394.tif 000012
【図１Ｂ】
2017150394.tif 000013
【図２Ａ】
2017150394.tif 000014
【図２Ｂ】
2017150394.tif 000015
【図３Ａ】
2017150394.tif 000016
【図３Ｂ】
2017150394.tif 000017
【図４Ａ】
2017150394.tif 000018
【図４Ｂ】
2017150394.tif 000019
【図５Ａ】
2017150394.tif 000020
【図５Ｂ】
2017150394.tif 000021
【図６】
2017150394.tif 000022
【図７】
2017150394.tif 000023
【図８】
2017150394.tif 000024
【図９】
2017150394.tif 000025
【図１０】
2017150394.tif 000026
【図１１】
2017150394.tif 000027
【図１２】
2017150394.tif 000028
【図１３】
2017150394.tif 000029
【図１４】
2017150394.tif 000030
【図１５Ａ】
2017150394.tif 000031
【図１５Ｂ】
2017150394.tif 000032
【図１６】
2017150394.tif 000033
【図１７】
2017150394.tif 000034
【図１８】
2017150394.tif 000035
【図１９】
2017150394.tif 000036
【図２０】
2017150394.tif 000037
【図２１】
2017150394.tif 000038
【図２２】
2017150394.tif 000039
【図２３Ａ】
2017150394.tif 000040
【図２３Ｂ】
2017150394.tif 000041
【図２３Ｃ】
2017150394.tif 000042
【図２４Ａ】
2017150394.tif 000043
【図２４Ｂ】
2017150394.tif 000044
【図２４Ｃ】
2017150394.tif 000045
【図２４Ｄ】
2017150394.tif 000046
【図２５】
2017150394.tif 000047
【図２６】
2017150394.tif 000048
【図２７】
2017150394.tif 000049
【図２８】
2017150394.tif 000050
【図２９】
2017150394.tif 000051
【図３０】
2017150394.tif 000052
【図３１】
2017150394.tif 000053
【図３２】
2017150394.tif 000054
【図３３】
2017150394.tif 000055
【図３４】
2017150394.tif 000056
【図３５】
2017150394.tif 000057
【図３６】
2017150394.tif 000058
【国際調査報告】
2017150394.tif 000059
2017150394.tif 000060