(57)【要約】【課題】複数の撮像素子を備えて広範囲の撮像を行う撮像装置において高品質の画像を撮像することが可能な撮像装置を提供する。【解決手段】それぞれ撮像方向が異なる２以上の撮像素子と、各前記撮像素子が形成される基板と、を備え、前記基板は、前記撮像素子間に形成される連結部を有する、撮像装置が提供される。係る撮像装置は、複数の撮像素子を備えて広範囲の撮像を行う際に高品質の画像を撮像することが可能となる。【選択図】図４
2019008202.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ撮像方向が異なる２以上の撮像素子と、
各前記撮像素子が形成される基板と、
を備え、
前記基板は、前記撮像素子間に形成される連結部を有する、撮像装置。
【請求項２】
前記連結部は非直線状態である、請求項１に記載の撮像装置。
【請求項３】
前記連結部は湾曲している状態である、請求項２に記載の撮像装置。
【請求項４】
複数の前記撮像素子からの出力を束ねて出力する出力部を備える、請求項１に記載の撮像装置。
【請求項５】
複数の前記撮像素子からの出力を、位置を合わせて繋ぎ合わせる画像合成部を備える、請求項１に記載の撮像装置。
【請求項６】
各前記撮像素子の移動方向を認識するセンサを備える、請求項１に記載の撮像装置。
【請求項７】
複数の前記撮像素子からの出力を、位置合わせして繋ぎ合わせる画像合成部を備え、
前記画像合成部は、前記センサの出力を用いて繋ぎ合わせる、請求項６に記載の撮像装置。
【請求項８】
前記連結部は、凹み加工が施されている、請求項１に記載の撮像装置。
【請求項９】
前記基板に前記撮像素子が積層された構造を有する、請求項１に記載の撮像装置。
【請求項１０】
前記撮像素子は、画素が矩形状に配置されている、請求項１に記載の撮像装置。
【請求項１１】
前記撮像素子は、画素が円状に配置されている、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置に関する。
【背景技術】
【０００２】
一方向ではなく、複数の撮像素子を用いて、１８０度〜３６０度といった広い範囲を撮像することが可能な撮像装置（以下の説明では、そのような撮像装置を「全方位カメラ」とも称することにする）の技術が開示されている（例えば特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１６／００８６３７９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、全方位カメラは複数の撮像素子を用いることで、撮像素子間の特性のばらつきに起因する画質の差異、撮像素子の配置時の製造ばらつきに起因する合成時の位置ずれ、撮像素子間の同期制御等を解決する必要がある。
【０００５】
そこで、本開示では、複数の撮像素子を備えて広範囲の撮像を行う撮像装置において高品質の画像を撮像することが可能な、新規かつ改良された撮像装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、それぞれ撮像方向が異なる２以上の撮像素子と、各前記撮像素子が形成される基板と、を備え、前記基板は、前記撮像素子間に形成される連結部を有する、撮像装置が提供される。
【発明の効果】
【０００７】
以上説明したように本開示によれば、複数の撮像素子を備えて広範囲の撮像を行う撮像装置において高品質の画像を撮像することが可能な、新規かつ改良された撮像装置を提供することが出来る。
【０００８】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】全方位カメラで撮像しようとする被写体の一例である。
【図２】全方位カメラによる、図１に示した被写体の撮像結果の例を示す説明図である。
【図３】全方位カメラによる、図１に示した被写体の撮像結果の例を示す説明図である。
【図４】本開示の実施の形態に係る撮像装置の外観例を示す説明図である。
【図５】同実施の形態に係る撮像装置の外観例を示す説明図である。
【図６】シリコン基板を支持体に巻き付けた際の撮像装置の様子を部分的に拡大して示した説明図である。
【図７】撮像素子に凹み加工が施された撮像装置の例を示す説明図である。
【図８】撮像素子の基本的な概略構成について説明する説明図である。
【図９Ａ】同実施の形態に係る撮像装置の製造工程を示す説明図である。
【図９Ｂ】同実施の形態に係る撮像装置の製造工程を示す説明図である。
【図９Ｃ】同実施の形態に係る撮像装置の製造工程を示す説明図である。
【図９Ｄ】同実施の形態に係る撮像装置の製造工程を示す説明図である。
【図１０】同実施の形態に係る撮像装置の例を示す説明図である。
【図１１】同実施の形態に係る撮像装置の例を示す説明図である。
【図１２Ａ】比較例を説明するための撮像装置の機能構成例を示す説明図である。
【図１２Ｂ】同実施の形態に係る撮像装置の機能構成例を示す説明図である。
【図１３】レンズにジャイロセンサが備えられた撮像素子の例である。
【図１４】正八面体を有する撮像装置の各面にジャイロセンサが設けられている状態を説明する説明図である。
【図１５】通常の撮像素子における撮像領域の例を示す説明図である。
【図１６】同実施形態に係る撮像装置の各撮像素子の撮像領域の例を示す説明図である。
【図１７】同実施形態に係る撮像装置の各撮像素子の撮像領域の例を示す説明図である。
【図１８】同実施形態に係る撮像装置の各撮像素子の撮像領域の例を示す説明図である。
【図１９】同実施形態に係るレンズモジュールの構造例を示す説明図である。
【図２０】同実施形態に係る撮像装置が搭載されうるスマートフォンを示す説明図である。
【図２１】本技術を適用したカプセル内視鏡の断面構成を示す図である。
【図２２】本開示の実施の形態に係る撮像装置１００が搭載されうるヘッドマウントディスプレイを示す説明図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
２．応用例
３．まとめ
【００１２】
＜１．第１の実施形態＞
［１．１．経緯］
本開示の実施の形態について詳細に説明する前に、本開示の実施の形態の経緯について説明する。
【００１３】
上述したように、一方向ではなく、複数の撮像素子を用いて、１８０度〜３６０度といった広い範囲を撮像することが可能な全方位カメラの技術が提案されている。全方位カメラは、複数の撮像素子により撮像された画像を合成することで、広範囲を撮像した画像を得ることができる。
【００１４】
その一方で、全方位カメラは、複数の撮像素子を備えるが故に、解決すべき点が多数存在する。まずは、撮像素子間の特性のばらつきに起因する画質の差異である。例えば、撮像素子が撮像した画像間で輝度の差異が出る場合が起こりうる。図１は、全方位カメラで撮像しようとする被写体の一例である。説明を単純にするために、図１に示した被写体を２つの撮像素子で撮像した場合を考える。図２は、全方位カメラによる、図１に示した被写体の撮像結果の例を示す説明図である。このように、撮像素子間の特性のばらつきに起因して、輝度の差異が起こりうる。撮像素子間の特性のばらつきに起因して、輝度の差異だけでなく、ＳＮ比の差異、色再現性の差異なども起こりうる。そのために、画像の合成時に、撮像素子間の特性のばらつきに起因する様々な差異を補正する処理が必要となり、画像の合成処理に時間を要し、また、補正しきれない場合には画質に悪影響を及ぼす。
【００１５】
全方位カメラは、撮像素子同士の信号を繋ぎ合わせて広範囲の画像を生成するが、撮像素子の配置時の製造バラツキに起因する位置ずれも起こりうる。図３は、全方位カメラによる、図２に示した被写体の撮像結果の例を示す説明図である。図３に示したように、撮像素子の配置時にずれが生じると、撮像素子同士の信号を繋ぎ合わせた際に位置ずれが起こりうる。位置ずれを解消するために位置合わせを行ってから繋ぎ合わせる必要があり、画像の合成処理に時間を要し、また、補正しきれない場合には画質に悪影響を及ぼす。
【００１６】
さらに、全方位カメラは、複数の撮像素子を備えることでインターフェースの点を解決する必要が生じうる。撮像素子同士はそれぞれ分離されているので、複数の撮像素子からの信号は、それぞれ独立してアプリケーションプロセッサに送られる。アプリケーションプロセッサは、複数の撮像素子から送られたデータを繋ぎ合わせる（スティッチング）処理等の画像処理を実行して、広範囲が撮像された画像を生成する。ここで、撮像素子の数が増えれば増えるほど、撮像素子からのデータを受信するための受け口（インターフェース）が必要になる。一般的に、アプリケーションプロセッサに設けられる受け口には仕様上の制約から数が限られる。また、アプリケーションプロセッサに受け口を増やすことはアプリケーションプロセッサの製造コストの上昇にも繋がる。
【００１７】
さらに、全方位カメラは、複数の撮像素子を備えることで、撮像するための指示を複数の撮像素子のそれぞれに対して送出する必要がある。撮像素子間で撮像動作の実行タイミングが同期していないと撮像タイミングのずれが生じてしまう。従って、撮像するための指示が各撮像素子に送出されてから、実際に撮像処理が実行されるまでに遅延が生じ、広範囲の撮像画像の生成に時間を要する。
【００１８】
そこで本件開示者は、上述した点に鑑み、広範囲を撮像可能な撮像装置において、上述した点を解決することが可能な技術について、鋭意検討を行った。その結果、本件開示者は、以下で説明するように、上述した点を解決して、広範囲を撮像可能な撮像装置において、高品質の画像を生成することが可能な技術を考案するに至った。
【００１９】
以上、本開示の実施の形態に至った経緯を説明した。
【００２０】
［１．２．構成例］
続いて、本開示の実施の形態に係る撮像装置の具体例を説明する。図４、図５は、本開示の実施の形態に係る撮像装置１００の外観例を示す説明図である。以下、図４、図５を用いて、本開示の実施の形態に係る撮像装置１００について説明する。
【００２１】
本開示の実施の形態に係る撮像装置１００は、広範囲、例えば全方位の画像を一度に撮像することが可能なように、複数のレンズ及び撮像素子を備える。本実施形態に係る撮像装置１００は、個別に製造された撮像素子を配置して作り上げるのではなく、１枚の基板（シリコン基板）上に撮像素子が形成され、さらに撮像素子上にレンズが形成された構成を有する。図４は、複数のレンズ１０１と、シリコン基板に形成された撮像素子１１０と、が示されている。シリコン基板は薄膜化が可能であり、例えば２００ｕｍ程度の厚みであれば折り曲げが可能である。シリコン基板は１００ｕｍ程度の厚みであることが望ましい。このように、１枚のシリコン基板上に撮像素子を形成することで、本開示の実施の形態に係る撮像装置１００は、上述したような撮像素子間のばらつきが極めて小さくなり、複数の撮像素子で撮像された画像の合成処理を簡便に行うことが出来る。
【００２２】
本開示の実施の形態に係る撮像装置１００は、撮像素子同士がシリコン基板内で電気的に接続されているため、ワイヤボンドを最少化することができる。従って本開示の実施の形態に係る撮像装置１００は、無駄な配線を減少させ、小型の全方位カメラを製造することが可能となる。さらに、本開示の実施の形態に係る撮像装置１００は、ロジック基板が共通化されることで、個々の撮像素子で余った回路面積を、双方で有効に活用することができる。
【００２３】
そして、本開示の実施の形態に係る撮像装置１００は、薄く形成されたシリコン基板上に撮像素子を形成するため、折り曲げが容易である。例えば、図５には正六角柱である支持体１２０に、撮像素子１１０が形成されたシリコン基板が巻き付けられた構造を有する撮像装置１００が示されている。図５に示した撮像装置１００は、正六角柱である支持体１２０の側面の各面にレンズ１０１が位置するように、シリコン基板が支持体１２０に巻き付けられている。このような構造を有することで、図５に示した撮像装置１００は、全方位の画像を撮像することが可能となる。また、図５に示した撮像装置１００は、個々の撮像素子が一体形成されるため、特性のばらつきの差が小さくなるだけでなく、連続形成されているために位置ズレも抑えられる。このため、図５に示した撮像装置１００は、高品質の全方位画像を撮像することができる。
【００２４】
図６は、図５のようにシリコン基板を支持体１２０に巻き付けた際の撮像装置１００の様子を部分的に拡大して示した説明図である。撮像素子１１０は、支持体１２０の側面の各面に撮像素子１１１ａ、１１１ｂが位置する。そして撮像素子１１１ａ、１１１ｂの間の連結部１１３ａは、非直線状態、例えば、図６に示したように湾曲した状態となる。連結部１１３ｂについても同様に、図６に示したように湾曲した状態となる。
【００２５】
連結部には、配線のみが配置されても良く、回路が形成されても良い。また撮像素子からのデータは有線によって出力されても良いが、無線によって出力されても良い。
【００２６】
撮像装置１００には、支持体１２０に巻き付ける際に巻き付けやすくなるよう、撮像素子１１０に凹み加工が施されていても良い。図７は、撮像素子１１０に凹み加工が施された撮像装置１００の例を示す説明図である。例えば、レンズ１０１が形成されている部分の撮像素子１１０は２００ｕｍ程度の厚みを有し、凹み加工部１１５が形成された部分の撮像素子１１０は１００ｕｍ程度の厚みを有していてもよい。
【００２７】
ここで、図８を参照して、本技術に用いられる撮像素子の基本的な概略構成について説明する。
【００２８】
本技術に用いられる撮像素子の第１の例として、図８上段に示される固体撮像装置３３０は、１つの半導体チップ３３１内に、画素領域３３２、制御回路３３３、ロジック回路３３４とを搭載して構成される。
【００２９】
本技術に用いられる撮像素子の第２の例として、図８中段に示される固体撮像装置３４０は、第１の半導体チップ部３４１と第２の半導体チップ部３４２とから構成される。第１の半導体チップ部３４１には、画素領域３４３と制御回路３４４が搭載され、第２の半導体チップ部３４２には、ロジック回路３４５が搭載される。そして、第１の半導体チップ部３４１と第２の半導体チップ部３４２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３４０が構成される。
【００３０】
本技術に用いられる撮像素子の第３の例として、図８下段に示される固体撮像装置３５０は、第１の半導体チップ部３５１と第２の半導体チップ部３５２とから構成される。第１の半導体チップ部３５１には、画素領域３５３が搭載され、第２の半導体チップ部３５２には、制御回路３５４と、ロジック回路３５５が搭載される。そして、第１の半導体チップ部３５１と第２の半導体チップ部３５２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３５０が構成される。
【００３１】
より詳細な撮像装置１００の製造工程を、図９Ａ〜図９Ｄを用いて説明する。図９Ａ〜図９Ｄは、本開示の実施の形態に係る撮像装置１００の製造工程を示す説明図である。まず、図９Ａに示したように、制御回路、ロジック回路、インターフェースなどを含むロジック回路基板１１１を製造する。次に、図９Ｂに示したように、ロジック回路基板１１１に撮像素子基板１１２を貼り合わせて、カラーフィルタやオンチップレンズなどの各画素への集光構造を形成する。集光構造は、撮像素子基板１１２内にあるものとして図示は省略している。その後、ロジック回路基板１１１の不要な厚みを、バックグラインドやＣＭＰ（ケミカルメカニカルポリッシュ）等で薄くした後に、図９Ｃに示したようにレンズ１０１を形成する。最後に、図９Ｄに示したように、凹み加工部１１５をエッチング、ダイジング、レーザなどで形成する。
【００３２】
このような製造工程により、本開示の実施の形態に係る撮像装置１００は、上述したような撮像素子間のばらつきが極めて小さくなり、複数の撮像素子で撮像された画像の合成処理を簡便に行うことが出来る。
【００３３】
図５には、支持体１２０に巻き付けられている構造を有する撮像装置１００の例を示したが、本開示は係る例に限定されるものではない。広い範囲を撮像するために、本開示の実施の形態に係る撮像装置１００は様々な形を取りうる。
【００３４】
例えば、組み立てたら正八面体となるようにロジック回路基板１１１や撮像素子基板１１２からなる撮像素子１１０と、レンズ１０１とを形成してもよい。図１０、図１１は、本開示の実施の形態に係る撮像装置１００の例を示す説明図である。図１０は、組み立てる前の平面の状態の撮像装置１００を示したものであり、図１１は、正八面体に組み立てた状態の撮像装置１００を示したものである。このように正八面体の各面にレンズ１０１を有する撮像装置１００は、全方位の画像を撮像出来る全方位カメラとして機能することが出来る。
【００３５】
続いて、撮像装置１００の機能構成例について説明するが、その前に比較例となる撮像装置の機能構成例について説明する。
【００３６】
図１２Ａは、比較例となる撮像装置５０の機能構成例を示す説明図である。図１２Ａに示した撮像装置５０は、それぞれ独立して生成された撮像素子を用いて広範囲が撮像された画像を生成する装置である。以下、図１２Ａを用いて比較例となる撮像装置５０の機能構成例について説明する。
【００３７】
図１２Ａに示した撮像装置５０は、説明を簡素化するためにレンズ及び撮像素子からなる光学系を２つだけ図示している。図１２Ａに示したように、撮像装置５０は、レンズ５１ａ、５１ｂと、ＩＲカットフィルタ５２ａ、５２ｂと、撮像素子６１ａ、６１ｂと、Ａ／Ｄ変換部６２ａ、６２ｂと、クランプ部６３ａ、６３ｂと、出力ＩＦ６４ａ、６４ｂと、アプリケーションプロセッサ７０と、スティッチング部７２と、リニアマトリックス部７３と、ガンマ補正部７４と、輝度クロマ信号生成部７５と、を含んで構成される。
【００３８】
撮像素子６１ａには、レンズ５１ａ及び赤外領域をカットするＩＲカットフィルタ５２ａを通過した光が照射される。同様に、撮像素子６１ｂには、レンズ５１ｂ及び赤外領域をカットするＩＲカットフィルタ５２ｂを通過した光が照射される。撮像素子６１ａ、６１ｂは、例えば、ＣＭＯＳイメージセンサであり、複数の単位画素（以下、単に「画素」と呼ぶ場合もある）が行列状に２次元配置されている。撮像素子６１ａ、６１ｂは、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤ配列にてカラーフィルタが設けられている。
【００３９】
撮像素子６１ａから出力される画素の信号は、Ａ／Ｄ変換部６２ａでアナログ信号からデジタル信号に変換される。同様に、撮像素子６１ｂから出力される画素の信号は、Ａ／Ｄ変換部６２ｂでアナログ信号からデジタル信号に変換される。これらのデータは、クランプ部６３ａ、６３ｂで黒レベルの補正処理が行われた後に、それぞれ、出力ＩＦ６４ａ、６４ｂからアプリケーションプロセッサ７０に送られる。なお、撮像素子６１ａ、６１ｂが、Ａ／Ｄ変換部を内蔵する構成のものであってもよい。
【００４０】
アプリケーションプロセッサ７０は、撮像装置５０での撮像処理に関する様々な制御を行う。例えば、アプリケーションプロセッサ７０は、撮像素子６１ａ、６１ｂに対して、撮像素子６１ａ、６１ｂによる撮像処理の制御を行うための撮像素子制御信号を送出する。
【００４１】
アプリケーションプロセッサ７０は、２つの受信ＩＦ７１ａ、７１ｂを備える。受信ＩＦ７１ａは、出力ＩＦ６４ａから送られたデータを受信する。受信ＩＦ７１ｂは、出力ＩＦ６４ｂから送られたデータを受信する。アプリケーションプロセッサ７０は、２つの受信ＩＦ７１ａ、７１ｂで受信したデータを、後段のスティッチング部７２に出力する。
【００４２】
スティッチング部７２は、アプリケーションプロセッサ７０から送られたデータ、すなわち、クランプ部６３ａ、６３ｂから出力されたデータを繋ぎ合わせる処理を行う。スティッチング部７２でデータの繋ぎ合わせが行われると、繋ぎ合わされたデータはリニアマトリックス部７３に出力される。
【００４３】
リニアマトリックス部７３は、スティッチング部７２からの出力データに対して色再現処理を施す。ガンマ補正部７４は、リニアマトリックス部７３からの出力データに対してガンマ補正処理を施す。輝度クロマ信号生成部７５は、ガンマ補正部７４からの出力データに対して輝度信号及びクロマ信号を生成する。輝度クロマ信号生成部７５からの出力データは、外部（例えばディスプレイなど）に出力される。
【００４４】
図１２Ａに示した撮像装置５０は、それぞれ独立して生成された撮像素子６１ａ、６１ｂで生成されたデータを用いた合成処理を行って、広範囲の撮像画像を生成している。しかし、図１２Ａに示した撮像装置５０は、２つの撮像素子がそれぞれ独立して生成されていることで、上述したような製造バラツキや位置ずれの問題が生じる。また、アプリケーションプロセッサ７０は、それぞれの撮像素子からの出力を受ける受信ＩＦを撮像素子の数だけ設ける必要がある。上述したように、アプリケーションプロセッサに受け口を増やすことはアプリケーションプロセッサの製造コストの上昇にも繋がる。
【００４５】
続いて、本開示の実施の形態に係る撮像装置１００の機能構成例を説明する。図１２Ｂは、本開示の実施の形態に係る撮像装置１００の機能構成例を示す説明図である。以下、図１２Ｂを用いて本開示の実施の形態に係る撮像装置１００の機能構成例について説明する。
【００４６】
図１２Ｂに示した撮像装置１００は、説明を簡素化するためにレンズ及び撮像素子からなる光学系を２つだけ図示している。図１２Ｂに示したように、本開示の実施の形態に係る撮像装置１００は、レンズ１０１ａ、１０１ｂと、ＩＲカットフィルタ１０２ａ、１０２ｂと、撮像素子１１１ａ、１１１ｂと、Ａ／Ｄ変換部１３１ａ、１３１ｂと、クランプ部１３２ａ、１３２ｂと、スティッチング部１４１と、出力ＩＦ１４２と、制御部１４３と、アプリケーションプロセッサ１５０と、リニアマトリックス部１６１と、ガンマ補正部１６２と、輝度クロマ信号生成部１６３と、を含んで構成される。
【００４７】
撮像素子１１１ａには、レンズ１０１ａ及び赤外領域をカットするＩＲカットフィルタ１０２ａを通過した光が照射される。同様に、撮像素子１１１ｂには、レンズ１０１ｂ及び赤外領域をカットするＩＲカットフィルタ１０２ｂを通過した光が照射される。撮像素子１１１ａ、１１１ｂは、例えば、ＣＭＯＳイメージセンサであり、複数の単位画素が行列状に２次元配置されている。撮像素子１１１ａ、１１１ｂは、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤ配列にてカラーフィルタが設けられている。
【００４８】
撮像素子１１１ａから出力される画素の信号は、Ａ／Ｄ変換部１３１ａでアナログ信号からデジタル信号に変換される。同様に、撮像素子１１１ｂから出力される画素の信号は、Ａ／Ｄ変換部１３１ｂでアナログ信号からデジタル信号に変換される。これらのデータは、クランプ部１３２ａ、１３２ｂで黒レベルの補正処理が行われた後に、スティッチング部１４１に送られる。なお、撮像素子１１１ａ、１１１ｂが、Ａ／Ｄ変換部を内蔵する構成のものであってもよい。
【００４９】
撮像素子１１１ａからクランプ部１３２ａまでが、個別の光学系において処理されるブロックであり、例えば図９Ａ〜９Ｄを用いて説明した製造工程における撮像素子基板１１２の中に設けられる。図１２Ｂでは「個別回路ブロック」として示されている。
【００５０】
スティッチング部１４１は、クランプ部１３２ａ、１３２ｂから送られたデータを繋ぎ合わせる処理を行う。本実施形態に係る撮像装置１００は、上述したように１枚のシリコン基板上に撮像素子を形成しているので、撮像素子間での特性のばらつきや、位置ずれを大きく低減させることが出来る。従って、本実施形態に係る撮像装置１００は、スティッチング部１４１における繋ぎ合わせ処理の時間を短縮させることが可能になる。スティッチング部１４１でデータの繋ぎ合わせが行われると、繋ぎ合わされたデータは出力ＩＦ１４２からアプリケーションプロセッサ１５０へ出力される。出力ＩＦ１４２は、例えばＭＩＰＩ（Mobile  Industry  Processor  Interface）規格に対応したものであっても良い。
【００５１】
制御部１４３は、撮像素子１１１ａ、１１１ｂに対して撮像処理の制御を行う。具体的には、制御部１４３は、撮像素子１１１ａ、１１１ｂに対して撮像タイミングや露光時間の設定等の撮像素子の制御全般を行う。
【００５２】
スティッチング部１４１、出力ＩＦ１４２、制御部１４３は、全ての光学系に対して共通に設けられるものであり、例えば図９Ａ〜９Ｄを用いて説明した製造工程におけるロジック回路基板１１１の中に設けられる。図１２Ｂでは「共通回路ブロック」として示されている。
【００５３】
アプリケーションプロセッサ１５０は、撮像装置１００での撮像処理に関する様々な制御を行う。例えば、アプリケーションプロセッサ１５０は、制御部１４３に対して撮像素子１１１ａ、１１１ｂによる撮像処理の制御を行うための撮像素子制御信号を送出する。つまり、共通回路ブロックに制御部１４３が設けられていることで、制御部１４３は一括してそれぞれの撮像素子１１１ａ、１１１ｂに指示を送出することが可能となる。
【００５４】
つまり、本実施形態に係る撮像装置１００は、アプリケーションプロセッサ１５０からそれぞれの撮像素子に対して指示を送出する通信系を束ねることができる。なお、ここでいう通信系とは、Ｉ２Ｃ（Inter  Integrated  Circuits）、Ｉ３Ｃ等のインターフェースを指す。アプリケーションプロセッサ１５０からそれぞれの撮像素子に対して指示を送出する通信系を束ねることで、本実施形態に係る撮像装置１００は、撮像素子間での撮像のタイミングのずれを抑えることができ、各撮像素子で同期が取れた画像を得ることが出来る。また各撮像素子で同期が取れた画像を得ることが出来ることで、本実施形態に係る撮像装置１００は、高品質な広範囲の撮像画像を生成することが可能となる。
【００５５】
また本実施形態では、アプリケーションプロセッサ１５０は１つの受信ＩＦ１５１を備える。受信ＩＦ１５１は、出力ＩＦ１４２から送られたデータを受信する。本実施形態では、アプリケーションプロセッサ１５０での、複数の光学系で撮像されたデータの受け口が１つだけで済むので、アプリケーションプロセッサ１５０のコストを省略することが可能になる。
【００５６】
リニアマトリックス部１６１は、アプリケーションプロセッサ１５０からの出力データに対して色再現処理を施す。ガンマ補正部１６２は、リニアマトリックス部１６１からの出力データに対してガンマ補正処理を施す。輝度クロマ信号生成部１６３は、ガンマ補正部１６２からの出力データに対して輝度信号及びクロマ信号を生成する。輝度クロマ信号生成部１３８からの出力データは、外部（例えばディスプレイなど）に出力される。
【００５７】
アプリケーションプロセッサ１５０、リニアマトリックス部１６１、ガンマ補正部１６２、輝度クロマ信号生成部１６３は、図１２Ｂでは「後段ブロック」として示されている。
【００５８】
なお、図１２Ｂに示した撮像装置１００では、スティッチング部１４１が「共通回路ブロック」の中に含まれているが、本開示は係る例に限定されるものではない。出力ＩＦ１４２からは、繋ぎ合わせる前のそれぞれの撮像素子から出力されるデータを出力してもよい。そして、１つの画像に繋ぎ合わせて広範囲の撮像画像を生成する処理をアプリケーションプロセッサ１５０の内部で実行しても良い。
【００５９】
本実施形態に係る撮像装置１００は、それぞれの撮像素子の内部、または、撮像素子の近傍に、それぞれジャイロセンサを設けても良い。図１３は、レンズ１０１にジャイロセンサが備えられた撮像装置１００の例である。このようにそれぞれのレンズ１０１にジャイロセンサ１７１を設けておき、それぞれのジャイロセンサ１７１の出力を参照することで、撮像装置１００は個々の撮像素子の位置関係を把握することが出来る。
【００６０】
図１４は、正八面体を有する撮像装置１００の各面にジャイロセンサが設けられている状態を説明する説明図である。図１４に示した撮像装置１００は、説明の簡素化のためにレンズ１０１は省略して示している。また図１４には、ジャイロセンサ１７１ａ、１７１ｂのみが示されているが、ジャイロセンサは正八面体の各面に設けられても良い。また、ジャイロセンサは説明の便宜上大きく図示しているが、ジャイロセンサの大きさは図１４に示したものに限られない。
【００６１】
ジャイロセンサが正八面体の各面に設けられていることで、撮像装置１００が移動した場合に、それぞれのジャイロセンサは異なる角度を検出する。例えば、図１４に示したように右方向に撮像装置１００が移動した場合、ジャイロセンサ１７１ａが「ａ」象限の移動量を検出するのに対し、ジャイロセンサ１７１ｂは「ｂ」象限の移動量を検出する。撮像装置１００は、それぞれのジャイロセンサの移動量を知ることで、それぞれの撮像素子がどのような位置関係で形成されているのかを判別できる。
【００６２】
ジャイロセンサの移動量の情報は、図１２Ｂに示した撮像装置１００における「共通回路ブロック」で相互に認識される。そして本実施形態に係る撮像装置１００は、ジャイロセンサの移動量の情報をスティッチング部１４１での処理に適用することで、より誤差の少ない繋ぎ合わせを可能とする。
【００６３】
通常、撮像素子には、長方形や正方形などの矩形の撮像領域が設けられている。この撮像領域には、上述したように画素がマトリクス状に配置されている。図１５は、通常の撮像素子における撮像領域の例を示す説明図であり、撮像装置には画素が矩形状（マトリクス状）に配置されている撮像領域２１を有する。これは、撮像した画像を表示する表示デバイスが、テレビやスマートフォンのように長方形であるためである。しかし、撮像領域が矩形であるがために、撮像素子には、レンズの集光形状２２に対し、撮像に用いられない領域が多くなってしまう。
【００６４】
一方で、全方位カメラのように広範囲が撮像された画像は、空間の情報をより多く取り入れることが重要視される。従って、全方位であるが故に形状の概念にとらわれる必要がない。例えば、撮像領域は円状や、楕円状に近付けたものであってもよい。
【００６５】
図１６は、本実施形態に係る撮像装置１００の各撮像素子の撮像領域の例を示す説明図である。撮像装置１００に備えられるそれぞれの撮像素子は、図１６に示したように、レンズの集光形状に合わせて、撮像領域２０１の形状を円状に近づけた形状としてもよい。なお、画素は通常正方形もしくは長方形で製造されるため、撮像領域２０１は完全な円になることは無く、四角形の組み合わせで円状に近づけることを指す。これにより、レンズの集光形状に対して撮像に用いられない領域を減らし、空間情報をより多く取り入れることができる。例えば複数の撮像素子からの信号を繋ぎ合わせる処理であるスティッチングにおいては、撮像素子間の位置ズレの補正の際に撮像素子間で重複する領域を必要とするが、撮像に用いられる領域が増えることで、位置ズレの補正の際にこの増えた領域の情報を用いることも可能となる。
【００６６】
図１７は、本実施形態に係る撮像装置１００の各撮像素子の撮像領域の例を示す説明図である。図１７に示したのは、集光形状２３が楕円状であり、撮像領域２０２もこの楕円状の集光形状２３に合わせて設定した場合の例である。
【００６７】
一方で画素信号の読み出しの煩雑さを避けるために、画素配列自体は正方形、もしくは長方形の撮像領域とし、後段の信号処理（例えばスティッチング）でレンズの光が入射している有効な領域のみを用いても良い。図１８は、本実施形態に係る撮像装置１００の各撮像素子の撮像領域の例を示す説明図である。図１８に示したように、集光形状２２より広い範囲で撮像領域２０３を設け、後段のスティッチング部１４１での処理の際に、集光形状の内側で一番広い範囲の領域、すなわちレンズの光が入射している有効な領域２０４のみを用いるようにしても良い。
【００６８】
図１９は、本実施形態に係るレンズモジュールの構造例を示す説明図である。本実施形態では、撮像素子上にレンズが積層されて形成された構成を有してもよい。図１９には、１つの光学ユニット５１３が示されている。符号５１２は受光素子であり、複数のレンズが積層されたレンズ５２１により光が受光素子５１２に到達する。符号５５１は絞り板であり、符号５５２は絞り板５５１の開口部である。もちろん、本開示ではレンズモジュールの構造は係る例に限定されるものではない。
【００６９】
＜２．応用例＞
本開示の実施の形態に係る撮像装置１００は、様々な装置へ搭載することが可能である。図２０は、本開示の実施の形態に係る撮像装置１００が搭載されうるスマートフォン９００を示す説明図である。図２０に示したスマートフォン９００は、ディスプレイ９１１と、撮像装置９１２と、を備える。この撮像装置９１２に、上述した複数の撮像素子を備える撮像装置を適用することで、スマートフォン９００は、広範囲の撮像画像を高品質に得ることが可能となる。
【００７０】
図２１は、本技術を適用したカプセル内視鏡の断面構成を示す図である。
【００７１】
カプセル内視鏡６００は、例えば両端面が半球状で中央部が円筒状の筐体６１０内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）６１１、カメラ６１１により撮影された画像データを記録するためのメモリ６１２、および、カプセル内視鏡６００が被験者の体外に排出された後に、記録された画像データをアンテナ６１４を介して外部へ送信するための無線送信機６１３を備えている。
【００７２】
さらに、筐体６１０内には、CPU（Central  Processing  Unit）６１５およびコイル（磁力・電流変換コイル）６１６が設けられている。
【００７３】
CPU６１５は、カメラ６１１による撮影、およびメモリ６１２へのデータ蓄積動作を制御するとともに、メモリ６１２から無線送信機６１３による筐体６１０外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル６１６は、カメラ６１１、メモリ６１２、無線送信機６１３、アンテナ６１４および後述する光源６１１ｂへの電力供給を行う。
【００７４】
さらに、筐体６１０には、カプセル内視鏡６００をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ６１７が設けられている。CPU６１５は、このリードスイッチ６１７がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル６１６からの無線送信機６１３への電力供給を行う。
【００７５】
カメラ６１１は、例えば体腔内の画像を撮影するための対物光学系を含む撮像素子６１１ａ、体腔内を照明する複数（ここでは２個）の光源６１１ｂを有している。具体的には、カメラ６１１は、光源６１１ｂとして、例えばLED（Light  Emitting  Diode）を備えたCMOS（Complementary  Metal  Oxide  Semiconductor）センサやCCD（Charge  Coupled  Device）等によって構成される。
【００７６】
このカメラ６１１に、上述した複数の撮像素子を備える撮像装置を適用することで、カプセル内視鏡６００は、広範囲の撮像画像を高品質に得ることが可能となる。
【００７７】
また、図２２は、本開示の実施の形態に係る撮像装置１００が搭載されうるヘッドマウントディスプレイを示す説明図である。
【００７８】
フレーム１０１０は、観察者１０４０の正面に配置されるフロント部１０１０Ｂと、フロント部１０１０Ｂの両端に蝶番１０１１を介して回動自在に取り付けられた２つのテンプル部１０１２と、各テンプル部１０１２の先端部に取り付けられたモダン部（先セル、耳あて、イヤーパッドとも呼ばれる）１３から成り、結合部材１０２０は、観察者１０４０の２つの瞳１０４１の間に位置するフロント部１０１０Ｂの中央部分１０１０Ｃ（通常の眼鏡におけるブリッジの部分に相当する）に取り付けられている。そして、結合部材１０２０の観察者１０４０に面する側にノーズパッド１０１４が取り付けられている。フレーム１０１０及び結合部材１０２０は金属又はプラスチックから作製されており、結合部材１０２０の形状は湾曲した棒状である。
【００７９】
更には、一方の画像生成装置１１１０Ａから延びる配線（信号線や電源線等）１０１５が、テンプル部１０１２、及び、モダン部１０１３の内部を介して、モダン部１０１３の先端部から外部に延びている。更には、各画像生成装置１１１０Ａ，１１１０Ｂはヘッドホン部１０１６を備えており、各画像生成装置１１１０Ａ，１１１０Ｂから延びるヘッドホン部用配線１０１７が、テンプル部１０１２、及び、モダン部１０１３の内部を介して、モダン部１０１３の先端部からヘッドホン部１０１６へと延びている。ヘッドホン部用配線１０１７は、より具体的には、モダン部１０１３の先端部から、耳介（耳殻）の後ろ側を回り込むようにしてヘッドホン部１０１６へと延びている。このような構成にすることで、ヘッドホン部１０１６やヘッドホン部用配線１０１７が乱雑に配置されているといった印象を与えることがなく、すっきりとした頭部装着型ディスプレイとすることができる。尚、参照番号１０１２ａはテンプル部のカバー部材であり、参照番号１０１３ａ，１０１３ｂはモダン部構成部品であり、ビス１０１３ｃによってモダン部構成部品１０１３ａ，１０１３ｂを組み立てる。
【００８０】
また、フロント部１０１０Ｂの中央部分１０１０Ｃには、ＣＣＤあるいはＣＭＯＳセンサから成る固体撮像素子とレンズ（これらは図示せず）とから構成された撮像装置１０１８が取り付けられている。具体的には、中央部分１０１０Ｃには貫通孔が設けられており、中央部分１０１０Ｃに設けられた貫通孔と対向する結合部材１０２０の部分には凹部が設けられており、この凹部内に撮像装置１８が配置されている。中央部分１０１０Ｃに設けられた貫通孔から入射した光が、レンズによって固体撮像素子に集光される。固体撮像素子からの信号は、撮像装置１０１８から延びる配線１０１８ａを介して、画像生成装置１１１０Ａに送出される。尚、配線１０１８ａは、結合部材１０２０とフロント部１０１０Ｂとの間を通り、一方の画像生成装置１１１０Ａに接続されている。このような構成にすることで、撮像装置が頭部装着型ディスプレイに組み込まれていることを、視認させ難くすることができる。
【００８１】
この撮像装置１０１８に、本開示の実施の形態に係る撮像装置１００を適用することで、図２２に示したヘッドマウントディスプレイは、広範囲が撮像された画像を高品質に生成することが可能となる。
【００８２】
ここでは応用例として３つの装置を示したが、本開示の実施の形態に係る撮像装置１００が適用される装置は係る例に限定されるものでは無い。例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）をユーザに体験させるためのヘッドマウントディスプレイ機器、一眼レフカメラ、テレビジョンカメラ等にも本開示の実施の形態に係る撮像装置１００が適用されうる。
【００８３】
＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、広範囲を撮像可能であって、高品質の画像を生成することが可能な撮像装置１００を提供することが出来る。本開示の実施の形態に係る撮像装置１００は、撮像素子を一体形成しているため、特性のばらつきを大きく低減させることが出来る。従って、本開示の実施の形態に係る撮像装置１００は、複数の撮像画像を繋ぎ合わせて広範囲が撮像された画像を生成する際に、画像処理を行わずに済む、または画像処理の時間を大きく低減させることが出来る。
【００８４】
また本開示の実施の形態に係る撮像装置１００は、撮像素子を一体形成しているため、撮像素子の配置時の製造バラツキに起因する位置ずれを低減させることができる。製造バラツキに起因する位置ずれを低減させることが出来るので、本開示の実施の形態に係る撮像装置１００は、位置ズレを補正するためのキャリブレーションや、繋ぎ合わせ処理がより簡便に、かつ精確に実行できる。
【００８５】
また本開示の実施の形態に係る撮像装置１００は、複数の撮像素子からの出力を１つに繋ぎ合わせてからアプリケーションプロセッサに出力することが出来る。よって本開示の実施の形態に係る撮像装置１００は、アプリケーションプロセッサのインターフェースの数を増やさずに広範囲が撮像された画像をアプリケーションプロセッサに提供することが出来る。
【００８６】
また本開示の実施の形態に係る撮像装置１００は、複数の撮像素子に対する撮像指示を一括して送出することが出来る。複数の撮像素子に対する撮像指示を一括して送出することで、
【００８７】
各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
それぞれ撮像方向が異なる２以上の撮像素子と、
各前記撮像素子が形成される基板と、
を備え、
前記基板は、前記撮像素子間に形成される連結部を有する、撮像装置。
（２）
前記連結部は非直線状態である、前記（１）に記載の撮像装置。
（３）
前記連結部は湾曲している状態である、前記（２）に記載の撮像装置。
（４）
複数の前記撮像素子からの出力を束ねて出力する出力部を備える、前記（１）〜（３）のいずれかに記載の撮像装置。
（５）
複数の前記撮像素子からの出力を、位置を合わせて繋ぎ合わせる画像合成部を備える、前記（１）〜（４）のいずれかに記載の撮像装置。
（６）
各前記撮像素子の移動方向を認識するセンサを備える、前記（１）に記載の撮像装置。
（７）
複数の前記撮像素子からの出力を、位置合わせして繋ぎ合わせる画像合成部を備え、
前記画像合成部は、前記センサの出力を用いて繋ぎ合わせる、前記（６）に記載の撮像装置。
（８）
前記連結部は、凹み加工が施されている、前記（１）〜（７）のいずれかに記載の撮像装置。
（９）
前記基板に前記撮像素子が積層された構造を有する、前記（１）〜（８）のいずれかに記載の撮像装置。
（１０）
前記撮像素子は、画素が矩形状に配置されている、前記（１）〜（９）のいずれかに記載の撮像装置。
（１１）
前記撮像素子は、画素が円状に配置されている、前記（１）〜（９）のいずれかに記載の撮像装置。
【符号の説明】
【００９１】
１００      ：撮像装置
１０１      ：レンズ
１０１ａ    ：レンズ
１０１ｂ    ：レンズ
１１０      ：撮像素子
１１１      ：ロジック回路基板
１１１ａ    ：撮像素子
１１１ｂ    ：撮像素子
１１２      ：撮像素子基板
１１３ａ    ：連結部
１１３ｂ    ：連結部
１１５      ：凹み加工部
１２０      ：支持体
１７１      ：ジャイロセンサ
【図１】
2019008202.tif 000003
【図２】
2019008202.tif 000004
【図３】
2019008202.tif 000005
【図４】
2019008202.tif 000006
【図５】
2019008202.tif 000007
【図６】
2019008202.tif 000008
【図７】
2019008202.tif 000009
【図８】
2019008202.tif 000010
【図９Ａ】
2019008202.tif 000011
【図９Ｂ】
2019008202.tif 000012
【図９Ｃ】
2019008202.tif 000013
【図９Ｄ】
2019008202.tif 000014
【図１０】
2019008202.tif 000015
【図１１】
2019008202.tif 000016
【図１２Ａ】
2019008202.tif 000017
【図１２Ｂ】
2019008202.tif 000018
【図１３】
2019008202.tif 000019
【図１４】
2019008202.tif 000020
【図１５】
2019008202.tif 000021
【図１６】
2019008202.tif 000022
【図１７】
2019008202.tif 000023
【図１８】
2019008202.tif 000024
【図１９】
2019008202.tif 000025
【図２０】
2019008202.tif 000026
【図２１】
2019008202.tif 000027
【図２２】
2019008202.tif 000028