(57)【要約】【課題】焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な画像処理装置を提供する。【解決手段】第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。【選択図】図１
2017097529.tif 000002
【特許請求の範囲】
【請求項１】
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
【請求項２】
前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、請求項１に記載の画像処理装置。
【請求項３】
前記第１倍率と前記第２倍率は同じ倍率である、請求項１に記載の画像処理装置。
【請求項４】
前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、請求項１に記載の画像処理装置。
【請求項５】
前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、請求項４に記載の画像処理装置。
【請求項６】
前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、請求項１に記載の画像処理装置。
【請求項７】
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を含む、画像処理方法。
【請求項８】
コンピュータに、
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
【０００３】
しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている（例えば特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１５３０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、信号処理による画像の拡大処理によるズーミングのみでは画質の劣化は避けられない。また、かかる携帯端末の中には、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもあるが、焦点距離が異なる複数のカメラを搭載してズーム倍率を上げようとする場合でも、画質を落とさずに高倍率のズームを実現するためにはカメラの数を増やす必要があり、小型化にならない。
【０００６】
そこで本開示では、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。
【０００８】
また本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を含む、画像処理方法が提供される。
【０００９】
また本開示によれば、コンピュータに、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することが出来る。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】信号処理による画像の拡大処理を説明する説明図である。
【図２】信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。
【図３】歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。
【図４】本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。
【図５】歪補正処理の例を示す説明図である。
【図６】上記実施の形態に係る画像処理装置１００の動作例を示す説明図である。
【図７】倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。
【図８】画像の合成によるズーム処理を実行する際の効果について説明する説明図である。
【図９】ハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．構成例
１．３．動作例
２．ハードウェア構成例
３．まとめ
【００１５】
＜１．本開示の実施の形態＞
［１．１．概要］
まず、本開示の実施の形態の概要について説明する。
【００１６】
上述したように、近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
【００１７】
しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている。
【００１８】
図１は、信号処理による画像の拡大処理を説明する説明図である。例えば、イメージセンサが出力する元画像が横６１４４ピクセル、縦３４５６ピクセルである場合、その元画像の中央部分の横３８４０ピクセル、縦２１６０ピクセルを切り出すと、元画像をおよそ１．６倍に拡大した画像が得られる。
【００１９】
また、その横３８４０ピクセル、縦２１６０ピクセルの画像の中央部分の横１９２０ピクセル、縦１０８０ピクセルを切り出して、補完処理などの信号処理を施すと、さらに２倍に拡大した画像が得られる。すなわち、この図１に示した方法では、元画像をおよそ３．２倍に拡大した画像を得ることが可能になる。
【００２０】
しかし、被写体を撮像する場面によっては、３倍程度の倍率では不足する場合があり得る。そこで、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもある。
【００２１】
図２は、信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。図２に示したのは、広角側を撮像するカメラと望遠側を撮像するカメラとの組み合わせによってズーム倍率を上げる場合の例である。例えば、広角側の元画像を３．２倍に拡大した画像を望遠側の元画像として、さらに望遠側の元画像を同じように３．２倍に拡大すると、広角側の元画像を最大で３．２×３．２＝１０．２４倍に拡大した画像を得ることが可能になる。
【００２２】
しかし、被写体を撮像する場面によっては、１０倍程度の倍率でも不足する場合があり得る。例えば、野球場やサッカー場などの客席から選手を携帯端末で撮像する場合、１０倍程度の倍率では選手を大きく写すことが出来ないため、さらなる高倍率化が求められる。しかし、高倍率化のためとはいえ、さらに焦点距離の異なるレンズを搭載すると小型化が困難になる。
【００２３】
そこで本件開示者は、上述した点に鑑みて、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術を考案するに至った。
【００２４】
被写体のズーミングのさらに別の方法として、画像に極端な樽形歪みを発生させるカメラで撮像した画像に対する信号処理を用いる方法がある。この方法は、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して歪みを補正することで望遠効果を作る方法である。
【００２５】
図３は、歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。図３には、画像の中央部にレンズの歪みによる拡大効果が得られている画像が示されている。図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、図１や図２で示したように単に画像を切り出して拡大する方法に比べて、１枚の画像から高いズーム効果を得ることが出来る。
【００２６】
そこで本実施形態では、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する技術について説明する。
【００２７】
以上、本開示の実施の形態の概要について説明した。続いて、本開示の実施の形態にかかる画像処理装置の機能構成例について説明する。
【００２８】
［１．２．構成例］
図４は、本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。図４に示した画像処理装置１００は、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する装置である。以下、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明する。
【００２９】
図４に示したように、本開示の実施の形態に係る画像処理装置１００は、撮像部１０２ａ、１０２ｂと、操作部１０４と、表示部１０６と、制御部１１０と、を含んで構成される。
【００３０】
撮像部１０２ａ、１０２ｂは、それぞれ、レンズ、撮像素子、Ａ／Ｄコンバータなどで構成され、撮像した画像を制御部１１０に出力する。撮像部１０２ａ、１０２ｂは、同一の方向の撮像を行うものであり、撮像範囲がほぼ一致するように隣接して設けられていることが望ましい。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。
【００３１】
撮像部１０２ａ、１０２ｂには、それぞれ焦点距離が異なるレンズが設けられている。本実施形態では、撮像部１０２ａは広角側の画像を撮像し、撮像部１０２ｂは望遠側の画像を撮像する。撮像部１０２ｂの焦点距離は、撮像部１０２ａで撮像された画像を用いたズーム処理における最大倍率の場合の画像（歪みを除去した後の画像）と同程度の画角となるような焦点距離に設定されうる。また撮像部１０２ａ、１０２ｂは、それぞれ中心射影方式ではないレンズを備えており、図３に示したような、極端な樽形歪みを有するような撮像画像を出力するように構成されている。
【００３２】
以下の説明では、撮像部１０２ａで撮像された広角側の画像を基準の倍率（１倍）の画像として説明する。
【００３３】
操作部１０４は、例えばタッチパネルや各種ボタンなどで構成され、本実施形態では、画像処理装置１００のユーザの操作を受け付けて、その操作に応じた信号を制御部１１０に出力する。上記タッチパネルは、例えば後述の表示部１０６に設けられうる。例えば操作部１０４は、撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付ける。ユーザによる拡大または縮小処理の操作は、例えば、タッチパネルを備えた表示部１０６に対するピンチアウト操作やピンチイン操作によって行われても良く、ボタンを使用した操作によって行われても良い。
【００３４】
表示部１０６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイなどで構成され、各種情報を、制御部１１０の制御に基づいて表示する。例えば表示部１０６は、撮像部１０２ａ、１０２ｂで撮像された画像や、操作部１０４によって撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付けるためのグラフィカルユーザインターフェース（ＧＵＩ）等を表示する。表示部１０６は、表面にタッチパネルを備えていても良い。
【００３５】
制御部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサや、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶媒体などで構成され、画像処理装置１００の動作を制御する。
【００３６】
制御部１１０は、ズーム処理部１１２と、画像合成部１１４と、を含んで構成される。
【００３７】
ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う。本実施形態では、ズーム処理部１１２は、１倍から所定の第１倍率までは撮像部１０２ａで撮像された画像を用いたズーム処理（第１ズーム処理）を、第１倍率以上第２倍率までは、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された画像とを合成することで拡大画像を得るズーム処理（第２ズーム処理）を、撮像部１０２ｂで撮像された画像を用いたズーム処理（第３ズーム処理）を、それぞれ実行する。
【００３８】
撮像部１０２ａ、１０２ｂで撮像された画像は、極端な樽形歪みを有する画像である。従って、ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う際に、樽形歪みを除去する処理を行う。そしてズーム処理部１１２は、図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、１枚の画像から高いズーム効果を得ることが出来る。
【００３９】
図５は、ズーム処理部１１２による歪補正処理の例を示す説明図である。図５には、撮像部１０２ａ、１０２ｂで撮像された画像の左辺中央部の歪補正処理の例が示されている。
【００４０】
図５に示したように、撮像部１０２ａ、１０２ｂで撮像された画像は、中央部が拡大されている分、周縁部は潰れた状態となっている。この状態から歪みの無い状態にするには、ズーム処理部１１２は、まず周縁部を縦及び横にそれぞれ２倍に拡大した上で画素を補完する処理を行い、続いて画素を移動させることによる歪み補正処理を行って、最後に縮小する。
【００４１】
ズーム処理部１１２は、このように、倍率に応じて撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理の内容を切り替えることで、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
【００４２】
なお、第１ズーム処理と第２ズーム処理とが切り替わる上記第１倍率と、第２ズーム処理と第３ズーム処理とが切り替わる上記第２倍率とは、同じ倍率であっても良い。
【００４３】
また、画像処理装置１００は、ズーム処理の際に上記第１倍率と第２倍率とが分かるようなＧＵＩを表示部１０６に表示しても良い。
【００４４】
画像合成部１１４は、複数の画像の合成処理を実行する。本実施形態では、画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された（切り落とされていない）画像とを合成する処理を行う。画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に上記２つの画像を合成することで、より高品質の拡大画像を生成出来る。
【００４５】
画像合成部１１４は、上記２つの画像を合成する際に、２つの画像が一致するように合成する。例えば画像合成部１１４は、上記２つの画像の所定の領域を比較してその領域の画素が一致するように２つの画像の位置合わせを行って合成する。比較対象の領域の数が多ければ多いほど、合成時の精度は向上する。また例えば画像合成部１１４は、上記２つの画像から特徴点を抽出し、その特徴点が一致するように２つの画像の位置合わせを行って合成してもよい。
【００４６】
ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう画像合成部１１４に合成させてもよい。これは、第１倍率付近では、撮像部１０２ａで撮像された画像の方が全体的な歪みが少ないためである。
【００４７】
なおズーム処理部１１２は、撮像部１０２ａで撮像された画像と、撮像部１０２ｂで撮像された画像との合成比率は、第１倍率付近では１００：０となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良く、第１倍率付近では５０：５となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良い。
【００４８】
ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成領域を変更しても良い。例えば、第１倍率付近では、撮像部１０２ｂで撮像された画像の周縁部の歪みは、撮像部１０２ａで撮像された画像の周縁部の歪みより強い。従って、第１倍率付近では、ズーム処理部１１２は、撮像部１０２ａで撮像された画像の周縁部分と、撮像部１０２ｂで撮像された画像の中央部分と、を合成することで拡大画像を得るようにしても良い。
【００４９】
また、ズーム処理部１１２は、上述の第２ズーム処理を行っている際の、画像合成部１１４での画像の合成領域の比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させてもよい。
【００５０】
以上、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図４に示したような構成を有することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
【００５１】
なお、図４に示した画像処理装置１００は、例えばスマートフォンなどの携帯電話、タブレット型の携帯端末、ノートパソコン等として構成されていても良い。また図４に示した画像処理装置１００の撮像部１０２ａ、１０２ｂが画像処理装置１００とは別の装置として構成されていても良い。
【００５２】
［１．３．動作例］
続いて、本開示の実施の形態に係る画像処理装置１００の動作例について説明する。図６は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図６に示したのは、１倍の画像からのズーム処理を実行する際の画像処理装置１００の動作例である。以下、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。なお、図６の説明では、上記第１倍率をＭ倍とし、上記第２倍率をＮ倍とする。すなわち、Ｍ≦Ｎの関係が成り立つ。
【００５３】
画像処理装置１００は、ユーザからの操作部１０４を用いたズーム操作を検出すると、撮像部１０２ａで撮像された広角側の画像を用いた広角端（１倍）からのズーム処理（第１ズーム処理）を実行する（ステップＳ１０１）。ステップＳ１０１のズーム処理はズーム処理部１１２が実行する。
【００５４】
画像処理装置１００は、第１ズーム処理を実行している間に、広角側の最大倍率近傍に達したかどうか判断する（ステップＳ１０２）。ステップＳ１０２の判断処理はズーム処理部１１２が実行する。
【００５５】
ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していなければ（ステップＳ１０２、Ｎｏ）、画像処理装置１００は、第１ズーム処理を継続する。一方、ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していれば（ステップＳ１０２、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するズーム処理（第２ズーム処理）を実行する（ステップＳ１０３）。ステップＳ１０３のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
【００５６】
画像処理装置１００は、第２ズーム処理を実行している間に、広角側の最大倍率を超えたかどうか判断する（ステップＳ１０４）。ステップＳ１０４の判断処理はズーム処理部１１２が実行する。
【００５７】
ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていなければ（ステップＳ１０４、Ｎｏ）、画像処理装置１００は、第２ズーム処理を継続する。一方、ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていれば（ステップＳ１０４、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ｂで撮像された望遠側の画像を用いたズーム処理（第３ズーム処理）を実行する（ステップＳ１０５）。ステップＳ１０５のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
【００５８】
以上、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図６に示したような動作を実行することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
【００５９】
図７は、画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。画像処理装置１００は第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう合成して、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう合成しても良い。
【００６０】
このように画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させることで、撮像部１０２ａで撮像された画像を用いたズーム処理と、撮像部１０２ｂａで撮像された画像を用いたズーム処理とが切り替わる際に、ユー−に対して違和感の無い画像を提示することが出来る。
【００６１】
画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するが、この合成による効果を説明する。
【００６２】
図８は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像との合成による、第２ズーム処理を実行する際の効果について説明する説明図である。
【００６３】
第２ズーム処理が行われる倍率の範囲では、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とは、それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なる。それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なるために、図８に示したようにサンプリングポイントが異なる。つまり、歪みがあるために物体に対するサンプリングは必ずズレが生じる。
【００６４】
従って、画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、高画質化を図ることができる。特に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、画像処理装置１００は画像のＤＣ成分（輝度）の正確性を向上させることが出来る。
【００６５】
なお、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成する際に、ＲＡＷデータで合成すると、より高画質化を図ることが出来る。
【００６６】
もちろん、本開示の実施の形態に係る画像処理装置１００を適用できる装置は携帯端末に限定されるものでは無い。例えば、人間の身体に装着して使用することを目的とする身体装着型電子機器（ウェアラブルデバイス）にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、ウェアラブルデバイスに上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、ウェアラブルデバイスで撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
【００６７】
また例えば、自律飛行する飛行体（ドローン）にカメラを搭載して、上空からの映像をそのカメラで撮像させる場合にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、上記自律飛行する飛行体に上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、飛行体で撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
【００６８】
＜２．ハードウェア構成例＞
次に、図９を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図９は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【００６９】
情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、またはＦＰＧＡ（Field-Programmable  Gate  Array）などの処理回路を有してもよい。
【００７０】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【００７１】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【００７２】
出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
【００７３】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【００７４】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【００７５】
接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【００７６】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
【００７７】
撮像装置９３３は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）またはＣＣＤ（Charge  Coupled  Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００７８】
センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。
【００７９】
以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【００８０】
＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、同一の方向を撮像する、焦点距離が異なる複数のカメラで撮像された画像を用いたズーム処理を行う画像処理装置１００が提供される。画像処理装置１００がズーム処理で使用する画像は、中心射影方式ではないレンズを通じて、極端な樽形歪みを有するような撮像画像である。
【００８１】
画像処理装置１００は、ズーム処理を行う際に、倍率に応じて画像を切り出して、歪みを除去する画像処理を行う。そして、使用する画像を切り替える倍率の近傍では、２つの画像を合成して出力する。
【００８２】
本開示の実施の形態に係る画像処理装置１００は、単に画像を切り出して拡大するズーム処理に比べて高倍率に拡大した画像を出力することが出来る。また、本開示の実施の形態に係る画像処理装置１００は、ズーム処理のためにレンズを移動させるメカニカルな機構を必要としない簡易な構成であるにも関わらず、単に画像を切り出して拡大するズーム処理に比べて高倍率の画像を出力することが出来る。
【００８３】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００８４】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
【００８５】
また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
【００８６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
（２）
前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（３）
前記第１倍率と前記第２倍率は同じ倍率である、前記（１）または（２）に記載の画像処理装置。
（４）
前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、前記（１）〜（３）のいずれかに記載の画像処理装置。
（５）
前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、前記（４）に記載の画像処理装置。
（６）
前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（７）
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を含む、画像処理方法。
（８）
コンピュータに、
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を実行させる、コンピュータプログラム。
【符号の説明】
【００８９】
１００    画像処理装置
１０２ａ、１０２ｂ    撮像部
１１０    制御部
【図１】
2017097529.tif 000003
【図２】
2017097529.tif 000004
【図３】
2017097529.tif 000005
【図４】
2017097529.tif 000006
【図５】
2017097529.tif 000007
【図６】
2017097529.tif 000008
【図７】
2017097529.tif 000009
【図８】
2017097529.tif 000010
【図９】
2017097529.tif 000011