(57)【要約】【課題】撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する場合であっても、画像を広く見せることが可能な画像処理装置および記憶媒体を提供する。【解決手段】第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部を備える、画像処理装置。【選択図】図１
2015026891.tif 000002
【特許請求の範囲】
【請求項１】
第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部を備える、画像処理装置。
【請求項２】
前記画像生成部は、前記画素値が示す画像の長辺と平行する基準線から離間するほど、高い圧縮率で前記画素値を圧縮する、請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記画素値の一部を除去して前記圧縮画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記画素値は、デジタル信号である、請求項２に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記基準線の位置に応じた一部の前記画素値に基づいて前記圧縮画像を生成する、請求項４に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記画素値に基づいて前記基準線の位置を設定する、請求項４に記載の画像処理装置。
【請求項７】
前記画素値は、アナログ信号である、請求項２に記載の画像処理装置。
【請求項８】
前記画像生成部は、前記画素値を圧縮した後、圧縮した前記画素値が示す画像から短辺方向の両端を除去して前記圧縮画像を生成する、請求項７に記載の画像処理装置。
【請求項９】
前記基準線は、前記画素値が示す画像の中心を通る、請求項７に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、
表示部と、
前記表示部の姿勢を検出する姿勢検出部と、
前記姿勢検出部により検出された前記表示部の姿勢に応じて、前記画像生成部により前記圧縮画像を生成するか否かを制御する制御部と、
をさらに備える、請求項１に記載の画像処理装置。
【請求項１１】
前記第１のアスペクト比は４：３であり、前記第２のアスペクト比は２７：９である、請求項１に記載の画像処理装置。
【請求項１２】
コンピュータを、
第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部
として機能させるためのプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および記憶媒体に関する。
【背景技術】
【０００２】
近年、ＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）と呼称される、横長画面の高品位テレビジョン方式が普及しつつある。従来のテレビジョン方式におけるアスペクト比は４：３であるところ、ＨＤＴＶにおけるアスペクト比は１６：９であり、従来のテレビジョン方式よりも横長となっている。また、近年においては、アスペクト比が４：３や１６：９ではない、さらに大きな表示装置が普及している。このような背景にあって、従来では一般的であった４：３のアスペクト比とは異なるアスペクト比を有する表示装置により、コンテンツを再生する機会が増加している。以下、４：３のアスペクト比を、標準アスペクト比とも称する。
【０００３】
一方で、デジタルスチルカメラやビデオカメラ、携帯電話などの撮像装置は、静止画像若しくは動画像を、従来のテレビジョン方式と同一の標準アスペクト比で撮影しており、これらの撮影装置で用いられる撮像素子も標準アスペクト比を有している。このため、標準アスペクト比を有する従来の撮像素子を用いて、標準アスペクト比とは異なる画像を出力する技術が開発されている。
【０００４】
例えば、下記特許文献１では、４：３等のアスペクト比の画像の一部を１６：９等の横長アスペクト比で表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１７２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献で開示された技術では、撮像画像のうち、出力する画像のアスペクト比に収まらない領域を切り捨てることで、出力するアスペクト比の画像を生成していた。このため、撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する分だけ、画像が狭く見えるという問題があった。
【０００７】
そこで、本開示では、撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する場合であっても、画像を広く見せることが可能な、新規かつ改良された画像処理装置および記憶媒体を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部を備える、画像処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータを、第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部として機能させるためのプログラムが記憶された記憶媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する場合であっても、画像を広く見せることが可能である。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る画像処理の概要を説明するための図である。
【図２】比較例１に係る画像処理を説明するための図である。
【図３】比較例２に係る画像処理を説明するための図である。
【図４】本開示の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図５】第１の実施形態に係る画像処理を説明するための図である。
【図６】第２の実施形態に係る画像処理を説明するための図である。
【図７】第２の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図８】本開示の一実施形態に係る画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る画像処理の概要
２．実施形態
２−１．機能構成
２−２．第１の実施形態
２−３．第２の実施形態
２−４．参考形態
２−５．ハードウェア構成
３．まとめ
【００１４】
＜＜１．本開示の一実施形態に係る画像処理の概要＞＞
まず、図１〜図３を参照して、本開示の一実施形態に係る画像処理の概要を説明する。
【００１５】
図１は、本開示の一実施形態に係る画像処理の概要を説明するための図である。より詳しくは、図１Ａは、標準アスペクト比の撮像素子で撮像した画像を示し、図１Ｂは、本開示の一実施形態に係る画像処理により生成される画像を示す。なお、図１Ａに示す画像と図１Ｂに示す画像とは、Ｘ軸方向の長さは同じで、Ｙ軸方向の長さのみが異なる。図１に示すように、本開示の一実施形態に係る画像処理では、標準アスペクト比の画像から、標準アスペクト比よりも横長のアスペクト比の画像を生成する。以下、標準アスペクト比よりも横長のアスペクト比のことを、横長アスペクト比とも称する。図１Ｂでは、一例として画像のアスペクト比を３：１（２７：９）としているが、１６：９や２１：９、２４：９、３２：９、３６：９などの他の横長アスペクト比であってもよい。
【００１６】
ここで、近年、標準アスペクト比とは異なるアスペクト比を有する表示装置により、コンテンツを再生する機会は増加している。しかし、標準アスペクト比と異なる撮像素子の製造には、既存設備の変更等の多大な投資を必要とする。また、撮像装置においては、撮像素子の入手性やコスト・サイズ、さらには標準アスペクト比で画像を撮像する場合があることなどから、一般に標準アスペクト比の撮像素子が用いられている。そこで、撮像素子のアスペクト比を変更することなく、所望のアスペクト比の画像を撮像する技術が求められている。
【００１７】
このような標準アスペクト比の撮像素子を用いて横長アスペクト比の画像を撮像する撮像装置では、撮像素子が捉えたアスペクト比４：３の元画像のうち上下の領域を切り捨てることにより、横長アスペクト比の画像を生成・出力していた。このため、撮像素子が捉えた被写体の一部は、出力される画像に反映されないという問題があった。この問題について、図２、図３を参照して具体的に説明する。
【００１８】
図２は、比較例１に係る画像処理を説明するための図である。より詳しくは、図２Ａは、標準アスペクト比の撮像素子で撮像した画像を示し、図２Ｂは、本比較例に係る画像処理において切り取られる領域を示し、図２Ｃは、本比較例に係る画像処理により出力される画像を示す。図２Ａ、図２Ｂ、図２Ｃに示す画像は、Ｘ軸方向の長さは同じである。本比較例に係る画像処理は、図２Ａに示すアスペクト比４：３（１６：１２）の画像から、図２Ｂに示す画像の上下端部の領域を除去することで、図２Ｃに示すアスペクト比１６：９の画像を得る。例えば、表示ディスプレイが１６：９の場合、ユーザは図２Ｃに示す画像をスルー画像として見ながら構図を決めることになるが、撮像素子としては図１Ａの画像を捉えていることになる。続いて、標準アスペクト比の撮像素子によって、３：１の画像を生成する比較例を、図３を参照して説明する。
【００１９】
図３は、比較例２に係る画像処理を説明するための図である。より詳しくは、図３Ａは、標準アスペクト比の撮像素子で撮像した画像を示し、図３Ｂは、本比較例に係る画像処理において切り取られる領域を示し、図３Ｃは、本比較例に係る画像処理により出力される画像を示す。図３Ａ、図３Ｂ、図３Ｃに示す画像は、Ｘ軸方向の長さは同じである。本比較例に係る画像処理は、図３Ａに示すアスペクト比４：３（１２：９）の画像から、図３Ｂに示す画像の上下端部の領域を除去することで、図３Ｃに示すアスペクト比３：１（１２：４）の画像を得る。
【００２０】
このように、比較例に係る画像処理により１６：９や３：１といった横長アスペクト比の画像を生成する場合、標準アスペクト比の撮像素子で撮像した画像の上下端部の領域を除去するため、撮像素子が捉えた被写体の一部は、出力される画像に反映されない。このため、短辺方向であるＹ軸方向の画角、即ち垂直画角が狭くなってしまう場合があった。例えば、標準アスペクト比で水平画角５５°で撮影した場合、そのまま標準アスペクト比で画像を出力すると垂直画角は４２．５°となる。これに対し、比較例１に係る画像処理により１６：９の画像を生成した場合は垂直画角が３２．６°となり、比較例１に係る画像処理により３：１の画像を生成した場合は垂直画角が１９．６°となる。
【００２１】
そこで、上記事情を一着眼点にして本開示の各実施形態に係る画像処理装置を創作するに至った。本開示の各実施形態に係る画像処理装置は、撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する場合であっても、画像を広く見せることができる。
【００２２】
具体的には、本開示の一実施形態に係る画像処理装置は、あるアスペクト比の撮像素子が捉えた画像の一部を拡縮することで、撮像素子と異なるアスペクト比で画像を出力する。これにより、本実施形態に係る画像処理装置は、従来切り捨てられていた部分を出力する画像に反映することができ、その結果、画像を広く見せることができる。
【００２３】
本実施形態に係る画像処理装置は、図１に示すように、標準アスペクト比の撮像素子により撮像された画像から、アスペクト比３：１の画像を生成する。このとき、本実施形態に係る画像処理装置は、図１に示すように、元画像のうち、出力する画像のＹ軸方向の長さｂよりも長い、長さａの範囲に含まれる領域の画素値を圧縮した画像（以下、圧縮画像とも称する）を生成する。つまり、本実施形態に係る画像処理装置は、従来切り捨てられていた、元の撮像画像のうち、出力する画像のＹ軸方向の長さｂの範囲以外の領域であって、長さａの範囲の領域を用いて圧縮画像を生成する。このように、本実施形態に係る画像処理装置は、比較例よりもＹ軸方向に広い範囲の画素値を用いて画像を生成するため、比較例と比較して垂直画角をより広く見せることができる。
【００２４】
以上、本開示の一実施形態に係る画像処理の概要を説明した。続いて、図４〜図８を参照して、各実施形態について詳細に説明する。
【００２５】
なお、本開示の一実施形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、ヘッドセット、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等により実現される。
【００２６】
＜＜２．実施形態＞＞
まず、各実施形態において共通する、画像処理装置の機能構成を説明する。なお、本実施形態に係る画像処理装置のハードウェア構成については、後に図８を参照して詳細に説明するため、ここでの説明は省略する。
【００２７】
＜２−１．機能構成＞
図４は、本開示の一実施形態に係る画像処理装置の構成を示すブロック図である。図４に示すように、画像処理装置１は、撮像部２、画像生成部３、姿勢検出部４、制御部５、表示部６、および記憶部７を有する。
【００２８】
（撮像部２）
撮像部２は、第１のアスペクト比の画像を撮像する機能を有する。撮像部２は、第１のアスペクト比の撮像素子を有する。第１のアスペクト比は、任意のアスペクト比をとりえるが、本明細書では４：３の標準アスペクト比であるものとする。撮像部２は、撮像した画像の画素値を、画像生成部３に出力する。
【００２９】
（画像生成部３）
画像生成部３は、第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する機能を有する。第２のアスペクト比は、任意のアスペクト比をとりえるが、本明細書では３：１（２７：９）であるものとする。つまり、画像生成部３は、撮像部２により標準アスペクト比で撮像された画像の画素値に基づいて、標準アスペクト比よりも横長のアスペクト比を有する圧縮画像を生成する。横長の画像は、そうでない画像と比較して、ユーザのより多くの周辺視野を画像で満たすことができるので、臨場感や、パノラマ感、迫力が増す。また、人間の視野角は縦方向よりも横方向に広いため、横長の画像は、そうでない画像と比較して人間の視界により近いと言える。このため、横長の画像は、見る者に対して、あたかもその画像を撮像した位置にいたかのような感覚を与えて、画像の物語性を増すことができる。
【００３０】
ここで、図１を参照して上記説明したように、画像生成部３は、比較例においては切り捨てられていた領域を含む、比較例よりもＹ軸方向に広い範囲の画素値を用いて圧縮画像を生成する。このため、圧縮画像は、垂直画角をより広く見せることができる。
【００３１】
また、画像生成部３は、撮像部２から出力された画素値が示す画像の長辺と平行する基準線から離間するほど、高い圧縮率で画素値を圧縮する。より詳しくは、画像生成部３は、基準線の近くの画素に対しては低い圧縮率を、基準線から遠い画素に対しては高い圧縮率を設定した圧縮率分布を生成する。そして、画像生成部３は、生成した圧縮率分布に従って、撮像部２から出力された画素値を圧縮する。具体的には、画像生成部３は、基準線から離間するほど、短辺方向に隣接するより多くの画素に基づいて１つの画素を出力する。例えば、画像生成部３は、基準線から近い画素の場合、１つの画素をそのまま１つの画素として出力する。一方で、画像生成部３は、基準線から遠い画素の場合、短辺方向に隣接する複数の画素の画素値を平均等することで、１つの画素を出力する。つまり、撮像部２の撮像素子の上下端に近づけば近づくほど縮小される。これにより、基準線に近い領域すなわち注目すべき領域についての、圧縮による画像劣化を防ぐことができる。なお、基準線とは、画像生成部３が圧縮率を定める際の基準となる線であり、任意の位置に設定される。
【００３２】
また、画像生成部３は、撮像部２から出力された画素値の一部を除去して圧縮画像を生成してもよい。具体的には、画像生成部３は、撮像部２から出力された画素値のうち一部の画素値に基づいて圧縮画像を生成し、それ以外の画素値を除去する。このとき除去される画素値は、基準線から離間している短辺方向の両端部の領域の画素値である。これにより、短辺方向の両端部における無理な圧縮を防ぐことができ、圧縮画像の短辺方向の両端部をより自然に見せることができる。
【００３３】
画像生成部３は、生成した圧縮画像を、表示部６および記憶部７に出力する。
【００３４】
（姿勢検出部４）
姿勢検出部４は、画像処理装置１の姿勢を検出して、表示部６の姿勢を検出する機能を有する。具体的には、姿勢検出部４は、表示部６の長辺および短辺が、地面に対して有する角度を検出する。表示部６の長辺方向および短辺方向は、撮像部２により撮像される撮像画像の長辺方向および短辺方向と一致するため、姿勢検出部４は、撮像部２の姿勢を検出しているとも捉えることができる。姿勢検出部４は、検出した表示部６の姿勢を示す情報を、制御部５に出力する。
【００３５】
（制御部５）
制御部５は、姿勢検出部４により検出された表示部６の姿勢に応じて、画像生成部３により圧縮画像を生成するか否かを制御する機能を有する。具体的には、制御部５は、表示部６の長辺または短辺の向きに基づき、横長アスペクト比の画像が撮像される場合には圧縮画像の生成を実行させ、縦長アスペクト比の画像が撮像される場合には圧縮画像の生成を停止する。
【００３６】
例えば、制御部５は、表示部６の長辺の向きが水平方向である場合、画像生成部３により圧縮画像を生成させる。この場合、表示部６の短辺、即ち鉛直方向の長さが小さくなるよう圧縮されて、水平方向に広い画像が表示部６に表示される。一方で、制御部５は、画像処理装置１がユーザにより縦長に構えられて、表示部６の長辺が鉛直方向となった場合、画像生成部３により圧縮画像を生成させず、撮像部２により撮像された画像をそのまま表示部６に出力させる。なぜならば、表示部６の長辺の向きが鉛直方向であるときに圧縮画像が生成された場合、表示部６の短辺、即ち水平方向の長さが小さくなるよう圧縮されて、水平方向に狭い不自然な圧縮画像が表示部６に表示されてしまうためである。
【００３７】
なお、制御部５は、ユーザ操作に応じて、画像生成部３により圧縮画像を生成するか否かを切り替えてもよい。
【００３８】
（表示部６）
表示部６は、画像生成部３から出力された画像データ（静止画像データ／動画像データ）を表示する機能を有する。例えば、表示部６は、撮像中に画像生成部３からリアルタイムで出力される圧縮画像をいわゆるスルー画像として表示する。これにより、ユーザは、画像処理装置１で撮像中のスルー画像を見ながら、構図の決定や撮像、各種設定などの操作を行うことができる。表示部６は、画面のアスペクト比が第２のアスペクト比であってもよいし、その他の横長アスペクト比であって、画面の上下端部または左右端部に黒帯等を付加して圧縮画像を表示するものであってもよい。
【００３９】
（記憶部７）
記憶部７は、撮像部２により撮像され、画像生成部３により圧縮された圧縮画像を記憶する機能を有する。
【００４０】
以上、各実施形態において共通する画像処理装置１の機能構成を説明した。続いて、第１の実施形態について説明する。
【００４１】
＜２−２．第１の実施形態＞
本実施形態に係る画像処理装置１は、撮像画像の一部を電気的に縮小/圧縮することで、垂直画角を広く見せる圧縮画像を生成する形態である。より具体的には、本実施形態に係る画像生成部３は、撮像部２から出力されたアナログ信号（電荷量）による画素値に基づいて、圧縮画像を生成する。以下、図５を参照して、本実施形態に係る画像生成部３による画像処理について説明する。
【００４２】
図５は、第１の実施形態に係る画像処理を説明するための図である。より詳しくは、図５Ａは、撮像部２により撮像された撮像画像を示し、図５Ｂは、撮像画像を圧縮した画像および切り取られる領域を示し、図５Ｃは、本実施形態に係る画像処理により出力される圧縮画像を示す。
【００４３】
画像生成部３は、まず、撮像部２により出力された画素値を圧縮することで、図５Ｂに示す圧縮された画像を生成する。このとき、画像生成部３は、画素値が示す画像の長辺と平行する基準線３−１から離間するほど、高い圧縮率で画素値を圧縮する。本実施形態に係る画像生成部３は、アナログ信号による画素値に基づいて電気的に圧縮することから、デジタル信号であれば可能な、顔認識等の画像解析結果に基づいて基準線３−１の位置を決定することはできない。このため、本実施形態では、基準線３−１の位置は予め設定される。本明細書においては、基準線３−１は、画素値が示す画像の中心を通るものとする。通常、ユーザは被写体が中央に位置するよう構図を定めて撮像するものと考えられるため、基準線３−１を画像の中心を通るよう設定することで、注目すべき被写体領域が圧縮により画像劣化することを防ぐことができる。
【００４４】
その後、画像生成部３は、圧縮した画素値が示す画像から短辺方向の両端を除去して圧縮画像を生成する。具体的には、画像生成部３は、図５Ｂに示す圧縮された画像の、Ｙ軸方向の両端部の領域３−２を電気的に除去することで、図５Ｃに示すアスペクト比３：１の圧縮画像を生成する。ここで、図５Ｃに示す圧縮画像は、図５Ａに示す撮像画像を圧縮した画像から上下端部が除去された画像であるため、圧縮せずに上下端部を除去するよりも、Ｙ軸方向に広い範囲の画素値が用いられている。このため、図５Ｃに示す圧縮画像は、垂直画角をより広く見せることができる。
【００４５】
本実施形態においては、ユーザは、表示部６に表示された図５Ｃに示す圧縮画像を見ながら構図を決めて、撮像を行う。
【００４６】
本実施形態に係る画像処理は、電気的に撮像画像を圧縮し、電気的に上下端部を除去するため、画像処理装置１が有するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の演算装置の演算能力が低い場合に特に有用である。
【００４７】
以上、第１の実施形態について説明した。続いて、第２の実施形態について説明する。
【００４８】
＜２−３．第２の実施形態＞
本実施形態は、撮像素子と異なるアスペクト比の画像を撮像する際、撮像画像の一部をデジタル画像処理により縮小/圧縮することで、垂直画角を広く見せる圧縮画像を生成する形態である。より具体的には、本実施形態に係る画像生成部３は、撮像部２から出力されたアナログ信号をデジタル変換したデジタル信号による画素値に基づいて、圧縮画像を生成する。以下、図６を参照して、本実施形態に係る画像生成部３による画像処理について説明する。
【００４９】
図６は、第２の実施形態に係る画像処理を説明するための図である。より詳しくは、図６Ａは、撮像部２により撮像された撮像画像を示し、図６Ｂは、撮像画像の一部を圧縮した画像を示し、図６Ｃは、本実施形態に係る画像処理により出力される圧縮画像を示す。
【００５０】
図６Ｂに示すように、画像生成部３は、撮像部２により出力された画素値の一部を圧縮することで、図６Ｂに示す圧縮画像３−３を生成する。より詳しくは、まず、画像生成部３は、デジタル信号による画素値に基づく顔認識等の画像解析結果に基づいて、基準線３−１の位置および圧縮率分布を設定する。そして、画像生成部３は、基準線３−１の位置に応じた一部の画素値に基づいて、圧縮率分布に従い圧縮画像３−３を生成する。具体的には、画像生成部３は、顔認識や被写体検出によって人物の顔、動物の顔、花などを画像内の特徴部位として検出すると共に、被写体が含まれる矩形の領域を被写体領域として検出する。次いで、画像生成部３は、検出した特徴部位に基づいて撮像画像の中心を推定して、その中心を通るよう基準線３−１の位置を決定し、検出した被写体領域の位置・範囲等に基づいて圧縮率分布を決定する。そして、画像生成部３は、決定した圧縮率分布に基づいて、アスペクト比３：１の圧縮画像３−３を生成する。なお、基準線３−１の位置や圧縮率分布は、ユーザ操作により設定されてもよい。
【００５１】
本実施形態においては、ユーザは、表示部６に表示された図６Ｂに示す圧縮画像３−３を見ながら構図および見かけ上の垂直角を決定して、撮像を行う。その結果、図６Ｃに示すように、画像生成部３は、図６Ｂに示した圧縮画像３−３を出力する。
【００５２】
図６Ｃに示す圧縮画像は、図６Ａに示す撮像画像の一部を圧縮した画像であるため、圧縮せずに撮像画像の一部を抽出するよりも、Ｙ軸方向に広い範囲の画素値が用いられている。このため、図６Ｃに示す圧縮画像は、垂直画角をより広く見せることができる。
【００５３】
第１の実施形態に係る画像と本実施形態に係る画像処理とは、図５に示すように撮像画像を圧縮してから不要な領域を除去するか、図６に示すように撮像画像のうち必要な範囲を圧縮するか、という点で相違する。本実施形態に係る画像処理は、デジタル画像処理であるため、第１の実施形態と比較して高い演算能力を要するが、顔領域や被写体領域などの画像の内容に適した範囲および圧縮率による圧縮画像を生成することができる。以下、図７を参照して、本実施形態に係る画像処理装置１の動作処理を説明する。
【００５４】
（動作処理）
図７は、第２の実施形態に係る画像処理装置１の動作を示すフローチャートである。図７に示すように、ステップＳ１０２で、画像生成部３は、画像データの読み出しを行う。より詳しくは、画像生成部３は、撮像部２により撮像された画像データの読み出しを行う。なお、撮像部２は、撮像した画像データをバッファメモリに保存し、画像生成部３は、バッファメモリから画像データの読み出しを行ってもよい。
【００５５】
次いで、ステップＳ１０４で、画像生成部３は、被写体の検出を行う。より詳しくは、画像生成部３は、読み出した画像データに対して被写体検出を行い、被写体が含まれる矩形の領域を、被写体領域とする。
【００５６】
次に、ステップＳ１０６で、画像生成部３は、圧縮率分布を生成する。より詳しくは、画像生成部３は、被写体領域の中心座標を求め、この中心座標を通る基準線付近における圧縮率が最も低く、基準線から離間するにつれて圧縮率が高くなる圧縮率分布を生成する。他にも、画像生成部３は、顔認識処理を行い、顔認識結果に基づいて中心座標を求めて圧縮率分布を生成してもよい。
【００５７】
そして、ステップＳ１０８で、画像生成部３は、画像を圧縮する。より詳しくは、画像生成部３は、ステップＳ１０６で生成した圧縮率分布に基づき、ステップＳ１０２で読み出した画像データを圧縮して圧縮画像を生成する。
【００５８】
以上説明した処理により、本実施形態に係る画像処理装置１は、１６：９や３：１などの横長アスペクト比であっても、垂直画角が広くなったように見える画像を生成することができる。なお、上記では、被写体領域の中心座標を圧縮分布の中心として用いたが、ユーザにより指定された座標を、圧縮分布の中心として用いてもよい。
【００５９】
以上、本実施形態に係る画像処理装置１の動作処理について説明した。
【００６０】
＜２−４．参考形態＞
本参考形態は、撮像素子と異なるアスペクト比の画像を撮像する際、撮像画像の一部を除去することで、所望のアスペクト比の画像を生成する形態である。本参考形態に係る画像処理装置は、撮像画像から、所望の横長アスペクト比の画像に含まれない領域を、電気的またはデジタル画像処理により除去することで、所望の横長アスペクト比の画像を出力する。
【００６１】
本参考形態に係る画像処理は、圧縮処理を要しないため、第１および第２の実施形態に係る画像処理と比較して処理負荷が少ない。このため、例えばスルー画像については本参考形態に係る画像処理を行い、撮像する際には第１または第２の実施形態に係る画像処理を行うことで、画像処理装置１は、処理負荷を軽減しつつ、垂直画角の広い圧縮画像を出力することができる。
【００６２】
＜２−５．ハードウェア構成＞
以下、図８を参照して、本開示の一実施形態に係る画像処理装置１のハードウェア構成を説明する。ここでは一例として、デジタルカメラ（もしくは携帯電話のデジタルカメラ部）として画像処理装置１を構成する場合の回路構成を示した。
【００６３】
図８は、本開示の一実施形態に係る画像処理装置１のハードウェア構成例を示す図である。図８に示すように、画像処理装置１は、撮像部１０、ＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換部２０、駆動部３０、ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）４０、制御部５０、操作部６０、センサ部７０、バッファメモリ８０、画像処理回路９０、圧縮符号回路１００、接続用Ｉ／Ｆ１１０、記憶媒体１２０、表示部１３０、および内蔵メモリ１４０を有する。
【００６４】
（撮像部１０）
撮像部１０は、レンズ部１２および撮像素子１４を有し、撮像部２として機能する。レンズ部１２は、ズームレンズやフォーカスレンズなど、複数のレンズにより構成される。撮像素子１４は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）により実現され、４：３の標準アスペクト比を有する。撮像素子１４は、レンズ部１２により取り込まれた被写体光（入射光）を受光し、信号電荷に変換する。撮像素子１４は、変換した信号電荷に基づいた電圧を、各画素の画素信号として出力する。なお、各画素の画素信号をまとめた信号が画像信号となる。
【００６５】
（ＡＤ変換部２０）
ＡＤ変換部２０は、入力されたアナログ信号をデジタル信号に変換する。具体的には、ＡＤ変換部２０は、撮像素子１４から出力された画像信号を、アナログ信号からデジタル信号に変換して、バッファメモリ８０に書き込む。
【００６６】
ここで、第１の実施形態においては、ＡＤ変換部２０が画像生成部３として機能する。即ち、第１の実施形態においては、ＡＤ変換部２０が、撮像部１０から出力されたアナログ信号による画素値に基づいて、圧縮画像を生成する。その後、ＡＤ変換部２０は、アナログ信号から成る圧縮画像をデジタル化して、バッファメモリ８０に書き込む。
【００６７】
（バッファメモリ８０）
バッファメモリ８０は、データを一時的に記憶する記憶領域である。バッファメモリ８０は、ＡＤ変換部２０によりデジタル化された画像信号、または後述の画像処理回路９０により生成された画像データを記憶する。
【００６８】
（駆動部３０）
駆動部３０は、レンズ部１２の各レンズを光軸方向に移動させて、焦点を被写体に合焦させる。
【００６９】
（ＴＧ４０）
ＴＧ４０は、撮像素子１４およびＡＤ変換部２０に対してパルス信号を出力することで、撮像素子１４およびＡＤ変換部２０の動作タイミングを同期させる。
【００７０】
（画像処理回路９０）
画像処理回路９０は、ホワイトバランス処理、色補間処理、輪郭補償処理、階調変換処理などの画像処理を行う。具体的には、画像処理回路９０は、バッファメモリ８０に書き込まれた画像信号に対してこれらの画像処理を行うことで、画像データを生成する。そして、画像処理回路９０は、生成した画像データをバッファメモリ８０に一時記憶させる。
【００７１】
ここで、第２の実施形態においては、画像処理回路９０および後述の制御部５０が画像生成部３として機能する。即ち、第２の実施形態においては、画像処理回路９０は、後述する制御部５０による制御に基づき、バッファメモリ８０に書き込まれたデジタルの画像信号を圧縮して、圧縮画像を生成する。
【００７２】
（圧縮符号回路１００）
圧縮符号回路１００は、バッファメモリ８０に一時記憶された、画像処理回路９０による画像処理済みの画像データに対して、圧縮符号化処理を行う。例えば、画像データが動画像に基づくものである場合、圧縮符号回路１００は、圧縮符号処理により、Ｍｐｅｇ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式やＨ．２６Ｌ形式の符号化データを生成する。圧縮符号回路１００は、この符号化データに、撮影条件、撮影日時、カメラの基本情報等からなる付帯情報を付帯して、接続用Ｉ／Ｆ１１０に接続した記憶媒体１２０に書き込む。
【００７３】
（接続用Ｉ／Ｆ１１０）
接続用Ｉ／Ｆ１１０は、画像処理装置１と記憶媒体１２０とを電気的に接続する。これにより、画像処理装置１は、記憶媒体１２０へのデータの書き込みや、記憶媒体１２０に記憶されたデータの読み出しを行うことができる。
【００７４】
（記憶媒体１２０）
記憶媒体１２０は、画像データを記憶する記憶部７として機能する。記憶媒体１２０は、例えばカード型メモリなどのフラッシュメモリや、ＤＶＤ（Ｄｉｇｉｔａｌ
Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体により実現される。
【００７５】
（表示部１３０）
表示部１３０は、画像データを表示する表示部６として機能する。表示部１３０は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などにより実現される。表示部１３０は、スルー画像や、撮像画像、圧縮画像の他に、設定を行う際の設定用の画像を表示する。
【００７６】
（内蔵メモリ１４０）
内蔵メモリ１４０は、制御部５０により使用される制御プログラムや各種演算パラメータ等を記憶する記憶領域である。内蔵メモリ１４０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスク等により実現される。
【００７７】
（制御部５０）
制御部５０は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１内の動作全般を制御する。制御部５０は、例えばＣＰＵ、マイクロプロセッサによって実現される。なお、制御部５０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。本開示の一実施形態に係る制御部５０は、内蔵メモリ１４０に格納される制御プログラムを読み出し実行することで、画像処理装置１内の動作全般を制御する。
【００７８】
制御部５０は、撮影時には、ＡＥ処理やＡＦ処理を含めた撮像前処理を実行する。そして、制御部５０は、これらの撮像前処理に基づいて、撮像部１０による撮像や画像処理回路９０による画像処理などの撮像処理を行う。
【００７９】
また、制御部５０は、センサ部７０により検出された表示部１３０の姿勢に応じて、圧縮画像を生成するか否かを制御する制御部５として機能する。
【００８０】
第２の実施形態においては、制御部５０は、顔認識や被写体検出等の画像解析を行う。より具体的には、制御部５０は、スルー画像や、バッファメモリ８０に記憶される静止画像や動画像に対して、顔認識処理や被写体検出処理を行う。次いで、制御部５０は、顔認識や被写体検出等の画像解析結果に基づいて、圧縮率分布を生成する。そして、制御部５０は、生成した圧縮率分布に基づき、画像処理回路９０を制御して圧縮画像を生成する。
【００８１】
制御部５０は、ユーザにより設定されたアスペクト比の画像を生成するようＡＤ変換部２０または画像処理回路９０を制御する。例えば、４：３の標準アスペクト比の画像を生成するよう設定されている場合、制御部５０は、標準アスペクト比の撮像素子１４により撮像された画像データに対して、アスペクト比を変換するための処理を行わないようＡＤ変換部２０または画像処理回路９０を制御する。これにより、標準アスペクト比の画像データが表示部１３０に表示され、記憶媒体１２０に記憶される。１６：９や３：１などの横長アスペクト比の画像を生成するよう設定されている場合、制御部５０は、上述した各実施形態に係る画像処理により横長アスペクト比の画像を生成するようＡＤ変換部２０または画像処理回路を制御する。これにより、横長アスペクト比の垂直角が広く映った画像データが表示部１３０に表示され、記憶媒体１２０に記憶される。
【００８２】
（操作部６０）
操作部６０は、ユーザからの撮像指示や初期設定、撮像時や再生時の設定、出力する画像のアスペクト比の設定などを受け付ける。他にも、操作部６０は、第１の実施形態または第２の実施形態において上記説明した垂直角を拡大する画像処理を実行するか否か、およびいずれの画像処理を実行するかを設定する操作を受け付けてもよい。操作部６０は、例えば、ボタン、タッチセンサ、表示部１３０と一体的に形成されるタッチパネルとして実現される。
【００８３】
（センサ部７０）
センサ部７０は、画像処理装置１の姿勢を検出する姿勢検出部４として機能する。センサ部７０は、加速度センサなどの重力方向を検出するセンサにより実現される。
【００８４】
以上、本開示の一実施形態に係る画像処理装置１のハードウェア構成を説明した。
【００８５】
＜＜３．まとめ＞＞
以上説明したように、本開示の一実施形態に係る画像処理装置１は、撮像素子のアスペクト比と出力する画像のアスペクト比とが相違する場合であっても、画像を広く見せることができる。より詳しくは、本開示の一実施形態に係る画像処理装置１は、撮像画像のうち、出力する画像のアスペクト比に含まれない領域の画素値も用いて圧縮画像を生成することで、単に当該領域を除去するよりも画角を広く見せることができる。
【００８６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８７】
例えば、上記実施形態では、第１のアスペクト比の撮像素子により撮像された画像から、第１のアスペクト比よりも横長のアスペクト比の圧縮画像を生成するものとしたが、本技術はかかる例に限定されない。例えば、画像処理装置１は、第１のアスペクト比の撮像素子により撮像された画像から、第１のアスペクト比よりも縦長のアスペクト比の圧縮画像を生成してもよい。この場合、画像処理装置１は、縦長アスペクト比の画像に含まれない横方向の両端部の領域をも用いて圧縮画像を生成することで、水平画角をより広く見せることができる。
【００８８】
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記画像処理装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記録した記憶媒体も提供される。
【００８９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部を備える、画像処理装置。
（２）
前記画像生成部は、前記画素値が示す画像の長辺と平行する基準線から離間するほど、高い圧縮率で前記画素値を圧縮する、前記（１）に記載の画像処理装置。
（３）
前記画像生成部は、前記画素値の一部を除去して前記圧縮画像を生成する、前記（２）に記載の画像処理装置。
（４）
前記画素値は、デジタル信号である、前記（２）または（３）に記載の画像処理装置。
（５）
前記画像生成部は、前記基準線の位置に応じた一部の前記画素値に基づいて前記圧縮画像を生成する、前記（４）に記載の画像処理装置。
（６）
前記画像生成部は、前記画素値に基づいて前記基準線の位置を設定する、前記（４）または（５）に記載の画像処理装置。
（７）
前記画素値は、アナログ信号である、前記（２）または（３）に記載の画像処理装置。
（８）
前記画像生成部は、前記画素値を圧縮した後、圧縮した前記画素値が示す画像から短辺方向の両端を除去して前記圧縮画像を生成する、前記（７）に記載の画像処理装置。
（９）
前記基準線は、前記画素値が示す画像の中心を通る、前記（７）または（８）に記載の画像処理装置。
（１０）
前記画像処理装置は、
表示部と、
前記表示部の姿勢を検出する姿勢検出部と、
前記姿勢検出部により検出された前記表示部の姿勢に応じて、前記画像生成部により前記圧縮画像を生成するか否かを制御する制御部と、
をさらに備える、前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
前記第１のアスペクト比は４：３であり、前記第２のアスペクト比は２７：９である、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
コンピュータを、
第１のアスペクト比で撮像する撮像部からの画素値に基づいて、前記第１のアスペクト比よりも短辺が小さい第２のアスペクト比である圧縮画像を生成する画像生成部
として機能させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【００９０】
１    画像処理装置
２    撮像部
３    画像生成部
４    姿勢検出部
５    制御部
６    表示部
７    記憶部
１０    撮像部
１２    レンズ部
１４    撮像素子
２０    ＡＤ変換部
３０    駆動部
４０    ＴＧ
５０    制御部
６０    操作部
７０    センサ部
８０    バッファメモリ
９０    画像処理回路
１００  圧縮符号回路
１１０  接続用Ｉ／Ｆ
１２０  記憶媒体
１３０  表示部
１４０  内蔵メモリ
【図１】
2015026891.tif 000003
【図２】
2015026891.tif 000004
【図３】
2015026891.tif 000005
【図４】
2015026891.tif 000006
【図５】
2015026891.tif 000007
【図６】
2015026891.tif 000008
【図７】
2015026891.tif 000009
【図８】
2015026891.tif 000010