(57)【要約】【課題】高解像度画像の構図が変化しても一定の構図となる低解像度画像を生成する際、低解像度画像の色収差の変化を抑制することで違和感の少ない低解像度画像を得ることが可能な画像処理装置を提供すること。【解決手段】第一の画像より第三の画像を生成する画像処理装置において、前記第三の画像が特定の構図となるよう、前記第一の画像を解像度変換し、第二の画像を生成する解像度変換部と、収差調整部からの第三の画像を保持するメモリと、前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像のエッジ情報を生成するエッジ検出部と、前記エッジ情報と前記解像度変換部からの第二の画像の色情報と前記メモリに保持されている第三の画像の色情報から重みを生成し、前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像を合成する収差調整部を有し、前記収差調整部は、エッジ部の色の変動が大きいほど、前記メモリに保持されている第三の画像の割合を高くすることを特徴とする。【選択図】図１
2016122946.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像より第三の画像を生成する画像処理装置において、
前記第三の画像が特定の構図となるよう、前記第一の画像を解像度変換し、第二の画像を生成する解像度変換部と、
収差調整部からの第三の画像を保持するメモリと、
前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像のエッジ情報を生成するエッジ検出部と、
前記エッジ情報と前記解像度変換部からの第二の画像の色情報と前記メモリに保持されている第三の画像の色情報から重みを生成し、前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像を合成する収差調整部を有し、
前記収差調整部は、エッジ部の色の変動が大きいほど、前記メモリに保持されている第三の画像の割合を高くすることを特徴とする画像処理装置。
【請求項２】
前記収差調整部は、光学パラメータ情報、または、切り出し位置情報、のいずれかまたは両方の変動がない場合には、前記解像度変換部からの第二の画像を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記解像度変換部は、被写体検出部を有し、前記被写体検出部で検出された被写体のサイズ、位置より第二の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記解像度変換部は、ユーザ指定部を有し、前記ユーザ指定部で指定されたサイズ、位置より第二の画像サイズを生成することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像の中から特定の被写体に着目した低解像度画像を自動で作成する技術に関する。
【背景技術】
【０００２】
近年、撮像装置の多画素化に伴い8Kx4Kのスーパーハイビジョン（SHV:Super Hi-Vision）を始めとした高解像度画像の撮像が可能となっている。一方で、出力装置である家庭用テレビはフルハイビジョン(FHD:Full Hi-Vision)が主流であるため、SHV画像をFHD出力装置に出力するには、SHV画像の全画角を縮小して出力するか、SHV画像の特定領域を切り出して出力することが行われている。
【０００３】
SHV画角内の特定領域を切り出して出力する方法の一つに、特許文献１に記載されているオートフレーミングがある。オートフレーミングとは、高解像度画像の中から、特定の被写体に注目して、被写体と背景のバランスが最適となるような一定の構図の低解像度画像を生成する方法である。カメラワーク（ズーム、パンニング等の操作）によって、高解像度画像の構図が変化しても、切り出し位置、リサイズ率を変えることで、一定の構図の低解像度画像を生成することが可能となる。
【０００４】
図７は高解像度画像の撮像中に焦点距離をテレ側からワイド側へ変化させた場合を示している。高解像画像は焦点距離の変動に伴い画角が変動するが、オートフレーミングした低解像度画像は一定の構図として出力されることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２６１６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、高解像度画像の焦点距離が変化した場合、色収差の様子が変わることになる。図８は図７と同様に、高解像度画像の焦点距離がテレ側からワイド側へ変化させた場合を示している。高解像度画像は、焦点距離の変化に伴い構図が変化するため、色収差の様子が変化しても違和感は少ない。
【０００７】
一方、低解像度画像は、構図が変わらないのに色収差の様子が変化するので違和感を覚えることになる。また、色収差の補正が行われていたとしても、製造誤差等に起因する補正誤差により色収差の補正残りが発生し、その様子の変化が起こることとなる。
【０００８】
そこで、本発明の目的は、高解像度画像の構図が変化しても一定の構図となる低解像度画像を生成する際、低解像度画像の色収差の変化を抑制することで違和感の少ない低解像度画像を得ることが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、
第一の画像より第三の画像を生成する画像処理装置において、
前記第三の画像が特定の構図となるよう、前記第一の画像を解像度変換し、第二の画像を生成する解像度変換部と、
収差調整部からの第三の画像を保持するメモリと、
前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像のエッジ情報を生成するエッジ検出部と、
前記エッジ情報と前記解像度変換部からの第二の画像の色情報と前記メモリに保持されている第三の画像の色情報から重みを生成し、前記解像度変換部からの第二の画像と前記メモリに保持されている第三の画像を合成する収差調整部を有し、
前記収差調整部は、エッジ部の色の変動が大きいほど、前記メモリに保持されている第三の画像の割合を高くすることを特徴とする。
【００１０】
また、本発明の他の特徴とするところは、
前記収差調整部は、光学パラメータ情報、または、切り出し位置情報、のいずれかまたは両方の変動がない場合には、前記解像度変換部からの第二の画像を出力することを特徴としている。
【００１１】
また、本発明の他の特徴とするところは、
前記解像度変換部は、被写体検出部を有し、前記被写体検出部で検出された被写体のサイズ、位置より第二の画像を生成することを特徴としている。
【００１２】
また、本発明の他の特徴とするところは、
前記解像度変換部は、ユーザ指定部を有し、前記ユーザ指定部で指定されたサイズ、位置より第二の画像サイズを生成することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、高解像度画像の構図が変化しても一定の構図となる低解像度画像を生成する際、低解像度画像の色収差の変化を、前後画像の色の変化または焦点距離、絞り、物体距離(以下、光学パラメータと呼ぶ)、あるいは、像高に応じて抑制することで違和感の少ない低解像度画像を得ることが可能な画像処理装置の提供を実現できる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施例の構成図
【図２】第１の実施例の収差調整部１０５の構成図
【図３】第１の実施例の色収差の調整方法を示すフローチャート
【図４】第１の実施例の重み生成方法を示す図
【図５】第２の実施例の構成図
【図６】色収差の調整方法についてのフローチャート
【図７】オートフレーミングを説明する図
【図８】課題を説明する図
【発明を実施するための形態】
【００１５】
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
【００１６】
［実施例１］
図１乃至図４を参照して、第１の実施例について説明する。図１に、第１の実施例の構成図を示す。図１において、１０１はあらかじめ撮影された高解像度画像で、本実施例では現像済みのＹＣｂＣｒデータを想定して説明する。１０２は色収差変化の調整がなされた低解像度画像、１０３は高解像度画像１０１の解像度を、切り出し、または、リサイズで低解像度画像１０２の解像度に変換する解像度変換部であるが、特定の被写体に注目して、被写体と背景のバランスが最適となるような一定の構図の低解像度画像を生成している。
【００１７】
１０４は解像度変換部１０３からの低解像度画像とメモリ上に保持されている色収差調整済み低解像度画像１０２からエッジを検出するエッジ検出部、１０５は解像度変換部１０３からの低解像度画像とメモリ上に保持されている１Ｖ以上前の色収差調整済み低解像度画像１０２と、エッジ検出部１０４からのエッジ情報より、解像度変換部１０３からの低解像度画像の色収差を調整し、メモリへ出力する収差調整部である。
【００１８】
図２に、収差調整部１０５の構成図を示す。図２において、１０５０はエッジ検出部１０４からのエッジ情報と解像度変換部１０３からの低解像度画像とメモリ上に保持されている色収差調整済み低解像度画像１０２のそれぞれのＣｂ、Ｃｒから、重みを生成する重み生成部１０５０、１０５１は重み生成部１０５０の重みに応じて、解像度変換部１０３からの低解像度画像とメモリ上に保持されている色収差調整済み低解像度画像１０２を重み付け合成する画像合成部１０５１である。
【００１９】
次に、本発明の特徴である色収差の調整方法について、図３のフローチャート、図４の説明図を参照しながら説明する。
【００２０】
図２において、Ｓ１０１は、解像度変換部１０３からの低解像度画像、および、メモリ上に保持されている色収差調整済み低解像度画像１０２のそれぞれから検出したエッジをエッジ情報として重み生成部１０５０へ出力し、Ｓ１０２へ進む。
【００２１】
次に、Ｓ１０２では、重み生成部１０５０において、解像度変換部１０３からの低解像度画像より検出したエッジ情報（以下、Ａｅｄｇｅと示す）と、メモリ上に保持されている１Ｖ以上前の色収差調整済み低解像度画像１０２より検出したエッジ情報（以下、Ｂｅｄｇｅと示す）の差分が閾値ｅｄｇｅＴｈより小さいかどうかを判定し、小さかったら着目画素位置には同じようなエッジが存在するとしてＳ１０３へ進む、閾値ｅｄｇｅＴｈより大きかったら着目画素位置には同じようなエッジは存在しないとしてＳ１０４へ進む。
【００２２】
Ｓ１０３においては、エッジ検出部１０４からのエッジ情報と解像度変換部１０３からの低解像度画像とメモリ上に保持されている色収差調整済み低解像度画像１０２のそれぞれのＣｂ、Ｃｒから、重みを生成してＳ１０５へ進む。
【００２３】
ここで、重みの生成方法について図４を参照して説明する。Ｓ１０３においては、着目画素位置には同じようなエッジが存在すると判定されており、光学パラメータが変わらなければ発生している色収差も同程度と考えられる。一方で、高解像度画像の焦点距離が変化したとしても、解像度変換部１０３からの低解像度画像は特定の被写体に注目して、被写体と背景のバランスが最適となるような一定の構図で低解像度化されており、このような場合には色収差の様子が変化するので違和感を覚えることになる。
【００２４】
そこで、同じようなエッジが存在すると判定された画素の色が、時間方向に大きく変わらないように、例えば以下に示す演算を用いて得られた色の差に応じた重みを生成する。図４のように、色の差が大きいほど、時間的に前の色収差調整済み低解像度画像の重みが重くなるようにすることで時間方向の変動を抑制する。
（数１）Ｃｂｄｉｆｆ＝ａｂｓ（ＡＣｂ−ＢＣｂ）
（数２）Ｃｒｄｉｆｆ＝ａｂｓ（ＡＣｒ−ＢＣｒ）
ここで、ＡＣｂ、ＡＣｒは、解像度変換部１０３からの低解像度画像のＣｂ、Ｃｒであり、ＢＣｂ、ＢＣｒは、色収差調整済み低解像度画像１０２のそれぞれのＣｂ、Ｃｒである。
【００２５】
Ｓ１０４においては、着目画素位置には同じようなエッジが存在しないと判定されており、色が大きく異なったとしても、それは背景が変わったりしたためだと考えられるため、解像度変換部１０３からの低解像度画像の重みが重くなるように重み生成部１０５０からは重みゼロを生成してＳ１０５に進む。
【００２６】
Ｓ１０５においては、重み生成部１０５０からの重みに応じて解像度変換部１０３からの低解像度画像とメモリ上に保持されている色収差調整済み低解像度画像１０２を重み付け合成する。
【００２７】
以上説明したように、本実施例によれば、同じようなエッジが存在すると判定され、かつ、色の差が大きいほど、色収差調整済み低解像度画像の重みが重くなるように重みを生成することで時間方向の変動を抑制することができるようになる。
【００２８】
［実施例２］
図５乃至図６を参照して、第２の実施例について説明する。この第２の実施例は、第１の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは、重みの生成に際し、あらかじめ保持してある光学パラメータ情報、または、解像度変換部１０３の切り出し位置情報を参照することで、色収差の変化か否かの判定精度を向上した点である。
【００２９】
図５に、第２の実施例の構成図を示す。図５において、１０６は高解像度画像１０１撮影時の光学パラメータの情報であり、また、収差調整部１０５は解像度変換部１０３から切り出し位置情報を取得するようにしており、重み生成部１０５０での重み生成に際し、光学パラメータの情報および切り出し位置情報を利用している。
【００３０】
次に、本発明の特徴である色収差の調整方法について、図６のフローチャートを参照しながら説明する。
【００３１】
Ｓ２０１においては、重み生成部１０５０にて、光学パラメータ情報１０６を取得するとともに、１Ｖ前の光学パラメータ情報を記憶しておき、取得した光学パラメータ情報と記憶してある光学パラメータを比較し、光学パラメータが変化した場合はＳ１０３へ進み、光学パラメータが変化していない場合はＳ２０２へ進む。
【００３２】
これは、同じようなエッジが存在すると判定され、かつ、色の差が大きい場合に、光学パラメータが変化していれば色収差の変化の可能性があると考えられ、また、光学パラメータが変化していなければ、それはネオンのような背景の色が変わった可能性があると考えられるためである。
【００３３】
Ｓ２０２においては、重み生成部１０５０にて、解像度変化部１０３からの切り出し位置情報を取得するとともに、１Ｖ前の切り出し位置情報を記憶しておき、取得した切り出し位置と１Ｖ前の切り出し位置情報を記憶して置き、切り出し位置が変わった場合にはＳ１０３へ進み、切り出し位置が変わっていない場合にはＳ１０４へ進む。
【００３４】
これは、同じようなエッジが存在すると判定され、かつ、色の差が大きい場合、また、光学パラメータが変化していない場合でも、カメラを振ったため、センサー上の切り出し位置が変わり、像高が変わるので、その場合には色収差の変化の可能性があると考えられ、また、像高が変わらない場合には、背景の色が変わった可能性があると考えられるためである。
【００３５】
以上説明したように、本実施例によれば、同じようなエッジが存在すると判定され、かつ、色の差が大きい場合でも、光学パラメータの変動および切り出し位置の変動を参照することで、色収差の変化か否かの判定精度が向上し、背景の色が変化した時の誤抑制を減らすことができる。
【符号の説明】
【００３６】
１０１  高解像度画像、
１０２  色収差変化の調整がなされた１Ｖ以上前の低解像度画像、
１０３  解像度変換部、１０４  エッジ検出部、１０５  収差調整部、
１０６  光学パラメータ情報、１０５０  重み生成部、１０５１  画像合成部
【図４】
2016122946.tif 000003
【図１】
2016122946.tif 000004
【図２】
2016122946.tif 000005
【図３】
2016122946.tif 000006
【図５】
2016122946.tif 000007
【図６】
2016122946.tif 000008
【図７】
2016122946.tif 000009
【図８】
2016122946.tif 000010