(57)【要約】【課題】  １枚の入力画像から２つの画像を上下に切り出し、２つの画像処理プロセッサで画像処理をおこなう場合に、上下反転する、しないで画像処理プロセッサで処理する画像を切り替える画像処理装置を提供すること。【解決手段】  画像データを撮像する撮像部と、前記画像データを２つに分配して分配画像を生成する分配部と、前記分配画像を入力して処理する第一および第二の画像処理部と、第一および第二の画像処理部が出力した画像を合成する合成部と、合成された画像を出力する出力部を備え、前記第一および第二の画像処理部は分配画像入力部と、信号処理を施す信号処理部と、上下反転部を備え、前記信号処理部は評価値算出部と撮像データ補正部と、現像部と、防振処理部が含まれ、前記分配部と前記第一および第二の画像処理部は前記画像データを上下反転する場合としない場合で処理を切り替えることを特徴とする構成とした。【選択図】  図１
2018148395.tif 000002
【特許請求の範囲】
【請求項１】
画像データを撮像する撮像部と、
前記画像データを２つに分配して分配画像を生成する分配部と、
分配画像をそれぞれ入力して処理する第一および第二の画像処理部と、
第一および第二の画像処理部が出力した画像を合成する合成部と、
合成された画像を出力する出力部を備え、
前記第一および第二の画像処理部は、前記分配画像を入力する分配画像入力部と、信号処理を施す信号処理部と、上下反転部を備えることを特徴とし、
前記信号処理部は、評価値算出部と撮像データ補正部と、現像部と、防振処理部が含まれることを特徴とし、
前記分配部と前記第一および第二の画像処理部は、前記画像データを上下反転する場合としない場合で処理を切り替えることを特徴とする画像処理装置。
【請求項２】
前記分配部は、上下反転しないときは前記画像データを全面画像と下半分画像に分配し、上下反転するときは前記画像データを全面画像と上半分画像に分配して、それぞれ前記第一および第二の画像処理部の分配画像入力部に入力することを特徴とし、
前記第一の画像処理部の信号処理部は、上下反転しないときは全面画像から上半分を切り出して出力し、上下反転するときは全面画像から下半分を切り出して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分配部は、前記画像データを２つの全面画像に分配して、それぞれ前記第一および第二の画像処理部の分配画像入力部に入力することを特徴とし、前記第一の画像処理部の信号処理部は、上下反転しないときは全面画像から上半分を切り出して出力し、上下反転するときは全面画像から下半分を切り出して出力することを特徴とし、前記第二の画像処理部の信号処理部は、上下反転しないときは全面画像から下半分を切り出して出力し、上下反転するときは全面画像から上半分を切り出して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第一および第二の画像処理部は、データ一時保持部をさらに備え、
前記撮像データ補正部は、前記分配画像入力部からの分配画像を入力して補正したのちデータ一時保持部に出力し、前記現像部は前記撮像データ補正部がデータ一時保持部に出力したデータを随時読み出して現像処理をおこない、データ一時保持部に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記防振処理部は、前記現像部がデータ一時保持部に出力したデータを読み出して防振処理をおこない、出力をデータ一時保持部に出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第一および第二の画像処理部は、それぞれの上下反転部が、前記現像部がデータ一時保持部にデータを書き出す際に上下反転して出力もしくは、前記現像部がデータ一時保持部に出力したデータを読み出す際に上下反転して入力するように制御することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第一および第二の画像処理部は表示処理部をさらに備え、それぞれの表示処理部が、防振処理がない場合は前記現像部がデータ一時保持部に出力したデータを読み出し、防振処理がある場合は前記防振処理部がデータ一時保持部に出力したデータを読み出して前記合成部に送ることを特徴とする請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を分割して画像処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、カメラは４Ｋ（３８４０×２１６０画素）対応といった一層の高解像度化が進められている。こうした装置では、１つの画像処理プロセッサ（画像処理ＬＳＩ）だけでは画像処理能力が足りなくなる場合、１枚の入力画像から複数の画像を切り出し、複数の画像処理プロセッサで同時に画像処理を施す技術が用いられている。
【０００３】
例えば、特許文献１では、目標性能に応じた数だけ画像処理プロセッサを接続し、それぞれで領域分割した画像を処理することで画像処理性能を拡張可能なシステムが提案されている。また、特許文献２では、さまざまな出力走査に対応するために1ラインを分割し、２つの画像処理プロセッサで、上下反転、左右反転および同時出力方法を変更する装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特登録４８４３７４４号公報
【特許文献２】特開２０１４−２０２９２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、複数の画像から１枚の画像を生成することができるが、上下反転した画像を生成することを考慮していない。また、撮像素子からの撮像画像の読み出しで、走査線の下ラインから読み出して上下反転処理をおこなうと、充分な畜光時間を得られなくなったり、フレームの読み出しが間に合わなくなったりする場合がある。そのため、上下反転しない場合と上下反転する場合で、撮像素子の畜光時間や読み出しタイミングを変えなければならない可能性がある。
【０００６】
そこで本実施系では、上下反転しない場合と上下反転する場合で撮像素子の読み出しは変えずに、撮像素子から読み出した撮像画像をフレームバッファに出力したあとに上下反転処理をおこなう。このとき、撮像画像を分割処理して上下反転する際の課題に関して、２つの画像処理プロセッサで処理する場合について図８を用いて説明する。図８は、本発明が解決しようとする課題の撮像画像の分割処理を示す概略図である。
【０００７】
図８（ａ）は、撮像素子で撮像された１フレーム分の撮像画像の例である。図８（ｂ）は、第一画像処理装置と第二画像処理装置で処理される上半分画像８１０と下半分画像８１１である。図８（ｃ）は、上半分画像８１０、下半分画像８１１を上下反転した画像である。第一画像処理装置と第二画像処理装置は、上半分画像８１０、下半分画像８１１をフレームバッファから上下反転して読み出し、分割上下反転画像８２０、８２１を生成する。図８（ｄ）は、２つの画像処理装置から出力された画像を合成した画像である。２つの画像処理装置から出力された画像を合成するとき、上下反転しない場合と同様の順番で２つの画像を読み出すと、合成画像８３０は、分割処理した画像の単位で上下反転された状態で合成されるため、入力された撮像画像に対して反転された画像にならない。
【０００８】
撮像画像を正しく上下反転するためには、画像処理装置から出力された画像の合成方法を上下反転しない場合と変更したり、画像処理装置で使用するバッファを上下反転しない場合と上下反転時で切り替えたりする必要がある。特許文献２では、撮像画像を分割処理して上下反転する際に、表示の走査順序に基づいて分割した画像のフレームバッファへの出力順を切り替えるとともに、分割した画像の読み出しを切り替えている。しかしこのような構成では、パネルが複数ある場合など、出力先が複数ある場合、全ての出力先について出力順の切り替えや読み出しの切り替えをする必要があり、変更規模が大きくなる課題がある。
【０００９】
さらに撮像画像の光学補正処理をおこなう場合、上下反転をする場合と上下反転をしない場合で入力データが異なると、補正の絶対座標系が変わってしまう。補正の座標系が変わると、補正処理によっては上下反転をする場合と上下反転をしない場合で補正処理に用いるパラメータの算出処理を変える必要があるという課題がある。
【００１０】
また、特許文献２で開示された、表示の走査順序に基づいて分割画像のフレームバッファへの出力順を切り替える方法では、上下反転しない場合と上下反転時でフレームバッファの読み出しタイミングが変わってしまう。そのため、複数の画像処理装置で撮像画像の補正、現像をしたのちに合成して表示すると、上下反転しない場合と上下反転時において表示タイミングが変わってしまうという課題がある。
【００１１】
そこで、本発明では、１枚の入力画像から２枚の画像を上下に切り出し、２つの画像処理プロセッサで画像処理をおこなう場合において、上下反転しない場合と上下反転時とで、各画像処理プロセッサで処理する画像を上下切り替える。これにより、各画像処理プロセッサの入力を切り替えることで、少ない変更規模で表示タイミングを変えることなく、上下反転処理を可能する画像処理装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、画像データを撮像する撮像部と、
前記画像データを２つに分配して分配画像を生成する分配部と、
分配画像をそれぞれ入力して処理する第一および第二の画像処理部と、
第一および第二の画像処理部が出力した画像を合成する合成部と、
合成された画像を出力する出力部を備え、
前記第一および第二の画像処理部は、それぞれ前記分配画像を入力する分配画像入力部と、信号処理を施す信号処理部と、上下反転部を備えることを特徴とし、
前記信号処理部は、評価値算出部と撮像データ補正部と、現像部と、防振処理部が含まれることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、１枚の入力画像から２枚の画像を上下に切り出し、２つの画像処理プロセッサで上下反転を処理する時に、出力先が複数ある場合でも出力順の切り替えや読み出しの切り替えをせずに上下反転処理が可能な画像処理装置を提供することができる。また、上下反転処理時に補正処理に用いるパラメータの算出処理を変更することなく、上下反転処理が可能な画像処理装置を提供することができる。さらに、上下反転時に、上下反転しない場合と表示タイミングが変わることなく、上下反転処理が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態にかかわる撮像装置の構成例
【図２】信号処理部１０５ａ、１０５ｂの構成例
【図３】撮像画像の分割処理を示す概略図
【図４】本実施例における撮像画像の分割上下反転処理を示す概略図
【図５】本発明の第１の実施例における撮像画像の分割上下反転処理のフローチャート
【図６】本発明の第２の実施例における撮像画像の分割上下反転処理のフローチャート
【図７】本発明の第３の実施例における撮像画像の分割上下反転処理のフローチャート
【図８】撮像画像の分割上下反転処理における課題を示す概略図
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置の構成例を示す図である。撮像装置は第一の画像処理プロセッサ１００ａおよび第二の画像処理プロセッサ１００ｂ、操作部１１１、撮像光学ユニット１２０、撮像素子１３０、分配部１３１、合成部１４０、表示デバイス１５０、記録媒体１６０を備える。
【００１６】
第一の画像処理プロセッサ１００ａ、第二の画像処理プロセッサ１００ｂは、分配部１３１で分配して入力された画像データをそれぞれ処理して出力する。操作部１１１は、撮像装置本体の外装部に設けられた記録開始／終了ボタンやタッチパネル等で構成される入力デバイスで、ユーザの操作を第一の画像処理プロセッサ１００ａに伝える。
【００１７】
撮像光学ユニット１２０は、光学レンズ群で構成され、被写体像を撮像素子１３０の撮像面上に結像する。撮像素子１３０は、撮像面に結像された被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等であり、撮像信号をＡ／Ｄ変換して得られた画像データを出力する。分配部１３１は、第一の画像処理プロセッサ１００ａの制御に基づき、撮像素子１３０から出力された画像データから、第一の画像処理プロセッサ１００ａと第二の画像処理プロセッサ１００ｂの処理範囲をそれぞれ切り出す。切り出しは垂直方向におこなうことができるとし、全面を切り出したり、上半分や下半分を切り出したりできるものとする。切り出された２つの画像は、それぞれの画像処理プロセッサへ出力する。
【００１８】
合成部１４０は、第一の画像処理プロセッサ１００ａと、第二の画像処理プロセッサ１００ｂから上下分割されて出力された表示用の画像データを合成して、表示用の画像データを生成する。表示デバイス１５０は、合成部１４０で合成された表示用の画像データを表示する。記録媒体１６０は、第一の画像処理プロセッサ１００ａの制御に基づき、記録用の画像データが記録される。
【００１９】
次に、第一の画像処理プロセッサ１００ａの内部の構成を説明する。システム制御部１０１ａは、内部に不揮発性メモリとワークメモリを備え、不揮発性メモリに格納されたプログラムとデータに基づき、ワークメモリに一時的なデータを読み書きしながら、制御バス１０２ａで接続された第一の画像処理プロセッサ１００ａ内部の各ブロックの制御をおこなう。
【００２０】
通信部１０３ａは、システム制御部１０１ａの制御に基づき、第二の画像処理プロセッサ１００ｂと制御情報を通信する。分配画像入力部１０４ａは、分配部１３１から出力された画像データを入力して、信号処理部１０５ａに転送する。信号処理部１０５ａは、分配画像入力部１０４ａから送られてきた画像データに対して、さまざまな画像処理をおこなう。図２は信号処理部１０５ａ、１０５ｂの構成例を示す図である。信号処理部１０５ａ、１０５ｂは、評価値算出部１０５１ａ、１０５１ｂ、撮像画像補正部１０５２ａ、１０５２ｂ、現像処理部１０５３ａ、１０５３ｂ、防振処理部１０５４ａ、１０５４ｂを備える。
【００２１】
評価値算出部１０５１ａ、１０５１ｂは分配画像入力部１０４ａ、１０４ｂから送られた画像データを入力して、撮像画像の補正などの画像処理に用いる評価値を算出する。撮像画像補正部１０５２ａ、１０５２ｂは分配画像入力部１０４ａ、１０４ｂから送られた画像データに対して、評価値算出部１０５１ａ、１０５１ｂで得られた評価値に基づいて補正処理をおこなう。
【００２２】
現像処理部１０５３ａ、１０５３ｂは撮像画像補正部１０５２ａ、１０５２ｂで補正処理をおこなった画像データに対して評価値算出部１０５１ａ、１０５１ｂで得られた評価値に基づいてゲイン調整、ノイズリダクションなどの処理をして現像処理をおこなう。防振処理部１０５４ａ、１０５４ｂは現像処理部１０５３ａ、１０５３ｂによって現像処理をおこなった画像データに対して評価値算出１０５１ａ、１０５１ｂで得られた評価値に基づいて防振処理をおこなう。
【００２３】
ここで、評価値算出部１０５１ａ、１０５１ｂは入力と同じデータレートで評価値算出ができ、撮像画像補正部１０５２ａ、１０５２ｂは入力と同じデータレートで補正処理ができるとする。そして、現像処理部１０５３ａ、１０５３ｂ、防振処理部１０５４ａ、１０５４ｂは入力の半分程度の処理能力しか持たないとする。
【００２４】
画像メモリ１０６ａは、信号処理部１０５ａが処理した画像データを格納する。上下反転部１０７ａは、システム制御部１０１ａの制御に基づき、画像メモリ１０６ａに格納された画像データを上下反転する。表示処理部１０８ａは、画像メモリ１０６ａに格納された画像データを読み出して表示用にリサイズしてから、システム制御部１０１ａの制御に基づき、文字やアイコンで構成される表示情報を重畳して、表示用画面データを合成部１４０に出力する。
【００２５】
記録制御部１０９ａは、システム制御部１０１ａからの記録開始／終了の指示に応じて、画像メモリ１０６ａに格納された画像データを読み出して符号化する。また、データ転送部１０９ａを介して第二の画像処理プロセッサ１００ｂから転送されたデータと合成して、記録用画像データを記録媒体１６０に記録する。データ転送部１１０ａは、第二の画像処理プロセッサ１００ｂで符号化された記録用画像データを受け取り、記録媒体１０９ａに出力する。
【００２６】
次に、第二の画像処理プロセッサ１００ｂの内部の構成について説明する。第二の画像処理プロセッサ１００ｂの構成は、第一の画像処理プロセッサ１００ａと同じだが、システム構成上、一部のブロックが担う処理内容が異なる。第二の画像処理プロセッサ１００ｂ内部の１０２ｂ〜１０８ｂの各ブロックの処理内容は、第一の画像処理プロセッサ１００ａ内部の１０２ａ〜１０８ａの各ブロックの処理内容と同等である。第二の画像処理プロセッサ１００ｂは、通信部１０３ｂを介して、第一の画像処理プロセッサ１００ａの通信部１０３ａより制御情報を受け取り、システム制御部１０１ｂが各ブロックの制御をおこなう。
【００２７】
記録制御部１０９ｂ、データ転送部１１０ｂの各ブロックの処理内容は、第一の画像処理プロセッサ１００ａの記録制御部１０９ａ、データ転送部１１０ａの各ブロックと一部異なる。記録制御部１０９ｂは、システム制御部１０１ｂからの制御に基づき、画像メモリ１０６ｂに格納された画像データを読み出して符号化する。そして符号化した画像データをデータ転送部１１０ｂに出力する。データ転送部１１０ｂは、記録制御部１０９ｂから出力された符号化済みの画像データを、第一の画像処理プロセッサ１００ａのデータ転送部１１０ａに転送する。
【００２８】
［実施例１］
以下、図３および図４、図５を参照して、本発明の第1の実施例による、撮像画像を上下分割して処理する場合の処理について説明する。図３は、撮像画像について上下反転しない場合の分割処理を示す概略図である。図４は、撮像画像について上下反転する場合の分割処理を示す概略図である。図５は、本発明の第１の実施例における撮像画像の分割上下反転処理のフローチャートである。
【００２９】
まずは、撮像画像を上下反転しない場合の処理について説明する。ステップＳ５００で、撮像素子１３０で撮像された画像を分配部１３１に入力する。図３（ａ）は、撮像素子１３０で撮像された１フレーム分の撮像画像の例である。現像処理部１０５３ａ、１０５３ｂおよび防振処理部１０５４ａ、１０５４ｂは入力と同じデータレートで処理することができないので、２つの画像処理プロセッサ１００ａ、１００ｂで分散して処理をおこなう。
【００３０】
ステップＳ５０１で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示がない場合、ステップＳ５０５へ進む。ステップＳ５０５で、分配部１３１は撮像画像を２つに分配して、画像処理プロセッサ１００ａと１００ｂに入力する画像を生成する。図３（ｂ）は、分配部１３１が画像処理プロセッサ１００ａ、１００ｂにそれぞれ入力する画像の例である。分配部１３１で撮像画像の全面からなる画像データ３１０を生成し、第一の画像処理プロセッサ１００ａの分配画像入力部１０４ａに送る。
【００３１】
また分配部１３１で撮像画像の下半分を切り出した画像データ３１１を生成し、第二の画像処理プロセッサ１００ｂの分配画像入力部１０４ｂに送る。ステップＳ５０６で、第一の画像処理プロセッサ１００ａは画像データ３１０から上半分を切り出した画像を生成する。
【００３２】
第一の画像処理プロセッサ１００ａは、分割画像入力部１０４ａで入力した画像データ３１０を信号処理部１０５ａに送り、画像データ３１０から評価値算出部１０５１ａで評価値を算出する。評価値算出部１０５１ａで算出した評価値を、通信部１０３ａおよび１０３ｂを介して第二の画像処理プロセッサ１００ｂへ送る。
【００３３】
第一の画像処理プロセッサ１００ａは、算出した評価値を用いて撮像画像補正部１０５２ａにより画像データ３１０に対して補正処理をおこなう。その後、信号処理部１０５ａで上半分を切り出す処理をして画像データ３１２を生成し、画像メモリ１０６ａへ格納する。また、第二の画像処理プロセッサ１００ｂは通信部１０３ｂを介して受信した評価値を用いて撮像画像補正部１０５２ｂにより画像データ３１１に対して補正処理をおこない、画像メモリ１０６ｂへ格納する。
【００３４】
ステップＳ５０７で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの画像データに対して現像処理部１０５３ａ、１０５３ｂより現像処理をおこなう。図３（ｃ）は、現像処理部１０５３ａ、１０５３ｂにより現像処理をおこなって生成した画像の例である。第一の画像処理プロセッサ１００ａの現像処理部１０５３ａは、画像メモリ１０６ａから画像データ３１２を読み出し、評価値算出部１０５１ａにより算出した評価値を用いて現像処理を施す。現像処理を施して生成した記録および表示用画像３２０を画像メモリ１０６ａに格納する。
【００３５】
また、第二の画像処理プロセッサ１００ｂの現像処理部１０５３ｂは、通信部１０３ｂを介して第一の画像処理プロセッサ１００ａの通信部１０３ａより受信した評価値により、画像メモリ１０６ｂから画像データ３１１を読み出して現像処理を施す。現像処理を施して生成した記録および表示用画像３２１を画像メモリ１０６ｂに格納する。ステップＳ５０８で、記録制御部１０９ａおよび合成部１４０は２つの記録および表示用画像を合成し、記録および表示する。
【００３６】
図３（ｄ）は、第一の画像処理プロセッサ１００ａの記録制御部１０９ａと合成部１４０で記録および表示用の画像３２０、３２１を合成して生成した画像の例である。第二の画像処理プロセッサ１００ｂの記録制御部１０９ｂは、画像メモリ１０６ｂから記録用画像３２１を読み出して符号化処理したのち、データ転送部１１０ｂに送る。データ転送部１１０ｂから第一の画像処理プロセッサ１００ａのデータ転送部１１０ａに転送する。第一の画像処理プロセッサ１００ａの記録制御部１０９ａは、画像メモリ１０６ａから記録用画像３２０を読み出して符号化処理する。
【００３７】
そしてデータ転送部１１０ａに送られてきた記録用画像３２１を符号化したデータと合成して符号化された合成画像３３０を生成する。また合成部１４０は、表示処理部１０８ａが画像メモリ１０６ａから読み出した表示用画像３２０を表示用にリサイズした画像と、表示処理部１０８ｂが画像メモリ１０６ｂから読み出した表示用画像３２１を表示用にリサイズした画像を受信する。受信した画像を合成して、表示用の合成画像３３０を生成する。このとき表示先が複数ある場合、表示先処理部１０８ａ、１０８ｂは表示先毎に画像メモリ１０６ａ、１０６ｂから表示用画像３２０を読み出し、表示先に応じてリサイズして合成部１４０に送る。
【００３８】
次に、撮像画像を上下反転する場合の処理について説明する。ステップＳ５００で、撮像素子１３０で撮像された画像を分配部１３１に入力する。図４（ａ）は図３（ａ）と同様に撮像素子１３０で撮像された１フレーム分の撮像画像の例である。
【００３９】
ステップＳ５０１で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示があった場合、ステップＳ５０２へ進む。ステップＳ５０２で、分配部１３１は撮像画像を２つに切り出して、画像処理プロセッサ１００ａと１００ｂに入力する画像を生成する。図４（ｂ）は、分配部１３１が画像処理プロセッサ１００ａ、１００ｂにそれぞれ入力する画像の例である。分配部１３１で撮像画像の全面からなる画像データ４１０を生成し、第一の画像処理プロセッサ１００ａの分配画像入力部１０４ａに送る。また、分配部１３１で撮像画像の上半分を切り出した画像データ４１１を生成し、第二の画像処理プロセッサ１００ｂの分配画像入力部１０４ｂに送る。
【００４０】
ステップＳ５０３で、第一の画像処理プロセッサ１００ａは画像データ４１０から下半分を切り出した画像を生成する。第一の画像処理プロセッサ１００ａは、分配画像入力部１０４ａで入力した画像データ４１０を信号処理部１０５ａに送り、画像データ４１０から評価値算出部１０５１ａで評価値を算出する。評価値算出部１０５１ａで算出した評価値を、通信部１０３ａおよび１０３ｂを介して第二の画像処理プロセッサ１００ｂへ送る。
【００４１】
第一の画像処理プロセッサ１００ａは、算出した評価値を用いて撮像画像補正部１０５２ａにより画像データ４１０に対して補正処理をおこなう。その後、信号処理部１０５ａで下半分を切り出す処理をして画像データ４１２を生成し、画像メモリ１０６ａへ格納する。また、第二の画像処理プロセッサ１００ｂは通信部１０３ｂを介して受信した評価値を用いて撮像画像補正部１０５２ｂにより画像データ４１１に対して補正処理をおこない、画像メモリ１０６ｂへ格納する。
【００４２】
ステップＳ５０４で、上下反転部１０７ａ、１０７ｂは上下に分割した画像データに対して上下反転処理をおこなう。図４（ｃ）は、画像データ４１２、４１１を上下反転した画像である。第一の画像処理プロセッサ１００ａの上下反転部１０７ａは、画像メモリ１０６ａから画像データ４１２を読み出し、上下反転処理をおこなって上下反転画像データ４２０を生成し、画像メモリ１０６ａに格納する。
【００４３】
また、第二の画像処理プロセッサ１００ｂの上下反転部１０７ｂは、画像メモリ１０６ｂから画像データ４１１を読み出し、上下反転処理をおこなって上下反転画像データ４２１を生成し、画像メモリ１０６ｂに格納する。ステップＳ５０７で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの上下反転画像データに対して現像処理部１０５３ａ、１０５３ｂにより現像処理をおこなう。
【００４４】
図４（ｄ）は、現像処理部１０５３ａ、１０５３ｂにより現像処理をおこなって生成した画像の例である。第一の画像処理プロセッサ１００ａの現像処理部１０５３ａは、画像メモリ１０６ａから上下反転画像データ４２０を読み出し、評価値算出部１０５１ａで算出した評価値により現像処理を施す。現像処理を施して生成した記録および表示用画像４３０を画像メモリ１０６ａに格納する。
【００４５】
また、第二の画像処理プロセッサ１００ｂの現像処理部１０５３ｂは、通信部１０３ｂを介して第一の画像処理プロセッサ１００ａの通信部１０３ａより受信した評価値により、画像メモリ１０６ｂから上下反転画像データ４２１を読み出して現像処理を施す。現像処理を施して生成した記録および表示用画像４３１を画像メモリ１０６ｂに格納する。ステップＳ５０８で、記録制御部１０９ａおよび合成部１４０は、２つの記録および表示用画像を合成し、記録および表示する。
【００４６】
図４（ｅ）は、第一の画像処理プロセッサ１００ａの記録制御部１０９ａと合成部１４０で記録および表示用の画像４３０、４３１を合成して生成した画像の例である。第二の画像処理プロセッサ１００ｂの記録制御部１０９ｂは、画像メモリ１０６ｂから記録用画像４３１を読み出して符号化処理したのち、データ転送部１１０ｂに送る。データ転送部１１０ｂから第一の画像処理プロセッサ１００ａのデータ転送部１１０ａに転送する。第一の画像処理プロセッサ１００ａの記録制御部１０９ａは、画像メモリ１０６ａから記録用画像４３０を読み出して符号化処理する。
【００４７】
そしてデータ転送部１１０ａに送られてきた記録用画像４３１を符号化したデータと合成して符号化された合成画像４４０を生成する。また合成部１４０は、表示処理部１０８ａが画像メモリ１０６ａから読み出した表示用画像４３０を表示用にリサイズした画像と、表示処理部１０８ｂが画像メモリ１０６ｂから読み出した表示用画像４３１を表示用にリサイズした画像を受信する。受信した画像を合成して、表示用の合成画像４４０を生成する。このとき表示先が複数ある場合、表示先処理部１０８ａ、１０８ｂは表示先毎に画像メモリ１０６ａ、１０６ｂから表示用画像４３０を読み出し、表示先に応じてリサイズして合成部１４０に送る。
【００４８】
以上の処理により、上下反転指示があった場合、それぞれの画像処理プロセッサで処理する画像を上下で切り替えることで、画像データを上下に分割して処理する際の上下反転を実現する。
【００４９】
本実施例の撮像装置によれば、１枚の撮像画像を上下に分割した画像データを生成し、２つの画像処理プロセッサで画像処理をおこなう場合、上下反転しない場合と上下反転しない場合で、各画像処理プロセッサで処理する画像を切り替える。これにより、全ての出力先について出力順の切り替えや読み出しの切り替えをすることなく、少ない変更規模で上下反転が可能である。
【００５０】
［実施例２］
以下、図３および図４、図６を参照して、本発明の第２の実施例による、撮像画像の上下分割処理について説明する。図６は、本発明の第２の実施例における撮像画像の分割上下反転処理のフローチャートである。まずは、撮像画像を上下反転しない場合の処理について説明する。
【００５１】
ステップＳ６００で、撮像素子１３０で撮像された画像を分配部１３１に入力する。ステップＳ６０１で、分配部１３１は撮像画像を２つに切り出して、画像処理プロセッサ１００ａと１００ｂに入力する画像を生成する。第２の実施例では、図３（ｂ）の画像データ３１０を第一の画像処理プロセッサ１００ａの分配画像入力部１０４ａと第二の画像処理プロセッサ１００ｂの分配画像入力部１０４ｂに送る。
【００５２】
ステップＳ６０２で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示がない場合、ステップＳ６０５へ進む。ステップＳ６０５で、第一の画像処理プロセッサ１００ａは画像データ３１０から上半分を切り出した画像データを生成し、第二の画像処理プロセッサ１００ｂは画像データ３１０から下半分を切り出した画像データを生成する。
【００５３】
第一の画像処理プロセッサ１００ａは、分配画像入力部１０４ａで入力した画像データ３１０を信号処理部１０５ａに送り、画像データ３１０から評価値算出部１０５１ａで評価値を算出する。撮像画像補正部１０５２ａは算出した評価値を用いて画像データ３１０に対して補正処理をおこなう。
【００５４】
その後、信号処理部１０５ａで上半分を切り出す処理をして画像データ３１２を生成し、画像メモリ１０６ａへ格納する。また、第二の画像処理プロセッサ１００ｂは、分配画像入力部１０４ｂで入力した画像データ３１０を信号処理部１０５ｂに送り、画像データ３１０から評価値算出部１０５１ｂで評価値を算出する。撮像画像補正部１０５２ｂは算出した評価値を用いて画像データ３１０に対して補正処理をおこなう。その後、信号処理部１０５ｂで下半分を切り出す処理をして画像データ３１１を生成し、画像メモリ１０６ａへ格納する。
【００５５】
ステップＳ６０６で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの画像データに対して現像処理部１０５３ａ、１０５３ｂにより現像処理をおこなう。第一の画像処理プロセッサ１００ａの現像処理部１０５３ａは、画像メモリ１０６ａから画像データ３１２を読み出し、評価値算出部１０５１ａで算出した評価値を用いて現像処理を施す。現像処理を施して生成した記録および表示表画像３２０を画像メモリ１０６ａに格納する。
【００５６】
また、第二の画像処理プロセッサ１００ｂの現像処理部１０５３ｂは、画像メモリ１０６ｂから画像データ３１１を読み出し、評価値算出部１０５１ｂで算出した評価値を用いて現像処理を施す。現像処理を施して生成した記録および表示用画像３２１を画像メモリ１０６ｂに格納する。ステップＳ６０７で、記録制御部１０９ａおよび合成部１４０は、２つの記録および表示用画像を合成し、記録および表示する。
【００５７】
次に撮像画像を上下反転する場合の処理について説明する。ステップＳ６００で、撮像素子１３０で撮像された画像を入力する。ステップＳ６０１で、分配部１３１は撮像画像を２つに切り出して、画像処理プロセッサ１００ａと１００ｂに入力する画像を生成する。第２の実施例では、図４（ｂ）の画像データ４１０を第一の画像処理プロセッサ１００ａの分配画像入力部１０４ａと第二の画像処理プロセッサ１００ｂの分配画像入力部１０４ｂに送る。
【００５８】
ステップＳ６０２で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示がある場合、ステップＳ６０３へ進む。ステップＳ６０３で、第一の画像処理プロセッサ１００ａは画像データ４１０から下半分を切り出した画像データを生成し、第二の画像処理プロセッサ１００ｂは画像データ４１０から上半分を切り出した画像データを生成する。
【００５９】
第一の画像処理プロセッサ１００ａは、分配画像入力部１０４ａで入力した画像データ４１０を信号処理部１０５ａに送り、画像データ４１０から評価値算出部１０５１ａで評価値を算出する。撮像画像補正部１０５２ａは算出した評価値を用いて画像データ４１０に対して補正処理をおこなう。その後、信号処理部１０５ａで下半分を切り出す処理をして画像データ４１２を生成し、画像メモリ１０６ａに格納する。
【００６０】
また、第二の画像処理プロセッサ１００ｂは、分配画像入力部１０４ｂで入力した画像データ４１０を信号処理部１０５ｂに送り、画像データ３１０から評価値算出部１０５１で評価値を算出する。撮像画像補正部１０５２ｂは算出した評価値を用いて画像データ４１０に対して補正処理をおこなう。その後、信号処理部１０５ｂで上半分を切り出す処理をして画像データ４１１を生成し、画像メモリ１０６ｂへ格納する。ステップＳ６０４で、上下反転部１０６ａ、１０６ｂは上下に分割した画像データに対して上下反転処理をおこなう。
【００６１】
図４（ｃ）は、画像データ４１２、４１１を上下反転した画像である。第一の画像処理プロセッサ１００ａの上下反転部１０７ａは、画像メモリ１０６ａから画像データ４１２を読み出し、上下反転処理をおこなって上下反転画像データ３２０を生成し、画像メモリ１０６ａに格納する。また、第二の画像処理プロセッサ１００ｂの上下反転部１０７ｂは、画像メモリ１０６ｂから画像データ４１１を読み出し、上下反転処理をおこなって上下反転画像データ４２１を生成し、画像メモリ１０６ｂに格納する。ステップＳ６０６で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの上下反転画像データに対して現像処理をおこなう。
【００６２】
図４（ｄ）は、信号処理部１０５ａ、１０５ｂにより現像処理をおこなって生成した画像の例である。第一の画像処理プロセッサ１００ａの現像処理部１０５３ａは、画像メモリ１０６ａから上下反転画像データ４２０を読み出し、画像データ４１０から算出した評価値により現像処理を施す。現像処理を施して生成した記録および表示用画像４３０を画像メモリ１０６ａに格納する。
【００６３】
また、第二の画像処理プロセッサ１００ｂの現像処理部１０５３ｂは、画像メモリ１０６ｂから上下反転画像データ４２１を読み出し、画像データ４１０から算出した現像パラメータにより現像処理を施す。現像処理を施して生成した記録および表示用画像４３１を画像メモリ１０６ｂに格納する。ステップＳ６０７で、記録制御部１０９ａおよび合成部１４０は、２つの記録および表示用画像を合成し、記録および表示する。
【００６４】
本実施例の撮像装置によれば、１枚の撮像画像を上下に分割した画像データを用いて上下反転をおこなう際に、撮像画像の光学補正処理や現像処理に用いる評価値算出をそれぞれの画像処理プロセッサでおこなう。このとき、上下反転しない場合と上下反転する場合について同じ入力データで評価値算出をおこなうため、同じ絶対座標系で評価値算出をして、光学補正処理をすることができる。
【００６５】
［実施例３］
以下、図７を参照して、本発明の第３の実施例による、撮像画像の上下分割処理について説明する。図７は、本発明の第３の実施例における撮像画像の分割上下反転処理のフローチャートである。まずは、撮像画像を上下反転しない場合の処理について説明する。
【００６６】
ステップＳ７００で、撮像素子１３０で撮像された画像を分配部１３１に入力する。ステップＳ７０１で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示がない場合、ステップＳ７０６へ進む。ステップＳ７０６で、分配部１３１は撮像画像を２つに切りだして画像処理プロセッサ１００ａ、１００ｂに入力する。ここでは、撮像画像全面からなる画像データを画像処理プロセッサ１００ａに入力し、下半分を切り出した画像データを画像処理プロセッサ１００ｂに入力する。
【００６７】
ステップＳ７０７で、第一の画像処理プロセッサ１００ａは画像データから上半分を切り出した画像データを生成する。第一の画像処理プロセッサ１００ａは、分配画像入力部１０４ａから信号処理部１０５ａへ画像データを送る。信号処理部１０５ａ内の撮像画像補正部１０５２ａで画像データに対して補正処理をおこなったのち、上半分を切り出して上半分の画像データを画像メモリ１０６ａへ格納する。また、第二の画像処理プロセッサ１００ｂは、分配画像入力部１０４ｂから信号処理部１０５ｂへ上半分の画像データを送る。信号処理部１０５ｂ内の撮像画像補正部１０５２ｂで補正処理をおこなったのち、補正済みの下半分の画像データを画像メモリ１０６ｂへ格納する。
【００６８】
ステップＳ７０８で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの画像データに対して現像処理部１０５３ａおよび１０５３ｂによって現像処理をおこなう。このとき現像処理部１０５３ａは、撮像画像補正部１０５２ａによって補正された上半分の画像データ全てが画像メモリ１０６ａに格納されるのを待たずに、画像メモリ１０６ａへ格納されたデータを順次読みだして現像処理をおこなう。
【００６９】
同様に、現像処理部１０５３ｂは、撮像画像補正部１０５２ｂによって補正された下半分の画像データ全てが画像メモリ１０６ｂに格納されるのを待たずに、画像メモリ１０６ｂへ格納されたデータを順次読みだして現像処理をおこなう。現像処理部１０５３ａ、１０５３ｂで現像処理されたデータは、それぞれ画像メモリ１０６ａ、１０６ｂに格納される。現像処理部１０５３ａ、１０５３ｂの出力に対して、防振処理部１０５４ａ、１０５４ｂによる防振処理がある場合は、現像後のデータを画像メモリ１０６ａ、１０６ｂから読み出しておこなう。ステップＳ７０９で、記録制御部１０９ａおよび合成部１４０は２つの画像を合成し、記録および表示する。
【００７０】
次に撮像画像を上下反転する場合の処理について説明する。ステップＳ７００で、撮像素子１３０で撮像された画像を分配部１３１に入力する。ステップＳ７０１で、システム制御部１０１ａは操作部１１１からの上下反転指示の有無を判定する。上下反転指示があった場合、ステップＳ７０２へ進む。ステップＳ７０２で、分配部１３１は撮像画像を２つに切り出して画像処理プロセッサ１００ａ、１００ｂに入力する。ここでは、撮像画像全面からなる画像データを画像処理プロセッサ１００ａに入力し、上半分の分割画像を画像処理プロセッサ１００ｂに入力する。
【００７１】
ステップＳ７０３で、第一の画像処理プロセッサ１００ａは画像データから下半分を切り出した画像を生成する。第一の画像処理プロセッサ１００ａは、分配画像入力部１０４ａから信号処理部１０５ａへ画像データを送る。信号処理部１０５ａ内の撮像画像補正部１０５２ａで補正処理をおこなったのち、下半分を切り出して下半分の画像データを画像メモリ１０６ａへ格納する。また、第二の画像処理プロセッサ１００ｂは、分配画像入力部１０４ｂから信号処理部１０５ｂへ下半分の画像データを送る。信号処理部１０５ｂ内の撮像画像補正部１０５２ｂで補正処理をおこなったのち、補正済みの上半分の画像データを画像メモリ１０６ｂへ格納する。
【００７２】
ステップＳ７０４で、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの画像データに対して現像処理部１０５３ａおよび１０５３ｂによって現像処理をおこなう。このとき現像処理部１０５３ａは、撮像画像補正部１０５２ａによって補正された下半分の画像データ全てが画像メモリ１０６ａに格納されるのを待たずに、画像メモリ１０６ａへ格納されたデータを順次読みだして現像処理をおこなう。
【００７３】
同様に、現像処理部１０５３ｂは、撮像画像補正部１０５２ｂによって補正された上半分の画像データ全てが画像メモリ１０６ｂに格納されるのを待たずに、画像メモリ１０６ｂへ格納されたデータを順次読み出して現像処理をおこなう。現像処理部１０５３ａ、１０５３ｂで現像処理されたデータは、それぞれ画像メモリ１０６ａ、１０６ｂに格納される。
【００７４】
ステップＳ７０５で、上下反転部１０７ａ、１０７ｂは画像データに対して上下反転処理をおこなう。このとき、上下反転部１０７ａは現像処理部１０５３ａの出力を上下反転して出力して画像メモリ１０６ａに格納するように制御、または現像処理されたデータを画像メモリ１０６ａから読み出すときに上下反転するように制御する。また、上下反転部１０７ｂは現像処理部１０５３ｂの出力を上下反転して出力し、画像メモリ１０６ｂに格納するように制御、または現像処理されたデータを画像メモリ１０６ｂから読み出すときに上下反転するように制御する。
【００７５】
現像処理部１０５３ａ、１０５３ｂの出力に対して、防振処理部１０５４ａ、１０５４ｂによる防振処理がある場合は、現像後のデータを画像メモリ１０６ａ、１０６ｂから読み出しておこなう。このとき、防振処理部１０５４ａ、１０５４ｂの読み出しで上下反転処理をおこなっても構わない。ステップＳ７０９で、記録制御部１０９ａおよび合成部１４０は、２つの画像データを合成し、記録および表示する。
【００７６】
ここでは分配部で撮像画像全面の画像データと上半分、もしくは下半分に切りだした画像データに分配した画像を生成して画像処理プロセッサ１００ａ、１００ｂに入力する場合について説明した。すなわち、第一の画像処理プロセッサ１００ａ内の評価値算出部１０５１ａで評価値を算出し、第二の画像処理プロセッサ１００ｂは、通信部１０３ｂを介して第一の画像処理プロセッサ１００ａで算出した評価値を受信する場合である。第２の実施例同様、分配部で撮像画像全面の２つの画像データをそれぞれ画像処理プロセッサ１００ａ、１００ｂに入力し、評価値算出部１０５１ａ、１０５２ｂそれぞれで評価値を算出したあとに上下に切りだした画像データを生成しても構わない。
【００７７】
本実施例の撮像装置によれば、上下反転時に１枚の撮像画像を上下に切りだした画像データを生成し、２つの画像処理プロセッサで画像処理をおこなう場合、撮像画像補正部１０５２ａ、１０５２ｂの出力を順次読み出して現像処理部１０５４ａ、１０５４ｂによる現像処理をおこなう。そして現像処理後に上下反転することで、上下反転しない場合と上下反転時について同じタイミングで２つの画像データを合成し、記録および表示することが可能となる。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００７９】
本発明は、民生や業務用途において、画像撮影機器、再生機器、システム、アプリケーション画像処理装置などに利用可能である。
【符号の説明】
【００８０】
１００ａ：第一の画像処理プロセッサ
１００ｂ：第二の画像処理プロセッサ
１０１ａ、１０１ｂ：１００ａ、１００ｂのシステム制御部
１０２ａ、１０２ｂ：１００ａ、１００ｂの制御バス
１０３ａ、１０３ｂ：１００ａ、１００ｂの通信部
１０４ａ、１０４ｂ：１００ａ、１００ｂの分割画像入力部
１０５ａ、１０５ｂ：１００ａ、１００ｂの信号処理部
１０６ａ、１０６ｂ：１００ａ、１００ｂの画像メモリ
１０７ａ、１０７ｂ：１００ａ、１００ｂの上下反転部
１０８ａ、１０８ｂ：１００ａ、１００ｂの表示処理部
１０９ａ、１０９ｂ：１００ａ、１００ｂの記録制御部
１１０ａ、１１０ｂ：１００ａ、１００ｂのデータ転送部
１１１：操作部
１２０：撮像光学ユニット
１３０：撮像素子
１３１：分配部
１４０：合成部
１５０：表示デバイス
１６０：記録媒体
【図１】
2018148395.tif 000003
【図２】
2018148395.tif 000004
【図３】
2018148395.tif 000005
【図４】
2018148395.tif 000006
【図５】
2018148395.tif 000007
【図６】
2018148395.tif 000008
【図７】
2018148395.tif 000009
【図８】
2018148395.tif 000010