(57)【要約】      （修正有）【課題】画像コピー処理をした個々の場所それぞれに対して領域補正をするとき、実際に補正が必要な領域のみに限定した処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】一度の撮影で視差を有する複数の画像データを記録可能な撮像装置で撮影した画像を扱う画像処理装置であって、複数の視差画像を入力する手段と、複数の視差画像を合成して１枚の合成視差画像を形成する視差画像合成手段と、視差画像に像シフト処理をする手段と、画像の指定領域を画像コピー処理する手段と、視差画像の像シフト処理と画像コピー処理のユーザー操作順序を記憶する手段と、画像コピー処理された領域をマップとして保持する手段と、ユーザー操作順序に応じて前記マップに視差画像の合成による像シフト量を反映する手段と、像シフト量を反映されたマップを使って画像コピー処理を実行する。【選択図】図２
2018201097.tif 000002
【特許請求の範囲】
【請求項１】
一度の撮影で視差を有する複数の画像データを記録可能な撮像装置で撮影した画像を扱う画像処理装置（２００）であって、
複数の視差画像を入力する手段（２０１）と、
複数の視差画像を合成して１枚の合成視差画像を形成する視差画像合成手段（２０７）と、
視差画像に像シフト処理をする手段（２０６）と、
画像の指定領域を画像コピー処理する手段（２０５）と、
視差画像の像シフト処理と画像コピー処理のユーザー操作順序を記憶する手段（２０４）と、画像コピー処理された領域をマップとして保持する手段（２０４）と、
ユーザー操作順序に応じて前記マップに視差画像の合成による像シフト量を反映する手段（２０８）と、像シフト量を反映されたマップを使って画像コピー処理を実行する手段（２０５）、
を持つことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、及び画像処理プログラムに関する。 
【背景技術】
【０００２】
従来、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献１では視差画像の視差を利用し、ピントの合った主被写体に対してピントの外れた他の被写体を位置を調整する、所謂 像シフトをすることで画像の品位を調整する手法が提案されている。
一方、特許文献２のように画像の領域を部分的に指定して別の領域上にコピーする、所謂 画像コピー処理も提案されている。
【０００３】
また、特許文献３では視差画像を合成する際に最終的なスクリーンからフレームアウトしてしまう領域の確認や、フレーム内におさまるように補正することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2016-163220号公報
【特許文献２】特開2007-74694号公報
【特許文献３】特開2013-161347号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献３においては、スクリーンからフレームアウトしてしまう領域の確認や補正を常に画像全体に対して行っている。そのため、例えば部分的に画像コピー処理を行なったような場合、場所によってフレームアウトする、しないなどが発生することが予想されるが、このような部分的な判定や補正はできていなかった。そのため、補正が不要な箇所があるにも関わらずにスクリーンにおさまるように画像全体を補正してしまうなどの処理がされてしまい、ユーザーが意図したとおりに画像処理がされないという問題があった。
【０００６】
これに対して本発明は、画像コピー処理をした個々の場所それぞれに対して領域補正をするため、実際に補正が必要な領域のみに限定した処理が可能となり、先行技術よりもユーザーの意図した画像処理となるようにした。
【課題を解決するための手段】
【０００７】
一度の撮影で視差を有する複数の画像データを記録可能な撮像装置で撮影した画像を扱う画像処理装置であって、
複数の視差画像を入力する手段と、
複数の視差画像を合成して１枚の合成視差画像を形成する視差画像合成手段と、
視差画像に像シフト処理をする手段と、
画像の指定領域を画像コピー処理する手段と、
視差画像の像シフト処理と画像コピー処理のユーザー操作順序を記憶する手段と、
画像コピー処理された領域をマップとして保持する手段と、
ユーザー操作順序に応じて前記マップに視差画像の合成による像シフト量を反映する手段と、
像シフト量を反映されたマップを使って画像コピー処理を実行する手段、
を持つことを特徴としている。
【発明の効果】
【０００８】
本発明によれば、視差画像に対し、画像コピー処理と像シフト処理の両方を実行した場合であってもコピー先の被写体が欠けることなく画像コピー処理を実行できるようになる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例における撮像装置の構成を示すブロック図
【図２】本発明の実施例における画像処理装置の構成を示すブロック図
【図３】本発明の実施形態に係る、画像コピー処理、像シフト処理をユーザーが操作した際のシーケンス図
【図４】本発明の実施形態に係る、画像コピー処理を実行するためのユーザーインターフェースの例
【図５】本発明の実施形態に係る、像シフト処理を実行するためのユーザーインターフェースの例
【図６】本発明の実施形態に係る、画像コピー処理を実行した際の画像表示例
【図７】本発明の実施形態に係る、像シフト処理を実行した際の画像表示例
【図８】本発明の実施形態に係る、画像コピー処理をされた領域をマップとして保持、マップにも像シフト処理を施すことで像欠けを起こさずに処理する例
【発明を実施するための形態】
【００１０】
以下、本発明にかかる実施例を、図面を参照して詳細に説明する。
【００１１】
＜第１の実施形態＞
本発明の第１の実施例を図面に基づいて説明する。図１は本発明の実施の形態に係る撮影装置の構成を示すブロック図である。図１において、１００はデジタルカメラである。１０１は撮影レンズ、１０２は撮影レンズの絞り、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１２】
１０５は画像処理回路であり、Ａ／Ｄ変換器１０４からのデータ或いはＲＡＭ１１１に記録されているデータに対して所定のデモザイク処理や色変換処理を行う。１０６はシステム全体を制御するカメラ信号処理部である。Ａ／Ｄ変換器１０４のデータが画像処理回路１０５、カメラ信号処理部１０６を介して、或いはＡ／Ｄ変換器１０４のデータが直接カメラ信号処理部１０６を介して、ＲＡＭ１１１に書き込まれる。
【００１３】
１１４はＴＦＴ  ＬＥＤ等から成る画像表示部であり、ＲＡＭ１１１に書き込まれた表示用の画像データを表示する。画像表示部１１４を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。ＲＡＭ１１１は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００１４】
これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１１１に対して行うことが可能となる。また、ＲＡＭ１１１は撮像素子１０３の欠陥画素情報も記憶している。
【００１５】
１１３はシャッタースイッチなどの操作部材で、不図示のシャッターボタンの操作途中でＯＮとなり、撮像系制御部１１２を介して、撮像レンズの機械絞り駆動処理、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００１６】
１１３で不図示のシャッターボタンの押下でONとなり、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、画像処理回路１０５やカメラ信号処理部１０６での演算を用いた現像処理、ＲＡＭ１１１から画像データを読み出し、圧縮処理を行い、メディアインタフェース１０７によって記録媒体であるコンパクトフラッシュ（登録商標）カードやその他記録メディア１０８に画像データを書き込む記録処理という一連の処理の動作開始を指示する。この際、複数の視差画像が存在する場合、これらをまとめて１つの画像ファイルとして記録される。
【００１７】
以上、これら一連の処理はＣＰＵ１０９が制御し、ＲＯＭ１１０に制御プログラムの内容が記録されている。
【００１８】
図２は本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。画像入力部２０１は、複数の視差画像をもつ画像ファイルの入力を受け付ける部材である。ＲＡＭ２０４は受け付けた画像ファイルやキャッシュ画像を保持するメモリである。画像コピー処理部２０５は操作部材２０９の操作に応じて画像のコピー処理を実行する部材である。像シフト処理部２０６は操作部材２０９の操作に応じ、画像の像シフト処理を実行する部材である。
【００１９】
画像合成部２０７は複数の視差画像を合成して１つの合成視差画像を形成する画像合成部である。画像の像シフト処理が行われていた場合は像シフト処理された画像が合成されることとなる。
【００２０】
画像表示部２１０は画像コピー処理部、像シフト処理部、画像合成部、の画像処理により形成された画像を画面表示する部材である。操作部材２０９はユーザー操作を受け付ける部材であり、画像コピー処理や像シフト処理などの操作を受け付ける手段を持つ。
【００２１】
操作手順判定部２０８は、操作部材２０９の操作状態に応じ、画像コピー処理と像シフト処理の操作順序によりその後の処理の方法を判定する部材である。
【００２２】
以上、これら一連の処理はＣＰＵ２０２が制御し、ＲＯＭ２０３に制御プログラムの内容が記録されている。
【００２３】
図３は本発明の実施形態に係る、画像コピー処理、像シフト処理をユーザーが操作した際のシーケンス図である。図３において、ユーザーが画像コピー処理を実行（３０１）すると、画像コピーをした箇所をマップ画像として保存する（３０２）。その後、ユーザーが視差画像を使った像シフト処理を実行（３０３）した際、画像コピー処理と像シフト処理の操作順序をRAMへ記憶しておく（３０４）。
【００２４】
次にRAMに記憶されている操作手順について操作手順判定部により画像コピー処理、像シフト処理の操作順序を判定する（３０５）。
【００２５】
画像コピー処理が先に行われたと判定された場合、画像コピーをした箇所が記憶された画像マップに対しても像シフト処理を適用する（３０６）。その後、画像の像シフト処理を実行（３０７）したのち、像シフトされた画像を使って画像合成処理を実行する（３０８）。
【００２６】
最後に画像マップを使って画像コピー処理を実行する（３０９）。この際、像シフトがされていた場合は画像マップも像シフトされた状態となり、コピー元の像はユーザー指定のとおりにコピー先にコピーされるようになり、像が欠けることはない。
【００２７】
＜第２の実施形態＞
図４は本発明の実施形態に係る、画像コピー処理を実行するためのユーザーインターフェースの例である。ユーザーインターフェースの基本画面（４００）があり、その中に画像を表示する部位（４０１）を備える。基本画面内には画像のコピー元を指定するためのコピーボタン（４０２）が配備されている。同ボタンはＯＮ／ＯＦＦのトグル状態を持ち、ＯＮ状態では画像のコピー元を指定するモードに入る。コピー元を指定するモードにおいて、ユーザーが画像中の任意の場所をマウスなどでクリックすることでコピー元の箇所を決定することができる（４０５）。
【００２８】
この際コピー元の範囲は円形であるため、この半径を指定するためのスライダー（４０４）が配備されている。画像のコピー元が決定されたのち、コピー先にコピーを開始するためのペーストボタン（４０３）が配備されている。同ボタンはＯＮ／ＯＦＦのトグル状態を持ち、ＯＮ状態では画像のコピー先を指定するモードに入る。
【００２９】
コピー先を指定するモードにおいて、ユーザーが画像中の任意の場所をマウスなどでクリックすることでコピー先の箇所を決定することができる（４０６）。コピー先の箇所が決定されると、コピー元の範囲内の画像がコピー先にコピーされるコピー処理が実行される。
【００３０】
図５は本発明の実施形態に係る、像シフト処理を実行するためのユーザーインターフェースの例である。ユーザーインターフェースの基本画面（５００）があり、その中に視差画像の合成結果の画像を表示する部位（５０１）を備える。基本画面内には画像の像シフト処理のシフト方向を指定するためのスライダー（５０２）が配備されている。本例では縦位置撮影された画像であり、縦方向にシフトすることができる。スライダーを操作すると上／下の方向にシフトすることができる。同スライダーで像シフトを実行すると画像内において視差の大きな部分が像シフトして上下に位置がズレる。また像シフトを実行する領域を限定するため、マウスドラッグなど像シフトする領域を選択することができる（５０３）。
【００３１】
図６は、本発明の実施形態に係る、画像コピー処理を実行した際の画像表示例である。図６において（A)は画像コピー処理を実行する前の画像である。図４の画像コピー処理を実行するためのユーザーインターフェースを用いて、図４のとおりに画像コピー処理を実行すると、（A)において１の領域がコピー元として指定され、２の位置をコピー先として実行する。これを実行すると、（B)のように１の領域が２の位置にコピーされた画像が得られる。
【００３２】
図７は、本発明の実施形態に係る、像シフト処理を実行した際の画像表示例である。図７において（A)は像シフト処理を実行する前の画像である。図５の像シフト処理を実行するためのユーザーインターフェースを用いて、シフト方向を指定するためのスライダーを上方向に操作すると、（A)において像シフト処理を実行する前の被写体P（視差を持つ像域）が、（B)のように上方向へ像シフトする。他の像域は特に変化しない。
【００３３】
図８は、本発明の実施形態に係る、画像コピー処理をされた領域をマップとして保持、マップにも像シフト処理を施すことで像欠けを起こさずに処理する例である。図４の画像コピー処理を実行するためのユーザーインターフェースを用いて、図４のとおりに画像コピー処理を実行すると、図８において(A)のように、コピー元の画像の範囲を決定したマップ（グレーの網掛け部分）が作成される。
【００３４】
次に図５の像シフト処理を実行するためのユーザーインターフェースを用いて、シフト方向を指定するためのスライダーを上方向に操作すると、コピー元の被写体が上方向にシフトするため、（B）のように一時的にコピー元の被写体とコピー元の画像の範囲を決定したマップにおいてズレが生じる。
【００３５】
もし、この状態において画像のコピー処理および像シフト処理が行われてしまうと、（D）のように被写体が欠けたままの状態で画像のコピー処理が実行されてしまう。
【００３６】
本発明では、このような被写体が欠けた状態とならいよう、（B）の状態のマップにおいて、マップにもコピー元と同様の像シフト処理を施す。これにより（C）のようにコピー元の画像の範囲とマップのズレが無いようなマップが生成できる。この状態で画像のコピー処理および像シフト処理を実行すると、（E）のように被写体欠けを起こさずに画像処理を実行することができる。
【符号の説明】
【００３７】
１００  デジタルカメラ
１０１  レンズ
１０２  絞り
１０３  撮像素子
１０４  Ａ／Ｄ変換
１０５  画像処理部
１０６  カメラ信号処理部
１０７  メディアインタフェース
１０８  記録メディア
１０９  ＲＡＭ
１１０  撮像系制御部
１１１  操作部材
１１２  画像表示部
【図１】
2018201097.tif 000003
【図２】
2018201097.tif 000004
【図３】
2018201097.tif 000005
【図４】
2018201097.tif 000006
【図５】
2018201097.tif 000007
【図６】
2018201097.tif 000008
【図７】
2018201097.tif 000009
【図８】
2018201097.tif 000010