(57)【要約】  記憶部（２２０）は、画像データと共に各被写体とレンズ焦点と間の距離データを記憶する。ディスプレイ（１８０）は、画像データに基づく表示画像が表示されるとともに、被写界深度及び焦点位置に関する操作が行われる。画像調整部（３２０）は、ディスプレイ（１８０）を参照して行われた第１操作及び第２操作を検出し、画像データに対して、第１操作と距離データに応じて焦点距離を調整すると共に、第２操作と距離データに応じて被写界深度を調整して表示画像を生成する。これにより、焦点調整に加えて被写界深度の調整操作を行う操作インターフェイスを有する画像処理装置を提供する。
2014129127.tif 000002
【特許請求の範囲】
【請求項１】
各被写体とレンズ焦点との距離データを含む画像データが格納された記憶手段と、
前記画像データに基づく表示画像が表示されるとともに、被写界深度及び焦点位置に関する操作が行われる表示手段と、
前記表示手段を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像調整手段と、
を有する画像処理装置。
【請求項２】
前記表示手段は、ユーザの指または各種デバイスの接触を検出するタッチセンサを有し、前記表示画像を表示するタッチディスプレイである、請求項１に記載の画像処理装置。
【請求項３】
前記第１操作は、ユーザの２本の指の間隔を略等間隔に保ったまま前記タッチディスプレイから離さずに所定方向に移動させる動作である、請求項２に記載の画像処理装置。
【請求項４】
前記第２操作は、前記ユーザの２本の指の間隔を前記タッチディスプレイに接触させた状態で所定方向に広げたり狭めたりする操作である、請求項２に記載の画像処理装置。
【請求項５】
前記第２操作は、ユーザの１本の指または２本の指を前記タッチディスプレイに接触させた状態で略円方向に動かす動作である、請求項２に記載の画像処理装置。
【請求項６】
前記第１操作は、前記表示画像を表示させた状態で被写体を所定時間以上押下する操作である、請求項２に記載の画像処理装置。
【請求項７】
前記第２操作は、前記表示画像を表示させた状態で所定時間間隔以内に前記タッチディスプレイを複数回タッチする操作である、請求項２に記載の画像処理装置。
【請求項８】
前記タッチディスプレイに対して行われた第１操作及び第２操作に基づいて、前記表示画像の焦点位置及び被写界深度の設定度合いを示す調整インターフェイスを前記タッチディスプレイに表示する調整ディスプレイ制御手段を更に有する、請求項２〜請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記調整ディスプレイ制御手段は、前記タッチセンサが検出した前記タッチディスプレイのユーザの指の接触位置に応じて、前記タッチディスプレイ上の前記調整インターフェイスの表示位置を変更することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記調整ディスプレイ制御手段は、前記タッチセンサが検出した前記タッチディスプレイのユーザの指の接触位置が前記タッチディスプレイの所定中央領域である場合、前記タッチディスプレイ上の前記調整インターフェイスの表示位置を前記タッチディスプレイの中央から右の領域に表示することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整するとともに、被写界深度領域外の被写体に対し、被写界深度の領域の大きさと当該領域からの物理的距離に基づいたボケ効果を与える、請求項１〜請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整する際に、手前側の合焦端の移動距離と遠方側の合焦端の移動距離を異なるものとすることを特徴とする請求項１〜請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整する際に、手前側の合焦端の移動距離と遠方側の合焦端の移動距離を狭くすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
各被写体とレンズとの距離データを含む画像データに基づく表示画像を表示し、被写界深度及び焦点位置に関する操作が行われる表示ステップと、
前記表示画像を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を有する画像処理方法。
【請求項１５】
コンピュータに、
記憶装置から各被写体とレンズとの距離データを含む画像データを読み出すステップと、
前記画像データに基づく表示画像の表示を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を実行させる、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
一般的な一眼レフカメラでは、レンズの絞りを変更することにより被写界深度を変更できることが知られている。しかしながら携帯電話端末等の小型撮像装置では、コストやサイズの問題から絞りを搭載できない場合がある。【０００３】
ところで近年、ライトフィールド（光照射野）カメラと呼ばれる技術が注目を集めている。ライトフィールドカメラを用いた場合、撮像データの被写界深度を撮像後に変更することができる。例えばライトフィールドカメラに関する技術は、特許文献１〜特許文献３、及び非特許文献１等に記載されている。ライトフィールドカメラとは、プレノプティックカメラの原理を用いて、取得した撮像データを再構成してリフォーカシングされた画像データを生成する技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９１３７６号公報
【特許文献２】特開２０１２−１４７１６７号公報
【特許文献３】特開２０１２−１４２９１８号公報
【非特許文献】
【０００５】
【非特許文献１】日経エレクトロニクス２０１２年８月２０日号、"あらゆるところに賢いカメラ"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のようにライトフィールドカメラの分野において被写界深度を撮像後に変更する技術が一般的に用いられている。しかしながら、被写界深度をユーザ側で変更する際にどのようなインターフェイスを用いて被写界深度や焦点位置を設定するかについては十分に検討がなされていなかった。そのため、被写界深度や焦点位置を適切に設定した撮像データを即座に得ることができないという問題が生じていた。【０００７】
本発明は、かかる問題に鑑みてなされたものであり、焦点調整に加えて被写界深度の調整操作を行う操作インターフェイスを有する画像処理装置、撮像方法、及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理装置の一態様は、
各被写体とレンズ焦点との距離データを含む画像データが格納された記憶部と、
前記画像データに基づく表示画像が表示されるとともに、被写界深度及び焦点位置に関する操作が行われる表示部と、
前記表示部を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像調整部と、
を有する、ものである。【０００９】
本発明にかかる画像処理方法の一態様は、
各被写体とレンズとの距離データを含む画像データに基づく表示画像を表示し、被写界深度及び焦点位置に関する操作が行われる表示ステップと、
前記表示画像を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を有する、ものである。【００１０】
本発明にかかるプログラムの一態様は、
コンピュータに、
記憶装置から各被写体とレンズとの距離データを含む画像データを読み出すステップと、
前記画像データに基づく表示画像の表示を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を実行させる、ものである。
【発明の効果】
【００１１】
本発明では、焦点調整に加えて被写界深度の調整操作を行う操作インターフェイスを有する画像処理装置、撮像方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる画像処理装置１の構成を示すブロック図である。
【図２】実施の形態１にかかる画像処理装置１の制御構造を概念的に示すブロック図である。
【図３】実施の形態１にかかる画像処理装置１の操作例を示す概念図である。
【図４】実施の形態１にかかるディスプレイ１８０上に表示されたスライドバーＳ１を示す図である。
【図５】実施の形態１にかかるディスプレイ１８０上に表示されたスライドバーＳ１を示す図である。
【図６】実施の形態１にかかる画像処理装置１の操作例を示す概念図である。
【図７】実施の形態１にかかる画像処理装置１の操作例を示す概念図である。
【図８】実施の形態１にかかる画像処理装置１の操作例を示す概念図である。
【図９Ａ】実施の形態１にかかる焦点位置設定を示す概念図である。
【図９Ｂ】実施の形態１にかかる焦点位置設定を示す概念図である。
【図１０】実施の形態１にかかる画像処理装置１の操作例を示す概念図である。
【図１１】実施の形態１にかかるディスプレイ１８０上に表示されたスライドバーＳ１を示す図である。
【図１２】本発明にかかる画像処理装置１の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。なお、以下の説明では画像処理装置１はスマートフォンであるものとして説明するが、必ずしもこれに限られず、タッチパネル等の操作インターフェイス（操作部）を有する任意の端末であれば良い。
【００１４】
画像処理装置１は、撮像部１００、ＲＡＭ（Random Access memory）１１０、画像処理回路１２０、ＹＣ変換回路１３０、圧縮伸長回路１４０、メディアコントローラ１５０、メモリカード１６０、ＬＣＤドライバ１７０、ディスプレイ１８０、フラッシュメモリ１９０、ＣＰＵ（Central Processing Unit）２００、及びデータバス２１０を有する。
【００１５】
撮像部１００は、レンズ１０１、マイクロレンズアレイ１０２、ＣＣＤ（Charge Coupled Device）１０３、及びデータ処理部１０４を有する。レンズ１０１は、被写体を撮像するためのメインレンズである。マイクロレンズアレイ１０２は、例えば複数のマイクロレンズをマトリクス上に２次元的に配列したものであり、レンズ１０１の結像面上に配置されている。各マイクロレンズは、その平面形状が円形や六角形となっており、固体レンズ、液晶レンズ、液体レンズ、回折レンズ等から構成されている。
【００１６】
ＣＣＤ１０３は、その受光面でマイクロレンズアレイ１０２から入光された受光量に応じた電荷を蓄積するための受光素子が複数配置されている。ＣＣＤ１０３は、撮像によって各受光素子に蓄積された電荷を撮像信号として出力する。マイクロレンズアレイ１０２が複数のマイクロレンズから構成されているために、各被写体とレンズ焦点との間の物理的距離（たとえば子供を撮像した場合に、撮像部１０１のレンズ焦点の位置から子供のいる位置までの物理的距離（１０ｍ等））を取得できる。なおＣＣＤ１０３の代わりにＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を用いてもよい。データ処理部１０４は、例えばＣＤＳ（Correlated Double Sampling）、アンプ、Ａ／Ｄ（Analog/Digital）変換器等から構成され、一般的な撮像装置において行われる一般的な処理を行い、撮像範囲内の各被写体とレンズ焦点との距離を含む画像データを生成してＲＡＭ１１０に格納する。
【００１７】
なお上述した撮像部１００の構成は、あくまでも例示であり、撮像範囲内の各被写体とレンズ焦点との距離を含む画像データを取得できればその構成は問わない。すなわちライトフィールドカメラの構造を実現するための既知のレンズモジュールであればよい。例えば撮像部１００は、左目用のレンズと右目用のレンズを有し、各レンズで視差画像データを作る構成であってもよい。ライトフィールドカメラによる被写体との距離データの取得等の処理については非特許文献１等に記載の構造と同様であるため、適宜参照されたい。
【００１８】
画像処理回路１２０は、ＲＡＭ１１０に格納された画像データに基づいて、階調変換、ホワイトバランス補正、ガンマ補正等の処理を実行する。ＹＣ変換回路１３０は、画像処理後のデータを、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。圧縮伸長回路１４０は、任意のタイミングであらかじめ定められた圧縮形式に従って画像データを圧縮して任意の記憶部（例えばメモリカード１６０、フラッシュメモリ１９０）に書き込む。
【００１９】
メディアコントローラ１５０は、メモリカード１６０に対する各種データの書き込み、読み出しを行う。メモリカード１６０は、メディアコントローラ１５０を介してデータが読み書きされる記憶部である。メモリカード１６０は、画像処理装置１と着脱可能に構成される。ディスプレイ１８０は、ＬＣＤドライバ１７０によって駆動される。ＬＣＤドライバ１７０は、画像メモリやＤ／Ａコンバータ等を有している。ＬＣＤドライバ１７０は、各種記憶部（例えばメモリカード１６０、フラッシュメモリ１９０等）から読み出され、ＣＰＵ２００によってデジタル処理された画像データを、例えばＮＴＳＣ（National Television System Committee）方式のアナログ信号に変換し、変換後の信号をディスプレイ１８０に出力する。
【００２０】
ディスプレイ１８０は、画像処理装置１（スマートフォン）の前面に設けられている。ディスプレイ１８０は、液晶表示装置、有機ＥＬ（Electro Luminescence）ディスプレイ等によって実現されるが、必ずしもこれに限られない。ディスプレイ１８０は、静電容量式、抵抗膜式、電磁誘導式等のマルチタッチに対応しているものである。ディスプレイ１８０は、撮影モードの際に、撮像画像をリアルタイムで表示する電子ビューファインダとして機能する。またディスプレイ１８０は、再生モード時に各種記憶部（例えばメモリカード１６０、フラッシュメモリ１９０等）に格納されている撮影画像を再生表示するためのモニタとして機能する。
【００２１】
ディスプレイ１８０は、タッチセンサ１８１を備える。タッチセンサ１８１は、ユーザの手や指がディスプレイ１８０の表示画面に接触すると、この接触位置を検出する。ここでタッチセンサ１８１は、いわゆるピンチイン（２つの指の間を狭める動作）、ピンチアウト（２つの指に間を広げる動作）、指の回転、等の動作も検出する。
【００２２】
フラッシュメモリ１９０は、各種データ（画像データを含む）を格納する記憶部である。なお画像処理装置１は、記憶部として図示しないＨＤＤ（ハードディスクドライブ）も適宜備えている。
【００２３】
ＣＰＵ（Central Processing Unit）２００は、データバス２１０を介して画像処理装置１内の各処理部と電気的に接続されている。ＣＰＵ２００には、図示しない画像処理装置１（本例ではスマートフォン）上の各種スイッチ（例えば電源スイッチ）、及び後述するタッチセンサ１８１からデータが入力される。ＣＰＵ２００は、各種記憶装置（図示しないＨＤＤ、メモリカード１６０、フラッシュメモリ１９０等）からプログラムを読み出して、各処理部を制御するとともに、撮像部１００が生成した画像データと距離データからディスプレイ１８０上に表示する表示画像を生成する処理を行う。図２を参照して当該表示画像の生成処理の詳細を説明する。
【００２４】
図２に示す制御構造（画像データ読み出し部３００、センサ情報入力部３１０、画像調整部３２０、調整インターフェイス制御部３３０）は、ＣＰＵ２００がプログラムを実行することにより実現される。
【００２５】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２６】
画像データ読み出し部３００は、撮像部１００により撮像されて各記憶装置（メモリカード１６０、フラッシュメモリ１９０、図示しないハードディスク等）に格納された画像データ及び当該画像データに関連付けられた距離データを順次読み出す。この際、画像データ読み出し部３００は撮像部１００が動画撮影を行った場合には画像データと距離データを連続的に読み出す。画像データ読み出し部３００は、読み出した画像データと距離データを画像調整部３２０及び調整インターフェイス制御部３３０に供給する。
【００２７】
センサ情報入力部３１０には、タッチセンサ１８１が検出したディスプレイ１８０上での指の動きが入力される。詳細には、センサ情報入力部３１０には、ディスプレイ１８０の向き（図示しない加速度センサにより取得されたディスプレイ１８０の向き）、指の位置や指の接触状態（何本の指がディスプレイ１８０に接触しているのか）、指の移動距離、指の移動方向、が入力される。センサ情報入力部３１０は、取得したディスプレイ１８０上での指の動き（指の位置、指の接触本数、指の移動距離、ディスプレイ１８０の向き）の情報を画像調整部３２０及び調整インターフェイス制御部３３０に供給する。
【００２８】
画像調整部３２０は、指の移動距離や指の位置、指の移動方向を基に第１操作と第２操作が行われたかを検出する。第１操作とは、焦点距離を調整するための操作であり、その操作例は図３等を参照して後述する。第２操作とは、被写界深度を調整するための操作であり、その操作例は図３等を参照して後述する。
【００２９】
画像調整部３２０は、焦点距離を調整するための第１操作の検出に応じて、画像データ読み出し部３００が読み出した画像データの焦点距離の調整を行う。当該調整には、画像データ読み出し部３００が読み出した距離データが利用される。ここで画像調整部３２０は、一般的なライトフィールドカメラの技術分野において行われる焦点距離の調整（フォーカス位置の調整）を行えばよい。
【００３０】
さらに画像調整部３２０は、被写界深度を調整するための第２操作の検出に応じて、画像データ読み出し部３００が読み出した画像データの被写界深度の調整を行う。当該調整には、画像データ読み出し部３００が読み出した距離データが利用される。ここで画像調整部３２０は、一般的なライトフィールドカメラの技術分野において行われる被写界深度の調整を行えばよい。
【００３１】
調整インターフェイス制御部３３０は、指の移動距離や指の位置、指の移動方向を基に上述の第１操作と第２操作が行われたかを検出し、その検出に応じてディスプレイ１８０上に表示する調整インターフェイス（好適には図３に示すようにスライドバー）の表示制御を行う。後述するようにスライドバーは、表示画像に重畳されて表示される。
【００３２】
続いて本実施の形態にかかるディスプレイ１８０上での各種操作について説明する。図３は、ディスプレイ１８０の操作例を示す概念図である。なお、以下の説明ではユーザが右手の親指と人差し指を用いてディスプレイ操作を行うことを想定しているが、両手の十指のいずれを用いてもかまわない。
【００３３】
ディスプレイ１８０上には、スライドバーＳ１が表示される。スライドバーＳ１の縦幅は、撮像した画像データの全焦点範囲を示している。スライドバーＳ１の上方向は遠方（Ｆａｒ）を示し、下方向は手前（Ｎｅａｒ）を示す。またスライドバーＳ１のツマミＳ２は、上側が遠方の合焦端、下側が手前の合焦端を示している。
【００３４】
ユーザが画像処理装置１の参照モード（撮像した画像を閲覧するモード）を選択した場合、ディスプレイ１８０にはライブビュー画面が現れる。画像処理装置１は、上述のようにライトフィールドカメラの機能を有し、撮影データと共に撮影対象の距離データを取得して記憶装置に格納している。
【００３５】
調整インターフェイス制御部３３０は、タッチセンサ１８１がユーザの指の接触を検出した場合にスライドバーＳ１を表示画像に重畳してディスプレイ１８０上に表示する。図示するようにスライドバーＳ１は、縦長の形状を有する。そのため、ユーザが画面の右半分をタッチしたことをタッチセンサ１８１が検出した場合、調整インターフェイス制御部３３０は、スライドバーＳ１をディスプレイ１８０の右端に表示する。一方、ユーザが画面の左半分をタッチしたことをタッチセンサ１８１が検出した場合、調整インターフェイス制御部３３０は、スライドバーＳ１をディスプレイ１８０の左端に表示する。ユーザが水平方向における画面の略中央部分をタッチしたことをタッチセンサ１８１が検出した場合、調整インターフェイス制御部３３０は、右利きのユーザが多いことを考慮してスライドバーＳ１をディスプレイ１８０の右端に表示する。なお、スライドバーＳ１の表示位置は、ユーザによる設定に応じた固定位置に表示されてもよい。
【００３６】
ユーザがｙ軸方向に指Ｆ１とＦ２の間隔を広げた場合（いわゆるピンチアウト）を行った場合、タッチセンサ１８１からの入力に応じて画像調整部３２０及び調整インターフェイス制御部３３０はその拡大度合い（ｙ軸方向への２本の指の移動距離）を検出する。図３の例では、ｙ軸方向のピンチアウト（またはピンチイン）が被写界深度を調整する第２操作となる。検出した拡大度合いに応じて、調整インターフェイス制御部３３０は、ツマミＳ２の幅が広げる。また検出した拡大度合いに応じて、画像調整部３２０は、画像データの遠方の合焦端と手前側の合焦端を広げ、被写界深度を変更する。
【００３７】
一方、ユーザがｙ軸方向に指Ｆ１とＦ２の間隔を狭めた場合（いわゆるピンチイン）を行った場合、タッチセンサ１８１はその縮小度合いを検出する。検出した縮小度合いに応じて、調整インターフェイス制御部３３０は、ツマミＳ２の幅が狭める。また検出した縮小度合いに応じて、画像調整部３２０は遠方の合焦端と手前側の合焦端を狭めて被写界深度を変更する。これにより、ポートレート撮影時のように、ある被写体にのみ合焦させて背景をぼかして表示したい場合に有効である。
【００３８】
ユーザが指Ｆ１とＦ２の間隔を保持したままｙ軸方向にスライドした場合、タッチセンサ１８１はその移動方向及び移動距離を検出する。図３の例では、ｙ軸方向に２本の指の間隔を保ったまま動かす操作を第１操作として検出する。タッチセンサ１８１は、その移動度合いを検出する。検出した移動度合いに応じて、調整インターフェイス制御部３３０は、ツマミＳ２の位置を移動させる。この際にツマミＳ２の幅（上端から下端までの長さ）は変更しない。また検出した移動度合いに応じて、画像調整部３２０は遠方の合焦端と手前側の合焦端を同時に調整することにより合焦位置を調整する。すなわち、マニュアルフォーカス作用を実現する。
【００３９】
なお、ｘ軸方向のピンチイン（ピンチアウト）は、一般的なズーム処理に割り当てればよい。これにより、一般的なズーム処理を実現しつつ、被写界深度及び焦点位置の調整を行うことができる。ここで軸方向はあくまで一例であり、ｘ軸方向のピンチイン（ピンチアウト）を被写界深度の調整（第２操作）に割り当ててもよいこと（すなわちスライドバーＳ１をｘ軸方向に延設してもよいこと）は言うまでもない。
【００４０】
なお画像調整部３２０は、設定された被写界深度の幅に応じていわゆるボケ（Bokeh）の調整を行ってもよい。具体例を図４及び図５を参照して説明する。図４及び図５は、同一表示画像を表示中におけるディスプレイ１８０上に表示されたスライドバーＳ１を示す図である。図４に示すスライドバーＳ１は、図５に示すスライドバーＳ１に比べて被写界深度が狭く設定されている。すなわち、焦点の合っている領域幅が小さいことになる。画像調整部３２０は、被写界深度の設定幅が小さいほど被写界深度外に映りこんだ被写体のボケを強くするように画像処理を行う。例えば、図４のＡの範囲に映りこんだ被写体のボケの強さを図５のＡの範囲に映りこんだ被写体のボケの強さよりも強くする。なおボケを与える画像処理は、一般的なデジタル画像処理において行われる手法を用いればよい。
【００４１】
一般的な一眼レフカメラでは、被写界深度外の領域については光学的な理由から被写界深度と離れるほどボケが強くなる。ここで一眼レフカメラにおけるボケの強さは、そのカメラのレンズ特性に依存する。たとえば一眼レフカメラＺでは被写界深度を示す領域から１０ｍ離れた被写界のボケの強さはｘであるが、一眼レフカメラＷでは被写界深度を示す領域から１０ｍ離れた被写界のボケの強さは２ｘといったように異なる。
【００４２】
そこで画像調整部３２０は、ボケの与え方に関する複数のテーブルを持ち、ユーザによって選択されたテーブルに対し、被写界深度領域からの距離を代入することによりボケの強さを調整してもよい。テーブルとは、被写界深度領域からの距離とボケの強さが関連付けられたテーブルである。画像調整部３２０が有する複数のテーブルは、既存の各一眼レフカメラのレンズに対応したテーブルとすればよい。これにより、絞りを有さない撮像部１００により撮像した画像データをディスプレイ１８０上に表示する場合であっても、ユーザが普段使用している一眼レフカメラと同様の表示効果を与えることができる。
【００４３】
続いて図６を参照して、本実施の形態にかかる画像処理装置１の第２の操作例を示す図である。第２の操作例では、マルチタッチ状態での指の回転操作を第２操作（被写界深度の調整操作）に割り当てる。
【００４４】
ユーザが指Ｆ１とＦ２を回転（図６の矢印方向に指Ｆ１と指Ｆ２を移動）させた場合、タッチセンサ１８１はその移動方向及び移動距離を検出する。時計回りに指を回転させた場合、画像調整部３２０はその移動距離に応じて被写界深度を広くするように画像調整を行う。一方、反時計回りに指を回転させた場合、画像調整部３２０はその移動距離に応じて被写界深度が狭くなるように画像調整を行う。また調整インターフェイス制御部３３０は、ユーザによる指Ｆ１とＦ２を回転幅に応じてツマミＳ２の大きさを変化させる。なお回転方向は一例であり、反時計回りに指を回転させて場合に被写界深度を広げるように制御してもよい。
【００４５】
また第３の操作例として、一本の指のみを使用して被写界深度及び焦点位置を設定する例を説明する。ユーザは、画像表示中に一本の指Ｆ１で合焦したい被写体を長押しする。図７の例では、ユーザは被写体の女の子の顔を長押しする。ここで女の子の顔とレンズ焦点との物理的距離は、上述の撮像部１００により取得され、各種記憶部に格納されている。画像調整部３２０及び調整インターフェイス制御部３３０は、この長押しを上述の第１操作として検出する。そして画像調整部３２０は、この女の子の顔の位置を焦点位置とする画像調整を行う。同様に調整インターフェイス制御部３３０は、この女の子の顔の位置（レンズからの距離）に応じてスライドバーＳ１上のツマミＳ２の位置を調整する。
【００４６】
また画像調整部３２０及び調整インターフェイス制御部３３０は、一本の指の操作に応じた第２操作の検出を行う。例えば図７に示すように、画像調整部３２０及び調整インターフェイス制御部３３０は、円を描くような動作を第２操作として検出する。この場合に画像調整部３２０及び調整インターフェイス制御部３３０は、時計回りの動きを検出した際には被写界深度を広くし、反時計回りの動きを検出した場合には被写界深度を狭くするように調整を行えばよい。
【００４７】
同様にペンデバイスを用いて被写界深度及び焦点位置を設定することもできる。ペンデバイスを使用する場合、画像処理装置１は第３の操作例として説明した第１操作（一点を長押しする操作）、第２操作（円を描くような操作）を検出してもよく、ペンタブレットに設けられたボタン等の押下状態を考慮した第１操作及び第２操作の検出を行うことも可能である。
【００４８】
なおペンデバイスを使用する場合、画像調整部３２０はそのペン先の太さ等を考慮して被写界深度を設定してもよい。
【００４９】
次に図８を参照して被写界深度及び焦点位置にかかる第４の設定例を説明する。焦点位置の設定は、図７（第３の操作例）と同様に長押しにより行う。ユーザは被写界深度の設定のために、所定時間間隔以内に連続して対象被写体（図７のＦ１−１、Ｆ１−２、Ｆ１−３）を押す。各対象位置とレンズ焦点との物理的距離は、上述のように撮像部１００により取得され、各種記憶部に格納されている。画像調整部３２０及び調整インターフェイス制御部３３０は、複数の対象被写体（Ｆ１−１〜Ｆ１−３により選択された被写体）のうち、レンズからの最短距離から最長距離までの間を被写界深度として認識する。そして画像調整部３２０は、認識した被写界深度の設定に応じて画像調整を行う。同時に調整インターフェイス制御部３３０は、認識した被写界深度の設定に応じてスライドバーＳ１上のツマミＳ２の幅を調整する。
【００５０】
次に図９を参照して、画像調整部３２０による焦点位置の設定方法のバリエーションについて説明する。図９は、画像処理装置１のレンズ位置（図中の白丸箇所）とディスプレイ１８０において指定された焦点位置に関する物理的位置、及び各位置の合掌度合を示す概念図である。
【００５１】
図９（Ａ）は、焦点位置設定の第１のバリエーションを示す概念図である。画像調整部３２０は、ディスプレイ１８０のタッチ位置が指し示す物理的位置（図中の黒丸箇所）と、画像処理装置１のレンズの物理的位置（図中の白丸位置）と、の間の距離を距離データから算出する。そして画像調整部３２０は、当該距離と同一距離にある地点（図中ａ２の各地点）の全てに対して焦点が合うように画像調整を行う。すなわち画像調整部３２０は、焦点位置が点ではなくレンズ位置からの距離が所定距離である各地点に焦点が合うように画像調整を行う。
【００５２】
図９（Ａ）は、焦点位置設定の第１のバリエーションを示す概念図である。画像調整部３２０は、ディスプレイ１８０のタッチ位置が指し示す物理的位置（図中の黒丸箇所）と、画像処理装置１のレンズの物理的位置（図中の白丸位置）と、の間の距離を距離データから算出する。そして画像調整部３２０は、そのタッチ位置が指し示す物理的位置（図中の黒丸箇所）の一点を焦点位置の中心として定めて画像調整を行う。すなわち画像調整部３２０は、焦点位置の中心が一点であるものとして画像調整を行う。
【００５３】
ユーザは、図示しない設定画面から図９（Ａ）に示す焦点調整、または図９（Ｂ）に示す焦点調整のいずれを用いるかを選択すればよい。
【００５４】
なお、上述の説明では種々の操作例（第１操作例〜第４操作例）を説明したが、ディスプレイ１８０上に操作と設定内容を関連付ける設定インターフェイスを表示し、ユーザが当該設定インターフェイスから各設定内容（ズーム、被写界深度、焦点位置等）と操作内容（たとえばｘ軸方向に対するピンチイン（ピンチアウト））を自由に関連付けられるようにしてもよい。
【００５５】
また上述の操作例はあくまでも一例であり、第１操作及び第２操作として異なる操作を割り当てることも可能である。例えば一点を連続でタッチ（複数回のタップ）を行う処理を第１操作に割り当ててもよい。すなわち、ズームとは異なる処理を第１操作、または第２操作に割り当てればよい。
【００５６】
続いて本実施の形態にかかる画像処理装置１の効果について説明する。本実施の形態にかかる画像処理装置１は、ディスプレイ１８０に表示画像を表示した状態で、上述のように焦点位置を調整する第１操作、及び被写界深度を調整する第２操作を検出し、これらの操作に応じてライトフィールドカメラの構成を用いた画像調整を行っている。これにより、ユーザは表示画像を参照した状態で直観的な操作により焦点距離及び被写界深度を調整することができる。
【００５７】
図３に示すようにズームとは異なる一定方向（図３ではｙ軸方向）にピンチイン、ピンチアウトを行う操作を第２操作に割り当てることにより、ユーザはズーム（たとえばｘ軸方向へのピンチイン、ピンチアウト）と異なる操作により被写界深度を設定することができる。また被写界深度や焦点位置の調整に関する第１操作や第２操作を一般的なピンチイン、ピンチアウト、指の移動、等に割り当てることにより、多くのユーザにとって焦点位置と被写界深度の設定が容易となる。
【００５８】
また図４に示すように指を回転する（略円方向に動かす）操作を第２操作として割り当てることにより、ユーザは絞り調節と感覚的に同様の操作により被写界深度を設定することができる。
【００５９】
また画像処理装置１は、ディスプレイ１８０上に調整インターフェイスであるスライドバーＳ１を表示する。これにより現在表示中の表示画像の焦点位置や被写界深度の設定が即座に把握できる。また調整インターフェイス制御部３３０は、ユーザのタッチ位置に応じてスライドバーＳ１の表示位置（右端、左端等）を調整する。これにより、ユーザにとって邪魔とならない位置にスライドバーＳ１を表示することができる。
【００６０】
さらに画像処理装置１は、図４や図５を参照して説明したように被写界深度の領域幅に応じてボケ効果を変化させる。これにより、一般的な一眼レフカメラと同様の表示効果を実現することができる。
【００６１】
上述した実施の形態は本件発明者により得られた技術思想の適用に関する例に過ぎない。すなわち、当該技術思想は、上述した実施の形態のみに限定されるものではなく、種々の変更が可能であることは勿論である。
【００６２】
なお上述の説明では、画像処理装置１は撮像部１００を有する装置（例えばスマートフォン、デジタルカメラ等）であるものとして説明したが必ずしもこれに限られない。例えば画像処理装置１は、例えば一般的なパーソナルコンピュータであってもよい。この場合に画像処理装置１は、インターネット経由で画像データ（距離データを含む）をダウンロードできる構成や、着脱可能な記憶装置（例えばＵＳＢ（Universal Serial Bus）メモリ）から画像データ（距離データを含む）を読み出せる構成であれば良い。ユーザは、マウスを用いた第１操作及び第２操作をコンピュータと接続された表示装置（例えば液晶ディスプレイ装置）を参照しつつ行う。
【００６３】
さらにまた画像処理装置１は、複数の地点にフォーカスを合わせるオートフォーカス機能と上述の操作を組み合わせるように構成してもよい。また調整インターフェイス（Ｓ１)の表示は必ずしも必須ではなく、ユーザの設定に応じて非表示としてもよい。
【００６４】
また、被写界深度の設定において、手前側の合焦端の移動距離と遠方側の合焦端の移動距離を異なるようにしてもよい。図１０及び図１１を参照して詳細を説明する。図１０は、被写界深度の設定画面である。本例では指の回転動作により被写界深度を広げるものとして説明する。
【００６５】
被写界深度を大きくするように設定が行われた場合（例えば指を時計回りに回転させた場合）、画像調整部３２０及び調整インターフェイス制御部３３０は、その調整度合い（指の回転度合い）を検出する。そして、画像調整部３２０及び調整インターフェイス制御部３３０は手前側の合焦端と遠方側の合焦端の調整幅（すなわち移動距離）を異なる幅にして調整を行う。図１１のスライドバーＳ１を参照して、詳細を説明する。
【００６６】
図示するように被写界深度を広くするように設定が行われた場合、画像調整部３２０及び調整インターフェイス制御部３３０は、遠方側の合焦端の移動距離を手前側の合焦端の移動距離よりも広くする。これにより、図１０に示すように被写体としてフォーカスしたい女の子が花を持っている場合、被写体となる女の子に加えて花についてもくっきりと表示された画像を得ることができる。また、遠方側（すなわち背景）についてはボケが強くなり、表示対象の被写体をより立体的に（くっきり）表示する斬新なボケ感をもつ画像を得ることができる。
【００６７】
なお、画像調整部３２０及び調整インターフェイス制御部３３０は、被写界深度の中心（スライドバーＳ２の白丸に該当する位置）を変更せず（例えば女の子に被写界深度の中心に位置するようにする）、画像調整を行う。
【００６８】
このようなボケ感の与え方は、一般的な一眼レフカメラでは実現不可能であるため、斬新な画像を得ることができる。なお、画像調整部３２０及び調整インターフェイス制御部３３０は、遠方側の合焦端の移動距離を手前側の合焦端の移動距離よりも狭くしてもよい。これらの合焦端の移動距離はユーザの設定によって適宜変更できるようにすればよい。
【００６９】
最後に図１２を参照して本発明にかかる画像処理装置１の本質的な箇所を改めて説明する。図１２は、本発明にかかる画像処理装置１の概略を示すブロック図である。記憶部２２０は、図１にかかるフラッシュメモリ１９０、メモリカード１６０、図示しないハードディスク等の総称であり、ライトフィールドカメラの構成を持つ撮像部１００（または画像処理装置１外部の撮像装置）によって取得された画像データを記憶する。また記憶部２２０は、この画像データと共に各被写体とレンズ焦点と間の距離データを記憶する。
【００７０】
ディスプレイ１８０は、画像データを基に生成された表示画像が表示される表示部として機能する。ディスプレイ１８０は、例えばタッチセンサ１８１を有し、被写界深度及び焦点位置に関する第1操作と第２操作が行われる。
【００７１】
ＣＰＵ２００は、画像処理装置１の制御を行う演算装置であり、記憶部２２０からプログラムを読み出して実行する。ＣＰＵ２００は、ライトフィールドカメラの制御にかかるプログラムを実行することにより画像調整部３２０として動作する。
【００７２】
画像調整部３２０は、ディスプレイ１８０上で行われた第１操作と第２操作を検出する。そして画像調整部３２０は、記憶部２２０から画像データと距離データを読み出し、第１操作（例えばマルチタッチ状態での指の平行移動）に応じて画像データの焦点位置を調整する。また画像調整部３２０は、第２操作（例えばマルチタッチ状態でのピンチイン、ピンチアウト）に応じて画像データの被写界深度を調整する。これにより画像調整部３２０は、ディスプレイ１８０上に表示する表示画像を生成する。
【００７３】
このような構成を持つことにより、表示部（ディスプレイ１８０）上での操作に応じて簡単に焦点位置や被写界深度を調整した表示画像を得ることができる。
【００７４】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００７５】
この出願は、２０１３年２月２１日に出願された日本出願特願２０１３−０３１８０５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００７６】
１  画像処理装置
１００  撮像部
１１０  ＲＡＭ
１２０  画像処理回路
１３０  ＹＣ変換回路
１４０  圧縮伸長回路
１５０  メディアコントローラ
１６０  メモリカード
１７０  ＬＣＤドライバ
１８０  ディスプレイ
１８１  タッチセンサ
１９０  フラッシュメモリ
２００  ＣＰＵ
２１０  データバス
２２０  記憶部
３００  画像データ読み出し部
３１０  センサ情報入力部
３２０  画像調整部
３３０  調整インターフェイス制御部
【図１】
2014129127.tif 000003
【図２】
2014129127.tif 000004
【図３】
2014129127.tif 000005
【図４】
2014129127.tif 000006
【図５】
2014129127.tif 000007
【図６】
2014129127.tif 000008
【図７】
2014129127.tif 000009
【図８】
2014129127.tif 000010
【図９Ａ】
2014129127.tif 000011
【図９Ｂ】
2014129127.tif 000012
【図１０】
2014129127.tif 000013
【図１１】
2014129127.tif 000014
【図１２】
2014129127.tif 000015
【手続補正書】
【提出日】平成27年7月24日(2015.7.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各被写体とレンズ焦点との距離データを含む画像データが格納された記憶手段と、
前記画像データに基づく表示画像が表示されるとともに、被写界深度及び焦点位置に関する操作が行われる表示手段と、
前記表示手段を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像調整手段と、
を有する画像処理装置。
【請求項２】
前記表示手段は、ユーザの指または各種デバイスの接触を検出するタッチセンサを有し、前記表示画像を表示するタッチディスプレイである、請求項１に記載の画像処理装置。
【請求項３】
前記第１操作は、ユーザの２本の指の間隔を略等間隔に保ったまま前記タッチディスプレイから離さずに所定方向に移動させる動作である、請求項２に記載の画像処理装置。
【請求項４】
前記第２操作は、前記ユーザの２本の指の間隔を前記タッチディスプレイに接触させた状態で所定方向に広げたり狭めたりする操作である、請求項２に記載の画像処理装置。
【請求項５】
前記第２操作は、ユーザの１本の指または２本の指を前記タッチディスプレイに接触させた状態で略円方向に動かす動作である、請求項２に記載の画像処理装置。
【請求項６】
前記第１操作は、前記表示画像を表示させた状態で被写体を所定時間以上押下する操作である、請求項２に記載の画像処理装置。
【請求項７】
前記第２操作は、前記表示画像を表示させた状態で所定時間間隔以内に前記タッチディスプレイを複数回タッチする操作である、請求項２に記載の画像処理装置。
【請求項８】
前記タッチディスプレイに対して行われた第１操作及び第２操作に基づいて、前記表示画像の焦点位置及び被写界深度の設定度合いを示す調整インターフェイスを前記タッチディスプレイに表示する調整ディスプレイ制御手段を更に有する、請求項２〜請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記調整ディスプレイ制御手段は、前記タッチセンサが検出した前記タッチディスプレイのユーザの指の接触位置に応じて、前記タッチディスプレイ上の前記調整インターフェイスの表示位置を変更することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記調整ディスプレイ制御手段は、前記タッチセンサが検出した前記タッチディスプレイのユーザの指の接触位置が前記タッチディスプレイの所定中央領域である場合、前記タッチディスプレイ上の前記調整インターフェイスの表示位置を前記タッチディスプレイの中央から右の領域に表示することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整するとともに、被写界深度領域外の被写体に対し、被写界深度の領域の大きさと当該領域からの物理的距離に基づいたボケ効果を与える、請求項１〜請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整する際に、手前側の合焦端の移動距離と遠方側の合焦端の移動距離を異なるものとすることを特徴とする請求項１〜請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像調整手段は、前記画像データに対し、前記第２操作と前記距離データに応じて被写界深度を調整する際に、手前側の合焦端の移動距離と遠方側の合焦端の移動距離を狭くすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
各被写体とレンズとの距離データを含む画像データに基づく表示画像を表示し、被写界深度及び焦点位置に関する操作が行われる表示ステップと、
前記表示画像を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を有する画像処理方法。
【請求項１５】
コンピュータに、
記憶装置から各被写体とレンズとの距離データを含む画像データを読み出すステップと、
前記画像データに基づく表示画像の表示を参照して行われた第１操作及び第２操作を検出し、前記画像データに対して、前記第１操作と前記距離データに応じて焦点距離を調整すると共に前記第２操作と前記距離データに応じて被写界深度を調整して前記表示画像を生成する画像制御ステップと、
を実行させる、プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関する。
【国際調査報告】
2014129127.tif 000016
2014129127.tif 000017