(57)【特許請求の範囲】
【請求項１】
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行する制御手段と、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示する処理手段と
を具備し、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第２領域に文字が含まれているか否かに応じて異なる
電子機器。
【請求項２】
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行する制御手段と、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示する処理手段と
を具備し、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第１領域に文字が含まれているか否かに応じて異なる
電子機器。
【請求項３】
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行することと、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示することと
を具備し、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第２領域に文字が含まれているか否かに応じて異なる
方法。
【請求項４】
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行することと、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示することと
を具備し、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第１領域に文字が含まれているか否かに応じて異なる
方法。
【請求項５】
コンピュータに、
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行することと、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示することと
を実行させ、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第２領域に文字が含まれているか否かに応じて異なる
プログラム。
【請求項６】
コンピュータに、
第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行することと、
前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示することと
を実行させ、
前記カメラによって前記撮影エリアが撮影される撮影回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第１領域に文字が含まれているか否かに応じて異なる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子機器、方法及びプログラムに関する。
【背景技術】
【０００２】
様々な被写体（を含む画像）を撮影可能なカメラを搭載するタブレットコンピュータ及びスマートフォンのような携帯型の電子機器が広く普及している。このような電子機器に搭載されるカメラの中には、例えばコントラストの高い画像を得ることが可能なようにカメラのフォーカスを自動的に合わせる機能（オートフォーカス機能）を備えているものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０２０７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラのフォーカスは、通常被写界深度の場合、撮像エリア内のある一部分のみに合い、その他の部分には合わない。特に、マクロ撮影（接写）においては、この傾向が顕著である。文書のキャプチャ撮影等で、全体にわたって文書の内容を把握できる程度に鮮鋭度が高い画像（例えば、撮影エリア全体に渡ってフォーカスが合った全焦点画像）を得ることは困難である。
【０００５】
本発明の一形態が解決しようとする課題は、鮮鋭度の高い画像を効率的に得ることが可能な電子機器、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
実施形態に係る電子機器は、制御手段と、処理手段とを具備する。前記制御手段は、第１被写体が位置する第１領域と第２被写体が位置する第２領域とを少なくとも含む撮影エリアに対して、カメラを用いたフォーカスの異なる１回以上の撮影を自動的に実行する。前記処理手段は、前記カメラによって異なるフォーカスで前記撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示する。前記カメラによって前記撮影エリアが撮影される回数は、前記第２被写体に比較して前記第１被写体によりフォーカスが合わせられた状態で撮影された第１画像に含まれる第２領域に文字が含まれているか否かに応じて異なる。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る電子機器の外観の一例を示す斜視図。
【図２】電子機器の背面側の外観の一例を示す図。
【図３】電子機器のシステム構成の一例を示す図。
【図４】カメラアプリケーションプログラムが備える機能について説明するための図。
【図５】カメラアプリケーションプログラムが備える機能について説明するための図。
【図６】電子機器の機能構成を示すブロック図。
【図７】電子機器においてフォーカルスイープを利用する際の処理手順を示すフローチャート。
【図８】画像を複数のブロックに分割した例を示す図。
【図９】フォーカス位置決定処理の処理手順を示すフローチャート。
【図１０】フォーカス位置決定処理において決定されるフォーカス設定値の一例を示す図。
【図１１】フォーカス位置決定処理において決定されるフォーカス設定値の一例を示す図。
【図１２】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１３】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１４】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１５】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１６】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１７】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【図１８】高鮮鋭度画像が生成されるまでに必要な撮影回数について説明するための図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、実施形態について説明する。
【０００９】
図１は、本実施形態に係る電子機器の外観の一例を示す斜視図である。この電子機器は、携帯型電子機器であり、例えばタブレットコンピュータ及びスマートフォン等として実現され得る。図１においては、電子機器がタブレットコンピュータとして実現されている場合について示されている。以下、本実施形態に係る電子機器はタブレットコンピュータであるものとして説明する。
【００１０】
図１に示す電子機器１０は、本体１１とタッチスクリーンディスプレイ１２とを備える。本体１１は、薄い箱型の筐体を有する。タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上への指等の接触位置を検出するセンサとが組み込まれている。フラットパネルディスプレイは、例えばＬＣＤ等を含む。センサは、例えばタッチパネル等を含む。この場合、タッチパネルは、ＬＣＤを覆うように設けられる。
【００１１】
図２は、電子機器１０の背面側の外観（部分）の一例を示す図である。図２に示すように、電子機器１０の背面には、様々な被写体（を含む画像）を撮影可能なカメラ１３が搭載されている。このカメラ１３を用いて画像を撮影するためのアプリケーションプログラムが起動されると、カメラ１３の撮影エリア内に収まっている被写体像がリアルタイムにタッチスクリーンディスプレイ１２に表示される。この表示は、例えばファインダビューまたはカメラプレビューと称される。また、タッチスクリーンディスプレイ１２には、例えばカメラボタンが表示され、このカメラボタンを押下すべくタッチスクリーンディスプレイ１２上でタッチ入力操作が行われると、ファインダビューとして表示中の画像が記録（撮影）される。
【００１２】
図３は、電子機器１０のシステム構成の一例を示す図である。図３に示すように、電子機器１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、ＢＩＯＳ−ＲＯＭ１０４、システムコントローラ１０５、グラフィクスコントローラ１０６、無線通信デバイス１０７及びＥＣ１０８等を備える。また、図１に示すタッチスクリーンディスプレイ１２は、ＬＣＤ１２Ａ及びタッチパネル１２Ｂを備える。
【００１３】
ＣＰＵ１０１は、電子機器１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、不揮発性メモリ１０２から主メモリ１０３に各種ソフトウェアをロードして実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３ａ及び各種アプリケーションプログラムが含まれている。この各種アプリケーションプログラムには、上記したカメラ１３を用いて画像を撮影するためのアプリケーションプログラム（カメラアプリケーションプログラム）１０３ｂが含まれる。
【００１４】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０４に格納されているＢＩＯＳを実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１５】
システムコントローラ１０５は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０５には、主メモリ１０３をアクセス制御するメモリコントローラ等、各種コンポーネントを駆動制御するための種々のコントローラが内蔵されている。
【００１６】
グラフィクスコントローラ１０６は、電子機器１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。ＬＣＤ１２Ａは、グラフィクスコントローラ１０６によって生成される表示信号に基づいて画面イメージを表示する。
【００１７】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信等の無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。また、ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて電子機器１０を電源オン／オフする機能を有している。
【００１８】
なお、図３に示すように、図２に示すカメラ１３は、システムコントローラ１０５に接続されている。このカメラ１３は、例えばコントラストの高い画像を得ることが可能なように当該カメラ１３のフォーカス（焦点）を自動的に合わせる（調整する）機能（以下、オートフォーカス機能と表記）を備えているものとする。
【００１９】
次に、上記した電子機器１０上で動作するカメラアプリケーションプログラム１０３ｂの詳細について説明する。
【００２０】
まず、図４及び図５を参照して、カメラアプリケーションプログラム１０３ｂが備える機能について説明する。
【００２１】
ここで、電子機器１０のカメラ１３を用いてマクロ撮影（接写）を行う場合を想定する。ここでは、図４に示すように、２冊の書籍の見開き文書をキャプチャ撮影するものとする。このような場合、文字（列）が記載されている２冊の書籍の見開き文書の内容を把握できる程度に鮮鋭度が高い画像（つまり、撮影エリア全体に渡ってフォーカスが合った全焦点画像）を撮影することが求められる。一方、マクロ撮影では、例えば中心付近はフォーカスが合っているが、周辺部分はぼけているといった画像が撮影されやすく、全体的に鮮鋭度の高い画像を得ることは困難である。
【００２２】
そこで、カメラアプリケーションプログラム１０３ｂは、フォーカス（位置）を移動しながら撮影された一連の画像を合成することにより、全体的に鮮鋭度の高い画像（以下、高鮮鋭度画像と表記）を生成する機能を備える。このような機能を「フォーカルスイープ（機能）」と称する。
【００２３】
なお、本実施形態におけるフォーカス位置は、フォーカスを合わせるファインダービュー上の領域（に含まれる被写体）を含む。また、ファインダビュー上の領域にフォーカスを合わせるとは、例えば当該領域内のコントラストが高くなるようにカメラ１３のレンズ位置を制御することをいう。
【００２４】
図５は、フォーカルスイープの基本原理を説明するための図である。図５中の（Ａ）は、フォーカスを移動させながら撮影した一連の画像を表している。ここでは、６枚の画像が撮影されるものとする。一方、図５中の（Ｂ）は、高鮮鋭度画像の生成過程の画像（最終生成物の高鮮鋭度画像を含む）を表している。
【００２５】
図５に示すように、それぞれ異なるフォーカスで１枚目の画像と２枚目の画像とが撮影されると、これら２枚の画像を合成して撮影エリア内の異なる２つの部分（つまり、当該画像中の異なる領域）でフォーカスが合った、これら２枚の画像の各々よりも鮮鋭度（画質）の高い画像が生成される。続いて、更に異なるフォーカスで３枚目の画像が撮影されると、この３枚目の画像を更に合成して、画像の更なる高鮮鋭度化（高画質化）を図る。以降、同様の作業を繰り返すことによって、高鮮鋭度画像（合成画像）を生成する。
【００２６】
撮影画像の解像度（ピクセル数）と最終生成物の高鮮鋭度画像の解像度（ピクセル数）とは、同一であってもよいし、変更されていてもよい。換言すると、画像の解像度（ピクセル数）は、フォーカルスイープの処理前後において同一であってもよいし、変更されてもよい。また、このフォーカルスイープにおける高鮮鋭度画像を生成するための処理は、元画像から、少なくとも一部の領域にて、相対的に焦点（フォーカス）がより合っている状態の画像を生成するような処理であればよく、前述したように、同一の解像度（ピクセル数）であってもよく、解像度（ピクセル数）が変更されていてもよい。
【００２７】
なお、図５に示す例では、高鮮鋭度画像を生成するために６枚の画像が撮影される場合を示しているが、当該高鮮鋭度画像の生成に必要な時間を短縮するためには、当該高鮮鋭度画像を生成するために必要な画像の枚数、つまり、当該高鮮鋭度画像を生成するまでにカメラ１３によって撮影エリア（画像）が撮影される回数（以下、撮影回数と表記）を低減する必要がある。そこで、本実施形態に係る電子機器１０は、後述する鮮鋭度マップを用いて高鮮鋭度画像を生成するまでに必要な撮影回数を制御する機能を有する。
【００２８】
図６は、本実施形態に係る電子機器１０の機能構成を示すブロック図である。なお、ここでは、上述したフォーカルスイープに関する機能部について主に説明する。
【００２９】
図６に示すように、電子機器１０は、画像取得部１１１、画像格納部１１２、鮮鋭度マップ生成部１１３、鮮鋭度マップ格納部１１４、フォーカス決定部１１５、カメラ制御部１１６、画像生成部１１７及び表示処理部１１８を含む。本実施形態において、画像取得部１１１、鮮鋭度マップ生成部１１３、フォーカス決定部１１５、カメラ制御部１１６、画像生成部１１７及び表示処理部１１８は、電子機器１０のコンピュータ（例えば、ＣＰＵ１０１）が上述したカメラアプリケーションプログラム１０３ｂを実行することにより実現される機能部である。また、画像格納部１１２及び鮮鋭度マップ格納部１１４は、不揮発性メモリ１０２等に格納されているものとする。
【００３０】
画像取得部１１１は、カメラ１３によって撮影された、例えば複数の被写体が位置する領域を含む撮影エリアの１または複数の画像（当該撮影エリアを撮影することによって生成される第１画像）を取得する。画像取得部１１１によって撮影された画像は、画像格納部１１２に格納される。
【００３１】
鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像（画像取得部１１１によって取得された画像）から当該画像の鮮鋭度マップを生成する。この場合、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像を予め定められた数のブロック（領域）に分割し、当該ブロック毎の鮮鋭度（値）を有する鮮鋭度マップを生成する。鮮鋭度は、画像の鮮明さを表す指標（値）である。鮮鋭度マップ生成部１１３によって生成された鮮鋭度マップは、鮮鋭度マップ格納部１１４に格納される。なお、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された（つまり、画像取得部１１１によって取得された）画像毎に鮮鋭度マップを生成する。
【００３２】
フォーカス決定部１１５は、画像取得部１１１によって１枚目の画像が取得された場合には、鮮鋭度マップ生成部１１３によって生成された当該画像の鮮鋭度マップが有するブロック毎の鮮鋭度に基づいて、カメラ１３による次回の撮影におけるフォーカス位置としてフォーカスを合わせるファインダビュー上の領域を決定する。
【００３３】
また、フォーカス決定部１１５は、画像取得部１１１によって例えば２枚目以降の画像が取得された場合には、鮮鋭度マップ生成部１１３によって生成された当該各画像の鮮鋭度マップにおける対応するブロックの鮮鋭度を比較することによってフォーカス位置を決定する。
【００３４】
カメラ制御部１１６は、撮影エリアに対して、カメラ１３を用いたフォーカスの異なる１回以上の撮影を自動的に実行するように当該カメラ１３を制御する。具体的には、カメラ制御部１１６は、上記したファインダビュー上の、フォーカス決定部１１５によって決定されたフォーカス位置にフォーカスを合わせた状態で画像を撮影するようにカメラ１３を制御する。
【００３５】
画像生成部１１７は、画像格納部１１２に格納された１または複数の画像を用いて高鮮鋭度画像（第２画像）を生成する。画像生成部１１７によって生成された高鮮鋭度画像は、画像格納部１１２に格納される。
【００３６】
表示処理部１１８は、画像生成部１１７によって生成された高鮮鋭度画像を例えばタッチスクリーンディスプレイ１２上に表示する。
【００３７】
次に、図７のフローチャートを参照して、本実施形態に係る電子機器１０において上述したフォーカルスイープを利用する際の処理手順について説明する。
【００３８】
まず、ユーザは、電子機器１０に対する操作を行うことによって、上述したカメラアプリケーションプログラム１０３ｂを電子機器１０上で起動する。この場合、電子機器１０のタッチスクリーンディスプレイ１２には、カメラ１３の撮影エリアに収まっている例えば書籍の見開き文書等の被写体像がファインダビューとしてリアルタイムに表示される。
【００３９】
なお、図７に示す処理が実行されている間、ユーザは、同一の撮影エリアを撮影するように電子機器１０（に搭載されているカメラ１３）を固定（把持）しておくものとする。すなわち、図７に示す処理が実行されている間、タッチスクリーンディスプレイ１２には、同一の撮影エリアに対するファインダビュー（つまり、同一のファインダビュー）が継続して表示されているものとする。
【００４０】
ここで、例えばファインダビュー上にはフォーカルスイープを利用することを指示するためのボタン（以下、フォーカルスイープボタンと表記）が表示されているものとする。フォーカルスイープを利用する場合には、ユーザは、フォーカルスイープボタンをタッチスクリーンディスプレイ１２上で押下する。これにより、カメラ１３による撮影が開始される。
【００４１】
この場合、カメラ１３は、例えば画角内の一部の領域にフォーカスを合わせることが可能なオートフォーカス機能（タッチフォーカス機能）によってフォーカスが合わせられた状態で、ファインダビューとして表示中の画像を撮影する。
【００４２】
これにより、画像取得部１１１は、１枚目の画像（以下、便宜的に画像Ｘ１と表記）を取得する（ブロックＢ１）。なお、画像取得部１１１によって取得される画像Ｘ１には、例えば書籍の見開き文書等の被写体を含む領域と当該文書以外の被写体を含む領域とが含まれる。画像取得部１１１は、取得された画像Ｘ１を画像格納部１１２に格納する。
【００４３】
なお、画像Ｘ１が撮影された際のフォーカス位置（つまり、上記したオートフォーカス機能によってフォーカスが合わせられた位置）を示す値（以下、フォーカス設定値と表記）は、電子機器１０内で保持されるものとする。このフォーカス設定値は、例えばカメラ１３からどの程度の距離（に位置する被写体を含む平面）にフォーカスが合わせられたかという状態と相関のある値であり、例えばフォーカスが合わせられた状態におけるカメラ１３が備えるレンズの位置等から得ることができる。換言すれば、フォーカス設定値は、カメラ１３からフォーカスが合わせられた領域に含まれる被写体（を含む平面）までの距離を表す値である。以下の説明においては、画像Ｘ１が撮影された際のフォーカス位置を示すフォーカス設定値をフォーカス設定値Ｆ１と称する。
【００４４】
次に、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像Ｘ１に基づいて鮮鋭度マップを生成する（ブロックＢ２）。
【００４５】
この場合、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像Ｘ１を一定の幅を有する複数のブロック（領域）に分割する。ここで、図８は、画像Ｘ１を複数のブロックに分割した例を示す。図８に示す例では、画像Ｘ１は、６つのブロックＡ〜Ｆに分割されている。
【００４６】
鮮鋭度マップ生成部１１３は、このように分割された各ブロックについて鮮鋭度（値）を算出する。この鮮鋭度は、画像の鮮明さを数値化した値であり、例えば各ブロックにおける輝度値等に基づいて算出される。
【００４７】
なお、例えばフォーカスが合った状態にあるブロックについては鮮鋭度として高い値が算出され、フォーカスが合っていない状態にある（つまり、ぼけている）ブロックについては鮮鋭度として低い値が算出される。また、フォーカスが合っている状態にあるブロックであっても、当該ブロック内に特徴的な被写体が存在しない（つまり、特徴的でない被写体のみが存在する）場合には、当該ブロック内に特徴的な被写体が存在する場合と比較して、比較的低い鮮鋭度が算出される。この特徴的な被写体には、例えば上述した書籍の見開き文書（に記載されている文字等）が含まれる。一方、特徴的でない被写体には、例えば模様等の施されていないテーブル面等が含まれる。更に、フォーカスが合っていない状態にあるブロックであっても、上記した特徴的な被写体が存在しない場合には、当該特徴的な被写体が存在する場合と比較して、比較的低い鮮鋭度が算出される。
【００４８】
このような処理が実行されることにより、画像Ｘ１が分割された各ブロック（例えば、ブロックＡ〜Ｆ）の鮮鋭度を有する鮮鋭度マップ（以下、画像Ｘ１の鮮鋭度マップと表記）が生成される。なお、このように生成された画像Ｘ１の鮮鋭度マップは、鮮鋭度マップ格納部１１４に格納される。
【００４９】
次に、鮮鋭度マップ生成部１１３は、画像Ｘ１の鮮鋭度マップを参照して、上述した１回の撮影で充分な鮮鋭度の画像が得られたか否かを判定する（ブロックＢ３）。この場合、例えば画像Ｘ１の鮮鋭度マップが有する各ブロックの鮮鋭度の全てが予め定められた値（以下、閾値と表記）以上である場合には、充分な鮮鋭度の画像が得られたと判定される。一方、画像Ｘ１の鮮鋭度マップが有する各ブロックの鮮鋭度の少なくとも１つが閾値以上でない場合には、充分な鮮鋭度の画像が得られていないと判定される。
【００５０】
なお、画像Ｘ１の鮮鋭度マップにおいて予め定められた数（または割合）以上のブロックの鮮鋭度が閾値以上である場合に、充分な鮮鋭度の画像が得られたと判定されるようにしてもよい。
【００５１】
充分な鮮鋭度の画像が得られていないと判定された場合（ブロックＢ３のＮＯ）、フォーカス決定部１１５は、画像Ｘ１の鮮鋭度マップが有する各ブロックの鮮鋭度に基づいて例えば鮮鋭度の低いブロックに対応する領域の鮮鋭度が次回の撮影において高くなるようなフォーカス位置を決定する（ブロックＢ４）。
【００５２】
このブロックＢ４の処理について具体的に説明すると、フォーカス決定部１１５は、画像Ｘ１の鮮鋭度マップが有する各ブロックの鮮鋭度を比較することによって、画像Ｘ１が分割された複数のブロックのうち鮮鋭度が最も低いブロックを特定する。
【００５３】
ここで、上記したようにタッチスクリーンディスプレイ１２には画像Ｘ１が撮影されたときと同一のファインダビューが表示された状態である。
【００５４】
この場合、フォーカス決定部１１５は、タッチスクリーンディスプレイ１２に表示されているファインダビュー上の、上記したように特定された鮮鋭度が最も低いブロックに対応する領域を、フォーカスを合わせる領域（つまり、フォーカス位置）として決定する（ブロックＢ４）。
【００５５】
次に、カメラ制御部１１６は、ファインダビュー上の、フォーカス決定部１１５によってフォーカス位置として決定された領域にフォーカスが合わせられた状態で、当該ファインダビューとして表示中の画像を撮影するようにカメラ１３を制御する。
【００５６】
これにより、画像取得部１１１は、２枚目の画像（以下、便宜的に画像Ｘ２と表記）を取得する（ブロックＢ５）。ここで画像取得部１１１によって取得される画像Ｘ２は、フォーカス位置が異なる点以外は上述した画像Ｘ１と同様の画像である。画像取得部１１１は、取得された画像Ｘ２を画像格納部１１２に格納する。
【００５７】
なお、画像Ｘ２が撮影された際のフォーカス位置（つまり、ブロックＢ４において決定されたフォーカス位置）を示すフォーカス設定値（以下、フォーカス設定値Ｆ２と表記）は、電子機器１０内で保持される。なお、このフォーカス設定値Ｆ２は、上記したようにカメラ１３からフォーカスが合わせられた領域に含まれる被写体までの距離を表す値である。
【００５８】
次に、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像Ｘ２に基づいて鮮鋭度マップ（以下、画像Ｘ２の鮮鋭度マップと表記）を生成する（ブロックＢ６）。ここで生成される画像Ｘ２の鮮鋭度マップは、画像Ｘ１の鮮鋭度マップと同様に、画像Ｘ２が分割された各ブロック（例えば、ブロックＡ〜Ｆ）の鮮鋭度を有する鮮鋭度マップである。換言すれば、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップにおける各ブロックはそれぞれ対応している。なお、鮮鋭度マップの生成については、上述したブロックＢ２において説明した通りであるため、その詳しい説明を省略する。また、画像Ｘ２の鮮鋭度マップは、鮮鋭度マップ格納部１１４に格納される。
【００５９】
鮮鋭度マップ生成部１１３は、鮮鋭度マップ格納部１１４に格納された画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップに基づいて、当該画像Ｘ１及び画像Ｘ２が分割された複数のブロックのうち不要なブロックがあるか否かを判定する（ブロックＢ７）。
【００６０】
この場合、鮮鋭度マップ生成部１１３は、上記したように画像Ｘ１が撮影された際のフォーカス位置を変更して画像Ｘ２を撮影したにもかかわらず、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップの両方において鮮鋭度が低い（つまり、鮮鋭度の変化の小さい）ブロックが存在する場合には、不要なブロックがあると判定する。
【００６１】
具体的には、画像Ｘ１の鮮鋭度マップが有するブロックＦの鮮鋭度が他のブロックの鮮鋭度と比較して最も低い場合には、当該ブロックＦに対応する領域にフォーカスが合わせられた状態で画像Ｘ２が撮影されることとなる。このように撮影された画像Ｘ２の鮮鋭度マップにおいてもブロックＦの鮮鋭度が改善されていないような場合には、当該ブロックＦ（に対応する領域）には特徴的な被写体が存在せず鮮鋭度が相対的に低く評価されているものと推測することができる。この場合、このようなブロックＦは、鮮鋭度を増加させる必要がないため、不要なブロックとみなす。
【００６２】
不要なブロックがあると判定された場合（ブロックＢ７のＹＥＳ）、当該不要なブロックは、後の処理において除外される（ブロックＢ８）。
【００６３】
一方、不要なブロックがないと判定された場合（ブロックＢ７のＮＯ）、ブロックＢ８の処理は実行されない。
【００６４】
次に、鮮鋭度マップ生成部１１３は、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップを参照して、上述した２回の撮影の中で充分な鮮鋭度の画像が得られたか否かを判定する（ブロックＢ９）。この場合、鮮鋭度マップ生成部１１３は、例えば画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップに基づいて画像Ｘ１−Ｘ２の鮮鋭度マップを生成する。この画像Ｘ１−Ｘ２の鮮鋭度マップは、各ブロックの鮮鋭度を、画像Ｘ１の鮮鋭度マップが有する当該ブロックの鮮鋭度及び画像Ｘ２の鮮鋭度マップが有する当該ブロックの鮮鋭度のうちの値が大きい鮮鋭度とした鮮鋭度マップである。具体的には、画像Ｘ１の鮮鋭度マップが有するブロックＡの鮮鋭度よりも画像Ｘ２の鮮鋭度マップが有するブロックＡの鮮鋭度が大きい場合には、画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＡの鮮鋭度は、当該画像Ｘ２の鮮鋭度マップが有するブロックＡの鮮度とする。ここでは、ブロックＡについて説明したが、他のブロックＢ〜Ｆについても同様である。
【００６５】
ブロックＢ９においては、このように生成された画像Ｘ１−Ｘ２の鮮鋭度マップに対して上述したブロックＢ３と同様の処理が実行される。なお、上述したブロックＢ８において不要なブロックが除外されている場合には、ブロックＢ９の処理は、画像Ｘ１−Ｘ２の鮮鋭度マップが有する当該不要なブロック以外のブロックの鮮鋭度に基づいて実行される。
【００６６】
充分な鮮鋭度の画像が得られていないと判定された場合（ブロックＢ９のＮＯ）、フォーカス決定部１１５は、電子機器１０内に保持されているフォーカス設定値Ｆ１及びフォーカス設定値Ｆ２と、鮮鋭度マップ格納部１１４に格納された画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップとに基づいてフォーカス位置決定処理を実行する（ブロックＢ１０）。このフォーカス位置決定処理によれば、次回の撮影におけるフォーカス位置を示すフォーカス設定値が決定される。このフォーカス位置決定処理の詳細については後述する。
【００６７】
次に、カメラ制御部１１６は、フォーカス設定値によって示されるフォーカス位置にフォーカスが合わせられた状態で、ファインダビューとして表示中の画像を撮影するようにカメラ１３を制御する。
【００６８】
これにより、画像取得部１１１は、３枚目の画像（以下、便宜的に画像Ｘ３と表記）を取得する（ブロックＢ１１）。ここで画像取得部１１１によって取得される画像Ｘ３は、フォーカス位置が異なる点以外は上述した画像Ｘ１及び画像Ｘ２と同様の画像である。画像取得部１１１は、取得された画像Ｘ３を画像格納部１１２に格納する。
【００６９】
なお、画像Ｘ３が撮影された際のフォーカス位置（つまり、ブロックＢ１０において決定されたフォーカス位置）を示すフォーカス設定値（以下、フォーカス設定値Ｆ３と表記）は、電子機器１０内で保持される。
【００７０】
次に、鮮鋭度マップ生成部１１３は、画像格納部１１２に格納された画像Ｘ３に基づいて鮮鋭度マップ（以下、画像Ｘ３の鮮鋭度マップと表記）を生成する（ブロックＢ１２）。ここで生成される画像Ｘ３の鮮鋭度マップは、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップと同様に、画像Ｘ３が分割された各ブロック（例えば、ブロックＡ〜Ｆ）の鮮鋭度を有する鮮鋭度マップである。換言すれば、画像Ｘ１の鮮鋭度マップ、画像Ｘ２の鮮鋭度マップ及び画像Ｘ３の鮮鋭度マップにおける各ブロックはそれぞれ対応している。なお、鮮鋭度マップの生成については、上述したブロックＢ２において説明した通りであるため、その詳しい説明を省略する。また、画像Ｘ３の鮮鋭度マップは、鮮鋭度マップ格納部１１４に格納される。
【００７１】
鮮鋭度マップ生成部１１３は、画像Ｘ３の鮮鋭度マップ及び上述したブロックＢ９における画像Ｘ１−Ｘ２の鮮鋭度マップを参照して、上述した３回の撮影の中で充分な鮮鋭度の画像が得られたか否かを判定する（ブロックＢ１３）。なお、このブロックＢ１３の処理は、画像Ｘ３の鮮鋭度マップ及び画像Ｘ１−Ｘ２の鮮鋭度マップを参照して実行される点以外は上記したブロックＢ９において説明した通りであるため、その詳しい説明を省略する。
【００７２】
充分な鮮鋭度の画像が得られたと判定された場合（ブロックＢ１３のＹＥＳ）、画像生成部１１７は、画像格納部１１２に格納された画像Ｘ１、画像Ｘ２及び画像Ｘ３を用いて高鮮鋭度画像を生成する（ブロックＢ１４）。この場合、画像生成部１１７は、これらの画像Ｘ１、画像Ｘ２及び画像Ｘ３を合成することによって、不要なブロックとして除外されたブロック以外の各ブロックに対応する領域において鮮鋭度の高い画像（合成画像）を生成する。
【００７３】
なお、ブロックＢ１４においては、より鮮鋭度の高い画像を生成するための他の処理等が実行されても構わない。具体的には、例えばユーザの手ぶれによって画像Ｘ１、画像Ｘ２及び画像Ｘ３において位置ずれ等が生じている場合には、当該位置ずれを補正する処理等が実行されてもよいし、その他の高画質化のための処理（例えば、ぼけ復元処理等）が実行されても構わない。
【００７４】
このように生成された高鮮鋭度画像（合成画像）は、表示処理部１１８によってタッチスクリーンディスプレイ１２に表示される。これにより、ユーザは、フォーカルスイープによって得られた高鮮鋭度画像を確認することができる。また、高鮮鋭度画像は、画像格納部１１２に格納される。これにより、ユーザは、画像格納部１１２に格納された高鮮鋭度画像を読み出すことによって、図７に示す処理が実行された後であっても高鮮鋭度画像を確認することができる。
【００７５】
一方、上記したブロックＢ３において充分な鮮鋭度の画像が得られたと判定された場合（ブロックＢ３のＹＥＳ）、画像格納部１１２に格納された画像Ｘ１を用いてブロックＢ１４の処理が実行される。この場合におけるブロックＢ１４の処理においては、複数の画像を合成する必要はないが、例えば画像Ｘ１に対してより鮮鋭度の高い画像を生成するための処理等が実行されることによって高鮮鋭度画像が生成される。
【００７６】
また、上記したブロックＢ９において充分な鮮鋭度の画像が得られたと判定された場合（ブロックＢ９のＹＥＳ）、画像格納部１１２に格納された画像Ｘ１及び画像Ｘ２を用いてブロックＢ１４の処理が実行される。
【００７７】
なお、ブロックＢ１３において充分な鮮鋭度の画像が得られていないと判定された場合（ブロックＢ１３のＮＯ）、ブロックＢ１０に戻って当該ブロックＢ１０〜Ｂ１２の処理が繰り返される。すなわち、本実施形態においては、充分な鮮鋭度の画像が得られるまで４枚目以降の画像が順次撮影されることになる。
【００７８】
ここでは、充分な鮮鋭度の画像が得られるまで処理が繰り返されるものとして説明したが、上述したブロックＢ１４において高鮮鋭度画像が生成されるまでに必要な撮影回数（つまり、高鮮鋭度画像の生成に用いられる画像の数）の上限値を予め設定しておくことによって、当該撮影回数が上限値に達した場合には、当該撮影回数の撮影によって得られた画像を用いて高鮮鋭度画像が生成されるような構成とすることも可能である。このような構成によれば、上述したブロックＢ１０〜Ｂ１２の処理が繰り返される回数を制限することが可能となるため、高鮮鋭画像が生成されるまでに必要な時間を低減することができる。
【００７９】
上記した図７に示す処理によれば、例えば複数の被写体（第１の被写体及び第２の被写体）が撮影エリア内に存在し、当該各被写体のカメラ１３からの距離の差が所定値以上である場合には、１回の撮影で充分な鮮鋭度の画像を得ることはできない場合が多いため、複数回の撮影によって得られた複数の画像を用いて高鮮度画像が生成されることとなる。すなわち、本実施形態において高鮮鋭度画像を生成するためにカメラ１３によって撮影される回数は、例えば１の被写体のカメラからの距離と他の被写体のカメラ１３からの距離との差が所定値以上である場合と当該所定値未満である場合とで異なる。
【００８０】
次に、図９のフローチャートを参照して、上述したフォーカス位置決定処理（図７に示すブロックＢ１０の処理）の処理手順について説明する。ここでは、鮮鋭度マップ格納部１１４には画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップが格納されており、電子機器１０内にはフォーカス設定値Ｆ１及びフォーカス設定値Ｆ２が保持されているものとする。
【００８１】
なお、フォーカス設定値Ｆ１は、画像Ｘ１が撮影された際のフォーカス位置（フォーカスが合わせられた領域に含まれる被写体までの距離）を表す値である。同様に、フォーカス設定値Ｆ２Ｆは、画像Ｘ２が撮影された際のフォーカス位置を表す値である。ここでは、フォーカス設定値Ｆ１は、フォーカス設定値Ｆ２よりも大きい値（つまり、Ｆ１＞Ｆ２）であるものとする。つまり、画像Ｘ１が撮影された際にフォーカスが合わせられた領域に含まれる被写体までの距離は、画像Ｘ２が撮影された際にフォーカスが合わせられた領域に含まれる被写体までの距離よりも遠いものとする。
【００８２】
まず、フォーカス決定部１１５は、鮮鋭度マップ格納部１１４に格納されている画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップにおける対応するブロックの鮮鋭度を比較することによって、当該鮮鋭度が低下したブロック数をカウントする（ブロックＢ２１）。この場合、フォーカス決定部１１５は、画像Ｘ１の鮮鋭度マップが有する鮮鋭度よりも画像Ｘ２の鮮鋭度マップが有する鮮鋭度の方が小さいブロック数をカウントする。以下、ブロックＢ２１においてカウントされたブロック数を低下ブロック数と称する。
【００８３】
また、フォーカス決定部１１５は、鮮鋭度マップ格納部１１４によって格納されている画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップにおける対応するブロックの鮮鋭度を比較することによって、当該鮮鋭度が増加したブロック数をカウントする（ブロックＢ２２）。この場合、フォーカス決定部１１５は、画像Ｘ１の鮮鋭度マップが有する鮮鋭度よりも画像Ｘ２の鮮鋭度マップが有する鮮鋭度の方が大きいブロック数をカウントする。以下、ブロックＢ２２においてカウントされたブロック数を増加ブロック数と称する。
【００８４】
なお、上記したブロックＢ２１及びＢ２２においてカウントの対象となるブロックは、上述した画像Ｘ１−Ｘ２の鮮鋭度マップが有する鮮鋭度が閾値以上でないブロックであって、図７に示すブロックＢ８において除外されていないブロックである。
【００８５】
次に、フォーカス決定部１１５は、低下ブロック数が増加ブロック数より多いか否かを判定する（ブロックＢ２３）。
【００８６】
ここで、低下ブロック数が増加ブロック数より多いと判定された場合を想定する（ブロックＢ２３のＹＥＳ）。この場合、上述したようにフォーカス設定値Ｆ１＞フォーカス設定値Ｆ２であるものとすると、フォーカス設定値を、フォーカス設定値Ｆ１より大きくすることにより、鮮鋭度が増加するブロックが多くなる可能性が高いと推測される。このため、フォーカス決定部１１５は、次回の撮影におけるフォーカス位置として、図１０に示すようにフォーカス設定値Ｆ１より大きいフォーカス設定値Ｆ３（つまり、Ｆ３＞Ｆ１＞Ｆ２となるようなフォーカス設定値Ｆ３）を決定する（ブロックＢ２４）。
【００８７】
この場合におけるフォーカス設定値Ｆ３は、例えば上記した低下ブロック数にカウントされたブロックのうちの１つまたは複数の領域に対してオートフォーカス機能を適用することによって決定することができる。なお、フォーカス設定値Ｆ３は、フォーカス設定値Ｆ１からフォーカス設定値Ｆ２への変更とは逆方向に変更されればよいため、例えば「フォーカス設定値Ｆ１＋（フォーカス設定値Ｆ１−フォーカス設定値Ｆ２）」のように決定されてもよいし、例えばフォーカス設定値Ｆ１に対して予め定められた値を加算することによって決定されてもよい。また、フォーカス設定値Ｆ３は、例えば低下ブロック数にカウントされたブロックの鮮鋭度を用いて重み付け等がされるような構成であっても構わない。
【００８８】
一方、低下ブロック数が増加ブロック数より多くない（つまり、増加ブロック数が低がブロック数より多い）と判定された場合を想定する（ブロックＢ２３のＮＯ）。この場合には、フォーカス設定値を、フォーカス設定値Ｆ２より小さくすることにより、フォーカス設定値Ｆ１をフォーカス設定値Ｆ２に変更することによって鮮鋭度が増加したが当該鮮鋭度が不充分であったブロックについて、更に鮮鋭度を増加させることができる可能性がある。このため、フォーカス決定部１１５は、次回の撮影におけるフォーカス位置として、図１１に示すようにフォーカス設定値Ｆ２より小さいフォーカス設定値Ｆ３（つまり、Ｆ１＞Ｆ２＞Ｆ３となるようなフォーカス設定値Ｆ３）を決定する（ブロックＢ２５）。
【００８９】
この場合におけるフォーカス設定値Ｆ３は、例えば上記した増加ブロック数にカウントされたブロックのうちの１つまたは複数の領域に対してオートフォーカス機能を適用することによって決定することができる。なお、フォーカス設定値Ｆ３は、フォーカス設定値Ｆ２よりも小さい値であればよいため、例えばフォーカス設定値Ｆ２から予め定められた値を減算することによって決定されてもよい。また、フォーカス設定値Ｆ３は、例えば増加ブロック数にカウントされたブロックの鮮鋭度を用いて重み付け等がされるような構成であっても構わない。
【００９０】
上記したフォーカス位置決定処理によれば、画像Ｘ１の鮮鋭度マップ、画像Ｘ２の鮮鋭度マップ、フォーカス設定値Ｆ１及びフォーカス設定値Ｆ２に基づいて、当該画像Ｘ１及び画像Ｘ２において鮮鋭度が充分でないブロックに対応する領域において鮮鋭度の高い画像を取得することが期待できるフォーカス設定値（フォーカス位置）を決定することができる。
【００９１】
なお、ここではフォーカス設定値Ｆ１＞フォーカス設定値Ｆ２であるものとして説明したが、フォーカス設定値Ｆ１＜フォーカス設定値Ｆ２である場合についても同様にフォーカス設定値Ｆ３を決定することができる。具体的には、ブロックＢ２３において低下ブロック数が増加ブロック数より多いと判定された場合には、ブロックＢ２４においてはフォーカス設定値Ｆ１より小さいフォーカス設定値Ｆ３が決定される。一方、ブロックＢ２３において増加ブロック数が低下ブロック数より多いと判定された場合には、ブロックＢ２５においてはフォーカス設定値Ｆ２より大きいフォーカス設定値Ｆ３が決定される。
【００９２】
本実施形態においては、上述したような処理が実行されることにより、高鮮鋭度画像が生成されるまでに必要な撮影回数を制御することができる。
【００９３】
ここで、本実施形態によれば、カメラ１３のフォーカスが合った状態で画像Ｘ１が撮影された場合において、当該画像Ｘ１中のフォーカスが合った領域以外の領域に特徴的な被写体（例えば、文字等）が含まれているか否かによって、高鮮鋭度画像が生成されるまでに必要な撮影回数が異なる。以下、この場合についての簡易的な例について説明する。
【００９４】
なお、以下の説明においては、鮮鋭度マップが有する各ブロックの鮮鋭度は１〜１０の範囲の値であるものとする。また、最も鮮明である場合の鮮鋭度は１０であり、最も鮮明でない場合の鮮明度は１であるものとする。
【００９５】
まず、画像Ｘ１中のフォーカスが合わせられた領域以外の領域に特徴的な被写体が含まれている場合について説明する。
【００９６】
ここでは、図１２に示すような３冊の書籍の見開き文書２０１〜２０３が撮影される場合を想定する。この場合において、オートフォーカス機能によって文書２０１を含む領域にフォーカスが合わせられた状態で画像Ｘ１が撮影されたものとする。すなわち、この場合においては、フォーカスが合わせられた領域以外の領域には特徴的な被写体として文書２０２及び２０３（に記載されている文字）が含まれているものとする。
【００９７】
この場合、図１３に示すような画像Ｘ１の鮮鋭度マップが生成される。この図１３に示す画像Ｘ１の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は９であり、ブロックＣの鮮鋭度は５であり、ブロックＦの鮮鋭度は４である。
【００９８】
ここで、図１３に示す画像Ｘ１の鮮鋭度マップが有する各ブロックのうち、ブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は閾値（例えば８）以上であるが、ブロックＣ及びＦの鮮鋭度は閾値以上でない場合には、充分な鮮鋭度の画像が得られていないと判定される。
【００９９】
この場合には、鮮鋭度が最も低いブロックＦに対応する領域（つまり、文書２０３を含む領域）にフォーカスが合わせられた状態で画像Ｘ２が撮影される。
【０１００】
このように画像Ｘ２が撮影されると、図１４に示すような画像Ｘ２の鮮鋭度マップが生成される。この図１４に示す画像Ｘ２の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は４であり、ブロックＣの鮮鋭度は７であり、ブロックＦの鮮鋭度は９である。
【０１０１】
ここで、詳細については上述した通りであるため省略するが、図１３に示す画像Ｘ１の鮮鋭度マップ及び図１４に示す画像Ｘ２の鮮鋭度マップに基づいて生成される画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ、Ｅ及びＦの鮮鋭度は９であり、ブロックＣの鮮鋭度は７である。
【０１０２】
この場合、画像Ｘ１−Ｘ２の鮮鋭度マップが有する各ブロックのうち、ブロックＡ、Ｂ、Ｄ、Ｅ及びＦの鮮鋭度は閾値以上であるが、ブロックＣの鮮鋭度は閾値以上でないため、充分な鮮鋭度の画像が得られていないと判定される。
【０１０３】
次に、上述したフォーカス位置決定処理によってブロックＣに対応する領域（つまり、文書２０２を含む領域）の鮮鋭度を増加させることができるようなフォーカス位置が決定される。これにより、ブロックＣに対応する領域の鮮鋭度が増加した画像Ｘ３が撮影される。
【０１０４】
このような画像Ｘ３が撮影された場合には、充分な鮮鋭度の画像が得られたと判定され、画像Ｘ１、画像Ｘ２及び画像Ｘ３を用いて高鮮鋭度画像を生成することができる。
【０１０５】
したがって、図１２に示すような３冊の書籍の見開き文書２０１〜２０３を撮影する場合において、当該文書２０１〜２０３のうちの文書２０１を含む領域にフォーカスが合わせられた状態で１枚目の画像が撮影されるような場合、高鮮鋭度画像が生成されるまでに必要な撮影回数は３回となる。
【０１０６】
次に、画像Ｘ１中のフォーカスが合わせられた領域以外の領域に特徴的な被写体が含まれていない場合について説明する。
【０１０７】
ここでは、図１５に示すような１冊の書籍の見開き文書３０１が撮影される場合を想定する。この場合において、オートフォーカス機能によって文書３０１を含む領域にフォーカスが合わせられた状態で画像Ｘ１が撮影されたものとする。すなわち、この場合においては、フォーカスが合わせられた領域以外の領域には特徴的な被写体が含まれていない。
【０１０８】
この場合、図１６に示すような画像Ｘ１の鮮鋭度マップが生成される。この図１６に示す画像Ｘ１の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は９であり、ブロックＣ及びＦの鮮鋭度は２である。ここで、図１３に示す画像Ｘ１の鮮鋭度マップが有する各ブロックのうち、ブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は閾値以上であるが、ブロックＣ及びＦの鮮鋭度は閾値以上でないため、充分な鮮鋭度の画像が得られていないと判定される。
【０１０９】
この場合には、鮮鋭度が最も低い例えばブロックＦに対応する領域にフォーカスが合わせられた状態で画像Ｘ２が撮影される。
【０１１０】
このように画像Ｘ２が撮影されると、図１７に示すような画像Ｘ２の鮮鋭度マップが生成される。この図１７に示す画像Ｘ２の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は４であり、ブロックＣの鮮鋭度は２であり、ブロックＦの鮮鋭度は３である。このように特徴的な被写体が含まれていない領域（ここでは、ブロックＣ及びＦに対応する領域）においては、当該領域にフォーカスを合わせて撮影が行われた場合であっても鮮鋭度の変化が小さい（つまり、鮮鋭度が改善されない）。
【０１１１】
ここで、図１６に示す画像Ｘ１の鮮鋭度マップ及び図１７に示す画像Ｘ２の鮮鋭度マップに基づいて生成される画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は９であり、ブロックＣの鮮鋭度は２であり、ブロックＦの鮮鋭度は３である。
【０１１２】
このように画像Ｘ１−Ｘ２の鮮鋭度マップ（つまり、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップ）において鮮鋭度が低いブロックＣ及びＦに対応する領域には、特徴的な被写体が存在せず鮮鋭度が相対的に低く評価されているものと推測ができるため、当該ブロックＣ及びＦは後の処理において除外される。
【０１１３】
この場合、画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＣ及びＦ以外のブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度が閾値以上であるため、充分な鮮鋭度の画像が得られたと判定される。この場合には、画像Ｘ１及び画像Ｘ２を用いて高鮮鋭度画像を生成することができる。
【０１１４】
したがって、図１５に示すような１冊の書籍の見開き文書３０１を撮影する場合において、当該文書３０１を含む領域にフォーカスが合わせられた状態で１枚目の画像が撮影されるような場合、高鮮鋭度画像が生成されるまでに必要な撮影回数は２回となる。
【０１１５】
なお、ここでは画像Ｘ１中のフォーカスが合わせられた領域以外の領域に特徴的な被写体が含まれているか否かによって画像の撮影回数が異なるものとして説明したが、当該画像Ｘ１中のフォーカスが合わせられた領域に特徴的な被写体が含まれているか否かにもよっても画像の撮影回数が異なる。以下、この場合についての簡易的な例について説明する。
【０１１６】
まず、画像Ｘ１中のフォーカスが合わせられた領域に特徴的な被写体が含まれている場合について説明する。
【０１１７】
ここでは、上述した図１５に示すような１冊の書籍の見開き文書３０１が撮影される場合を想定する。この場合において、オートフォーカス機能によって文書３０１を含む領域にフォーカスが合わせられた状態で画像Ｘ１が撮影されたものとする。すなわち、この場合においては、フォーカスが合った領域には特徴的な被写体として文書３０１（に記載されている文字）が含まれている。
【０１１８】
この場合における高鮮鋭度画像が生成されるまでの具体的な動作については上述した図１６及び図１７を用いて説明した通りであるためその詳しい説明を省略する。すなわち、図１５に示すような１冊の書籍の見開き文書３０１を撮影するような場合において、当該文書３０１を含む領域にフォーカスが合わせられた状態で１枚目の画像が撮影されるような場合、高鮮鋭度画像が生成されるまでに必要な撮影回数は２回となる。
【０１１９】
次に、画像Ｘ１中のフォーカスが合わせられた領域に特徴的な被写体が含まれていない場合について説明する。
【０１２０】
ここでは、上述した図１５に示すような１冊の書籍の見開き文書３０１が撮影される場合を想定する。この場合において、オートフォーカス機能によって文書３０１を含む領域以外の領域にフォーカスが合わせられた状態で画像Ｘ１が撮影されたものとする。すなわち、この場合においては、フォーカスが合わせられた領域には特徴的な被写体が含まれていない。
【０１２１】
この場合、上述した図１７に示すような画像Ｘ１の鮮鋭度マップが生成される。なお、図１７は、例えばブロックＦに対応する領域（つまり、文書３０１を含む領域以外の領域）にフォーカスが合わせられた状態で撮影された画像Ｘ１の鮮鋭度マップである。この図１７に示す画像Ｘ１の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は４であり、ブロックＣの鮮鋭度は２であり、ブロックＦの鮮鋭度は３である。ここで、図１７に示す画像Ｘ１の鮮鋭度マップが有する各ブロックのうち、ブロックＡ〜Ｆの鮮鋭度は閾値以上でないため、充分な鮮鋭度の画像が得られてないと判定される。
【０１２２】
この場合には、鮮鋭度が最も低いブロックＣに対応する領域にフォーカスが合わせられた状態で画像Ｘ２が撮影される。
【０１２３】
このように画像Ｘ２が撮影されると、図１８に示すような画像Ｘ２の鮮鋭度マップが生成される。この図１８に示す画像Ｘ２の鮮鋭度マップが有するブロックＡ，Ｂ、Ｄ及びＥの鮮鋭度は６であり、ブロックＣの鮮鋭度は３であり、ブロックＦの鮮鋭度は２である。このように特徴的な被写体が含まれている領域（ここでは、ブロックＡ、Ｂ、Ｄ及びＥに対応する領域）においては、当該領域にフォーカスが合わせられた状態で撮影されていないため充分な鮮鋭度ではないものの、フォーカスが合わせられる領域が変更されたことによって鮮鋭度に一定量の変化が生じている。一方、特徴的な被写体が含まれていない領域（ここでは、ブロックＣ及びＦに対応する領域）においては、鮮鋭度の変化が小さい。
【０１２４】
ここで、図１７に示す画像Ｘ１の鮮鋭度マップ及び図１８に示す画像Ｘ２の鮮鋭度マップに基づいて生成される画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は６であり、ブロックＣの鮮鋭度は３であり、ブロックＦの鮮鋭度は３である。
【０１２５】
このように画像Ｘ１−Ｘ２の鮮鋭度マップ（つまり、画像Ｘ１の鮮鋭度マップ及び画像Ｘ２の鮮鋭度マップ）において鮮鋭度が低いブロックＣ及びＦに対応する領域には、特徴的な被写体が存在せず鮮鋭度が相対的に低く評価されているものと推測ができるため、当該ブロックＣ及びＦは後の処理において除外される。
【０１２６】
一方、ブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は、閾値（例えば、８）以上ではないものの、一定量の変化が生じている。よって、ブロックＡ、Ｂ、Ｄ及びＥについては後の処理において除外されない。
【０１２７】
この場合、画像Ｘ１−Ｘ２の鮮鋭度マップが有するブロックＣ及びＦ以外のブロックＡ、Ｂ、Ｄ及びＥの鮮鋭度は閾値以上でないため、充分な鮮鋭度の画像が得られていないと判定される。
【０１２８】
この場合には、上述したフォーカス位置決定処理によってブロックＡ、Ｂ、Ｄ及びＥに対応する領域（つまり、文書３０１を含む領域）の鮮鋭度を増加させることができるようなフォーカス位置が決定される。これにより、ブロックＡ、Ｂ、Ｄ及びＥに対応する領域の鮮鋭度が増加した画像Ｘ３が撮影される。
【０１２９】
このような画像Ｘ３が撮影された場合には、充分な鮮鋭度の画像が得られたと判定され、画像Ｘ１、画像Ｘ２及び画像Ｘ３を用いて高鮮鋭度画像を生成することができる。
【０１３０】
したがって、図１５に示すような１冊の書籍の見開き文書３０１が撮影される場合において、当該文書３０１を含む領域以外の領域にフォーカスが合わせられた状態で１枚目の画像が撮影されるような場合、高鮮鋭度画像が生成されるまでに必要な撮影回数は３回となる。
【０１３１】
上記したように本実施形態においては、例えば複数の被写体（第１被写体及び第２被写体）の各々が位置する領域を少なくとも含む撮影エリアに対して、カメラ１３を用いたフォーカスの異なる１回以上の撮影を自動的に実行し、当該カメラ１３によって異なるフォーカスで撮影エリアを撮影することによって生成される１または複数の第１画像を取得し、その１または複数の第１画像を用いて第２画像をディスプレイ上に表示する。この場合、各被写体のカメラ１３からの距離の差が所定値（第１値）以上である場合と当該距離の差が所定値（第１値）未満である場合とで、高鮮鋭度画像が生成されるまでに必要なカメラ１３による撮影回数（撮影エリアが撮影される回数）が異なる。
【０１３２】
また、本実施形態においては、特定の被写体（第１被写体）を含む領域（第１領域）以外の領域（第２領域）に位置する被写体（第２被写体）に比較して、当該特定の被写体によりフォーカスが合わせられた状態で撮影された画像に含まれる当該特定の領域以外の領域に文字が含まれているかに応じて、当該カメラ１３による撮影回数が異なる。
【０１３３】
更に、本実施形態においては、特定の被写体（第１被写体）を含む領域（第１領域）以外の領域（第２領域）に位置する被写体（第２被写体）に比較して、当該特定の被写体によりフォーカスが合わせられた状態で撮影された画像に含まれる当該特定の領域に文字が含まれているかに応じて、当該カメラ１３による撮影回数が異なる。
【０１３４】
すなわち、本実施形態においては、鮮鋭度マップを用いて高鮮鋭度画像を生成するために必要な撮影回数を制御することが可能となるため、高鮮鋭度画像の生成に必要な時間を低減し、鮮鋭度の高い画像を効率的に得ることが可能となる。
【０１３５】
また、本実施形態においては、例えば１回の撮影で充分な鮮鋭度の画像を得ることができない場合であっても、カメラ１３を用いたフォーカスの異なる複数回の撮影が自動的に実行されることによって生成される複数の画像を合成することによって高鮮鋭度画像を生成して表示することが可能となる。
【０１３６】
なお、上述したように本実施形態においては高鮮鋭度画像が生成されるまでに必要な撮影回数が異なるため、本実施形態に係る電子機器１０は、画像の撮影回数をユーザに通知するための機能を有する構成であっても構わない。
【０１３７】
具体的には、カメラ１３を搭載する電子機器１０（例えば、タブレットコンピュータ及びスマートフォン等）においては、一般的に当該カメラ１３による撮影時に音（例えば、シャッター音等）が出力される。これを利用することによって、例えばカメラ１３によって撮影エリア（画像）が撮影される際の撮影回数に応じて、当該撮影時に出力する音を変化させる構成とする。このような構成によれば、フォーカルスイープを利用した場合における画像の撮影回数をユーザに通知することができる。
【０１３８】
なお、本実施形態は、このような書籍の見開き文書以外に、例えば文字が記載されたホワイトボード及び新聞等のように内容を把握できる程度に全体的に鮮鋭度の高い画像を得る必要がある被写体を撮影する場合においても適用可能であるが、これら以外の被写体を撮影する場合に適用されても構わない。
【０１３９】
本実施形態の処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。  
【符号の説明】
【０１４１】
１０…電子機器、１１…本体、１２…タッチスクリーンディスプレイ、１２Ａ…ＬＣＤ、１２Ｂ…タッチパネル、１３…カメラ、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０３ａ…オペレーティングシステム（ＯＳ）、１０３ｂ…カメラアプリケーションプログラム、１０４…ＢＩＯＳ−ＲＯＭ、１０５…システムコントローラ、１０６…グラフィクスコントローラ、１０７…無線通信デバイス、１０８…ＥＣ、１１１…画像取得部、１１２…画像格納部、１１３…鮮鋭度マップ生成部、１１４…鮮鋭度マップ格納部、１１５…フォーカス決定部、１１６…カメラ制御部、１１７…画像生成部、１１８…表示処理部
【図１】
0006290038.tif 000002
【図２】
0006290038.tif 000003
【図３】
0006290038.tif 000004
【図４】
0006290038.tif 000005
【図５】
0006290038.tif 000006
【図６】
0006290038.tif 000007
【図７】
0006290038.tif 000008
【図８】
0006290038.tif 000009
【図９】
0006290038.tif 000010
【図１０】
0006290038.tif 000011
【図１１】
0006290038.tif 000012
【図１２】
0006290038.tif 000013
【図１３】
0006290038.tif 000014
【図１４】
0006290038.tif 000015
【図１５】
0006290038.tif 000016
【図１６】
0006290038.tif 000017
【図１７】
0006290038.tif 000018
【図１８】
0006290038.tif 000019