(57)【要約】【課題】不要な写り込みが除去された画像を容易に取得できる電子機器を実現する。【解決手段】実施形態によれば、電子機器は、生成手段と写り込み除去手段とを具備する。生成手段は、カメラモジュールを用いて第１画像を生成し、前記第１画像が撮影されたときの設定情報が設定された前記カメラモジュールを用いて、前記第１画像に対応する第２画像を生成する。写り込み除去手段は、前記第１画像内の不要な写り込みの第１領域を、当該第１領域に対応する前記第２画像内の第２領域で置き換えることによって、不要な写り込みが除去された画像を生成する。【選択図】図３
2015126326.tif 000002
【特許請求の範囲】
【請求項１】
カメラモジュールを用いて第１画像を生成し、前記第１画像が撮影されたときの設定情報が設定された前記カメラモジュールを用いて、前記第１画像に対応する第２画像を生成する生成手段と、
前記第１画像内の不要な写り込みの第１領域を、当該第１領域に対応する前記第２画像内の第２領域で置き換えることによって、不要な写り込みが除去された画像を生成する写り込み除去手段とを具備する電子機器。
【請求項２】
前記第２画像は、前記第１画像と類似する構図で撮影された画像である請求項１記載の電子機器。
【請求項３】
前記カメラモジュールを用いて撮影される画像を画面上にプレビュー表示し、前記第１画像が前記第１領域を含む場合、前記プレビュー表示される画像上に、前記第１画像を透過して表示する表示処理手段をさらに具備する請求項１記載の電子機器。
【請求項４】
前記生成手段は、前記プレビュー表示される画像と前記第１画像との類似度がしきい値以上である場合に、前記第２画像を生成する請求項３記載の電子機器。
【請求項５】
前記写り込み除去手段は、さらに、前記第１領域に関連する第３領域に含まれる複数の画素の複数の画素値を用いて、前記第１領域に含まれる画素の画素値を変更することによって、前記不要な写り込みが除去された画像を生成する請求項１記載の電子機器。
【請求項６】
前記第３領域は、前記第１領域の近傍の領域であり、
前記写り込み除去手段は、前記第３領域に含まれる複数の画素の複数の画素値の中に最も多く含まれる画素値を用いて、前記第１領域に含まれる画素の画素値を変更する請求項５記載の電子機器。
【請求項７】
前記第１画像に対応するパワースペクトルを用いて、前記第１領域を検出する写り込み検出手段をさらに具備する請求項１記載の電子機器。
【請求項８】
前記第１画像内の肌色領域を検出し、前記第１画像に対応するパワースペクトルと前記肌色領域とを用いて、前記第１領域を検出する写り込み検出手段をさらに具備する請求項１記載の電子機器。
【請求項９】
カメラモジュールを用いて第１画像を生成し、前記第１画像が撮影されたときの設定情報が設定された前記カメラモジュールを用いて、前記第１画像に対応する第２画像を生成し、
前記第１画像内の不要な写り込みの第１領域を、当該第１領域に対応する前記第２画像内の第２領域で置き換えることによって、不要な写り込みが除去された画像を生成する画像処理方法。
【請求項１０】
コンピュータにより実行されるプログラムであって、前記プログラムは、
カメラモジュールを用いて第１画像を生成し、前記第１画像が撮影されたときの設定情報が設定された前記カメラモジュールを用いて、前記第１画像に対応する第２画像を生成する手順と、
前記第１画像内の不要な写り込みの第１領域を、当該第１領域に対応する前記第２画像内の第２領域で置き換えることによって、不要な写り込みが除去された画像を生成する手順とを前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像を処理する電子機器および該機器に適用される画像処理方法に関する。
【背景技術】
【０００２】
近年、カメラ付きのパーソナルコンピュータ、ＰＤＡ、携帯電話、スマートフォン等や、デジタルカメラのような画像（写真）を撮影できる様々な電子機器が普及している。このような電子機器の多くは、現在のカメラ位置及び姿勢で撮影される画像を、リアルタイムでディスプレイの画面に表示するライブビュー機能を備えている。ユーザは、このライブビュー機能で画面に表示される画像を確認することによって、希望する場面の画像を撮影することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８２４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラ付きの電子機器では、ディスプレイの画面の背面に撮影のためのレンズが設けられることが多い。ユーザは、上述したライブビュー機能を用いて撮影を行うので、レンズの位置を把握して撮影を行うことは少ない。また、ユーザは、電子機器を把持する向きを変えることによって、画面を縦長（ポートレート）と横長（ランドスケープ）のいずれでも利用できるが、これにより、レンズの位置を把握することがより困難になる可能性がある。
【０００５】
そのため、ユーザがレンズの位置を把握せずに撮影を行うので、電子機器を把持する指が、撮影される画像に写り込んでしまうことがあるという課題があった。特に、急いで撮影を行う場合、ユーザは、ユーザの指や不要な被写体が画像に写り込んでいることに気付かないことが多い。しかし、急いで撮影された画像には、ユーザにとって貴重な瞬間が捉えられている可能性が高く、そのような画像に不要な写り込みがあることは、非常にストレスを感じることである。
【０００６】
本発明は、不要な写り込みが除去された画像を容易に取得できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、生成手段と写り込み除去手段とを具備する。生成手段は、カメラモジュールを用いて第１画像を生成し、前記第１画像が撮影されたときの設定情報が設定された前記カメラモジュールを用いて、前記第１画像に対応する第２画像を生成する。写り込み除去手段は、前記第１画像内の不要な写り込みの第１領域を、当該第１領域に対応する前記第２画像内の第２領域で置き換えることによって、不要な写り込みが除去された画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器のシステム構成を例示的に示すブロック図。
【図３】同実施形態の電子機器によって実行される画像処理プログラムの機能構成を例示的に示すブロック図。
【図４】同実施形態の電子機器によって撮影された第１画像内に不要な写り込みが含まれる場合の画面の例を示す図。
【図５】同実施形態の電子機器によって再撮影された第２画像の例を示す図。
【図６】同実施形態の電子機器によって表示される不要な写り込みが除去された画像を含む画面の例を示す図。
【図７】同実施形態の電子機器によって実行される写り込み検出処理の手順の例を示すフローチャート。
【図８】同実施形態の電子機器によって実行される写り込み除去処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。  
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
【００１０】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。  
また、本体１１の背面には、本体１１の背面側から画像を撮影するための、カメラモジュールのレンズが設けられている。
【００１１】
図２は、タブレットコンピュータ１０のシステム構成を示す図である。  
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カメラモジュール１０９、サウンドコントローラ１１０等を備える。
【００１２】
ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像処理プログラム２０２が含まれている。この画像処理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影された画像に含まれる不要な写り込みを除去する機能等を有する。
【００１３】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１４】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００１５】
グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。
【００１６】
さらに、システムコントローラ１０２は、サウンドコントローラ１１０との通信を実行する機能も有している。サウンドコントローラ１１０は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。
【００１７】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
【００１８】
カメラモジュール１０９は、１以上のレンズを備える光学系と、ＣＣＤ（charge coupled device）型、ＣＭＯＳ（complementary metal oxide semiconductor）型等の固体撮像素子とを備える。カメラモジュール１０９は、固体撮像素子によって生成される、光学系で結像した被写体の画像に対応する電気信号（アナログ画像信号）を、デジタル画像信号に変換する。
【００１９】
カメラモジュール１０９は、デジタル画像信号を用いて所定の形式の画像ファイルを生成することができる。また、この画像ファイルには、撮影日時、撮影時の設定情報、等の各種の撮影情報を付加することもできる。カメラモジュール１０９は、生成された画像ファイルを主メモリ１０３や不揮発性メモリ１０６に格納する。また、カメラモジュール１０９は、生成された画像ファイルを、ＳＤカードやＵＳＢフラッシュメモリのような外部記憶媒体に格納してもよい。
【００２０】
カメラモジュール１０９は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示された所定のボタン（グラフィカルオブジェクト）をタッチ（タップ）したことや、コンピュータ１０に設けられた所定のハードウェアボタンを押し下げたことに応じて、画像を撮影する。カメラモジュール１０９は、動画像のような、連続した複数の画像を撮影することもできる。
【００２１】
ところで、カメラモジュール１０９を用いて被写体を撮影した場合、撮影された画像に不要な写り込みが含まれる場合がある。この不要な写り込みは、例えば、ユーザが、タブレットコンピュータ１０の背面にあるレンズの位置を把握していないことによって、タブレットコンピュータ１０を把持する指等が写り込んだものである。
【００２２】
そのため、本実施形態では、撮影された第１画像に不要な写り込みが含まれる場合、ユーザに対して画像の再撮影を提案し、第１画像と再撮影によって得られた第２画像とを用いて、第１画像上の写り込みが除去された画像を生成する。
【００２３】
図３は、画像処理プログラム２０２の機能構成の例を示す。画像処理プログラム２０２は、画像から特定の情報を抽出すること、複数の画像を合成すること、等の各種の画像処理機能を有する。画像処理プログラム２０２は、例えば、第１画像内に不要な写り込みがある場合に、第２画像を用いてその不要な写り込みを除去する機能を有する。画像処理プログラム２０２は、例えば、被写体検出部３０、写り込み検出部３１、設定情報保存部３２、表示処理部３３、設定部３４、及び写り込み除去部３５を備える。
【００２４】
画像処理プログラム２０２は、カメラモジュール１０９によって生成された画像データを受け取り、当該画像データを処理する。表示処理部３３は、カメラモジュール１０９を用いて撮影されている画像を、リアルタイムでＬＣＤ１７Ａの画面にプレビュー表示することができる（ライブビュー）。ユーザは、このプレビュー表示を確認しながら、撮影（保存）したい画像が画面に表示されているときに、撮影を指示する操作（例えば、所定のボタンを押し下げる操作）を行う。カメラモジュール１０９は、このユーザによる操作に応じて、保存される画像データを生成する。カメラモジュール１０９は、生成された画像のデータを主メモリ１０３等に一時保存してもよい。
【００２５】
被写体検出部３０は、ユーザがタブレットコンピュータ１０を用いて撮影（プレビュー表示中の画像の保存）を指示する操作を行ったことに応じて、第１画像のデータが生成された場合、第１画像内の１以上の被写体（物体）の領域を検出する。被写体検出部３０は、例えば、第１画像内の人物の画像の領域を検出する。被写体検出部３０は、例えば、第１画像の特徴量を算出し、予め用意された人物の画像特徴量のサンプルを用いて、当該サンプルと類似する特徴量を有する第１画像内の領域を検出することによって、人物の領域を検出する。人物の画像特徴量のサンプルは、多数の人物それぞれの画像特徴量を統計的に処理することによって得られた特徴量データである。
【００２６】
また、被写体検出部３０は、第１画像から人物以外の被写体（物体）の領域を検出する。被写体検出部３０は、例えば、被写体の輪郭（エッジ）を検出し、この輪郭に基づいて人物以外の各種の被写体の領域を検出する。このような人物以外の被写体の領域には、例えば、タブレットコンピュータ１０を把持するユーザの指のような不要な写り込みの領域も含まれ得る。
【００２７】
次いで、写り込み検出部３１は、第１画像のデータのスペクトル分布を分析し、第１画像上の被写体の位置とパワースペクトルの値とに基づいて、第１画像に含まれる不要な写り込みの領域（以下、第１領域とも称する）を検出する。写り込み検出部３１は、例えば、パワースペクトルが低い周波数の被写体が第１画像上の端部にあり、パワースペクトルが高い周波数の被写体が第１画像上の中央部にある場合、その第１画像上の端部にある被写体を不要な写り込みであると判定する。第１画像上の端部にある被写体は、例えば、少なくとも一部が第１画像の端から所定の割合（例えば、３０パーセント）の領域に含まれる被写体、少なくとも一部が第１画像の端部に接している被写体、等である。また、第１画像上の中央部にある被写体は、例えば、少なくとも一部が第１画像の中心から所定の割合（例えば、３０パーセント）の領域に含まれる被写体、第１画像の中心を含む被写体、等である。
【００２８】
なお、写り込み検出部３１は、予め用意された様々な人種の肌色情報を用いて、第１画像のデータを解析し、肌色領域を検出してもよい。写り込み検出部３１は、第１画像上の端部に肌色領域を検出した場合、上述した第１画像上の被写体の位置とパワースペクトルの値とに組み合わせて、パワースペクトルが低く、色が肌色で、第１画像上の端部にある被写体を、ユーザ（撮影者）の指の領域、すなわち不要な写り込みであると判断する。これにより、ユーザの指である不要な写り込みだけを検出することができる。
【００２９】
設定情報保存部３２は、第１画像に不要な写り込みが含まれる場合、この第１画像が撮影されたときの設定情報を保存する。この設定情報は、例えば、撮影時のシャッター速度、絞り値（Ｆ値）、ＩＳＯ感度、ズーム設定値、等の各種の値（パラメータ）を含む。
【００３０】
また、表示処理部３３は、第１画像に不要な写り込みが含まれる場合、ユーザに再撮影を促す。表示処理部３３は、例えば、撮影（保存）された第１画像と、再撮影を促すメッセージとを画面上に表示する。表示処理部３３は、検出された第１画像内の不要な写り込みに対応する領域を、他の領域とは区別して表示してもよい。表示処理部３３は、例えば、不要な写り込みに対応する領域を枠線で囲んで表示したり、他の領域とは異なる色、透過度、等で表示したりする。これによりユーザは、再撮影を促される要因となった領域が、不要な写り込みであるかどうかを容易に判断することができる。なお、ユーザに再撮影を促すメッセージは、音声としてスピーカ１８等によって出力されてもよい。
【００３１】
そして、ユーザが再撮影の実行を選択した場合、第１画像が撮影されたときの設定情報が設定されたカメラモジュール１０９は、第１画像に対応する第２画像を生成する。より具体的には、設定部３４は、ユーザが再撮影の実行を選択した場合、第１画像とできるだけ類似する第２画像が撮影されるように、設定情報保存部３２によって保存された、第１画像の撮影時の設定情報をカメラモジュール１０９に適用する。
【００３２】
また、表示処理部３３は、ユーザが再撮影の実行を選択した場合、カメラモジュール１０９によって撮影されている画像のプレビュー表示と、輝度や透過度等が変更された第１画像（すなわち、不要な写り込みを含む画像）とを重ね合わせて、画面に表示する。表示処理部３３は、例えば、カメラモジュール１０９によって撮影されているプレビュー画像上に、第１画像を透過して表示する。ユーザは、表示される第１画像をナビゲーション画像として用いることによって、第１画像と同じ構図で（例えば、第１画像と同じ撮影位置及び姿勢で）、第２画像の撮影を指示する操作を行うことができる。これにより、カメラモジュール１０９では、第１画像と同じ構図（類似する構図）の第２画像が生成される。カメラモジュール１０９は、生成された第２画像のデータを主メモリ１０３等に一時保存してもよい。
【００３３】
なお、ユーザが、プレビュー表示中の画像の構図と、ナビゲーション画像（第１画像）の構図とが重なり合うように、タブレットコンピュータ１０（カメラモジュール１０９のレンズ）を移動させているとき、表示処理部３３は、プレビュー表示中の画像とナビゲーション画像（第１画像）との類似度がしきい値以上である場合に（すなわち、画像間の類似度がしきい値以上になったタイミングで）、カメラモジュール１０９に第２画像の撮影（保存）を要求するようにしてもよい。カメラモジュール１０９は、当該要求に応じて第２画像を生成する。これにより、第１画像と類似する構図で撮影された第２画像をより容易に取得することができる。
【００３４】
次いで、写り込み除去部３５は、第１画像と第２画像とを用いて、第１画像内の不要な写り込みの領域（第１領域）を、第２画像内の対応する位置の領域（第２領域）に置き換えることによって、不要な写り込みが除去された画像を生成する。写り込み除去部３５は、生成された不要な写り込みが除去された画像を主メモリ１０３に一時保存してもよい。なお、写り込み除去部３５は、第１画像と第２画像の２つの画像ではなく、再撮影によってより多くの画像を生成し、それら多くの画像を用いて写り込みが除去された画像を生成してもよい。
【００３５】
また、写り込み除去部３５は、再撮影によって生成された第２画像ではなく、別のユーザによって撮影された画像を用いて、不要な写り込みが除去された画像を生成してもよい。写り込み除去部３５は、例えば、インターネットやクラウドサーバから得られる画像から、画像に付加された位置情報（例えば、ＧＰＳを利用した位置情報）、被写体に関するキャプション、撮影日時、等の各種のメタ情報を用いて、第１画像と類似する構図（類似する撮影位置及び姿勢）で撮影された画像を取得する。写り込み除去部３５は、第１画像と取得された画像とを用いて、第１画像内の不要な写り込みの領域を、取得された画像内の対応する位置の領域に置き換えることによって、不要な写り込みが除去された画像を生成する。
【００３６】
また、第１画像内に不要な写り込みが含まれていたが、ユーザが再撮影の実行を選択しなかった場合、写り込み除去部３５は、第１画像を用いて不要な写り込みが除去された画像を生成してもよい。写り込み除去部３５は、第１画像内の不要な写り込みの領域に関連する領域（第３領域）に含まれる複数の画素の複数の画素値を用いて、不要な写り込みの領域に含まれる画素の画素値を変更することによって、不要な写り込みが除去された画像を生成する。写り込み除去部３５は、例えば、第１画像上の左端に不要な写り込みの領域がある場合、不要な写り込みが含まれていない右端の領域を用いて、不要な写り込みが除去された画像を生成する。また、写り込み除去部３５は、例えば、第１画像上の不要な映り込みの領域の画素値を、当該不要な移り込みの領域の近傍（周囲）の領域に含まれる複数の画素の複数の画素値の中に最も多く含まれている画素値（色）を用いて、不要な写り込みの領域に含まれる画素の画素値を変更することによって、不要な写り込みが除去された画像を生成する。
【００３７】
さらに、ユーザに再撮影を促した後、しきい値時間（例えば、１分）以内に再撮影が開始されなかった場合、再撮影を中止してもよい。これは、第１画像を撮影してから長時間が経過すると、撮影場所の天候や景色などが変化してしまい、類似する構図で撮影することが困難になる可能性があるためである。この場合、上述した、ユーザが再撮影の実行を選択しなかった場合と同様の処理が行われる。
【００３８】
次いで、表示処理部３３は、不要な写り込みが除去された画像と、当該画像を保存するか否かを選択するためのオブジェクト（例えば、ボタン）とを画面に表示する。画像を保存することが選択された場合、写り込み除去部３５は、不要な写り込みが除去された画像のデータ（所定の形式の画像ファイル）を記憶媒体（例えば、不揮発性メモリ１０６）に保存する。また、写り込み除去部３５は、第２画像のデータをメモリから削除することにより、メモリに不要な画像ファイルが残されることを防止する。なお、第２画像のデータは、ユーザによる操作に応じて、画像ファイルとして記憶媒体に保存されてもよい。
【００３９】
画像を保存しないことが選択された場合、写り込み除去部３５は、不要な写り込みが除去された画像のデータと、第２画像のデータとをメモリから削除する。
【００４０】
図４から図６を参照して、不要な写り込みが除去された画像が生成される具体的な例を説明する。
【００４１】
まず、図４は、カメラモジュール１０９を用いて撮影された第１画像４１内に、不要な写り込み４２が含まれる場合の画面の例を示す。この画面には、撮影（生成）された第１画像４１が表示されている。第１画像４１には、人物や車のような動物体４６や、建物や木、道路のような静止物体４７が捉えられている。また、第１画像４１内の不要な写り込みの領域４２は、他の領域とは区別して表示されている。この不要な写り込みの領域４２には、当該領域４２が不要な写り込みであることを示すメッセージが表示されていてもよい。
【００４２】
さらに、この画面上には、不要な写り込みを除去するための再撮影を促すメッセージ４３が表示され、再撮影することを選択するための“ＹＥＳ”ボタン４４と、再撮影しないことを選択するための“ＮＯ”ボタン４５とが配置されている。
【００４３】
ユーザは、例えば、タッチスクリーンディスプレイ１７を用いたタップ操作によって、“ＹＥＳ”ボタン４４と“ＮＯ”ボタン４５のいずれか一方を選択する。“ＹＥＳ”ボタン４４が選択された場合には、カメラモジュール１０９を用いて第２画像が撮影される。この第２画像は、第１画像４１内の不要な写り込みの領域４２を除去するために用いられる。
【００４４】
図５は、カメラモジュール１０９を用いて撮影された第２画像５１の例を示す。第２画像５１は、第１画像４１が撮影されたときの設定情報が設定されたカメラモジュール１０９を用いて撮影（生成）された画像である。また、第２画像５１は、第１画像４１内の不要な写り込みの領域４２を除去するために用いられるので、第１画像４１とできるだけ同じ内容の画像（例えば、同じ又は類似する位置から、同じ又は類似する構図で撮影された画像）であることが望ましい。
【００４５】
しかし、第１画像４１上の動物体４６は、第１画像４１が撮影された後に移動している可能性がある。そのためユーザは、例えば第１画像４１上の静止物体４７ができるだけ含まれる画像を第２画像５１として撮影するために、第１画像４１が撮影された位置と同じ位置及び姿勢（又は類似する位置及び姿勢）で、第１画像４１が撮影されたときの設定情報が設定されたカメラモジュール１０９を用いて第２画像５１を撮影する。
【００４６】
表示処理部３３は、再撮影が要求された場合（“ＹＥＳ”ボタン４４が選択された場合）、カメラモジュール１０９を用いて撮影されている画像、すなわち、カメラモジュール１０９で現在捉えられている画像を画面上にプレビュー表示し、そのプレビュー表示された画像上に、第１画像４１を透過して（すなわち、高い透過度で）表示してもよい。ユーザは、表示されている第１画像４１と、プレビュー表示されている画像とが一致するように、カメラモジュール１０９（レンズ）の位置と姿勢とを調整して、第２画像５１の撮影を指示する操作を行う。なお、ユーザは、第１画像４１内に動物体４６が含まれている場合には、第１画像４１内の静止物体４７の部分とプレビュー表示されている画像内の静止物体の部分とが一致するように、カメラモジュール１０９（レンズ）の位置と姿勢とを調整してもよい。
【００４７】
そして、写り込み除去部３５は、第１画像４１と第２画像５１とを用いて、不要な写り込みが除去された画像を生成する。
【００４８】
図６に示す画面には、第１画像４１内の不要な写り込みの領域４２を、当該領域４２に対応する第２画像５１内の領域５２で置き換えることによって生成された、不要な写り込みが除去された画像６１が表示されている。この画像６１では、不要な写り込みの領域４２以外の領域（例えば、動物体４６の領域、静止物体４７の領域、等）には何等処理が施されていない。また、この画面には、表示されている画像６１を保存するか否かを確認するメッセージ６２が表示され、保存することを選択するための“ＹＥＳ”ボタン６３と、保存しないことを選択するための“ＮＯ”ボタン６４とが配置されている。
【００４９】
ユーザは、例えば、タッチスクリーンディスプレイ１７を用いたタップ操作によって、“ＹＥＳ”ボタン６３と“ＮＯ”ボタン６４のいずれか一方を選択する。“ＹＥＳ”ボタン６３が選択された場合には、不要な写り込みが除去された画像６１が保存される。“ＮＯ”ボタン６４が選択された場合には、画像６１と第２画像５１とが破棄される。
【００５０】
なお、写り込み検出部３１は、ユーザが第１画像４１を撮影しようとする場合に、プレビュー画像内に、ユーザの指のような不要な写り込みが含まれているか否かを判定してもよい。プレビュー画像内に不要な写り込みが含まれている場合には、アラート音、音声アナウンス、メッセージ表示、等によって、ユーザに注意が促される。ユーザが第１画像４１の撮影前に、指等の不要な写り込みを回避した場合、上述した不要な写り込みを除去するための画像処理が不要となる。
【００５１】
また、上述した説明では、検出された不要な写り込み４２を除去する構成について述べたが、被写体毎の優先度に基づいて、一部の被写体が除去された画像が生成されるようにしてもよい。より具体的には、被写体検出部３０は、第１画像４１から検出された被写体に優先度を設定する。被写体検出部３０は、例えば、人物として検出された被写体に最も高い優先度を設定し、また人物でない被写体に対して、人物の領域に近い順に高い優先度を設定する。
【００５２】
写り込み除去部３５は、第１画像４１と第２画像５１とを用いて、所定値より低い優先度が設定された第１画像４１内の被写体の領域を、第２画像５１内の対応する位置の領域に置き換えることによって、その被写体の領域が除去された画像を生成する。写り込み除去部３５は、この所定値を様々な値に変更することによって、複数の画像を生成することができる。写り込み除去部３５は、例えば、優先度が最も高い被写体だけが残され、他の被写体が全て削除された画像と、優先度が最も低い被写体だけが削除された画像との２枚の画像を生成する。
【００５３】
表示処理部３３は、生成された複数の画像を画面に表示する。これによりユーザは、表示された複数の画像から、保存したい画像を選択することができる。
【００５４】
次いで、図７のフローチャートを参照して、タブレットコンピュータ１０によって実行される写り込み検出処理の手順の例を説明する。
【００５５】
まず、被写体検出部３０は、第１画像４１が撮影されたか否かを判定する（ブロックＢ１１）。第１画像４１が撮影されていない場合（ブロックＢ１１のＮＯ）、ブロックＢ１１に戻り、第１画像４１が撮影されたか否かが再度判定される。
【００５６】
第１画像４１が撮影された場合（ブロックＢ１１のＹＥＳ）、被写体検出部３０は、第１画像４１内の１以上の被写体の領域を検出する（ブロックＢ１２）。写り込み検出部３１は、第１画像４１のスペクトル分布を解析する（ブロックＢ１３）。写り込み検出部３１は、例えば、第１画像４１のデータに離散フーリエ変換を施すことによって、第１画像４１のスペクトル分布を取得する。
【００５７】
次いで、写り込み検出部３１は、第１画像４１上の被写体の位置とパワースペクトルの値とに基づいて、不要な写り込みの領域を検出する（ブロックＢ１４）。写り込み検出部３１は、例えば、パワースペクトルが低い周波数の被写体が第１画像４１上の端部にあり、パワースペクトルが高い周波数の被写体が第１画像４１上の中央部にある場合、第１画像４１上の端部にある被写体が不要な写り込みであると判定する。
【００５８】
また、図８のフローチャートは、タブレットコンピュータ１０によって実行される写り込み除去処理の手順の例を示す。
【００５９】
まず、設定情報保存部３２は、第１画像４１内に不要な写り込みがあったか否かを判定する（ブロックＢ２０１）。第１画像４１内に不要な写り込みがない場合（ブロックＢ２０１のＮＯ）、ブロックＢ２０１に戻り、新たに撮影された画像に不要な写り込みがあったか否かが判定される。
【００６０】
第１画像４１内に不要な写り込みがあった場合（ブロックＢ２０１のＹＥＳ）、設定情報保存部３２は、第１画像４１が撮影されたときの、カメラモジュール１０９の設定情報を保存する（ブロックＢ２０２）。そして、表示処理部３３は、ＬＣＤ１７Ａの画面に、不要な写り込みを含む第１画像４１と、ユーザに画像の再撮影を提案するメッセージ４３とを表示する（ブロックＢ２０３）。この画面には、例えば、ユーザが再撮影を行うか否かを選択するためのボタンが表示されている。
【００６１】
次いで、設定部３４は、再撮影が要求されているか否かを判定する（ブロックＢ２０４）。再撮影が要求されている場合（ブロックＢ２０４のＹＥＳ）、設定部３４は、保存されている設定情報に基づいてカメラモジュール１０９のパラメータ（シャッター速度、絞り値（Ｆ値）、ＩＳＯ感度、ズーム値、等）を設定し、カメラモジュール１０９は第２画像５１を生成する（ブロックＢ２０５）。そして、写り込み除去部３５は、再撮影で生成された第２画像４１を用いて、第１画像４１内の不要な写り込みの領域４２を、当該不要な写り込みの領域４２に対応する第２画像５１内の領域で置き換えることにより、不要な写り込みが除去された画像６１を生成する（ブロックＢ２０６）。
【００６２】
また、再撮影が要求されていない場合（ブロックＢ２０４のＮＯ）、写り込み除去部３５は、第１画像４１内の不要な写り込みの領域４２以外の領域を用いて、この不要な写り込みの領域４２を補正する（ブロックＢ２０７）。この補正に用いられる領域は、例えば、不要な写り込みの領域４２に関連する領域である。写り込み除去部３５は、不要な写り込みの領域４２に含まれる画素の画素値を、例えば、不要な写り込みの領域４２の近傍の領域に含まれる複数の画素に対応する複数の画素値の中で、最も多く含まれる画素値に変更する。また、写り込み除去部３５は、不要な写り込みの領域４２が第１画像４１内の左端に位置している場合、不要な写り込みの領域４２に含まれる画素の画素値を、例えば、第１画像４１内の右端に位置している領域に含まれる画素の画素値に変更してもよい。
【００６３】
写り込み除去部３５は、不要な写り込みが除去（又は補正）された画像６１を一時記憶し、表示処理部３３はこの画像６１を画面に表示する（ブロックＢ２０８）。
【００６４】
以上説明したように、本実施形態によれば、不要な写り込みが除去された画像を容易に取得することができる。カメラモジュール１０９は、第１画像４１を生成し、第１画像４１が撮影されたときの設定情報が設定された状態で、第１画像４１に対応する第２画像４２を生成する。写り込み除去部３５は、第１画像４１内の不要な写り込みの第１領域４２を、当該第１領域４２に対応する第２画像５１内の第２領域５２で置き換えることによって、不要な写り込みが除去された画像６１を生成する。これにより、第１画像４１と同じ設定で撮影された第２画像５１を用いて、不要な写り込みが除去された画像６１が生成されるので、自然で鮮明な画像を取得することができる。
【００６５】
なお、図７及び図８のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１０９…カメラモジュール、１７Ａ…ＬＣＤ、２０２…画像処理プログラム、３０…被写体検出部、３１…写り込み検出部、３２…設定情報保存部、３３…表示処理部、３４…設定部、３５…写り込み除去部。
【図１】
2015126326.tif 000003
【図２】
2015126326.tif 000004
【図３】
2015126326.tif 000005
【図４】
2015126326.tif 000006
【図５】
2015126326.tif 000007
【図６】
2015126326.tif 000008
【図７】
2015126326.tif 000009
【図８】
2015126326.tif 000010