(57)【要約】【課題】撮影の障害となるカメラレンズ上の障害物の検出情報を有効に利用する技術を提供する。【解決手段】電子機器は、動画像の撮影が可能な第１および第２カメラと、第１および第２カメラからの動画像の録画を制御する制御部と、第１および第２カメラからの動画像を表示する表示画面と、を備えている。制御部は、第２カメラからの動画像の録画中に、第２カメラからの画像データに基づいて第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行い、障害物で覆われている場合には、第２カメラからの動画像の録画を、第１カメラからの動画像の録画に切り替える制御を行う。【選択図】図６
2017085339.tif 000002
【特許請求の範囲】
【請求項１】
動画像の撮影が可能な第１および第２カメラと、
前記第１および第２カメラからの動画像の録画を制御する制御部と、
前記第１および第２カメラからの動画像を表示する表示画面と、を備え、
前記制御部は、
前記第２カメラからの動画像の録画中に、前記第２カメラからの画像データに基づいて前記第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行い、前記障害物で覆われている場合には、前記第２カメラからの動画像の録画を、前記第１カメラからの動画像の録画に切り替える制御を行う、電子機器。
【請求項２】
前記制御部は、
前記第２カメラからの動画像の録画を、前記第１カメラからの動画像の録画に切り替えた後、前記障害物を検出できない場合には、前記第１カメラからの動画像の録画を、前記第２カメラからの動画像の録画に切り替える制御を行う、請求項１記載の電子機器。
【請求項３】
前記制御部は、
前記第２カメラの前記レンズが前記障害物で覆われている場合には、前記レンズ上での前記障害物の位置を、前記表示画面上に模擬的に表示する、請求項１記載の電子機器。
【請求項４】
前記制御部は、
前記第２カメラの前記レンズが前記障害物で覆われている場合には、前記障害物の存在を報知する、請求項１記載の電子機器。
【請求項５】
前記第２カメラは、前記第１カメラよりも広角に撮影できるカメラである、請求項１記載の電子機器。
【請求項６】
前記制御部は、
録画対象の動画像を、前記表示画面の一部に局所的に表示する、請求項１記載の電子機器。
【請求項７】
動画像の撮影が可能な第１および第２カメラと、
前記第１および第２カメラからの動画像の録画を制御する制御部と、
前記第１および第２カメラからの動画像を表示する表示画面と、を備え、
前記制御部は、
前記第２カメラからの動画像の録画中に、前記第２カメラからの画像データに基づいて前記第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行い、前記障害物で覆われている場合には、前記第１カメラからの動画像の録画を開始する制御を行う、電子機器。
【請求項８】
前記制御部は、
前記第１カメラからの動画像の録画を開始した後、前記障害物を検出できない場合には、前記第２カメラからの動画像の録画のみを続ける制御を行う、請求項７記載の電子機器。
【請求項９】
動画像の撮影が可能な第１および第２カメラと、前記第１および第２カメラからの動画像の録画を制御する制御部と、前記第１および第２カメラからの動画像を表示する表示画面と、を備えた電子機器の録画制御方法であって、
前記制御部は、
（ａ）前記第２カメラからの動画像の録画中に、前記第２カメラからの画像データに基づいて前記第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行うステップと、
（ｂ）前記ステップ（ａ）で、前記レンズが前記障害物で覆われていることを検出した場合には、前記第１カメラからの動画像の録画に切り替えるステップと、を備えた録画制御を実行する、電子機器の録画制御方法。
【請求項１０】
動画像の撮影が可能な第１および第２カメラと、前記第１および第２カメラからの動画像の録画を制御する制御部と、前記第１および第２カメラからの動画像を表示する表示画面と、を備えた電子機器の録画制御方法であって、
前記制御部は、
（ａ）前記第２カメラからの動画像の録画中に、前記第２カメラからの画像データに基づいて前記第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行うステップと、
（ｂ）前記ステップ（ａ）で、前記レンズが前記障害物で覆われていることを検出した場合には、前記第１カメラからの動画像の録画を開始するステップと、を備えた録画制御を実行する、電子機器の録画制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子機器に関する。
【背景技術】
【０００２】
カメラを有する電子機器としては、特許文献１にも記載されているように、従来から様々な技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２６９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラを有する電子機器においては、カメラレンズへの付着物が撮影の障害となるので、付着物の検出を行う技術については開発が進んでいるが、付着物の検出情報の利用は限定的であった。
【０００５】
そこで、本発明は上述の点に鑑みてなされたものであり、撮影の障害となるカメラレンズ上の障害物の検出情報を有効に利用する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
電子機器の一態様は、動画像の撮影が可能な第１および第２カメラと、第１および第２カメラからの動画像の録画を制御する制御部と、第１および第２カメラからの動画像を表示する表示画面と、を備えている。制御部は、第２カメラからの動画像の録画中に、第２カメラからの画像データに基づいて第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行い、障害物で覆われている場合には、第２カメラからの動画像の録画を、第１カメラからの動画像の録画に切り替える制御を行う。
【０００７】
電子機器の録画制御方法の一態様は、動画像の撮影が可能な第１および第２カメラと、第１および第２カメラからの動画像の録画を制御する制御部と、第１および第２カメラからの動画像を表示する表示画面と、を備えた電子機器の録画制御方法である。制御部は、第２カメラからの動画像の録画中に、第２カメラからの画像データに基づいて第２カメラのレンズの少なくとも一部が撮影の障害となる障害物で覆われているか否かの検出を行うステップ（ａ）と、ステップ（ａ）で、レンズが障害物で覆われていることを検出した場合には、第２カメラからの動画像の録画を、第１カメラからの動画像の録画に切り替えるステップ（ｂ）と、を備えた録画制御を実行する。
【発明の効果】
【０００８】
撮影の障害となるカメラレンズ上の障害物の検出情報を有効に利用することができる。
【図面の簡単な説明】
【０００９】
【図１】電子機器の外観を示す斜視図である。
【図２】電子機器の外観を示す前面図である。
【図３】電子機器の外観を示す背面図である。
【図４】電子機器の構成を示すブロック図である。
【図５】電子機器の使用形態の一例を示す図である。
【図６】電子機器の動作を示すフローチャートである。
【図７】表示画面の表示例を示す図である。
【図８】表示画面の表示例を示す図である。
【図９】電子機器の動作を示すフローチャートである。
【図１０】表示画面の表示例を示す図である。
【図１１】電子機器を背面側から見た図である。
【図１２】電子機器の動作を示すフローチャートである。
【図１３】表示画面の表示例を示す図である。
【図１４】電子機器の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
＜電子機器の外観＞
図１〜３は、それぞれ、電子機器１の外観を示す斜視図、前面図および背面図である。電子機器１は、例えば、スマートフォン等の携帯電話機である。図１〜３に示されるように、電子機器１は、平面視で略長方形の板状の機器ケース２を備えている。電子機器１の前面１ａ、つまり機器ケース２の前面には、文字、記号、図形等の各種情報が表示される表示画面（表示領域）２０が設けられている。表示画面２０は電子機器１の前面１ａを構成するカバーパネルの一部であり、表示画面２０の裏側には後述するタッチパネル１３０が設けられている。これにより、ユーザは、電子機器１の前面１ａの表示画面２０を指等で操作することによって、電子機器１に対して各種情報を入力することができる。なお、ユーザは、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面２０を操作することによっても、電子機器１に対して各種情報を入力することができる。
【００１１】
カバーパネルは、例えば、透明のガラスあるいは透明のアクリル樹脂、あるいは、例えばサファイアで形成されている。ここで、サファイアとは、アルミナ（Ａｌ２Ｏ３）を主成分とする単結晶のことをいい、本明細書では、Ａｌ２Ｏ３純度が約９０％以上の単結晶のことをいう。傷がよりつき難くなるという点で、Ａｌ２Ｏ３純度は９９％以上であることが好ましい。また、カバーパネルは、サファイアから成る層を含む複数層構造の複合パネル（積層パネル）であっても良い。また、カバーパネルは、電子機器１の表面に設けられたサファイアで構成される層（サファイアパネル）と、当該層に貼り付けられたガラスで構成される層（ガラスパネル）とで構成された２層構造の複合パネルであっても良い。また、カバーパネルは、電子機器１の表面に設けられたサファイアで構成される層（サファイアパネル）と、当該層に貼り付けられたガラスで構成される層（ガラスパネル）と、当該層に貼り付けられたサファイアで構成される層（サファイアパネル）とで構成された３層構造の複合パネルであっても良い。また、カバーパネルは、サファイア以外の結晶性材料、例えば、ダイヤモンド、ジルコニア、チタニア、水晶、タンタル酸リチウム、酸化窒化アルミニウムなどから成る層を含んでいても良い。
【００１２】
また、電子機器１は、ウェアラブル装置（例えば、メガネ、時計、リストバンドなど）、ヘルスケア製品などと同期可能な構成であっても良い。
【００１３】
機器ケース２の前面の上側端部にはレシーバ穴２１が設けられている。機器ケース２の前面の上側端部からは、後述する第３カメラ１７０が有するレンズ１７１が視認可能となっている。図３に示されるように、電子機器１の背面１ｂ、つまり機器ケース２の背面からは、後述する第１カメラ１５０および第２カメラ１６０がそれぞれ有するレンズ１５１および１６１が視認可能となっている。
【００１４】
なお、第１カメラ１５０のレンズ１５１および第２カメラ１６０のレンズ１６１は、機器ケース２の長辺に平行に近接して配列され、レンズ１５１がレシーバ穴２１が設けられた上側端部側に位置し、レンズ１６１がその隣に配置されている。なお、この配置は逆転していても良い。
【００１５】
機器ケース２の前面の下側端部にはスピーカ穴２２が設けられている。機器ケース２の内部には、複数の操作キー１４１を有した操作キー群１４０が設けられている。各操作キー１４１は、押しボタンであって、その表面が、機器ケース２の前面の下側端部から露出している。使用者は、操作キー１４１を指等で押圧することによって、電子機器１に対して指示を与えることができる。複数の操作キー１４１には、例えば、ホームキー、バックキーおよび履歴キーが含まれている。ホームキーは、表示画面２０にホーム画面を表示させるための操作キーである。バックキーは、表示画面２０の表示を一つ前の表示に切り替えるための操作キーである。履歴キーは、電子機器１で起動されたアプリケーションの履歴を表示画面２０に表示させるための操作キーである。
【００１６】
＜電子機器の電気的構成＞
図４は電子機器１の電気的構成を主に示すブロック図である。図４に示されるように、電子機器１には、制御部１００、無線通信部１１０、表示パネル１２０、タッチパネル１３０、操作キー群１４０、第１カメラ１５０、第２カメラ１６０および第３カメラ１７０が設けられている。さらに電子機器１には、レシーバ１８０、外部スピーカ１９０（放音部）、マイク２００および電池２１０が設けられている。電子機器１に設けられたこれらの構成要素は、機器ケース２内に収められている。
【００１７】
制御部１００は、ＣＰＵ（Central Processing Unit）１０１、ＤＳＰ（Digital Signal Processor）１０２および記憶部１０３等を備える制御回路である。制御部１００は、電子機器１の他の構成要素を制御することによって、電子機器１の動作を統括的に管理する。
【００１８】
記憶部１０３は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の、制御部１００（ＣＰＵ１０１およびＤＳＰ１０２）が読み取り可能な非一時的な記録媒体で構成されている。記憶部１０３には、電子機器１の動作、具体的には電子機器１が備える無線通信部１１０、表示パネル１２０等の各構成要素の動作を制御するための各種プログラムが記憶されている。制御部１００の各種機能は、ＣＰＵ１０１およびＤＳＰ１０２が記憶部１０３内の各種プログラムを実行することによって実現される。なお、記憶部１０３は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。また、記憶部１０３は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）等を備えていても良い。また、制御部１００のすべての機能あるいは制御部１００の一部の機能は、その機能の実現にソフトウェアを必要としないハードウェア回路で構成されても良い。
【００１９】
記憶部１０３には様々なアプリケーション（アプリケーションプログラム）が記憶されている。記憶部１０３には、例えば、電話機能を用いて通話を行うための電話アプリケーション、ウェブサイトを表示するためのブラウザ、電子メールの作成、閲覧および送受信を行うためのメールアプリケーションが記憶されている。また、記憶部１０３には、第１カメラ１５０、第２カメラ１６０および第３カメラ１７０を利用して被写体を撮影するためのカメラアプリケーション、地図を表示するための地図表示アプリケーション、電子機器１においてパズルゲーム等のゲームを行うためのゲームアプリケーション、記憶部１０３に記憶されている音楽データの再生制御を行うための音楽再生制御アプリケーションなどが記憶されている。
【００２０】
無線通信部１１０は、アンテナ１１１を有している。無線通信部１１０は、電子機器１とは別の携帯電話機からの信号、あるいはインターネットに接続されたウェブサーバ等の通信装置からの信号を、基地局等を介してアンテナ１１１で受信する。無線通信部１１０は、受信信号に対して増幅処理およびダウンコンバートを行って制御部１００に出力する。制御部１００は、入力される受信信号に対して復調処理等を行って、当該受信信号に含まれる、音声や音楽などを示す音信号などを取得する。また無線通信部１１０は、制御部１００で生成された、音信号等を含む送信信号に対してアップコンバートおよび増幅処理を行って、処理後の送信信号をアンテナ１１１から無線送信する。アンテナ１１１からの送信信号は、基地局等を通じて、電子機器１とは別の携帯電話機、あるいはインターネットに接続された通信装置で受信される。
【００２１】
表示パネル１２０は、例えば、液晶表示パネルあるいは有機ＥＬパネルである。表示パネル１２０は、制御部１００によって制御されることによって、文字、記号、図形などの各種情報を表示する。表示パネル１２０は、機器ケース２内において、表示画面２０と対向して配置されている。表示パネル１２０に表示される情報は表示画面２０に表示される。表示画面２０および表示パネル１２０によって、情報を表示することによって当該情報をユーザに示す表示部が構成される。
【００２２】
タッチパネル１３０は、表示画面２０に対する指等の操作子による操作を検出する。タッチパネル１３０は、例えば、投影型静電容量方式のタッチパネルであって、表示画面２０の裏側に配置されている。ユーザが指等の操作子によって表示画面２０に対して操作を行ったとき、その操作に応じた電気信号がタッチパネル１３０から制御部１００に入力される。制御部１００は、タッチパネル１３０からの電気信号に基づいて、表示画面２０に対して行われた操作の内容を特定して、その内容に応じた処理を行う。
【００２３】
操作キー群１４０の各操作キー１４１は、ユーザによって押圧されると、操作されたことを示す操作信号を制御部１００に出力する。これにより、制御部１００は、各操作キー１４１について、当該操作キー１４１が操作されたか否かを判断することができる。制御部１００は、操作された操作キー１４１に応じた処理を行う。
【００２４】
マイク２００は、電子機器１の外部から入力される音を電気的な音信号に変換して制御部１００に出力する。電子機器１の外部からの音は、機器ケース２の表面に設けられたマイク穴（図示せず）から電子機器１の内部に取り込まれてマイク２００に入力される。マイク穴は、例えば、機器ケース２の下側の側面（底面）に設けられる。
【００２５】
外部スピーカ１９０は、例えばダイナミックスピーカである。外部スピーカ１９０は、制御部１００からの電気的な音信号を音に変換して出力する。外部スピーカ１９０から出力される音はスピーカ穴２２から外部に出力される。スピーカ穴２２から出力される音は、電子機器１から離れた場所でも聞こえるようになっている。
【００２６】
レシーバ１８０は受話音を出力する。レシーバ１８０は例えばダイナミックスピーカで構成されている。レシーバ１８０は、制御部１００からの電気的な音信号を音に変換して出力する。レシーバ１８０から出力される音はレシーバ穴２１から外部に出力される。レシーバ穴２１から出力される音の音量は、スピーカ穴２２から出力される音の音量よりも小さくなっている。なお、レシーバ１８０の代わりに、機器ケース２の前面部分を振動させる、圧電振動素子等の振動素子を設けて、当該前面部分から音をユーザに伝えても良い。
【００２７】
電池２１０は電子機器１の電源を出力する。電池２１０は例えば充電式の電池である。電池２１０から出力される電源は、電子機器１が備える制御部１００および無線通信部１１０などの各種回路に対して供給される。
【００２８】
第１カメラ１５０は、レンズ１５１および撮像素子などで構成されている。第２カメラ１６０は、レンズ１６１および撮像素子などで構成されている。第３カメラ１７０は、レンズ１７１および撮像素子などで構成されている。第１カメラ１５０、第２カメラ１６０および第３カメラ１７０のそれぞれは、制御部１００による制御に基づいて被写体を撮影し、撮影した被写体を示す静止画像あるいは動画像を生成して制御部１００に出力する。なお、第１カメラ１５０、第２カメラ１６０および第３カメラ１７０の少なくとも一つは、被写体を１ラインごとに撮影し、１ライン分の画像を生成するたびに当該１ライン分の画像を制御部１００に出力しても良い。この場合には、制御部１００は、複数ライン分の画像に基づいて静止画像あるいは動画像を生成する。
【００２９】
第３カメラ１７０のレンズ１７１は、電子機器１の前面から視認可能となっていることから、第３カメラ１７０は、電子機器１の前面側（表示画面２０側）に存在する被写体を撮影する。このような第３カメラ１７０は「インカメラ」と呼ばれることがある。
【００３０】
第１カメラ１５０のレンズ１５１は、電子機器１の背面から視認可能となっていることから、第１カメラ１５０は、電子機器１の背面側に存在する被写体を撮影する。同様に、第２カメラ１６０のレンズ１６１は、電子機器１の背面から視認可能となっていることから、第２カメラ１６０は、電子機器１の背面側に存在する被写体を撮影する。このような第１カメラ１５０および第２カメラ１６０のそれぞれは、「アウトカメラ」と呼ばれることがある。
【００３１】
第２カメラ１６０は、第１カメラ１５０よりも広角に撮影できるカメラである。ここで、「広角に撮影できるカメラ」とは、レンズ１５１および１６１のそれぞれが、画角が固定の単焦点レンズである場合には、第２カメラ１６０の固定の画角が、第１カメラ１５０の固定の画角よりも大きいことを意味する。言い換えれば、この場合の「広角に撮影できるカメラ」とは、第２カメラ１６０の固定の焦点距離が、第１カメラ１５０の固定の焦点距離よりも小さいことを意味する。
【００３２】
また、レンズ１６１が単焦点レンズであり、レンズ１５１が、画角が可変のズームレンズである場合には、「広角に撮影できるカメラ」とは、第２カメラ１６０の固定の画角が、第１カメラ１５０の可変の画角の最大値よりも大きいことを意味する。言い換えれば、この場合の「広角に撮影できるカメラ」とは、第２カメラ１６０の固定の焦点距離が、第１カメラ１５０の可変の焦点距離の最小値よりも小さいことを意味する。
【００３３】
また、レンズ１６１がズームレンズであり、レンズ１５１が単焦点レンズである場合には、「広角に撮影できるカメラ」とは、第２カメラ１６０の可変の画角の最大値が、第１カメラ１５０の固定の画角よりも大きいことを意味する。言い換えれば、この場合の「広角に撮影できるカメラ」とは、第２カメラ１６０の可変の焦点距離の最小値が、第１カメラ１５０の固定の焦点距離よりも小さいことを意味する。
【００３４】
そして、レンズ１５１およびレンズ１６１のそれぞれがズームレンズである場合には、「広角に撮影できるカメラ」とは、第２カメラ１６０の可変の画角の最大値が、第１カメラ１５０の可変の画角の最大値よりも大きいことを意味する。言い換えれば、この場合の「広角に撮影できるカメラ」とは、第２カメラ１６０の可変の焦点距離の最小値が、第１カメラ１５０の可変の焦点距離の最小値よりも小さいことを意味する。
【００３５】
以後、説明の便宜上、第１カメラ１５０を「標準カメラ１５０」と呼び、第２カメラ１６０を「広角カメラ１６０」と呼ぶ場合もある。本例では、標準カメラ１５０のレンズ１５１、広角カメラ１６０のレンズ１６１、およびインカメラ１７０のレンズ１７１のそれぞれは、単焦点レンズである。なお、レンズ１５１、１６１および１７１の少なくとも一つがズームレンズであっても良い。
【００３６】
＜電子機器の使用形態について＞
図５には電子機器１の使用形態の一例を示している。図５において電子機器１は、「アウトカメラ」である第１カメラ１５０および第２カメラ１６０が設けられた背面が、自転車ＢＹの前方を向くように自転車ＢＹのハンドルＨＤに固定されて使用される形態となっている。ここでは、電子機器１を横向き、すなわち電子機器１の長辺が水平となるようにハンドルＨＤに治具ＪＧを用いて固定されており、レンズ１５１、１６１が横に並んだ形態で使用される。そして、カメラアプリケーションを起動して、レンズ１５１および１６１を介して、それぞれ第１カメラ１５０および第２カメラ１６０による動画撮影を行う。
【００３７】
＜カメラアプリケーション実行時の電子機器の動作について＞
図６はカメラアプリケーションが実行される際の電子機器１の動作を示すフローチャートである。表示画面２０に対して所定の操作が行われると、制御部１００が記憶部１０３内のカメラアプリケーション、ここでは広角カメラ１６０を用いた動画撮影のアプリケーションの実行を開始し、ステップＳ１において、広角カメラ１６０に電源を供給して広角カメラ１６０を起動し、広角カメラ１６０での録画を開始する。このとき、表示画面２０には広角カメラ１６０で撮影した動画像が表示されるが、表示画面２０の一部に、局所的な画面、いわゆるギャラリーが表示される。このギャラリーには、録画対象となっている広角カメラ１６０で撮影した動画像が表示される。この状態を図７に示す。
【００３８】
図７は、自転車ＢＹ（図５）のハンドルＨＤ（図５）に固定された電子機器１の表示画面２０を自転車ＢＹの操縦者から見た状態を示しており、表示画面２０には広角カメラ１６０で撮影した動画像が表示されていると共に、表示画面２０に向かって右上の隅にはギャラリーＧＸとして同じ動画像が縮小表示されている。ギャラリーは、一般的には、写真や動画等の画像を整理し、編集を可能にするアプリケーションであるが、本例では、録画中の動画像を縮小表示するアプリケーションとして起動しており、ここでは、広角カメラ１６０で撮影された動画像が録画対象であるので、広角カメラ１６０で撮影された動画像がギャラリーＧＸとして表示されている。なお、録画対象の動画像は記憶部１０３内のハードディスクドライブ、ＳＳＤなどに記憶される。
【００３９】
広角カメラ１６０で撮影された画像データは制御部１００に与えられ、制御部１００においてレンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行う（ステップＳ２）。レンズの汚れ等の検出には従来的に種々の方法が提案されているが、スマートフォン等の携帯電話機への適用を考慮した場合、検出のための付加的な部品を必要とする方法等は採用できず、画像データの処理によって検出する方法が望ましい。
【００４０】
例えば、動画像は複数のフレーム画像によって構成されるので、フレーム画像間の比較によって検出する方法が挙げられる。すなわち、１フレーム分の画像データについて、当該画像データの各ラインごとに当該ラインにおけるピクセルの輝度情報を記憶部１０３に記憶しておき、次のフレームの画像データとの比較を行い、ピクセル間の輝度の変化量（差分）を求める。
【００４１】
そして、その変化量が、予め定めた値よりも大きい場合にはレンズに障害物が付着している（レンズが汚れている）と判断し、対応するピクセルの位置情報と共に判断結果を記憶する。この処理を画像データの各ラインごとに各ピクセルに対して行うことで、障害物の付着の有無と障害物の付着範囲を特定することができる。この場合、比較対象となる２フレーム分の画像データは、記憶部１０３の動画像を記憶している部位から取得しても良いが、他の記憶部位に記憶させておき、そこから取得しても良い。
【００４２】
このような検出方法は、図５を用いて説明したように、自転車ＢＹのハンドルＨＤに電子機器１を固定して前方の動画像を撮影中に、撮影に使用しているカメラのレンズに急に泥や水が付着するような場合に適している。なお、上記では、１つのフレーム画像と次のフレーム画像との間で、輝度の変化量を求めるものとして説明したが、１フレーム間隔で変化量を求めるのではなく、サンプリング間隔は適宜設定すれば良い。
【００４３】
また、障害物がレンズに付着すると、障害物の付着範囲では画像データに輝度変化がなくなるので、一定時間以上輝度変化がないピクセルを検出することで障害物の付着範囲を特定するようにしても良い。
【００４４】
また、上記では、検出に輝度の差分を使用する例を説明したが、色差の差分を使用しても良い。この場合、ピクセル間の色差の変化量（差分）を求め、その変化量が、予め定めた値よりも大きい場合にはレンズに障害物が付着している（レンズが汚れている）と判断しても良いし、一定時間以上色差に変化がないピクセルを検出することで障害物の付着範囲を特定するようにしても良い。これは、障害物がレンズに付着すると、障害物の付着範囲では画像データの色差に変化がなくなるからである。
【００４５】
ステップＳ２の処理は、カメラアプリケーション実行中は繰り返して行われ、レンズ１６１に障害物が付着していると判断された場合は、ステップＳ３で録画対象を標準カメラ１５０で撮影した動画像に切り替え、広角カメラ１６０で撮影された動画像は表示画面２０に表示するに止める。この状態を図８に示す。
【００４６】
図８は、表示画面２０に広角カメラ１６０で撮影した動画像が表示されており、画面の下側に障害物ＦＯが写っているが、ギャラリーＧＸとしては標準カメラ１５０で撮影した動画像が縮小表示されており障害物ＦＯは写っていない。先に説明したように、本例では、ギャラリーは録画中の動画像を縮小表示するアプリケーションとして起動しており、ここでは、標準カメラ１５０で撮影された動画像が録画対象であるので、標準カメラ１５０で撮影された動画像がギャラリーＧＸとして表示されている。なお、標準カメラ１５０で撮影された動画像なので、ギャラリーＧＸには画角の狭い映像として表示されている。
【００４７】
ここで、標準カメラ１５０は、レンズ１６１に障害物が付着していると判断された場合に起動させるのではなく、予め、ステップＳ１で広角カメラ１６０と共に電源を供給して起動しておいても良い。これにより、レンズ１６１に障害物が付着していると判断された場合には、直ちに、標準カメラ１５０で撮影された動画像の録画に切り替えることができる。
【００４８】
ステップＳ３で録画対象を標準カメラ１５０で撮影された動画像に切り替えた後は、広角カメラ１６０で撮影された画像データについて、制御部１００においてレンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行う（ステップＳ４）。この検出はステップＳ２と同じであるが、録画対象は標準カメラ１５０で撮影された動画像であるので、ステップＳ４の処理には、記憶部１０３の動画像を記憶している部位から取得した画像データを用いることはできず、他の記憶部位に広角カメラ１６０で撮影された画像データを記憶させておき、そこから取得することになる。
【００４９】
ステップＳ４の処理は録画対象の切り替え後も所定のサンプリング間隔で繰り返して行われ、レンズ１６１に障害物の付着を検出できなくなった場合、すなわち、障害物が除去され、レンズ１６１には障害物が付着していないと判断される場合は、ステップＳ５で録画対象を広角カメラ１６０で撮影された動画像に切り替え、ギャラリーには、広角カメラ１６０で撮影した録画中の動画像が表示されることとなる。この状態は図７に示した状態である。以後、カメラアプリケーション実行中はステップＳ２以下の処理を繰り返す。
【００５０】
このように、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、録画対象を標準カメラ１５０で撮影した動画像に切り替える録画制御を行うので、レンズ１６１に障害物が付着した状態で録画が続行されることがなく、付着した障害物によって録画画像の品質が低下することを抑制できる。
【００５１】
なお、広角カメラ１６０で撮影された動画像が、標準カメラ１５０で撮影した動画像に切り替わることで、両者の画角の違いから録画画像に若干の違和感が生じる場合もあるが、例えば、標準カメラ１５０で得られる画像データにデジタル処理を施して、標準カメラ１５０で撮影した映像の端縁部の画像データを引き延ばすように補間してワイド画像に近づけることで、録画画像の違和感を軽減するようにしても良い。
【００５２】
また、以上の説明では、ステップＳ２およびＳ４では、レンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行うものとして説明したが、付着ではなくレンズ１６１の前面を障害物が覆っている場合でも、ステップＳ２およびＳ４の処理は有効である。
【００５３】
例えば、電子機器１に取り付けられたストラップがレンズ１６１の前に垂れ下がっているような場合でも、当該ストラップを撮影の障害となる障害物として認識できるので、録画対象を標準カメラ１５０で撮影した動画像に切り替えて録画が続行され、ストラップがレンズ１６１の前から排除されることで、録画対象が広角カメラ１６０で撮影された動画像に切り替えられることとなる。また、ストラップ以外に、撮影者の手、電子機器１のカバー等でレンズ１６１が覆われている場合も同じであり、レンズへの障害物の付着に限定されず、レンズ１６１の少なくとも一部を障害物が覆っている場合には本開示は有効である。
【００５４】
＜変形例１＞
図９はカメラアプリケーションが実行される際の電子機器１の動作の変形例を示すフローチャートである。なお、図９において、ステップＳ１１〜Ｓ１３の動作は、図６を用いて説明したステップＳ１〜Ｓ３の動作と同じであるので説明は省略する。
【００５５】
ステップＳ１３で録画対象を標準カメラ１５０で撮影された動画像に切り替えた後、カメラレンズ上での障害物の付着位置を、表示画面２０上で模擬的に表示する（ステップＳ１４）。この状態を図１０に示す。
【００５６】
図１０は、表示画面２０に広角カメラ１６０で撮影した動画像が表示されており、画面の下側に障害物ＦＯが写っている。そして、画面左側の中央部分にはレンズ１５１および１６１を模擬的に示した模擬レンズ１５２および１６２が表示されており、模擬レンズ１６２の下側に模擬障害物ＦＯＤが表示され、障害物ＦＯが付着した状態を模擬的に示している。また、図１１には、レンズ１６１に障害物ＦＯが付着した状態を電子機器１の背面側から見た図を示しており、模擬レンズ１５２および１６２は、レンズ１５１および１６１を電子機器１の前面側から透視したように表示されており、レンズ上の障害物の付着位置が視覚的に判るように表示されている。
【００５７】
模擬障害物ＦＯＤは、ステップＳ１２（ステップＳ２と同じ）において特定した障害物の付着範囲に基づいて、レンズ１６１上のどの部分に障害物が付着しているかを推定して表示したものであり、模擬レンズ１６２に重ねて表示することで、電子機器１の使用者に障害物の付着位置を判りやすく提示している。なお、ステップＳ１２において特定した障害物の付着範囲とレンズ１６１上の位置との対応付けは、概略的な推定処理で十分であり、例えば、障害物の付着範囲が表示画面２０の中央よりも下であればレンズ１６１の下側に障害物が付着しているものとして、模擬レンズ１６２の下側に模擬障害物ＦＯＤを表示し、障害物の付着範囲が表示画面２０の中央よりも上であればレンズ１６１の上側に障害物が付着しているものとして、模擬レンズ１６２の上側に模擬障害物ＦＯＤを表示すれば良い。
【００５８】
これを見た使用者、図５の例では自転車ＢＹを運転している使用者は、自転車ＢＹを運転しながら、ハンドルＨＤに固定された電子機器１の背面に手を回し、レンズ１６１上の障害物ＦＯを拭き取るなどして、障害物ＦＯを除去することができる。なお、レンズ１５１および１６１の実際の位置は、模擬レンズ１５２および１６２の表示位置とは少しずれているが、障害物ＦＯの拭き取り作業に支障はない程度のずれである。
【００５９】
ステップＳ１４において、カメラレンズ上での障害物の付着位置を、表示画面２０上で模擬的に表示した後は、広角カメラ１６０で撮影された画像データについて、制御部１００においてレンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行う（ステップＳ１５）。この検出は図６を用いて説明したステップＳ４と同じであり説明は省略する。
【００６０】
ステップＳ１５の処理はレンズ１６１に障害物が付着していると判断される場合は、所定のサンプリング間隔で繰り返して行われ、レンズ１６１の清掃などで障害物が除去され、レンズ１６１には障害物が付着していないと判断される場合は、ステップＳ１６で録画対象を広角カメラ１６０で撮影された動画像に切り替え、ギャラリーには、広角カメラ１６０で撮影した録画中の動画像が表示されることとなる。以後、カメラアプリケーション実行中はステップＳ１２以下の処理を繰り返す。
【００６１】
このように、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、レンズ１６１上のどの部分に障害物ＦＯが付着しているかを推定して表示画面２０上に模擬的な表示を行うので、電子機器１の使用者が障害物の付着位置を視覚的に認識でき、レンズ１６１上の障害物ＦＯの除去を容易に行うことができる。
【００６２】
なお、上記では、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、録画対象を標準カメラ１５０で撮影した動画像に切り替えるという処理と、カメラレンズ上での障害物の付着位置を、表示画面２０上で模擬的に表示するという処理を組み合わせた構成について説明したが、障害物を検出しても、録画対象の動画像の切り替えは行わず、カメラレンズ上での障害物の付着位置を、表示画面２０上で模擬的に表示する処理のみを行う構成としても良い。これは、標準カメラ１５０で撮影した動画像の録画中に、レンズ１５１に障害物が付着した場合でも同様である。
【００６３】
＜変形例２＞
図１２はカメラアプリケーションが実行される際の電子機器１の動作の変形例を示すフローチャートである。なお、図１２において、ステップＳ２１〜Ｓ２３の動作は、図６を用いて説明したステップＳ１〜Ｓ３の動作と同じであるので説明は省略する。
【００６４】
ステップＳ２３で録画対象を標準カメラ１５０で撮影された動画像に切り替えた後、障害物ＦＯが付着したことを障害物ＦＯを強調して表示することで電子機器１の使用者に報知する（ステップＳ２４）。この状態を図１３に示す。
【００６５】
図１３は、表示画面２０に広角カメラ１６０で撮影した動画像が表示されており、画面の下側に障害物ＦＯが写っている。そして、障害物ＦＯを強調するように障害物ＦＯの周囲に発光領域ＥＲが表示されている。発光領域ＥＲは、ステップＳ２２（ステップＳ２と同じ）において特定した障害物の付着範囲の外縁に沿うように設定すれば良い。
【００６６】
また、ステップＳ２２で障害物ＦＯを検出した場合には、電子機器１と同期可能なウェアラブル装置（例えば、メガネ、時計、リストバンドなど）、ヘルスケア製品などに情報を伝え、当該ウェアラブル装置が振動、発光などすることで障害物ＦＯの付着を電子機器１の使用者に報知する構成としても良い。また、電子機器１の表示画面２０全体を発光させることで障害物ＦＯの付着を電子機器１の使用者に報知する構成としても良い。これらの構成を採る場合、障害物ＦＯを強調して表示する必要は必ずしもない。また、障害物ＦＯを強調して表示した場合は、ウェアラブル装置等を介して報知する必要は必ずしもない。
【００６７】
ステップＳ２４において、障害物ＦＯが付着したことを電子機器１の使用者に報知した後は、広角カメラ１６０で撮影された画像データについて、制御部１００においてレンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行う（ステップＳ２５）。この検出は図６を用いて説明したステップＳ４と同じであり説明は省略する。
【００６８】
ステップＳ２５の処理はレンズ１６１に障害物が付着していると判断される場合は、所定のサンプリング間隔で繰り返して行われ、レンズ１６１の清掃などで障害物が除去され、レンズ１６１には障害物が付着していないと判断される場合は、ステップＳ２６で録画対象を広角カメラ１６０で撮影された動画像に切り替え、ギャラリーには、広角カメラ１６０で撮影した録画中の動画像が表示されることとなる。以後、カメラアプリケーション実行中はステップＳ２２以下の処理を繰り返す。
【００６９】
このように、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、障害物ＦＯが付着したことを電子機器１の使用者に報知するので、電子機器１の使用者が障害物の付着を早期に知ることができ、レンズ１６１上の障害物ＦＯの除去を早期に行うことができる。
【００７０】
なお、上記では、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、録画対象を標準カメラ１５０で撮影した動画像に切り替えるという処理と、障害物ＦＯが付着したことを電子機器１の使用者に報知する処理を組み合わせた構成について説明したが、障害物を検出しても、録画対象の動画像の切り替えは行わず、障害物ＦＯが付着したことを報知する処理のみを行う構成としても良い。これは、標準カメラ１５０で撮影した動画像の録画中に、レンズ１５１に障害物が付着した場合でも同様である。
【００７１】
＜変形例３＞
図１４はカメラアプリケーションが実行される際の電子機器１の動作の変形例を示すフローチャートである。なお、図１４において、ステップＳ３１およびＳ３２の動作は、図６を用いて説明したステップＳ１およびＳ２の動作と同じであるので説明は省略する。
【００７２】
ステップＳ３２（ステップＳ２と同じ）においてレンズ１６１に障害物が付着していると判断された場合は、標準カメラ１５０で撮影した動画像の録画を開始する（ステップＳ３３）。この場合、ギャラリーＧＸには広角カメラ１６０で撮影された動画像が表示される。なお、広角カメラ１６０で撮影された動画像および標準カメラ１５０で撮影した動画像は、共に記憶部１０３内のハードディスクドライブ、ＳＳＤなどに記憶される。
【００７３】
ステップＳ３３において、標準カメラ１５０で撮影した動画像の録画を開始した後は、広角カメラ１６０で撮影された画像データについて、制御部１００においてレンズ１６１に撮影の障害となる障害物が付着しているか否かの検出を行う（ステップＳ３４）。この検出は図６を用いて説明したステップＳ４と同じであり説明は省略する。
【００７４】
ステップＳ３４の処理はレンズ１６１に障害物が付着していると判断される場合は、所定のサンプリング間隔で繰り返して行われ、レンズ１６１の清掃などで障害物が除去され、レンズ１６１には障害物が付着していないと判断される場合は、ステップＳ３５で標準カメラ１５０で撮影した動画像の録画を停止する。以後、カメラアプリケーション実行中はステップＳ３２以下の処理を繰り返す。
【００７５】
このように、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合には、標準カメラ１５０で撮影した動画像も録画されることとなり、電子機器１の使用者は、カメラアプリケーションの終了後、録画された広角カメラ１６０での動画像および標準カメラ１５０での動画像を編集することで、レンズ１６１に障害物が付着していない状態の一連の動画像を得ることができる。
【００７６】
＜変形例４＞
以上の説明においては、広角カメラ１６０で撮影した動画像の録画中に、レンズ１６１に障害物が付着した場合を例示したが、標準カメラ１５０で撮影した動画像の録画中に、レンズ１５１に障害物が付着した場合の電子機器１の動作は、上記とは逆になり、録画対象の動画像が変わることとなる。
【００７７】
また、以上の説明においては、アウトカメラとして標準カメラ１５０および広角カメラ１６０を例示し、両者は画角が異なるカメラとして説明したが、第１カメラ１５０は第２カメラ１６０に比べて画素数が多いカメラ、例えば１０８０ライン×１９２０ピクセルのカメラとして構成され、第２カメラ１６０は第１カメラ１５０に比べて画素数が少ないカメラ、例えば７２０ライン×１２８０ピクセルのカメラのように、画素数が異なるカメラとして構成され、低画質カメラで撮影した動画像を録画中に、そのカメラのレンズに障害物の付着を検出した場合には、低画質カメラで撮影した動画像の録画に切り替える制御も考えられる。また、逆に、高画質カメラで撮影した動画像を録画中に、そのカメラのレンズに障害物の付着を検出した合には、高画質カメラで撮影した動画像の録画に切り替える制御も考えられる。この場合、第１カメラ１５０および第２カメラ１６０のうち、一方は他方よりも極めて画素数が多いカメラ、例えば一方は他方の１０倍近い画素数を有する構成もある。
【００７８】
また、上記の各例では、本開示の技術をスマートフォン等の携帯電話機に適用する場合を例に挙げて説明したが、本開示の技術は、複数の撮像部を備える他の電子機器、例えば、デジタルカメラ、パーソナルコンピュータあるいはタブレット端末等にも適用することができる。
【００７９】
以上のように、電子機器１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない多数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【００８０】
１  電子機器
２０  表示画面
１００  制御部
１５０  第１カメラ（広角カメラ）
１５１  レンズ
１６０  第２カメラ（標準カメラ）
１６１  レンズ
【図１】
2017085339.tif 000003
【図２】
2017085339.tif 000004
【図３】
2017085339.tif 000005
【図４】
2017085339.tif 000006
【図５】
2017085339.tif 000007
【図６】
2017085339.tif 000008
【図７】
2017085339.tif 000009
【図８】
2017085339.tif 000010
【図９】
2017085339.tif 000011
【図１０】
2017085339.tif 000012
【図１１】
2017085339.tif 000013
【図１２】
2017085339.tif 000014
【図１３】
2017085339.tif 000015
【図１４】
2017085339.tif 000016