(57)【要約】【課題】人体表面に近接して撮像を行う際に、鮮明な画像を容易に取得することが可能な画像解析装置、画像解析方法およびプログラムを提供する。【解決手段】画像解析装置は、所定のフレームレートで複数フレームの画像データの撮像を行う撮像部と、撮像部のオートフォーカス機能を無効にすることで撮像部の合焦距離を固定し、撮像部が人体表面の撮像部位に対して合焦距離とは異なる第１の距離に位置する状態において撮像を開始し、撮像部が撮像部位に対して合焦距離を越えて第２の距離となる位置に移動するまで撮像を継続する制御部と、複数フレームの画像データから、撮像部位の鮮鋭度に基づく周波数成分のエネルギーが最大の画像データを取得する取得部と、取得部により取得された画像データを解析する解析部とを備える。【選択図】図３
2018078528.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートで複数フレームの画像データの撮像を行う撮像部と、
前記撮像部のオートフォーカス機能を無効にすることで前記撮像部の合焦距離を固定し、前記撮像部が人体表面の撮像部位に対して前記合焦距離とは異なる第１の距離に位置する状態において前記撮像を開始し、前記撮像部が前記撮像部位に対して前記合焦距離を越えて第２の距離となる位置に移動するまで前記撮像を継続する制御部と、
前記複数フレームの画像データから、前記撮像部位の鮮鋭度に基づく周波数成分のエネルギーが最大の前記画像データを取得する取得部と、
前記取得部により取得された前記画像データを解析する解析部とを備える画像解析装置。
【請求項２】
前記解析部は、前記画像データを周波数変換し、方向および周波数帯域がそれぞれ異なる複数の周波数成分のエネルギーを算出する請求項１に記載の画像解析装置。
【請求項３】
前記取得部は、周波数変換を用いて前記周波数成分を抽出し、前記解析部は、前記取得部による前記周波数変換の結果を利用して前記画像データを解析する請求項２に記載の画像解析装置。
【請求項４】
前記周波数変換は、フーリエ変換、ウェーブレット変換、ラプラシアン演算、離散コサイン変換、アダマール変換、ＫＬ（Karhunen-Loeve）変換の少なくとも１つである請求項２または３に記載の画像解析装置。
【請求項５】
前記取得部は、前記複数フレームの画像データのうち直近に撮像された所定フレーム数の画像データ間における前記エネルギーの変化量を算出し、
前記制御部は、前記変化量が所定の閾値よりも小さくなったときに、前記撮像を終了する請求項１ないし４のいずれか１項に記載の画像解析装置。
【請求項６】
前記制御部は、設定可能な最短距離に前記合焦距離を固定する請求項１ないし５のいずれか１項に記載の画像解析装置。
【請求項７】
ユーザからの指示を受け付ける操作部を備え、
前記制御部は、前記指示に応じて前記撮像を開始する請求項１ないし６のいずれか１項に記載の画像解析装置。
【請求項８】
前記撮像部位に向けて光を照射する照明部を備え、
前記制御部は、前記撮像を継続している間、前記照明部を点灯させる請求項１ないし７のいずれか１項に記載の画像解析装置。
【請求項９】
前記撮像が終了したことをユーザに通知する通知部を備える請求項１ないし８のいずれか１項に記載の画像解析装置。
【請求項１０】
スマートフォン、タブレットコンピュータ、ＰＤＡ（Personal Digital Assistant）、ラップトップコンピュータまたは携帯電話である請求項１ないし９のいずれか１項に記載の画像解析装置。
【請求項１１】
前記第１の距離は、前記第２の距離よりも短い請求項１ないし１０のいずれか１項に記載の画像解析装置。
【請求項１２】
前記第１の距離は、前記第２の距離よりも長い請求項１ないし１０のいずれか１項に記載の画像解析装置。
【請求項１３】
撮像部のオートフォーカス機能を無効にすることで前記撮像部の合焦距離を固定するステップと、
前記撮像部が人体表面の撮像部位に対して前記合焦距離とは異なる第１の距離に位置する状態において、所定のフレームレートで複数フレームの画像データの撮像を開始するステップと、
前記撮像部が前記撮像部位に対して前記合焦距離を越えて第２の距離となる位置に移動するまで、前記撮像を継続するステップと、
前記複数フレームの画像データから、前記撮像部位の鮮鋭度に基づく周波数成分のエネルギーが最大の前記画像データを取得するステップと、
取得した前記画像データを解析するステップとを備える画像解析方法。
【請求項１４】
請求項１３に記載の画像解析方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法およびプログラムに関し、特に人体表面を測定するための画像解析装置、画像解析方法およびプログラムに関する。
【背景技術】
【０００２】
スマートフォン、タブレット端末などに設けられたカメラを用いて人体表面を撮像し、得られた画像に基づいて人体表面の状態を解析する技術が知られている。特許文献１には、スマートフォンのカメラを用いて顔を撮像し、顔画像から肌のシミまたはシワを検出するアプリケーションプログラムが開示されている。特許文献２には、タブレット端末のカメラを用いて肌を撮像し、肌画像の輝度に基づいてメラニン沈着量を算出するアプリケーションプログラムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１９７８１号公報
【特許文献２】特開２０１５−１７３７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１および２に開示された技術においては、カメラを人体表面に近づけて撮像を行う必要がある。カメラは、通常、オートフォーカス機能を有しており、鮮明な画像を容易に撮像することができる。しかしながら、人体表面とカメラとの間の距離が非常に近い場合、オートフォーカス機能が適切に動作せず、鮮明な画像を撮像することが困難になる可能性がある。
【０００５】
本発明はこのような問題に鑑みてなされたもので、人体表面に近接して撮像を行う際に、鮮明な画像を容易に取得することが可能な画像解析装置、画像解析方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像解析装置は、所定のフレームレートで複数フレームの画像データの撮像を行う撮像部と、前記撮像部のオートフォーカス機能を無効にすることで前記撮像部の合焦距離を固定し、前記撮像部が人体表面の撮像部位に対して前記合焦距離とは異なる第１の距離に位置する状態において前記撮像を開始し、前記撮像部が前記撮像部位に対して前記合焦距離を越えて第２の距離となる位置に移動するまで前記撮像を継続する制御部と、前記複数フレームの画像データから、前記撮像部位の鮮鋭度に基づく周波数成分のエネルギーが最大の前記画像データを取得する取得部と、前記取得部により取得された前記画像データを解析する解析部とを備える。
【０００７】
本発明に係る画像解析方法は、撮像部のオートフォーカス機能を無効にすることで前記撮像部の合焦距離を固定するステップと、前記撮像部が人体表面の撮像部位に対して前記合焦距離とは異なる第１の距離に位置する状態において、所定のフレームレートで複数フレームの画像データの撮像を開始するステップと、前記撮像部が前記撮像部位に対して前記合焦距離を越えて第２の距離となる位置に移動するまで、前記撮像を継続するステップと、前記複数フレームの画像データから、前記撮像部位の鮮鋭度に基づく周波数成分のエネルギーが最大の前記画像データを取得するステップと、取得した前記画像データを解析するステップとを備える。
【発明の効果】
【０００８】
本発明によれば、人体表面に近接して撮像を行う際に、鮮明な画像を容易に取得することが可能となり、鮮明な画像を用いて精度の良い解析を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る画像解析装置の外観図である。
【図２】第１実施形態に係る画像解析装置のブロック図である。
【図３】第１実施形態に係る測定アプリケーションプログラムの機能ブロック図である。
【図４】第１実施形態に係る画像解析方法のフローチャートである。
【図５】第１実施形態に係る空間周波数画像を説明するためのである。
【図６】第１実施形態に係る撮像処理の詳細を示すフローチャートである。
【図７】第１実施形態に係る高周波数成分のエネルギーの変化を示すグラフである。
【図８】第２実施形態に係る高周波数成分の抽出方法を説明するための図である。
【図９】第２実施形態に係る画像解析方法のフローチャートである。
【発明を実施するための形態】
【００１０】
［第１実施形態］
図１は、本実施形態に係る画像解析装置１００の外観図である。画像解析装置１００は、例えばスマートフォン、タブレットコンピュータ、ＰＤＡ（Personal Digital Assistant）、ラップトップコンピュータ、携帯電話などの携帯情報端末であり得る。以下、画像解析装置１００の一例としてスマートフォンを例に挙げて説明する。画像解析装置１００の前面にはタッチパネル１０１が設けられ、背面上部には撮像部（カメラ）１０２が設けられている。撮像部１０２は、画像解析装置１００の背面だけでなく、前面に設けられていても良い。画像解析装置１００には、肌の状態を測定するためのアプリケーションプログラム（以下、測定アプリ）が予めインストールされている。測定アプリは図示されていないネットワークからダウンロードされてもよく、メモリカードなどの記録媒体を通じて画像解析装置１００に供給されてもよい。
【００１１】
タッチパネル１０１には測定アプリのアイコンが表示され、ユーザがアイコンに触れることにより測定アプリが起動する。ユーザは、画像解析装置１００を把持し、撮像部１０２を頬、手の甲などの被写体に向けながら、被写体に対して近接または離隔させると、画像解析装置１００は合焦した画像を自動的に撮像する。画像解析装置１００は撮像された画像を解析し、解析結果をタッチパネル１０１に表示することができる。
【００１２】
図２は、本実施形態に係る画像解析装置１００のブロック図である。画像解析装置１００は、撮像部１０２、信号処理回路２０４、タイミング発生回路２０５、レンズ駆動回路２０６、ＬＥＤ２０７、スピーカ２０８、タッチセンサ２０９、座標検出回路２１０を備えている。さらに、画像解析装置１００は、ディスプレイ２１１、ディスプレイコントローラ２１２、フレームメモリ２１３、ＣＰＵ２１４、ＲＡＭ２１５、ＲＯＭ２１６、ストレージ２１７、モーションセンサ２１８、無線通信モジュール２１９を備えている。
【００１３】
撮像部１０２は、光学系２０１、撮像素子２０２、Ａ／Ｄ変換器２０３を備える。光学系２０１は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（撮像部位）からの光を撮像素子２０２の撮像面に結像させ、被写体像を形成する。撮像素子２０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子２０２は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素のそれぞれは、光学系２０１からの入射光に基づく画素信号を出力する。
【００１４】
Ａ／Ｄ（Analog/Digital）変換器２０３は、比較回路、ラッチ回路などから構成され、撮像素子２０２からのアナログの画素信号をデジタルの画像データに変換する。Ａ／Ｄ変換器２０３は、撮像素子２０２内に設けられてもよい。タイミング発生回路２０５は、水平同期信号、垂直同期信号を含む駆動信号を発生させ、撮像素子２０２、Ａ／Ｄ変換器２０３に出力する。撮像部１０２は、静止画像の他、所定のフレームレートの動画像を出力することができる。フレームレートは例えば１／４秒、１／３０秒、１／６０秒などの任意の値であり得る。
【００１５】
信号処理回路２０４は、数値演算回路を含み、Ａ／Ｄ変換器２０３からの画像データに対して、ホワイトバランス調整、ガンマ補正、画素補間、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル信号処理を行う。レンズ駆動回路２０６は、アクチュエータなどを備え、光学系２０１のフォーカスレンズを駆動し、合焦距離を調節する。タイミング発生回路２０５は、クロック信号、同期信号などのタイミング信号を撮像素子２０２、Ａ／Ｄ変換器２０３に出力する。
【００１６】
ＬＥＤ（Light Emitting Diode）２０７は、光学系２０１の近傍に設けられた光源である。ＬＥＤ２０７は、撮像に適した照度を得るために、撮像部位に向けて光を照射する照明部として使用される。ＬＥＤ２０７は、光色の異なる複数のＬＥＤから構成されてもよく、各ＬＥＤの発光強度を調整することにより、撮像部位に最適な色温度、彩度の光を発することができる。スピーカ２０８は、圧電式の振動ユニットを備え、電流駆動回路によって駆動される。スピーカ２０８は、音楽、メッセージ、効果音などの音声信号を出力し、撮像が終了したことをユーザに通知するための通知部として使用される。
【００１７】
タッチセンサ２０９は、透明なマトリクス状の電極を備えた容量性センサであり、ディスプレイ２１１上に設けられている。ユーザの指がタッチセンサ２０９に触れることにより、電極における静電容量が変化する。座標検出回路２１０は、タッチセンサ２０９における静電容量の変化を検出し、ユーザの指が接触した位置を算出することができる。タッチセンサ２０９は、ユーザからの指示を受け付ける操作部として使用される。
【００１８】
ディスプレイ２１１は、例えばＴＦＴ（Thin Film Transistor）液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイであり、ディスプレイコントローラ２１２からの表示信号に応じて、画像、動画、テキスト、アイコンなどの表示を行う。ディスプレイコントローラ２１２は、ビデオメモリを含むプロセッサであり、ディスプレイ２１１の表示を制御する。ディスプレイコントローラ２１２は、ＣＰＵ２１４からの表示データを一時記憶するとともに、表示信号を生成し、ディスプレイ２１１に出力する。タッチセンサ２０、ディスプレイ２１１は一体的に形成され、タッチパネル１０１を構成する。
【００１９】
フレームメモリ２１３は、複数フレームの画像データを一時的に保持可能であって、信号処理回路２０４、ＣＰＵ２１４による画像処理において使用され得る。例えば、信号処理回路２０４は、複数フレームの画像データにおいて動きベクトルを検出することにより、手振れ補正、ノイズリダクションを行なってもよい。また、動画撮像において、フレームメモリ２１３は、時間的に連続する複数フレームの画像データを記憶することができる。なお、ＲＡＭ２１５の一部がフレームメモリ２１３として使用されてもよい。ＣＰＵ（Central Processing Unit）２１４は、ＣＰＵコア、キャッシュメモリなどを備え、画像解析装置１００の各デバイスを統括的に制御する。ＣＰＵ２１４は、ＲＯＭ２１６、ストレージ２１７から所定のプログラムを読み出し実行することにより、画像解析装置１００の各部の機能を実現する。
【００２０】
ＲＡＭ（Random Access Memory）２１５は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ２１４のワーク領域、プログラムのロード領域などに使用される。ＲＯＭ（Read Only Memory）２１６は、例えばＥＥＰＲＯM（Electrically Erasable Programmable ROM）であり、ＢＩＯＳ（Basic Input Output System）、各種設定ファイルなどを格納する。ストレージ２１７は、例えばフラッシュメモリであり、ＯＳ（Operating System）などの基本プログラム、測定アプリなどの各種アプリケーションプログラムを格納する。ストレージ２１７は、測定アプリによる測定結果、撮像部１０２による画像、動画などの様々なデータも格納する。
【００２１】
モーションセンサ２１８は、加速度センサ、ジャイロセンサを含み、画像解析装置１００の動きを検出する。加速度センサは、静電容量検出素子などから構成され、画像解析装置１００に引加された加速度を検出する。ジャイロセンサは、圧電振動素子などから構成され、画像解析装置１００の向きを検出する。画像解析装置１００は、さらに、ＧＰＳ（Global Positioning System）センサ、照度センサ、近接センサなどを備えていてもよい。
【００２２】
無線通信モジュール２１９は、インターネットなどの通信ネットワークと無線通信を行うためのインタフェースである。無線通信モジュール２１９はアンテナを含み、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）などの移動体通信方式、または無線ＬＡＮ（Local Area Network）などの無線通信方式を用いて通信ネットワークに接続する。無線通信モジュール２１９は、通信ネットワークを介して外部の機器とデータの送受信を行うことができる。
【００２３】
図３は、本実施形態に係る測定アプリケーションプログラムの機能ブロック図である。測定アプリ３００は、制御部３０１、取得部３０２、解析部３０３を有している。測定アプリ３００の機能は、ＣＰＵ２１４がストレージ２１７に格納された測定アプリ３００を読み出し、実行することにより実現される。すなわち、ＣＰＵ２１４は、測定アプリ３００による画像解析方法の実行時に、制御部３０１、取得部３０２、解析部３０３として機能する。
【００２４】
制御部３０１は、撮像部（カメラ）１０２、ＬＥＤ２０７、スピーカ２０８の動作を制御する。制御部３０１は、オートフォーカス（ＡＦ）機能を有しており、撮像部１０２の合焦距離を調節する。ＡＦ処理において、制御部３０１は、撮像した画像のコントラストが最大となるように、レンズ駆動回路２０６を介して光学系２０１のフォーカスレンズの位置を制御する。制御部３０１は、コントラスト方式によるＡＦ処理に限らず、撮像面位相差方式によるＡＦ処理を行ってもよい。また、制御部３０１は、自動露出（ＡＥ）機能を有しており、撮像素子２０２のＩＳＯ感度、電子シャッタのスピードを制御する。制御部３０１は、ＡＦ機能、ＡＥ機能を有効または無効に設定することができる。制御部３０１は、さらにＬＥＤ２０７、スピーカ２０８を制御するとともに、タッチセンサ２０９を介してユーザからの指示を取得する。
【００２５】
取得部３０２は、フレームメモリ２１３から複数フレームの画像データを読み出し、複数フレームの画像データの中から最も鮮明な画像データを取得する。取得部３０２は、画像データから撮像部位の鮮鋭度に基づく周波数成分を抽出し、周波数成分に基づいて画像データの合焦を判定することができる。取得部３０２は、フーリエ変換などの周波数変換を用いて周波数成分を抽出する。取得部３０２は、取得した画像データをストレージ２１７に格納する。周波数変換の結果得られた周波数スペクトルなどのデータは、ＲＡＭ２１５において保持される。
【００２６】
解析部３０３は、取得部３０２が取得した画像データを解析し、測定結果を生成する。解析部３０３は、周波数変換を用いて画像データの特徴量を抽出し、画像データの特徴量から測定結果を導出する。解析部３０３は、取得部３０２による周波数変換の結果を利用することができる。すなわち、解析部３０３は、合焦判断における周波数変換の結果を用いて画像データの特徴量を抽出することができる。これにより、ＣＰＵ２１４の処理負担の軽減および高速化を実現することが可能となる。解析部３０３は、測定結果をストレージ２１７に格納する。周波数変換は、フーリエ変換に限らず、ウェーブレット変換、ラプラシアン演算、離散コサイン変換、アダマール変換、ＫＬ（Karhunen-Loeve）変換などであってもよい。
【００２７】
図４は、本実施形態に係る画像解析方法のフローチャートである。ここでは測定アプリ３００を用いてユーザが頬の状態を測定する例を説明する。画像解析装置１００において、ユーザが測定アプリ３００を起動すると、制御部３０１は、撮像部１０２のＡＦ機能を無効にし、合焦距離を所定の距離に固定する（ステップＳ４０１）。すなわち、制御部３０１は、光学系２０１を固定焦点の状態とする。ここで、合焦距離は、撮像された画像のサイズが画像解析において最適となるように定められ得る。例えば、合焦距離は、５０ｍｍ〜１００ｍｍの範囲であってもよく、また、撮像部１０２において設定可能な最短距離であってもよい。制御部３０１は、撮像に適した光環境が得られるようにＬＥＤ２０７の光量、色温度、彩度を設定し、ＬＥＤ２０７を点灯する。
【００２８】
続いて、制御部３０１は、撮像部１０２がユーザの頬に対して第１の距離に位置する状態において、撮像を開始する（ステップＳ４０２）。第１の距離は、合焦距離とは異なる距離であり、例えば合焦距離よりも短い。制御部３０１は、「カメラを頬に近づけ、画面をタップしてください」、「画面をタップすると撮影を開始します。カメラを頬からゆっくり遠ざけてください」などのメッセージをディスプレイ２１１に表示する。制御部３０１は、メッセージとともにアニメーションを表示してもよく、音声によってメッセージを発してもよい。ユーザがメッセージに従って撮像部１０２を頬に近づけ、タッチパネル１０１をタップすると（図１参照）、制御部３０１は、撮像部１０２による撮像を開始する。撮像は、所定のフレームレート（例えば４〜５フレーム毎秒）で行われる。撮像開始時における撮像部１０２と撮像部位との間の距離、すなわち第１の距離が合焦距離よりも短いことから、最初に撮像される画像の鮮鋭度は低い。
【００２９】
続いて、制御部３０１は、撮像部１０２がユーザの頬に対して第２の距離となる位置に移動するまで、撮像を継続する（ステップＳ４０３）。ここで第２の距離は、合焦距離を越える距離であり、例えば合焦距離よりも長い。ユーザは、タッチパネル１０１をタップした後、撮像部１０２を頬に対して垂直な方向に徐々に遠ざけていく。制御部３０１は、画像の鮮鋭度の変化に基づいて、撮像部１０２がユーザの頬に対して合焦距離を越える第２の距離まで移動したか否かを判断する。なお、制御部３０１は、所定時間（例えば６〜１０秒）が経過したときに、撮像部１０２が第２の距離となる位置に移動したとみなしてもよい。
【００３０】
次に、取得部３０２は、撮像で得られた複数フレームの画像データの中から、高周波数成分のエネルギーが最大の画像データを取得する（ステップＳ４０４）。画像データの取得処理（ステップＳ４０４）は、上述の撮像処理（ステップＳ４０３）と同時に実行されてもよい。取得部３０２は、フーリエ変換を用いて各フレームの画像データを周波数成分に分解し、空間周波数画像５００を生成する。
【００３１】
図５は、空間周波数画像５００を説明するための図である。空間周波数画像５００において、Ｘ軸は水平方向の空間周波数、Ｙ軸は垂直方向の空間周波数を表している。ＸＹ軸の原点（空間周波数画像５００の中心）に近い成分の空間周波数は低く、原点から離れた成分の空間周波数は高い。取得部３０２は、原点からの距離に応じて空間周波数画像５００を低周波数成分５０１、中周波数成分５０２、高周波数成分５０３に分割し、高周波数成分５０３内の楔領域９〜１６におけるエネルギーを合計する。取得部３０２は、複数フレームの画像データの中から、合計したエネルギーが最大となる画像データを選択する。空間周波数画像５００は、画像データの取得処理（ステップＳ４０４）の終了後もＲＡＭ２１５に保持される。
【００３２】
解析部３０３は、取得部３０２が取得した画像データをストレージ２１７から読み出し、画像データの解析を行う。解析部３０３は、解析対象となる画像データを取得部３０２から直接に取得してもよい。解析部３０３は、画像データをフーリエ変換し、周波数空間において画像データの特徴量を抽出する（ステップＳ４０５）。ここで解析部３０３は、取得部３０２が生成した空間周波数画像５００を利用することができる。例えば、解析部３０３は、中周波数成分５０２、高周波数成分５０３内の楔領域１〜１６におけるエネルギーをそれぞれ算出する。図５に示されるように、楔領域１〜１６は、周波数空間において異なる８つの方向性を有する周波数成分と、異なる２つの周波数帯域を有する周波数成分とを含んでいる。解析部３０３は、算出した１６個の周波数エネルギーを画像データの特徴量として使用する。なお、空間周波数成分の方向および周波数帯域は、撮像部位に応じて選択可能であってもよく、本実施形態の例に限定されない。
【００３３】
続いて、解析部３０３は、画像データの特徴量から頬の測定結果を導出する（ステップＳ４０５）。解析部３０３は、画像データの特徴量に所定の変換行列を適用することにより、測定結果（例えば肌の水分量、キメの細かさ）を生成する。解析部３０３は、肌に限らず、頭皮、爪、毛髪、唇などの人体表面の部位に合わせた変換行列を適用することができる。これらの変換行列は、例えば、マイクロスコープなどの専用の撮像機器を用いた測定結果を教師データとして機械学習を行うことにより、事前に決定することができる。解析部３０３は、測定結果をディスプレイ２１１に表示し、図４のフローチャートの処理を終了する。
【００３４】
図６は、本実施形態に係る撮像処理（ステップＳ４０３）の詳細を示すフローチャートである。まず、制御部３０１は、１フレームの画像データの撮像を行い、フレームメモリ２１３から読み出す（ステップＳ６０１）。制御部３０１は、読み出した画像データを所定のサイズ（例えば６４０×４８０画素）にトリミングしてもよい。続いて、制御部３０１は、画像データをフーリエ変換し、高周波数成分のエネルギーを抽出する（ステップＳ６０２）。高周波数成分のエネルギーの抽出方法は、上述の画像データの取得処理（ステップＳ４０４）における方法と同様である。画像データの取得処理（ステップＳ４０４）が同時に実行されている場合、高周波数成分の抽出処理（ステップＳ６０２）は省略される。
【００３５】
次に、制御部３０１は、直近に撮像されたフレーム間における高周波数成分のエネルギーの変化量を算出する（ステップＳ６０３）。例えば、制御部３０１は、直近のフレームｎについてのエネルギーＥｎと、１つ前のフレームｎ−１についてのエネルギーＥｎ−１との差Ｅｎ−（Ｅｎ−１）を計算する。高周波数成分のエネルギーは、所定フレーム数の移動平均値を用いてもよい。複数フレーム間における高周波数成分のエネルギーの変化の一例を図７に示す。
【００３６】
図７において、縦軸は高周波数成分のエネルギーを表し、横軸は時系列に番号付けされた複数フレームの画像データを表している。すなわち、フレーム１は撮像において最初に撮像されたフレームの画像データであり、撮像が継続している間、フレーム２、フレーム３、・・・、フレームｎが順次撮像されていく。図７の例では、エネルギーの差Ｅｎ−（Ｅｎ−１）は、フレーム２からフレーム３３まで正の値であり、フレーム３４以降は負の値となる。すなわち、高周波数成分のエネルギーのピークがフレーム３３に位置している。
【００３７】
次に、制御部３０１は、エネルギーの変化量を所定の閾値と比較する（ステップＳ６０４）。制御部３０１は、例えば０を閾値とし、エネルギーの差Ｅｎ−（Ｅｎ−１）が０以上か否か（正負）を判断する。制御部３０１は、変化量が０以上（正の値）である場合（ステップＳ６０４でＮｏ）、撮像を継続し、次のフレームに対してステップＳ６０１〜ステップＳ６０４の処理を実行する。制御部３０１は、変化量が０より小さい（負の値）である場合（ステップＳ６０４でＹｅｓ）、撮像を終了し、撮像が正常に終了したことを示す効果音、「撮影が終了しました」などの音声メッセージをスピーカ２０８から出力する（ステップＳ６０５）。図７の例では、フレーム３４の処理後に撮像が終了する。制御部３０１は、ＬＥＤ２０７を消灯し、図４のフローチャートの処理に戻る。
【００３８】
本実施形態によれば、撮像部のオートフォーカス機能を無効にすることで、合焦距離を固定した状態でフレームごとの撮像を行う。撮像は、合焦位置を通過するように撮像部を移動させながら実行されるため、撮像により得られる複数フレームの画像データの中には、結果的に撮像部位に合焦した画像データが含まれる。したがって、オートフォーカス機能を使用することなく鮮明な画像を容易に取得することができる。また、撮像においては、フレーム毎の高周波数成分のエネルギーの変化量を監視し、エネルギーのピークを検出した場合に、撮像を終了する。これにより、ユーザは、撮像部と撮像部位とが合焦距離を越えて離間したことを判断する必要がない。
【００３９】
本実施形態の画像解析装置は、ＡＦ機能が適切に動作しない接写撮像に特に好適である。合焦距離を最短距離に設定することにより、撮像部位を鮮明に拡大した画像を取得することができる。肌測定専用の機器を持たないユーザであっても、スマートフォンのカメラを用いて精度の良い肌測定を行うことができる。
【００４０】
［第２実施形態］
続いて、本発明の第２実施形態に係る画像解析システムを説明する。本実施形態に係る画像解析システムは、第１実施形態に係る画像解析装置１００と同様に構成されているため、第１実施形態と異なる点を中心に説明する。本実施形態において、画像データの高周波数成分はラプラシアン演算により抽出される。
【００４１】
図８は、本実施形態に係る高周波数成分の抽出方法を説明するための図である。図８（ａ）は、ガウシアン画像Ｇ０〜Ｇ２およびラプラシアン画像Ｌ０〜Ｌ２の生成処理の概念図である。各画像には、例として円形と線状の被写体が示されている。レベル０のガウシアン画像Ｇ０は、フレームメモリ２１３から読み出された原画像と同一である。
【００４２】
まず、取得部３０２は、レベル０のガウシアン画像Ｇ０に対して、以下の数式で示されるガウシアンフィルタを適用することにより、画像データの平滑化処理を行う。
【数１】
2018078528.tif 000003
ここで、ｘはフィルタ中心からのＸ軸（水平）方向の座標を表し、ｙはフィルタ中心からのＹ軸（垂直）方向の座標を表す。σは平滑化の度合いを決定する平滑化係数を表す。σ≒０．８におけるガウシアンフィルタの例を図８（ｂ）に示す。
【００４３】
次に、取得部３０２は、レベル０のガウシアン画像Ｇ０をダウンサンプリングし、画像を縮小する。これにより、レベル１のガウシアン画像Ｇ１が生成される。例えば、取得部３０２は、ガウシアン画像Ｇ０の偶数行と偶数列の画素値から構成される縦横１／２サイズのガウシアン画像Ｇ１を生成する。取得部３０２は、レベル１のガウシアン画像Ｇ１に対して、レベル０のガウシアン画像Ｇ０と同様の処理を繰り返すことにより、画像をさらに縮小する。これにより、レベル２のガウシアン画像Ｇ２が生成される。ガウシアン画像Ｇ０〜Ｇ２をガウシアンピラミッドと呼ぶ。ガウシアン画像の解像度は、ダウンサンプリングを行うごとに低下する。言い換えれば、ダウンサンプリングにより、画像データの高周波数成分が失われる。
【００４４】
取得部３０２は、レベル１のガウシアン画像Ｇ１をアップサンプリングし、画像を元のサイズに拡大する。例えば、取得部３０２は、ガウシアン画像Ｇ１の偶数行および偶数列の画素値から、奇数行および奇数列の画素値を補間し、レベル０のガウシアン画像Ｇ０と同じサイズの拡大画像を生成する。そして、取得部３０２は、ガウシアン画像Ｇ０と拡大画像との差分を計算することにより、レベル０のラプラシアン画像Ｌ０を取得することができる。レベル０のラプラシアン画像Ｌ０は、ガウシアン画像Ｇ１の生成過程で失われた高周波数成分の画像である。取得部３０２は、レベル２のガウシアン画像Ｇ２とレベル１のガウシアン画像Ｇ１に対して、同様の処理を繰り返すことにより、レベル１のラプラシアン画像Ｌ１を取得することができる。レベル１のラプラシアン画像Ｌ１は、ガウシアン画像Ｇ２の生成過程で失われた高周波数成分の画像である。レベル１のラプラシアン画像Ｌ１は、レベル０のラプラシアン画像Ｌ０よりも低い周波数成分を有している。取得部３０２は、より低い周波数成分を有するレベル２のラプラシアン画像Ｌ２を生成してもよい。ラプラシアン画像Ｌ０〜Ｌ２をラプラシアンピラミッドと呼ぶ。
【００４５】
取得部３０２は、上述のガウシアン画像Ｇ０〜Ｇ２に対してラプラシアンフィルタを適用することにより、ラプラシアン画像Ｌ０〜Ｌ２を生成してもよい。ラプラシアンフィルタは、画像の２次微分（差分）を計算するフィルタである。８近傍におけるラプラシアンフィルタの一例を図８（ｃ）に示す。取得部３０２は、注目画素を中心とした近傍画素値に対して、ラプラシアンフィルタの係数をそれぞれ乗算し、乗算結果を合計する。算出された画素値がラプラシアン画像の画素値となる。なお、取得部３０２は、ガウシアンフィルタにかぎらず、メディアンフィルタ、移動平均フィルタなどの他の平滑化フィルタを用いてもよく、ガウシアンフィルタとラプラシアンフィルタとを組み合わせたＬＯＧ（Laplacian Of Gaussian）フィルタを用いてもよい。
【００４６】
図９は、本実施形態に係る画像解析方法のフローチャートである。ステップＳ９０１〜Ｓ９０３までの処理は、図４のステップＳ４０１〜Ｓ４０３と同様の処理であるため、説明を省略する。
【００４７】
取得部３０２は、撮像において得られた複数フレームの画像データに対してラプラシアンフィルタを適用し、各フレームの画像データから高周波数成分を抽出する（ステップＳ９０４）。例えば、取得部３０２は、フレームメモリ２１３から複数フレームの画像データを読み出し、各フレームの画像データに対してガウシアンフィルタを適用する。図８に示されるように、取得部３０２は、ガウシアンフィルタにより平滑化された画像データをダウンサンプリングし、レベル１のガウシアン画像Ｇ１を生成する。取得部３０２は、レベル１のガウシアン画像Ｇ１に対してラプラシアンフィルタを適用し、レベル１のラプラシアン画像Ｌ１を生成する。
【００４８】
次に、取得部３０２は、各フレームのラプラシアン画像Ｌ１に基づいて、高周波数成分のエネルギーが最大の画像データを取得する（ステップＳ９０５）。具体的には、取得部３０２は、ラプラシアン画像Ｌ１の画素値をフレームごとに合計し、画素値の合計が最大となるフレームを判定する。取得部３０２は、判定されたフレームの画像データを合焦した画像として取得する。なお、取得部３０２は、図８に示されるラプラシアンピラミッド（ラプラシアン画像Ｌ０、Ｌ１、Ｌ２）を生成することにより、高周波数成分を抽出してもよい。取得部３０２は、解像度のレベルが異なるラプラシアン画像Ｌ０、Ｌ１、Ｌ２の何れか、またはこれらの組み合わせに基づいて、高周波数成分のエネルギーの大きさを判断することができる。以降のステップＳ９０６、Ｓ９０７の処理は、図４のステップＳ４０５、Ｓ４０６と同様の処理であるため、説明を省略する。
【００４９】
［変形実施形態］
上述の実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されるものではない。すなわち、本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。
【００５０】
例えば、上述の実施形態では、第１の距離が第２の距離よりも短く、撮像部１０２と撮像部位とが合焦距離よりも近接した状態において撮像が開始され、撮像部１０２と撮像部位とが合焦距離を越えて離間するまで撮像が継続される場合を説明した。これとは逆に、第１の距離が第２の距離よりも長く、撮像部１０２と撮像部位とが合焦距離よりも離間した状態において撮像が開始され、撮像部１０２と撮像部位とが合焦距離内に近接するまで撮像が継続されてもよい。すなわち、画像解析装置１００は、撮像で得られる複数フレームの画像データについて、撮像部１０２と撮像部位との間の距離の変化によって高周波数成分のエネルギーのピークを検出できるように構成されていればよい。
【００５１】
また、ＣＰＵ２１４は、エネルギー変化量の判定処理（ステップＳ６０４）において、エネルギーの変化量が所定の閾値より小さい場合であっても即座に撮像を終了しなくてもよい。例えば、ＣＰＵ２１４は、次のフレームに対する処理（ステップＳ６０１〜Ｓ６０４）を続けて実行し、連続する２つのフレームに対してエネルギーの変化量がともに所定の閾値より小さい場合に撮像を終了してもよい。
【００５２】
上述の実施形態では、動画撮像により複数フレームの画像データを撮像する場合を説明したが、静止画像を連続して撮像する場合においても上述の実施形態の処理を適用することができる。さらに、画像解析装置１００による測定部位はユーザの頬に限られない。画像解析装置１００は、肌、頭皮、爪、毛髪、唇などの人体表面の様々な部位を測定するために適用することが可能である。
【符号の説明】
【００５３】
１００  画像解析装置
１０１  タッチパネル
１０２  撮像部
２１３  フレームメモリ
２１４  ＣＰＵ
２１５  ＲＡＭ
２１７  ストレージ
３００  測定アプリケーションプログラム
３０１  制御部
３０２  取得部
３０３  解析部
５００  空間周波数画像
５０３  高周波数成分
【図１】
2018078528.tif 000004
【図２】
2018078528.tif 000005
【図３】
2018078528.tif 000006
【図４】
2018078528.tif 000007
【図５】
2018078528.tif 000008
【図６】
2018078528.tif 000009
【図７】
2018078528.tif 000010
【図８】
2018078528.tif 000011
【図９】
2018078528.tif 000012