(57)【特許請求の範囲】
【請求項１】
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記表示部によって前記表示装置に前記撮影画像を表示させる制御部と、
を含む表示制御装置。
【請求項２】
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示部による前記表示装置への前記撮影画像の表示を禁止する制御部と、
を含む表示制御装置。
【請求項３】
前記制御部は、前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
請求項１または請求項２記載の表示制御装置。
【請求項４】
前記制御部は、前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
請求項１または請求項２記載の表示制御装置。
【請求項５】
前記制御部は、前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
請求項１〜請求項４の何れか１項に記載の表示制御装置。
【請求項６】
前記制御部は、前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
請求項１〜請求項５の何れか１項に記載の表示制御装置。
【請求項７】
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
請求項６記載の表示制御装置。
【請求項８】
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
請求項６記載の表示制御装置。
【請求項９】
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御方法。
【請求項１０】
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御方法。
【請求項１１】
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御プログラム。
【請求項１２】
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める利用者の顔画像の割合が、前記撮影画像の背景領域に前記利用者以外の人物が映り込まない大きさに設定された閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、表示制御装置、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
近年、個人情報等の情報の管理に対する意識の高まりに伴い、情報へのアクセスを所望する人物が、情報へのアクセスが予め許可されている人物であるか否かを認証するセキュリティ機能を実装した電子機器が普及し始めている。
【０００３】
人物の認証方法として、例えば指紋認証、静脈認証、顔認証等が提案されているが、認証率の高さおよび認証における操作の手軽さから、人物の瞳孔の外周に存在する虹彩領域をカメラで撮影して認証を行う虹彩認証の普及が有望視されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８１０１２号公報
【特許文献２】特開２００６−４８２６６号公報
【特許文献３】特開２００８−１９７７１３号公報
【特許文献４】特開２００５−２５３７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えばスマートフォン等のモバイル端末に虹彩認証機能を搭載した場合、モバイル端末の使用に先立ち、例えばモバイル端末に内蔵されたカメラでモバイル端末の利用者の顔を撮影し、利用者の虹彩領域の画像を取得する必要がある。
【０００６】
周囲に人がいる状況、例えば店舗内または電車内で虹彩認証を実行する場合、自身の虹彩領域を撮影する行為が、場合によっては周囲の人に他者を無断で撮影する盗撮行為と誤認されてしまう状況を発生させることが考えられる。
【０００７】
また、こうした盗撮行為と誤認されてしまう状況は、虹彩認証等の認証を行う場合に限らず、自身でモバイル端末を保持した状態で自分自身を撮影する、いわゆる自撮りを行う場合等にも生じ得る。
【０００８】
一つの側面として、開示の技術は、自画像を撮影する際、盗撮行為と誤認されることを低減することを目的とする。
【課題を解決するための手段】
【０００９】
一つの態様として、表示制御装置は、撮影画像を表示装置に表示する表示部と、前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値以上の場合に、前記表示部によって前記撮影画像を表示させる制御部とを含む。
【発明の効果】
【００１０】
一つの側面として、開示の技術は、自画像を撮影する際、盗撮行為と誤認されることを低減することができる、という効果を有する。
【図面の簡単な説明】
【００１１】
【図１】スマートフォンの外観の一例を示す図である。
【図２】虹彩認証の様子の一例を示す図である。
【図３】第１実施形態および第２実施形態に係るスマートフォンの構成の一例を示す図である。
【図４】第１実施形態および第２実施形態に係るスマートフォンをコンピュータで実現する場合の構成の一例を示す図である。
【図５】第１実施形態に係る虹彩認証処理の流れの一例を示すフローチャートである。
【図６】虹彩認証ガイド画面の一例を示す図である。
【図７Ａ】視距離が基準距離を越える赤外線画像の例を示す図である。
【図７Ｂ】一方の目の視線が検出される赤外線画像の例を示す図である。
【図７Ｃ】視距離が基準距離以下の赤外線画像の例を示す図である。
【図８Ａ】虹彩認証失敗の場合に表示装置に表示される画像の一例を示す図である。
【図８Ｂ】虹彩認証成功の場合に表示装置に表示される画像の一例を示す図である。
【図９】第２実施形態に係る虹彩認証処理の流れの一例を示すフローチャートである。
【図１０Ａ】顔占有割合が閾値未満の赤外線画像の例を示す図である。
【図１０Ｂ】顔占有割合が閾値未満の赤外線画像の例を示す図である。
【図１０Ｃ】顔占有割合が閾値以上の赤外線画像の例を示す図である。
【図１１】第３実施形態に係るスマートフォンの構成の一例を示す図である。
【図１２】第３実施形態に係るスマートフォンをコンピュータで実現する場合の構成の一例を示す図である。
【図１３】第３実施形態に係る自撮り処理の流れの一例を示すフローチャートである。
【図１４】自撮りガイド画面の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では、同じ働きを担う構成要素または処理には全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。
【００１３】
また、以下では、開示の技術をスマートフォンに適用した場合の実施形態について説明するが、開示の技術は、例えばノートコンピュータ、タブレット端末、ウェアラブル端末等の携帯可能な他の電子機器にも適用することができる。
【００１４】
（第１実施形態）
図１に示すスマートフォン１は、例えば表示装置３、通話用スピーカ４、ロック解除ボタン５、赤外線ＬＥＤ（Light Emitting Diode）６、赤外線カメラ７およびタッチパネル８を含む。
【００１５】
表示装置３は、例えばスマートフォン１に記憶されているデータまたはインターネット等の通信回線に接続されたサーバからダウンロードしたデータ等を表示する装置である。表示装置３には、例えば液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイ等の表示デバイスが用いられる。なお、表示装置３の表示面には、タッチパネル８が貼付されており、タッチパネル８は、スマートフォン１の利用者による操作を受け付ける。
【００１６】
通話用スピーカ４は、電話の場合に通話相手の音声を出力する音声出力デバイスである。なお、図１には図示していないが、スマートフォン１には音声を取り込むマイクも備えられている。
【００１７】
スマートフォン１は、例えばスマートフォン１の利用を許可されている人物（以下、正規の利用者という）以外の人物がスマートフォン１を操作して、スマートフォン１に記憶されている個人情報等を閲覧することを防止するロック機能を備えている。
【００１８】
正規の利用者は、例えば表示装置３に表示される図示しないロック開始ボタンを押下することでスマートフォン１をロック状態にし、スマートフォン１が正規の利用者以外の者からの操作を受け付けないようにする。なお、スマートフォン１をロック状態にする方法はこれに限定されず、例えばスマートフォン１で操作時間間隔を計測し、スマートフォン１の連続未操作時間が所定時間以上になった場合に、スマートフォン１をロック状態にするようにしてもよい。
【００１９】
ロック解除ボタン５は、スマートフォン１のロック状態を解除する場合に押下されるボタンであり、何れかの人物がロック解除ボタン５を押下した場合、スマートフォン１は虹彩認証を実行し、虹彩認証が成功した場合にスマートフォン１のロック状態を解除する。なお、スマートフォン１におけるロック解除ボタン５の位置は一例であり、必ずしも表示装置３の表示面側にある必要はなく、例えばスマートフォン１の筐体の側面または表示装置３の表示面側と反対側の面（以下、裏面という）にあってもよい。
【００２０】
赤外線ＬＥＤ６および赤外線カメラ７は、後述する虹彩認証処理に用いられる。赤外線ＬＥＤ６は、赤外線を射出する光源であり、赤外線カメラ７は、虹彩認証の対象である利用者で反射した赤外線を複数の赤外線検出素子で複数の画素に分割して検出することで、利用者の赤外線画像を撮影する。そして、スマートフォン１は、赤外線画像に含まれる利用者の虹彩領域の虹彩パターンが、例えばスマートフォン１に予め登録されている正規の利用者の虹彩画像の虹彩パターンに一致する場合にスマートフォン１のロック状態を解除する。
【００２１】
なお、赤外線に比べて可視光の方が虹彩領域を覆う角膜で鏡面反射が起こりやすいため、虹彩領域の画像が不鮮明になることがある。したがって、虹彩認証の場合には、虹彩領域を照らす光源として一般に赤外線が用いられる。なお、ここでいう赤外線とは、例えば波長が約８３０ｎｍ以上で、約１０００μｍ以下の電磁波をいう。
【００２２】
また、赤外線カメラ７は、赤外線画像を撮影する場合の撮影倍率（以下、画角という）が変更可能とされている。なお、撮影倍率の変更に伴って画角が変化するため、以下では撮影倍率を画角で説明する。画角の変更は、光学ズーム方式およびデジタルズーム方式の少なくとも一方の方式により実現される。しかし、これは一例であり、画角が固定された赤外線カメラ７を用いてもよい。
【００２３】
図２に示すように利用者が虹彩認証を実施する場合、利用者は表示装置３に表示される赤外線画像を参照して、スマートフォン１と自身の顔とを相対的に移動させ、表示装置３に表示される自身の目の位置および大きさを調整する。
【００２４】
このように、利用者は、表示装置３に表示される利用者自身を見ながら赤外線カメラ７で利用者自身の虹彩領域を撮影するため、赤外線ＬＥＤ６および赤外線カメラ７は、例えば表示装置３の表示面と同一面上に設置することが好ましい。
【００２５】
なお、表示装置３の表示面側に設置されたカメラを「インカメラ」、スマートフォン１の裏面に設置されたカメラを「アウトカメラ」という場合がある。インカメラは、主に自撮り等の利用者を含む画像の撮影に用いられることが多い。また、アウトカメラは、主に利用者を含まない風景等の撮影に用いられることが多い。
【００２６】
図３に示すように、スマートフォン１は、表示装置３、ロック解除ボタン５、赤外線ＬＥＤ６、赤外線カメラ７、タッチパネル８、受付部１０、制御部２０および表示部３０を含む。
【００２７】
受付部１０は、ロック解除ボタン５等のボタン、タッチパネル８および制御部２０に接続され、ロック解除ボタン５等のボタン押下操作およびタッチパネル８の各種操作を受け付ける。そして、受付部１０は、操作内容に応じた通知を制御部２０に通知する。
【００２８】
制御部２０は、受付部１０、表示部３０、赤外線ＬＥＤ６および赤外線カメラ７に接続される。制御部２０は、例えばロック解除ボタン５が押下されたこと受付部１０から受け付けると、赤外線を赤外線ＬＥＤ６から射出すると共に、赤外線カメラ７に被写体を撮影させ、撮影した赤外線画像に含まれる人物の虹彩領域に対して虹彩認証処理を実行する。この場合、制御部２０は、人物の視線方向および視距離を測定し、赤外線画像全体に占める人物の顔画像の割合（以下、顔占有割合という）が閾値以上となった場合に、撮影した赤外線画像を表示装置３に表示するように表示部３０を制御する。
【００２９】
ここで、視距離とは、赤外線カメラ７から被写体である人物の目までの距離をいう。また、顔画像とは、撮影した画像のうち、人物の顔が写っている領域内の画像をいう。また、顔占有割合は、例えば視距離と赤外線カメラ７の画角との関係から算出できる。
【００３０】
表示部３０は、表示装置３および制御部２０に接続され、制御部２０によって指示された赤外線画像を表示装置３に表示する。
【００３１】
図４に示すコンピュータ１００は、ＣＰＵ１０２、メモリ１０４および不揮発性の記憶部１０６を含む。ＣＰＵ１０２、メモリ１０４および不揮発性の記憶部１０６は、バス１０８を介して互いに接続される。また、コンピュータ１００は、表示装置３、赤外線ＬＥＤ６、赤外線カメラ７、入力装置１１２および通信装置１１４とコンピュータ１００とを接続するＩ／Ｏ（Input/Output）１１０を備え、Ｉ／Ｏ１１０はバス１０８に接続される。
【００３２】
ここで、入力装置１１２は、例えばタッチパネル８等といった、コンピュータ１００の利用者が選択した表示装置３の位置をコンピュータ１００に出力する入力デバイスを含む。また、入力装置１１２は、例えばメモリカード等の記録媒体１１６に記録されるデータを読み取る読み取り装置を含む。
【００３３】
通信装置１１４は、例えばインターネット等の通信回線に接続されたサーバと無線方式によってデータを送受信するための通信プロトコルを含み、例えばコンピュータ１００が指定したサーバとデータを送受信する。なお、通信装置１１４における通信回線との接続形態は無線方式に限定されず、例えば有線方式であってもよい。
【００３４】
なお、図４の例では、表示装置３、赤外線ＬＥＤ６、赤外線カメラ７、入力装置１１２および通信装置１１４をコンピュータ１００と独立した装置として示しているが、コンピュータ１００に内蔵してもよい。更に、図４の例ではコンピュータ１００に通信装置１１４が接続されているが、通信回線を用いて他の電子機器とデータを送受信する必要のない場合は、コンピュータ１００に通信装置１１４を接続する必要はない。
【００３５】
また、記憶部１０６は、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等によって実現できる。
【００３６】
記憶部１０６には、コンピュータ１００を図３に示すスマートフォン１として機能させるための表示制御プログラム１２０が記憶される。記憶部１０６に記憶される表示制御プログラム１２０は、受付プロセス１２２、制御プロセス１２４および表示プロセス１２６を含む。
【００３７】
ＣＰＵ１０２は、表示制御プログラム１２０を記憶部１０６から読み出してメモリ１０４に展開し、表示制御プログラム１２０に含まれる各プロセスを実行することで、コンピュータ１００を図３に示すスマートフォン１として動作させる。
【００３８】
すなわち、ＣＰＵ１０２が受付プロセス１２２を実行することで、コンピュータ１００が図３に示す受付部１０として動作する。また、ＣＰＵ１０２が制御プロセス１２４を実行することで、コンピュータ１００が図３に示す制御部２０として動作する。また、ＣＰＵ１０２が表示プロセス１２６を実行することで、コンピュータ１００が図３に示す表示部３０として動作する。
【００３９】
なお、コンピュータ１００は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
【００４０】
次に、第１実施形態に係るスマートフォン１の作用について説明する。制御部２０は、ロック解除ボタン５の押下を受け付けたことが受付部１０から通知された場合、赤外線カメラ７で撮影された虹彩領域の特徴がスマートフォン１の正規の利用者の虹彩領域の特徴と類似しているか判定する虹彩認証処理を行う。
【００４１】
まず、図５のステップＳ１０において、制御部２０は、赤外線ＬＥＤ６に電源を供給する図示しないスイッチをオンにして赤外線ＬＥＤ６を点灯し、赤外線の射出を開始させる。
【００４２】
ステップＳ２０において、制御部２０は表示部３０を制御して、スマートフォン１を操作している利用者に虹彩認証処理の開始を知らせる画面（以下、虹彩認証ガイド画面という）を表示装置３に表示する。
【００４３】
図６に示すように、ステップＳ２０の処理によって、例えば「ロックを解除するにはインカメラを目の方向に向けてください」といった、赤外線カメラ７を利用者の目の方向に向けるように指示するメッセージが表示装置３に表示される。この場合、制御部２０は、赤外線カメラ７をスマートフォン１の利用者の目の方向に向ける様子を描いた画像をメッセージと共に表示装置３に表示させてもよい。当該画像を表示装置３に表示することにより、メッセージだけで虹彩認証の操作方法を知らせる場合に比べて、虹彩認証の操作方法をよりわかりやすくスマートフォン１の利用者に知らせることができる。また、虹彩認証処理を開始したことを利用者に音声で通知してもよい。
【００４４】
なお、制御部２０は、後述するステップＳ１８０で、赤外線カメラ７に撮影させた赤外線画像の表示を行うまで、図６に示す虹彩認証ガイド画面を表示装置３に表示し続ける。
【００４５】
ステップＳ３０において、制御部２０は、赤外線カメラ７に赤外線画像を撮影させ、赤外線カメラ７から出力された赤外線画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。既にメモリ１０４の予め定めた領域に他の赤外線画像のデータがある場合、制御部２０は、当該他の赤外線画像のデータをステップＳ３０で赤外線カメラ７に撮影させた赤外線画像のデータで上書きする。なお、赤外線画像のデータは、メモリ１０４のうち、例えばデータを記憶した場合に当該データを暗号化するセキュアな領域に記憶することが好ましい。
【００４６】
ステップＳ４０において、制御部２０は、ステップＳ３０でメモリ１０４に記憶した赤外線画像のデータから利用者の両目の視線を検出する。ここでは、スマートフォン１の利用者が自分の顔を撮影して虹彩認証を行う例について説明しているため、多くの場合、赤外線画像の被写体は利用者となる。
【００４７】
赤外線画像のデータから利用者の視線を検出する場合、例えば特許文献４に示される公知の視線検出方法が適用できる。
【００４８】
具体的には、制御部２０は、赤外線カメラ７のレンズ中心から赤外線カメラ７の焦点距離だけ離れた位置に定義した２次元座標系における利用者の瞳孔の中心座標を利用して、実空間を示す３次元座標系における瞳孔の中心Ｔの座標を決定する。一方、制御部２０は、角膜上の赤外線の反射点、すなわち輝点の座標に基づいて、利用者の角膜を部分球面とする球面の中心Ｓの座標を決定する。そして、制御部２０は、瞳孔の中心Ｔと眼球内に定義した球面の中心Ｓとを結ぶ直線（以下、視線直線という）を利用者の視線として検出する。ここで、焦点距離とは、被写体に焦点を合わせた場合の赤外線カメラ７のレンズから赤外線カメラ７に含まれる撮像素子までの距離をいう。なお、特許文献４は公知であるため、これ以上の説明は省略する。
【００４９】
なお、制御部２０は、上記に示した特許文献４に示される視線検出方法と異なる他の方法を用いて、赤外線画像から利用者の視線を検出するようにしてもよい。
【００５０】
ステップＳ５０において、制御部２０は、ステップＳ４０で利用者の両目の視線が検出できたか、すなわち、両目の視線直線を検出できたか判定する。否定判定の場合には、撮影された赤外線画像には虹彩認証に用いる両目の虹彩に対応する虹彩領域が含まれていないと推定されるため、ステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、利用者の両目の視線を検出する処理を繰り返す。一方、ステップＳ５０の判定処理が肯定判定の場合には、ステップＳ６０に移行する。
【００５１】
なお、ここでは、虹彩認証を両目の虹彩領域を用いて行う例について説明するが、片方の目の虹彩領域を用いて虹彩認証を行ってもよい。この場合、ステップＳ５０で利用者の少なくとも一方の目の視線が検出できたかを判定すればよい。なお、片方の目の虹彩領域を用いて虹彩認証を行う場合、両目の虹彩領域を用いて虹彩認証を行う場合に比べて認証精度が低下するが、認証に要する時間を短縮できる場合がある。
【００５２】
ステップＳ６０において、制御部２０は、ステップＳ４０で検出した視線直線の方向が、利用者の目と赤外線カメラ７を結ぶ光軸直線の方向と一致しているか否かを判定する。ここで、視線直線の方向が光軸直線の方向と一致するとは、視線直線の方向と光軸直線の方向とのずれが予め定めた範囲内に含まれる場合をいう。
【００５３】
ステップＳ６０の判定処理が否定判定の場合には、赤外線画像に含まれる利用者が赤外線カメラ７を注視していないため、利用者の虹彩領域が虹彩認証に必要とされる程度に鮮明に撮影されていない可能性がある。従って、ステップＳ３０に戻り、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、利用者の視線を検出する処理を繰り返す。一方、ステップＳ６０の判定処理が肯定判定の場合には、ステップＳ７０に移行する。
【００５４】
ステップＳ７０において、制御部２０は、例えば被写体となっている利用者の視距離を、ステップＳ３０でメモリ１０４に記憶した赤外線画像から測定する。赤外線画像から被写体となっている利用者の視距離を検出する場合、例えば特許文献４に示される公知の視距離検出方法が適用できる。
【００５５】
具体的には、制御部２０は、ステップＳ４０で視線を検出する場合に定義した２次元座標系および３次元座標系の他に、前記３次元座標系の各軸のスケールを変換して各データの大きさの一様化を図る基準座標系を定義する。制御部２０は、２次元座標系における右目、左目および鼻の各座標を基準座標系に射影する関係式と、前記各座標を３次元座標系に射影する関係式と、右目、左目および鼻の位置関係を表す関係式と、に基づいて、被写体の目の位置を特定して視距離を算出する。なお、特許文献４は公知であるため、これ以上の説明は省略する。
【００５６】
ステップＳ８０において、制御部２０は、ステップＳ７０で測定した視距離が予め定めた基準距離以下であるか否かを判定する。
【００５７】
ここで、基準距離は、例えば赤外線カメラ７の仕様に規定されている最も低い撮影倍率、すなわち最も広い画角で利用者の顔を撮影した場合に、顔占有割合が閾値以上となるような値に予め設定される。更に、上記の顔占有割合の閾値は、赤外線画像の背景領域に利用者以外の人物等が写り込まないか、または利用者以外の人物等が写り込んだとしても、当該人物等を特定することが困難な大きさにしか写らないような値に予め設定される。ここで人物等とは、人物および物体の少なくとも一方を意味する。なお、赤外線画像の画角が可変できる場合には、制御部２０は基準距離を固定値とせず、赤外線カメラ７から画角を取得し、赤外線カメラ７の画角に応じて顔占有割合が閾値以上となるような値に基準距離を変更してもよい。
【００５８】
したがって、ステップＳ８０の判定処理は、撮影された赤外線画像における顔占有割合が上記の閾値以上か否かを判定することに相当する。
【００５９】
また、例えば利用者がスマートフォン１のロックを解除するために虹彩認証を行う場合、図２に示したように利用者自らがスマートフォン１を持って自分の顔を撮影する場合が多い。したがって、利用者が手を伸ばして自分の顔を撮影することができる最大距離は、例えば成人の平均的な腕の長さから約６０ｃｍと想定されるため、この知見に基づいて、基準距離は例えば約６０ｃｍ以下に設定される場合が多い。
【００６０】
換言すれば、ステップＳ７０で測定した視距離が基準距離より長い場合、スマートフォン１を利用者に向けていない状況が考えられ、赤外線画像に写っている人物は、利用者以外である可能性が高いことを意味している。
【００６１】
したがって、ステップＳ８０の判定処理が否定判定の場合にはステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で再び赤外線カメラ７に赤外線画像を撮影させ、ステップＳ８０の判定処理が肯定判定となるまで、ステップＳ４０で利用者の視線を検出し、ステップＳ７０で視距離を測定する処理を繰り返す。
【００６２】
一方、ステップＳ８０の判定処理が肯定判定の場合には、ステップＳ９０に移行する。この場合、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像には前記閾値以上の顔占有割合で利用者自身の顔が写っていると推定される。
【００６３】
なお、説明の便宜上、ステップＳ１０〜Ｓ８０までの処理を「ロック解除準備処理」という。
【００６４】
図７Ａに示す赤外線画像は、利用者の両目の視線が検出され、かつ、利用者の視線が赤外線カメラ７の方向に向いている。しかし、視距離が基準距離を越えるため、図７Ａに示す赤外線画像はステップＳ８０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。なお、図７Ａに示すように、視距離が基準距離を越える赤外線画像では、利用者の顔周辺に利用者以外の人物等が写り込む領域が生じている。
【００６５】
図７Ｂに示す赤外線画像は利用者の片方の目が写っていないため、利用者の両目の視線が検出できない。したがって、図７Ｂに示す赤外線画像はステップＳ５０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。なお、例えばステップＳ５０の判定処理が、片方の目の視線が検出されれば肯定判定とみなす判定処理であったとしても、図７Ｂに示す赤外線画像の利用者の視線は赤外線カメラ７の方向を向いていない。したがって、図７Ｂに示す赤外線画像はステップＳ６０の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
【００６６】
なお、例えばステップＳ５０の判定処理を片方の目の視線が検出されれば肯定判定とみなす判定基準にした場合に、片方の目の視線が検出され、かつ、当該目の視線が赤外線カメラ７の方向を向いていれば、ステップＳ８０の判定処理が実行される。
【００６７】
しかし、この場合、図７Ｂに示すように利用者の顔が半分程度しか赤外線画像に写っていないことがあるため、視距離が基準距離以下であっても赤外線画像に閾値以上の顔占有割合で利用者自身の顔が写っていない状況が発生することがある。したがって、例えばステップＳ５０の判定処理を片方の目の視線が検出されれば肯定判定とみなす判定基準にした場合の基準距離は、両方の目の視線を検出した場合に肯定判定とみなす判定基準に用いる基準距離より小さい値に設定することが好ましい。
【００６８】
図７Ｃに示す赤外線画像は、利用者の両目の視線が検出され、かつ、利用者の視線が赤外線カメラ７の方向に向いている。更に、図７Ｃに示す赤外線画像は、視距離が基準距離以下であることから、撮影された赤外線画像における利用者の顔占有割合が閾値より大きい状況を表している。したがって、図７Ｃに示す赤外線画像はステップＳ８０の判定処理で肯定判定となり、ロック解除準備処理を終了する。
【００６９】
なお、図７Ａ、図７Ｂおよび図７Ｃの赤外線画像は、図５のステップＳ１８０によって表示装置３に表示されるため、ステップＳ１８０の処理が実行されるまでは表示装置３に表示されない。
【００７０】
ステップＳ９０において、制御部２０は、赤外線カメラ７に新たな赤外線画像を撮影させ、赤外線カメラ７から出力された赤外線画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。この場合、制御部２０は、ステップＳ３０でメモリ１０４の予め定めた領域に記憶した赤外線画像のデータを、ステップＳ９０で赤外線カメラ７に撮影させた赤外線画像のデータで上書きする。
【００７１】
ステップＳ１００において、制御部２０は、ステップＳ９０で赤外線カメラ７に撮影させた赤外線画像に対してステップＳ４０と同様の処理を行い、利用者の視線を検出する。
【００７２】
ステップＳ１１０において、制御部２０は、ステップＳ１００で利用者の両目の視線が検出できたか否か、すなわち、両目の視線直線を検出できたか否かを判定する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１２０に移行する。
【００７３】
ステップＳ１２０において、制御部２０は、ステップＳ１１０で検出した視線直線の方向が、利用者の目と赤外線カメラ７を結ぶ光軸直線の方向と一致しているか否かを判定する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１３０に移行する。
【００７４】
ステップＳ１３０において、制御部２０は、ステップＳ７０で説明した方法により、ステップＳ９０でメモリ１０４に記憶した赤外線画像を用いて、利用者の視距離を測定する。
【００７５】
ステップＳ１４０において、制御部２０は、ステップＳ１３０で測定した視距離が予め定めた基準距離以下であるか否かを判定する。なお、ステップＳ１４０の判定処理は、撮影された赤外線画像における顔占有割合が閾値以上か否かを判定することに相当する。否定判定の場合にはステップＳ２０に戻り、ロック解除準備処理を再度実行する。一方、肯定判定の場合にはステップＳ１５０に移行する。
【００７６】
ステップＳ１５０において、制御部２０は、利用者の虹彩領域をステップＳ９０で撮影させた赤外線画像から抽出する。
【００７７】
ステップＳ１６０において、制御部２０は、ステップＳ１５０で抽出した利用者の虹彩領域に含まれる虹彩の形状および配置を表す虹彩パターンと、正規の利用者の虹彩画像の虹彩パターンを比較し、互いの虹彩パターンの一致度合いを求める虹彩認証を実行する。なお、正規の利用者の虹彩画像のデータは、例えばメモリ１０４の予め定めた領域に予め記憶しておけばよい。
【００７８】
ステップＳ１７０において、制御部２０は、ステップＳ１６０における虹彩パターンの比較の結果、互いの虹彩パターンが一致するか否かを判定する。ここで、互いの虹彩パターンが一致するとは、例えば互いの虹彩パターンの一致度合いを数値化した値が基準認証値以上である場合をいう。基準認証値は、これ以上の値であれば虹彩パターンが一致するとみなすことができる下限値に設定される。なお、基準認証値は、例えば虹彩認証に関する実証実験またはコンピュータシミュレーション等により設定された値であり、例えばメモリ１０４の予め定めた領域に予め記憶されている。
【００７９】
互いの虹彩パターンが一致しない場合、すなわち認証失敗の場合にはステップＳ１８０に移行する。
【００８０】
認証失敗の原因の１つとして、例えば赤外線画像に含まれる利用者の虹彩領域が不鮮明である場合が考えられる。したがって、制御部２０は、虹彩認証に適した虹彩領域が撮影できるスマートフォン１の位置を利用者に通知して、虹彩認証を再度実行する。
【００８１】
そのため、ステップＳ１８０において、制御部２０は、表示部３０を制御して、ステップＳ９０で撮影された赤外線画像を表示装置３に表示する。すなわち、これまでステップＳ２０で表示装置３に表示していた図６に示す虹彩認証ガイド画面の代わりに、利用者を撮影した赤外線画像が表示装置３に表示される。
【００８２】
ステップＳ１９０において、制御部２０は表示部３０を制御して、ステップＳ１８０で表示装置３に表示した赤外線画像に、虹彩認証に適した大きさの虹彩領域が撮影できるような目の位置および大きさを表した枠を重ね合わせて表示する。そして、制御部２０は、ステップＳ９０〜Ｓ１９０の処理を繰り返し、ステップＳ１７０で虹彩認証が成功するまで虹彩認証を実行する。
【００８３】
なお、説明の便宜上、ステップＳ９０〜Ｓ１９０までの処理を「ロック解除処理」という。
【００８４】
ステップＳ１９０の実行後、例えば図８Ａに示すように、利用者を撮影した赤外線画像に枠１１が重ね合わされた画像が表示装置３に表示される。したがって、利用者は、表示装置３に表示された赤外線画像を見ながら、目の位置および大きさが枠１１に合うようにスマートフォン１と利用者の顔との相対位置を調整することで、虹彩認証に適した大きさの虹彩領域を含む赤外線画像を撮影することができる。
【００８５】
この場合、制御部２０は、表示装置３の表示領域を２つの領域３Ａ、３Ｂに分割し、例えば領域３Ａに赤外線画像を表示すると共に、領域３Ｂに虹彩認証に関するメッセージを表示してもよい。
【００８６】
具体的には、ステップＳ１３０で測定した視距離が例えば基準距離の１／１０以下の場合に、制御部２０は、目と赤外線カメラ７の距離が近すぎることを利用者に知らせるメッセージを領域３Ｂに表示してもよい。この場合、虹彩認証に適した大きさの虹彩領域が取得できるようにメッセージを音声で出力してもよい。
【００８７】
また、上記では、視距離が基準距離の１／１０以下の場合に、目と赤外線カメラ７の距離が近すぎることを利用者に知らせるメッセージを表示する態様を説明した。しかし、基準距離に対して視距離がどの程度短くなった場合にメッセージを表示するかについての判定基準に制約はなく、１／１０以外の値に設定してもよい。
【００８８】
なお、図８Ａ、図８Ｂでは表示装置３の表示領域を、表示領域の短辺と平行な分割線によって領域３Ａ、３Ｂに分割した態様を示した。しかし、上記の分割形態は一例であり、例えば表示領域の長辺と平行な分割線によって表示装置３の表示領域を分割してもよい。
【００８９】
また、ステップＳ９０で赤外線カメラ７に再度撮影させた赤外線画像に対して、ステップＳ１１０、Ｓ１２０およびＳ１４０の何れかの判定処理が否定判定となる場合には、前述したようにステップＳ２０に戻る。ステップＳ２０では、図６に示した虹彩認証ガイド画面を表示装置３に表示するため、ステップＳ１１０、Ｓ１２０およびＳ１４０の何れかの判定処理が否定判定となる場合、利用者が撮影された赤外線画像および枠１１の表示は中止される。すなわち、ロック解除処理からロック解除準備処理に戻った場合には、利用者が撮影された赤外線画像は表示装置３に表示されない。
【００９０】
一方、ステップＳ１７０の判定処理が肯定判定、すなわち、利用者と正規の利用者の虹彩パターンが一致して虹彩認証に成功した場合には、ステップＳ２００に移行する。
【００９１】
ステップＳ２００において、制御部２０は、ステップＳ１０で点灯した赤外線ＬＥＤ６を消灯する。この場合、制御部２０は、ステップＳ９０でメモリ１０４の予め定めた領域に記憶した赤外線画像のデータを消去してもよい。
【００９２】
ステップＳ２１０において、制御部２０は、スマートフォン１のロック状態を解除し、これ以降、受付部１０が受け付けた操作指示に応じた処理を実行する。この操作指示に応じた処理は、開示の技術における所定の処理の一例である。
【００９３】
ステップＳ１７０で虹彩認証に成功した場合、例えば図８Ｂに示すように、目が枠１１に収まった利用者の顔画像が表示装置３の領域３Ａに表示され、虹彩認証が成功したことを利用者に知らせるメッセージが領域３Ｂに表示される。
【００９４】
なお、制御部２０は、１回目のステップＳ１７０の判定処理で認証成功した場合には、表示装置３に利用者が写った赤外線画像を表示することなくスマートフォン１のロック状態を解除することになる。しかし、１回で虹彩認証に成功した場合の処理はこれに限定されない。例えば、制御部２０は、ステップＳ２００の実行前に図８Ｂに示す画面を表示装置３に表示して、認証が成功したことを利用者に知らせるようにしてもよい。この場合、音声またはスマートフォン１に内蔵されたバイブレータの振動で、認証が成功したことを利用者に知らせるようにしてもよい。
【００９５】
このように第１実施形態に係るスマートフォン１によれば、撮影された赤外線画像における顔占有割合が閾値以上となった場合に虹彩認証を実行し、虹彩認証に失敗した場合は、撮影した赤外線画像をスマートフォン１の表示装置３に表示する。
【００９６】
したがって、例えば電車内等の周囲に人がいるような状況でスマートフォン１のロック状態を解除しようとして赤外線カメラ７で撮影を開始した場合、表示装置３に表示される画像は顔占有割合が閾値以上の赤外線画像となる。しかも、表示装置３に表示される赤外線画像は、図７Ｃのように、図７Ａに比べて利用者の背景領域の面積が小さい画像であるため、意図しない人物等が赤外線画像の背景領域に写り込む可能性を低減することができる。このように、表示装置３への画像の表示を制御するスマートフォン１は、開示の技術における表示制御装置の一例である。
【００９７】
更に、赤外線カメラ７と被写体との間の距離を基準距離以内にしない限り、被写体の顔画像が表示装置３に表示されることはない。前述したように、基準距離が例えば６０ｃｍ以下に設定される場合、他者の顔を撮影するには他者の顔から６０ｃｍ以内にスマートフォン１を持ってくる必要があるため、この場合には事実上、他者の断りなしに他者の顔を撮影することはできない。
【００９８】
したがって、スマートフォン１は、虹彩認証の実施に対して、盗撮等の迷惑行為を行っていると他者から誤認されることを低減することができる。
【００９９】
また、赤外線の透過現象を利用してスマートフォン１の赤外線カメラ７で衣服を透過した画像を撮影しようとしても、表示装置３には、顔占有割合が閾値以上である利用者の顔を表示した画像しか表示されない。したがって、スマートフォン１は、迷惑行為を目的とした赤外線カメラ７の使用を防ぐことができる。
【０１００】
また、第１実施形態に係るスマートフォン１は、虹彩認証を実行するまでに少なくとも赤外線画像を２回撮影する。そして、スマートフォン１は、撮影した赤外線画像毎に利用者の視線が赤外線カメラ７を向き、かつ、視距離が基準距離以下であるかの判定（以下、虹彩認証可能判定という）を行う。そして、スマートフォン１は、撮影した赤外線画像毎の虹彩認証可能判定が全て肯定判定の場合に虹彩認証を実行する。すなわち、スマートフォン１は、時系列に沿って撮影された複数の赤外線画像の各々に対して虹彩認証可能判定を実施することで、赤外線カメラ７が利用者の顔に向けられている状態が継続しているか判定することができる。
【０１０１】
虹彩認証が可能な程度に鮮明な虹彩領域を撮影するには、例えばスマートフォン１を一定時間以上利用者の顔に向け、スマートフォン１の姿勢を安定させた状態で撮影することが好ましい。
【０１０２】
したがって、スマートフォン１は、虹彩認証可能判定を複数回実行することで、虹彩認証可能判定を１度しか行わない場合に比べて手振れ等の少ない鮮明な赤外線画像を撮影することができるため、虹彩認証に失敗する回数を減らすことができる。
【０１０３】
更に、第１実施形態に係るスマートフォン１は、ステップＳ１７０で虹彩認証に失敗した場合、利用者の顔を撮影した赤外線画像および枠１１等が表示装置３に表示される。したがって、虹彩認証中は赤外線カメラ７で撮影した赤外線画像を表示装置３に表示しない場合と比べて、スマートフォン１は、虹彩認証に適した位置および大きさで利用者の目を撮影し易くなる。すなわち、利用者の虹彩に対応する虹彩領域を虹彩認証に適した位置および大きさで撮影する場合の利便性が向上する。
【０１０４】
なお、図５に示す虹彩認証処理では、ステップＳ６０およびＳ１２０において、被写体の視線が赤外線カメラ７の方向を向いているか否か判定した。しかし、ステップＳ６０およびＳ１２０の処理は、赤外線画像における顔占有割合の判定に関与しないため省略してもよい。
【０１０５】
（第２実施形態）
次に、開示の技術の第２実施形態について、第１実施形態と異なる部分のみ説明する。
【０１０６】
第１実施形態では、視距離と画角に応じた基準距離の大小関係に基づいて、撮影した赤外線画像における顔占有割合が閾値以上であるかを判定し、視距離が基準距離以下、すなわち、顔占有割合が閾値以上である場合に、虹彩認証を実施する例について説明した。
【０１０７】
第２実施形態では、撮影した赤外線画像の画素数と赤外線画像に含まれる利用者の顔画像の画素数を比較することで顔占有割合が閾値以上か判定し、虹彩認証を実施する態様について説明する。
【０１０８】
図３に示すように、第２実施形態に係るスマートフォン１Ａは、第１実施形態で説明したスマートフォン１と同じ構成を用いることができる。
【０１０９】
第２実施形態に係る制御部２０は、ロック解除準備処理において、撮影された赤外線画像の画素数と赤外線画像に写る利用者の顔画像の画素数を比較し、顔占有割合が閾値以上の場合にロック解除処理に移行する。
【０１１０】
次に、第２実施形態に係るスマートフォン１Ａの作用について説明する。制御部２０は、ロック解除ボタン５の押下を受け付けたことが受付部１０から通知された場合、赤外線カメラ７で撮影された虹彩領域の特徴が、スマートフォン１Ａの正規の利用者の虹彩領域の特徴に類似しているか判定する図９の虹彩認証処理を行う。
【０１１１】
図９に示す虹彩認証処理は、第１実施形態で説明した虹彩認証処理（図５参照）と比較して、ステップＳ４０〜Ｓ８０に代えてステップＳ３５〜Ｓ５５を行う点で相違している。
【０１１２】
ステップＳ３５において、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像から利用者の顔を認識し、顔の輪郭線を抽出する。赤外線画像から顔を認識する方法および顔の輪郭線を抽出する方法には、公知の方法を用いることができる。
【０１１３】
例えば、顔の認識には、目および鼻等といった顔に含まれる部位の形状および配置から得られる幾何学的特徴を利用する方法、或いは、赤外線画像から得られる特徴ベクトルの次元を主成分分析等によって圧縮してパターン認識を行う方法等を用いることができる。また、顔の輪郭線の抽出には、例えばラプラシアンフィルタ等の微分フィルタを用いる方法、或いは、画像と予め用意した輪郭の標準パターンを比較するPrewitt法に代表されるテンプレートマッチングを用いることができる。
【０１１４】
ステップＳ４５において、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像全体の画素数（以下、全体画素数という）を計測する。また、制御部２０は、ステップＳ３５で赤外線画像から抽出した顔の輪郭線内の画像、すなわち、顔画像の画素数（以下、顔画素数という）を計測する。そして、制御部２０は、全体画素数に対する顔画素数の割合を算出することで、顔占有割合を求める。
【０１１５】
ステップＳ５５において、制御部２０は、ステップＳ４５で算出した顔占有割合が閾値以上であるか否かを判定する。なお、第１実施形態で説明したように、顔占有割合の閾値は、赤外線画像の背景領域に利用者以外の人物等が写り込まないか、または利用者以外の人物等が写り込んだとしても、当該人物等を特定することが困難な大きさにしか写らないような値に予め設定される。
【０１１６】
ステップＳ５５の判定処理が否定判定の場合には、ステップＳ３０に戻る。そして、制御部２０は、ステップＳ３０で赤外線カメラ７に赤外線画像を再び撮影させ、顔占有割合が閾値以上になるまで、ステップＳ３０〜Ｓ５５の処理を繰り返す。
【０１１７】
すなわち、制御部２０は、ステップＳ３０で赤外線カメラ７に撮影させた赤外線画像に利用者以外の人物が写り込んでいる可能性が高いと考えられる間は、ステップＳ９０以降のロック解除処理を実行しないようにする。
【０１１８】
全体画素数に対する顔画素数の割合が閾値未満の赤外線画像の一例を図１０Ａに示す。なお、図１０Ａ〜図１０Ｃに示す輪郭線１２は、顔画像の外縁に相当する。図１０Ａに示す赤外線画像は、顔画像の背景領域に意図しない人物等が写り込む可能性があるため、ステップＳ５５の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
【０１１９】
図１０Ｂに示す赤外線画像は、図１０Ａに示す赤外線画像に比べて視距離が短くなっているが、利用者の顔の一部が赤外線カメラ７の撮影範囲外にはみ出しているため、全体画素数に対する顔画素数の割合が閾値未満となっている。この場合も、顔画像の背景領域に意図しない人物等が写り込む可能性がある。したがって、図１０Ｂに示す赤外線画像は、ステップＳ５５の判定処理で否定判定となり、赤外線画像の撮り直しが行われる。
【０１２０】
一方、図１０Ｃに示す赤外線画像は、全体画素数に対する顔画素数の割合が閾値以上である状態を示している。この場合、図１０Ａおよび図１０Ｂに示す赤外線画像に比べて、意図しない人物等が写り込む可能性がある背景領域の面積が小さくなり、利用者以外の人物等が背景領域に写り込んだとしても、当該人物等を特定することが困難となる。したがって、図１０Ｃに示す赤外線画像は、ステップＳ５５の判定処理で肯定判定となり、ロック解除処理が実行される。
【０１２１】
なお、図１０Ａ〜図１０Ｃに示す赤外線画像は、顔画像が耳を含まない例を示しているが、耳も顔の一部とみなし、耳を含む顔画像を抽出してもよい。
【０１２２】
そして、ステップＳ９０〜Ｓ１９０のロック解除処理では、制御部２０は、第１実施形態で説明した虹彩認証処理と同様に、ステップＳ９０で赤外線カメラ７に赤外線画像を再度撮影させ、利用者の視線検出および視距離測定を行った上で、虹彩認証を実行する。
【０１２３】
このように第２実施形態に係るスマートフォン１Ａによれば、赤外線画像から顔画像を抽出し、赤外線画像の全体画素数と顔画素数との比率から顔占有割合を算出する。そして、スマートフォン１Ａは、顔占有割合が閾値以上の場合にロック解除処理を実行すると共に、虹彩認証に成功した場合にスマートフォン１Ａのロック状態を解除する。
【０１２４】
すなわち、スマートフォン１Ａは、赤外線画像の画素数を計測して顔占有割合を算出するため、視距離と画角に基づいて顔占有割合が閾値以上かを判定する場合に比べて、精度よく顔占有割合を算出できる。
【０１２５】
なお、第２実施形態では、ステップＳ９０より前の処理であるロック解除準備処理内で、撮影した赤外線画像の全体画素数と顔画素数との比率を顔占有割合として閾値と比較する例を説明した。
【０１２６】
しかし、第２実施形態に係るロック解除準備処理で、図５に示した第１実施形態に係るロック解除準備処理と同じ処理を行い、第２実施形態に係るロック解除処理のステップＳ１００〜Ｓ１４０を、図９のステップＳ３５〜Ｓ５５の処理に置き換えてもよい。すなわち、ロック解除処理内で、撮影された赤外線画像の全体画素数と顔画素数との比率を顔占有割合として閾値と比較し、顔占有割合が閾値以上の場合に虹彩認証をするようにしてもよい。この場合、顔占有割合が閾値未満であれば、処理をステップＳ２０に戻す。
【０１２７】
（第３実施形態）
次に、開示の技術の第３実施形態について、第１実施形態と異なる部分のみ説明する。
【０１２８】
第３実施形態では、スマートフォンでスマートフォンの利用者自身の顔を含む画像（以下、自画像という）を撮影する場合に、利用者以外の人物等が自画像に写り込む可能性を低減する態様について説明する。
【０１２９】
図１１に示すように、第３実施形態に係るスマートフォン１Ｂは、表示装置３、ロック解除ボタン５、タッチパネル８、受付部１０、可視光ＬＥＤ１３、可視光カメラ１４、制御部２０Ｂおよび表示部３０を含む。ここでいう可視光とは、例えば約３８０ｎｍ以上で、約７８０ｎｍ未満の電磁波をいう。
【０１３０】
可視光ＬＥＤ１３は可視光を射出する光源であり、例えばタッチパネル８の操作による指示に応じて可視光の射出開始または射出停止を行う。
【０１３１】
可視光カメラ１４は、被写体で反射した可視光を複数の光電変換素子で複数の画素に分割して検出することで、被写体の画像を撮影する。
【０１３２】
なお、一例として、可視光ＬＥＤ１３および可視光カメラ１４は、図１に示す赤外線ＬＥＤ６および赤外線カメラ７と同じく、表示装置３の表示面側に設置されているものとする。すなわち、第３実施形態に係る可視光カメラ１４は、インカメラとして用いられる前提で説明する。
【０１３３】
制御部２０Ｂは、受付部１０、表示部３０、可視光ＬＥＤ１３および可視光カメラ１４に接続される。制御部２０Ｂは、撮影開始の指示を受け付けたことが受付部１０から通知された場合、例えば可視光ＬＥＤ１３を点灯して可視光カメラ１４に画像を撮影させる。なお、制御部２０Ｂは、可視光ＬＥＤ１３を点灯することなく可視光カメラ１４に画像を撮影させてもよい。
【０１３４】
スマートフォン１Ｂは、図１２に示すコンピュータ１００Ｂで実現できる。図１２に示す構成は、図４に示す構成に対し、赤外線ＬＥＤ６に代えて可視光ＬＥＤ１３が設けられ、赤外線カメラ７に代えて可視光カメラ１４が設けられた点で相違している。また、コンピュータ１００Ｂの記憶部１０６には、表示制御プログラム１２０に代えて表示制御プログラム１２０Ｂが記憶される。表示制御プログラム１２０Ｂは、図４の制御プロセス１２４に代えて制御プロセス１２４Ｂを含む。
【０１３５】
ＣＰＵ１０２は、表示制御プログラム１２０Ｂを記憶部１０６から読み出してメモリ１０４に展開し、表示制御プログラム１２０Ｂに含まれる各プロセスを実行することで、コンピュータ１００Ｂを図１１に示すスマートフォン１Ｂとして動作する。
【０１３６】
具体的には、ＣＰＵ１０２が制御プロセス１２４Ｂを実行することで、コンピュータ１００Ｂを図１１に示す制御部２０Ｂとして動作する。
【０１３７】
なお、コンピュータ１００Ｂは、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【０１３８】
次に、第３実施形態に係るスマートフォン１Ｂの作用について説明する。制御部２０Ｂは、スマートフォン１Ｂの利用者がタッチパネル８等を操作することによって、利用者自身を被写体として撮影する撮影モード（以下、自撮りモードという）を開始する通知を受付部１０から受け付けた場合に、自撮り処理を実行する。
【０１３９】
図１３に示す自撮り処理のステップＳ１５において、制御部２０Ｂは表示部３０を制御して、スマートフォン１Ｂの利用者に自撮りモードへ移行したことを知らせる画面（以下、自撮りガイド画面という）を表示装置３に表示させる。
【０１４０】
一例として、図１４に示すように、自撮りガイド画面には、例えば「自分の顔の方向にインカメラを向けてください」といった、スマートフォン１Ｂの可視光カメラ１４を利用者の方向に向けさせるように指示するメッセージが表示される。この場合、制御部２０Ｂは、可視光カメラ１４をスマートフォン１Ｂの利用者の方向に向ける様子を描いた画像をメッセージと共に表示装置３に表示させてもよい。当該画像を表示装置３に表示することにより、メッセージだけで自撮りの操作方法を利用者に知らせる場合に比べて、自撮りの操作方法をよりわかりやすく利用者に知らせることができる。また、自撮りモードへ移行したことを利用者に音声で通知してもよい。
【０１４１】
ステップＳ２５において、制御部２０Ｂは、可視光カメラ１４に画像を撮影させ、撮影された画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。既にメモリ１０４の予め定めた領域に他の画像のデータがある場合、制御部２０Ｂは、当該他の画像のデータをステップＳ２５で可視光カメラ１４に撮影させた画像のデータで上書きする。
【０１４２】
ステップＳ３５、Ｓ４５において、制御部２０Ｂは、第２実施形態で説明した処理と同様の処理を行い、ステップＳ２５で可視光カメラ１４によって撮影された画像から顔画像を抽出し、全体画素数に対する顔画素数の比率から顔占有割合を算出する。
【０１４３】
ステップＳ５５において、制御部２０Ｂは、ステップＳ４５で算出した顔占有割合が閾値以上であるか否かを判定し、否定判定の場合にはステップＳ２５に戻り、顔占有割合が閾値以上となる画像が撮影されるまでステップＳ２５〜Ｓ５５の処理を繰り返す。
【０１４４】
一方、ステップＳ５５の判定処理が肯定判定の場合には、ステップＳ６５に移行する。
【０１４５】
ステップＳ６５において、制御部２０Ｂは、可視光カメラ１４に新たな画像を撮影させ、撮影した画像のデータを例えばメモリ１０４の予め定めた領域に記憶する。この場合、制御部２０Ｂは、ステップＳ２５でメモリ１０４の予め定めた領域に記憶した画像のデータを、ステップＳ６５で可視光カメラ１４に撮影させた画像のデータで上書きする。
【０１４６】
ステップＳ７５〜Ｓ９５において、制御部２０Ｂは、ステップＳ６５で可視光カメラ１４によって撮影された画像に対して、ステップＳ３５〜Ｓ５５と同様の処理を再度実行する。ステップＳ７５〜Ｓ９５の処理によって、利用者が画像中の顔占有割合が閾値以上となる状態を維持したまま、スマートフォン１Ｂの可視光カメラ１４を利用者に向け続けているか否かを判定することができる。ここで、ステップＳ９５の判定処理が肯定判定の場合、すなわち、利用者がスマートフォン１Ｂを自分自身に向け続け、画像中の顔占有割合が閾値以上となっている場合は、ステップＳ１０５に移行する。
【０１４７】
ステップＳ１０５において、制御部２０Ｂは表示部３０を制御して、可視光カメラ１４に撮影させた画像を表示装置３に表示させる。すなわち、これまでステップＳ１５で表示装置３に表示していた図１４に示す自撮りガイド画面の代わりに、顔占有割合が閾値以上の自画像が表示装置３に表示される。
【０１４８】
利用者は、自画像が表示装置３に表示されたことを確認すると、自画像のデータを保存する指示をスマートフォン１Ｂに通知する。データの保存を指示する方法としては、例えばタッチパネル８を押下する方法、或いはデータの保存の指示に予め対応付けられた手または目等の動きを行うことでデータの保存をスマートフォン１Ｂに通知するジェスチャ操作等が用いられる。
【０１４９】
ステップＳ１１５において、制御部２０Ｂは、データの保存の指示を受付部１０から受け付けたか否かを判定する。肯定判定の場合にはステップＳ１２５に移行し、ステップＳ１２５において、制御部２０Ｂは、保存の指示があった自画像のデータを、例えばメモリ１０４の予め定めた領域に記憶し、図１３に示す自撮り処理を終了する。なお、自画像のデータの保存先はメモリ１０４に限定されない。例えば、通信装置１１４を用いてインターネット上のデータサーバに保存してもよい。
【０１５０】
一方、ステップＳ１１５の判定処理が否定判定の場合にはステップＳ６５に戻り、可視光カメラ１４に新たに撮影させた画像中の顔占有割合を算出する。そして、顔占有割合が閾値以上である場合に画像を表示装置３に表示させるステップＳ６５〜Ｓ１１５の処理を繰り返す。
【０１５１】
ここで、ステップＳ９５の判定処理が否定判定となる場合、すなわち、スマートフォン１Ｂまたは利用者の顔が動いて画像中の顔占有割合が閾値未満となってしまった場合には、ステップＳ１３５に移行する。
【０１５２】
ステップＳ１３５において、制御部２０Ｂは、表示装置３に自画像を表示している場合には自画像の表示を中止し、ステップＳ１５に戻る。そして、制御部２０Ｂは、ステップＳ１５以降の処理を繰り返す。
【０１５３】
このように第３実施形態に係るスマートフォン１Ｂによれば、画像をＮ回（Ｎ＝２）撮影し、時系列に撮影した各画像における顔占有割合がそれぞれ閾値以上となる場合に、画像を表示装置３に表示する。また、スマートフォン１Ｂは、画像を表示装置３に表示中であっても、撮影した画像中の顔占有割合が閾値未満となった場合には、画像の表示を中止する。
【０１５４】
したがって、自撮りを行っている利用者の画像、すなわち自画像の背景領域に、利用者以外の人物等が意図せずに写り込む可能性を低減することができる。なお、画像の撮影回数、すなわち、画像中の顔占有割合が閾値以上か否かの判定回数ＮはＮ＝２に限られるものではなく、Ｎ≧３であってもよい。
【０１５５】
なお、第１実施形態で説明した虹彩認証処理（図５）および第２実施形態で説明した虹彩認証処理（図９）のステップＳ１６０では、正規の利用者における虹彩画像のデータを予めメモリ１０４に記憶しておく態様について説明した。しかし、正規の利用者における虹彩画像のデータの記憶先はこれに限定されない。例えば、正規の利用者における虹彩画像のデータをインターネット上のデータサーバに記憶しておき、虹彩認証を行う場合に、正規の利用者における虹彩画像のデータをデータサーバからダウンロードして、利用者の虹彩パターンと比較してもよい。
【０１５６】
また、第１実施形態および第２実施形態において、距離センサを用いて、赤外線カメラ７から利用者の目までの距離を直接計測して視距離を測定してもよい。この場合、距離センサは、スマートフォン１、１Ａに内蔵されていることが好ましい。
【０１５７】
また、上記では、撮影画像に占める顔画像の割合が閾値以上か否かを判定する態様について説明した。しかし、開示の技術はこれに限定されるものではない。例えば、トリミングやデジタルズーム等により、撮影画像のうちの一部の領域が表示装置３に表示される場合、撮影画像のうち表示装置３へ表示する表示領域に占める顔画像の割合が閾値以上か否かを判定する。そして、当該割合が閾値以上である場合に、撮影画像を表示するようにしてもよい。
【０１５８】
以上、各実施形態を用いて開示の技術を説明したが、開示の技術は各実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で各実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
【０１５９】
また、各実施形態では、表示制御プログラム１２０および１２０Ｂが記憶部１０６に予め記憶（インストール）されている形態を説明したが、これに限定されるものではない。開示の技術に係る表示制御プログラムは、コンピュータ読取可能な記録媒体１１６に記録された形態で提供することも可能である。例えば、開示の技術に係る表示制御プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたはＵＳＢメモリ等の可搬型記録媒体に記録された形態で提供することも可能である。また、開示の技術に係る表示制御プログラムは、フラッシュメモリ等の半導体メモリ等に記録された形態で提供することも可能である。
【０１６０】
以上の第１実施形態〜第３実施形態を含む各実施形態に関し、更に以下の付記を開示する。
【０１６１】
（付記１）
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値以上の場合に、前記表示部によって前記表示装置に前記撮影画像を表示させる制御部と、
を含む表示制御装置。
【０１６２】
（付記２）
撮影画像を表示装置に表示する表示部と、
前記撮影画像または前記撮影画像のうち前記表示装置へ表示する表示領域に占める顔画像の割合が閾値未満の場合に、前記表示部による前記表示装置への前記撮影画像の表示を禁止する制御部と、
を含む表示制御装置。
【０１６３】
（付記３）
前記制御部は、前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１または付記２記載の表示制御装置。
【０１６４】
（付記４）
前記制御部は、前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１または付記２記載の表示制御装置。
【０１６５】
（付記５）
前記制御部は、前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１〜付記４の何れか１項に記載の表示制御装置。
【０１６６】
（付記６）
前記制御部は、前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１〜付記５の何れか１項に記載の表示制御装置。
【０１６７】
（付記７）
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記６記載の表示制御装置。
【０１６８】
（付記８）
前記制御部は、前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記６記載の表示制御装置。
【０１６９】
（付記９）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１〜付記８の何れか１項に記載の表示制御装置。
【０１７０】
（付記１０）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御方法。
【０１７１】
（付記１１）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御方法。
【０１７２】
（付記１２）
前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１０または付記１１記載の表示制御方法。
【０１７３】
（付記１３）
前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１０または付記１１記載の表示制御方法。
【０１７４】
（付記１４）
前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１０〜付記１３の何れか１項に記載の表示制御方法。
【０１７５】
（付記１５）
前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１０〜付記１４の何れか１項に記載の表示制御方法。
【０１７６】
（付記１６）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記１５記載の表示制御方法。
【０１７７】
（付記１７）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記１５記載の表示制御方法。
【０１７８】
（付記１８）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１０〜付記１７の何れか１項に記載の表示制御方法。
【０１７９】
（付記１９）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御プログラム。
【０１８０】
（付記２０）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御プログラム。
【０１８１】
（付記２１）
前記顔画像に対応する人物から前記撮影画像を撮影する撮影装置までの距離および前記撮影画像を撮影した際の前記撮影装置の画角に基づいて、前記顔画像の割合を判定する
付記１９または付記２０記載の表示制御プログラム。
【０１８２】
（付記２２）
前記顔画像の割合として、前記撮影画像または前記表示領域の画素数に対する前記顔画像の画素数の比率を算出する
付記１９または付記２０記載の表示制御プログラム。
【０１８３】
（付記２３）
前記撮影画像を複数回取得し、取得した複数の前記撮影画像について前記顔画像の割合が何れも前記閾値以上の場合に、前記表示装置に前記撮影画像を表示させ、複数の前記撮影画像の少なくとも１つについて前記顔画像の割合が前記閾値未満の間は、前記表示装置への前記撮影画像の表示を禁止する
付記１９〜付記２２の何れか１項に記載の表示制御プログラム。
【０１８４】
（付記２４）
前記顔画像の割合が前記閾値以上の場合に、前記顔画像に含まれる虹彩領域を予め登録された虹彩画像と比較する虹彩認証を実行する
付記１９〜付記２３の何れか１項に記載の表示制御プログラム。
【０１８５】
（付記２５）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが予め登録された虹彩画像の虹彩パターンと一致する場合に、所定の処理を行う
付記２４記載の表示制御プログラム。
【０１８６】
（付記２６）
前記虹彩認証の結果、前記顔画像に含まれる虹彩領域の虹彩パターンが、予め登録された虹彩画像の虹彩パターンと異なる場合、新たに撮影された撮影画像に基づいて前記虹彩認証を再度実行する
付記２４記載の表示制御プログラム。
【０１８７】
（付記２７）
前記撮影画像が、前記表示装置の表示面と同じ面に設けられた撮影装置によって撮影される
付記１９〜付記２６の何れか１項に記載の表示制御プログラム。
【０１８８】
（付記２８）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値以上の場合に、前記撮影画像を前記表示装置に表示する
処理を実行させる表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１８９】
（付記２９）
コンピュータに、
撮影画像または前記撮影画像のうち表示装置への表示領域に占める顔画像の割合が閾値未満の場合に、前記表示装置への前記撮影画像の表示を禁止する
処理を実行させる表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１９０】
１（１Ａ、１Ｂ）・・・スマートフォン、３・・・表示装置、４・・・通話用スピーカ、５・・・ロック解除ボタン、６・・・赤外線ＬＥＤ、７・・・赤外線カメラ、８・・・タッチパネル、１０・・・受付部、１２・・・輪郭線、１３・・・可視光ＬＥＤ、１４・・・可視光カメラ、２０（２０Ｂ）・・・制御部、３０・・・表示部、１００（１００Ａ、１００Ｂ）・・・コンピュータ、１０２・・・ＣＰＵ、１０４・・・メモリ、１０６・・・記憶部、１０８・・・バス、１１２・・・入力装置、１１４・・・通信装置、１１６・・・記録媒体、１２０（１２０Ｂ）・・・表示制御プログラム、１２２・・・受付プロセス、１２４（１２４Ｂ）・・・制御プロセス、１２６・・・表示プロセス
【図１】
0006613740.tif 000002
【図２】
0006613740.tif 000003
【図３】
0006613740.tif 000004
【図４】
0006613740.tif 000005
【図５】
0006613740.tif 000006
【図６】
0006613740.tif 000007
【図７Ａ】
0006613740.tif 000008
【図７Ｂ】
0006613740.tif 000009
【図７Ｃ】
0006613740.tif 000010
【図８Ａ】
0006613740.tif 000011
【図８Ｂ】
0006613740.tif 000012
【図９】
0006613740.tif 000013
【図１０Ａ】
0006613740.tif 000014
【図１０Ｂ】
0006613740.tif 000015
【図１０Ｃ】
0006613740.tif 000016
【図１１】
0006613740.tif 000017
【図１２】
0006613740.tif 000018
【図１３】
0006613740.tif 000019
【図１４】
0006613740.tif 000020