(57)【要約】【課題】ユーザを煩わすことなく精度よく類似する画像をグルーピングする。【解決手段】ＣＰＵ２０３は入力画像の特徴量に応じて入力画像と辞書に登録された登録画像との類似度を判定類似度として求め、判定類似度が所定の第１の閾値以上であると入力画像を類似画像として表示部２０１に表示する。さらに、ＣＰＵは辞書に登録された登録画像と類似画像との類似度を候補類似度として求めて、候補類似度が第１の閾値よりも高い第２の閾値以上であると類似画像を候補画像として表示部に表示する。【選択図】図８
2014203247.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置であって、
前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出手段と、
前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御手段と、
前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出手段と、
前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記第２の閾値を増減するための設定手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記登録画像および前記入力画像の各々は顔画像であり、
前記顔画像と人物名とを対応づけて前記辞書に登録画像として登録する登録手段を有することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記辞書に登録された登録画像の１つを選択画像として選択する選択手段と、
前記第１の表示制御手段は前記表示部に前記選択画像に類似する類似画像を表示するとともに、前記選択画像および前記人物名を表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記登録手段は前記類似画像がフォーカスされると、前記表示部に当該類似画像を前記人物名で前記辞書に登録するか否かの問い合わせを表示し、当該問い合わせに応じて確認操作が行われると、前記類似画像を前記登録画像として辞書に登録することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第２の表示制御手段は、前記類似画像について所定の操作が行われると、当該類似画像との類似度が前記第２の閾値以上である他の類似画像を前記候補画像として前記表示部に表示することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記第２の表示制御手段は、前記選択画像について所定の操作が行われると、当該選択画像との類似度が前記第２の閾値以上である類似画像を前記候補画像として前記表示部に表示することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項８】
前記第２の表示制御手段は、前記表示部に前記候補画像を表示する際、前記第２の閾値を増減するためのアイコンを前記表示部に表示することを特徴とする請求項６又は７に記載の情報処理装置。
【請求項９】
前記第２の表示制御手段は、前記表示部に前記候補画像を前記人物名で前記辞書に登録するための確認ボタンを表示することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記第２の表示制御手段は、前記類似画像が連写又はブラケット撮影で得られた組画像の一枚であると、前記第２の閾値を用いることなく前記組画像のうちの他の画像を候補画像とすることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記第２の表示制御手段は、前記第２の閾値を用いることなく、その撮影日時が前記類似画像が撮影された撮影日時と所定の時間差を有する画像を前記候補画像とすることを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記第２の表示制御手段は、前記第２の閾値を用いることなく、その撮影場所が前記類似画像が撮影された撮影場所に対して所定の範囲内にある画像を前記候補画像とすることを特徴とする請求項１に記載の情報処理装置。
【請求項１３】
少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置の制御方法であって、
前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出ステップと、
前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御ステップと、
前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出ステップと、
前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御ステップと、
を有することを特徴とする制御方法。
【請求項１４】
少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置で用いられる制御プログラムであって、
前記情報処理装置が備えるコンピュータに、
前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出ステップと、
前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御ステップと、
前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出ステップと、
前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データなどのデータを処理する情報処理装置、その制御方法、および制御プログラムに関し、特に、画像データが示す画像において顔の特徴量に応じて画像間の類似度を算出して、類似度の高い画像を検索する情報処理装置に関する。
【背景技術】
【０００２】
一般に、画像データなどのデータを処理する情報処理装置において、画像データが示す画像に存在する人物などの被写体を識別するようにしたものがある。例えば、情報処理装置が備えるメモリに人物名毎にその顔画像の特徴量を顔辞書として登録し、画像に存在する人物の特徴量と顔辞書とを比較して、当該比較結果に応じて画像中の人物を識別することが行われている。
【０００３】
さらに、例えば、複数の画像のうち顔画像の特徴量が類似する画像を同一のグループに分類して、グループ毎に人物名を付加すれば、グループに属する画像の顔画像の特徴量の各々と人物名とを関連付けた顔辞書を作成することができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４２８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載のように、顔画像の特徴量と人物名とを関連付けた顔辞書を基にして、顔画像の特徴量が類似する画像をグルーピングしてモニターなどに表示したとしても、不可避的に本人以外の画像が混じる可能性がある。例えば、顔の表情又は向きによっては特徴量が類似すると判定されて本人以外の人物であっても本人であるとされて同一のグループとされることがある。
【０００６】
一方、特徴量が類似するとされた画像を全てモニターに表示して、モニターに表示された画像について、本人であるか又はそうではないかをユーザに判断させるようにしてもよいが、ユーザはモニターに表示された画像を一枚ずつ確認して本人であるかを判断しなければならず、ユーザにとっては極めて面倒である。
【０００７】
このように、従来の情報処理装置では、顔の表情又は向きによっては精度よくグルーピングを行うことができず、しかもユーザにとっては確認を行わなければならないという手間がある。
【０００８】
従って、本発明の目的は、ユーザを煩わすことなく精度よく類似する画像をグルーピングすることのできる情報処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による情報処理装置は、少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置であって、前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出手段と、前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御手段と、前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出手段と、前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御手段と、を有することを特徴とする。
【００１０】
本発明による制御方法は、少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置の制御方法であって、前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出ステップと、前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御ステップと、前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出ステップと、前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御ステップと、を有することを特徴とする。
【００１１】
本発明による制御プログラムは、少なくとも登録画像の特徴を示す特徴量が記録された辞書を備え、入力画像が前記辞書に登録された画像に類似すると前記入力画像を表示部に表示する情報処理装置で用いられる制御プログラムであって、前記情報処理装置が備えるコンピュータに、前記入力画像の特徴量に応じて前記入力画像と前記辞書に登録された登録画像との類似度を判定類似度として求める第１の類似度算出ステップと、前記判定類似度が所定の第１の閾値以上であると前記入力画像を類似画像として前記表示部に表示する第１の表示制御ステップと、前記辞書に登録された登録画像と前記類似画像との類似度を候補類似度として求める第２の類似度算出ステップと、前記候補類似度が第１の閾値よりも高い第２の閾値以上であると前記類似画像を候補画像として前記表示部に表示する第２の表示制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、入力画像と登録画像との類似度を示す判定類似度が第１の閾値以上であるかを判定した後、さらに、登録画像と類似画像との類似度を示す候補類似度が第１の閾値よりも高い第２の閾値以上であると類似画像を候補画像として表示部に表示するようにしたので、ユーザを煩わすことなく精度よく類似する画像をグルーピングすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態による情報処理装置の一例についてその構成を示すブロック図である。
【図２】本発明の実施の形態による情報処理装置の他の例についてその構成を示すブロック図である。
【図３】図２に示すＰＣにおいて顔辞書に類似する類似画像を表示する類似画像表示処理を説明するためのフローチャートである。
【図４】図２に示すＰＣにおいて顔辞書に登録された顔画像に対する候補を候補画像として表示する候補画像表示処理を説明するためのフローチャートである。
【図５】図４で説明した候補画像表示処理の後第２の閾値を第３の閾値に変更した際の候補画像更新処理の一例を説明するためのフローチャートである。
【図６】図４で説明した候補画像表示処理の後第２の閾値を第４の閾値に変更した際の候補画像更新処理の一例を説明するためのフローチャートである。
【図７】図２に示すＰＣにおいて顔辞書が選択された際に表示部に表示されるＵＩ画面の一例を示す図である。
【図８】図２に示すＰＣにおいて顔画像が選択された際に類似画像から候補画像を選択するため表示部に表示されるＵＩ画面の一例を示す図である。
【図９】図２に示すＰＣにおいて顔画像が選択された際に類似画像に対する候補画像の一覧を表示部に表示するＵＩ画面の一例を示す図である。
【図１０】図２に示すＰＣにおいて顔画像がフリックされた際に類似画像のうちの候補画像を表示部に表示するＵＩ画面の一例を示す図である。
【図１１】図２に示すＰＣで用いられる顔画像の類似度を示すデータベースの一例を説明するための図である。
【図１２】図２に示すＰＣにおいて顔画像と顔辞書との類似度の算出を説明するための図である。
【図１３】図２に示すＰＣにおいて顔画像が選択された際に類似画像から候補画像を選択するため表示部に表示されるＵＩ画面の他の例を示す図である。
【図１４】図１３で説明した処理で用いられる顔画像の類似度を示すデータベースの一例を説明するための図である。
【図１５】図１に示す撮像装置において顔画像を登録する手順を説明するための図である。
【図１６】図２に示すＰＣで用いられる顔辞書管理ファイルの一例を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による情報処理装置の一例について図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態による情報処理装置の一例についてその構成を示すブロック図である。なお、図１においては、情報処理装置の１つであるデジタルカメラなどの撮像装置を例に挙げて説明する。
【００１６】
図示の撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶装置１０４、二次記憶装置１０５、記録媒体１０６、表示部１０７、操作部１０８、および通信装置１０９を備えている。
【００１７】
光学系１０１は、例えば、撮影レンズ、シャッター、および絞りを有し、被写体像（光学像）を所定の光量およびタイミングで撮像素子１０２に結像させる。撮像素子１０２は光学像に応じたアナログ信号（画像信号）を生成して、当該画像信号をＡ／Ｄ変換してＣＰＵ１０３に与える。ＣＰＵ１０３はデジタル画像信号に対して所定の画像処理を行って画像テータを生成するとともに、各種の演算処理を行って撮像装置１００を制御する。
【００１８】
一次記憶装置１０４には、一時的なデータが記憶され、ＣＰＵ１０３の作業用メモリとして用いられる。二次記憶装置１０５には、撮像装置１００を制御するためのプログラム（ファームウェア）および各種の設定情報などが記憶される。記録媒体１０６には、撮影の結果得られた画像データが記録されるとともに、後述する顔辞書などが記憶される。
【００１９】
なお、記録媒体１０６は撮像装置１００に対して着脱可能であり、撮影の後、撮像装置１００から記録媒体１０６を取り外して、当該記録媒体１０６をパーソナルコンピュータ（ＰＣ）などに装着すれば、ＰＣは記録媒体から画像データを読み出すことができる。また、ここでは、顔辞書は記録媒体１０６に記憶されるとしたが、二次記憶装置１０５に記録するようにしてもよい。
【００２０】
表示部１０７にはＣＰＵ１０３の制御下で、撮影の際のビューファインダー画像が表示され、さらには、撮影の結果得られた画像データに応じた画像が表示される。また、表示部１０７には対話的な操作のための文字表示などが行われる。そして、ＣＰＵ１０３は、後述するタッチパネルを介した表示部１０７上の操作に応じて顔辞書の登録を行い、さらには登録された顔辞書を表示部１０７に表示する。
【００２１】
操作部１０８は、ユーザの操作を受け付けるための入力部である。操作部１０８として、例えば、ボタン、レバー、およびタッチパネルが用いられる。通信装置１０９は、外部装置と直接又はネットワークを介して接続され、ＣＰＵ１０３の制御下で制御コマンドおよび画像データなどの各種データの送受信を行う。
【００２２】
接続の確立およびデータ通信のためのプロトコルとして、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）又はＭＴＰ（Ｍｅｄｉａ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）が用いられる。
【００２３】
なお、通信装置１０９は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどの有線接続によって通信を行ってもよく、さらには、無線ＬＡＮなどの無線接続によって通信を行うようにしてもよい。
【００２４】
また、前述のように、通信装置１０９は外部装置と直接接続するようにしてもよく、サーバを経由して外部装置に接続するようにしてもよい。そして、通信装置１０９はインターネットなどのネットワークを介して外部装置と接続するようにしてもよい。
【００２５】
図２は、本発明の実施の形態による情報処理装置の他の例についてその構成を示すブロック図である。なお、図２においては、情報処理装置の１つであるＰＣを例に挙げて説明する。
【００２６】
ＰＣ２００は、表示部２０１、操作部２０２、ＣＰＵ２０３、一次記憶装置２０４、二次記憶装置２０５、および通信装置２０６を有している。これら表示部２０１、操作部２０２、ＣＰＵ２０３、一次記憶装置２０４、二次記憶装置２０５、および通信装置２０６の基本的な機能は図１で説明した撮像装置１００と同様であるので、ここでは詳細な説明は省略する。
【００２７】
なお、表示部２０１には、例えば、ＬＣＤなどのディスプレイ装置が用いられる。また、表示部２０１はＰＣ２００自体が備える必要はなく、ＰＣ２００は表示部２０１における表示を制御する表示制御機能を有していればよい。さらに、操作部２０２として、キーボード又はマウスなどが用いられ、操作部２０２の操作によって、例えば、顔画像の選択および顔辞書に対する人物名の入力が行われる。
【００２８】
以下の説明では、撮像装置１００による撮影の結果得られた画像データが記録された記録媒体１０６をＰＣ２００に挿入して処理する場合については説明するが、撮像装置１００においても同様の処理を行うことができる。
【００２９】
図３は、図２に示すＰＣ２００において顔辞書に類似する類似画像を表示する類似画像表示処理を説明するためのフローチャートである。なお、図３に示すフローチャートに係る処理はＣＰＵ２０３によって行われる。
【００３０】
ユーザが操作部２０２によって、記録媒体１０６に記録された画像（以下対象画像又は入力画像とも呼ぶ）について顔辞書に類似する類似画像の表示操作を行うと、ＣＰＵ２０３は記録媒体１０６に記録された画像について顔領域（以下顔画像ともいう）を検出してその特徴量を取得する（ステップＳ３０１）。
【００３１】
続いて、ＣＰＵ２０３は、上記の特徴量に応じて顔辞書と顔画像との間における類似度を求める（ステップＳ３０２）。なお、顔辞書には数枚の顔画像（つまり、特徴量）が登録され、当該顔画像には人物名が付加されており、ここでは、数枚の顔画像は同一の人物である。
【００３２】
ここでは、ＣＰＵ２０３は顔辞書に登録された顔画像（以下登録顔画像又は登録画像と呼ぶ）の各々と対象画像における顔画像（以下対象顔画像）との類似度を求める。そして、ＣＰＵ２０３はこれら類似度のうちその値が最も高い類似度を対象顔画像に対する類似度（判定類似度と呼ぶ）とする。
【００３３】
なお、登録顔画像の各々と対象顔画像との類似度のうち最も高い値の類似度を判定類似度としたが、全ての類似度の平均値を判定類似度とするようにしてもよい。
【００３４】
次に、ＣＰＵ２０３は判定類似度が所定の第１の閾値以上であるか否かを判定する（ステッップＳ３０３）。判定類似度が閾値以上であると（ステップＳ３０３において、ＹＥＳ）、ＣＰＵ２０３はこの対象顔画像を有する対象画像を類似画像として表示部２０１に表示する（ステップＳ３０４）。
【００３５】
なお、ＣＰＵ２０３は対象顔画像のサムネイルに顔辞書に登録された人物であるかもしれないことを示す「？」マークを表示するようにしてもよい。
【００３６】
続いて、ＣＰＵ２０３は記録媒体１０６に記録された全ての対象画像について類似画像であるか否かを確認したかを判定する（ステップＳ３０５）。全ての対象画像について類似画像であるか否かを確認していないと（ステップＳ３０５において、ＮＯ）、ＣＰＵ２０３はステップＳ３０１の処理に戻って、次の対象顔画像についてその特徴量を取得する。
【００３７】
一方、全ての対象画像について類似画像であるか否かを確認していると（ステップＳ３０５において、ＹＥＳ）、ＣＰＵ２０３は類似画像表示処理を終了する。
【００３８】
なお、判定類似度が第１の閾値未満であると（ステップＳ３０３において、ＮＯ）、ＣＰＵ２０３はステップＳ３０５の処理に進んで、全ての対象画像について類似画像であるか否かを確認したかを判定する。
【００３９】
図４は、図２に示すＰＣ２００において顔辞書に登録された顔画像に対する候補を候補画像として表示する候補画像表示処理を説明するためのフローチャートである。なお、図４に示すフローチャートに係る処理はＣＰＵ２０３によって行われる。
【００４０】
操作部２０２によってユーザが候補画像表示指示を行うと、ＣＰＵ２０３は候補画像表示処理を開始する。候補画像表示処理を開始すると、ＣＰＵ２０３はまず表示部２０１に類似画像を表示する（ステップＳ４０１）。
【００４１】
なお、ステップＳ４０１に係る処理は、前述の図３で説明したフローチャートに基づいて行われる。
【００４２】
続いて、ＣＰＵ２０３は顔画像（ここでは、登録顔画像および類似画像の顔画像）における特徴量を取得する（ステップＳ４０２）。そして、ＣＰＵ２０３は特徴量に基づいて登録顔画像と類似画像との類似度を候補類似度として求める（ステップＳ４０３）。
【００４３】
次に、ＣＰＵ２０３は候補類似度が所定の第２の閾値以上であるか否かを判定する（ステップＳ４０４）。ここでは、第１の閾値＜第２の閾値である。候補類似度が第２の閾値以上であると（ステップＳ４０４において、ＹＥＳ）、ＣＰＵ２０３は類似画像（つまり、類似顔画像）を候補画像として表示部２０１に表示する（ステップＳ４０５）。ここで、候補画像とは、類似画像の中からさらに顔辞書に登録された人物に類似していると推定された顔画像のことをいう。
【００４４】
続いて、ＣＰＵ２０３は全ての類似画像について候補画像であるか否かを確認したかを判定する（ステップＳ４０６）。全ての類似画像について候補画像であるか否かを確認していないと（ステップＳ４０６において、ＮＯ）、ＣＰＵ２０３はステップＳ４０２の処理に戻って、次の類似画像（つまり、顔画像）についてその特徴量を取得する。
【００４５】
一方、全ての類似画像について候補画像であるか否かを確認していると（ステップＳ４０６において、ＹＥＳ）、ＣＰＵ２０３は候補画像表示処理を終了する。
【００４６】
なお、候補類似度が第２の閾値未満であると（ステップＳ４０４において、ＮＯ）、ＣＰＵ２０３はステップＳ４０６の処理に進んで、全ての類似画像について候補画像であるか否かを確認したかを判定する。
【００４７】
図５は、図４で説明した候補画像表示処理の後第２の閾値を第３の閾値に変更した際の候補画像更新処理の一例を説明するためのフローチャートである。なお、図５に示すフローチャートに係る処理はＣＰＵ２０３によって行われる。
【００４８】
いま、操作部２０２によってユーザが第２の閾値を上げる指示を行うと、ＣＰＵ２０３は候補画像更新処理を開始して、第２の閾値を上げて第３の閾値とする（ステップＳ５０１）。ここで、第２の閾値＜第３の閾値である。つまり、操作部２０２の操作に応じてＣＰＵ２０３は第２の閾値を上げて第３の閾値とする。この際、閾値の変更量は操作部２０２における操作量に依存する。
【００４９】
続いて、ＣＰＵ２０３は候補類似度が第３の閾値未満である候補画像が表示部２０１に表示されているか否かを判定する（ステップＳ５０２）。候補類似度が第３の閾値未満である候補画像が表示部２０１に表示されていると（ステップＳ５０３において、ＹＥＳ）、ＣＰＵ２０３は当該候補画像を非表示として表示部２０１上から消去する（ステップＳ５０３）。そして、ＣＰＵ２０３は候補画像更新処理を終了する。
【００５０】
なお、候補類似度が第３の閾値未満である候補画像が表示部２０１に表示されていなければ（ステップＳ５０３において、ＮＯ）、ＣＰＵ２０３は候補画像更新処理を終了する。
【００５１】
図６は、図４で説明した候補画像表示処理の後第２の閾値を第４の閾値に変更した際の候補画像更新処理の一例を説明するためのフローチャートである。なお、図６に示すフローチャートに係る処理はＣＰＵ２０３によって行われる。
【００５２】
いま、操作部２０２によってユーザが第２の閾値を下げる指示を行うと、ＣＰＵ２０３は候補画像更新処理を開始して、第２の閾値を下げて第４の閾値とする（ステップＳ６０１）。ここで、第２の閾値＞第４の閾値＞第１の閾値である。つまり、操作部２０２の操作に応じてＣＰＵ２０３は第２の閾値を上げて第４の閾値とする。この際、閾値の変更量は操作部２０２における操作量に依存する。
【００５３】
続いて、ＣＰＵ２０３は、図４のステップＳ４０１で表示された候補画像以外の類似画像を一次記憶装置２０４から取得する（ステップＳ１０４）。なお、類似画像は一時的に一次記憶装置２０４に記憶されているものとする。
【００５４】
次に、ＣＰＵ２０３は候補画像以外の類似画像について第４の閾値に基づいて候補画像とするか否かを判定して、候補画像とすると判定された類似画像を追加して表示部２０１に表示する（ステップＳ６０３）。そして、ＣＰＵ２０３は候補画像懇親処理を終了する。なお、ステップＳ６０３に係る処理は図４で説明したフローチャートと同一の手順で行われることになる。
【００５５】
図７は、図２に示すＰＣ２００において顔辞書が選択された際に表示部２０１に表示されるＵＩ画面の一例を示す図である。なお、図示のＵＩ（ユーザインタフェース）画面はＣＰＵ２０３によって表示部２０１に表示される。
【００５６】
ＣＰＵ２０３は、前述のように、記録媒体１０６に記録された画像の特徴量に応じて顔辞書を生成する。そして、ＣＰＵ２０３はユーザが操作部２０２によって当該顔辞書に登録された画像の１つを代表画像として選択すると、当該代表画像、その人物名、および代表画像に類似する画像を有するＵＩ画面７０１を表示部２０１に表示する。ここで、代表画像とは、顔辞書に複数の顔画像が登録されている際、ユーザによって選択された画像をいう。
【００５７】
図７に示すＵＩ画面７０１においては、ユーザが顔辞書から人物名として「山田太郎」が設定されている画像を代表画像７０２（つまり、選択画像）として選択すると、ＣＰＵ２０３は、人物名が「山田太郎」と設定された画像７０３と「山田太郎」かもしれない画像（つまり、類似画像）７０４および７０５などをＵＩ画面７０１に表示する。
【００５８】
いま、ユーザが画像７０４においてマウスオーバーを行うと（つまり、画像７０４をフォーカスすると）、ＣＰＵ２０３は画像７０４を「山田太郎」として顔辞書として登録するか否かを問い合わせるための「この人物に登録しますか？」をＵＩ画面７０１に表示する。ここでは、画像７０４の左側に表示されるチェックボタンが山田太郎であることを確定するための確認操作ボタンであり、右側に表示されるバツ印ボタンが山田太郎ではないことを確定するためのボタンである。
【００５９】
このように、類似画像７０４および７０５などについて、ユーザは一枚ずつ人物名を確定する必要がある。類似画像７０４および７０５などを纏めて選択して山田太郎であると確定するようにしてもよいが、例えば、類似画像７０５が山田太郎ではない場合もあることを考慮すると、一括して人物名を確定できないことがある。
【００６０】
なお、顔の表情および向きによっては、特徴量が類似すると判定され、類似度が第１の閾値以上になる。このため、山田太郎ではない画像７０５が類似画像としてＵＩ画面７０１に表示されることがある。
【００６１】
図８は、図２に示すＰＣ２００において顔画像が選択された際に類似画像から候補画像を選択するため表示部２０１に表示されるＵＩ画面の一例を示す図である。なお、図示のＵＩ画面はＣＰＵ２０３によって表示部２０１に表示される。
【００６２】
図示の例では、図７に示すＵＩ画面７０１で表示された画像（顔画像）８０１について、ユーザが所定の時間マウスオーバーなどの所定の操作を行うと、ＣＰＵ２０３は、前述したように、当該類似画像８０１との類似度が高い画像を候補画像としてＵＩ画面に表示する。
【００６３】
ＣＰＵ２０３は山田太郎かもしれない類似画像のうち類似画像８０１との類似度が第２の閾値以上である類似画像を候補画像としてＵＩ画面に表示することになる。つまり、ＣＰＵ２０３は、山田太郎かもしれない推定された類似画像においてさらに類似度を絞り込んで、候補画像をＵＩ画面に表示する。
【００６４】
これによって、より精度よく山田太郎かもしれない顔画像（つまり、類似画像）の絞り込みを行うことができる。
【００６５】
ここでは、類似画像８０１は類似判定結果に応じて表示された顔画像、つまり、山田太郎であるかもしれない顔画像であるが、山田太郎として確定された顔画像に対して候補画像を表示するようにしてもよい。
【００６６】
図８に示す例では、類似画像８０２が類似画像８０１との類似度が最も高いので、ＣＰＵ２０３は類似度が最も高いことが分かるように、類似画像８０２を類似画像８０１の近くにしかも拡大して表示する。ここでは、類似度の高い順に（“１”〜”４”）候補画像が一列に配列して、さらに類似度の高さに応じて候補画像の大きさを変えているが、候補画像を２次元的にランダムに表示するようにしてもよく、その大きさを一律として表示するようにしてもよい。
【００６７】
さらに、ここで、類似度に応じて類似画像の絞り込みを行って候補画像を表示しているが、マウスオーバーされた顔画像が連写又はブラケット撮影などによって撮影された一組の画像（組画像）のうちの１つであれば、ＣＰＵ２０３は別の組画像も候補画像として表示するようにしてもよい。
【００６８】
また、マウスオーバーされた顔画像と撮影日時が近い（所定の時間差以内）類似画像又はマウスオーバーされた顔画像とその撮影場所が近い（所定の範囲内）類似画像を候補画像とするようにしてもよい。そして、マウスオーバーされた顔画像と撮影日時が近くかつマウスオーバーされた顔画像とその撮影場所が近い類似画像を候補画像とするようにしてもよい。
【００６９】
ここでは、ＣＰＵ２０３は画像８０１の左側にチェックボタンを表示する。このチェックボタン（確認ボタン）は画像８０１および候補画像について纏めて人物名が山田太郎であることを確定する際に用いられるボタンである。さらに、ＣＰＵ２０３は画像８０１の右側にバツ印ボタンを表示する。このバツ印ボタンは候補画像について纏めて人物名が山田太郎でないことを確定する際に用いられるボタンである。
【００７０】
図８において、いま、類似画像８０３の人物名が「山田太郎」ではない画像であったとする。この状態で、チェックボタンを選択すると、山田太郎ではない候補画像に対して山田太郎という人物名が設定されることになる。一方、類似画像８０３の人物名が「山田太郎」である際に、バツ印ボタンを選択すれば、山田太郎である候補画像が山田太郎ではないと設定されてしまうことになる。
【００７１】
このため、図示の例では、ＣＰＵ２０３は画像８０１の右側にコントロール（アイコン）８０４および８０５を表示する。そして、コントロール８０４を操作すると、ＣＰＵ２０３は前述の第２の閾値を低下させて候補画像を増加させる。
【００７２】
一方、コントロール８０５を操作すると、ＣＰＵ２０３は第２の閾値を高くして候補画像を減少させる。なお、候補画像の増減については、例えば、マウスのホイール操作で行うようにしてもよい。
【００７３】
このように、コントロール８０５を操作すれば、例えば、類似画像８０３を候補画像から外すことができる。
【００７４】
類似画像８０３を候補画像から外した状態で、チェックボタンを選択すれば、山田太郎であることを確認できた候補画像について纏めて人物名を設定することができる。なお、画像８０３に対して、所定の時間マウスオーバーすると、ＣＰＵ２０３は山田太郎ではない画像の候補画像を表示し、纏めて山田太郎ではないと確定するようにしてもよい。
【００７５】
図９は、図２に示すＰＣ２００において顔画像が選択された際に類似画像に対する候補画像の一覧を表示部２０１に表示するＵＩ画面の一例を示す図である。なお、図示のＵＩ画面はＣＰＵ２０３によって表示部２０１に表示される。
【００７６】
図示の例では、図７に示すＵＩ画面７０１で表示された画像（顔画像）９０１について、ユーザが予め定められた操作を行うと、ＣＰＵ２０３は、当該画像９０１に対する類似度が高い画像を候補画像９０２としてＵＩ画面に表示する。つまり、ＣＰＵ２０３は画像９０１との類似度が前述の第２の閾値以上である画像を候補画像９０２の一覧としてＵＩ画面に表示する。
【００７７】
これら候補画像９０２の一覧に人物名が「山田太郎」ではない画像が含まれている場合に、ユーザがその人物名を確定すると、ＣＰＵ２０３は「山田太郎」ではない画像についても人物名として「山田太郎」を置き込むことになる。
【００７８】
このため、図示の例では、ＣＰＵ２０３は画像９０２の一覧の右側にコントロール９０３を表示する。そして、コントロール９０３の操作によって、前述したように、ＣＰＵ２０３は第２の閾値を低下させるか又は高くする。「候補を減らす」に対応するコントロール９０３を操作すれば、ＣＰＵ２０３は第２の閾値を高くして候補画像を減少させる。
【００７９】
なお、候補画像の増減については、例えば、マウスのホイール操作で行うようにしてもよい。このように、コントロール９０３を操作すれば、画像９０１に対する候補画像９０２の一覧における候補画像数を減らすことができる。
【００８０】
図９に示す例では、複数の類似画像についてそれぞれ候補画像の一覧が表示されるので、マウスオーバーなどの操作を行うことなく、例えば、人物名が「山田太郎」である候補画像について纏めて、「山田太郎」であると確定を行うことができる。さらには、人物名が「山田太郎」ではない候補画像について「山田太郎」ではないと確定することができる。
【００８１】
ここで、類似画像９０１および候補画像９０２について、「山田太郎」であることを確定するボタンを操作したとする。図９においては、候補画像９０２は、類似画像９０１のみではなく、類似画像９０４の候補画像としてもＵＩ画面に表示されている。ここでは、類似画像９０１および候補画像９０２について人物名を確定する操作を行うと、ＣＰＵ２０３は候補画像９０２を類似画像９０４の候補画像一覧から削除する。
【００８２】
図１０は、図２に示すＰＣ２００において顔画像がフリックされた際に類似画像のうちの候補画像を表示部２０１に表示するＵＩ画面の一例を示す図である。なお、図示のＵＩ画面はＣＰＵ２０３によって表示部２０１に表示される。
【００８３】
ここでは、図２に示すＰＣ２００は、例えば、タブレット端末であり、表示部２０１にはタッチパネルが備えられている。そして、タッチパネル１００１上でタッチ又はフリックなどの操作を行うと、ＣＰＵ２０３は、後述するようにして画像の表示および編集を行う。
【００８４】
いま、タッチパネル１００１上において、ユーザが顔画像１００２をフリックしたとする。このフリック操作によって、ＣＰＵ２０３は顔画像１００２との類似度が第２の閾値以上の画像を候補画像として顔画像１００２の上下に表示する。この状態で、例えば、指を上に動かすと、ＣＰＵ２０３はＵＩ画面に表示する候補画像を増加させる。つまり、ＣＰＵ２０３は第２の閾値を低下させて、ＵＩ画面に表示する候補画像を増加させることになる。
【００８５】
一方、指を下に動かすと、ＣＰＵ２０３はＵＩ画面に表示する候補画像を減少させる。つまり、ＣＰＵ２０３は第２の閾値を高くして、ＵＩ画面に表示する候補画像を減少させることになる。
【００８６】
さらに、タッチした状態で指を左に動かすと、ＣＰＵ２０３は類似画像１００２および候補画像を、類似画像１００２の人物名である「山田太郎」に登録する。また、指を右に動かすると、ＣＰＵ２０３は類似画像１００２および候補画像を山田太郎ではないとして登録する。
【００８７】
図１１は、図２に示すＰＣ２００で用いられる顔画像の類似度を示すデータベースの一例を説明するための図である。なお、この類似度データベースは、例えば、二次記憶装置１０５に記録される。
【００８８】
図１１に示す類似度データベースでは全ての顔辞書（顔辞書Ａ、Ｂ、Ｃ、…）について顔画像の類似度が格納されている。図示の例では、カラム１１０１には全ての顔画像が記録される。例えば、ある画像に人物が二人写っていると、当該画像には顔画像は２つ（Ｆａｃｅ１およびＦａｃｅ２）存在することになる。
【００８９】
カラム１１０２には、顔辞書Ａが記録される。顔辞書Ａには、顔画像Ｆａｃｅ５６およびＦａｃｅ５７とこれら顔画像の特徴量が登録される。なお、図示の例では、カラム１１０３および１１０４にはそれぞれ顔辞書Ｂおよび顔辞書Ｃが記録されている。
【００９０】
枠１１０５で示す部分では、顔画像に対して、顔辞書Ａ、Ｂ、Ｃ、…に記録された顔画像との類似度が記載される。図示の例では、顔辞書Ａについて、顔画像Ｆａｃｅ１およびＦａｃｅ２との類似度（２１２および１９８）が記載されている（なお、ここでは、類似度の最大値を２５５とする）。
【００９１】
枠１１０６で示す部分では、カラム１１０１には２つの顔画像Ｆａｃｅ５６およびＦａｃｅ５７が登録それており、これら顔画像は顔辞書Ａに登録された顔画像と同一であるので、顔辞書Ａについては顔画像Ｆａｃｅ５６およびＦａｃｅ５７との類似度は最大値２５５となる。
【００９２】
いま、第２の閾値を”１８０”とすると、Ｆａｃｅ１、Ｆａｃｅ２、Ｆａｃｅ４、Ｆａｃｅ６、およびＦａｃｅ７は顔辞書Ａに関して候補画像となる（ここでは、同一の顔画像であるＦａｃｅ５６およびＦａｃｅ５７は除かれる）。同様にして、顔辞書Ｂ、Ｃ、…についても、顔画像との類似度がデータベースに格納される。
【００９３】
このようにして、各顔辞書について顔画像との類似度をデータベースに格納しておけば、顔辞書の選択を行った際、類似度の算出を再度行う必要がなく、高速に類似画像又は候補画像を表示部２０１に表示することができる。
【００９４】
図１２は、図２に示すＰＣ２００において顔画像と顔辞書との類似度の算出を説明するための図である。
【００９５】
いま、ある人物について顔辞書Ａに画像１２０１〜１２０５が登録されているものとする。この際、顔画像１２０６が当該人物と類似しているか否かを判定する。
【００９６】
前述のように、顔辞書Ａには、顔画像１２０１〜１２０５のみではなく、顔画像１２０１〜１２０５の特徴量が記録されている。ＣＰＵ２０３は類似度を算出する際、画像１２０１〜１２０５の特徴量と顔画像１２０６の特徴量とを順次に比較して、類似度を求める。そして、ＣＰＵ２０３はこれら類似度のうち最も値が大きい類似度を、前述の判定類似度とする。なお、前述のように、全ての類似度の平均値を判定類似度とするようにしてもよい。
【００９７】
続いて、前述のように、ＣＰＵ２０３は判定類似度が第１の閾値以上であるか否かを判定する。そして、判定類似度が第１の閾値以上であれば、ＣＰＵ２０３は判定類似度に対応する顔画像を類似画像として表示部２０１に表示する。ここでは、顔画像のみではなく、その特徴量も顔辞書に登録しておくとしたが、特徴量のみを顔辞書に登録するようにしてもよい。
【００９８】
図１３は、図２に示すＰＣにおいて顔画像が選択された際に類似画像から候補画像を選択するため表示部に表示されるＵＩ画面の他の例を示す図である。
【００９９】
いま、ユーザが画像（顔画像）１３０１についてマウスオーバーなどの所定の操作を行うと、ＣＰＵ２０３は、当該類似画像１３０１との類似度が高い画像を候補画像１３０２としてＵＩ画面に表示する。ここでは、画像１３０１（Ｆａｃｅ７）との類似度か高い順に画像１３０１の近くに表示される。
【０１００】
ここで、ユーザが候補画像の数を増加する操作を行うと、つまり、第２の閾値を上げると、ＣＰＵ２０３は後述の類似度データベースに登録された類似度に応じて候補画像の表示を変更する。
【０１０１】
同様にして、ユーザが候補画像の数を減らす操作を行うと、つまり、第２の閾値を下げると、ＣＰＵ２０３は後述の類似度データベースに登録された類似度に応じて候補画像の表示を変更する。なお、当該候補画像には既に既に人物名が設定されていてもよい。
【０１０２】
図１４は、図１３で説明した処理で用いられる顔画像の類似度を示すデータベースの一例を説明するための図である。なお、この類似度データベースは、例えば、二次記憶装置１０５に記録される。
【０１０３】
図示の例では、例えば、マウスオーバーされた顔画像に関して顔辞書Ａに格納された類似度が示されている。カラム１４０１には、顔辞書Ａに係る類似度画像が記録される。ここでは、説明の便宜上、図１１に示すカラム１１０１に記録された全ての顔画像が記録されているが、図中グレーアウトで示す顔画像１４０６および１４０７などについては、顔辞書Ａの類似画像に該当しないので削除するようにしてもよい。
【０１０４】
カラム１４０２には、顔画像Ｆａｃｅ７に係る類似度が記録される。この顔画像Ｆａｃｅ７は、図１３に示すように、類似画像のうちマウスオーバーなどの所定の操作が行われた画像である。
【０１０５】
同様にして、カラム１４０３には顔画像Ｆａｃｅ１に係る類似度が記録され、カラム１４０４には顔画像Ｆａｃｅ５に係る類似度が記録される。なお、Ｆａｃｅ５６およびＦａｃｅ５７などの顔辞書Ａに登録された顔画像に関するカラムを設けるようにしてもよい。
【０１０６】
ここで、第２の閾値を”２００”とする。例えば、顔辞書Ａに係る類似画像のうち顔画像１４０５（Ｆａｃｅ１）は、マウスオーバーされた顔画像Ｆａｃｅ７との類似度が第２の閾値以上である。よって、ＣＰＵ２０３は顔画像１４０１を候補画像としてＵＩ画面に表示する。
【０１０７】
一方、顔画像１４０６（Ｆａｃｅ３）は、顔辞書Ａと類似していると判定されたものの、類似度が第２の閾値未満であるのでＦａｃｅ７とは類似していないと判定される画像である。よって、ＣＰＵ２０３は顔画像１４０６を候補画像としてＵＩ画面に表示しない。
【０１０８】
なお、顔画像１４０７（Ｆａｃｅ５６）は、顔辞書Ａにおいて既に人物名が付加されている画像であるので、対象外として取り扱われる。
【０１０９】
図１５は、図１に示す撮像装置において顔画像を登録する手順を説明するための図である。
【０１１０】
いま、撮像装置（カメラ）１００を用いて、ある人物の顔を撮影して、その顔画像をカメラ１００に登録する。これによって、前述したようにして、ＣＰＵ１０３は顔辞書に新たに顔画像１５０１を追加する。
【０１１１】
図１６は、図２に示すＰＣ２００で用いられる顔辞書管理ファイルの一例を説明するための図である。なお、図示の顔辞書管理ファイルは、例えば、二次記憶装置２０５に記録される。
【０１１２】
図１６において、顔辞書管理ファイルは顔辞書名欄１６０１を有しており、この顔辞書名欄１６０１には顔辞書名が記録される。なお、ここでは、複数の顔辞書名が顔辞書管理ファイルに記録されているが、顔辞書毎に顔辞書管理ファイルを生成するようにしてもよい。
【０１１３】
さらに、顔辞書管理ファイルは顔辞書の更新日時欄１６０２、顔画像名欄１６０３、顔画像の撮影日時欄１６０４、カメラで作成欄１６０５、および代表画像欄１６０６を有している。更新日時欄１６０２には顔辞書の更新日時が格納される。顔辞書に登録された顔画像を更新、追加、又は削除されると、ＣＰＵ２０３は更新日時を更新する。
【０１１４】
顔画像名欄１６０３には、顔辞書に登録された顔画像のファイル名が記録される。図示の例では、１つの顔辞書に登録できる顔画像の枚数が最大５枚とされている。撮影日時欄１７０４には、顔画像を撮影した撮影日時が記録される。
【０１１５】
なお、ＰＣ２００で顔画像を生成した際には、当該顔画像が存在する画像の撮影日時が記録される。一方、カメラで撮影した顔画像の場合には、カメラで当該人物を撮影した撮影日時が記録される。
【０１１６】
カメラで作成欄１６０５には、顔画像がカメラで作成されたか否かを示すフラグが記録される。例えば、顔辞書名”ｙａｍａｄａ．ｋａｏ”に対応付けて登録された顔画像ｆａｃｅ００１．ｊｐｇおよびｆａｃｅ００３．ｊｐｇにはフラグとして「Ｙｅｓ」が付加されているので、当該顔画像はカメラで作成された顔画像ということになる。代表画像欄１６０６には、顔画像が代表画像であるか否かを示すフラグが記録される。
【０１１７】
なお、図１６に示す例では、撮影日時欄１６０４およびカメラで作成欄１６０５を、顔辞書管理ファイルに定義するようにしたが、顔画像毎に撮影日時およびカメラで作成したか否かを示すフラグを付加するようにしてもよい。
【０１１８】
また、顔辞書に複数の顔画像が存在する場合には、ＣＰＵ２０３はダイアログに同一人物の複数の顔画像を表示し、ユーザの操作に基づいてそのうちの１つを代表画像として選択する。そして、ＣＰＵ２０３は代表画像の選択に応じて、顔辞書管理ファイルにおける代表画像欄１６０６に記録されるフラグを更新する。
【０１１９】
上述の実施の形態では、カメラ１００で撮影された画像を記録媒体１０６に記録して、当該記録媒体１０６をＰＣ２００に挿入して処理する例について説明したが、同様にしてカメラ自体が記録媒体１０６に記録された画像を処理するようにしてもよい。
【０１２０】
このように、本発明の実施の形態では、ある人物に対する類似結果から選択された画像（つまり、類似結果）についてさらに絞り込みの類似検索を行うようにしたので、より精度よく類似画像を検索することができる。そして、本人以外の画像が表示部に表示されている場合には、第２の閾値を変更すれば、容易に本人に類似する画像のみを表示するができる。さらには、検索の結果得られた画像について、纏めて人物名を設定して登録することができる。
【０１２１】
上述の説明から明らかなように、図２に示す例においては、ＣＰＵ２０３が第１の類似度算出手段、第１の表示制御手段、第２の類似度算出手段、および第２の表示制御手段として機能する。また、ＣＰＵ２０３、操作部２０２、および表示部２０１は設定手段として機能し、ＣＰＵ２０３は登録手段として機能する。さらに、ＣＰＵ２０３、操作部２０２、および表示部２０１は選択手段として機能する。
【０１２２】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２３】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を情報処理に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを情報処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２４】
上記の制御方法および制御プログラムの各々は、少なくとも第１の類似度算出手段、第１の表示制御手段、第２の類似度算出手段、および第２の表示制御手段を有している。
【０１２５】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２６】
１００  撮像装置（カメラ）
１０１  光学系
１０２  撮像素子
１０３，２０３  ＣＰＵ
１０４，２０４  一次記憶装置
１０５，２０５  二次記憶装置
１０６  記録媒体
１０７，２０１  表示部
１０８，２０２  操作部
２００  ＰＣ
【図１】
2014203247.tif 000003
【図２】
2014203247.tif 000004
【図３】
2014203247.tif 000005
【図４】
2014203247.tif 000006
【図５】
2014203247.tif 000007
【図６】
2014203247.tif 000008
【図７】
2014203247.tif 000009
【図８】
2014203247.tif 000010
【図９】
2014203247.tif 000011
【図１０】
2014203247.tif 000012
【図１１】
2014203247.tif 000013
【図１２】
2014203247.tif 000014
【図１３】
2014203247.tif 000015
【図１５】
2014203247.tif 000016
【図１６】
2014203247.tif 000017
【図１４】
2014203247.tif 000018