(57)【要約】【課題】画像に写る複数の生物が注目している領域を高精度に推定することができる注目領域推定方法、注目領域推定装置、及び注目領域推定プログラムを提供する。【解決手段】複数の生物が写る画像を入力とし、画像に写る複数の生物の各々が注目している、複数の生物に対向する面上の領域を示す注目領域情報を生成し、生成された注目領域情報から、複数の生物の各々が注目している領域を統合した統合注目領域情報を生成し、生成された統合注目領域情報から、注目領域を推定する。【選択図】図１
2018142252.tif 000002
【特許請求の範囲】
【請求項１】
注目領域推定部、及び注目領域統合部を有する注目領域推定装置における注目領域推定方法であって、
前記注目領域推定部が、複数の生物が写る画像を入力とし、前記画像に写る前記複数の生物の各々が注目している、前記複数の生物に対向する面上の領域を示す注目領域情報を生成する第１生成ステップと、
前記注目領域統合部が、生成された前記注目領域情報から、前記複数の生物の各々が注目している領域を統合した統合注目領域情報を生成する第２生成ステップと、
前記注目領域統合部が、生成された前記統合注目領域情報から、注目領域を推定する推定ステップと、
を含む注目領域推定方法。
【請求項２】
前記第１生成ステップでは、前記注目領域推定部が、複数の生物が写る１枚の入力画像毎に、前記複数の生物に対向する面上の領域毎に、前記画像に写る前記複数の生物の各々の注目度を示すスコアを求め、前記注目領域情報とする
請求項１記載の注目領域推定方法。
【請求項３】
前記第２生成ステップでは、前記注目領域統合部が、生成された前記注目領域情報から、前記複数の生物に対向する面上の領域毎に、前記複数の生物が注目する注目度を示すスコアを求め、前記統合注目領域情報とする
請求項１又は２記載の注目領域推定方法。
【請求項４】
前記第２生成ステップでは、前記注目領域統合部が、前記複数の生物に対向する面上の領域毎に、前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の何れかを求め、あるいは前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の少なくとも２つの組み合わせを求め、前記統合注目領域情報とする
請求項１〜３の何れか１項記載の注目領域推定方法。
【請求項５】
前記注目領域推定装置は、部分画像生成部を有し、
前記部分画像生成部が、前記画像のうちの前記生物が写る部分画像を生成する部分画像生成ステップを更に含み、
前記第１生成ステップでは、前記注目領域推定部が、前記部分画像に基づいて、前記注目領域情報を生成する
請求項１〜４の何れか１項記載の注目領域推定方法。
【請求項６】
複数の生物が写る画像を入力とし、前記画像に写る前記複数の生物の各々が注目している、前記複数の生物に対向する面上の領域を示す注目領域情報を生成する注目領域推定部と、
前記注目領域推定部により生成された前記注目領域情報から、前記複数の生物の各々が注目している、領域を統合した統合注目領域情報を生成し、生成された前記統合注目領域情報から、注目領域を推定する注目領域統合部と、
を含む注目領域推定装置。
【請求項７】
前記注目領域統合部は、前記複数の生物に対向する面上の領域毎に、前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の何れかを求め、あるいは前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の少なくとも２つの組み合わせを求め、前記統合注目領域情報とする
請求項６記載の注目領域推定装置。
【請求項８】
コンピュータを、請求項６又は７記載の注目領域推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写る生物が注目している領域を推定する注目領域推定方法、注目領域推定装置、及び注目領域推定プログラムに関する。
【背景技術】
【０００２】
従来、生物が写っている画像が一枚以上与えられたときに、与えられた画像から、生物が注目している領域を推定する注目領域推定方法が提案されている。
【０００３】
この注目領域推定方法に関する従来技術としては、対象とする生物を人間とし、対象とする生物の数を１つとした場合の視線測定装置（下記特許文献１を参照）、比較的近距離から撮像した複数の画像を用いて対象人物の視線を推定する視線推定方法（下記非特許文献１を参照）等が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６０７１５号公報
【非特許文献】
【０００５】
【非特許文献１】岡本他，“複数カメラを利用した広域遠隔視線計測”，インタラクション２０１２．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１及び非特許文献１の手法を注目領域推定に用いる場合、上記特許文献１で提案されている手法では、対象とする人物ごとに視線を測定するための装置を設置する必要があり、コストがかかるという課題があった。
【０００７】
また、上記非特許文献１で提案されている手法では、対象とする人物について眼球の光彩に関する詳細な情報が得られる程度の高精細な画像が必要となってしまうという課題があった。また、対象とする人物が注目している領域の推定精度は、視線方向の推定精度に大きく依存し、視線方向推定が間違った場合には、注目領域の推定も間違ったものとなってしまうという課題もあった。
【０００８】
本発明は、以上のような事情に鑑みてなされたものであり、画像に写る複数の生物が注目している領域を高精度に推定することができる注目領域推定方法、注目領域推定装置、及び注目領域推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の注目領域推定方法は、注目領域推定部、及び注目領域統合部を有する注目領域推定装置における注目領域推定方法であって、前記注目領域推定部が、複数の生物が写る画像を入力とし、前記画像に写る前記複数の生物の各々が注目している、前記複数の生物に対向する面上の領域を示す注目領域情報を生成する第１生成ステップと、前記注目領域統合部が、生成された前記注目領域情報から、前記複数の生物の各々が注目している領域を統合した統合注目領域情報を生成する第２生成ステップと、前記注目領域統合部が、生成された前記統合注目領域情報から、注目領域を推定する推定ステップと、を含む。
【００１０】
なお、前記第１生成ステップでは、前記注目領域推定部が、複数の生物が写る１枚の入力画像毎に、前記複数の生物に対向する面上の領域毎に、前記画像に写る前記複数の生物の各々の注目度を示すスコアを求め、前記注目領域情報とするようにしても良い。
【００１１】
また、前記第２生成ステップでは、前記注目領域統合部が、生成された前記注目領域情報から、前記複数の生物に対向する面上の領域毎に、前記複数の生物が注目する注目度を示すスコアを求め、前記統合注目領域情報とするようにしても良い。
【００１２】
また、前記第２生成ステップでは、前記注目領域統合部が、前記複数の生物に対向する面上の領域毎に、前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の何れかを求め、あるいは前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の少なくとも２つの組み合わせを求め、前記統合注目領域情報とするようにしても良い。
【００１３】
また、前記注目領域推定装置は、部分画像生成部を有し、前記部分画像生成部が、前記画像のうちの前記生物が写る部分画像を生成する部分画像生成ステップを更に含み、前記第１生成ステップでは、前記注目領域推定部が、前記部分画像に基づいて、前記注目領域情報を生成するようにしても良い。
【００１４】
上記目的を達成するために、本発明の注目領域推定装置は、複数の生物が写る画像を入力とし、前記画像に写る前記複数の生物の各々が注目している、前記複数の生物に対向する面上の領域を示す注目領域情報を生成する注目領域推定部と、前記注目領域推定部により生成された前記注目領域情報から、前記複数の生物の各々が注目している領域を統合した統合注目領域情報を生成し、生成された前記統合注目領域情報から、注目領域を推定する注目領域統合部と、を含む。
【００１５】
なお、前記注目領域統合部は、前記複数の生物に対向する面上の領域毎に、前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の何れかを求め、あるいは前記複数の生物の各々の注目度を示すスコアの平均値、最大値、中央値、及び最頻値の少なくとも２つの組み合わせを求め、前記統合注目領域情報とする
ようにしても良い。
【００１６】
上記目的を達成するために、本発明の注目領域推定プログラムは、コンピュータを、上記注目領域推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、画像に写る複数の生物が注目している領域を高精度に推定することができることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る注目領域推定装置の機能的な構成を示すブロック図である。
【図２】実施形態に係る注目領域推定処理の流れを示すフローチャートである。
【図３】実施形態に係る注目領域推定装置を用いた実験の研究背景を説明するための模式図である。
【図４】実施形態に係る注目領域推定装置を用いて被験者の注視位置を推定するための実験における、被験者位置を示す模式図である。
【図５】実施形態に係る注目領域推定装置を用いて被験者の注視位置を推定するための実験における、指標表示位置を示す模式図である。
【図６】実施形態に係る注目領域推定装置を用いて被験者の注視位置を推定するための実験において用いた注視位置分類器を示す表である。
【図７】実施形態に係る注目領域推定装置を用いて被験者の注視位置を推定するための実験における、被験者位置が４ｍである場合の取得した画像数を示す表である。
【図８】実施形態に係る注目領域推定装置を用いて被験者の注視位置を推定するための実験における、被験者の注視位置の推定精度を示す表である。
【発明を実施するための形態】
【００１９】
以下、本実施形態について図面を用いて説明する。
【００２０】
本実施形態に係る注目領域推定装置は、第三者視点から撮影した画像において、画像に写っている複数の生物が注目している、当該複数の生物に対向する面上の領域を推定し、推定した領域を統合することにより、複数の生物が注目している注目領域を推定する。例えば、映画館で観客席を撮影した画像から各観客の顏画像を切り出し、切り出した各顔画像から、各観客が注目している領域を推定し、推定した領域を統合することで、観客全体が、現在、スクリーンのどの部分に注目しているかを推定することができる。
【００２１】
このように、複数の生物が注目している、当該複数の生物に対向する面上の領域を推定することにより、各生物に視線測定装置等を装着することなく、生物が注目している領域を高精度に推定することが可能になる。
【００２２】
図１は、本実施形態に係る注目領域推定装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る注目領域推定装置１０は、部分画像生成部１２、注目領域推定部１４、及び、注目領域統合部１６を備えている。
【００２３】
なお、本実施形態に係る注目領域推定装置１０は、画像情報２０を入力として、画像に写る複数の生物が注目している、当該複数の生物に対向する面上の領域を示す統合注目領域情報２２を出力とする。
【００２４】
部分画像生成部１２は、生物が写っている１枚以上の画像を示す画像情報２０を入力とすると共に、必要に応じて、画像情報２０によって示される画像のうちの、生物が写っている部分画像を抽出し、抽出した部分画像を示す画像情報を注目領域推定部１４に出力する。なお、部分画像を抽出しない場合には、入力した画像情報２０を注目領域推定部１４に出力する。
【００２５】
注目領域推定部１４は、画像情報によって示される画像に写っている各生物をｈｉ（１≦ｉ≦ｎ）で表し、画像情報によって示される画像に写っている生物の集合をＨ＝｛ｈ１，ｈ２，…，ｈｎ｝とする。また、生物ｈｉが、生物全体に対向する面上の位置（ｘ，ｙ）に注目している場合のスコアをＬｅ（ｈｉ，ｘ，ｙ）とすることにより、このスコアＬｅ（ｈｉ，ｘ，ｙ）を、複数の生物の各々が注目している、生物全体に対向する面上の領域を示す注目領域情報として生成する。なお、ｎは、１以上の自然数である。
【００２６】
例えば、画像情報によって示される画像に写っている複数の生物が複数の人物であり、各人物が、人物全体に対向するスクリーン上の何れかの位置を見ている場合について説明する。ここでは、各人物をｈｉ（１≦ｉ≦ｎ）で表し、スクリーンを見ている人の集合をＨ＝｛ｈ１，ｈ２，…，ｈｎ｝とする。また、人物ｈｉがスクリーン上の位置（ｘ，ｙ）に注目している度合いを表すスコアをＬｅ（ｈｉ，ｘ，ｙ）とする。
【００２７】
なお、本実施形態では、複数の生物を複数の人物とした場合について説明する。また、スクリーンを複数の領域に区分けし、位置（ｘ，ｙ）を、区分けされた領域で表し、領域（ｘ，ｙ）毎にスコアＬｅ（ｈｉ，ｘ，ｙ）を計算する場合について説明する。具体的には、スクリーンをｘ方向の領域に区分けし、ｙ方向の領域に区分けし、位置（ｘ，ｙ）を、区分けされたｘ方向の領域と、区分けされたｙ方向の領域とで表される領域とし、領域（ｘ，ｙ）毎にスコアＬｅ（ｈｉ，ｘ，ｙ）を計算する。
【００２８】
注目領域統合部１６は、各人物のスコアＬｅ（ｈｉ，ｘ，ｙ）を統合することにより、画像情報によって示される画像に写っている人物がスクリーン上の位置（ｘ，ｙ）に注目している度合いを表すスコアＬ（ｘ，ｙ）を推定する。
【００２９】
具体的には、注目領域統合部１６は、領域（ｘ，ｙ）に対する人物ｈｉ（１≦ｉ≦ｎ）の注目度を示すスコアＬｅ（ｈｉ，ｘ，ｙ）の平均値、最大値、中央値、及び最頻値の何れかを求め、あるいは領域（ｘ，ｙ）に対する人物ｈｉ（１≦ｉ≦ｎ）の注目度を示すスコアＬｅ（ｈｉ，ｘ，ｙ）の平均値、最大値、中央値、及び最頻値の少なくとも２つの組み合わせを求め、スコアＬ（ｘ，ｙ）を推定し、このスコアＬ（ｘ，ｙ）を統合注目領域情報として生成する。
【００３０】
この際、例えば、下記（Ａ）乃至（Ｅ）に示す統合法の少なくとも１つを用いて、スコアＬ（ｘ，ｙ）を推定する。
【００３１】
（Ａ）下記（１）式に示すように、人物ｈｉがスクリーン上の点（ｘ，ｙ）に注目している度合いを表すスコアをＬｅ（ｈｉ，ｘ，ｙ）の平均値を、スコアＬ（ｘ，ｙ）とする。
【００３２】
【数１】
2018142252.tif 000003
…（１）
【００３３】
（Ｂ）下記（２）式に示すように、人物ｈｉがスクリーン上の領域（ｘ，ｙ）に注目している度合いを表すスコアＬｅ（ｈｉ，ｘ，ｙ）の最大値を、スコアＬ（ｘ，ｙ）とする。
【００３４】
【数２】
2018142252.tif 000004
…（２）
【００３５】
（Ｃ）下記（３）式に示すように、人物ｈｉがスクリーン上の領域（ｘ，ｙ）に注目している度合いを表すスコアをＬｅ（ｈｉ，ｘ，ｙ）の中央値を、スコアＬ（ｘ，ｙ）とする。
【００３６】
【数３】
2018142252.tif 000005
…（３）
【００３７】
（Ｄ）下記（４）式に示すように、人物ｈｉがスクリーン上の領域（ｘ，ｙ）に注目している度合いを表すスコアをＬｅ（ｈｉ，ｘ，ｙ）の最頻値を、スコアＬ（ｘ，ｙ）とする。
【００３８】
【数４】
2018142252.tif 000006
…（４）
【００３９】
（Ｅ）人物ｈｉの各々に対して、ある領域（ｘ，ｙ）についてスコアＬｅ（ｈｉ，ｘ，ｙ）＝１とし、その他の領域（ｘ，ｙ）についてスコアＬｅ（ｈｉ，ｘ，ｙ）＝０として、下記（５）式に示すように、人物ｈｉの各々に対する各領域（ｘ，ｙ）のスコアＬｅ（ｈｉ，ｘ，ｙ）を用いて、スコアＬ（ｘ，ｙ）を求める（投票法）。
【００４０】
【数５】
2018142252.tif 000007
…（５）
【００４１】
なお、本実施形態に係る注目領域推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、注目領域推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００４２】
本実施形態に係る注目領域推定装置１０による注目領域推定処理の流れを、図２に示すフローチャートを用いて説明する。本実施形態では、注目領域推定装置１０に、注目領域推定処理の実行を開始するための予め定めた情報が入力されたタイミングで注目領域推定処理が開始されるが、注目領域推定処理が開始されるタイミングはこれに限らず、例えば、入力画像が入力されたタイミングで注目領域推定処理が開始されても良い。
【００４３】
ステップＳ１０１では、部分画像生成部１２が、複数の人物が写る画像を入力する。
【００４４】
ステップＳ１０３では、部分画像生成部１２が、入力とした画像のうちの人物が写る部分画像を抽出する。なお、部分画像の抽出は必須ではなく、本ステップをスキップして、下記ステップＳ１０５以降のステップで、上記ステップＳ１０１で入力した画像を用いても良い。
【００４５】
ステップＳ１０５では、注目領域推定部１４が、画像に写る複数の人物の各々が注目している領域を示す注目領域情報を生成する。
【００４６】
ステップＳ１０７では、注目領域統合部１６が、生成された注目領域情報から、複数の人物の各々が注目している領域を統合した統合注目領域情報を生成する。
【００４７】
ステップＳ１０９では、注目領域統合部１６が、生成された統合注目領域情報から、注目領域を推定し、推定された注目領域を出力し、本注目領域推定処理のプログラムの実行を終了する。なお、本実施形態では、推定された注目領域をディスプレイ等の表示手段に表示させたり、推定された注目領域を示すデータを記憶手段に記憶させたりすることにより、注目領域を出力する。
【００４８】
このように、本実施形態では、複数の生物（人物）が写る画像を入力とし、画像に写る複数の人物の各々が注目している、人物全体に対向する面上の領域を示す注目領域情報を生成し、生成された注目領域情報から、複数の人物の各々が注目している領域を統合した統合注目領域情報を生成し、生成された統合注目領域情報から、注目領域が推定される。複数の人物の視線推定結果を用いることにより、各人物に視線測定装置などを装着することなしに、複数の人物が注目している領域を高精度に推定することができる。
【００４９】
なお、本実施形態では、注目領域推定装置１０が部分画像生成部１２を備えている場合について説明したが、これに限らない。例えば、注目領域推定装置１０は部分画像生成部１２を備えず、注目領域推定部１４が、外部装置によって抽出された部分画像を入力するようにしても良い。あるいは、注目領域推定装置１０は部分画像生成部１２を備えず、注目領域推定部１４が、複数の人物が写った画像を示す画像情報を入力し、入力した画像情報によって示される画像から、各人物の注目領域を推定しても良い。
【００５０】
［実施例］
【００５１】
ここで、平均値を用いる統合法で複数の人物の注目領域を統合した場合の実験例と、中央値を用いる統合法で複数の人物の注目領域を統合した場合の実験例とを示す。
【００５２】
なお、本実験では、Ｃ＋＋の機械学習用のライブラリであるｄｌｉｂに実装されている顏器官検出手法を用いて顔画像の自動検出も行っている。なお、本実験では顔画像からその注目領域を出力するように学習したＣＮＮ（Convolutional Neural Network）を用い、このＣＮＮに、人物ｈｉの顔画像を入力した出力結果を、人物ｈｉについての各領域（ｘ，ｙ）のスコアＬｅ（ｈｉ，ｘ，ｙ）としている。
【００５３】
また、ｘ方向については中心、右、及び左の３つの離散化された領域に区分けし、ｙ方向については中心、上、及び下の３つの離散化された領域に区分けし、指標位置とする領域（ｘ、ｙ）を、ｘ方向の領域とｙ方向の領域との組み合わせで表している。具体的には、スクリーン上の各領域を左上、上、右上、左、中心、右、左下、下、及び右下の９つの領域としている。
【００５４】
＜研究背景および目的＞
集団の注目対象の位置推定技術への期待を研究背景とし、集団の注目対象の三次元位置推定を目的とする。
【００５５】
＜研究のまとめ＞
（１）データセット撮影
被験者の集団が同一対象を注視する映像のデータセット作成を目的とし、図３に示すように、以下のそれぞれのタスクにおいて被験者Ｈが指標Ｐに対して注視を行う映像を記録した。
（ｉ）スクリーンにランダムに表示される視標を注視するタスク（複数の被験者に同時に視標を一つ提示する。）
（ｉｉ）スクリーン外の一点を注視するタスク（複数の被験者が同時に一点を注視する。）
（ｉｉｉ）スクリーン外の適当な点を注視するタスク（複数の被験者がそれぞれスクリーン外の自由な位置を注視する。）
【００５６】
また、下記（ａ）乃至（ｃ）に示す設定で、実験を行った。
（ａ）被験者位置：４ｍ地点、７ｍ地点（図４を参照）
（ｂ）撮影対象
・４ｍ地点での撮影：一度で６人
・７ｍ地点での撮影：一度で７人
・被験者総数：１２人
・試行１回毎に席をローテーション
（ｃ）カメラ
・解像度：１２８０×１０２４
・フレームレート：６０ｆｐｓ
・レンズの焦点距離：８ｍｍ（３５ｍｍ換算３１ｍｍ）
・注視中の画像のうち後半３０フレームを利用
（ｄ）指標表示
・指標位置：左上、上、右上、左、中心、右、左下、下、右下の９つの領域（図５において、指標位置を「＋」で示している。）
・表示時間：３．０秒
・待ち時間：２．０秒
・表示回数：指標位置毎に２回ずつ（計１８回）
【００５７】
（２）下記（ア）乃至（キ）に示す条件下で、ＣＮＮを用いた注視位置分類器により、被験者の指標位置を分類した。
（ア）アーキテクチャ（図６を参照）
（イ）入出力
・入力：顔画像（３２×３２）
・出力：注視位置の推定結果
なお、図７では、各領域が注視されている確率を、各位置が注視されているスコアとしている。
（ウ）データセット
（ａ）４ｍ地点
テストデータ
・全ての被験者位置で顔が検出された被験者６人
・各被験者位置と視標位置毎に顔画像１枚
学習データ
・テストデータ以外の６人の全ての顔画像
（ｂ）７ｍ地点
テストデータ
・被験者のうち１人の全ての顔画像
学習データ
・テストデータ以外の１１人の全ての顔画像
（エ）結果の統合
（ａ）各人物の推定結果の平均から推定
各人物の推定注視位置のスコアから算出
（ｂ）各人物の推定結果の中央値から推定
各人物の推定注視位置のスコアから算出
（オ）評価指標
（ａ）認識率
（カ）比較手法
結果の統合なし
（キ）結果（４ｍ地点での結果のみ示す）
【００５８】
図８に示すように、統合なしのテストデータの推定結果の精度が２０．０６％であったのに対し、スコアの平均値を用いた推定結果の精度が２９．６３％であり、スコアの中央値を用いた推定結果の精度が２７．７８％であった。従って、推定結果の統合しない場合と比較し、推定結果の統合した場合に推定精度が向上していることがわかる。
【００５９】
なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、注目領域推定装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【００６０】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【００６１】
１０  注目領域推定装置
１２  部分画像生成部
１４  注目領域推定部
１６  注目領域統合部
２０  画像情報
２２  統合注目領域情報
【図１】
2018142252.tif 000008
【図２】
2018142252.tif 000009
【図３】
2018142252.tif 000010
【図４】
2018142252.tif 000011
【図５】
2018142252.tif 000012
【図６】
2018142252.tif 000013
【図７】
2018142252.tif 000014
【図８】
2018142252.tif 000015