(57)【要約】【課題】不動産物件に関連する画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する。【解決手段】物件に関連する画像を受け付ける画像受付部１１と、画像受付部が受け付けた画像を所定のカテゴリに分類する分類器１３と、分類器により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別器１４と、画像と共に、判別器が判別した当該画像の品質のスコアを出力する出力部１５と、を備える物件画像分類装置１００を提供する。【選択図】図２
2020112905.tif 000002
【特許請求の範囲】
【請求項１】
賃貸または販売するための物件に関連する画像を分類する物件画像分類装置であって、
物件に関連する画像を受け付ける画像受付部と、
前記画像受付部が受け付けた画像を所定のカテゴリに分類する分類器と、
前記分類器により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別器と、
画像と共に、前記判別器が判別した当該画像の品質のスコアを出力する出力部と、
を備える物件画像分類装置。
【請求項２】
前記分類器は、所定のカテゴリに分類されるべき第一教師画像と、所定のカテゴリに分類されるべきではない第二教師画像により学習されることを特徴とする請求項１に記載の物件画像分類装置。
【請求項３】
前記出力部が出力したものに対して応答を受け付ける応答受付部をさらに備え、
前記出力部は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が前記分類器が分類したカテゴリを評価できるように出力し、
前記応答受付部は、使用者の評価が前記分類器が分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として前記分類器に学習させることを特徴とする請求項２に記載の物件画像分類装置。
【請求項４】
前記出力部は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が品質のスコアを評価できるように出力し、
前記応答受付部は、使用者の評価が前記判別器が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として前記判別器に学習させることを特徴とする請求項３に記載の物件画像分類装置。
【請求項５】
賃貸または販売するための物件に関連する画像を分類する物件画像分類方法であって、
物件に関連する画像を受け付け、
受け付けた画像を所定のカテゴリに分類し、
分類された画像に対して、所定のカテゴリにおける画像の品質を判別し、
画像と共に、判別した当該画像の品質のスコアを出力する、
物件画像分類方法。
【請求項６】
賃貸または販売するための物件に関連する画像を分類する情報処理システムにおいて実行可能なプログラムであって、
前記情報処理システムを、
物件に関連する画像を受け付ける画像受付手段、
前記画像受付手段により受け付けた画像を所定のカテゴリに分類する分類手段、
前記分類手段により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別手段、
画像と共に、前記判別手段により判別された当該画像の品質のスコアを出力する出力手段、
として機能させるプログラム。
【請求項７】
賃貸または販売するための物件に関連する画像を所定のカテゴリに分類する分類器と、前記分類器により分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器を学習させる方法であって、
所定のカテゴリに分類されるべき第一教師画像と所定のカテゴリに分類されるべきではない第二教師画像により前記分類器および前記判別器を学習させる第一学習工程と、
物件に関連する画像を受け付ける第一受付工程と、
前記第一受付工程で受け付けた画像を前記第一学習工程で学習させた前記分類器が所定のカテゴリに分類する分類工程と、
前記分類工程で分類された画像に対して、前記第一学習工程で学習させた前記判別器が所定のカテゴリにおける当該画像の品質を判別する判別工程と、
前記分類器がカテゴリ毎に分類した画像と前記判別器が判別した品質に対して使用者が評価できるように出力する出力工程と、
前記出力工程で出力した画像に対して使用者の評価を受け付ける第二受付工程と、
前記第二受付工程で受け付けた評価が前記分類工程で分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として前記分類器に学習させ、前記第二受付工程で受け付けた評価が前記判別工程で判別した品質と異なっていた画像を使用者の評価と対応付けて前記判別器に学習させる第二学習工程と、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不動産物件に関連する画像を分類する物件画像分類装置、物件画像分類方法、学習方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像を所定のカテゴリに分類するための技術が提案されている。例えば、特許文献１は、インターネット上から収集した様々な画像を、任意の区分で、精度良く分類することが可能な画像分類装置を開示する。この画像分類装置は、機械学習機能を備える複数の画像判定部を設け、これら画像判定部を木構造（ツリー構造）に配置し、各画像判定部では、それぞれ異なる区分に属する画像データを用いて構築された学習データに基づいて、対象画像の区分を判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１６８０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
最近では、人工知能による画像認識技術の進展により、上述した先行技術以外にも画像を所定のカテゴリに分類する技術は数多く知られている。しかし、特定の分野において類似した被写体が写った画像を正しいカテゴリに分類することが困難な場合がある。また、仮に分類したカテゴリが正しかったとしても、その分野やそのカテゴリにふさわしい品質をその画像が有しているか否かは別の問題である。たとえば、不動産の物件（マンション、アパート、戸建て住宅など）を紹介するウェブサイトの場合、玄関と庭や、リビングとダイニングをそれぞれのカテゴリに正しく分類することは難しい場合がある。また、リビングが被写体となった画像が正しくリビングのカテゴリに分類されたとしても、不動産物件の販売や賃貸を目的として画像を掲載するウェブサイトにおいて、その画像がリビングとして魅力的に写っているか、その見栄え、映り込みの有無などといった、当該目的に適合した品質を有しているか否かは掲載するに当たって重要なポイントとなる。
【０００５】
本発明は、かかる事情を鑑みて考案されたものであり、賃貸または販売するための不動産物件に関連する画像を分類する技術において、類似した被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類装置、物件画像分類方法、学習方法およびプログラムを提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、賃貸または販売するための物件に関連する画像を分類する物件画像分類装置であって、物件に関連する画像を受け付ける画像受付部と、画像受付部が受け付けた画像を所定のカテゴリに分類する分類器と、分類器により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別器と、画像と共に、判別器が判別した当該画像の品質のスコアを出力する出力部と、を備える物件画像分類装置が提供される。
これによれば、画像を所定のカテゴリに分類する分類器と分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器とを備えることで、類似した被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類装置を提供することができる。
【０００７】
さらに、分類器は、所定のカテゴリに分類されるべき第一教師画像と、所定のカテゴリに分類されるべきではない第二教師画像により学習されることを特徴としてもよい。
これによれば、所定のカテゴリに分類されるべき教師画像とそうではない教師画像の両方を用いて分類器を学習させることで、分類上相紛らわしい被写体が写った画像でも正しいカテゴリに分類することができる。
【０００８】
さらに、出力部が出力したものに対して応答を受け付ける応答受付部をさらに備え、出力部は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が分類器が分類したカテゴリを評価できるように出力し、応答受付部は、使用者の評価が分類器が分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として分類器に学習させることを特徴としてもよい。
これによれば、使用者からの分類したカテゴリに対する評価を受け付け、その評価が分類器が分類したカテゴリと異なっていた画像を使用者の評価と対応付けて所定のカテゴリに分類されるべき教師画像として再度分類器を学習させることで、より正確な分類をすることができる。
【０００９】
さらに、出力部は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が品質のスコアを評価できるように出力し、応答受付部は、使用者の評価が判別器が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として判別器に学習させることを特徴としてもよい。
これによれば、使用者の評価が判別器が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として判別器を学習させることで、物件を紹介するのに適切な品質を有している画像を掲載することを支援できる。
【００１０】
上記課題を解決するために、賃貸または販売するための物件に関連する画像を分類する物件画像分類方法であって、物件に関連する画像を受け付け、受け付けた画像を所定のカテゴリに分類し、分類された画像に対して、所定のカテゴリにおける画像の品質を判別し、画像と共に、判別した当該画像の品質のスコアを出力する、物件画像分類方法が提供される。
これによれば、画像を所定のカテゴリに分類すると共に分類された画像に対して所定のカテゴリにおける画像の品質を判別することで、紛らわしい被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類方法を提供することができる。
【００１１】
上記課題を解決するために、賃貸または販売するための物件に関連する画像を分類する情報処理システムにおいて実行可能なプログラムであって、情報処理システムを、物件に関連する画像を受け付ける画像受付手段と、画像受付手段により受け付けた画像を所定のカテゴリに分類する分類手段と、分類手段により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別手段と、画像と共に、判別手段により判別された当該画像の品質のスコアを出力する出力手段と、として機能させるプログラムが提供される。
これによれば、画像を所定のカテゴリに分類する分類手段と分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別手段と備えることで、紛らわしい被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類方法を情報処理システムにおいて実行可能なプログラムを提供することができる。
【００１２】
上記課題を解決するために、賃貸または販売するための物件に関連する画像を所定のカテゴリに分類する分類器と、分類器により分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器を学習させる方法であって、所定のカテゴリに分類されるべき第一教師画像と所定のカテゴリに分類されるべきではない第二教師画像により分類器および判別器を学習させる第一学習工程と、物件に関連する画像を受け付ける第一受付工程と、第一受付工程で受け付けた画像を第一学習工程で学習させた分類器が所定のカテゴリに分類する分類工程と、分類工程で分類された画像に対して、第一学習工程で学習させた判別器が所定のカテゴリにおける当該画像の品質を判別する判別工程と、分類器がカテゴリ毎に分類した画像と判別器が判別した品質に対して使用者が評価できるように出力する出力工程と、出力工程で出力した画像に対して使用者の評価を受け付ける第二受付工程と、第二受付工程で受け付けた評価が分類工程で分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として分類器に学習させ、第二受付工程で受け付けた評価が判別工程で判別した品質と異なっていた画像を使用者の評価と対応付けて判別器に学習させる第二学習工程と、を含む方法が提供される。
これによれば、２つの分類学習工程と共に、使用者の評価が判別器が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として学習させる判別学習工程を有することで、賃貸または販売するための不動産物件に関連する画像を所定のカテゴリに分類する分類器と、分類器により分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器を効率的に学習させることができる。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、賃貸または販売するための不動産物件に関連する画像を分類する技術において、類似した被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類装置、物件画像分類方法、学習方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る第一実施例の物件画像分類システムの構成概要図。
【図２】本発明に係る第一実施例の物件画像分類装置のブロック図。
【図３】本発明に係る第一実施例の物件画像分類装置のハードウェア構成図。
【図４】本発明に係る第一実施例の物件画像分類装置の学習方法を示すフローチャート。
【図５】本発明に係る第一実施例の物件画像分類装置の分類方法を示すフローチャート。
【図６】本発明に係る第一実施例の物件画像分類装置の画像データベースのテーブル例。
【図７】本発明に係る第一実施例の物件画像分類装置の使用者が分類された画像に対して評価できるように出力する出力表示例。
【図８】本発明に係る第一実施例の物件画像分類装置の使用者が判別された画像の品質に対して評価できるように出力する出力表示例。
【図９】本発明に係る第一実施例の分類器のニューラルネットワークの概略モデルを示す概略モデル図。
【図１０】本発明に係る第一実施例の判別器のニューラルネットワークの概略モデルを示す概略モデル図。
【発明を実施するための形態】
【００１５】
以下では、図面を参照しながら、本発明に係る実施例について説明する。
＜第一実施例＞
図１乃至図１０を参照し、本実施例における物件画像分類システム１および物件画像分類装置１００を説明する。物件画像分類システム１は、図１に示すように、ネットワーク３００に接続することで相互に通信が可能な物件画像分類装置１００と１以上の端末２００を含むシステムである。物件画像分類装置１００は、ユーザから賃貸または販売するための不動産物件に関連する画像を受け付け、所定のカテゴリに分類し、品質のスコアを出力する。
【００１６】
ネットワーク３００は、物件画像分類装置１００と端末２００の間の、情報処理やデータに係る通信を可能にする任意の通信回線または通信網である。したがって、ネットワーク３００は、ワイドアクセスネットワーク（ＷＡＮ）、有線ネットワーク、ファイバーネットワーク、無線ネットワーク（たとえば、モバイルまたはセルラーネットワーク）、セルラーまたは電気通信ネットワーク（たとえば、ＷＩＦＩ、ロングタームエボリューション（ＬＴＥ）ネットワーク）、またはそれらの任意の適切な組み合わせであり得る。ネットワーク３００は、プライベートネットワーク、パブリックネットワーク（たとえば、インターネット）の１つ以上の部分、またはそれらの任意の適切な組み合わせを含み得る。なお、これらは例示であり、これらに限定されることはない。
【００１７】
図３は、サーバである物件画像分類装置１００のハードウェア構成の一例を示す。物件画像分類装置１００は、たとえばサーバコンピュータであり、１以上の端末２００からアクセスされて、不動産物件に関連する画像を受け付け、所定のカテゴリに分類し、品質のスコアを出力する機能を実現する。端末２００は、たとえばパーソナルコンピュータやスマートフォン等の情報処理装置であって、物件画像分類システム１のユーザによって操作される。サーバは、例えばウェブサーバとしての機能を有し、ブラウザを通じて端末２００のユーザに対して物件画像分類に関するサービスを提供する。
【００１８】
物件画像分類装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）から構成される演算装置１１０（制御部１０）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ１１１およびハードディスクやストレージ等の外部記憶装置１２０から構成される記憶部２０、上記のネットワーク３００と繋がるネットワークインターフェースの通信装置１３０（通信部３０）と、サーバの管理者等が使用するためのキーボードやマウス等の入力装置１５０と、様々な情報を表示するためのディスプレイやプリンタ等の出力装置１４０と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの一時的でないコンピュータ読み取り可能な記録媒体を駆動し、当該記録媒体に記録されたソフトウェアやプログラムを読み書きする媒体駆動装置１２２と、を含み、これらが、内部バス、外部バス、拡張バス等を含むシステムバスといった伝送路１０１を介して互いに接続されたものである。
【００１９】
制御部１０は、演算装置１１０（ＣＰＵ）によりその機能が実現され、物件画像分類装置１００を統括的に制御する。制御部１０は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム・各種の処理手順等を規定したプログラム・所要データなどを格納するための内部メモリを有し、格納されているこれらのプログラムに基づいて種々の情報処理を実行する。
【００２０】
記憶部２０は、メモリ１１１および外部記憶装置１２０によりその機能を実現され、各種のデータベース、テーブル、およびファイルなどを格納する。記憶部２０には、ＯＳと協働して制御部１０に命令を与えて各種処理を行うためのコンピュータプログラムが記録される。これらのコンピュータプログラムは、ウェブサイト提供に用いる各種のプログラムや、物件画像分類サービスのサービスとして提供される機能を実現するプログラムである。
【００２１】
例えば、物件画像分類装置１００が備える処理機能、特に制御部１０にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。なお、プログラムは、本実施例で説明する処理をＣＰＵに実行させるためのプログラム化された命令を含む一時的でないコンピュータ読み取り可能な記録媒体に記録されていてもよく、必要に応じて媒体駆動装置１２２を介して物件画像分類装置１００に読み取られる。記録媒体とは、ＤＶＤ等の任意の「可搬用の物理媒体」を含むものとする。したがって、本明細書で説明する処理または処理方法を実行するためのプログラムを格納した記録媒体もまた本発明を構成することとなる。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部１０を構成する。
【００２２】
また、プログラムは、物件画像分類装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。また、「プログラム」とは、任意の言語または記述方法にて記述されたデータ処理方法であり、ソースコードまたはバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、上述した各装置において記録媒体を読み取るための具体的な構成および読み取り手順ならびに読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【００２３】
また、物件画像分類装置１００は、既知のパーソナルコンピュータまたはワークステーション等の情報処理装置として構成してもよく、また、任意の周辺装置が接続された当該情報処理装置として構成してもよい。また、物件画像分類装置１００は、上述したように処理を実現させるソフトウェア（プログラムまたはデータ等を含む）を実装することにより実現してもよい。物件画像分類装置１００の具体的形態は図示するものに限られず、その全部または一部を、機能の負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００２４】
通信装置１３０は、ネットワーク３００を介して端末２００からデータ等を受信して演算装置１１０へ送り、演算装置１１０が生成したデータ等を、ネットワーク３００を介して端末２００へ送信する。通信装置１３０は、ネットワーク３００を介して端末２００と繋がるためのネットワークインターフェースであり、より具体的には、たとえばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等の通信デバイスである。
【００２５】
入力装置１５０と出力装置１４０は、入出力インターフェイスを介して演算装置１１０により制御される。演算装置１１０は、入力装置１５０からデータ等を取得し、出力装置１４０に対して生成したデータ等を出力する。入力装置１５０は、典型的にはキーボードやマウス、タッチパネルなどのサーバに直接ローカル接続された装置であるが、ネットワーク３００を経由してリモートからアクセスして物件画像分類装置１００を操作する装置であってもよい。出力装置１４０は、同様に、典型的にはディスプレイやプリンタなどのサーバに直接ローカル接続された装置であるが、ネットワーク３００を経由してリモート接続された装置であってもよい。
【００２６】
なお、本明細書において、「出力する」とは、演算装置１１０が演算装置１１０以外の装置に出力することを含むものとする。たとえば、「出力する」とは、演算装置１１０（制御部１０）が伝送路１０１および通信装置１３０を経由して端末２００が接続されたネットワーク３００に出力すること、演算装置１１０（制御部１０）が伝送路１０１および出力装置１４０を経由してリモートの装置に出力すること、また、演算装置１１０（制御部１０）が伝送路１０１を経由して外部記憶装置１２０や書き込み可能な記録媒体がロードされた媒体駆動装置１２２に出力することなどを含む。
【００２７】
図２を参照して、物件画像分類装置１００の機能について説明する。物件画像分類装置１００は、端末２００とネットワーク３００を介して通信を行う通信部３０と、通信部３０を介して端末２００との画像のやり取りや画像に関する処理を行う制御部１０と、制御部１０が処理する画像を記憶する記憶部２０とを備える。制御部１０は、端末２００から通信部３０を介して物件に関連する画像を受け付ける画像受付１１部と、画像受付部１１が受け付けた画像を所定のカテゴリに分類する分類器１３と、分類器１３により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別器１４と、物件の画像と共に、判別器１４が判別した当該画像の品質のスコアを通信部３０を介して端末２００に出力する出力部１５と、出力部１５が出力したものに対して端末２００から通信部３０を介して応答を受け付ける応答受付部１２と、を備える。記憶部２０は、外部記憶装置１２０から構成され、画像受付部１１が受け付けた画像を記憶する画像記憶部２１を備える。
【００２８】
画像受付部１１は、賃貸または販売するための不動産物件に関連する画像を受け付ける。不動産物件に関連する画像とは、賃貸するためのアパートや販売するためのマンションや戸建てなどの不動産物件に関する写真の画像であって、その不動産物件の室内の写真では、たとえば、リビングルーム、ダイニングルーム、リビングダイニングルーム、玄関、ベランダ、クローゼット、和室、押し入れ、バス、トイレ、インテリア、収納設備、水回り設備、ロビーなどの共用スペースなどであり、室外の写真では、たとえば、ガレージ、庭、門、エクステリア、植栽、建物の外観、近傍の施設や公園などである。これらの写真画像は、賃貸または販売するために魅力的に写った見栄えの良い写真であることが重要である。画像受付部１１は、ユーザが操作する端末２００からアップロードされる画像を通信部３０を介して受信し、直接後述する分類器１３に入力してもよいし、記憶部２０の画像記憶部２１に格納してもよい。
【００２９】
分類器１３は、機械学習により学習させることにより、画像受付部１１が受け付けた写真画像または画像記憶部２１に記憶された写真画像を所定のカテゴリに分類する。分類器１３の分類方法は様々な機械学習手法を適用できるが、以下では図９を参照し、例えば機械学習アルゴリズムに深層学習（ディープラーニング）を適用した例を説明する。分類器１３は、２次元の画像データを１ピクセルごとの色情報（色調や階調）に分解し、１ピクセルのそれぞれに対応した入力層に画像を入力すると、出力層においてその画像が何を写した画像なのかに分類して出力するように設計されている。
【００３０】
図示する例では、不動産物件に関する写真の画像を入力層に入力すると、出力層において「リビング」、「ダイニング」、「和室」、「玄関」、「クローゼット」、「バス」、「トイレ」の８つのカテゴリ（対象物や場所）を分類し、それぞれの分類に該当する確率を示す。本図の例では、この画像は、リビングの画像である確率が８１％、ダイニングの画像である確率が２２％として判定したので、概ねリビングの画像であると分類される。
【００３１】
分類器１３における分類処理は、分類器１３のニューラルネットワークの学習フェーズにおける学習内容に基づくものであり、分類器１３のニューラルネットワークは、不動産物件に関する写真画像とその画像に写されたカテゴリとの相関を表す特徴量を学習している。分類器１３の学習フェーズでは、上記のように設計された多層ニューラルネットワークが物件画像分類装置１００上でソフトウェア的に実装された後、記憶部２０に保存した多数の分類器１３の学習用データセットを用いていわゆる教師あり学習により分類器１３に学習させる。分類器１３の学習用データセットは、各カテゴリを写した写真画像（本例では８つのそれぞれのカテゴリを写した写真画像）と、ぞれぞれの画像に写されたカテゴリとを対応付けて１つの学習用データセットとして作成する。そして、各カテゴリについて、このような学習用データセットを多様な写真画像で多数作成する。
【００３２】
本実施例における分類器１３の学習フェーズでは、不動産物件に関する写真画像を入力データとし、その分類を示す出力データとした組み合わせの教師データを用いて、分類器１３の多層ニューラルネットワークの入力層と出力層の間の中間層において両者の関係性が成立するように各ノードどうしを繋ぐ各リンクの重み係数を調整する。調整方法は、特に限定されない。たとえば、バックプロパゲーション、オートエンコーダ、ボルツマンマシンなどの公知の多様な学習手法を併用して処理精度を向上させてもよい。なお、分類器１３における不動産物件に関連する写真画像を分類するアルゴリズムは、例示した多層ニューラルネットワーク以外にも、たとえば、サポートベクトルマシンやベイジアンネットワーク等を利用した他のアルゴリズムを適用してもよい。その場合でも、入力した写真画像から写されたカテゴリを分類して出力するという基本的な構成については同じである。
【００３３】
なお、分類器１３は、所定のカテゴリに分類されるべき第一教師画像と、所定のカテゴリに分類されるべきではない第二教師画像により学習されることが好ましい。たとえば、「ダイニング」に分類されるべき写真画像（第一教師画像）を正解として「ダイニング」カテゴリと対応付けて学習させると共に、「ダイニング」に分類されるべきではないたとえば「リビング」の写真画像（第二教師画像）を不正解として「ダイニング」カテゴリと対応付けて学習させる。このように所定のカテゴリに分類されるべき教師画像とそうではない教師画像の両方を用いて分類器１３を学習させることで、分類上相紛らわしい被写体が写った画像でも正しいカテゴリに分類することができる。
【００３４】
また、分類器１３は、ほぼ同数の「ダイニング」に分類されるべき写真画像（第一教師画像）と「ダイニング」に分類されるべきではないたとえば「リビング」の写真画像（第二教師画像）を使用して学習させると好ましい。すなわち、分類器１３は、ほぼ同数の正解データセットと不正解データセットを使用して学習させることが好ましい。このように、ほぼ同数の所定のカテゴリに分類されるべき教師画像とそうではない教師画像により分類器１３を学習させることで、より正確な分類をすることができる。
【００３５】
上述したように、物件画像分類装置１００では、分類器１３が機械学習プロセス（深層学習および他の機械学習）での学習内容に基づいて不動産物件に関する写真画像を正確にどのカテゴリに分類されるべき画像なのかを分類できる。このような画像を所定のカテゴリに分類する分類器１３を備えることで、類似しているが異なるカテゴリに分類されるべき被写体が写った画像を正しいカテゴリに分類する物件画像分類装置１００を提供することができる。
【００３６】
判別器１４は、分類器１３により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する。判別器１４は、たとえば、分類器１３が「リビング」が被写体となった画像を正しく「リビング」カテゴリに分類した画像に対して「リビング」カテゴリにおける画像としてその品質を、たとえば、Ａランク、Ｂランク、Ｃランクといったように判別する。なお、Ａランク、Ｂランク、Ｃランクとは、それぞれ、販売や賃貸する不動産物件を紹介することを目的とした画像として使用する場合、最も相応しい、相応しい、相応しくないといった品質を示すものである。不動産物件の販売や賃貸を目的として画像を掲載するウェブサイトにおいて、その画像がリビングとして魅力的に写っているか、その見栄え、映り込みの有無などといった、当該目的に適合した品質を有しているか否かは掲載するに当たって重要なポイントとなる。判別器１４は、この観点において重要な役割を果たす。
【００３７】
判別器１４は、分類器１３と同様、機械学習により学習させることにより、分類器１３が分類した写真画像またはその写真画像を一旦画像記憶部２１に記憶された写真画像を判別する。判別器１４の判別方法は、分類器１３と同様、様々な機械学習手法を適用できるが、以下では図１０を参照し、機械学習アルゴリズムに深層学習を適用した例を説明する。なお、重複記載を避けるため、分類器１３と同様な点は説明を省略する。判別器１４は、２次元の画像データを１ピクセルごとの色情報に分解し、１ピクセルのそれぞれに対応した入力層に画像を入力すると、出力層においてその画像が販売等の目的に適合した品質を有しているか否か判別して出力するように設計されている。
【００３８】
図示する例では、不動産物件に関する写真の画像を入力層に入力すると、出力層において、各カテゴリにで「Ａランク」、「Ｂランク」、「Ｃランク」の３つのランク（品質）を判別し、それぞれの判別結果に該当する確率を示す。本図の例では、この画像は、「リビング」の画像に分類されたが、その「リビング」カテゴリにおけるこの画像のランク（品質）として、「Ａランク」である確率が８０％、「Ｂランク」である確率が１９％、「Ｃランク」である確率が１％として判定した。そこで、この画像は、概ね「リビング」カテゴリにおいてはＡランクとして、すなわち当該目的に合致した品質の良い画像であると判別される。
【００３９】
判別器１４における判別処理は、判別器１４のニューラルネットワークの学習フェーズにおける学習内容に基づくものであり、判別器１４のニューラルネットワークは、不動産物件に関する写真画像とその画像のカテゴリにおける品質との相関を表す特徴量を学習している。判別器１４の学習フェーズでは、分類器１３と同様、学習用データセットを用いていわゆる教師あり学習により判別器１４に学習させる。判別器１４の学習用データセットは、各カテゴリを写した写真画像（本例では３つのそれぞれの品質の写真画像）と、ぞれぞれの画像の品質とを対応付けて１つの学習用データセットとして作成する。
【００４０】
本実施例における判別器１４の学習フェーズでは、不動産物件に関する写真画像を入力データとし、その品質を示す出力データとした組み合わせの教師データを用いて、判別器１４の多層ニューラルネットワークの入力層と出力層の間の中間層において両者の関係性が成立するように各ノードどうしを繋ぐ各リンクの重み係数を調整する。調整方法は、特に限定されない。
【００４１】
出力部１５は、画像受付部１１が受け付けた画像と、その画像について分類器１３が分類したカテゴリと、その画像について判別器１４が判別した画像の品質のスコアを、通信部３０を介して端末２００に対して出力する。品質のスコアとは、上述したように判別器１４が判別したランク自体（最も確率の大きかったランクや確率を伴ったすべてのランク）であってもよいし、ランクを数値化しその平均値を示すものであってもよく、画像の品質の良さ／悪さを示すものであればよい。図８は、出力部１５が出力した表示例であるが、この表示例では、「リビング」カテゴリに分類された画像において、「Ａランク」、「Ｂランク」、「Ｃランク」のそれぞれの確率が示されている。
【００４２】
このように、画像を所定のカテゴリに分類する分類器１３と分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器１４と備えることで、物件を紹介するに当たっては異なるカテゴリに分類されるべきだが類似した被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類装置１００を提供することができる。
【００４３】
物件画像分類装置１００は、出力部１５が出力したものに対して応答を受け付ける応答受付部１２をさらに備えてもよい、この場合、出力部１５は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が画像が正しく分類されたか否かについて評価できるように出力する。たとえば、出力部１５は、図７に示すように、「リビング」カテゴリに分類された３枚の画像を表示すると共に、それぞれ画像が本当に「リビング」を被写体とした画像か否かを評価できるように出力表示している。この出力表示に対して使用者が評価後に送信ボタンをクリックすることにより、使用者は、左と中央の画像は「リビング」カテゴリに分類されるべき画像であると指示し、逆に右の画像は「リビング」カテゴリに分類すべきではない画像として指示している。
【００４４】
応答受付部１２は、使用者の評価が分類器１３が分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として分類器１３を学習させる。そうすると、図９に示した多層ニューラルネットワークの各ノードどうしを繋ぐ各リンクの重み係数が再度調整され、これを繰り返していくと、徐々に間違ったカテゴリ分類を少なくし、正しいカテゴリ分類を多くしていくことが可能になり、より正確な分類が可能となる。
【００４５】
また、出力部１５は、カテゴリ毎に画像と当該画像の品質のスコアを出力する際、使用者が品質のスコアを評価できるよう出力する。たとえば、出力部１５は、図８に示すように、「リビング」カテゴリに分類された３枚の画像とその画像について判別器１４が判別した画像の各ランクの確率（品質のスコア）を表示すると共に、使用者からすればそれぞれ画像がどのランクに属するべき画像であったのかを評価することできるように出力表示する。この出力表示に対して使用者が評価後に送信ボタンをクリックすることにより、使用者は、左と中央の画像は、判別器１４の結果通り「Ａランク」に分類されるべき画像であると指示し、逆に右の画像は判別器１４の判別結果は間違っているとして指示している。応答受付部１２は、使用者の評価に基づき判別器１４を再度学習させる。なお、本図の評価のやり方は例示であり、このやり方に限定されず、たとえば、使用者が出力された画像を単に選択することで品質の良い画像であると評価することとしてもよい。
【００４６】
判別器１４は、この再学習により、使用者の評価が判別器１４が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として学習する。そうすると、図１０に示した多層ニューラルネットワークの各ノードどうしを繋ぐ各リンクの重み係数が再度調整され、これを繰り返していくと、徐々に画像に対する正しい品質判別を多くしていくことが可能になり、物件を紹介するのに適切な品質を有している画像を掲載することを支援できる。
【００４７】
上述したことは、分類器１３と判別器１４の学習済みモデルをさらに学習させる方法でもある。図４を参照し、分類器１３と判別器１４の学習済みモデルを再学習させる方法を説明する。なお、図においてＳはステップを意味する。制御部１０は、Ｓ１００において、使用者の指示により、所定のカテゴリに分類されるべき複数の第一教師画像と、所定のカテゴリに分類されるべきではない複数の第二教師画像により分類器１３と判別器１４を学習させ、学習済みモデルを作成する。
【００４８】
制御部１０の画像受付部１１は、Ｓ１０２において、通信部３０を介して使用者の端末２００から分類する不動産物件に関する画像を受け付ける。分類器１３は、Ｓ１０４において、画像受付部１１が受け付けた画像をリビングやダイニングなどのカテゴリに分類する。判別器１４は、Ｓ１０６において、分類器１３が分類した画像について、その画像が分類されたカテゴリにおける画像の品質、たとえば「Ａランク」に該当するのか否かを判別する。
【００４９】
図６に例示するように、この段階で、画像記憶部２１には、受け付けた画像毎に初期分類カテゴリと初期品質スコアが記憶される。たとえば、画像ＩＤがＰ０００１の画像は、初期分類カテゴリが「ダイニング」で、初期品質スコアが「Ａランク」として記憶される。また、画像ＩＤがＰ０００２の画像は、初期分類カテゴリが「ダイニング」で、初期品質スコアが「Ｂランク」として記憶される。また、画像ＩＤがＰ０００３の画像は、初期分類カテゴリが「アパート」で、初期品質スコアが「Ａランク」として記憶される。また、画像ＩＤがＰ０００４の画像は、初期分類カテゴリが「タウンハウス」で、初期品質スコアが「Ｂランク」として記憶される。
【００５０】
出力部１５は、Ｓ１０８において、分類器１３がカテゴリ毎に分類した画像と判別器１４が判別した品質のスコアを使用者が評価できるように通信部３０を介して端末２００に出力する。使用者は、端末２００の出力表示（たとえば図７や図８に例示される出力表示）に対して、出力した画像に対する評価を図７および図８で例示したように入力する。画像受付部１１は、Ｓ１１０において、通信部３０を介して使用者の端末２００から使用者による画像の分類と品質の判別に対する評価を受け付け、画像記憶部２１に記憶する。
【００５１】
この段階で、画像記憶部２１には、正しく分類された画像および正しい品質スコアを判別された画像については、修正分類カテゴリおよび修正品質スコアは、初期分類カテゴリおよび初期品質スコアと同じものを記憶する。一方、使用者による評価が初期分類カテゴリおよび初期品質スコアと異なっていた場合には、画像受付部１１は、修正分類カテゴリおよび修正品質スコアに使用者が入力したカテゴリおよびスコアを記憶する。
【００５２】
たとえば、図６に例示するように、画像ＩＤがＰ０００１の画像は、初期分類カテゴリが「ダイニング」で、初期品質スコアが「Ａランク」であったが、使用者がこの画像は正しくは「リビング」で、品質スコアは「Ｂランク」であると評価したので、修正分類カテゴリおよび修正品質スコアは、それぞれ「リビング」および「Ｂランク」が記憶される。同様に、画像ＩＤがＰ０００２の画像は、初期分類カテゴリが「ダイニング」で、初期品質スコアが「Ｂランク」であったが、使用者がこの画像は「ダイニング」でよいが、品質スコアは「Ａランク」であると評価したので、修正分類カテゴリには初期分類カテゴリと同じの「ダイニング」、一方修正品質スコアには「Ａランク」が記憶される。また、画像ＩＤがＰ０００３の画像は、初期分類カテゴリが「アパート」で、初期品質スコアが「Ａランク」であったが、使用者がこの画像の品質スコアは「Ａランク」でよいが、分類カテゴリは「タウンハウス」であると評価したので、修正品質スコアには初期品質スコアと同じの「Ａランク」、一方修正分類カテゴリには「タウンハウス」が記憶される。
【００５３】
制御部１０は、Ｓ１１２において、評価が異なっていた画像を使用者の評価したカテゴリ（修正分類カテゴリ）と対応付けて第一教師画像として分類器１３を再度学習させる。また、評価が異なっていた画像を初期のカテゴリと対応付けて第二教師画像として分類器１３を再度学習させてもよい。また、評価が同一だった画像を初期のカテゴリと対応付けて第一教師画像として分類器１３を再度学習させてもよい。また、制御部１０は、Ｓ１１４において、評価が異なっていた画像を、使用者の評価した品質（修正品質スコア）と対応付けて再度学習させる。
【００５４】
上記をまとめると、分類器１３と判別器１４の学習済みモデルをさらに学習させる方法は、賃貸または販売するための物件に関連する画像を所定のカテゴリに分類する分類器１３と、分類器１３により分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器１４を学習させる方法であって、所定のカテゴリに分類されるべき第一教師画像と所定のカテゴリに分類されるべきではない第二教師画像により分類器１３と判別器１４を学習させる第一学習工程と、物件に関連する画像を受け付ける第一受付工程と、第一受付工程で受け付けた画像を第一学習工程で学習させた分類器１３が所定のカテゴリに分類する分類工程と、分類工程で分類された画像に対して、判別器１４が所定のカテゴリにおける当該画像の品質を判別する判別工程と、分類器１３がカテゴリ毎に分類した画像と判別器１４が判別した品質のスコアを使用者が評価できるように出力する出力工程と、出力工程で出力した画像に対して使用者の評価を受け付ける第二受付工程と、第二受付工程で受け付けた評価が分類工程で分類したカテゴリと異なっていた画像を使用者の評価と対応付けて第一教師画像として分類器１３を学習させ、第二受付工程で受け付けた評価が判別工程で判別した品質と異なっていた画像を使用者の評価と対応付けて判別器１４を学習させる第二学習工程と、を含む方法である。
【００５５】
これによれば、２つの分類学習工程と共に、使用者の評価が判別器１４が判別した品質と異なっていた画像を使用者の評価と対応付けて第一教師画像として学習させる判別学習工程を有することで、賃貸または販売するための不動産物件に関連する画像を所定のカテゴリに分類する分類器１３と、分類器１３により分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別器１４を効率的に学習させることができる。
【００５６】
また、上述したことは、賃貸または販売するための不動産物件に関連する画像を分類する物件画像分類方法でもある。図５を参照し、物件画像分類方法を説明する。制御部１０の画像受付部１１は、Ｓ２００において、通信部３０を介して使用者の端末２００から分類する不動産物件に関する画像を受け付ける。分類器１３は、Ｓ２０２において、画像受付部１１が受け付けた画像を所定のカテゴリに分類する。判別器１４は、Ｓ２０４において、分類器１３が分類した画像について、その画像が分類されたカテゴリにおける画像の品質に該当するのか否かを判別する。出力部１５は、Ｓ２０６において、分類器１３がカテゴリ毎に分類した画像と判別器１４が判別した品質のスコアを通信部３０を介して端末２００に出力する。
【００５７】
上記をまとめると、賃貸または販売するための不動産物件に関連する画像を分類する物件画像分類方法は、物件に関連する画像を受け付け、受け付けた画像を所定のカテゴリに分類し、分類された画像に対して、所定のカテゴリにおける画像の品質を判別し、画像と共に、判別した当該画像の品質のスコアを出力する方法である。このように、画像を所定のカテゴリに分類すると共に分類された画像に対して所定のカテゴリにおける画像の品質を判別することで、紛らわしい被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類方法を提供することができる。
【００５８】
また、上述した物件画像分類方法をコンピュータに実行させるためのプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部１０を構成する。このプログラムは、賃貸または販売するための不動産物件に関連する画像を分類する物件画像分類システム１（物件画像分類装置１００）において実行可能なプログラムであって、当該システムを、物件に関連する画像を受け付ける画像受付手段と、画像受付手段により受け付けた画像を所定のカテゴリに分類する分類手段と、分類手段により分類された画像に対して、所定のカテゴリにおける画像の品質を判別する判別手段と、画像と共に、判別手段により判別された当該画像の品質のスコアを出力する出力手段と、として機能させるプログラムである。
【００５９】
このように、画像を所定のカテゴリに分類する分類手段と分類された画像に対して所定のカテゴリにおける画像の品質を判別する判別手段と備えることで、紛らわしい被写体が写った画像を正しいカテゴリに分類すると共に、画像が物件を紹介するのに適切な品質を有しているか否かを判別する物件画像分類方法を情報処理システムにおいて実行可能なプログラムを提供することができる。
【００６０】
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
【符号の説明】
【００６１】
１        物件画像分類システム
１００    物件画像分類装置
１０      制御部
１１      画像受付部
１２      応答受付部
１３      分類器
１４      判別器
１５      出力部
２０      記憶部
２１      画像記憶部
２００    端末
３００    ネットワーク
【図１】
2020112905.tif 000003
【図２】
2020112905.tif 000004
【図３】
2020112905.tif 000005
【図４】
2020112905.tif 000006
【図５】
2020112905.tif 000007
【図６】
2020112905.tif 000008
【図７】
2020112905.tif 000009
【図８】
2020112905.tif 000010
【図９】
2020112905.tif 000011
【図１０】
2020112905.tif 000012