(57)【要約】  画像解析装置は、解析対象の対象画像を表わす対象画像データを取得し、対象画像データを走査して、第１方向に沿って並ぶｍ個の部分画像と、第２方向に沿って並ぶｎ個の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定し、（ｍ×ｎ）個の部分画像とメモリ内の第１の物体データとを利用して、第１の確率データ（５０４）を生成し、対象画像データを縮小して、縮小画像データ（Ｒ，Ｇ，Ｂ）を生成する。そして、画像解析装置は、Ｋ個のチャネルに対応するＫ個のチャネルデータとして縮小画像データ（Ｒ，Ｇ，Ｂ）を利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして第１の確率データ（５０４）を利用して、畳み込みニューラルネットワークに従った画像解析を実行し、画像解析の結果を出力する。
2019082283.tif 000002
【特許請求の範囲】
【請求項１】
画像解析装置であって、  第１の物体を表わす第１の物体データを記憶するメモリと、  解析対象の対象画像を表わす対象画像データを取得する取得部であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得部と、  前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定部と、  前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第１の物体データとを利用して、第１の確率データを生成する第１の生成部であって、前記第１の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記第１の生成部と、  前記対象画像データを縮小して、縮小画像データを生成する縮小部であって、前記縮小画像データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含む、前記縮小部と、  前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析部と、  前記画像解析の結果を出力する出力部と、  を備える、画像解析装置。
【請求項２】
前記Ｋ個のチャネルは、ＲＧＢの３個のチャネルである、請求項１に記載の画像解析装置。
【請求項３】
前記メモリは、さらに、前記第１の物体とは異なる第２の物体を表わす第２の物体データを記憶し、  前記画像解析装置は、さらに、  前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第２の物体データとを利用して、第２の確率データを生成する第２の生成部であって、前記第２の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第２の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第２の物体を含む確率に関係する値を示す、前記第２の生成部を備え、  前記解析部は、前記Ｋ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第２の確率データを利用して、前記画像解析を実行する、請求項１又は２に記載の画像解析装置。
【請求項４】
前記第１の物体は、所定の細胞である、請求項１から３のいずれか一項に記載の画像解析装置。
【請求項５】
画像解析装置を実現するためのコンピュータプログラムであって、  前記コンピュータプログラムは、前記画像解析装置のコンピュータを、以下の各部、即ち、  解析対象の対象画像を表わす対象画像データを取得する取得部であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得部と、  前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定部と、  前記（ｍ×ｎ）個の部分画像と第１の物体を表わす第１の物体データとを利用して、第１の確率データを生成する第１の生成部であって、前記第１の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記第１の生成部と、  前記対象画像データを縮小して、縮小画像データを生成する縮小部であって、前記縮小画像データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含む、前記縮小部と、  前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析部と、  前記画像解析の結果を出力する出力部と、  として機能させる、コンピュータプログラム。
【請求項６】
画像解析方法であって、  解析対象の対象画像を表わす対象画像データを取得する取得工程であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得工程と、  前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定工程と、  前記（ｍ×ｎ）個の部分画像と第１の物体を表わす第１の物体データとを利用して、第１の確率データを生成する第１の生成工程であって、前記第１の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記第１の生成工程と、  前記対象画像データを縮小して、縮小画像データを生成する縮小工程であって、前記縮小画像データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含む、前記縮小工程と、  前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析工程と、  前記画像解析の結果を出力する出力工程と、  を備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本明細書では、畳み込みニューラルネットワークに従った画像解析を実行する画像解析装置を開示する。
【背景技術】
【０００２】  従来から、画像解析装置を利用した画像解析が知られている（例えば、特開２００１−５９８４２号公報、特開２０１０−２８１６３６号公報、特開２００４−２８６６６６号公報、特表２０１１−５２７０５６号公報）。特に、特表２０１１−５２７０５６号公報では、畳み込みニューラルネットワークに従った画像解析が実行される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】  画像解析を迅速に実行するために、例えば、解析対象の対象画像データを縮小して縮小画像データを生成し、縮小画像データを利用して畳み込みニューラルネットワークに従った画像解析を実行することが考えられる。しかしながら、縮小画像データを利用した画像解析では、解析精度が低下し得る。【０００４】  本明細書は、縮小画像データを利用した画像解析の解析精度を向上させることが可能な技術を開示する。【０００５】  本明細書によって開示される画像解析装置は、第１の物体を表わす第１の物体データを記憶するメモリと、解析対象の対象画像を表わす対象画像データを取得する取得部であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得部と、前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定部と、前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第１の物体データとを利用して、第１の確率データを生成する第１の生成部であって、前記第１の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記第１の生成部と、前記対象画像データを縮小して、縮小画像データを生成する縮小部であって、前記縮小画像データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含む、前記縮小部と、前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析部と、前記画像解析の結果を出力する出力部と、を備えてもよい。【０００６】  上記の構成によると、画像解析装置は、畳み込みニューラルネットワークに従った画像解析を実行する際に、Ｋ個のチャネルに対応するＫ個のチャネルデータとして縮小画像データを利用するのみならず、１個のチャネルに対応する１個のチャネルデータとして第１の確率データを利用する。これにより、画像解析装置は、縮小画像データを利用した画像解析において、第１の物体に関する解析精度を向上させることができる。【０００７】  前記Ｋ個のチャネルは、ＲＧＢの３個のチャネルであってもよい。この構成によると、画像解析装置は、ＲＧＢの３個のチャネルに対応する３個のチャネルデータとして縮小画像データを利用して、画像解析を実行することができる。【０００８】  前記メモリは、さらに、前記第１の物体とは異なる第２の物体を表わす第２の物体データを記憶してもよい。前記画像解析装置は、さらに、前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第２の物体データとを利用して、第２の確率データを生成する第２の生成部であって、前記第２の確率データは、前記第１方向の沿って並ぶｍ個のピクセルと、前記第２方向の沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第２の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第２の物体を含む確率に関係する値を示す、前記第２の生成部を備えてもよい。前記解析部は、前記Ｋ個のチャネルデータとして前記縮小画像データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第１の確率データを利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして前記第２の確率データを利用して、前記画像解析を実行してもよい。この構成によると、画像解析装置は、縮小画像データを利用した画像解析において、第１の物体に関する解析精度と、第２の物体に関する解析精度と、の双方を向上させることができる。【０００９】  前記第１の物体は、所定の細胞であってもよい。この構成によると、画像解析装置は、所定の細胞である第１の物体に関する解析精度を向上させることができる。【００１０】  本技術は、画像解析方法にも適用可能である。また、上記の画像解析装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。
【図面の簡単な説明】
【００１１】
【図１】画像解析装置のブロック図を示す。
【図２】対象画像と縮小画像の一例を示す。
【図３】従来の画像解析を説明するための説明図を示す。
【図４】確率データの生成処理を説明するための説明図を示す。
【図５】各細胞の確率データの一例を示す。
【図６】本実施例の画像解析を説明するための説明図を示す。
【００１２】（画像解析装置の構成：図１）  図１は、細胞を含む画像に対する画像解析を実行する画像解析装置１０の構成を示す。画像解析装置１０は、操作部１２と、表示部１４と、入力部１６と、制御部３０と、を備える。各部１２〜３０は、バス線（符号省略）に接続されている。操作部１２は、例えば、マウス、キーボード等を備える。ユーザは、操作部１２を操作することによって、様々な指示を画像解析装置１０に与えることができる。表示部１４は、様々な情報を表示するためのディスプレイである。【００１３】  入力部１６は、解析対象の対象画像を表わす対象画像データを画像解析装置１０に入力するための装置である。本実施例では、対象画像データは、複数個の細胞に対応する複数個の細胞オブジェクトを含む。入力部１６は、有線通信又は無線通信を実行するための通信インターフェースであってもよいし、ＵＳＢメモリ等が挿入されるメモリインターフェースであってもよい。例えば、入力部１６が、顕微鏡によって撮影される画像データ、スキャナによって撮影されるＷｈｏｌｅ  Ｓｌｉｄｅ  Ｉｍａｇｅ（バーチャルスライド）等を対象画像データとして格納するデバイスとの有線通信又は無線通信を実行して、当該デバイスから対象画像データを受信することによって、対象画像データが画像解析装置１０に入力されてもよい。また、例えば、入力部１６が、対象画像データを格納するメモリから対象画像データを読み出すことによって、対象画像データが画像解析装置１０に入力されてもよい。【００１４】  制御部３０は、ＣＰＵ３２と、メモリ３４と、を備える。ＣＰＵ３２は、メモリ３４に記憶されているプログラム３６，３８に従って様々な処理を実行する。メモリ３４は、画像解析装置１０の基本的な動作を実現するためのＯＳプログラム３６と、畳み込みニューラルネットワーク（以下では「ＣＮＮ（Convolutional Neural Networkの略）」と呼ぶ）に従った画像解析を実行するための解析プログラム３８と、を格納する。ここで、ＣＮＮに従った画像解析は、ＣＮＮを部分構造として有する大規模ネットワーク（例えば、ＧｏｏｇＬｅＮｅｔ（登録商標）、Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ等）に従った画像解析も含む概念である。例えば、汎用的なＰＣ、サーバ等に解析プログラム３８をインストールすることによって、画像解析装置１０が実現される。【００１５】  また、メモリ３４は、解析プログラム３８に従った画像解析を実行するための解析データ４０を格納する。解析データ４０は、解析プログラム３８を販売する販売者から提供されるデータであってもよいし、画像解析装置１０のユーザによって生成されるデータであってもよい。前者の場合、解析データ４０は、解析プログラム３８のインストールの際に、メモリ３４に格納される。後者の場合、解析データ４０は、解析プログラム３８のインストールの後に、画像解析装置１０のユーザによってメモリ３４に格納される。【００１６】  解析データ４０は、パターンデータ４２と、物体データ４４と、を含む。パターンデータ４２は、ＣＮＮに従った画像解析における畳み込み層で利用されるデータである。物体データ４４は、複数種類の細胞（例えば、癌細胞、リンパ球、正常上皮細胞等）のそれぞれについて、当���種類の細胞を示す細胞オブジェクトを含む画像を表わす物体データ４４ａ，４４ｂ等を含む。【００１７】（従来の画像解析：図２及び図３）  続いて、図２及び図３を参照して、従来の画像解析の内容を説明する。従来の画像解析では、まず、画像解析装置は、対象画像データを取得する。図２は、対象画像データによって表わされる対象画像５００の一例を示す。対象画像データは、横方向に沿って並ぶ８０２個のピクセルと、縦方向に沿って並ぶ８０２個のピクセルと、によって構成される（８０２×８０２）個のピクセルを含む。変形例では、対象画像データでは、横方向及び縦方向に沿って８０２個とは異なる数のピクセルが並んでいてもよい。また、横方向に沿って並ぶピクセル数と縦方向に沿って並ぶピクセル数とが異なっていてもよい。各ピクセルは、多階調（例えば２５６階調）のＲＧＢ値を示す。即ち、各ピクセルは、ＲＧＢの３個のチャネルに対応する３個の値（即ちＲＧＢ値）を示す。【００１８】  次いで、画像解析装置は、対象画像データを縮小して、縮小画像データを生成する。図２は、縮小画像データによって表わされる縮小画像５０２の一例を示す。縮小画像データは、横方向に沿って並ぶ４０個のピクセルと、縦方向に沿って並ぶ４０個のピクセルと、によって構成される（４０×４０）個のピクセルを含む。変形例では、縮小画像データでは、横方向及び縦方向に沿って４０個とは異なる数のピクセルが並んでいてもよい。また、横方向に沿って並ぶピクセル数と縦方向に沿って並ぶピクセル数とが異なっていてもよい。【００１９】  続いて、画像解析装置は、３個のチャネルに対応する３個のチャネルデータとして縮小画像データを利用して、以下の（１）〜（５）の処理を実行する。図３（Ｃ）に示されるように、（１）画像解析装置は、まず、縮小画像データに対して畳み込み層の処理を実行する。ここでの畳み込み層では、パターンデータ４２に含まれる３層パターンデータが利用される。図３（Ａ）は、３層パターンデータの一例を示す。３層パターンデータは、例えば癌細胞の特徴（例えばエッジ、テクスチャ）を検出するためのデータであり、Ｒ値に対応する１層のデータと、Ｇ値に対応する１層のデータと、Ｂ値に対応する１層のデータと、を含む。３層のデータのそれぞれは、横方向に沿って並ぶ３個のピクセルと、縦方向に沿って並ぶ３個のピクセルと、によって構成される（３×３）個のピクセルを含む。即ち、３層パターンデータは、（３×３×３）個のピクセルによって構成される。各ピクセルは、多階調（例えば２５６階調）の値を示す。図３（Ａ）では、各ピクセルの値を色の濃淡で表現している。画像解析装置は、縮小画像データに含まれる（３×３）個のピクセルを対象ピクセル群として特定し、当該対象ピクセル群に含まれる（３×３）個のＲ値と、３層パターンデータのうちのＲ値に対応する１層のデータに含まれる（３×３）個の値と、を比較する。同様に、画像解析装置は、Ｇ値、Ｂ値についても比較する。そして、画像解析装置は、ＲＧＢのそれぞれの比較の結果を利用して、対象ピクセル群と３層パターンデータとの間の一致率を算出する。一致率は、「０」〜「１」の範囲の値で表現される。画像解析装置は、縮小画像データから対象ピクセル群を順次特定して一致率を順次特定することによって、特定済みの各一致率が記述されている１次特徴マップ１０１を生成する。１次特徴マップ１０１は、横方向に沿って並ぶ４０個のピクセルと、縦方向に沿って並ぶ４０個のピクセルと、によって構成される（４０×４０）個のピクセルを含み、各ピクセルは一致率を示す。【００２０】  通常、１個の３層パターンデータのみならず、複数個の３層パターンデータが準備される。例えば、同じ細胞（例えば癌細胞）の異なる特徴（例えばエッジ、テクスチャ）に対応する複数個の３層パターンデータが準備されてもよい。また、例えば、複数種類の細胞の特徴（例えばエッジ、テクスチャ）に対応する複数個の３層パターンデータが準備されてもよい。画像解析装置は、複数個の３層パターンデータのそれぞれについて畳み込み層の処理を実行することによって、複数個の３層パターンデータに対応する複数個の１次特徴マップ１０１〜１０４を生成する。【００２１】  （２）画像解析装置は、生成済みの１次特徴マップ１０１に対してプーリング層の処理を実行する。具体的には、画像解析装置は、１次特徴マップ１０１に含まれる（２×２）個のピクセルを対象ピクセル群として特定し、当該対象ピクセル群（即ち４個の一致率）の中から最大の一致率を特定する。画像解析装置は、１次特徴マップ１０１から対象ピクセル群を順次特定して最大の一致率を順次特定することによって、特定済みの各一致率が記述されている縮小１次特徴マップ２０１を生成する。縮小１次特徴マップ２０１は、横方向に沿って並ぶ２０個のピクセルと、縦方向に沿って並ぶ２０個のピクセルと、によって構成される（２０×２０）個のピクセルを含む。画像解析装置は、他の１次特徴マップ１０２〜１０４についても同様の処理を実行することによって、複数個の１次特徴マップ１０１〜１０４に対応する複数個の縮小１次特徴マップ２０１〜２０４を生成する。なお、変形例では、最大の一致率に代えて、対象ピクセル群内の４個の一致率の平均値が記述されている縮小１次特徴マップが生成されてもよい。【００２２】  （３）画像解析装置は、生成済みの縮小１次特徴マップに対して畳み込み層の処理を実行する。ここでの畳み込み層では、パターンデータ４２に含まれる単層パターンデータが利用される。図３（Ｂ）は、単層パターンデータの一例を示す。単層パターンデータは、例えば癌細胞の特徴を表わすデータであり、横方向に沿って並ぶ３個のピクセルと、縦方向に沿って並ぶ３個のピクセルと、によって構成される（３×３）個のピクセルを含み、各ピクセルは「０」〜「１」の範囲の値で表現される。図３（Ｂ）では、各ピクセルの値を色の濃淡で表現している。画像解析装置は、縮小１次特徴マップ２０１に含まれる（３×３）個のピクセルを対象ピクセル群として特定し、当該対象ピクセル群に含まれる（３×３）個の一致率と、単層パターンデータに含まれる（３×３）個の値と、を比較する。そして、画像解析装置は、比較の結果を利用して、対象ピクセル群と単層パターンデータとの間の一致率を算出する。画像解析装置は、縮小１次特徴マップから対象ピクセル群を順次特定して一致率を順次算出することによって、算出済みの各一致率が記述されている中間���ップを生成する。また、画像解析装置は、他の縮小１次特徴マップ２０２〜２０４についても同様の処理を実行することによって、３個の中間マップを生成する。そして、画像解析装置は、生成済みの４個の中間マップを合成することによって、２次特徴マップ３０１を生成する。具体的には、２次特徴マップ３０１では、４個の中間マップの同じ位置に存在する４個のピクセルの値の平均値が記述されている。２次特徴マップ３０１は、横方向に沿って並ぶ２０個のピクセルと、縦方向に沿って並ぶ２０個のピクセルと、によって構成される（２０×２０）個のピクセルを含み、各ピクセルは一致率（即ち「０」〜「１」の範囲の値）を示す。【００２３】  通常、複数個の単層パターンデータが準備される。画像解析装置は、複数個の単層パターンデータのそれぞれについて畳み込み層の処理を実行することによって、複数個の単層パターンデータに対応する複数個の２次特徴マップ３０１〜３０６を生成する。【００２４】  （４）画像解析装置は、生成済みの２次特徴マップ３０１に対してプーリング層の処理を実行する。プーリング層の処理は、１次特徴マップ１０１に代えて２次特徴マップ３０１が利用される点を除いて、上記の（２）のプーリング層の処理と同様である。これにより、画像解析装置は、縮小２次特徴マップ４０１を生成する。縮小２次特徴マップ４０１は、横方向に沿って並ぶ１０個のピクセルと、縦方向に沿って並ぶ１０個のピクセルと、によって構成される（１０×１０）個のピクセルを含む。画像解析装置は、他の２次特徴マップ３０２〜３０６についても同様の処理を実行することによって、複数個の２次特徴マップ３０２〜３０６に対応する複数個の縮小２次特徴マップ４０２〜４０６を生成する。【００２５】  （５）画像解析装置は、出力層において、生成済みの複数個の縮小２次特徴マップ４０１〜４０６を利用して、画像解析の結果を出力する。本実施例では、２階の畳み込み層の処理と２回のプーリング層の処理とを経て出力層の処理が実行されるが、変形例では、縮小２次特徴マップ４０１〜４０６に対して、さらに、畳み込み層及びピーリング層の処理を実行した後に、出力層の処理が実行されてもよい。画像解析の結果は、例えば、対象画像データに含まれる複数種類の細胞オブジェクトのそれぞれの個数であってもよいし、各細胞の単位面積当たりの密度等であってもよい。また、画像解析装置は、出力された結果に基づいた学習を実行して、例えば、パターンデータ４２を変更することが可能である。【００２６】  上記のように、従来の画像解析では、画像解析の迅速化のために、対象画像データが縮小された縮小画像データを利用して、画像解析を実行する。ただし、図２に示すように、縮小画像５０２が対象画像５００と比較して物体の輪郭等が不鮮明になり得るので、解析精度が低下し得る。この問題を解消するために、本実施例では、従来の画像解析に加えて、以下の処理を実行する。【００２７】（本実施例の画像解析：図４〜図６）  続いて、図４〜図６を参照して、本実施例の画像解析装置１０のＣＰＵ３２が解析プログラム３８に従って実行する画像解析の内容を説明する。まず、図４を参照して、ＣＰＵ３２が確率データを生成する生成処理を説明��る。ＣＰＵ３２は、入力部１６に入力される対象画像データを取得する。次いで、ＣＰＵ３２は、以下のようにして確率データを生成する。【００２８】（確率データの生成処理；図４）  まず、ＣＰＵ３２は、対象画像データによって表わされる対象画像５００から第１の部分画像５１０を特定する。第１の部分画像５１０は、横方向に沿って並ぶ１００個のピクセルと、縦方向に沿って並ぶ１００個のピクセルと、によって構成される（１００×１００）個のピクセルを含む。次いで、ＣＰＵ３２は、第１の部分画像５１０から右方向に１８ピクセル移動して、対象画像５００から第２の部分画像５２０を特定する。第２の部分画像５２０も、横方向に沿って並ぶ１００個のピクセルと、縦方向に沿って並ぶ１００個のピクセルと、によって構成される（１００×１００）個のピクセルを含む。同様にして、ＣＰＵ３２は、対象画像５００を右方向に走査することによって、横方向に沿って並ぶ４０個の部分画像を順次特定する。ＣＰＵ３２は、最も右側の部分画像を特定すると、第１の部分画像５１０から下方向に１８ピクセル移動して、対象画像５００から次の部分画像を特定する。そして、上記と同様にして、ＣＰＵ３２は、当該部分画像から右方向に走査することによって、横方向に沿って並ぶ４０個の部分画像を順次特定する。ＣＰＵ３２は、これを繰り返すことによって、横方向に沿って並ぶ４０個の部分画像と、縦方向に沿って並ぶ４０個の部分画像と、によって構成される（４０×４０）個の部分画像を順次特定する。ここで、横方向に沿って並ぶ部分画像の数（即ち４０）、縦方向に沿って並ぶ部分画像の数（即ち４０）は、それぞれ、縮小画像データ（上記の図２の５０２参照）の横方向のピクセル数、縦方向のピクセル数に一致する。そして、変形例では、部分画像の数と縮小画像データのピクセル数が一致するのであれば、これらの数は「４０」以外であってもよい。【００２９】  次いで、ＣＰＵ３２は、癌細胞を表わす物体データ４４ａを利用して、特定済みの各部分画像が癌細胞を含む確率を算出する。当該確率は「０」から「１」の範囲内の値で表現され、部分画像が癌細胞を含む確率が高いほど「１」に近い値となる。なお、変形例では、当該確率は、「０％」から「１００％」の範囲内の値で表現されてもよい。また、別の変形例では、部分画像が癌細胞を含む確率が高いほど「０」に近い値となってもよい。即ち、確率に関係する値が算出されればよい。【００３０】  例えば、ＣＰＵ３２は、第１の部分画像５１０が癌細胞を含む確率として「０．３」を算出し、第１の部分画像５１０に対応するピクセル５１２の値として確率「０．３」を記述する。同様にして、ＣＰＵ３２は、第２の部分画像５２０が癌細胞を含む確率として「０．８」を算出し、第２の部分画像５２０に対応するピクセル５２２の値として確率「０．８」を記述する。同様にして、ＣＰＵ３２は、他の部分画像についても確率を算出し、算出済みの各確率が記述されている確率データ５０４を生成する。確率データ５０４は、横方向の沿って並ぶ４０個のピクセルと、縦方向の沿って並ぶ４０個のピクセルと、によって構成される（４０×４０）個のピクセルを含む。図４の確率データ５０４では、各確率の値をピクセルの濃淡で表現しており、確率が高い程（即ち「１」に近づく程）、ピクセルが白くなる。図５は、癌細胞に対応する確率データ５０４の一例を示す。図５でも、確率が高い程、ピクセルが白くなる。なお、上記の生成処理は、ＣＮＮに限らず、サポートベクターマシン、決定木等に従って実行されてもよい。【００３１】  ＣＰＵ３２は、さらに、リンパ球を表わす物体データ４４ｂを利用して、上記と同様に、確率データ５０６（図５参照）を生成する。また、ＣＰＵ３２は、さらに、正常上皮細胞を表わす物体データ（図示省略）を利用して、上記と同様に、確率データ５０８を生成する。【００３２】（本実施例の画像解析：図６）  続いて、図６を参照して、本実施例の画像解析の内容を説明する。本実施例の画像解析は、最初の畳み込み層における処理が、図３の（１）の従来の画像処理とは異なる。具体的には、ＣＰＵ３２は、ＲＧＢの３個のチャネルに対応する３個のチャネルデータとして縮小画像データを利用する点は従来の画像処理と同様であるが、さらに、１個のチャネルに対応する１個のチャネルデータとして確率データ５０４を利用して、畳み込み層の処理を実行する。ＣＰＵ３２は、さらに、１個のチャネルに対応する１個のチャネルデータとして確率データ５０６を利用すると共に、１個のチャネルに対応する１個のチャネルデータとして確率データ５０８を利用して、畳み込み層の処理を実行する。【００３３】  具体的には、ＣＰＵ３２は、まず、従来の画像処理と同様に、対象画像データを縮小して、縮小画像データを生成し、次いで、図６の（１）〜（５）の各処理を実行する。（１）ＣＰＵ３２は、生成済みの縮小画像データのみならず、３個の確率データ５０４，５０６，５０８を３個のチャネルデータとして利用して、畳み込み層の処理を実行する。ここでの畳み込み層では、パターンデータ４２内に含まれる６層パターンデータが利用される。図６（Ａ）は、６層パターンデータの一例を示す。６層パターンデータは、Ｒ値に対応する１層のデータと、Ｇ値に対応する１層のデータと、Ｂ値に対応する１層のデータと、癌細胞が存在する確率Ｐ１に対応する１層のデータと、リンパ球が存在する確率Ｐ２に対応する１層のデータと、正常上皮細胞が存在する確率Ｐ３に対応する１層のデータと、を含む。６層のデータのそれぞれは、横方向に沿って並ぶ３個のピクセルと、縦方向に沿って並ぶ３個のピクセルと、によって構成される（３×３）個のピクセルを含む。即ち、６層パターンデータは、（３×３×６）個のピクセルによって構成される。【００３４】  ＣＰＵ３２は、縮小画像データに含まれる（３×３）個のピクセルを対象ピクセル群として特定し、当該対象ピクセル群に含まれる（３×３）個のＲ値と、３層パターンデータのうちのＲ値に対応する１層のデータに含まれる（３×３）個の値と、を比較する。同様に、ＣＰＵ３２は、Ｇ値、Ｂ値についても比較する。また、ＣＰＵ３２は、癌細胞に対応する確率データ５０４に含まれる（３×３）個のピクセルを対象ピクセル群として特定し、当該対象ピクセル群に含まれる（３×３）個の値と、６層パターンデータのうちの確率Ｐ１に対応する１層のデータに含まれる（３×３）個の値と、を比較する。同様に、ＣＰＵ３２���、リンパ球及び正常上皮細胞に対応する確率データ５０６，５０８についても比較する。そして、ＣＰＵ３２は、それぞれの比較の結果を利用して、対象ピクセル群と６層パターンデータとの間の一致率を算出する。ＣＰＵ３２は、縮小画像データ及び確率データ５０４，５０６，５０８から対象ピクセル群を順次特定して一致率を順次特定することによって、特定済みの各一致率が記述されている１次特徴マップ６０１を生成する。１次特徴マップ６０１は、横方向に沿って並ぶ４０個のピクセルと、縦方向に沿って並ぶ４０個のピクセルと、によって構成される（４０×４０）個のピクセルを含み、各ピクセルは一致率を示す。パターンデータ４２が複数個の６層パターンデータを含むので、ＣＰＵ３２は、複数個の６層パターンデータのそれぞれについて畳み込み層の処理を実行することによって、複数個の６層パターンデータに対応する複数個の１次特徴マップ６０１〜６０４を生成する。【００３５】  （２）〜（５）の処理は、複数個の１次特徴マップ６０１〜６０４が利用される点を除いて、図３の（２）〜（５）と同様である。即ち、（２）複数個の１次特徴マップ６０１〜６０４に対してプーリング層の処理が実行されて、複数個の縮小１次特徴マップ６１１〜６１４が生成され、（３）複数個の縮小１次特徴マップ６１１〜６１４に対して畳み込み層の処理が実行されて、複数個の２次特徴マップ６２１〜６２６が生成される。また、（４）複数個の２次特徴マップ６２１〜６２６に対してプーリング層の処理が実行されて、複数個の縮小２次特徴マップ６３１〜６３６が生成され、（５）画像解析の結果が出力される。【００３６】（本実施例の効果）  例えば、従来の画像解析において、対象画像データを縮小せずに、３個のチャネルに対応する３個のチャネルデータとして対象画像データを利用する構成を採用することで、解析精度の高い解析結果を得ることができる。しかしながら、上記のように、対象画像データは（８０２×８０２）個のピクセルを含むので、図３（Ｃ）の（１）における畳み込み層の処理に長時間を要すると共に多くのメモリを消費する。また、畳み込み層の処理によって生成される第１次特徴マップも（８０２×８０２）個のピクセルを含むので、図３（Ｃ）の（２）のプーリング層で生成される縮小１次特徴マップが（４０１×４０１）個のピクセルを含み、その後の畳み込み層、及び、プーリング層の処理にも長時間を要すると共に多くのメモリを消費する。【００３７】  そこで、本実施例では、画像解析装置１０は、ＣＮＮに従った画像解析を実行する際に、画像解析を迅速に実行するために、３個のチャネルに対応する３個のチャネルデータとして縮小画像データを利用する。ここで、画像解析装置１０は、解析精度を向上させるために、３個のチャネルに対応する３個のチャネルデータとして縮小画像データに加えて、１個のチャネルに対応する１個のチャネルデータとして確率データ５０４を利用する。これにより、画像解析装置１０は、縮小画像データを利用した画像解析において、癌細胞を含む画像に関する解析精度を向上させることができる。また、本実施例では、画像解析装置１０は、さらに、１個のチャネルに対応する１個のチャネルデータとして確率デ��タ５０６を利用して、かつ、１個のチャネルに対応する１個のチャネルデータとして確率データ５０８を利用する。従って、画像解析装置１０は、縮小画像データを利用した画像解析において、さらに、リンパ球を含む画像に関する解析精度と、正常上皮細胞を含む画像に関する解析精度と、の双方を向上させることができる。【００３８】  なお、例えば、特開２００４−２８６６６６号公報、特開２０１０−２８１６３６号公報には、画像解析に関する技術が開示されている。本実施例の技術（発明者は「component channel CNN (cc-CNN)」と呼んでいる）は、このような従来の技術とは全く異なるものであり、癌細胞等に対応する確率データ５０４〜５０８をチャネルデータとして利用したＣＮＮを実行する。これにより、画像解析の迅速化、メモリ消費の抑制、及び、高い解析精度を実現することができる。【００３９】（対応関係）  癌細胞、リンパ球が、それぞれ、「第１の物体」、「第２の物体」の一例である。横方向、縦方向が、それぞれ、「第１方向」、「第２方向」の一例である。対象画像データ内の（８０２×８０２）個のピクセルが、「（Ｍ×Ｎ）個のピクセル」の一例であり、ＲＧＢの３個のチャネルが、「Ｋ個のチャネル」の一例である。（４０×４０）個の部分画像が、「（ｍ×ｎ）個の部分画像」の一例である。確率データ内の（４０×４０）個のピクセルが、「（ｍ×ｎ）個のピクセル」の一例である。確率データ５０４、確率データ５０６が、それぞれ、「第１の確率データ」、「第２の確率データ」の一例である。【００４０】  以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。【００４１】（変形例１）画像解析装置１０は、細胞を含む画像に対する画像解析に限られず、他の物体（例えば、人間、樹木など）を含む画像に対する画像解析を実行してもよい。この場合、画像解析装置１０は、物体データ４４として、人間を表わす物体データと、樹木を表わす物体データと、を記憶する。例えば、画像解析装置１０は、対象画像として人間と樹木とを含む風景画像を表わす対象画像データを取得する場合に、対象画像データに基づいて、人間の存在する確率を表わす確率データと、樹木の存在する確率を表わす確率データと、を生成する。そして、画像解析装置１０は、対象画像データを縮小することによって得られる縮小画像データと、生成済みの各確率データと、を利用したＣＮＮを実行することによって、人間及び樹木に関する画像解析を迅速かつ高精度で実行することができる。即ち、本変形例では、人間又は樹木が「第１の物体」の一例であり、「第１の物体」は所定の細胞でなくてもよい。【００４２】（変形例２）上記の実施例では、対象画像データを構成する各ピクセルは、ＲＧＢの３個のチャネルに対応する３個の値を含む。これに代えて、対象画像データを構成する各ピクセルは、例えば輝度値のような１個のチャネルに対応する１個の値のみを含んでいてもよい。この場合、縮小画像データを構成する各ピクセルも、１個のチャネルに対応する１個の値のみを含む。そして、図６（Ｃ）の（１）では、６層パターンデータに代えて、例え��、輝度値に対応する１層のデータと、癌細胞が存在する確率Ｐ１に対応する１層のデータと、リンパ球が存在する確率Ｐ２に対応する１層のデータと、正常上皮細胞が存在する確率Ｐ３に対応する１層のデータと、を含む４層パターンデータが利用される。即ち、本変形例では、「Ｋ」は１である。別の変形例では、「Ｋ」は２であってもよいし４以上であってもよい。【００４３】（変形例３）変形例では、確率データ５０６，５０８が利用されなくてもよい。即ち、少なくとも１個の確率データが利用されればよい。本変形例では、「第２の生成部」が省略可能である。また、別の変形例では、追加の確率データが生成され、追加の確率データを１個のチャネルデータとしてさらに利用して、図６（Ｃ）の（１）の畳み込み層の処理が実行されてもよい。即ち、確率データの数は、３個以上であってもよい。【００４４】（変形例４）上記の各実施例では、図４、及び、図６の各処理がソフトウェア（即ち解析プログラム３８）によって実現されるが、これらの各処理のうちの少なくとも１つが論理回路等のハードウェアによって実現されてもよい。【００４５】  また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【００４６】  １０：画像解析装置、１２：操作部、１４：表示部、１６：入力部、３０：制御部、３４：メモリ、３６：ＯＳプログラム、３８：解析プログラム、４０：解析データ、４２：パターンデータ、４４：物体データ、１０１，１０２，１０３，１０４，６０１，６０２，６０３，６０４：１次特徴マップ、２０１，２０２，２０３，２０４，６１１，６１２，６１３，６１４：縮小１次特徴マップ、３０１，３０２，３０３，３０４，３０５，３０６，６２１，６２２，６２３，６２４，６２５，６２６：２次特徴マップ、４０１，４０２，４０３，４０４，４０５，４０６，６３１，６３２，６３３，６３４，６３５，６３６：縮小２次特徴マップ、５００：対象画像、５０２：縮小画像、５１０，５２０：部分画像、５１２，５２２：ピクセル、５０４，５０６，５０８：確率データ 
【図１】
2019082283.tif 000003
【図２】
2019082283.tif 000004
【図３】
2019082283.tif 000005
【図４】
2019082283.tif 000006
【図５】
2019082283.tif 000007
【図６】
2019082283.tif 000008
【手続補正書】
【提出日】平成30年3月7日(2018.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像解析装置であって、
第１の物体を表わす第１の物体データを記憶するメモリと、
解析対象の対象画像を表わす対象画像データを取得する取得部であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得部と、
前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定部と、
前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第１の物体データとを利用して、第１の確率データを含むＬ（前記Ｌは１以上の整数）個の追加チャネルデータを生成する生成部であって、前記第１の確率データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記生成部と、
前記対象画像データを縮小して、縮小画像データを生成する縮小部であって、前記縮小画像データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データが利用され、かつ、Ｌ個の追加チャネルに対応するＬ個のチャネルデータとして前記Ｌ個の追加チャネルデータが利用されて、（Ｋ＋Ｌ）個のチャネルに対応する（Ｋ＋Ｌ）個のチャネルデータが生成される、前記縮小部と、
前記（Ｋ＋Ｌ）個のチャネルデータを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析部であって、
前記画像解析は、前記（Ｋ＋Ｌ）個のチャネルに対応する前記（Ｋ＋Ｌ）個のチャネルデータと、前記（Ｋ＋Ｌ）個のチャネルに対応する予め準備された（Ｋ＋Ｌ）個のパターンデータと、を利用して、畳み込み層の処理を実行することを含み、
各パターンデータは、前記第１方向に沿って並ぶｍ’（前記ｍ’は前記ｍ未満の整数）個と、前記第２方向に沿って並ぶｎ’（前記ｎ’は前記ｎ未満の整数）個と、によって構成される（ｍ’×ｎ’）個のピクセルを含み、
前記畳み込み層の処理は、前記（Ｋ＋Ｌ）個のチャネルのそれぞれについて、当該チャネルに対応するチャネルデータ内の対象ピクセル群と、当該チャネルに対応するパターンデータと、の間の一致率を特定する処理を含む、前記解析部と、
前記画像解析の結果を出力する出力部と、
を備える、画像解析装置。
【請求項２】
前記Ｋ個のチャネルは、ＲＧＢの３個のチャネルである、請求項１に記載の画像解析装置。
【請求項３】
前記メモリは、さらに、前記第１の物体とは異なる第２の物体を表わす第２の物体データを記憶し、
前記生成部は、前記（ｍ×ｎ）個の部分画像と前記メモリ内の前記第２の物体データとを利用して、第２の確率データをさらに含む前記Ｌ個の追加チャネルデータを生成し、
前記第２の確率データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第２の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第２の物体を含む確率に関係する値を示し、
前記（Ｋ＋Ｌ）個のチャネルデータは、前記第１の確率データと前記第２の確率データとを含む前記Ｌ個の追加チャネルデータを利用して生成される、請求項１又は２に記載の画像解析装置。
【請求項４】
前記第１の物体は、所定の細胞である、請求項１から３のいずれか一項に記載の画像解析装置。
【請求項５】
画像解析装置を実現するためのコンピュータプログラムであって、
前記コンピュータプログラムは、前記画像解析装置のコンピュータを、以下の各部、即ち、
解析対象の対象画像を表わす対象画像データを取得する取得部であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得部と、
前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定部と、
前記（ｍ×ｎ）個の部分画像と第１の物体を表わす第１の物体データとを利用して、第１の確率データを含むＬ（前記Ｌは１以上の整数）個の追加チャネルデータを生成する生成部であって、前記第１の確率データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記生成部と、
前記対象画像データを縮小して、縮小画像データを生成する縮小部であって、前記縮小画像データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データが利用され、かつ、Ｌ個の追加チャネルに対応するＬ個のチャネルデータとして前記Ｌ個の追加チャネルデータが利用されて、（Ｋ＋Ｌ）個のチャネルに対応する（Ｋ＋Ｌ）個のチャネルデータが生成される、前記縮小部と、
前記（Ｋ＋Ｌ）個のチャネルデータを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析部であって、
前記画像解析は、前記（Ｋ＋Ｌ）個のチャネルに対応する前記（Ｋ＋Ｌ）個のチャネルデータと、前記（Ｋ＋Ｌ）個のチャネルに対応する予め準備された（Ｋ＋Ｌ）個のパターンデータと、を利用して、畳み込み層の処理を実行することを含み、
各パターンデータは、前記第１方向に沿って並ぶｍ’（前記ｍ’は前記ｍ未満の整数）個と、前記第２方向に沿って並ぶｎ’（前記ｎ’は前記ｎ未満の整数）個と、によって構成される（ｍ’×ｎ’）個のピクセルを含み、
前記畳み込み層の処理は、前記（Ｋ＋Ｌ）個のチャネルのそれぞれについて、当該チャネルに対応するチャネルデータ内の対象ピクセル群と、当該チャネルに対応するパターンデータと、の間の一致率を特定する処理を含む、前記解析部と、
前記画像解析の結果を出力する出力部と、
として機能させる、コンピュータプログラム。
【請求項６】
画像解析方法であって、
解析対象の対象画像を表わす対象画像データを取得する取得工程であって、前記対象画像データは、第１方向に沿って並ぶＭ個（前記Ｍは３以上の整数）のピクセルと、前記第１方向に直交する第２方向に沿って並ぶＮ個（前記Ｎは３以上の整数）のピクセルと、によって構成される（Ｍ×Ｎ）個のピクセルを含み、前記（Ｍ×Ｎ）個のピクセルのそれぞれは、Ｋ個（前記Ｋは１以上の整数）のチャネルに対応するＫ個の値を示す、前記取得工程と、
前記対象画像データを走査して、前記第１方向に沿って並ぶｍ個（前記ｍは２以上前記Ｍ未満の整数）の部分画像と、前記第２方向に沿って並ぶｎ個（前記ｎは２以上前記Ｎ未満の整数）の部分画像と、によって構成される（ｍ×ｎ）個の部分画像を順次特定する特定工程と、
前記（ｍ×ｎ）個の部分画像と第１の物体を表わす第１の物体データとを利用して、第１の確率データを含むＬ（前記Ｌは１以上の整数）個の追加チャネルデータを生成する生成工程であって、前記第１の確率データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記第１の確率データに含まれる前記（ｍ×ｎ）個のピクセルのそれぞれは、当該ピクセルに対応する１個の部分画像が前記第１の物体を含む確率に関係する値を示す、前記生成工程と、
前記対象画像データを縮小して、縮小画像データを生成する縮小工程であって、前記縮小画像データは、前記第１方向に沿って並ぶｍ個のピクセルと、前記第２方向に沿って並ぶｎ個のピクセルと、によって構成される（ｍ×ｎ）個のピクセルを含み、前記Ｋ個のチャネルに対応するＫ個のチャネルデータとして前記縮小画像データが利用され、かつ、Ｌ個の追加チャネルに対応するＬ個のチャネルデータとして前記Ｌ個の追加チャネルデータが利用されて、（Ｋ＋Ｌ）個のチャネルに対応する（Ｋ＋Ｌ）個のチャネルデータが生成される、前記縮小工程と、
前記（Ｋ＋Ｌ）個のチャネルデータを利用して、畳み込みニューラルネットワークに従った画像解析を実行する解析工程であって、
前記画像解析は、前記（Ｋ＋Ｌ）個のチャネルに対応する前記（Ｋ＋Ｌ）個のチャネルデータと、前記（Ｋ＋Ｌ）個のチャネルに対応する予め準備された（Ｋ＋Ｌ）個のパターンデータと、を利用して、畳み込み層の処理を実行することを含み、
各パターンデータは、前記第１方向に沿って並ぶｍ’（前記ｍ’は前記ｍ未満の整数）個と、前記第２方向に沿って並ぶｎ’（前記ｎ’は前記ｎ未満の整数）個と、によって構成される（ｍ’×ｎ’）個のピクセルを含み、
前記畳み込み層の処理は、前記（Ｋ＋Ｌ）個のチャネルのそれぞれについて、当該チャネルに対応するチャネルデータ内の対象ピクセル群と、当該チャネルに対応するパターンデータと、の間の一致率を特定する処理を含む、前記解析工程と、
前記画像解析の結果を出力する出力工程と、
を備える、方法。
【国際調査報告】
2019082283.tif 000009
2019082283.tif 000010
2019082283.tif 000011
2019082283.tif 000012