(57)【要約】【課題】画像を読み取る際に、煩雑な処理を行うことなく、処理時間を短縮する。【解決手段】本開示によれば、画像の特徴量を検出する検出領域を複数の領域に分割する分割部と、前記複数の領域のそれぞれについて、画素値の間引き処理を行う間引き処理部と、前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算するヒストグラム計算部と、を備える、画像処理装置が提供される。この構成により、画像を読み取る際に、煩雑な処理を行うことなく、処理時間を短縮することができる。【選択図】図３
2019117487.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴量を検出する検出領域を複数の領域に分割する分割部と、
前記複数の領域のそれぞれについて、画素値の間引き処理を行う間引き処理部と、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算するヒストグラム計算部と、
を備える、画像処理装置。
【請求項２】
前記間引き処理部は、前記検出領域の外側の前記領域ほど前記間引き処理の間引き量が多くなるように前記間引き処理を行う、請求項１に記載の画像処理装置。
【請求項３】
前記分割部は、前記検出領域を、前記検出領域の中心に対して同心状となる前記複数の領域に分割する、請求項１に記載の画像処理装置。
【請求項４】
前記間引き処理部は、前記同心状となる前記複数の領域に関し、同心状の外側の前記領域ほど前記間引き処理の間引き量が多くなるように前記間引き処理を行う、請求項３に記載の画像処理装置。
【請求項５】
前記ヒストグラム計算部は、前記間引き処理が行われた前記画素値を、前記間引き処理が行われた画素と隣接する画素の画素値を用いて補間する、請求項１に記載の画像処理装置。
【請求項６】
前記ヒストグラムに基づいて前記検出領域の画像の特徴を識別する識別処理部を更に備える、請求項１に記載の画像処理装置。
【請求項７】
前記識別処理部は、学習により得られた画像特徴を分類した識別器に基づいて前記検出領域の画像を識別する、請求項６に記載の画像処理装置。
【請求項８】
前記分割部は、前記学習の際に学習画像の画素値のヒストグラムを計算する際の領域分割に従って前記複数の領域を分割する、請求項７に記載の画像処理装置。
【請求項９】
前記間引き処理部は、前記画像の特徴を識別する識別モードに応じて、前記間引き処理の間引き量を変更する、請求項６に記載の画像処理装置。
【請求項１０】
画像の特徴量を検出する検出領域を複数の領域に分割することと、
前記複数の領域のそれぞれについて、画素値の間引き処理を行うことと、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算することと、
を備える、画像処理方法。
【請求項１１】
画像の特徴量を検出する検出領域を複数の領域に分割する手段、
前記複数の領域のそれぞれについて、画素値の間引き処理を行う手段、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算する手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、デジタルカメラ等で撮像した画像から文字を漏れなく読み取ろうとする際に、処理時間を短縮することを想定した技術が記載されている。また、下記の非特許文献１には、学習による顕微鏡画像のセグメンテーションに関して記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−０５３７６３号公報
【非特許文献】
【０００４】
【非特許文献１】ZhaozhengYin, Ryoma Bise, Mei Chen, Takeo Kanade、「CELL SEGMENTATION IN MICROSCOPYIMAGERY USING A BAG OF LOCAL BAYESIAN CLASSIFIERS」Rotterdam, Netherlands  April 14-17, 2010IEEE Press Piscataway, NJ, USA c2010〈URL:https://dl.acm.org/citation.cfm?id=1855995〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された技術では、探索範囲を縮小処理することで、処理時間を短縮している。つまり、特許文献１に記載された技術では、入力画像の全探索を行わずに、注目領域を設定することで２段階の探索を行っている。このような手法では、段階的な探索を行うことにより処理が煩雑になる問題がある。
【０００６】
また、近時では、医療および生命科学の分野において、多くの種類の細胞や生体組織の運動または状態の変化を観察することが行われている。これらについての客観的な評価を実現するために、当該生体組織についての事象の判別を行うための技術の開発が進められている。特に、生体組織の動きが激しい場合などは、リアルタイムで高速に画像を読み取る必要がある。上記特許文献に記載された技術では、段階的な探索を行うため、動きの激しい生体組織などの画像をリアルタイムで読み取ることは困難である。
【０００７】
そこで、画像を読み取る際に、煩雑な処理を行うことなく、処理時間を短縮することが求められていた。
【課題を解決するための手段】
【０００８】
本開示によれば、画像の特徴量を検出する検出領域を複数の領域に分割する分割部と、前記複数の領域のそれぞれについて、画素値の間引き処理を行う間引き処理部と、前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算するヒストグラム計算部と、を備える、画像処理装置が提供される。
【０００９】
また、本開示によれば、画像の特徴量を検出する検出領域を複数の領域に分割することと、前記複数の領域のそれぞれについて、画素値の間引き処理を行うことと、前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算することと、を備える、画像処理方法が提供される。
【００１０】
また、本開示によれば、画像の特徴量を検出する検出領域を複数の領域に分割する手段、前記複数の領域のそれぞれについて、画素値の間引き処理を行う手段、前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、画像を読み取る際に、煩雑な処理を行うことなく、処理時間を短縮することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係るシステムの構成の概要を示す図である。
【図２】学習部の構成例を示す模式図である。
【図３】検出部の構成例を示す模式図である。
【図４】画像から画像特徴を検出する様子を示す模式図である。
【図５】ウィンドウの分割の方法を示す模式図である。
【図６】４×４画素のウィンドウの画素間引きパターンを示す模式図である。
【図７】本実施形態のシステムによる処理を示すフローチャートである。
【図８】リアルタイムによる物体検出のアプリケーションの例を示す模式図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．検出部で行われる処理
２．１．概要
２．２．具体的な処理の内容
３．本実施形態で行われる処理フロー
４．アプリケーションへの適用例
【００１５】
１．システムの構成例
図１は、本開示の一実施形態に係るシステム１の構成の概要を示す図である。図１に示すように、システム１は、撮像装置１０、情報処理装置２０、および表示装置３０を備える。撮像装置１０、情報処理装置２０、および表示装置３０は、有線または無線の各種ネットワークにより接続される。
【００１６】
撮像装置１０は、撮像により画像（静止画または動画）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。
【００１７】
本実施形態に係る撮像装置１０は、図１に示すように、インキュベータＩ１の内側において、ディッシュＤ１内の観察対象物Ｍ１（細胞や生体組織など）の上方に設けられる。そして、撮像装置１０は、観察対象物Ｍ１を所定のフレームレートで撮像することにより画像を生成する。
【００１８】
なお、撮像装置１０は、インキュベータＩ１の内部に設けられていてもよいし、インキュベータＩ１の外部に設けられてもよい。また、撮像装置１０は、インキュベータＩ１に格納されていない観察対象物Ｍ１の撮像に対しても適用可能である。また、撮像装置１０はインキュベータＩ１と一体となって設けられてもよい。
【００１９】
より詳細に説明すると、本実施形態に係る撮像装置１０は、図１に示すように、撮像部１０１および撮像制御部１０２を備える。
【００２０】
撮像部１０１は、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、撮像素子への被写体像の結像を制御するためのレンズ、および被写体に光を照射するための光源などの各種の部材を有し、これらを用いて実空間を撮像する。
【００２１】
本実施形態に係る撮像部１０１は、観察対象物Ｍ１の動きを正しく特定するため、観察対象物Ｍ１を含む一定の撮像領域を撮像する。なお、撮像部１０１は、観察対象物Ｍ１を直接（他のレンズ等の部材を介さずに）撮像してもよいし、対物レンズを備える顕微鏡等の他の部材を介して観察対象物Ｍ１を撮像してもよい。この場合、サブミクロンメートルオーダの観察対象物Ｍ１の動きを捉えるためには、当該対物レンズの倍率は４０倍〜６０倍程度であることが好ましい。また、フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましく、具体的には、サブ秒オーダーの観察対象物Ｍ１の動きを捉えることが可能であるフレームレートに設定されることが好ましい。
【００２２】
撮像部１０１の撮像処理により生成される信号は撮像制御部１０２に出力される。
【００２３】
撮像制御部１０２は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）およびＲＡＭ（Random  Access  Memory）等により実現される処理回路、および通信装置を含み、撮像部１０１の動作全般を制御する。例えば、撮像制御部１０２は、撮像部１０１による撮像処理を制御し、撮像処理により得られた信号に基づいて撮像画像を生成する。
【００２４】
例えば、撮像制御部１０２は、撮像部１０１の撮像処理のタイミングを制御し得る。より具体的には、撮像制御部１０２は、所定期間連続的に撮像するよう撮像部１０１を制御することにより動画像を生成し得る。また、撮像制御部１０２は、所定の間隔を空けて断続的に撮像処理を行うよう（いわゆるタイムラプス撮影）撮像部１０１を制御し得る。また、例えば複数の胚を撮像するような場合、撮像制御部１０２は、撮像対象となる観察対象物Ｍ１の撮像タイミングに応じて、撮像装置１０またはディッシュを移動させるようインキュベータＩ１を直接的にまたは間接的に制御してもよい。
【００２５】
また、撮像制御部１０２は、撮像部１０１に備えられる光源の波長、照射強度または照射時間を制御してもよい。例えば、撮像制御部１０２は、撮像部１０１による撮像処理が行われる期間のみに、適切な波長を有する光を、最低限の照射強度により観察対象物Ｍ１に照射するよう撮像部１０１の光源を制御してもよい。
【００２６】
撮像制御部１０２は、生成した画像等を情報処理装置２０へ出力する。
【００２７】
情報処理装置２０は、学習機能を用いて画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal  Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。情報処理装置２０は、ＣＰＵ（Central  Processing  Unit）等の処理回路および無線または有線により通信可能なハードウェアからなる通信装置を含む。例えば、本実施形態に係る情報処理装置２０では、通信装置が撮像装置１０から複数の画像（例えば、タイムラプス画像および動画像等）を取得する。そして、処理回路が取得した静止画像および動画像のそれぞれについての情報を取得し、各情報を用いて観察対象物Ｍ１についての事象について判定する。情報処理装置２０の処理回路により行われる各処理については、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。情報処理装置２０の各機能を実現する機能構成については後述する。
【００２８】
なお、本実施形態において、撮像装置１０、情報処理装置２０および表示装置３０によりシステム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば、動態解析処理、特徴量抽出処理、各々の推定処理、または判定処理等）を行ってもよい。この場合、システム１は、動態解析機能等を有する撮像装置により実現される。
【００２９】
情報処理装置２０は、学習部２００と検出部３００の機能を含むことができる。図２は、学習部２００の構成例を示す模式図である。学習部２００は、観察対象物Ｍ１と同様の画像の入力を受けて、クラスタリングを行い、識別器を生成する。学習部２００は、入力画像のフィルタ処理を行うフィルタ処理部２０２、フィルタ処理が行われた入力画像をサンプリングするサンプリング部２０４、マルチウィンドウヒストグラムを計算するマルチウィンドウヒストグラム計算部２０６、類似マトリクス計算部２０８、クラスタリング部２１０、学習係数導出部（識別器生成部）２１２、を有して構成される。
【００３０】
本実施形態が対象とする観察対象物Ｍ１として、例えば、動きの速い細胞（精子など）が挙げられる。このような細胞を撮像装置１０で撮像して表示装置３０に表示する場合に、細胞の領域の画像を背景画像から高速に検出して、リアルタイムタイムの動きを表示することが望ましい。しかし、細胞の領域の検出に時間を要してしまうと、リアルタイムでの表示に支障が生じ、動きを含めた細胞の観察を十分に行うことができなくなる。このため、本実施形態では、検出アルゴリズムの中で処理負荷のかかる部分を削減することで、高速に検出することを可能とし、リアルタイムの細胞観察を可能とする。
【００３１】
一方、学習側については、基本的には前述の非特許文献１に記載された既存のアルゴリズムを使用することができる。検出側の高速処理に伴う学習部２００での再学習は不要であるが、検出側と同様のマルチウィンドウヒストグラムの計算を学習時に組み込んでおく。学習部２００による学習では、学習画像についてフィルタ処理部２０２によるフィルタ処理後、正解データに基づき、サンプリング部２０４により正解ウィンドウ、不正解ウィンドウのサンプリングを行い、その後、正解ウィンドウについてマルチウィンドウヒストグラム計算部２０６がマルチウィンドウでヒストグラムを計算する。このとき、ヒストグラムは全画素で計算する。ヒストグラムの計算が終わると、類似マトリクス計算部２０８による類似マトリックスの計算、及びクラスタリング部２１０によるクラスタリングを行い、学習係数を導出することで識別器生成部２１２が識別器を生成する。
【００３２】
また、図３は、検出部３００の構成例を示す模式図である。検出部３００は、フィルタ処理部３０２、サンプリング部３０４、マルチウィンドウヒストグラム計算部３１０、識別処理部３２０、を有して構成される。マルチウィンドウヒストグラム計算部３１０は、ウィンドウ分割部３１２、サブウィンドウ間引き処理部３１４、ヒストグラム計算補間処理部３１６、を有して構成される。なお、図２及び図３に示した学習部２００、検出部３００の構成は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。
【００３３】
検出部３００の基本的なフローは学習部２００と同様であるが、学習部２００と検出部３００とでは、マルチウィンドウヒストグラムの計算部分が異なっている。図３に示したように、マルチウィンドウヒストグラム計算部３１０は、ウィンドウ分割部３１２によるウィンドウ分割後に、サブウィンドウ間引き処理部３１４によるサブウィンドウの間引き処理と、ヒストグラム計算補間処理部３１６によるヒストグラムの補間処理を行う。マルチウィンドウヒストグラム計算部３１０は、ヒストグラム計算補間処理部３１６により画素値を補間して、ヒストグラムを計算する。マルチウィンドウヒストグラム計算部３１０の処理は、学習部２００と異なる部分であり、この処理によって負荷の削減を行っている。以下では、検出部３００で行われる処理について詳細に説明する。
【００３４】
２．検出部で行われる処理
２．１．概要
本実施形態では、局所特徴量計算時の計算負荷を削減するため、局所特徴量計算時の画像内ウィンドウの分割とウィンドウ内のヒストグラム計算時の画素間引き処理を組み合わせることで計算負荷の削減を実現する。ウィンドウは、任意のサイズに設定でき、ウィンドウ内でさらに領域を分割することができる。またそれぞれの分割された領域ごとに画素の間引き率も変更することができる。それぞれのウィンドウの領域ごとにヒストグラムを計算し、識別関数にかける。また、本実施形態の特徴は、学習時は間引きを行わず検出時に間引きを行い、間引きした分のピクセル値を補間することで検出精度を保ったまま計算負荷を削減することにある。
【００３５】
局所特徴量は、画像の表現方法であり、この特徴量によってパターン認識が行われる。画像内に含まれる物体を探したり、識別したりするためには物体に応じた特徴を抽出する必要が出てくる。特徴量を表現する計算アルゴリズムとして、局所ヒストグラムを作成するものがある。局所ヒストグラムとして、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）のようなヒストグラムを用いることができる。
【００３６】
局所特徴量を計算するためには、画像をセル単位に分割するか、あるいは画像内を複数のパッチに分ける処理を行う。また、機械学習を用いた識別器を作成する際は、この画像内のウィンドウ領域のヒストグラムを計算し、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）のような識別関数を用いる。
【００３７】
物体認識あるいは領域の検出といった処理負荷の大半は、これらの局所特徴量の計算である。ＧＰＵの技術が発展し、分散した処理を行うことで、従来よりも大幅にパフォーマンスの改善が行われている。一方、スマートフォンなどのモバイル機器でのリアルタイム処理や、音声などのほかの認識処理との組み合わせが今後も増えていくことが予想される。このため、局所特徴量の計算負荷をできるだけ削減すること望ましい。処理負荷を削減する一例として、特徴量の計算アルゴリズムの変更があるが、アルゴリズムの変更には再学習処理が必要となっている。このため、本実施形態では、再学習を行うことなく処理計算量を減らす手法を用いる。
【００３８】
２．２．具体的な処理の内容
図４は、画像１０から画像特徴を表すヒストグラム５００を取得する様子を示す模式図である。本実施形態では、画像１０の特徴を検出するためのウィンドウ４００を用意し、このウィンドウ４００内の特徴をヒストグラム５００に変換する。ヒストグラム５００は、縦軸に度数、横軸に例えば輝度値を表したものである。ウィンドウ毎にヒストグラム５００を求めることで、ウィンドウ４００毎に画像特徴を検出することができる。
【００３９】
画像特徴を判定する際には、学習により既に取得している画像特徴毎のヒストグラムと、画像１０のウィンドウ４００から得られたヒストグラム５００を比較することによって行う。
【００４０】
ヒストグラム５００の検出の単位は、アプリケーションによって自由に決めることができる。例えば、物体検出アプリケーションの場合は、画像を等間隔のセル単位に区切り、セル（＝ウィンドウ）のヒストグラム５００を算出する。セグメンテーションアプリケーションの場合は、１画素〜数画素単位でウィンドウ４００のヒストグラム５００を抽出することで領域毎の画像特徴を検出することができるが、その分計算負荷が高くなる。
【００４１】
本実施形態では、ウィンドウ分割部３１２によりウィンドウ４００内を分割し、サブウィンドウ間引き処理部３１４による画素間引きを行うことで、画像特徴の検出時の計算コストを削減する。特に本実施形態は、ウィンドウ４００の中心の物体の有無を判定するような領域検出処理において最も効果的である。
【００４２】
図５は、ウィンドウ４００の分割の方法を示す模式図である。図２の例では、ウィンドウ４００内を、サブウィンドウ４０２、サブウィンドウ４０４、サブウィンドウ４０６の３つの領域に分けている。サブウィンドウ４０２はウィンドウ４００の最も外側の領域であり、サブウィンドウ４０６はウィンドウ４００の中心付近の領域であり、サブウィンドウ４０４はサブウィンドウ４０２とサブウィンドウ４０６の中間の領域である。なお、ウィンドウ４００内の分割の方法は、学習時と合わせることが望ましい。つまり、学習部２００のマルチウィンドウヒストグラム計算部２０６では、検出部３００のマルチウィンドウ計算部３１０と同様のウィンドウの分割により、ヒストグラムを計算する。なお、学習側では、画素間引きを行うことなく全画素を用いてヒストグラムを計算する。これにより、学習側での再学習は不要となる。
【００４３】
各ウィンドウ４００について、細胞などの物体が存在するか否かが判定され、表示装置３０に表示される。これにより、細胞などの物体を表示装置３０の画面上で観察することができる。例えば、ウィンドウ４００の中心画素が細胞などの物体であるか否かを判別する場合、物体の存在確率を判別するために最も重要なウィンドウは、ウィンドウ４００の中心に位置するサブウィンドウ４０６になる。
【００４４】
サブウィンドウ間引き処理部３１４は、分割したサブウィンドウ４０２、サブウィンドウ４０４、サブウィンドウ４０６のそれぞれについて、間引き処理を行う。図６は、４×４画素のウィンドウの画素間引きパターンを示す模式図である。図６に示す画素間引きパターン６００は、千鳥格子状に間引いた場合を示しており、ドットの付いていない白色の画素が間引かれている。間引かれた画素は、ヒストグラム５００には反映されない。画素間引きパターン６００のように千鳥格子状に間引く場合、ヒストグラム５００の度数は、間引かない場合の１／２になる。
【００４５】
また、図６に示す画素間引きパターン６１０は、画素が１／４になるように間引いた場合を示している。間引き処理を行うことで、ヒストグラム５００を生成するための計算負荷を抑制することができ、ヒストグラム計算をより高速化することが可能となる。
【００４６】
画素間引きパターン６００のように千鳥格子状に間引く場合、ヒストグラム５００の度数は、間引かない場合の１／２になる。このため、度数を２倍にすることでヒストグラム５００の値を補間する。また、画素間引きパターン６１０に示すように、画素を１／４に間引く場合は、度数が４倍となるようにヒストグラム５００の値を補間する。このような、間引いた画素の画素値を補間することで、学習時に使用した画素のデータの数と合わせる。この補間処理を行うことで、学習部２００による再学習は不要となる。
【００４７】
補間処理の方法は特に限定されるものではないが、例えば図６に示した千鳥格子状に間引いた画素間引きパターン６００の場合、間引かれた画素６０２の画素値を、間引かれていない左隣の画素６０４の画素値で補間する。また、画素間引きパターン６１０の場合、間引かれた画素６１２の画素値を、間引かれていない周囲の４つの画素６１４の画素値の平均値で補間する。なお、補間に用いる画素は、補間される画素の中心からの距離が近いものが望ましいが、微細な違いのため近接画素であれば特に限定されるものではない。このような補間処理は、ヒストグラム計算補間処理部３１６によって行われる。
【００４８】
本実施形態では、ウィンドウ４００内の分割と画素間引きを組み合わせることで更なる高速化処理を達成する。上述したように、ウィンドウ４００の中心画素が細胞などの物体であるか否かを判別する場合、物体の存在確率を判別するために最も重要なウィンドウは、ウィンドウ４００の中心に位置するサブウィンドウ４０６になる。従って、ウィンドウの外側に行くほど、ウィンドウ中心の物体の存在確率の寄与率が低くなるため、分割されたそれぞれのウィンドウのうち、外側のウィンドウになるほど、画素間引きの間引き率を大きくする。これにより、ヒストグラム５００の作成のための処理負荷を大幅に軽減することができ、高速化処理を行うことが可能となる。
【００４９】
ヒストグラム５００が取得されると、ヒストグラム５００の形状からウィンドウ内の画像の判別を行うことができる。検出部３００の識別処理部３２０は、学習部２００の識別器生成部２１２が生成した識別器を用いて、ウィンドウ内の領域の画像を判別する。識別器では、学習画像のヒストグラムに応じてクラスタリングされた画像の配列がデータベース化されている。従って、ヒストグラム５００を識別器に当てはめることで、ウィンドウ内の領域の画像を判別することができる。これにより、例えば、ウィンドウ内の領域が細胞や生体組織であるか、あるいは、背景であるか等を判別することが可能となる。
【００５０】
３．本実施形態で行われる処理フロー
図７は、本実施形態のシステム１による処理を示すフローチャートである。先ず、ステップＳ１０では、入力画像に対してウィンドウ４００、サブウィンドウ４０２，４０４，４０６を設定する。ここでは、ウィンドウ分割部３１２によりウィンドウ４００がサブウィンドウ４０２，４０４，４０６に分割され、得られたサブウィンドウ４０２，４０４，４０６が抽出される。なお、入力画像としてフィルタ処理部３０２によるフィルタ処理(エッジ検出、円検出等)を加えたものを使用しても良い。
【００５１】
次のステップＳ１２では、画素間引きパターンを設定する。ここでは、サブウィンドウ４０２，４０４，４０６のそれぞれについて、画素間引きパターンが設定される。上述したように、ウィンドウ４００の外側に行くほど、画素間引きの間引き率が大きくなるように画素間引きパターンが設定される。
【００５２】
次のステップＳ１４では、サブウィンドウ４０２，４０４，４０６のそれぞれから得られる情報に基づいて、図４に示したようなヒストグラム５００を生成する。設定されたサブウィンドウ毎に間引きパターンを適用し、サブウィンドウ毎にヒストグラム５００を作成する。
【００５３】
次のステップＳ１６では、ヒストグラム５００を補正する。ここでは、サブウィンドウ４０２，４０４，４０６のそれぞれについて、上述した補間処理を行い、得られた画素値を用いてヒストグラム５００を補正する。間引きパターンに従って、補間するピクセル数の分だけ、隣接画素のデータを使用して補間を行う。なお、ステップＳ１４、ステップＳ１６の処理は、同時に行っても良い。
【００５４】
次のステップＳ１８では、領域の画像の判定を行う。ここでは、学習部２００により生成された識別器を用いて、識別処理部３２０がヒストグラム５００を識別器に当てはめ、ウィンドウ４００内の領域の画像を判定する。これにより、ウィンドウ４００内の画像が物体であるか背景であるかを含め、画像の特徴が判定される。
【００５５】
４．アプリケーションへの適用例
リアルタイム性が必要な細胞の撮影、解析において、細胞の動きの大きさに合わせてキャプチャスピードを変える必要が今後増えてくると予想される。ここで、キャプチャスピードとは、物体の画像を取得する時間の間隔であり、間隔が短いほどキャプチャスピードは高くなる。キャプチャスピードを上げた場合に検出をリアルタイムで行うため、検出処理のスピードを高速化することが想定される。
【００５６】
図８は、リアルタイムによる物体検出のアプリケーションの例を示す模式図である。図８では、観察対象物Ｍ１を表示装置３０の表示画面３２に表示した状態を示している。一例として、図８では、表示装置３０がタッチパネルにより構成された例を示しており、キャプチャスピードは操作ボタン３４のスライドにより変更可能である。
【００５７】
観察対象物Ｍ１が動きのある細胞の場合、検出部３００の識別処理部３２０で行われる処理により、各ウィンドウ４００に存在する物体が細胞であるか背景であるかが判別される。これにより、図８に示すように、観察対象物Ｍ１である細胞の輪郭がリアルタイムで検出される。
【００５８】
リアルタイムによる物体検出の場合、キャプチャスピードと画面サイズから処理負荷を予測することができる。このため、識別処理部３２０による、細胞であるか背景であるかを検出する検出スピードは、キャプチャスピードに合わせて変更する。例えば、キャプチャスピードが高くなるほど、検出スピードを２倍、４倍・・・とキャプチャスピードに合わせて変更すれば良いことになる。この検出スピードは、間引き量で決定することが可能であり、サブウィンドウ間引き処理部３１４による間引き量を大きくするほど、速くすることができる。サブウィンドウ間引き処理部３１４は、検出スピードに応じて、検出スピードが速くなるほど間引き量を多くする。また、検出スピードが遅くなるほど間引き量が少なくなるため、画像の画質を高めることができる。このように、検出スピードを重視するか、画質を重視するかの識別モードに応じて、サブウィンドウ間引き処理部３１４による間引き量を最適に調整することが可能である。
【００５９】
リアルタイムにより物体を表示する際に、物体の形状の特徴に基づいて、物体をトラッキングして表示する方法がある。しかしながら、トラッキングを用いる手法では、細胞などの物体の形状自体が変化した場合は、トラッキングすること自体が困難になり、動的に変化する物体の領域をリアルタイムで検出することができなくなる。従って、特に領域が変化するような物体を検出するためには、本実施形態のように学習により得られた識別器を用いることが望ましい。一方、キャプチャスピードを速くして物体検出をその都度行うこととすると処理負荷が高くなってしまうが、本実施形態の手法により処理負荷を軽減することで、リアルタイム性の高い物体検出を行うことが可能となる。従って、本実施形態は、大きさ又は動きが変化しながら移動する物体（例えば、精子などの細胞）をリアルタイムで検出して画面に表示しながら観察するような場合に有用である。
【００６０】
以上説明したように本実施形態によれば、ウィンドウ４００を分割し、サブウィンドウ４０２，４０４，４０６毎に画素値を間引く処理を行うようにしたため、ヒストグラム５００の生成のための処理負荷を軽減することができ、特徴量検出の更なる高速化を達成することが可能となる。この際、入力画像自体を縮小することが無いため、縮小処理が伴う検出器よりも精度の高い画像を得ることが可能となる。また、フレームレートを変更した場合であっても、キャプチャサイズを縮小することなく処理を行うことが可能である。
【００６１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  画像の特徴量を検出する検出領域を複数の領域に分割する分割部と、
前記複数の領域のそれぞれについて、画素値の間引き処理を行う間引き処理部と、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算するヒストグラム計算部と、
を備える、画像処理装置。
（２）  前記間引き処理部は、前記検出領域の外側の前記領域ほど前記間引き処理の間引き量が多くなるように前記間引き処理を行う、前記（１）に記載の画像処理装置。
（３）  前記分割部は、前記検出領域を、前記検出領域の中心に対して同心状となる前記複数の領域に分割する、前記（１）又は（２）に記載の画像処理装置。
（４）  前記間引き処理部は、前記同心状となる前記複数の領域に関し、同心状の外側の前記領域ほど前記間引き処理の間引き量が多くなるように前記間引き処理を行う、前記（３）に記載の画像処理装置。
（５）  前記ヒストグラム計算部は、前記間引き処理が行われた前記画素値を、前記間引き処理が行われた画素と隣接する画素の画素値を用いて補間する、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６）  前記ヒストグラムに基づいて前記検出領域の画像の特徴を識別する識別処理部を更に備える、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７）  前記識別処理部は、学習により得られた画像特徴を分類した識別器に基づいて前記検出領域の画像を識別する、前記（６）に記載の画像処理装置。
（８）  前記分割部は、前記学習の際に学習画像の画素値のヒストグラムを計算する際の領域分割に従って前記複数の領域を分割する、前記（７）に記載の画像処理装置。
（９）  前記間引き処理部は、前記画像の特徴を識別する識別モードに応じて、前記間引き処理の間引き量を変更する、前記（６）に記載の画像処理装置。
（１０）  画像の特徴量を検出する検出領域を複数の領域に分割することと、
前記複数の領域のそれぞれについて、画素値の間引き処理を行うことと、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算することと、
を備える、画像処理方法。
（１１）  画像の特徴量を検出する検出領域を複数の領域に分割する手段、
前記複数の領域のそれぞれについて、画素値の間引き処理を行う手段、
前記間引き処理が行われた画素値を補間して、前記複数の領域の画素値のヒストグラムを計算する手段、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【００６４】
３００    検出部
３１２    ウィンドウ分割部
３１４    サブウィンドウ間引き処理部
３１６    ヒストグラム計算補間処理部
【図１】
2019117487.tif 000003
【図２】
2019117487.tif 000004
【図３】
2019117487.tif 000005
【図４】
2019117487.tif 000006
【図５】
2019117487.tif 000007
【図６】
2019117487.tif 000008
【図７】
2019117487.tif 000009
【図８】
2019117487.tif 000010