(57)【要約】【課題】複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続することが可能な情報処理装置、情報処理方法、及びそのプログラムを提供すること。【解決手段】本発明に係る情報処理装置は、それぞれ相互に重なる領域１４を有し、前記重なる領域１４を基準に相互に接続されることで被写体の画像部分９を含む撮影画像１５を構成する第１の画像８の情報及び第２の画像７の情報を取得する取得手段と、前記取得された第１の画像８の前記第２の画像７と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分９以外の画素を判定し、前記判定された被写体の画像部分９以外の画素の中から、前記重なる領域１４内で前記第１の画像８と前記第２の画像７とが接続される位置にあたる接続画素１９を選択する選択手段とを具備する。【選択図】図１１
2012010275.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ相互に重なる領域を有し、前記重なる領域を基準に相互に接続されることで被写体の画像部分を含む撮影画像を構成する第１の画像の情報及び第２の画像の情報を取得する取得手段と、
前記取得された第１の画像の前記第２の画像と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分以外の画素を判定し、前記判定された被写体の画像部分以外の画素の中から、前記重なる領域内で前記第１の画像と前記第２の画像とが接続される位置にあたる接続画素を選択する選択手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得し、
前記選択手段は、前記２軸方向のうち前記第１の方向と異なる第２の方向で延在する画素列ごとの輝度信号列の分散値に基づいて前記被写体の画像部分以外の画素を判定し、前記分散値が最も小さい前記画素列を前記接続画素として選択する
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得し、
前記選択手段は、前記２軸方向のうち前記第１の方向と異なる第２の方向で延在する画素列ごとの輝度信号列の周波数成分に基づいて前記被写体の画像部分以外の画素を判定し、高周波成分が最も小さい前記画素列を前記接続画素として選択する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得し、
前記情報処理装置は、前記第１の画像の前記第２の画像と重なる領域を前記第１及び前記第２の方向でそれぞれ分割する複数のブロック画像を生成する生成手段をさらに具備し、
前記選択手段は、前記ブロック画像ごとの輝度信号群の分散値に基づいて前記第１の方向に沿って複数並ぶ前記ブロック画像のうち前記分散値が最も小さい前記ブロック画像である接続ブロック画像を前記２軸方向のうち前記第１の方向と異なる第２の方向に沿って複数選択し、前記選択された複数の接続ブロック画像に属する画素から前記接続画素を選択する
情報処理装置。
【請求項５】
それぞれ相互に重なる領域を有し、前記重なる領域を基準に相互に接続されることで被写体の画像部分を含む撮影画像を構成する第１の画像の情報及び第２の画像の情報を取得し、
前記取得された第１の画像の前記第２の画像と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分以外の画素を判定し、前記判定された被写体の画像部分以外の画素の中から、前記重なる領域内で前記第１の画像と前記第２の画像とが接続される位置にあたる接続画素を選択する
ことを情報処理装置が実行する情報処理方法。
【請求項６】
それぞれ相互に重なる領域を有し、前記重なる領域を基準に相互に接続されることで被写体の画像部分を含む撮影画像を構成する第１の画像の情報及び第２の画像の情報を取得し、
前記取得された第１の画像の前記第２の画像と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分以外の画素を判定し、前記判定された被写体の画像部分以外の画素の中から、前記重なる領域内で前記第１の画像と前記第２の画像とが接続される位置にあたる接続画素を選択する
ことを情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を接続することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、物理的に連続する内容を有する複数の画像を接続するスティッチング技術が知られており、パノラマ撮影、顕微鏡画像の撮影等に用いられている。例えば複数の画像の互いに重なり合う領域全体に対してテンプレートマッチング等の処理が行われる。これにより、接続される複数の画像の相互の位置関係を最適にするためのオフセット値が算出される。そして算出されたオフセット値に基づいて複数の画像が接続される。
【０００３】
例えば特許文献１には、以下に示すパノラマ画像合成システムが記載されている。ユーザにより、接続される左画像及び右画像の一致する点がユーザ指定点としてそれぞれ指定される。左画像の指定点を中心として切り出されたテンプレート画像が、右画像の指定点を中心としたサーチ範囲内に重ね合わされる。サーチ範囲内にてテンプレート画像が最もマッチングした位置が真の対応点として算出される。この対応点に基づいて、左画像と右画像とを適切に接続するための合成パラメータが算出される。（特許文献１の段落［００５４］−［００７１］、図１０、図１１等参照）。
【０００４】
左画像と右画像とが合成される際には、特許文献１の図１２に示すように、左画像と、合成パラメータに基づいて位置合わせされた右画像とが重ね合わされる。両画像が重なり合う領域では、その領域の全てにおいて、左画像の画素データが用いられる。すなわち左画像の全体に右画像の一部が接続されることで合成画像が生成される。（特許文献１の段落［００７２］-［００７９］、図１２等参照）・
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−９１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載のパノラマ画像合成システムでは、左画像と右画像とが重なり合う領域での両画像の境界、すなわち左画像の端部に相当する部分に、撮影された被写体の画像が位置する場合がある。この場合、例えば両画像が撮像されるときの光学的な歪み等により、境界に位置する被写体の画像が適切に接続されず、その画像の形状が歪んでしまう場合がある。
【０００７】
以上のような事情に鑑み、本発明の目的は、複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続することが可能な情報処理装置、情報処理方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、取得手段と、選択手段とを具備する。  
前記取得手段は、それぞれ相互に重なる領域を有し、前記重なる領域を基準に相互に接続されることで被写体の画像部分を含む撮影画像を構成する第１の画像の情報及び第２の画像の情報を取得する。  
前記選択手段は、前記取得された第１の画像の前記第２の画像と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分以外の画素を判定し、前記判定された被写体の画像部分以外の画素の中から、前記重なる領域内で前記第１の画像と前記第２の画像とが接続される位置にあたる接続画素を選択する。
【０００９】
この情報処理装置では、第１の画像の第２の画像と重なる領域内において、被写体の画像部分以外の画素が判定され、その判定された画素の中から第１及び第２の画像が接続される位置にあたる接続画素が選択される。従って接続される第１及び第２の画像の境界に被写体の画像が位置し、その画像の形状が歪んでしまうといったことを防止することができる。これにより第１及び第２の画像が重なり合う領域で被写体が適正に表現されるように、両画像を接続することが可能となる。
【００１０】
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得してもよい。この場合、前記選択手段は、前記２軸方向のうち前記第１の方向と異なる第２の方向で延在する画素列ごとの輝度信号列の分散値に基づいて前記被写体の画像部分以外の画素を判定し、前記分散値が最も小さい前記画素列を前記接続画素として選択してもよい。
【００１１】
この情報処理装置では、上記画素列ごとの輝度信号列の分散値に基づいて被写体の画像部分以外の画素が判定され、分散値が最も小さい画素列が上記接続画素として選択される。例えば所定の値よりも分散値が小さい画素列が被写体の画像部分以外の画素として判定されてもよい。あるいは分散値が最も小さい画素列が被写体の画像部分以外の画素として判定されてもよい。
【００１２】
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得してもよい。この場合、前記選択手段は、前記２軸方向のうち前記第１の方向と異なる第２の方向で延在する画素列ごとの輝度信号列の周波数成分に基づいて前記被写体の画像部分以外の画素を判定し、高周波成分が最も小さい前記画素列を前記接続画素として選択してもよい。
【００１３】
この情報処理装置では、上記画素列ごとの輝度信号列の周波数成分に基づいて被写体の画像部分以外の画素が判定され、高周波成分が最も小さい画素列が上記接続画素として選択される。例えば所定の値よりも高周波成分が小さい画素列が被写体の画像部分以外の画素として判定されてもよい。あるいは高周波成分が最も小さい画素列が被写体の画像部分以外の画素として判定されてもよい。
【００１４】
前記取得手段は、互いに直交する２軸方向に並ぶ複数の画素をそれぞれ有し、前記２軸方向のうち第１の方向で相互に接続される前記第１及び前記第２の画像の前記各情報を取得してもよい。この場合、前記情報処理装置は、前記第１の画像の前記第２の画像と重なる領域を前記第１及び前記第２の方向でそれぞれ分割する複数のブロック画像を生成する生成手段をさらに具備してもよい。また、前記選択手段は、前記ブロック画像ごとの輝度信号群の分散値に基づいて前記第１の方向に沿って複数並ぶ前記ブロック画像のうち前記分散値が最も小さい前記ブロック画像である接続ブロック画像を前記２軸方向のうち前記第１の方向と異なる第２の方向に沿って複数選択し、前記選択された複数の接続ブロック画像に属する画素から前記接続画素を選択してもよい。
【００１５】
この情報処理装置では、上記ブロック画像ごとの輝度値の分散値が算出され、第１の方向に沿って複数並ぶブロック画像のうち分散値が最も小さいブロック画像である接続ブロック画像が、第２の方向に沿って複数選択される。これら接続ブロック画像の属する画素が被写体の画像部分以外の画素として判定され、接続ブロック画像の属する画素から上記接続画素が選択される。
【００１６】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。  
すなわち、情報処理装置は、それぞれ相互に重なる領域を有し、前記重なる領域を基準に相互に接続されることで被写体の画像部分を含む撮影画像を構成する第１の画像の情報及び第２の画像の情報を取得する。  
前記取得された第１の画像の前記第２の画像と重なる領域に属する複数の画素それぞれの情報に基づいて前記被写体の画像部分以外の画素が判定され、前記判定された被写体の画像部分以外の画素の中から、前記重なる領域内で前記第１の画像と前記第２の画像とが接続される位置にあたる接続画素が選択される。
【００１７】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。上記プログラムが記録媒体に記録されていてもよい。
【発明の効果】
【００１８】
以上のように、本発明によれば、複数の画像が重なり合う領域で被写体が適正に表現されるように、複数の画像を接続することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図２】第１の実施形態に係るＰＣの処理のためのソフトウェアブロック図である。
【図３】図１に示すＰＣの処理の概要を示すフローチャートである。
【図４】図１に示すＰＣによりスティッチング処理される接続画像とベース画像とを示す模式的な図である。
【図５】図１に示すＰＣによりスティッチング処理された接続画像とベース画像とを示す模式的な図である。
【図６】図１に示すＰＣによる比較用ブロック画像とベース画像とのマッチング処理を説明するための図である。
【図７】図１に示すＰＣによりマッチング処理された比較用ブロック画像とベース画像とを示す模式的な図である。
【図８】図１に示すＰＣによる境界検出処理の概要を示すフローチャートである。
【図９】図１に示すＰＣによる境界検出処理を説明するための図である。
【図１０】図１に示すＰＣによりマッチング処理された比較用ブロック画像とベース画像とを示す模式的な図である。
【図１１】図１に示すＰＣによるベース画像と接続画像との接続処理を説明するための図である。
【図１２】本発明の第２の実施形態に係るＰＣの処理の概要を示すフローチャートである。
【図１３】本発明の第３の実施形態に係るＰＣの処理の概要を示すフローチャートである。
【図１４】図１３に示すフローチャート内のブロック内分散値算出処理を説明するための図である。
【図１５】図１３に示すフローチャート内のブロック内分散値算出処理を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２１】
＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００２２】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【００２３】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【００２４】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００２５】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【００２６】
記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【００２７】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【００２８】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【００２９】
［情報処理装置の動作］
本実施形態のＰＣ１００の動作を説明する。図２は、ＰＣ１００の処理のためのソフトウェアブロック図である。図３は、ＰＣ１００の処理の概要を示すフローチャートである。
【００３０】
以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等に記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。
【００３１】
すなわち本実施形態に係るＰＣ１００は、図２に示す画像入力部１、画像切り出し部２、接続位置検出部３、境界検出部４、画像接続部（スティッチ処理部）５、及びファイル出力部６として機能する。そしてＰＣ１００により図３のフローチャートに示す各処理が行われる。
【００３２】
取得手段としての画像入力部１に、スティッチング処理により接続される第１の画像としての接続画像の情報と、第２の画像としてのベース画像の情報とが入力される。本実施形態では、現像処理が行われた後のベース画像及び接続画像の各情報が画像入力部１に入力される。図４及び図５は、その接続画像とベース画像とを示す模式的な図である。なお、本実施形態では、説明を分かりやすくするために、直交する２軸方向であるＸ軸方向（横軸）とＹ軸方向（縦軸）のうち、Ｘ軸方向の接続を例として説明する。
【００３３】
本実施形態に係るベース画像７と接続画像８とは、例えば図示しない光学顕微鏡により得られた被写体の象を撮影することが可能な撮像装置により撮像される。被写体としては、蛍光染色された生体の細胞が用いられる。従って図４及び図５に示すように、ベース画像７及び接続画像８には、被写体の画像部分９として、細胞の蛍光画像１０や細胞内の核の蛍光画像１１が含まれる。
【００３４】
ベース画像７が撮像され、光学顕微鏡が有するステージが移動し、接続画像８が撮像される。このときステージの移動を制御することで、図４に示すように、スティッチング処理のための、のりしろ領域１２及び１３をそれぞれ有するように両画像７及び８が撮像される。
【００３５】
のりしろ領域１２及び１３を利用してベース画像７と接続画像８とが相互に重なる領域１４が定められ、図５に示すように、重なる領域１４を基準にしてベース画像７と接続画像８とが接続される。そして被写体の画像部分９（細胞の蛍光画像１０及び核の蛍光画像１１）を含む撮影画像１５が構成される。
【００３６】
ベース画像７と接続画像８の各サイズは、例えば光学顕微鏡が有する光学系の倍率や、撮像装置が有するイメージセンサのサイズ等により定められる。すなわち図４に示すベース画像７及び接続画像８の、Ｘ軸方向のサイズｘＳｈｏｔの値は、主にハードウェア要因により定められる。本実施形態のベース画像７及び接続画像８は、互いに直交する２軸方向であるＸ軸方向及びＹ軸方向に並ぶ図示しない複数の画素を有する。そしてベース画像７及び接続画像８の各サイズは、５０×５０（Kpixel：キロピクセル）あるいは４０×６０（Kpixel）である。しかしながらベース画像７及び接続画像８の各サイズは限定されない。
【００３７】
ベース画像７及び接続画像８の各のりしろ領域１２及び１３の、Ｘ軸方向でのサイズｘＬの値は、両画像７及び８の特徴に基づいてスティッチング処理が可能となる範囲で定められる。のりしろ領域１２及び１３のＸ軸方向での各サイズｘＬの値は、例えばベース画像７及び接続画像８のＸ軸方向のサイズｘＳｈｏｔの値の５％〜２０％程度に設定される。
【００３８】
ベース画像７及び接続画像８が撮像されるときには、上記ステージの移動誤差等の機械的な要因により、ベース画像７と接続画像８との相対的な位置関係において誤差が生じる可能性がある。従ってＸ軸方向でベース画像７及び接続画像８を位置合わせする場合には、上記誤差に基づいたばらつきｘαを考慮する必要がある。本実施形態では、のりしろ領域１２及び１３のサイズｘＬの５％程度の値が、ばらつきｘαとして想定される。
【００３９】
画像入力部１に入力されたベース画像７及び接続画像８の各情報は、画像切り出し部２に出力される。
【００４０】
画像切り出し部２により、接続画像８ののりしろ領域１３の画像が、比較用ブロック画像１６（図６参照）として切り出される（図３のステップ１０１）。比較用ブロック画像１６として、のりしろ領域１３よりも大きい範囲、あるいは小さい範囲の領域の画像が切り出されてもよい。比較用ブロック画像１６の情報は、接続位置検出部３及び境界検出部４にそれぞれ出力される。
【００４１】
接続位置検出部３により、比較用ブロック画像１６とベース画像７とのマッチング処理が行われ、最適なマッチングが得られる座標が算出される。図６及び図７は、そのマッチング処理を説明するための図である。
【００４２】
比較用ブロック画像１６とベース画像７との比較位置の初期設定を行う（図３のステップ１０２）。本実施形態での初期設定の位置は、図６（Ａ）に示すように、ｘ座標が（ｘＳｈｏｔ−ｘＬ−ｘα）となる位置である。なお本実施形態では、ベース画像７の左上の端点Ｏを基準として座標が設定されている。
【００４３】
図６（Ａ）に示す初期設定の位置で、比較用ブロック画像１６とベース画像７とのマッチング処理が行われる（ステップ１０３）。マッチング処理は、例えば比較用ブロック画像１６とベース画像７とが重なる領域の画素ごとに輝度値が算出され、その輝度値に基づいて自己相関係数が算出されることで行われる。あるいは、重なる領域の画素ごとに輝度値の差の自乗が算出されることでマッチング処理されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
【００４４】
比較位置のオフセットが、ｘ座標が（ｘＳｈｏｔ−ｘＬ＋ｘα）となる位置まで到達したか否かが判定される（ステップ１０４）。比較位置のオフセット処理が完了していない場合は、１画素単位、あるいは処理の高速化のために複数画素単位で比較位置を右側にオフセットする（ステップ１０５）。すなわち図６（Ａ）〜図６（Ｃ）に示すように、ｘ座標が（ｘＳｈｏｔ−ｘＬ−ｘα〜ｘＳｈｏｔ−ｘＬ＋ｘα）の範囲で、比較用ブロック画像１６とベース画像７とがマッチング処理される。これにより図７に示すように、ベース画像７上で最も自己相関係数が高くなるオフセット座標ｘｊが、ベース画像７と接続画像８とが自然に接続されるのに適した位置として算出される。図５に示すベース画像７と接続画像８との重なり領域１４は、オフセット座標ｘｊの位置に接続画像８が配置された場合の両画像７及び８が相互に重なる領域に相当する。従ってオフセット座標ｘｊが座標（ｘＳｈｏｔ−ｘＬ）と等しい場合には、のりしろ領域１２及び１３が重なり領域１４に相当する。オフセット座標ｘｊの情報は、接続位置情報として、境界検出部４に出力される。
【００４５】
境界検出部４により、ベース画像７及び接続画像８の相互に重なる領域１４内で両画像７及び８が接続される位置にあたる接続画素が検出される（ステップ１０６）。すなわち接続画素は、ベース画像７及び接続画像８の境界に位置する画素となる。
【００４６】
図８は、ＰＣ１００による境界検出処理の概要を示すフローチャートである。図９は、その境界検出処理を説明するための図である。
【００４７】
比較用ブロック画像１６内の検出対象位置ｘＢが設定される（ステップ１１１）。本実施形態では、検出対象の初期設定の位置として、図９に示す比較用ブロック画像１６の左端の位置１７が採用され、その位置はｘＢ＝０として表される。
【００４８】
検出対象位置の初期設定の位置ｘＢ＝０おける、Ｙ軸方向に延在する画素列１８の輝度信号列が取得される（ステップ１１２）。なお画素列１８の輝度信号列は、接続位置検出部３によるマッチング処理のために取得された比較用ブロック画像１６の輝度値が用いられてもよい。
【００４９】
検出対象位置ｘＢ＝０の画素列１８の輝度信号列の分散値が算出される（ステップ１１３）。検出対象範囲となるｘＢ＝０〜ｘＬの範囲で、輝度信号列の算出が終了したか否かが判定される（ステップ１１４）。検出対象範囲での輝度信号列の算出が終了していないと判定された場合（ステップ１１４のＮｏ）、検出対象位置ｘＢが１画素分右側にオフセットされる（ステップ１１５）。
【００５０】
すなわち、図９（Ａ）に示すように、比較用ブロック画像１６内において、Ｙ軸方向に延在する画素列１８ごとに輝度信号列が取得され、画素列１８ごとに輝度信号列の分散値が算出される。検索対象範囲での輝度信号列の算出が終了したと判定された場合（ステップ１１４のＹｅｓ）、図９（Ｂ）に示すように、分散値が最も小さい画素列１８が上記した接続画素１９として選択され、境界検出処理が終了する。従って境界検出部４は選択手段として機能する。選択された接続画素１９（画素列１８）の位置情報は、接続位置検出部３から出力された接続位置情報とともに、境界情報として画像接続部（スティッチ処理部）５に出力される。
【００５１】
輝度信号列の分散値は、輝度信号列の平均値から、画素列１８内の各画素の輝度値がどれだけ散らばっているかを示す値である。従って画素列１８上に被写体の画像部分９が位置する場合分散値は大きくなり、被写体の画像部分９が位置しない場合分散値は小さくなる。従って分散値が最も小さい画素列１８上には、被写体の画像部分９が位置しないと判定することができる。すなわち分散値が最も小さい画素列１８は、被写体の画像部分９以外の画素の列と判定することができる。
【００５２】
あるいは予め所定の閾値を定めておき、分散値が閾値よりも小さい画素列１８が被写体の画像部分９以外の画素の列として判定されてもよい。そして被写体の画像部分９以外の画素の列として判定された画素列１８の中から、いずれかの画素列１８が接続画素１９として選択されてもよい。
【００５３】
例えば図１０に示すように、接続位置検出部３により検出されたベース画像７と比較用ブロック画像１６とが適切にマッチングされるオフセット座標ｘｊが、（ｘＳｈｏｔ−ｘＬ）よりも大きくなる場合がある。この場合比較用ブロック画像１６の右端部分２０が、ベース画像７と接続画像８とが互いに重なる領域１４に含まれなくなる。従って接続画素１９は、比較用ブロック画像１６の右端部分２０以外の、両画像７及び８が相互に重なる領域１４から選択される。図８に示すステップ１１４において、検索対象範囲が比較用ブロック画像１６の右端部分２０以外の重なり領域１４に設定され、その重なり領域１４内で画素列１８ごとの輝度信号列が取得されてもよい。あるいは比較用ブロック画像１６全体にわたって輝度信号列が取得され、接続画素１９が選択される際に選択可能範囲として重なり領域１４が設定されてもよい。
【００５４】
画像接続部（スティッチ処理部）５により、境界検出部４により出力された接続位置情報及び境界情報に基づいて、ベース画像７と接続画像８とが合成される。図１１は、ベース画像７と接続画像８との接続処理を説明するための図である。
【００５５】
図１１（Ａ）に示すように、接続画素１９を境界として、ベース画像７の右端部分がカットされる（図３のステップ１０７）。カットされる部分は、座標（ｘｊ＋ｘＢ）の位置にあたる画素列を含む右側の部分である。また接続画素１９を境界として、接続画像８の左端部分がカットされる（ステップ１０８）。カットされる部分は、接続画像８の左端を基準とした座標ｘＢの位置にあたる画素列よりも左側の部分である。あるいはベース画像７の座標（ｘｊ＋ｘＢ）の位置にあたる画素列よりも右側の部分がカットされ、接続画像８の座標ｘＢの位置にあたる画素列を含む左側の部分がカットされてもよい。すなわち接続画素１９の情報として、ベース画像７の情報が用いられてもよいし、接続画像８の情報が用いられてもよい。
【００５６】
図１１（Ｂ）に示すように、カットされたベース画像７と接続画像８とが連結するように合成され、被写体の画像部分９を含む１つの撮影画像１５が生成される（ステップ１０９）。図１１（Ｂ）に示すように、ベース画像７と接続画像８との境界となる接続画素１９には、被写体の画像部分９は位置しない。これによりベース画像７と接続画像８との境界で被写体の画像部分９が適正に接続されず、その画像部分９の形状が歪んでしまうといったことを防止することができる。この結果、ベース画像７と接続画像８とが相互に重なり合う領域１４において被写体が適正に表現されるように、両画像７及び８を接続することが可能となる。
【００５７】
例えばベース画像７と接続画像８との境界となる接続画素１９に、被写体としての細胞の蛍光画像１０が位置する場合、その蛍光画像１０の形状が歪んでしまい細胞に含まれる核の蛍光画像１１が消失する、あるいは１つしかない核が２つ蛍光画像１１として表現されてしまう場合がある。そうすると例えば細胞の培養実験における観察に問題が生じ、また病理の分野において細胞を診断する際に誤診が発生してしまう可能性がある。上記したベース画像７及び接続画像８のサイズが大きく、両画像７及び８ののりしろ領域１２及び１３のサイズが大きい場合、上記の問題は発生しやすい。
【００５８】
しかしながら本実施形態に係るベース画像７と接続画像８とのスティッチング処理では、図１１（Ｂ）に示すように、細胞の蛍光画像１０が位置しないところにベース画像７と接続画像８との境界となる接続画素１９が設定される。この結果、細胞の蛍光画像１０及び細胞の核の蛍光画像１１は適正に表現され、上記の問題を防止することができる。またベース画像７及び接続画像８が接続される境界を目立たなくすることができるので、高い精度の撮影画像１５を生成することができる。
【００５９】
ファイル出力部６により、画像接続部（スティッチ処理部）５で生成された合成画像である撮影画像１５のデータが、ユーザが扱いやすい形のフォーマットに変換され、ＰＣ１００の記憶部１０８等に記憶される。
【００６０】
＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置をＰＣを例に挙げて説明する。これ以降の説明では、第１の実施形態で説明したＰＣ１００の構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００６１】
図１２は、本実施形態に係るＰＣの処理の概要を示すフローチャートである。図１２に示すステップ２１３以外のステップは、第１の実施形態で説明した図８に示すステップ１１３以外のステップと同様の処理である。
【００６２】
第１の実施形態では、図８に示すステップ１１３により、比較用ブロック画像内の画素列ごとに輝度信号列の分散値が算出された。一方本実施形態では、図１２のステップ２１３にて、比較用ブロック画像内の画素列ごとに輝度信号列の周波数成分が算出される。そして、高周波成分が最も小さい画素列が接続画素として選択される。高周波成分として、例えば所定の周波数成分の強度が算出されてもよいし、所定の周波数成分以上の強度が積算されたものが用いられてもよい。
【００６３】
比較用ブロック画像内の画素列に、被写体の画像部分が位置する場合高周波成分は大きくなり、被写体の画像部分が位置しない場合高周波成分は小さくなる。従って高周波成分が最も小さい画素列は、被写体の画像部分以外の画素の列と判定することができる。
【００６４】
あるいは予め所定の閾値を定めておき、高周波成分が閾値よりも小さい画素列が被写体の画像部分以外の画素の列として判定されてもよい。そして被写体の画像部分以外の画素の列として判定された画素列の中からいずれかの画素列が接続画素として選択されてもよい。
【００６５】
接続画素を選択する際に用いられるパラメータとして、比較用ブロック画像内の画素列の輝度信号列の平均値が用いられてもよい。また輝度信号列内の最大輝度値及び最小輝度値の差である、いわゆるダイナミックレンジの大きさが用いられてもよい。あるいは接続画像が撮像されたときに、例えば各画素の輝度値に基づいて被写体の画像部分の位置が検出され、その位置情報が用いられてもよい。
【００６６】
また比較用ブロック画像に属する画素の各輝度信号ではなく、各画素の色情報に基づいて接続画素が選択されてもよい。例えば各画素が表す色の波長成分の分散値等が用いられてもよい。
【００６７】
＜第３の実施形態＞
図１３は、本実施形態に係るＰＣの処理の概要を示すフローチャートである。図１４及び図１５は、図１３に示すフローチャート内のブロック内分散値算出処理を説明するための図である。
【００６８】
本実施形態のＰＣでは、以下のようにして接続画素３１９が選択される。まず図１４に示すように、比較用ブロック画像３１６をＸ軸方向及びＹ軸方向でそれぞれ分割するブロック画像としての分割ブロック画像３２１が複数生成される。この比較用ブロック画像３１６を細分化する処理は、図２に示す接続位置検出部３により行われてもよい。あるいは細分化処理のためのブロックが独立して設けられてもよい。なお分割ブロック画像３２１のサイズ及び数は適宜設定されてよい。
【００６９】
検出対象となる分割ブロック画像３２１の位置が設定される（ステップ３１１）。本実施形態では、比較用ブロック画像３１６内の左上に位置する分割ブロック画像３２１の位置Ｐが、初期設定の位置として定められる。
【００７０】
分割ブロック画像３２１内の各画素の輝度信号の集合である輝度信号群が取得され（ステップ３１２）、輝度信号群の分散値が算出される（ステップ３１３）。検出対象範囲にて分散値の算出が終了したか否か、すなわち全ての分割ブロック画像３２１について輝度信号群の分散値が算出されたか否かが判定される（ステップ３１４）。全ての分割ブロック画像３２１について輝度信号群の分散値が算出されていないと判定された場合（ステップ３１４のＮｏ）、分散値が算出されていない分割ブロック画像３２１が、次の検出対象位置として算出される（ステップ３１５）。
【００７１】
ステップ３１５の検出対象位置オフセット処理は、例えば一筆書きの要領で行われてもよい。あるいはＸ軸方向で順次分割ブロック画像３２１の分散値が算出され、次にＹ軸方向に検出位置がオフセットされ、再度Ｘ軸方向で順次分割ブロック画像３２１の分散値が算出されてもよい。
【００７２】
全ての分割ブロック画像３２１の分散値の算出が終了したら、各分割ブロック画像３２１の分散値に基づいて被写体の画像部分以外の画素を判定し、それらの画素の中から接続画素３１９が選択される。図１５を参照しながら以下に接続画素３１９の選択方法の一例を示す。
【００７３】
図１５（Ａ）及び（Ｂ）に示す比較用ブロック画像３１６は、Ｘ軸方向に３ブロック並び、Ｙ軸方向に１３ブロック並ぶ複数の分割ブロック画像３２１により分割されている。このうちＸ軸方向に沿って３ブロック並ぶ分割ブロック画像３２１のうち分散値が最も小さい分割ブロック画像３２１を接続ブロック画像３２２として選択する。接続ブロック画像３２２は、Ｙ軸方向に沿って１３個選択されることになる。図１５（Ａ）及び（Ｂ）には、選択された接続ブロック画像３２２が区別されて図示されている。
【００７４】
本実施形態では、上記接続ブロック画像３２２に属する画素が被写体の画像部分以外の画素として判定され、接続ブロック画像３２２の属する画素から上記接続画素３１９が選択される。例えば図１５（Ａ）に示すように、各接続ブロック画像３２２の中央をそれぞれ直線で結び、その直線上に位置する画素が接続画素３１９として選択されてもよい。あるいは直線から最も距離が小さい画素が接続画素３１９として選択されてもよい。
【００７５】
また図１５（Ｂ）に示すように、各接続ブロック画像３２２の左端に位置しＸ軸方向に延在する画素列が接続画素３１９としてそれぞれ選択されてもよい。各接続ブロック画像３２２の右端に位置する画素列が接続画素３１９としてそれぞれ選択されてもよい。
【００７６】
その他、被写体の画像部分が位置しない範囲で、接続画素３１９の選択方法は適宜設定されてよい。このように分割ブロック画像３２１の分散値に基づいて接続画素３１９を選択することにより、接続画素３１９をＸ軸方向に沿って直線状に並ぶことなくいわゆる曲線状（折れ線状）に選択することができる。この結果、被写体の画像部分の位置に柔軟に対応して、被写体の画像部分が位置しないところにベース画像と接続画像との境界となる接続画素３１９を設定することができる。
【００７７】
上記した各実施形態に係る情報処置装置によるスティッチング処理は、細胞の観察又は診断等以外にも、医療または病理等の分野において、光学顕微鏡により得られた生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に適用可能である。その他医療等の分野に限られず他の分野においても適用可能である。また、光学顕微鏡により得られる画像に限られず、その他のデジタル画像においても、上記各実施形態のスティッチング処理は適用可能である。
【００７８】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【００７９】
上記した各実施形態では、ベース画像と接続画像とが直交する２軸方向であるＸ軸方向とＹ軸方向のうちＸ軸方向で接続される場合を例として説明した。しかしながらベース画像と接続画像とがＹ軸方向に接続される場合でも、上記の処理と同様の処理が可能である。
【００８０】
上記で説明した各実施形態では、接続位置検出部によりベース画像と比較用ブロック画像とが適切にマッチングされるオフセット座標ｘｊが算出された。しかしながら、ベース画像と比較用ブロック画像とがＹ軸方向においてもマッチング処理され、Ｘ軸方向及びＹ軸方向におけるオフセット座標（ｘｊ，ｙｊ）が算出されてもよい。この場合でも、接続画像のベース画像と重なる領域内において、被写体の画像部分以外の画素が判定され、その判定された画素の中から接続画素が選択されればよい。
【００８１】
例えば、オフセット座標（ｘｊ，ｙｊ）に基づいて定められる重なり領域が検索対象範囲に設定され、その範囲内で画素列ごとの輝度信号列の分散値が算出され、その分散値に基づいて接続画素が選択されてもよい。あるいは比較用ブロック画像全体にわたって輝度信号列の分散値が算出され、その分散値に基づいて接続画素が選択される際に選択可能範囲として、オフセット座標（ｘｊ，ｙｊ）により定められる重なり領域が設定されてもよい。
【００８２】
上記した各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、本実施形態に係る情報処理装置として光学顕微鏡の機能を有するスキャナ装置等が用いられ、このスキャナ装置等により上記した各実施形態に係るスティッチング処理が行われてもよい。
【００８３】
上記の各実施形態で説明したアルゴリズムは一実施例であり、図２に示す各処理部における目的の同一性が保たれる限り、任意のアルゴリズムを採用することが可能である。
【符号の説明】
【００８４】
１…画像入力部
４…境界検出部
７…ベース画像
８…接続画像
９…被写体の画像部分
１０…細胞の蛍光画像
１１…核の蛍光画像
１４…重なり領域
１５…撮影画像
１６、３１６…比較用ブロック画像
１８…画素列
１９、３１９…接続画素
１００…ＰＣ
１０１…ＣＰＵ
３２１…分割ブロック画像
３２２…接続ブロック画像
【図１】
2012010275.tif 000003
【図２】
2012010275.tif 000004
【図３】
2012010275.tif 000005
【図４】
2012010275.tif 000006
【図５】
2012010275.tif 000007
【図６】
2012010275.tif 000008
【図７】
2012010275.tif 000009
【図８】
2012010275.tif 000010
【図９】
2012010275.tif 000011
【図１０】
2012010275.tif 000012
【図１１】
2012010275.tif 000013
【図１２】
2012010275.tif 000014
【図１３】
2012010275.tif 000015
【図１４】
2012010275.tif 000016
【図１５】
2012010275.tif 000017