【手続補正書】
【提出日】平成23年7月19日(2011.7.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、
各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と
を備えた画像処理装置。
【請求項２】
前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素の画素データがいずれも無効値を示すものである場合には、この注目画素に新たなラベル情報を発行して割り当てる
請求項１に記載の画像処理装置。
【請求項３】
前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素のうちの１画素の画素データのみが有効値を示すものである場合には、この注目画素に、有効値を示す前記１画素に割り当てられている発行済みのラベル情報を割り当てるとともに、前記連結領域ごとの位置情報および面積情報をそれぞれ更新する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素のうちの複数の画素の画素データがそれぞれ有効値を示すものである場合には、この注目画素に、有効値を示す前記複数の画素のうちの選択した１画素に割り当てられている発行済みのラベル情報を割り当てるとともに、前記連結領域ごとの位置情報および面積情報をそれぞれ更新する
請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記情報取得部は、注目画素の画素データが無効値を示すものである場合には、この注目画素において、ラベル情報の発行および割り当てを行わない
請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記情報取得部は、
注目画素およびその周辺画素の画素データの値に応じて、前記ラベル情報の割り当て処理と、前記連結領域ごとの位置情報および面積情報の更新処理とを、それぞれ行うか否かについて判定する判定部と、
前記判定部による判定結果に基づいて、新たなラベル情報を発行するラベル発行部と、
画素単位のコントローラを含んで構成され、前記ラベル情報を記憶するラインバッファと、
前記ラベル情報と、前記位置情報および面積情報とを、それぞれ対応づけて記憶する付加情報メモリと、
各ラベル情報についての割り当ての有無を記憶する空き番地情報レジスタとを有する
請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記情報取得部は、
注目画素およびその周辺画素の画素データの値に応じて、前記ラベル情報の割り当て処理と、前記連結領域ごとの位置情報および面積情報の更新処理とを、それぞれ行うか否かについて判定する判定部と、
前記判定部による判定結果に基づいて、新たなラベル情報を発行するラベル発行部と、
前記ラベル情報を記憶するラインバッファと、
前記位置情報および面積情報をそれぞれ、アドレス番号と対応づけて記憶する付加情報メモリと、
前記ラインバッファに記憶されているラベル情報と、前記付加情報メモリに記憶されているアドレス番号と、各ラベル情報についての割り当ての有無とを、それぞれ対応づけて記憶するアドレスリストとを有する
請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
【請求項８】
２値化された画素データによって表現される画像において、各画素を順次走査すると共に、
各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う
画像処理方法。
【請求項９】
撮像面に沿って配列され、外部近接物体で反射された光を受光する複数の受光要素を有する入力パネルと、
各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、
各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記撮像画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と、
前記情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部と
を備えた画像入力装置。
【請求項１０】
表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、前記表示面に沿って配列され、前記表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、
各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、
各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記撮像画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と、
前記情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部と
を備えた画像入出力装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
【特許文献１】特開２００４−１２７２７２号公報
【特許文献２】特開２００４−１６４０１７号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の画像処理装置は、２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部とを備えたものである。ここで、「連結領域」とは、１つの点の塊とみなすことが可能な画素領域を意味する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の画像処理方法は、２値化された画素データによって表現される画像において、各画素を順次走査すると共に、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行うものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像入力装置は、撮像面に沿って配列され、外部近接物体で反射された光を受光する複数の受光要素を有する入力パネルと、各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、撮像画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第１の画像入出力装置は、表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、表示面に沿って配列され、表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、撮像画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第２の画像入出力装置は、第１基板および第２基板の間に液晶層を有する表示パネルと、この表示パネル内に形成され、第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極を有すると共に第１センサ電極および第２センサ電極の接触による電位の変化を読み取ることにより、外部近接物体の位置に応じた第２基板のたわみ位置を検出する位置検出部とを備えた入出力パネルと、位置検出部からの位置検出信号に基づいて得られる、２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の画像処理装置、画像処理方法、画像入力装置および画像入出力装置では、２値化された画素データによって表現される画像（例えば、撮像画像）において、各画素が順次走査される。その際、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報が、注目画素に随時割り当てられつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報が、随時更新される。これにより、そのような順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ得られる。すなわち、従来のようなラベリング画像の作成が不要となり、１回の順次走査によって、画像全体についてのラベル情報等がそれぞれ得られる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の画像処理装置、画像処理方法、画像入力装置または画像入出力装置によれば、２値化された画素データによって表現される画像において各画素を順次走査すると共に、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素に随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新するようにしたので、１回の順次走査によって、画像全体についてのラベル情報、上記位置情報および上記面積情報をそれぞれ取得することができる。よって、従来よりも高速なラベリング処理を実現することが可能となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
制御部２１（図１）は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより構成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
ラベリング処理部１４ａは、図４に示すように、条件判定回路１４１と、新規ラベル番号発行回路１４２と、アドレスリスト１４３と、ラインバッファ１４４と、ラインバッファ制御回路１４５と、アドレスリスト制御回路１４６と、ラベルメモリコントローラ１４７と、付加情報メモリ１４８とを有している。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
ここで、例えば図９に示したように、注目画素の画素データが「０」（無効値）である場合には（ステップＳ１３１：Ｎ）、ラインバッファ制御回路１４５およびアドレスリスト制御回路１４６はそれぞれ、この注目画素においてラベル情報の発行および割り当てを行わない。すなわち、例えば図１０に示したように、ラインバッファ１４４およびアドレスリスト１４３において、「ｚ」（無効ラベル）を割り当てる（ステップＳ１３２）。そしてその後は、条件判定回路１４１は、１ライン分の走査が終了したか否か（注目画素が１ラインの右端に位置するのか否か）を判定する（ステップＳ１４４）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
ここで、例えば図１１に示したように、注目画素の画素データが「１」（有効値）である場合には（ステップＳ１３１：Ｙ）、次に条件判定回路１４１は、その周辺画素（ここでは、注目画素の上側および左側の画素）のラベルが有効であるのかまたは無効であるのか（周辺画素の画素データが有効値であるのか無効値であるのか、注目画素が孤立点であるのか否か）を判定する（ステップＳ１３３）。ここでは、図１１に示したように、注目画素の上側の画素および左側の画素において、いずれもラベルが無効（画素データが「０」（無効値）、注目画素が孤立点である）であるため（ステップＳ１３３：両方無効）、新規ラベル番号発行回路１４２は、例えば図１２に示したように、この注目画素において、新規ラベル（新たなラベル情報）を発行して割り当てる（ステップＳ１３４）。また、それと共に、ラインバッファ制御回路１４５、アドレスリスト制御回路１４６およびラベルメモリコントローラ１４７はそれぞれ、例えば図１２に示したように、付加情報も併せて更新する（ステップＳ１３５）。その後はこの場合、例えば図１３に示したように、再びステップＳ１４４，Ｓ１４５の処理が繰り返されることになる。なお、図１３等において、２値化データＤin内の画素中に示した「（１）」等は、その画素に割り当てられたレジスタ番号（ラベル情報）を意味している。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
一方、ステップＳ１４０において、上側の画素と左側の画素とでラベルが異なると判定された場合（ステップＳ１４０：Ｙ）、以下説明するアドレスリストの統合処理（ステップＳ１４１）が行われ、上側の画素および左側の画素のうちの選択した１画素と同一のラベルが割り当てられる（ステップＳ１４２）と共に、付加情報がそれぞれ更新される（ステップＳ１４３）。具体的には、ラインバッファ制御回路１４５、アドレスリスト制御回路１４６およびラベルメモリコントローラ１４７はそれぞれ、例えば図２１および図２２に示したように、上側の画素および左側の画素のうち、左側の画素のレジスタ番号（ＲｅｇＮｏ；ラベル情報に対応）を選択すると共に、ラベル番号（Ｎｏ；アドレス番号に対応）の小さいほうに付加情報を統合させる。これにより、２つの連結領域の統合がなされ、同じラベルが割り当てられることになる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
図２４は、本実施の形態のラベリング処理部１４ｂのブロック構成を表したものである。このラベリング処理部１４ｂは、条件判定回路１４１と、新規ラベル番号発行回路１４２と、ラインバッファ１４４ｂと、ラベルメモリコントローラ１４７と、付加情報メモリ１４８と、空き番地情報レジスタ１４９とを有している。すなわち、図４に示した第１の実施の形態のラベリング処理部１４ａにおいて、アドレスリスト１４３およびアドレスリスト制御回路１４６の代わりに空き番地情報レジスタ１４９を設けると共に、ラインバッファ１４４およびラインバッファ制御回路１４５の代わりにラインバッファ１４４ｂを設けるようにしたものである。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
ラインバッファ１４４ｂは、例えば図２５に示したように、１ライン分のラベル番号（ラベル情報に対応）を記憶する部分である。また、このラインバッファ１４４ｂは、画素単位のコントローラを含んで構成され、これにより、注目画素およびその周辺画素（ここでは、上側の画素および左側の画素）のラベル番号の参照、書き込みおよび更新等が可能となっている。なお、図２５等において示したラインバッファ（イメージ）１４４ｃは、後述のラベリング処理の説明のために便宜上示したものであり、実際のラインバッファ１４４ｂは１ライン分のバッファとなっている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
空き番地情報レジスタ１４９は、例えば図２５に示したように、各ラベル番号についての割り当ての有無（Ｂｌａｎｋ ｌｉｓｔ）を記憶するものである。この空き番地情報レジスタ１４９は、新規ラベル番号発行回路１４２と共に、使用中または未使用のラベル番号の管理、新規ラベル番号の検索等を行うようになっている。具体的には、新規発行したラベル番号は使用中となると共に、統合によって消滅したラベル番号は未使用への番号として適時書き換えられる。これにより、使用したラベル番号を何度でも再利用することができるようになっている。なお、ここでは、番号の若い順にラベル番号を使用するようになっている。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
最初に、例えば図２８に示したように、ラインバッファ１４４ｂ、付加情報メモリ１４８および空き番地情報レジスタ１４９ではそれぞれ、値が初期化されている。そして、まず条件判定回路１４１は、２値化データＤinからなる撮像画像において、注目画素の画素値（画素データ）が「１」（有効値）であるか否かを判定する（図２６のステップＳ２３１）。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
一方、例えば図３０に示したように、注目画素の画素データが「１」（有効値）である場合には（ステップＳ２３１：Ｙ）、次に条件判定回路１４１は、その周辺画素（ここでは、注目画素の上側および左側の画素）のラベルが有効であるのかまたは無効であるのか（周辺画素の画素データが有効値であるのか無効値であるのか、注目画素が孤立点であるのか否か）を判定する（ステップＳ２３５）。ここでは、図３０に示したように、注目画素の上側の画素および左側の画素において、いずれもラベルが無効（画素データが「０」（無効値）、注目画素が孤立点である）であるため（ステップＳ２３５：両方無効）、新規ラベル番号発行回路１４２は、空き番地情報レジスタ１４９を用いて、例えば図３０に示したように、空きラベル番号の検索を行う（ステップＳ２３６）。また、それと共に、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、例えば図３０に示したように、現在地情報をカレントラベル情報とすることにより、注目画素において新規ラベル（新たなラベル情報）を割り当てる（ステップＳ２３７）。なお、その後はこの場合、例えば図３１に示したように、再びステップＳ２４５，Ｓ２４６の処理が繰り返されることになる。なお、図３１等において、２値化データＤin内の画素中に示した「（１）」等は、その画素に割り当てられたラベル番号（ラベル情報）を意味している。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
また、上記実施の形態で説明した画像入出力装置１では、入出力パネル１１として、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の画像入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。