【手続補正書】
【提出日】平成22年3月9日(2010.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像表示機能と撮像機能とを有する表示撮像パネルと、
前記表示撮像パネルを用いて得られる近接物体の撮像画像に基づき、所定の処理画像を生成する画像生成手段と、
前記撮像画像および前記処理画像のうちの少なくとも一方に基づき、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を、２つの取得モードのうちの一方を選択的に利用して取得する画像処理手段と、
所定のパラメータの大きさに応じて前記画像処理手段における前記２つの取得モード間の切替を行い、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替を行う切替手段と
を備えた表示撮像装置。
【請求項２】
前記撮像画像は、前記表示撮像パネルにより前記近接物体の影を撮像して得られる影画像であり、
前記処理画像は、前記表示撮像パネルからの表示光を利用してこの表示撮像パネルにより前記近接物体を撮像して得られる表示光利用画像と、前記影画像との差分処理を行うことにより得られる差分画像である
請求項１に記載の表示撮像装置。
【請求項３】
前記２つの取得モードのうち、前記一の取得モードは、前記差分画像に基づく差分取得モードであり、前記他の取得モードは、前記影画像に基づく影取得モードである
請求項２に記載の表示撮像装置。
【請求項４】
前記所定のパラメータが環境光の照度である
請求項３に記載の表示撮像装置。
【請求項５】
前記切替手段は、前記影画像の移動平均画像を利用して、前記環境光の照度を検知する
請求項４に記載の表示撮像装置。
【請求項６】
前記所定のパラメータが前記表示撮像パネルの表示輝度である
請求項３に記載の表示撮像装置。
【請求項７】
前記画像生成手段は、前記差分画像と前記影画像とに基づく合成画像を、複数の重み付け係数の組み合わせを用いて生成する機能を有し、
前記２つの取得モードのうち、一方は、前記差分画像の重み付け係数が前記影画像の重み付け係数よりも大きい重み付け係数の組み合わせを用いた合成画像に基づく第１の合成取得モードであり、他方は、前記差分画像の重み付け係数が前記影画像の重み付け係数よりも小さい重み付け係数の組み合わせを用いた合成画像に基づく第２の合成取得モードである
請求項２ないし請求項６のいずれか１項に記載の表示撮像装置。
【請求項８】
前記所定のパラメータが環境光の照度であり、
前記切替手段は、前記環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値となったときに、前記第１の合成取得モードから前記第２の合成取得モードへと切替を行う一方、前記環境光の照度が減少過程にある場合には、この環境光の照度が前記第１の照度閾値よりも小さい第２の照度閾値となったときに、前記第２の合成取得モードから前記第１の合成取得モードへの切替を行う
請求項７に記載の表示撮像装置。
【請求項９】
前記所定のパラメータが環境光の照度であり、
前記切替手段は、前記環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値となったときに、前記第２の合成取得モードから前記第１の合成取得モードへと切替を行う一方、前記環境光の照度が減少過程にある場合には、この環境光の照度が前記第１の照度閾値よりも小さい第２の照度閾値となったときに、前記第１の合成取得モードから前記第２の合成取得モードへの切替を行う
請求項７に記載の表示撮像装置。
【請求項１０】
前記所定のパラメータが環境光の照度であり、
前記切替手段は、前記影画像の移動平均画像を利用して、前記環境光の照度を検知する
請求項７に記載の表示撮像装置。
【請求項１１】
前記第１および第２の閾値が、ユーザによって任意に調整可能となっている
請求項１に記載の表示撮像装置。
【請求項１２】
前記画像処理手段は、前記表示撮像パネル上に位置する複数の近接物体の位置、形状または大きさの少なくとも１つに関する情報をそれぞれ取得する
請求項１に記載の表示撮像装置。
【請求項１３】
前記表示撮像パネルにより取得した前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を表示する
請求項１に記載の表示撮像装置。
【請求項１４】
前記表示撮像パネルが、複数の液晶素子および複数の撮像素子を含んで構成されている
請求項１に記載の表示撮像装置。
【請求項１５】
前記表示撮像パネルが、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成されている
請求項１に記載の表示撮像装置。
【請求項１６】
前記表示撮像素子が、有機ＥＬ素子である
請求項１５に記載の表示撮像装置。
【請求項１７】
画像表示機能と撮像機能とを有する表示撮像パネルを用いて近接物体の撮像画像を取得する撮像ステップと、
前記撮像ステップにより得られた撮像画像に基づき、所定の処理画像を生成する画像生成ステップと、
前記撮像ステップにより得られた撮像画像および前記画像生成ステップにより得られた処理画像のうちの少なくとも一方に基づき、２つの取得モードのうちの一方を選択的に利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと、
所定のパラメータの大きさに応じて前記検出ステップにおいて利用する前記２つの取得モード間の切替を行い、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替を行う切替ステップと
をコンピュータに実行させる物体検出プログラム。
【請求項１８】
画像表示機能と撮像機能とを有する表示撮像パネルを用いて近接物体の撮像画像を取得し、
前記撮像画像に基づいて所定の処理画像を生成し、
前記撮像画像および前記処理画像のうちの少なくとも一方に基づき、２つの取得モードのうちの一方を選択的に利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出し、
所定のパラメータの大きさに応じて前記２つの取得モード間の切替を行い、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替を行う
物体の検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の表示撮像装置は、
画像表示機能と撮像機能とを有する表示撮像パネルと、この表示撮像パネルを用いて得られる近接物体の撮像画像に基づき、所定の処理画像を生成する画像生成手段と、撮像画像および処理画像のうちの少なくとも一方に基づき、近接物体の位置、形状または大きさの少なくとも１つに関する情報を、２つの取得モードのうちの一方を選択的に利用して取得する画像処理手段と、切替手段とを備えたものである。ここで、この切替手段は、所定のパラメータの大きさに応じて画像処理手段における２つの取得モード間の切替を行い、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替を行うものである。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の物体検出プログラムは、画像表示機能と撮像機能とを有する表示撮像パネルを用いて近接物体の撮像画像を取得する撮像ステップと、この撮像ステップにより得られた撮像画像に基づき、所定の処理画像を生成する画像生成ステップと、撮像ステップにより得られた撮像画像および画像生成ステップにより得られた処理画像のうちの少なくとも一方に基づき、２つの取得モードのうちの一方を選択的に利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと、切替ステップとをコンピュータに実行させるようにしたものである。ここで、この切替ステップは、所定のパラメータの大きさに応じて検出ステップにおいて利用する２つの取得モード間の切替を行い、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替を行うものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の物体の検出方法は、画像表示機能と撮像機能とを有する表示撮像パネルを用いて近接物体の撮像画像を取得し、この撮像画像に基づいて所定の処理画像を生成し、撮像画像および処理画像のうちの少なくとも一方に基づき、２つの取得モードのうちの一方を選択的に利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出し、所定のパラメータの大きさに応じて２つの取得モード間の切替を行い、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替を行うようにしたものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の表示撮像装置、物体検出プログラムおよび物体の検出方法では、画像表示機能と撮像機能とを有する表示撮像パネルを用いて近接物体の撮像画像が得られ、この撮像画像に基づいて所定の処理画像が生成される。そして撮像画像および処理画像のうちの少なくとも一方に基づき、２つの取得モードのうちの一方を選択的に利用することにより、近接物体の位置、形状または大きさの少なくとも１つに関する情報が検出される。また、所定のパラメータの大きさに応じて、２つの取得モード間の切替がなされる。ここで、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替がなされる一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替がなされる。すなわち、２つの取得モード間での切替が、ヒステリシスを用いてなされる。これにより、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、２つの取得モード間での切替がその都度なされることがなくなり、高頻度での取得モードの変更が回避される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の表示撮像装置では、上記撮像画像が、表示撮像パネルにより近接物体の影を撮像して得られる影画像であると共に、上記処理画像が、表示撮像パネルからの表示光を利用してこの表示撮像パネルにより近接物体を撮像して得られる表示光利用画像と、上記影画像との差分処理を行うことにより得られる差分画像であるようにすることが可能である。なお、「影画像」とは、外光による影を撮像して得られる画像であり、表示光を利用しないで得られる画像を意味する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の表示撮像装置、物体検出プログラムまたは物体の検出方法によれば、所定のパラメータの大きさに応じて２つの取得モード間の切替を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替を行うようにしたので、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、高頻度での取得モードの変更を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
まず、図２３に示した比較例では、所定の切替パラメータ（例えば、後述する環境光の照度や表示輝度）の大きさに応じて、この切替パラメータが所定の切替閾値Ｔｈ１０１よりも大きいか否かによって、差分画像指先抽出処理および影画像指先抽出処理の切替処理がなされている。具体的には、切替パラメータが切替閾値Ｔｈ１０１以下であるときには、差分画像指先抽出処理による抽出結果が採用される一方、切替パラメータが切替閾値Ｔｈ１０１よりも大きいときには、影画像指先抽出処理による抽出結果が採用されるようになっている。ところが、例えば図中の矢印Ｐ１０１で示したように、切替閾値Ｔｈ１０１付近で切替パラメータが変動するようなときには、図中の矢印Ｐ１０２で示したように、差分画像指先抽出処理と影画像指先抽出処理との間で指先抽出処理が頻繁に切り替わってしまう。そしてそのように高頻度で指先抽出処理が切り替わると、近接物体の位置などの検出動作が不安定となってしまうことになる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
ここで、このような組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理としては、以下、図３０および図３１において説明するように、差分画像Ｃおよび影画像Ａに基づく画像Ｅのうちのどちらの重み付け係数を大きく設定するか（重み付け係数α，βのどちらを大きく設定するか）により、２つの例が考えられる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
【図１】本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。
【図２】図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。
【図３】各画素の構成例を表す回路図である。
【図４】各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。
【図５】バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。
【図６】第１の実施の形態に係る指先抽出処理を表す流れ図である。
【図７】図６における各抽出処理について説明するためのタイミング図である。
【図８】図７に示した差分画像指先抽出処理の詳細を表す流れ図である。
【図９】差分画像指先抽出処理について説明するための写真構成図である。
【図１０】外光が明るい場合の差分画像指先抽出処理について説明するための図である。
【図１１】外光が暗い場合の差分画像指先抽出処理について説明するための図である。
【図１２】差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。
【図１３】検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真構成図である。
【図１４】図７に示した影画像指先抽出処理の詳細を表す流れ図である。
【図１５】影画像指先抽出処理の概念について説明するための斜視図である。
【図１６】影画像指先抽出処理による撮像画像の一例を表す摸式図である。
【図１７】影画像指先抽出処理について説明するための写真構成図である。
【図１８】影画像指先抽出処理による受光信号について説明するための図である。
【図１９】移動平均画像の生成処理について説明するための図である。
【図２０】移動平均画像の生成処理について説明するための図である。
【図２１】移動平均画像の生成処理について説明するための図である。
【図２２】差分画像指先抽出処理と影画像指先抽出処理とについて比較説明するための図である。
【図２３】比較例に係る抽出処理間の切替処理について説明するための図である。
【図２４】第１の実施の形態に係る抽出処理間の切替処理について説明するための図である。
【図２５】図２４（Ａ）に示した環境光の照度の検知方法の一例を説明するための写真構成図である。
【図２６】本発明の第２の実施の形態に係る指先抽出処理を表す流れ図である。
【図２７】図２６に示した画像合成処理について説明するための写真構成図である。
【図２８】比較例に係る係数組み合わせの切替処理について説明するための図である。
【図２９】第２の実施の形態に係る係数組み合わせの切替処理について説明するための図である。
【図３０】係数組み合わせの一例を表す写真構成図である。
【図３１】係数組み合わせの他の例を表す写真構成図である。
【図３２】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図３３】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図３４】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図３５】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図３６】本発明の変形例に係る移動平均画像の生成処理について説明するための図である。
【図３７】本発明の変形例に係る移動平均画像の生成処理について説明するための図である。
【図３８】本発明の変形例に係る表示撮像装置の構成を表すブロック図である。
【図３９】図３８に示した表示撮像装置における各画素の構成例を表す回路図である。