(57)【要約】【課題】遠隔制御装置からの赤外線光源を含む映像のイメージ処理を通じて得られた赤外線光源の相対的な移動量から計算された遠隔制御装置の移動方向と距離の情報に基づいて、遠隔制御及び遠隔ポインティングを同時に実行可能なイメージセンサーを用いた遠隔ポインティング装置及び方法を提供する。【解決手段】イメージセンサーを用いた遠隔ポインティング装置及び方法が開始される。信号受信部は、遠隔制御モードと遠隔ポインティングモードのうち、遠隔制御装置から受信された赤外線信号に対応するモードにて動作させる制御信号を出力する。映像受信部は、信号受信部から遠隔ポインティングモードにて動作させる制御信号が入力されることにより駆動されて、遠隔制御装置から赤外線信号が入力されない第１の信号受信区間中に背景イメージを得、遠隔制御装置から受信された赤外線信号が入力される第２の信号受信区間中に遠隔制御装置から受信された赤外線信号に相当する光イメージを得る。映像処理部は、光イメージと背景イメージとの間の差分値を基に補正された光イメージを生成する。ポインティング量算出部は、映像処理部から入力される補正された光イメージの大きさを基に遠隔制御装置までの距離を算出し、算出された距離に基づいて遠隔制御装置の移動量を算出する。本発明によれば、遠隔制御装置の使用環境とは無関係に、極めて少量のハードウェアとソフトウェアの使用でも安定して遠隔制御機の光源の情報を取得・追跡して完成度の高い遠隔ポインティングシステムを実現することができる。【選択図】図１
2009522681.tif 000002
【特許請求の範囲】
【請求項１】
遠隔ポインティング装置に遠隔制御装置から受信した赤外線信号に対応する制御指令を行わせる遠隔制御モードと、前記遠隔ポインティング装置に遠隔制御装置から受信した赤外線信号によってポインティングポイントの変動量を算出して遠隔ポインティング動作を行わせる遠隔ポインティングモードのうち、遠隔制御装置から受信した赤外線信号に対応するモードによって前記遠隔ポインティング装置を動作させる制御信号を出力する信号受信部と、
遠隔ポインティングモードによって前記遠隔ポインティング装置を動作させる制御信号が前記信号受信部から入力され、前記遠隔制御装置から赤外線信号が受信しない第１の信号受信区間中に背景イメージを得、前記遠隔制御装置から赤外線信号が受信する第２の信号受信区間中に前記遠隔制御装置から受信する赤外線信号に対応する光イメージを得る映像受信部と、
前記光イメージと背景イメージとの差分値に基づいて補正された光イメージを生成する映像処理部と、
前記映像処理部から入力される補正された光イメージの大きさに基づいて前記遠隔制御装置までの距離を算出し、算出された距離に基づいて前記遠隔制御装置の移動量を算出するポインティング量算出部と、
を備えることを特徴とするイメージセンサーを用いた遠隔ポインティング装置。
【請求項２】
前記信号受信部は、
前記遠隔制御装置から赤外線信号を受信する受信部と、
前記遠隔ポインティングモードの同期信号が前記受信した赤外線信号から認識される際に、映像受信部を待ち状態から動作状態に切り換える制御を行う第１の制御信号を出力するとともに、遠隔ポインティングモードの終了信号が前記受信した赤外線信号から認識されるまで前記映像受信部を動作させる制御を行う第２の制御信号を出力する制御部と、
を備えることを特徴とする請求項１に記載の遠隔ポインティング装置。
【請求項３】
前記第１の制御信号を受信した際に、前記映像受信部は所定の信号待ち区間中に調整用の背景イメージを得て、イメージセンサーの露出量とホワイトバランス値を含む基本調整値を決定し、前記信号待ち区間中に続く信号受信区間中に、前記遠隔制御装置から受信した赤外線信号に対応する調整用の光イメージを得て、前記調整用の背景イメージに基づいて決定した基本調整値の有効性を検証することを特徴とする請求項２に記載の遠隔ポインティング装置。
【請求項４】
前記第１の信号受信区間及び第２の信号受信区間は、前記映像受信部によって１枚のフレームを構成可能なイメージ情報を取得及び出力するのに要される時間よりも長く設定されることを特徴とする請求項１に記載の遠隔ポインティング装置。
【請求項５】
前記映像処理部は、
前記光イメージと背景イメージとの差分値を算出する差分値算出部と、
前記算出された差分値により生成される中間イメージに対して所定のイメージマスクを適用して、前記補正された光イメージを生成する補正部と、
前記補正された光イメージのヒストグラムを解析し、補正された光イメージの横方向及び縦方向の大きさ及び形状を測定する光イメージ解析部と、
を備えることを特徴とする請求項１に記載の遠隔ポインティング装置。
【請求項６】
前記ポインティング量算出部は、下記の数式を用いて前記遠隔制御装置までの距離を算出することを特徴とする請求項１に記載の遠隔ポインティング装置。
【数１】
2009522681.tif 000013
ここで、Ｄ１は遠隔制御装置までの距離、Ｒは光源の直径、λはイメージセンサーの前端に位置するレンズとイメージセンサーとの間の距離、ＲＤ１は受信した光イメージの直径である。
【請求項７】
前記ポインティング量算出部は、前記受信した光イメージの大きさに対応する遠隔制御装置までの距離に対する実測値を含む距離算出データによって、前記遠隔制御装置までの距離を算出することを特徴とする請求項１に記載の遠隔ポインティング装置。
【請求項８】
前記ポインティング量算出部は、下記の数式を用いて前記映像受信部を構成するイメージセンサーの中心を原点とする空間座標系において、前記遠隔制御装置の座標Ｘ、Ｙ、Ｚを算出することを特徴とする請求項６または７に記載の遠隔ポインティング装置。
【数２】
2009522681.tif 000014
ここで、Ｚは遠隔制御装置までの距離、λはイメージセンサーの前端に位置するレンズとイメージセンサーとの間の距離、ｘ及びｙはそれぞれ前記イメージセンサーの中心を原点とするイメージセンサーから構成される平面のｘ軸とｙ軸の座標である。
【請求項９】
（ａ）遠隔制御装置から赤外線信号を受信するステップと、
（ｂ）遠隔ポインティングモードの同期信号が受信した赤外線信号から認識される際に、イメージセンサーを待ち状態から動作状態に切り換えるステップと、
（ｃ）前記イメージセンサーによって、前記遠隔制御装置から赤外線信号が受信しない第１の信号受信区間中に背景イメージを得、前記遠隔制御装置から赤外線信号が受信する第２の信号受信区間中に遠隔制御装置から受信する赤外線信号に対応する光イメージを得るステップと、
（ｄ）前記光イメージと背景イメージとの差分値に基づいて補正された光イメージを生成するステップと、
（ｅ）前記補正された光イメージの大きさに基づいて前記遠隔制御装置までの距離を算出し、算出された距離に基づいて前記遠隔制御装置の移動量を算出するステップと、
を含むことを特徴とするイメージセンサーを用いた遠隔ポインティング方法。
【請求項１０】
前記（ｂ）ステップは、
（ｂ１）遠隔ポインティングモードの同期信号が前記受信した赤外線信号から認識された際に、前記イメージセンサーによって所定の信号待ち区間中に調整用の背景イメージを得て、前記イメージセンサーの露出量とホワイトバランス値を含む基本調整値を決定するステップと、
（ｂ２）前記信号待ち区間に続く信号受信区間中に、前記イメージセンサーによって前記遠隔制御装置から受信した赤外線信号に対応する調整用の光イメージを得て、前記調整用の背景イメージに基づいて決定した基本調整値の有効性を検証するステップと、
を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１の信号受信区間及び第２の信号受信区間は、前記映像受信部によって１枚のフレームを構成可能なイメージ情報を取得及び出力するのに要される時間よりも長く設定されることを特徴とする請求項９に記載の方法。
【請求項１２】
前記（ｄ）ステップは、
（ｄ１）前記光イメージと背景イメージとの差分値を算出するステップと、
（ｄ２）前記算出された差分値により生成される中間イメージに対して所定のイメージマスクを適用して、前記補正された光イメージを生成するステップと、
（ｄ３）前記補正された光イメージのヒストグラムを解析し、補正された光イメージの横方向及び縦方向の大きさ及び形状を測定するステップと、
を含むことを特徴とする請求項９に記載の方法。
【請求項１３】
前記（ｅ）ステップにおいて、
下記の数式を用いて前記遠隔制御装置までの距離を算出することを特徴とする請求項９に記載の方法。
【数３】
2009522681.tif 000015
ここで、Ｄ１は遠隔制御装置までの距離、Ｒは光源の直径、λはイメージセンサーの前端に位置するレンズとイメージセンサーとの間の距離、ＲＤ１は受信した光イメージの直径である。
【請求項１４】
前記（ｅ）ステップにおいて、
前記受信した光イメージの大きさに対応する遠隔制御装置までの距離に対する実測値を含む距離算出データによって、前記遠隔制御装置までの距離を算出することを特徴とする請求項９に記載の方法。
【請求項１５】
前記（ｅ）ステップにおいて、
下記の数式を用いて前記映像受信部を構成するイメージセンサーの中心を原点とする空間座標系において、前記遠隔制御装置の座標Ｘ、Ｙ、Ｚを算出することを特徴とする請求項１３または１４に記載の方法。
【数４】
2009522681.tif 000016
ここで、Ｚは遠隔制御装置までの距離、λはイメージセンサーの前端に位置するレンズとイメージセンサーとの間の距離、ｘ及びｙはそれぞれ前記イメージセンサーの中心を原点とするイメージセンサーから構成される平面のｘ軸とｙ軸の座標である。
【請求項１６】
請求項９から１４のいずれかに記載の方法を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサーを用いた遠隔ポインティング装置及び方法に係り、さらに詳しくは、家電製品の遠隔制御に用いるリモコンなどの遠隔制御装置から受信する光イメージの移動量に基づいてポインティング機能を行うことのできる遠隔ポインティング装置及び方法に関する。
【背景技術】
【０００２】
遠隔制御装置から発せられる赤外線ＬＥＤ光源からの映像など、特定のイメージを抽出するためのパターン認識技術は、商業的な目的の映像処理分野において既に広く用いられている。
【０００３】
パターン認識技術を基盤とする映像処理技術は、下記のように２つの過程に分けられて行われる。
第１の過程は、イメージセンサーから出力された原イメージに対して映像処理アルゴリズムを適用しやすくするための前処理過程である。前処理過程では、原イメージに含まれている背景やイメージセンサーのノイズなどの付加的な情報（処理目的に適した情報以外の情報）を除去し、主処理過程において使用する映像処理アルゴリズムを適用しやすくするために、任意に加工された形態の仮想イメージを新たに生成する。
【０００４】
第２の過程は、主処理過程であり、前処理過程において生成された仮想イメージから意図された映像処理の目的に適するように所望の目標物のイメージを認識し、認識されたイメージから目標物の外形的な状態、変位、色、大きさなどの有効な映像情報を抽出する過程である。
【０００５】
パターン認識を目的とする映像処理技法のために用いられる前処理過程では、目標物の予測される外形に関する情報と、背景により生成される情報と、使用する映像処理アルゴリズムの演算結果の傾向などに関する情報に基づいて、原イメージを操作または変形しなければならない。イメージセンサーを用いて、赤外線リモコン通信機能を有する遠隔ポインティングシステムの応用分野がテジタルテレビ、セットトップボックス、ディスプレイ、ゲーム機などであることを考慮すると、遠隔ポインティング装置は、多岐にわたる分野において用いられる。このため、遠隔ポインティング装置において用いられる映像処理技法では、前処理過程において太陽光などの自然光の赤外線帯域の光による乱れや、蛍光灯や白熱電球やその他の人工光源から発せられる赤外線帯域の光による乱れ、そして、燃焼装置（例えば、蝋燭の火、ストーブ、ガスレンジ、ライターなど）の燃焼炎から発せられる赤外線帯域の光による乱れなどが生じた場合であっても、原イメージを所望の目的に適するように操作及び変形しなければならない。
【０００６】
しかしながら、このような使用環境における前処理過程で生じる乱れ成分は極めて不明確なものであり、種々の赤外線成分の相互作用によって、使用環境において考慮される背景画面の情報が極めて複雑で、かつ、さまざまな形状で存在するため、前処理機能を適切に定義することは極めて困難である。
【０００７】
完成度の高い前処理過程を定義して行った場合にも、遠隔制御装置からの赤外線映像とは別の赤外線映像成分が存在するために、主処理の結果が好適ではないことが頻繁に発生する。このような例外的な使用環境についての映像処理結果を補正するためには、多岐にわたる使用環境についての事前検討がなされなければならない。また、多量の使用環境に関する情報について付加的な演算を行い、前処理過程を行うことを余儀なくされるため、前処理過程のためのハードウェア及びソフトウェアの複雑性に起因して、パターン認識のための前処理の目的を達成することが困難である。さらに、遠隔ポインティング装置を考慮すると、前処理過程はリアルタイムで実行されなければならず、従来の映像処理技法では定まった時間内に所定の目的を達成することは極めて困難である。
【０００８】
前処理過程において新たに生成されたイメージを、主処理過程で実行した際に、赤外線イメージの他に背景イメージの一部と、イメージセンサーそのものからのノイズの一部が混在された状態で、前処理されたイメージからパターン認識を試みることになる。このため、最も基本的な映像処理技法であり、イメージから出力されるピクセルの出力値の臨界値を設定しておき、それ以上は１として処理し、かつ、それ未満は０として処理してそれぞれのピクセルに対するヒストグラムを生成し、生成されたヒストグラムの分布を利用する２値映像処理技法はその結果に対する信頼性を保証することができなくなる。また、移動量の追跡のために用いられる一般的な映像処理技法である前画面と現画面との比較を通じての映像処理技法を用いるためには、過去のイメージと現在のイメージ、さらに２つのイメージの差分のように３種以上のイメージを記憶するフレームバッファが必要となる。この３種のイメージは赤外線光源から連続して得られたものである。また、それぞれのイメージに対する比較マスクを設定し、この比較マスクを全画面に対して演算しなければならないため、演算量が大幅に増えるだけではなく、光源の移動の特性において予期しない多岐にわたる移動結果として比較の結果が現れる。さらに、光源の移動量と背景画面の移動量の差分が小さいか、背景画像の特定部分の移動量が光源の移動量よりも大きな場合には、目標物のパターン認識のための論理的な判別が極めて困難である。また、光源の領域を直接的に抽出することができなくなり、光源の領域を抽出するために付加的に複雑な演算を行わなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、遠隔制御装置からの赤外線光源を含む映像のイメージ処理を通じて得られた赤外線光源の相対的な移動量から計算された遠隔制御装置の移動方向と距離の情報に基づいて、遠隔制御及び遠隔ポインティングを同時に実行可能なイメージセンサーを用いた遠隔ポインティング装置及び方法を提供する。
【００１０】
また本発明は、遠隔制御装置からの赤外線光源を含む映像のイメージ処理を通じて得られた赤外線光源の相対的な移動量から計算された遠隔制御装置の移動方向と距離の情報に基づいて、遠隔制御及び遠隔ポインティングを同時に実行可能なイメージセンサーを用いた遠隔ポインティング方法を含むプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【課題を解決するための手段】
【００１１】
本発明の特性によれば、遠隔ポインティング装置に遠隔制御装置から受信した赤外線信号に対応する制御指令を行わせる遠隔制御モードと、前記遠隔ポインティング装置に遠隔制御装置から受信した赤外線信号によってポインティングポイントの変動量を算出して遠隔ポインティング動作を行わせる遠隔ポインティングモードのうち、遠隔制御装置から受信した赤外線信号に対応するモードによって前記遠隔ポインティング装置を動作させる制御信号を出力する信号受信部と、遠隔ポインティングモードによって前記遠隔ポインティング装置を動作させる制御信号が前記信号受信部から入力され、前記遠隔制御装置から赤外線信号が受信しない第１の信号受信区間中に背景イメージを得、前記遠隔制御装置から赤外線信号が受信する第２の信号受信区間中に前記遠隔制御装置から受信する赤外線信号に対応する光イメージを得る映像受信部と、前記光イメージと背景イメージとの差分値に基づいて補正された光イメージを生成する映像処理部と、前記映像処理部から入力される補正された光イメージの大きさに基づいて前記遠隔制御装置までの距離を算出し、算出された距離に基づいて前記遠隔制御装置の移動量を算出するポインティング量算出部と、を備えることを特徴とするイメージセンサーを用いた遠隔ポインティング装置が提供される。
【００１２】
本発明の他の特性によれば、（ａ）遠隔制御装置から赤外線信号を受信するステップと、（ｂ）遠隔ポインティングモードの同期信号が受信した赤外線信号から認識される際に、イメージセンサーを待ち状態から動作状態に切り換えるステップと、（ｃ）前記イメージセンサーによって、前記遠隔制御装置から赤外線信号が受信しない第１の信号受信区間中に背景イメージを得、前記遠隔制御装置から赤外線信号が受信する第２の信号受信区間中に遠隔制御装置から受信する赤外線信号に対応する光イメージを得るステップと、（ｄ）前記光イメージと背景イメージとの差分値に基づいて補正された光イメージを生成するステップと、（ｅ）前記補正された光イメージの大きさに基づいて前記遠隔制御装置までの距離を算出し、算出された距離に基づいて前記遠隔制御装置の移動量を算出するステップと、を含むことを特徴とするイメージセンサーを用いた遠隔ポインティング方法が提供される。
【００１３】
したがって、高い完成度を有し、遠隔制御装置と遠隔ポインティングシステムの遠隔受信装置の動作を同期させて得られたイメージ情報に基づいて、遠隔制御装置の使用環境の変化にかかわらず、従来技術の方法と比べて、極めて少量なハードウェアとソフトウェアを使用して遠隔制御装置の光源の情報を取得・追跡可能な遠隔ポインティングシステムを実現することができる。
【発明の効果】
【００１４】
本発明のイメージセンサーを用いた遠隔ポインティング装置及び方法によれば、高い完成度を有し、遠隔制御装置と遠隔受信装置の動作を同期させて得られたイメージ情報に基づいて、遠隔制御装置の使用環境とは無関係に、極めて少量なハードウェアとソフトウェアを使用して遠隔制御装置の光源の情報を取得・追跡可能な遠隔ポインティングシステムを実現することができる。また、本発明によれば、デジタルテレビ（ＴＶ）、セットトップボックス、またはビデオオンデマンド（ＶＯＤ）のディスプレイ画面に、赤外線リモコンのようにボタンを押す必要がなくなり、ユーザーは、グラフィク・ユーザー・インターフェース（ＧＵＩ）環境においてマウスを動かすことによってパーソナルコンピューターを使用するのと同じように、デジタルＴＶ、セットトップボックス、ＶＯＤの情報ディスプレイ装置を便利に制御し使用することを可能とする情報ディスプレイ用の新規な方式の遠隔ポインティング技法を実現することができる。
【発明を実施するための最良の形態】
【００１５】
添付図面を参照して、本発明の例示的な実施の形態をより詳細に説明する。
図１は、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００の構成を示すブロック図である。
【００１６】
図１を参照すれば、遠隔ポインティング装置１００は、信号受信部１１０、映像受信部１２０、映像処理部１３０、及びポインティング量算出部１４０を備えている。
信号受信部１１０は、遠隔制御装置２００（図２）から受信する赤外線信号に対応する制御指令を行う遠隔制御モードと、遠隔ポインティング動作を行う遠隔制御装置２００から受信する赤外線信号によってポインティングポイントの変動量を算出する遠隔ポインティングモードのうち、遠隔制御装置１００を遠隔制御装置２００から受信する赤外線信号に対応するモードにて動作させる制御信号を出力する。
【００１７】
遠隔ポインティング装置１００を遠隔ポインティングモードにて動作させる制御信号が信号受信部１１０から入力される際に、映像受信部１２０は起動し、待ち状態から動作状態へと切り替えられる。動作状態に切り替えられた映像受信部１２０は、第１の信号受信区間中に背景イメージを得て、第２の信号受信区間中に遠隔制御装置２００から受信する赤外線信号に対応する光学イメージを得る。赤外線信号は、第１の信号受信区間中に受信せず、第２の信号受信区間中に遠隔制御装置２００から受信する。
【００１８】
図２は、遠隔制御装置２００を示す図である。
図２を参照すれば、遠隔制御装置２００は、操作ボタン部２１０と、モード選択ボタン２２０と、発光部２３０を備える。操作ボタン部２１０は、数字キー、機能選択ボタン、メニューボタンなど家電製品の制御のために必要なボタンを含んでいる。モード選択ボタン２２０は、赤外線受信装置（例えば、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００、または、これを備えた家電製品）、及び、遠隔ポインティング装置１００及び遠隔制御装置２００に、遠隔制御装置２００から受信する赤外線信号に対応する制御指令を行わせる遠隔制御モードと、遠隔制御装置２００から受信する赤外線信号に基づいてポインティングポイントの変動量を算出し、遠隔ポインティングデバイス１００及び遠隔制御装置２００に遠隔ポインティング動作を行わせる遠隔ポインティングモードを切り替える。遠隔制御モードが選択された際の遠隔制御装置２００、及び、赤外線受信装置の動作は周知であり、本発明の核心には含まれないので、それについての詳細な説明は省略する。
【００１９】
遠隔ポインティングモードを選択した際には、遠隔制御装置２００と赤外線受信装置は、通常の遠隔制御モードとは異なる動作をし、別の送信プロトコルを定義しなければならない。ユーザーが遠隔制御装置２００のモード選択ボタンを操作して、遠隔ポインティングモードとして、遠隔で家電製品を制御する赤外線信号を送信する遠隔制御装置２００を遠隔ポインティング状態として用いる場合には、遠隔制御装置２００の発光部２３０は、図３に示す遠隔ポインティングプロトコル３００によって赤外線信号を送信する。
【００２０】
図３を参照すれば、遠隔ポインティングプロトコル３００は、ポインティング開始区間３１０、ポインティング実行区間３２０、及び、ポインティング終了区間３３０を含んでいる。
【００２１】
ユーザーが遠隔ポインティングを実行するために遠隔制御装置２００のボタンを操作する場合には、ポインティング開始区間３１０がアクティブとなる。ポインティング開始区間３１０の間は、遠隔制御装置２００の光源の点灯状態は事前に定められたプロトコルによって操作され、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００の信号受信部１１０に設けられた赤外線受信センサーに遠隔ポインティング動作の開始を認識させる。赤外線信号からポインティング開始区間３１０に含まれている遠隔ポインティングモードの同期信号が、遠隔制御装置２００から受信されると、イメージセンサーを用いた遠隔ポインティング装置１００の信号受信部１１０は、映像受信部１２０を待ち状態から動作状態に切り替えるように制御する。
【００２２】
図４は、遠隔ポインティングプロトコルのポインティング開始区間３１０の詳細な構成を示す図である。
図４を参照すれば、ポインティング開始区間３１０は、開始同期区間４１０と、消灯区間４２０と、待ち区間４３０と、点灯区間４４０と、開始終了区間４５０と、待ち区間４６０を含んでいる。開始同期区間４１０において、遠隔制御装置２００は赤外線ポインティングの開始を知らせるための赤外線信号を送信し、信号受信部１１０は、受信した赤外線信号から開始同期信号を認識し、映像受信部１２０を待ち状態から動作状態に切り替える。このとき、映像受信部１２０はイメージを取得するために必要なシステムの初期化過程を行う。
【００２３】
消灯区間４２０において、遠隔制御装置２００は、所定の時間、赤外線光源を消灯させて待機する。このとき、信号受信部１１０は赤外線光源の消灯状態を認識し、映像受信部１２０に映像処理の目標物である赤外線光源のない状態の背景画像を得るように制御する。これにより、映像受信部１２０は、得られた背景画像を用いてイメージセンサーの自動露出量とホワイトバランス値のように効率のよいイメージの取得に必要となる基本調整値を決め、決められた値を用いて新たなイメージを得る。
【００２４】
待ち区間４３０において、遠隔制御装置２００は、事前に定められたプロトコルによって赤外線光源を点灯または消灯し、現在の制御状態が終了して次の制御状態が始まるという情報を情報受信部１１０に送信する。
【００２５】
点灯区間４４０において、遠隔制御装置２００は、赤外線光源を点灯した状態で所定の時間待機する。このとき、信号受信部１１０は赤外線光源の点灯状態を認識し、映像受信部１２０に映像処理の目標物である赤外線光源のある状態の背景画像を含むイメージを得るように制御する。映像受信部１２０は、得られたイメージを用いて消灯区間４２０において、設定されたイメージセンサーの基本調整値の有効性を検証する。映像処理部１３０は、消灯区間４２０において得られたイメージと、点灯区間４４０において得られたイメージとの差分を用いて赤外線光源の直径を演算し、赤外線光源の直径を用いてカメラ座標系内における遠隔制御装置２００の赤外線光源の３次元的な位置を導き出す。
【００２６】
開始終了区間４５０及び待ち区間４６０において、遠隔制御装置２００はポインティング開始区間３１０が終了しポインティング実行区間３２０が行われると知らせる赤外線信号を送信する。
【００２７】
ポインティング実行区間３２０は、ユーザーによって、遠隔ポインティングのために遠隔制御装置２００を直接的に動かして、ディスプレイ画面に表示されるポインティング結果と、表示されるポインティング結果を用いて遠隔制御を実行する赤外線光源の伝送信号プロトコルである。図５は、遠隔ポインティングプロトコルのポインティング実行区間の詳細を示す図である。図５を参照すれば、ポインティング実行区間３２０における遠隔制御装置２００によって伝送される赤外線光源の信号は、ユーザーが遠隔ポインティングの所定の目的を到達して遠隔ポインティングを終了するまで赤外線光源が消灯される信号待ち区間Ｔ１と、赤外線光源が点灯される信号受信区間Ｔ２とを含んでいる。遠隔制御装置２００は、遠隔ポインティングが終了するまで、Ｔ１とＴ２からなる赤外線信号を繰り返し送信する。このとき、Ｔ１とＴ２の時間的な長さはそれぞれ、映像受信部１２０に設けられるイメージセンサーの特性とポインティングシステムの応用製品に応じて定められる。Ｔ１とＴ２の時間的な長さは、少なくともイメージセンサーが１枚のフレームを構成可能なイメージを得て出力するのに要される時間より長く設定される必要がある。通常、Ｔ１とＴ２は、イメージセンサーの特性に応じて、１／１０秒〜１／６０秒程度で定義され用いられる。
【００２８】
したがって、信号受信部１１０に設けられた赤外線センサーを介して受信する信号は、Ｔ１とＴ２の周期を有する波形となる。このとき、映像受信部１２０に設けられたイメージセンサーは、受信信号と同期して遠隔ポインティング演算のためのイメージを下記のように得る。
【００２９】
まず、受信信号がＴ１の場合、赤外線光源は消灯され、映像受信部１２０は図６に示すように背景イメージを得る。一方、受信信号がＴ２の場合には、赤外線信号は点灯し、映像受信部１２０は図７に示すように背景イメージと赤外線光源を含むイメージを得る。このとき、図６に示すイメージをＰ１とし、図７に示すイメージをＰ２とすると、映像処理部１３０は、Ｐ１とＰ２の差分を得て、差分の絶対値得ることで図８に示すように仮想イメージを生成する。
【００３０】
図８に示すイメージをＰ３とすると、映像処理部１３０によって行われる演算は、数１によって定義される。
【００３１】
【数１】
2009522681.tif 000003
【００３２】
図８に示すイメージにおいて、中央部に赤外線光源のイメージが主なイメージとして残され、背景イメージは数１を用いて除去される。しかしながら、映像取得の時間差による背景の動きやイメージセンサーのノイズによって、赤外線光源のイメージ（抽出しようとするものである）の他に、背景の所定部分に変化量のイメージが残されている可能性がある。背景部分の映像成分を確認するためにヒストグラム技法を図８に示す映像成分に適用してＸ軸とＹ軸の蓄積映像成分を解析すると、図１０に示す結果を導き出すことができる。
【００３３】
図１０に示すイメージの解析から、Ｙ軸成分のイメージによるヒストグラム１０００及びＸ軸成分のイメージによるヒストグラム１０１０によれば、Ｙ軸上のｂ点及びＸ軸上のａ点が赤外線光源の位置の座標であることが直感的にわかる。しかしながら、図１０に示すイメージは、背景のノイズ成分が増加する場合に、しきい値１０１０及び１０３０を設定しづらい恐れがある仮想イメージである。したがって、伝統的な映像処理技法であるイメージマスクを図８に示すイメージに適用し、背景に残されたノイズ成分を除去するべきである。イメージマスクの例が図１１及び１２に示してある。このとき、適切な大きさのイメージマスクは、ノイズ成分の除去に応じて決定する。例えば、図１１に示す３×３イメージマスクや図１２に示す５×５イメージマスクが背景の残されたノイズ成分によって用いられる。また、ローパス機能を有するイメージマスク、補整機能を有するイメージマスク、円形の形態素を構成するイメージマスクなどを含むイメージマスクの特性も、所望の仮想イメージを生成するために選択的に用いられる。
【００３４】
図９は、以上の過程を行う事により生成されたイメージを示している。図９に示すイメージをＰ４とし、イメージの形成に用いられたイメージマスクを補整機能を有する３×３マスクとすれば、Ｐ４は数２によって表すことができる。
【００３５】
【数２】
2009522681.tif 000004
【００３６】
数２により生成された最終的なイメージは、赤外線光源（遠隔制御装置２００から受信する）のイメージのみが残され、背景イメージやノイズは除去されるように加工されたイメージである。赤外線光源のイメージは、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００によって認識され、赤外線光源の移動追跡は、遠隔ポインティング装置１００によって追跡しなければならず、このようにして遠隔ポインティング情報は導き出される。
【００３７】
図９に示すイメージ成分をヒストグラム技法によって解析すると、図１３に示す結果が導き出される。
図１３に示すイメージの解析から、Ｙ軸成分のイメージによるヒストグラム１３００及びＸ軸成分のイメージによるヒストグラム１３１０によれば、Ｙ軸上のｂ点及びＸ軸上のａ点が赤外線光源の位置の座標であることが直感的にわかる。さらに、図１３に示すイメージはほとんど背景のノイズ成分を有していないため、光源のパターンを認識するために用いられる判断基準値であるしきい値１３２０及び１３３０を設定しやすい。また、図１３に示すイメージから、ｂ点及びａ点を中心とするヒストグラムの分布と推定累積値を用いて、遠隔制御装置２００の光源のＹ軸方向及びＸ軸方向の形状や大きさＲｙ、Ｒｘ、および、光源の明るさを測定することができる。
【００３８】
ポインティング終了区間３３０は、遠隔ポインティングモードの終了を通知するために遠隔制御装置２００によって伝送する赤外線光源の伝送信号プロトコルである。
ユーザーによる遠隔制御装置２００のモード選択ボタン２２０の操作により、遠隔制御装置２００から伝送されるポインティング終了区間３３０を含む赤外線信号を受信すると、遠隔ポインティングモードを行っている赤外線受信装置または本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置を含む家電製品は、遠隔ポインティングモードを終了し、遠隔制御装置２００の基本的な動作モードである遠隔制御モードに切り替わる。
【００３９】
ポインティング量算出部１４０は、映像処理部１３０から入力される補正された光学イメージの大きさに基づいて遠隔制御装置２００の距離を算出し、算出された距離に基づいて遠隔制御装置２００の移動量を算出する。
【００４０】
赤外線ＬＥＤ光源を用いて遠隔ポインティングを行う際に、遠隔制御装置２００に設けられたＬＥＤ光源は、ユーザーの意図した動きによる上下及び左右の位置情報だけではなく、遠隔制御装置２００と本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００の信号受信部１１０との距離に関する情報を含んでいる。したがって、遠隔制御装置２００の赤外線ＬＥＤ光源が位置する空間は、映像受信部１２０を基準とする３次元的な空間の位置情報として解析される。映像処理の分野では、このような２次元空間は図１４に示すようなカメラ座標系として定義される。
【００４１】
図１５は、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置の映像受信部の工学的な構造と遠隔制御装置からの距離によるイメージを示す図である。
【００４２】
図１５を参照すれば、映像受信部１２０（図１）は、レンズセット１５００とイメージセンサー１５１０を含んでいる。遠隔制御装置２００（図２）は、レンズセット１５００からＤ１の距離に位置する遠隔制御装置２００の赤外線光源１５２０と、レンズセット１５００からＤ０の距離に位置する遠隔制御装置２００の別の赤外線光源１５３０を用いて表すことができる。このとき、レンズセット１５００とイメージセンサー１５１０の距離は、通常、レンズセット１５００と遠隔制御装置２００の赤外線光源１５２０または１５３０との距離Ｄ１またはＤ０と比べて、極めて小さい。したがって、演算を行う場合には、レンズセット１５００と遠隔制御装置２００の赤外線光源１５２０または１５３０との距離Ｄ１またはＤ０は、イメージセンサー１５１０と遠隔制御装置２００の光源１５２０または１５３０との距離として近似することができる。
【００４３】
本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置１００は、３次元空間の遠隔制御装置２００の位置情報を、図１５に示す光学レンズセット１５００を介して映像受信部１２０に設けられた２次元映像センサー１５３０に投影されることによって生成された映像情報を用いる。すなわち、イメージセンサー１５３０に投影された２次元位置情報を抽出する過程において、イメージセンサー１５１０と光源１５２０および１５３０の距離を測定し、その後、鉛直／水平方向の実際の移動量を、測定した距離を基準として測定する。相対的な移動量は、遠隔制御装置２００の測定された移動量によって補償され、ディスプレイ画面に表示される鉛直／水平の遠隔ポインティング結果は、遠隔制御装置２００とイメージセンサー１５１０の距離に関係なく一定となる。
【００４４】
図１５を参照すれば、直径がＲであり、レンズセット１５００から距離Ｄ１に位置する赤外線光源１５２０は、レンズセット１５００から距離Ｄ０に位置する赤外線光源１５３０と比べて相対的に遠い点に位置するため、レンズセット１５００を介して通過する幾何光学的構造により、イメージセンサー１５１０によって得られる光源１５２０の大きさ１５５０は、相対的に小さい。また、直径がＲであり、レンズセット１５００から距離Ｄ０に位置する赤外線光源１５３０は、レンズセット１５００から距離Ｄ１に位置する赤外線光源１５２０と比べて相対的に近い点に位置するため、レンズセット１５００を介して通過する幾何光学的な構造によって、イメージセンサー１５１０によって得られる赤外線光源１５３０の大きさ１５４０は相対的に大きい。
【００４５】
このとき、異なる距離Ｄ０およびＤ１に位置する２つの赤外線光源１５３０および１５２０の実際の直径Ｒはそれぞれ同じであるが、イメージセンサーによって得られる２つの光源１５３０および１５２０のイメージ１５４０および１５５０は異なる大きさとして現れる。
【００４６】
距離Ｄ０に位置する赤外線光源１５３０の実際の直径をＲＤ０、距離Ｄ１に位置する赤外線光源１５２０の実際の直径をＲＤ１とすれば、異なる距離Ｄ０およびＤ１から受信するイメージ１５４０および１５５０の直径Ｒ０とＲ１との関係は、数３で表される。
【００４７】
【数３】
2009522681.tif 000005
【００４８】
このため、イメージセンサー１５１０から遠い位置において、イメージセンサー１５１０を介して得られたイメージを含む赤外線光源は、イメージセンサー１５１０を介してイメージセンサーの近い位置において、イメージセンサーを介して得られたイメージを含む赤外線光源と比べて小さく表される。一方、イメージセンサー１５１０を介してイメージセンサーの近い位置において、イメージセンサー１５１０を介して得られたイメージを含む赤外線光源は、イメージセンサー１５１０から遠い位置において、イメージセンサー１５１０を介して得られたイメージを含む赤外線光源と比べて大きく表される。赤外線光源の明るさ（光度）もまた、イメージセンサー１５１０と赤外線光源の距離が大きくなるにつれて減少する。また、イメージセンサー１５１０を介して実際に得られる光源のイメージの試験では、同じ物理的な移動量を有する実際の遠隔制御装置２００の赤外線光源の移動量が、近い距離において相対的に明るい赤外線光量を有する大きなポインティング変化値として出力され、相対的に暗い赤外線光量を有する小さなポインティング変化値として出力される。したがって、イメージセンサー１５１０から単純に得られた光源のイメージによるポインティング値は、遠隔制御装置２００のポインティング値として直接的に用いることができず、実際のポインティング値は、赤外線光源１５２０または１５３０とレンズセット１５００との距離の相関関係を考慮し、演算して用いなければならない。
【００４９】
本発明の実施の形態によるイメージセンサーを用いた遠隔制御装置及び方法は、イメージセンサーより得られた光源のイメージから実際に有効な光源のポインティング量を決定するために遠隔制御装置とイメージセンサーとの距離を下記の方法を用いて算出する。
【００５０】
図１５に示す光源１５２０の直径Ｒが既知である場合、レンズセット１５００と赤外線光源１５２０との距離をＤ１、レンズセット１５００とイメージセンサー１５１０との距離をλ、イメージセンサー１５１０によって得られる光源１５２０のイメージの直径をＲＤ１とすれば、これらのパラメータの関係は、下記の数式によって表される。
【００５１】
【数４】
2009522681.tif 000006
【００５２】
数４から、光源１５２０とレンズセット１５００との距離Ｄ１は、数５を用いて得られる。
【００５３】
【数５】
2009522681.tif 000007
【００５４】
ここで、Ｒとλは、本発明の実施の形態によるイメージセンサー１５１０を用いた遠隔ポインティング装置のハードウェア構造によって定義される定数であり、ＲＤ１は、イメージセンサー１５１０から得られる値である。遠隔制御装置２００とイメージセンサー１５１０との距離Ｄ１は、数５を用いて算出することができる。上記のように算出した距離は、実際の応用製品では、レンズセット１５００の光学的誤差と、ＲＤ１と比べて極めて小さな値であるλにより大なり小なり誤差があるため、実際の距離と受信した光源の大きさの実測値を含むテーブルを作成して、算出された距離を補正することで、より精度の良い距離を導き出すことが可能である。
【００５５】
数５を用いて導き出された距離が図１４に示すカメラ座標系に適用すると、既知の値λ及びＤを用いて実際のカメラ座標系において（Ｘ，Ｙ，Ｚ）の位置として表される３次元空間に存在する光源のイメージは、レンズセットの中心点１４２０を通過して、イメージセンサー１５１０の平面１４００の（ｘ，ｙ）の位置に２次元的に投影されて存在する。このとき、（Ｘ，Ｙ，Ｚ）の３次元座標を有する光源の（イメージセンサー上の）Ｚ座標は、数５を用いて算出された結果にλを加算することによって得られる。すなわち、光源のＺ座標は下記の数式を用いて得られる。
【００５６】
【数６】
2009522681.tif 000008
【００５７】
また、イメージセンサーに投影される（Ｘ，Ｙ，Ｚ）の３次元座標を有する光源の（イメージセンサー上の）Ｘ座標は、下記の数式を用いて得られる。
【００５８】
【数７】
2009522681.tif 000009
【００５９】
数７は、下記のように光源のＸ座標に関する関係式として表すことができる。
【００６０】
【数８】
2009522681.tif 000010
【００６１】
同様に、イメージセンサー上に投影される（Ｘ，Ｙ，Ｚ）の３次元座標を有する光源の（イメージセンサー上の）Ｙ座標は、下記の数式を用いて得られる。
【００６２】
【数９】
2009522681.tif 000011
【００６３】
数７は、下記のように光源のＸ座標に関する関係式として表すことができる。
【００６４】
【数１０】
2009522681.tif 000012
【００６５】
このため、数６、８、及び１０を用いて導き出された光源の３次元的な座標（Ｘ，Ｙ，Ｚ）の変化量を遠隔ポインティング量として計算すると、実際の遠隔制御装置２００の赤外線ＬＥＤ光源の移動量を十分に反映させることで遠隔ポインティングを行う事ができる。したがって、遠隔制御装置の光源の（イメージセンサーに投影される）イメージの座標（ａ，ｂ）、光源の直径ＲｘまたはＲｙ、レンズセットとイメージセンサーとの既知の距離λに基づいて、図５に示す周期Ｔ１及びＴ２を用いて、図１４に示すカメラ座標系における遠隔制御装置２００の光源の３次元空間座標をリアルタイムに算出することができる。また、イメージセンサーを用いた遠隔制御装置の位置の変化量は、毎周期ごとの光源の３次元座標上の変化量から追跡され、追跡された変化量はポインティング結果として導き出される。
【００６６】
図１６は、本発明の実施の形態におけるイメージセンサーを用いた遠隔ポインティング方法のフロー図である。
図１６を参照すれば、信号受信部１１０は、遠隔制御装置２００から赤外線信号を受信する（Ｓ１６００）。同期信号が受信した赤外線信号から認識されると、信号受信部１１０は、映像受信部１２０を待ち状態から動作状態に切り替える（Ｓ１６１０）。映像受信部１２０は、所定の信号待ち区間中に調整用の背景イメージを得て、映像受信部１２０に設けられたイメージセンサーの露出量とホワイトバランス値を含む基本調整値を決定する（Ｓ１６２０）。また、映像受信部１２０は、信号待ち区間に続く信号受信区間中にイメージセンサーを用いた遠隔制御装置２００から受信した赤外線信号に対応する調整用の光学イメージを得て、調整用の背景イメージによって決定した基本調整値の有効性を検証する（Ｓ１６３０）。
【００６７】
次に、映像受信部１２０は、第１の信号受信区間中に背景イメージを得て、第２の信号受信区間中に遠隔制御装置２００から受信した赤外線信号に対応する光学イメージを得る（Ｓ１６４０）。赤外線信号は、第１の信号受信区間中には入力されず、第２の信号受信区間中に遠隔制御装置２００から入力される。第２の信号受信区間中に映像受信部１２０によって得られる光学イメージは、遠隔制御装置２００が発した赤外線光源と背景イメージの両方を含む。
【００６８】
映像処理部１３０は、光学イメージと映像受信部１２０によって得られた背景イメージの差分値を算出し、差分値から算出されることによって形成される中間イメージに対して所定のイメージマスクを適用して、補正された光学イメージを生成する（Ｓ１６５０）。次に、映像処理部１３０は、補正された光学イメージに対するヒストグラム解析を介して、補正された光学イメージの水平及び鉛直方向の大きさと形状を測定する（Ｓ１６６０）。
【００６９】
ポインティング量算出部１４０は、補正された光学イメージのサイズによって遠隔制御装置２００までの距離を算出する（Ｓ１６７０）。このとき、ポインティング量算出部１４０は、数５または記憶されている距離データを用いて遠隔制御装置２００までの距離を算出する。
【００７０】
次に、ポインティング量算出部１４０は、算出された距離に基づいて遠隔制御装置２００の移動量を算出する（Ｓ１６８０）。このとき、ポインティング量算出部１４０は、数６、８、１０を用いて、映像受信部１３０を構成するイメージセンサーの中心を原点とする空間座標系上における遠隔制御装置２００の座標（Ｘ，Ｙ，Ｚ）を算出する。
【００７１】
上述した映像処理技法において、図５に示すポインティングを行う過程において赤外線信号に対してＴ１とＴ２の時間によって遠隔制御装置の赤外線光源の点灯及び消灯を行う目的は、図６及び７に示すように赤外線光源の存在がはっきりと対比される２種類のイメージを連続して得て、２つのイメージの差分を用いて処理することによって、（パターン認識の対象である）赤外線光源のイメージを（パターン認識において除去の対象となる）背景やノイズのイメージよりも目立たせることである。
【００７２】
また、遠隔制御装置の赤外線光源の点灯を赤外線光源の消灯と同期化してイメージを得ることで、極めて完成度の高い前処理過程を、従来の映像処理技法と比べて、極めて少量かつ極めて高速に実行することができる。また、主処理過程を明瞭に対比される光源のイメージを用いて実行することで、パターン認識のための判断の正確度が極大化するだけでなく、赤外線光源のサイズ及び明るさを単純な計算で容易に導き出すことができる。
【００７３】
３７ＫＨｚから３８ＫＨｚ帯域のキャリア周波数を用いて赤外線光源を点灯する従来の装置（一般的なリモコン）では、遠隔受信機のイメージセンサーがイメージを受信するフレームの時間が光源の点灯と同期できず、不均一な光源のイメージが得られて、映像処理が極めて困難であった。本発明ではこのような問題を解決する。常に赤外線光源を点灯した状態で遠隔制御装置から得られるイメージを処理する場合に、背景ノイズによる考慮事項の増加により映像処理量が大幅に増加する。本発明ではこのような問題を解決する。本発明による遠隔制御は、遠隔制御装置に電源を供給して遠隔ポインティングを行う遠隔制御に比べて、遠隔制御装置の電源であるバッテリーの寿命を約５０％程度延ばすという付加的なメリットを有する。
【００７４】
本発明はまた、コンピュータ読み取り可能な記録媒体においてコンピュータに読み取り可能なコードとして実施可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記録されるあらゆる記録装置であってよい。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random-Access memory）、ＣＯ−ＲＯＭ、磁気テープ、フレキシブルディスク、光学データ記録装置、キャリアウェーブ（インターネットを介しての伝送など）がある。コンピュータ読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散することができ、コンピュータ読み取り可能なコードは分散方法によって記録及び実行可能である。
【００７５】
以上、実施例を参照して本発明を図示及び説明したが、当業者は特許請求の範囲に定義されるように本発明の趣旨と範囲から逸脱することなく、形態や細部について様々な変更を行うことができると理解する。
【図面の簡単な説明】
【００７６】
【図１】図１は、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置の構成を示すブロック図である。
【図２】図２は、遠隔制御装置を示す図である。
【図３】図３は、遠隔ポインティングのための赤外線信号の遠隔ポインティングプロトコルの一例を示す図である。
【図４】図４は、遠隔ポインティングプロトコルのポインティング開始区間の詳細構成を示す図である。
【図５】図５は、遠隔ポインティングプロトコルのポインティング実行区間の詳細構成を示す図である。
【図６】図６は、映像受信部により得られた背景イメージを示す図である。
【図７】図７は、映像受信部より得られた背景イメージと赤外線光源が共存するイメージを示す図である。
【図８】図８は、図６に示すイメージと図７に示すイメージに基づいて映像処理部が生成した仮想イメージを示す図である。
【図９】図９は、映像処理部が仮想イメージに対するマスキング処理を行って生成したイメージを示す図である。
【図１０】図１０は、遠隔制御装置の赤外線光源を点灯した画面から、遠隔制御装置の赤外線光源を消灯した画面を差し引いて得られたイメージと、そのヒストグラムを示す図である。
【図１１】図１１は、背景成分を取り除くために用いる３×３及び５×５イメージマスクの構造を示す図である。
【図１２】図１２は、背景成分を取り除くために用いる３×３及び５×５イメージマスクの構造を示す図である。
【図１３】図１３は、遠隔制御装置の赤外線光源を点灯した画面から、遠隔制御装置の赤外線光源を消灯した画面を差し引いて、その後遠隔制御装置の赤外線イメージ以外の背景成分を除去して得られたイメージと、そのヒストグラムを示す図である。
【図１４】図１４は、イメージセンサーを基準としたカメラ座標系の構造を示す図である。
【図１５】図１５は、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング装置の映像受信部の工学的構造と、遠隔制御装置からの距離によるイメージを示す図である。
【図１６】図１６は、本発明の実施の形態によるイメージセンサーを用いた遠隔ポインティング方法を示すフロー図である。
【図１】
2009522681.tif 000017
【図２】
2009522681.tif 000018
【図３】
2009522681.tif 000019
【図４】
2009522681.tif 000020
【図５】
2009522681.tif 000021
【図６】
2009522681.tif 000022
【図７】
2009522681.tif 000023
【図８】
2009522681.tif 000024
【図９】
2009522681.tif 000025
【図１０】
2009522681.tif 000026
【図１１】
2009522681.tif 000027
【図１２】
2009522681.tif 000028
【図１３】
2009522681.tif 000029
【図１４】
2009522681.tif 000030
【図１５】
2009522681.tif 000031
【図１６】
2009522681.tif 000032
【国際調査報告】
2009522681.tif 000033
2009522681.tif 000034