(57)【要約】【課題】二次元画像と三次元画像を連動させることで、三次元画像に対する操作を向上させる。【解決手段】三次元画像データに含まれるＸ座標、Ｙ座標、Ｚ座標及び色情報を用いて三次元画像表示領域に三次元画像を描画し、三次元画像データに含まれるＸ座標、Ｙ座標及び色情報を用いて二次元画像表示領域に二次元画像を描画する描画手段と、三次元画像データから、二次元画像表示領域において選択されたＸ座標及びＹ座標を含む組のＺ座標を取得し、Ｘ座標、Ｙ座標及びＺ座標を注視点座標とする注視点座標取得手段と、三次元画像表示領域において、注視点座標が三次元画像表示領域の中心に位置するように三次元画像を平行移動するオフセット手段とを備える。【選択図】図１
2019149095.tif 000002
【特許請求の範囲】
【請求項１】
三次元画像表示領域と二次元画像表示領域を含む画像を表示する出力部と、
Ｘ座標、Ｙ座標及び色情報の組で構成される二次元画像データと、Ｘ座標、Ｙ座標及びＺ座標の組で構成される三次元形状データから、Ｘ座標、Ｙ座標、Ｚ座標及び色情報で構成される三次元画像データを生成する三次元画像データ取得手段と、
前記三次元画像データに含まれるＸ座標、Ｙ座標、Ｚ座標及び色情報を用いて前記三次元画像表示領域に三次元画像を描画し、前記三次元画像データに含まれるＸ座標、Ｙ座標及び色情報を用いて前記二次元画像表示領域に二次元画像を描画する描画手段と、
前記三次元画像データから、前記二次元画像表示領域において選択されたＸ座標及びＹ座標を含む組のＺ座標を取得し、Ｘ座標、Ｙ座標及びＺ座標を注視点座標とする注視点座標取得手段と、
前記三次元画像表示領域において、注視点座標が前記三次元画像表示領域の中心に位置するように三次元画像を平行移動するオフセット手段と
を備えることを特徴とする画像表示装置。
【請求項２】
さらに、
前記三次元画像表示領域において、三次元画像を、注視点座標を中心として回転させる回転手段
を備える
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
さらに、
前記三次元画像表示領域において、三次元画像を、注視点座標を中心として拡大又は縮小させる拡大縮小手段
を備える
ことを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
さらに、
前記オフセット手段に三次元画像を平行移動させる連動状態と、平行移動させない非連動状態を切り換える連動状態切換手段
を備える
ことを特徴とする請求項１〜３のいずれか一項に記載の画像表示装置。
【請求項５】
さらに、
非連動状態において、三次元画像を平行移動させる平行移動手段
を備える請求項４に記載の画像表示装置。
【請求項６】
三次元画像表示領域と二次元画像表示領域を含む画像を表示する出力部を備えるコンピュータを、
Ｘ座標、Ｙ座標及び色情報の組で構成される二次元画像データと、Ｘ座標、Ｙ座標及びＺ座標の組で構成される三次元形状データから、Ｘ座標、Ｙ座標、Ｚ座標及び色情報で構成される三次元画像データを生成する三次元画像データ取得手段と、
前記三次元画像データに含まれるＸ座標、Ｙ座標、Ｚ座標及び色情報を用いて前記三次元画像表示領域に三次元画像を描画し、前記三次元画像データに含まれるＸ座標、Ｙ座標及び色情報を用いて前記二次元画像表示領域に二次元画像を描画する描画手段と、
前記三次元画像データから、前記二次元画像表示領域において選択されたＸ座標及びＹ座標を含む組のＺ座標を取得し、Ｘ座標、Ｙ座標及びＺ座標を注視点座標とする注視点座標取得手段と、
前記三次元画像表示領域において、注視点座標が前記三次元画像表示領域の中心に位置するように三次元画像を平行移動するオフセット手段と
して機能させることを特徴とするプログラム。
【請求項７】
コンピュータを
さらに、
前記三次元画像表示領域において、三次元画像を、注視点座標を中心として回転させる回転手段
として機能させる
ことを特徴とする請求項６に記載のプログラム。
【請求項８】
コンピュータを
さらに、
前記三次元画像表示領域において、三次元画像を、注視点座標を中心として拡大又は縮小させる拡大縮小手段
として機能させる
ことを特徴とする請求項６又は７に記載のプログラム。
【請求項９】
コンピュータを
さらに、
前記オフセット手段に三次元画像を平行移動させる連動状態と、平行移動させない非連動状態を切り換える連動状態切換手段
として機能させる
ことを特徴とする請求項６〜８のいずれか一項に記載のプログラム。
【請求項１０】
コンピュータを
さらに、
非連動状態において、三次元画像を平行移動させる平行移動手段
として機能させる
ことを特徴とする請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置及びプログラムに関する。
【背景技術】
【０００２】
半導体ウエハの表面を検査するにあたり、ウエハ表面の二次元画像と、高さ情報を含む三次元データを用いる技術がある（例えば、特許文献１参照）。
【０００３】
二次元画像は、ウエハ表面を上方から撮像するカメラで画像データとして取得される。また、三次元データは、正弦波位相シフト法や、ステレオカメラなどを用いて、ウエハ表面の高さ情報として取得される。この二次元画像データと三次元形状データとを用いて三次元画像データが得られる。
【０００４】
三次元画像は、パーソナルコンピュータ（ＰＣ）の液晶ディスプレイなどに表示され、操作者によるマウスなどの操作により回転、移動などされる。これにより、ウエハ表面のハンダバンプの状態や欠陥の有無など、ウエハ表面が検査される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３７０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、従来の技術では、三次元画像の回転などの操作は、三次元画像の表示画面の中心に対して行われる。このため、注視点となる、三次元画像のうち特定のハンダバンプを中心として回転させることが難しい。従来の技術には、注視点以外の点を中心に回転させると、回転に応じてハンダバンプが表示画面内を大きく移動したり、場合によっては、表示画面から外れてしまったりするなどの課題がある。
【０００７】
この発明は、上述の問題点に鑑みてなされたものであり、この発明の目的は、二次元画像と三次元画像を連動させることで、三次元画像に対する操作を向上させる画像表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために、この発明の画像表示装置は、三次元画像表示領域と二次元画像表示領域を含む画像を表示する出力部と、Ｘ座標、Ｙ座標及び色情報の組で構成される二次元画像データと、Ｘ座標、Ｙ座標及びＺ座標の組で構成される三次元形状データから、Ｘ座標、Ｙ座標、Ｚ座標及び色情報で構成される三次元画像データを生成する三次元画像データ取得手段と、三次元画像データに含まれるＸ座標、Ｙ座標、Ｚ座標及び色情報を用いて三次元画像表示領域に三次元画像を描画し、三次元画像データに含まれるＸ座標、Ｙ座標及び色情報を用いて二次元画像表示領域に二次元画像を描画する描画手段と、三次元画像データから、二次元画像表示領域において選択されたＸ座標及びＹ座標を含む組のＺ座標を取得し、Ｘ座標、Ｙ座標及びＺ座標を注視点座標とする注視点座標取得手段と、三次元画像表示領域において、注視点座標が三次元画像表示領域の中心に位置するように三次元画像を平行移動するオフセット手段とを備えて構成される。
【０００９】
この画像表示装置の実施に当たり、好ましくは、さらに、三次元画像表示領域において、三次元画像を、注視点座標を中心として回転させる回転手段を備える。また、好ましくは、三次元画像表示領域において、三次元画像を、注視点座標を中心として拡大又は縮小させる拡大縮小手段を備える。また、この画像表示装置の他の好適な実施形態によれば、さらに、オフセット手段に三次元画像を平行移動させる連動状態と、平行移動させない非連動状態を切り換える連動状態切換手段を備える。また、さらに、非連動状態において、三次元画像を平行移動させる平行移動手段を備えてもよい。
【００１０】
また、この発明のプログラムは、コンピュータを上述した各手段として機能させる。
【発明の効果】
【００１１】
この発明の画像表示装置及びプログラムによれば、二次元画像と三次元画像とを連動することにより、二次元画像の特定の位置を選択すると、そのＸ座標及びＹ座標と、この座標に対応するＺ座標が注視点となる。特に、ハンダバンプなど凸部があるウエハ表面を検査する場合には、半導体基板表面ではなく、凸部に注視点が設定されることがあるが、この発明の画像表示装置では、この注視点が三次元画像表示領域の中心に位置するように三次元画像が表示される。このため、利用者は手間をかけることなく、三次元画像に対して注視点を中心とした回転などを行うことができる。
【図面の簡単な説明】
【００１２】
【図１】画像表示装置の構成例を示すブロック図である。
【図２】画像表示装置の動作を説明する図であって、表示装置に表示される画面の一例を示している。
【発明を実施するための形態】
【００１３】
以下、図を参照して、この発明の実施の形態について説明するが、各構成要素の形状、大きさ及び配置関係については、この発明が理解できる程度に概略的に示したものに過ぎない。また、以下、この発明の好適な構成例につき説明するが、単なる好適例にすぎない。従って、この発明は以下の実施の形態に限定されるものではなく、この発明の構成の範囲を逸脱せずにこの発明の効果を達成できる多くの変更又は変形を行うことができる。
【００１４】
図１を参照して、この発明の画像表示装置を説明する。図１は、画像表示装置の構成例を示すブロック図である。
【００１５】
画像表示装置は、例えば、パーソナルコンピュータ（ＰＣ）で構成され、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｃｅｓｉｎｇ  Ｕｎｉｔ）１０、入力部１２、記憶部１４、出力部１６及びインタフェース部（Ｉ／Ｆ）１８を備える。入力部１２は、マウス、タッチパネル、キーボードなどの入力装置を備えて構成される。出力部１６は、液晶ディスプレイなどの出力装置を備えて構成される。記憶部１４は、ハードディスク、ソリッドステートドライブ（ＳＳＤ）などの記憶装置を備えて構成される。Ｉ／Ｆ１８は、他の機器やネットワークとの接続に用いられる。
【００１６】
ＭＰＵ１０は、中央処理制御装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｉｎｇ  Ｕｎｉｔ）３０と、記憶手段として、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２４を備えて構成される。ＣＰＵ３０は、例えば、ＲＯＭ２２に記録されているプログラムを読みだして、当該プログラムを実行することにより、入力部１２、記憶部１４、出力部１６及びＩ／Ｆ１８を制御する。また、ＣＰＵ３０は当該プログラムを実行することにより、三次元画像データ取得手段３２、描画手段３４、注視点座標取得手段３６、オフセット手段３８及び回転手段４０と、必要に応じて、連動状態切換手段４２、拡大縮小手段４４及び平行移動手段４６を機能手段として実現する。各機能手段での処理結果は、一時的にＲＡＭ２４に格納される。
【００１７】
記憶部１４には、二次元画像データ１０２、三次元形状データ１０４、及び、三次元画像データ１０６が読み出し及び書き換え自在に格納される。二次元画像データ１０２は、例えば、ＣＣＤカメラで撮影された、半導体ウエハ表面の画像を示すものである。この場合、二次元画像データ１０２は、ＣＣＤカメラの画素数分の（Ｘ座標、Ｙ座標、色情報）の組で構成される。また、二次元画像データには、例えば、ＣＣＤカメラと半導体ウエハとの距離、撮影倍率、焦点距離などの情報（以下、カメラ位置情報とも称する。）が含まれる。
【００１８】
三次元形状データ１０４は、例えば、位相シフト測定装置やステレオカメラ測定装置で取得される。三次元形状データ１０４は、用いた測定装置の測定精度等に応じた数の、（Ｘ座標、Ｙ座標、Ｚ座標）の組で構成される。
【００１９】
ＣＣＤカメラ、位相シフト測定装置などで取得された、二次元画像データ１０２及び三次元形状データ１０４は、Ｉ／Ｆ１８を経て記憶部１４に格納される。なお、この画像表示装置は、ＣＣＤカメラや位相シフト測定装置など、二次元画像データ１０２及び三次元形状データ１０４を取得する装置を備えていても良いし、二次元画像データ１０２及び三次元形状データ１０４を取得する装置を備えずにデータのみ受け取る構成でも良い。
【００２０】
三次元画像データ１０６は、三次元画像データ取得手段３２で生成される。三次元画像データ１０６は、二次元画像データ１０２と三次元形状データ１０４を組み合わせて構成される。三次元画像データ１０６は、（Ｘ座標、Ｙ座標、Ｚ座標、色情報）で構成される。二次元画像データ１０２と三次元形状データ１０４の組数は、各データを取得する時点で等しく設定されていても良いし、三次元画像データ１０６を生成する際に補間処理等を行って座標を揃えても良い。
【００２１】
三次元画像データ取得手段３２は、三次元画像データ１０６の生成にあたり、二次元画像データ１０２のＸ座標及びＹ座標に対応する、三次元形状データ１０４のＺ座標を取得する。その後、三次元画像データ取得手段３２は、二次元画像データ１０２のＸ座標及びＹ座標の組に、三次元形状データ１０４から取得した対応するＺ座標を割り当てる。これにより、三次元画像データ１０６が得られ、記憶部１４に格納される。ここで、三次元画像データは、ＣＣＤカメラ等で取得された画像データに基づいて作成される。
【００２２】
二次元画像及び三次元画像の表示には、例えば、ＯｐｅｎＧＬが用いられる。ＯｐｅｎＧＬでは、三次元画像を表示するにあたり、視点の位置、視る対象（注視点）の位置、及び、画像のどこが上かを示す頭上ベクトルが用いられる。三次元画像データ取得手段３２は、例えば、半導体ウエハの上側表面の中心を注視点の座標とし、上述のカメラ位置情報から視点の座標を取得し、カメラの上へ向く方向を頭上ベクトルとする。注視点及び視点の各座標、及び頭上ベクトルの成分は、例えば、ＯｐｅｎＧＬの形式に合わせて格納される。
【００２３】
上述の三次元画像データ１０６を生成する方法から理解されるようにＸ座標及びＹ座標の１つの組に対して、Ｚ座標の値は１つに定まる。従って、三次元画像データ１０６が備えるデータの組数は、予め定められた、横サイズ（以下、マップ横サイズとも称する。）及び縦サイズ（以下、マップ縦サイズとも称する。）の積で与えられる。なお、この画像表示装置が三次元画像データ取得手段３２を備えず、別途生成された三次元画像データのみを受け取る構成であってもよい。
【００２４】
図２を参照して、画像表示装置の動作を説明する。図２は、画像表示装置の動作を説明する図であって、表示装置に表示される画面（以下、表示画面とも称する。）の一例を示している。
【００２５】
表示及び操作については、任意好適なグラフィカルユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に基づいて設計される。
【００２６】
以下の説明では、入力部としてマウスを用いる例を説明する。
【００２７】
表示画面には、三次元画像表示領域１２２、二次元画像表示領域１２０が設けられている。また、表示画面には、さらに、Ｘ軸に沿ったＺ座標の分布及びＹ軸に沿ったＺ座標の分布や、操作用ボタンなどが表示されていてもよい。
【００２８】
描画手段３４は、三次元画像表示領域１２２に三次元画像を描画する。また、描画手段３４は、二次元画像表示領域１２０に、三次元画像データに含まれる、Ｘ座標、Ｙ座標及び色情報を用いて二次元画像を描画する。
【００２９】
この画像表示装置は、少なくとも、 二次元画像と三次元画像とを連動させる連動状態で動作可能であるが、二次元画像と三次元画像とを連動させない非連動状態において動作可能にしてもよい。ここでは、連動状態と非連動状態を切り換える連動状態切換手段４２を備える例を説明する。連動状態と非連動状態の切り換えのため、例えば、操作ボタン表示領域にチェックボックスが設けられる。連動状態切換手段４２は、このチェックボックスがチェックされている場合は連動状態と判定し、チェックされていないときは非連動状態と判定する。
【００３０】
連動状態での動作を説明する。
【００３１】
連動状態で、マウスの操作によりカーソルを移動させて、カーソルが二次元画像表示領域１２０内にあるときにクリックすると、注視点座標取得手段３６がカーソルを固定する。注視点座標取得手段３６は、カーソルが固定された二次元画像表示領域１２０内の位置に対応する、三次元画像データ１０６のＸ座標及びＹ座標から、三次元画像データ１０６のＺ座標を得る。ここで得られたＸ座標、Ｙ座標及びＺ座標が注視点となる。
【００３２】
注視点の座標が得られたのち、オフセット手段３８は、二次元画像表示領域１２０の中心と注視点とのＸ座標の差からＸオフセットを取得し、二次元画像表示領域１２０の中心と注視点とのＹ座標の差からＹオフセットを取得する。また、オフセット手段３８は、三次元画像データ１０６に含まれるＺ座標からＺオフセットを取得する。
【００３３】
その後、オフセット手段３８は、三次元画像表示領域１２２において、注視点が三次元画像表示領域１２２の中心になるように、三次元画像をＸオフセット、Ｙオフセット及びＺオフセットの分だけ平行移動させる。このオフセット手段３８での平行移動では、三次元画像データ１０６に含まれるすべての組のデータに対して、視点及び注視点の座標が、Ｘオフセット、Ｙオフセット及びＺオフセットの分だけ平行移動される。この結果、描画手段３４は、注視点を三次元画像表示領域の中心として三次元画像を表示することができる。
【００３４】
回転手段４０は、例えば、三次元画像表示領域１２２内でのマウスのドラッグに応答して、三次元画像の回転を行う。三次元画像表示領域１２２内での回転は、三次元画像表示領域１２２の中心を基準に行われる。
【００３５】
三次元画像の回転に関する計算は、四元数（クォータニオン）と呼ばれる、複素数を拡張した数体系を用いて行われる。このクォータニオンを用いた計算については、当業者であれば設計可能であるので、ここでは、詳細な説明を省略する。
【００３６】
連動状態では、注視点が三次元画像表示領域１２２の中心に一致するため、対象箇所である注視点が三次元画像表示領域１２２から外れることなく、三次元画像表示領域１２２の中心に位置したまま、回転させることができる。
【００３７】
従来の画像表示装置では、撮像画像に基づいて生成された三次元画像に対して、回転、拡大及び縮小を行う場合、画面の中心を基準点として行うことが多い。この場合、利用者が詳しく見たい点に該当する注視点が画面の中心からずれている場合、注視点以外の点を基準として回転や拡大がなされるため、対象箇所が画面から外れるなどしてしまうことがある。一方、利用者が注視点を画面の中心に合わせるには手間がかかる。
【００３８】
これに対し、この発明の画像表示装置では、二次元画像と三次元画像とを連動することにより、二次元画像の特定の位置を選択すると、そのＸ座標及びＹ座標と、これらの座標に対応するＺ座標が注視点となる。特に、ハンダバンプなど凸部があるウエハ表面を検査する場合には、半導体基板表面ではなく、凸部に注視点が設定されることがあるが、この発明の画像表示装置では、この注視点が三次元画像表示領域の中心に位置するように三次元画像が表示される。このため、利用者は手間をかけることなく、三次元画像に対して注視点を中心とした回転を行うことができる。
【００３９】
ここでは、三次元画像の回転について説明したが、拡大縮小手段４４を設けて、拡大や縮小を行う構成にしてもよい。
【００４０】
拡大縮小手段４４は、例えば、三次元画像表示領域１２２の周囲に設けたスライダーの状態に応じて、三次元画像の拡大や縮小を行う。三次元画像表示領域１２２内での拡大や縮小は、三次元画像表示領域１２２の中心を基準に行われる。拡大や縮小に関する計算は、ＯｐｅｎＧＬにおいて、射影（プロジェクション）変換を用いて行うことができる。プロジェクション変換は、カメラの視野角、画面アスペクト比、最も遠いクリップ面までの距離、及び、最も近いクリップ面までの距離を指示することで行われる。
【００４１】
カメラの視野角を、スライダーの状態などで与えられる指示値で除算したものを新たにカメラの視野角とすれば、カメラの視野角が変更され、いわゆる、拡大や縮小が行われる。ここで、指示値を１より大きくすれば拡大され、１より小さくすれば縮小される。例えば、カメラの視野角が５０°であるときに、指示値を２に変更すれば、新たなカメラの視野角は２５°（＝５０°／２）となり、拡大される。
【００４２】
連動状態では、注視点が三次元画像表示領域１２２の中心に一致するため、対象箇所である注視点が表示領域から外れることなく、注視点を三次元画像表示領域１２２の中心に位置させたまま、拡大や縮小を行うことができる。なお、拡大縮小はスライダーをマウス操作するだけでなく、拡大、縮小のボタンを設けておき、これらボタンをクリックするなどして行ってもよい。
【００４３】
連動状態では、三次元画像は、注視点が三次元画像表示領域１２２の中心に位置する。使用の際には、マウスのドラッグや、三次元画像表示領域１２２の周囲に設けられたスライダーを操作するなどして、画面内において上下方向や左右方向への三次元画像の移動が望まれる場合もある。このため、連動状態と非連動状態とが切り換え可能であるのがよい。  
【００４４】
非連動状態では、オフセット手段３８は、三次元画像表示領域１２２において、注視点を三次元画像表示領域１２２の中心にする平行移動は行わない。このため、マウスのドラッグや、三次元画像表示領域１２２の周囲に設けられたスライダーの操作に応答して、平行移動手段４６は、三次元画像を、三次元画像表示領域１２２内で上下方向や左右方向に移動させることができる。平行移動は、例えば、移動方向や移動量に応じて、三次元画像データのＸ座標、Ｙ座標、Ｚ座標の少なくとも１つを加算又は減算するなどして実現できる。
【００４５】
なお、非連動状態で操作を行った後、連動状態に切り換えると、オフセット手段３８は、三次元画像表示領域１２２において、三次元画像をＸオフセット、Ｙオフセット及びＺオフセットの分だけ平行移動させる。この結果、注視点が三次元画像表示領域１２２の中心になるように、三次元画像が表示される。
【００４６】
また、操作ボタンにオフセット解除ボタンを設けてもよい。非連動状態でオフセット解除すると、オフセット手段３８は、三次元画像のＸオフセット、Ｙオフセット及びＺオフセットの分だけ平行移動を行わない。このとき、描画手段３４は、三次元画像領域１２２の中心に三次元画像の中心を合わせて表示する。
【符号の説明】
【００４７】
１０    ＭＰＵ
１２    入力部
１４    記憶部
１６    出力部
１８    Ｉ／Ｆ
２２    ＲＯＭ
２４    ＲＡＭ
３０    ＣＰＵ
３２    三次元画像データ取得手段
３４    描画手段
３６    注視点座標取得手段
３８    オフセット手段
４０    回転手段
４２    連動状態切換手段
４４    拡大縮小手段
４６    平行移動手段
【図１】
2019149095.tif 000003
【図２】
2019149095.tif 000004