(57)【要約】【課題】これから蓄積される又は既に蓄積されている画像やキーワード等の情報を、ユーザが誰であるかに拘わらず、有効に活用するための技術を提供すること。【解決手段】所定の処理において撮像される画像を入力し、所定の処理に関する複数の項目情報の入力を受け付け、入力された画像及び複数の項目情報を表示し、表示された複数の項目情報及び画像について、所定の処理において生じた事象を判断するために有効と認められる参照順序の指定を受け付け、入力された複数の項目情報及び画像を、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて記憶する。【選択図】  図４
2006318215.tif 000002
【特許請求の範囲】
【請求項１】
所定の処理において撮像される画像を入力する画像入力手段と、
前記所定の処理に関する複数の項目情報を入力することを可能とする情報入力手段と、
入力された画像及び複数の項目情報を表示する表示手段と、
前記表示手段に表示された複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序を指定することを可能とする順序指定手段と、
入力された複数の項目情報及び画像を、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて記憶する記憶手段と、
を含むデータ蓄積装置。
【請求項２】
前記項目情報と前記画像との対応付けの指定を可能とする対応指定手段をさらに含み、
前記記憶手段は、前記項目情報と前記画像との対応付けをさらに記憶する請求項１に記載のデータ蓄積装置。
【請求項３】
前記情報入力手段は、前記画像について、当該画像上に現れた特徴的部分に関する画像情報の入力をさらに可能とし、
前記記憶手段は、画像に対応付けて、当該画像について入力された前記画像情報をさらに記憶する請求項１又は２に記載のデータ蓄積装置。
【請求項４】
所定の処理において撮像された画像及び前記所定の処理に関する複数の項目情報を、前記複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序と関連付けて記憶する記憶手段と、
前記記憶手段に記憶される複数の項目情報及び画像を表示する第一表示領域と、前記記憶手段に記憶される参照順序に従って、前記項目情報及び画像を表示する第二表示領域と、を含む表示手段と、
前記第二表示領域に表示された項目情報及び画像をユーザに指定させるための指定手段と、を含み、
前記第一表示領域は、前記指定手段によって項目情報が指定された場合には当該項目情報を他の項目情報と異なる態様で表示し、前記指定手段によって画像が指定された場合には当該画像を当該画像中に含まれる特徴的部分を視認可能な態様で表示するデータ表示装置。
【請求項５】
前記記憶手段は、前記項目情報と前記画像との対応付けをさらに記憶し、
前記第一表示領域は、前記指定手段によって指定された項目情報と対応付けられた画像が前記記憶手段に記憶されている場合には、当該画像を当該画像中に含まれる特徴的部分を視認可能な態様で表示する請求項４に記載のデータ表示装置。
【請求項６】
前記記憶手段は、画像に対応付けて、当該画像上に現れた特徴的部分に関する画像情報をさらに記憶し、
前記第一表示領域は、画像を表示する際に、前記記憶手段に当該画像に対応付けて記憶される前記画像情報をさらに表示する請求項４又は５に記載のデータ表示装置。
【請求項７】
画像を入力する画像入力手段と、ユーザによる情報の入力を可能とする情報入力手段と、表示を行う表示手段と、データの順序を指定することを可能とする順序指定手段と、データを記憶する記憶手段とを含む情報処理装置が、前記画像入力手段を介して、所定の処理において撮像される画像を入力するステップと、
前記情報処理装置が、前記情報入力手段を介して、前記所定の処理に関する複数の項目情報の入力を受け付けるステップと、
前記情報処理装置が、入力された画像及び複数の項目情報を表示することを前記表示手段に指示するステップと、
前記情報処理装置が、前記順序指定手段を介して、前記表示手段に表示された複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序の指定を受け付けるステップと、
前記情報処理装置が、入力された複数の項目情報及び画像を、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて、前記記憶手段に記憶させるステップと、
を含むデータ蓄積方法。
【請求項８】
所定の処理において撮像された画像及び前記所定の処理に関する複数の項目情報を、前記複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序と関連付けて記憶する記憶手段と、第一表示領域及び第二表示領域に表示を行う表示手段と、前記表示手段に表示されたデータの指定を可能とする指定可能手段とを含む情報処理装置が、前記記憶手段に記憶される複数の項目情報及び画像を前記第一表示領域に表示することを前記表示手段に指示するステップと、
前記情報処理装置が、前記記憶手段に記憶される参照順序に従って、前記項目情報及び画像を前記第二表示領域に表示することを前記表示手段に指示するステップと、
前記情報処理装置が、前記指定手段を介して、前記第二表示領域に表示された項目情報及び画像の指定を受け付けるステップと、
前記情報処理装置が、前記指定手段を介して項目情報が指定された場合には、当該項目情報を他の項目情報と異なる態様で前記第一表示領域に表示することを前記表示手段に指示するステップと、
前記情報処理装置が、前記指定手段を介して画像が指定された場合には、当該画像を、当該画像中に含まれる特徴的部分を視認可能な態様で、前記第一表示領域に表示することを前記表示手段に指示するステップと、
を含むデータ表示方法。
【請求項９】
画像を入力する画像入力手段と、ユーザによる情報の入力を可能とする情報入力手段と、表示を行う表示手段と、データの順序を指定することを可能とする順序指定手段と、データを記憶する記憶手段とを含む情報処理装置に対し、
前記画像入力手段を介して、所定の処理において撮像される画像を入力するステップと、
前記情報入力手段を介して、前記所定の処理に関する複数の項目情報の入力を受け付けるステップと、
入力された画像及び複数の項目情報を表示することを前記表示手段に指示するステップと、
前記順序指定手段を介して、前記表示手段に表示された複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序の指定を受け付けるステップと、
入力された複数の項目情報及び画像を、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて、前記記憶手段に記憶させるステップと、
を実行させるためのプログラム。
【請求項１０】
所定の処理において撮像された画像及び前記所定の処理に関する複数の項目情報を、前記複数の項目情報及び画像について、前記所定の処理において生じた事象を判断するために有効と認められる参照順序と関連付けて記憶する記憶手段と、第一表示領域及び第二表示領域に表示を行う表示手段と、前記表示手段に表示されたデータの指定を可能とする指定可能手段とを含む情報処理装置に対し、
前記記憶手段に記憶される複数の項目情報及び画像を前記第一表示領域に表示すること
を前記表示手段に指示するステップと、
前記記憶手段に記憶される参照順序に従って、前記項目情報及び画像を前記第二表示領域に表示することを前記表示手段に指示するステップと、
前記指定手段を介して、前記第二表示領域に表示された項目情報及び画像の指定を受け付けるステップと、
前記指定手段を介して項目情報が指定された場合には、当該項目情報を他の項目情報と異なる態様で前記第一表示領域に表示することを前記表示手段に指示するステップと、
前記指定手段を介して画像が指定された場合には、当該画像を、当該画像中に含まれる特徴的部分を視認可能な態様で、前記第一表示領域に表示することを前記表示手段に指示するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の処理において撮像され蓄積される画像や情報を、有効に活用するための技術に関する。
【背景技術】
【０００２】
従来から、様々な場面で、将来参考になるだろうと考え得るデータの蓄積が実施されている。例えば、実験を行う施設においては、成功した実験のデータのみならず、失敗した実験により得られたデータ等も蓄積されていることがある。また、例えば工業製品の製造プロセスにおいては、不良品が発生した場合に、その不良品の発生に関わるデータを蓄積することが行われている。このようにして蓄積されたデータは、類似した事象が生じた場合の要因の推定や、実験の失敗若しくは不良品の発生などを防止するために参照・利用されている。
【０００３】
例えば、薄膜デバイス製造工程における異物・欠陥画像、及び、異物・欠陥の特徴や対策内容を表すキーワードからなる事例データを作成し保存することで、キーワードによる事例データの検索を実現する技術が提案されている（特許文献１参照）。
【特許文献１】特開２００２−２６９１０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、蓄積された事例データの検索結果として画像及びキーワードが提示されるのみでは、提示された各画像と各キーワードとに基づいてどのような判断を行えばよいのかが初心者などには理解しがたかった。このため、蓄積された事例データの活用が円滑に行われていないという問題があった。
【０００５】
例えば、基板実装工程において過去に生じた不良に関する画像やキーワードが蓄積された事例データベースを用いて、不良の発生要因を調べる場合を想定する。このとき、図１０に示すような複数の画像と複数のキーワードが検索結果として得られたとする。この場合、熟練者であれば、得られた画像やキーワードに基づいてどのような判断を行えばよいか理解することができる。具体的には、熟練者は、「発見工程」が“リフロー工程”であり「不良種」が“Ｓ−ぬれ”であることから、リフロー後画像を見るべき事を理解する。そして、熟練者は、リフロー後画像を見ることにより、第４ピンに浮き不良が生じていることを理解し、そのことから「一次要因」、「半田印刷後画像」、「二次要因」、そして「起因工程」という順番で要因を判断していけば良いことを理解できる。
【０００６】
一方、初心者にとっては、検索結果として得られた画像やキーワードを提示されても、最初にどの項目を参照すればよいのか、どの画像のどの部分を見てどのような判断を行えばよいのか、全く理解できない場合がある。このような場合には、せっかく検索結果として有用な画像やキーワードが得られたとしても、これらを有効に活用し希望する判断を行うことができない。
【０００７】
そこで本発明は、これから蓄積される又は既に蓄積されている画像やキーワード等の情報を、ユーザが誰であるかに拘わらず、有効に活用することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記問題を解決するため、本発明は以下のように、蓄積されるデータの活用が容易とな
るように画像等のデータの蓄積を行う装置と、蓄積されたデータの活用が容易となるように蓄積されたデータの表示を行う装置という二つの態様をとる。
【０００９】
本発明の第一の態様は、データ蓄積装置であって、画像入力手段、情報入力手段、表示手段、順序指定手段及び記憶手段を含む。画像入力手段は、所定の処理において撮像される画像を入力する。情報入力手段は、所定の処理に関する複数の項目情報を入力することを可能とする。表示手段は、入力された画像及び複数の項目情報を表示する。順序指定手段は、表示手段に表示された複数の項目情報及び画像について、所定の処理において生じた事象を判断するために有効と認められる参照順序を指定することを可能とする。記憶手段は、入力された複数の項目情報及び画像を、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて記憶する。
【００１０】
このように構成された本発明の第一の態様によれば、記憶手段において、入力された複数の項目情報及び画像が、それぞれについて指定された参照順序がある場合はその参照順序と関連づけて記憶される。このため、熟練者などのように、画像や項目情報の参照の仕方を理解した者によって参照順序が指定され記憶された場合には、その参照順序を初心者も容易に知得することができる。そして、初心者であっても、熟練者と同様の参照順序に従って画像や項目情報を参照することにより、蓄積された画像や項目情報を有効に活用することが可能となる。
【００１１】
本発明の第一の態様は、項目情報と画像との対応付けの指定を可能とする対応指定手段をさらに含むように構成されても良い。この場合、記憶手段は、項目情報と画像との対応付けをさらに記憶するように構成される。
【００１２】
このように構成された本発明の第一の態様によれば、例えばある項目情報を参照する際に一緒に参照することが望まれる画像を、その項目情報と対応づけて記憶することが可能となる。このため、そのような対応付けの指定が熟練者などによって行われることにより、初心者であっても項目情報と画像との有効な関連性を容易に知得することが可能となる。よって、蓄積されたデータを初心者であっても有効に活用することが可能となる。
【００１３】
本発明の第一の態様における情報入力手段は、画像について、当該画像上に現れた特徴的部分に関する画像情報の入力をさらに可能とするように構成されても良い。この場合、記憶手段は、画像に対応付けて、当該画像について入力された画像情報をさらに記憶するように構成される。
【００１４】
このように構成された本発明の第一の態様によれば、例えばある画像について注目すべき特徴的部分の内容などが画像情報として入力される。このため、画像情報が熟練者などによって入力されることにより、初心者であっても、画像中の注目すべき部分や注目すべき内容を容易に知ることが可能となる。よって、蓄積されたデータを初心者であっても有効に活用することが可能となる。
【００１５】
本発明の第二の態様は、データ表示装置であって、記憶手段、表示手段及び指定手段を含む。記憶手段は、所定の処理において撮像された画像及び所定の処理に関する複数の項目情報を、複数の項目情報及び画像について、所定の処理において生じた事象を判断するために有効と認められる参照順序と関連付けて記憶する。表示手段は、第一表示領域と第二表示領域とを含む。第一表示領域は、記憶手段に記憶される複数の項目情報及び画像を表示する。第二表示領域は、記憶手段に記憶される参照順序に従って、項目情報及び画像を表示する。指定手段は、第二表示領域に表示された項目情報及び画像をユーザに指定させる。そして、第一表示領域は、指定手段によって項目情報が指定された場合には当該項目情報を他の項目情報と異なる態様で表示し、指定手段によって画像が指定された場合に
は当該画像を当該画像中に含まれる特徴的部分を視認可能な態様で表示する。
【００１６】
本発明の第二の態様によれば、複数の項目情報及び画像が、それぞれについて指定された参照順序に従って第二表示領域に表示される。このため、熟練者などのように、画像や項目情報の参照の仕方を理解した者によって指定された参照順序が記憶手段に記憶されている場合には、第二表示領域の表示を見ることにより、その参照順序を初心者も容易に知得することができる。このため、初心者であっても、熟練者と同様の参照順序に従って画像や項目情報を参照することにより、蓄積された（記憶手段に記憶された）画像や項目情報を有効に活用することが可能となる。
【００１７】
本発明の第二の態様における記憶手段は、項目情報と画像との対応付けをさらに記憶するように構成されても良い。この場合、第一表示領域は、指定手段によって指定された項目情報と対応付けられた画像が記憶手段に記憶されている場合には、当該画像を当該画像中に含まれる特徴的部分を視認可能な態様で表示するように構成される。
【００１８】
このように構成された本発明の第二の態様によれば、例えばある項目情報を参照する際に一緒に参照することが望まれる画像が、その項目情報と対応づけて記憶されていることにより、その項目情報と画像とが第一表示領域に表示される。このため、そのような対応付けの指定が熟練者などによって行われることにより、初心者であっても項目情報と画像との有効な関連性を容易に知得し、同一画面上で視認することが可能となる。よって、蓄積されたデータを初心者であっても有効に活用することが可能となる。
【００１９】
本発明の第二の態様における記憶手段は、画像に対応付けて、当該画像上に現れた特徴的部分に関する画像情報をさらに記憶するように構成されても良い。この場合、第一表示領域は、画像を表示する際に、記憶手段に当該画像に対応付けて記憶される画像情報をさらに表示するように構成される。
【００２０】
このように構成された本発明の第二の態様によれば、例えばある画像について注目すべき特徴的部分の内容などが、画像情報としてこの画像に対応づけて記憶される。そして、この画像が表示される際に、対応する画像情報も表示される。このため、画像情報が熟練者などによって入力されることにより、初心者であっても、画像中の注目すべき部分や注目すべき内容を容易に知ることが可能となる。よって、蓄積されたデータを初心者であっても有効に活用することが可能となる。
【００２１】
本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上述した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。
【発明の効果】
【００２２】
本発明によれば、これから蓄積される又は既に蓄積されている画像やキーワード等の情報を、ユーザが誰であるかに拘わらず、有効に活用することが可能となる。
【発明を実施するための最良の形態】
【００２３】
［第一実施形態］
〔システム構成〕
まず、第一実施形態としてデータ蓄積装置１について説明する。データ蓄積装置１は、所定の処理において撮像される画像のデータや、複数の項目情報や画像情報などを記憶装置に記憶させる（蓄積する）ための装置である。所定の処理とは、その過程において画像
を撮像することにより、その処理の成否や処理の対象としている物の良否などについて判断を行う必要のある処理である。具体的には、所定の処理とは、例えば工業製品の製造プロセスや、商品の品質管理プロセスなどの処理である。以下、「所定の処理」が工業製品製造プロセスの基板実装工程であり、「所定の処理において生じた事象」が基板に生じた不良である場合について説明する。なお、基板実装工程とは、部品が未搭載の基板に対し、部品を搭載し検査を行う工程であり、例えば以下の六つの工程により構成される。六つの工程とは、半田印刷機によって半田を印刷する工程、半田印刷後検査装置によって半田の印刷度合いを検査する工程、マウンターによって半田の上に部品を載せる工程、マウント後検査装置によって部品が半田の上に載っているか否かを検査する工程、リフロー装置によって半田を高温で溶かし部品と半田とを接着させる工程、及びリフロー後検査装置によって半田と部品とが接着しているか否か検査する工程である。この六つの工程により構成される基板実装工程は、基板実装工程の一例であり、他の工程により構成される基板実装工程にデータ蓄積装置１が適用されても良い。
【００２４】
また、項目情報とは、所定の処理に関する情報であり、項目名とその内容とで構成される。本実施形態の場合は、項目情報は、例えば、基板実装工程をさらに細分化した複数の工程のうち不良が発見された工程の名称や、撮像が行われた工程に関する情報（工程名や実施日時など）や、基板に搭載される部品や材料に関する情報（部品名や使用された半田の種類など）や、基板実装が行われた環境に関する情報（室温や湿度や作業責任者名など）や、処理で生じた不良に関する情報（一次要因や二次要因や不良種など）等を含む。
【００２５】
また、画像情報とは、画像上に現れた特徴的部分に関する情報であり、言い換えれば画像中の注目すべき部分に関する情報である。例えば不良が生じたために画像上に現れてしまった特徴的部分の色や形などの情報や、この特徴的部分についてユーザによって入力されるコメント等である。このような画像情報は、他のユーザによって活用される。即ち、このような画像情報を他のユーザが参照することにより、他のユーザは当該画像中の注目すべき部分を知ることができる。画像情報は、項目名とその内容とで構成される。
【００２６】
データ蓄積装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含
む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
【００２７】
図１は、データ蓄積装置１の機能ブロックを示す図である。データ蓄積装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部２，画像入力部３，制御部４，記憶部５及び表示部６等を含む装置として機能する。制御部４は、プログラムがＣＰＵによって実行されることにより実現される。また、制御部４は専用のチップとして構成されても良い。次に、データ蓄積装置１が含む各機能部について説明する。
【００２８】
〈入力部〉
入力部２は、入力装置を用いて構成される。入力部２には、既存のどのような入力装置が適用されても良い。入力部２は、例えばキーボードやポインティングデバイス（マウス，トラックボール，タブレットなど）や、タッチパネルや、テンキーや、各種ボタンや、音声入力装置などを用いて構成される。
【００２９】
ユーザは、入力部２を操作しテキストデータを入力することにより、項目情報や画像情報をデータ蓄積装置１に入力することができる。この場合、入力部２は、情報入力手段と
して機能する。
【００３０】
また、ユーザは、入力部２を操作することにより、後述する表示部６に表示された項目情報や画像について、参照順序を指定することができる。参照順序とは、その順序に従って項目情報や画像を参照することによって、所定の処理において生じた事象を判断することに有効と認められる順序である。本実施形態の場合は、基板に生じた不良の要因を推定するために有効と認められる参照順序である。ユーザは、参照順序に従って項目情報や画像を選択することにより、選択された各項目情報や画像についての参照順序を指定することができる。また、ユーザは、入力部２を操作することにより、一度指定した参照順序を変更することもできる。この場合、入力部２は、順序指定手段として機能する。
【００３１】
また、ユーザは、入力部２を操作することにより、項目情報と画像との対応付けを指定することができる。この場合、ある項目情報を参照する際に同時に参照することにより基板に生じた不良の要因の推定の助けとなる画像と、その項目情報とが対応づけられることが望ましい。
【００３２】
入力部２は、例えば、対応付けを行うためのボタンを選択した後に対応付けしたい画像と項目情報とを連続的に選択することにより、対応付けを指定できるように構成されても良い。また、例えば対応付けしたい一方の画像又は項目情報に対し、他方の項目情報又は画像をドラッグ＆ドロップすることにより、対応付けを指定できるように入力部２が構成されても良い。ユーザは、一つの項目情報に対し複数の画像の対応づけを指定することもできるし、異なる複数の項目情報それぞれに対し同一の画像の対応付けを指定することもできる。この場合、入力部２は対応指定手段として機能する。
【００３３】
〈画像入力部〉
画像入力部３は、所定の処理において撮像された画像（以下、単に「画像」と呼ぶ）のデータをデータ蓄積装置１へ入力するためのインタフェースとして機能する。本実施形態の場合は、画像入力部３は、基板実装工程に含まれる複数の工程において撮像された基板の画像を入力するためのインタフェースとして機能する。画像入力部３によって、画像のデータがデータ蓄積装置１へ入力される。画像入力部３は、データ蓄積装置１へ画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
【００３４】
例えば、所定の処理において撮像を行う撮像装置（本実施形態の場合は基板を撮像する装置）から、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して画像のデータがデータ蓄積装置１へ入力されても良い。この場合、画像入力部３はネットワークインタフェースを用いて構成される。また、デジタルカメラやスキャナやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から画像のデータがデータ蓄積装置１へ入力されても良い。この場合、画像入力部３は、デジタルカメラやパーソナルコンピュータや記録装置などとデータ蓄積装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の有線接続やｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続の規格）に応
じて構成される。また、記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された画像のデータがデータ蓄積装置１へ入力されても良い。この場合、画像入力部３は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやフロッピーディスクドライブやＣＤドライブやＤＶＤドライブ）を用いて構成される。
【００３５】
また、画像入力部３が画像の撮像を行うように構成されても良い。この場合、画像入力部３は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いた撮像装置として構成されても良い。また、画像入力部３
は上述した複数の場合に応じることが可能となるように構成されても良い。
【００３６】
〈制御部〉
制御部４は、入力部２や画像入力部３を介して入力された項目情報や画像情報や画像のデータを受け取り、記憶部５に記憶させる。また、制御部４は、項目情報や画像について参照順序の指定があった場合には、項目情報や画像のデータを、それぞれについて指定された参照順序と関連づけて記憶部５に記憶させる。また、制御部４は、項目情報と画像との対応付けが指定された場合には、この対応付けを記憶部５にさらに記憶させる。
【００３７】
また、制御部４は、記憶部５に記憶されている内容に基づいて、項目情報や画像情報や画像を表示することを表示部６に指示する。表示内容の具体例については後述する。
【００３８】
〈記憶部〉
記憶部５は、いわゆる不揮発性記憶装置を用いて構成される。記憶部５は、制御部４からの指示に従い、項目情報や画像情報や画像のデータを記憶する。また、記憶部５は、項目情報や画像のデータについて指定された参照順序がある場合には、その参照順序と関連づけて項目情報や画像のデータを記憶する。また、記憶部５は、項目情報と画像との対応づけが指定されている場合には、この対応付けについても記憶する。
【００３９】
〈表示部〉
表示部６は、表示装置を用いて構成される。表示部６は、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶ディスプレイや、ＰＤＰ（Plasma Display Panel）や、有機ＥＬ（Electro-Luminescent）ディスプレイ等、既存のどのような表示装置を用いて構成されて
も良い。
【００４０】
表示部６は、制御部４の指示に従って、項目情報や画像情報や画像を表示する。ユーザは、表示部６に表示された項目情報や画像情報や画像を、入力部２を介して選択することなどが可能である。
【００４１】
図２は、項目情報を入力する際の表示例を示す図である。図２（ａ）に示す表示例では、項目情報を構成する各項目の名称のみが表示され、各項目の内容はまだ入力されていない。この各項目の名称は、ユーザによって任意に入力されても良いし、予めデータ蓄積装置１に設定されていても良い。図２（ａ）の画面が表示された後、ユーザは各項目に対し具体的な内容（値）を入力することができる。図２（ｂ）は、ユーザによって各項目に対し具体的な内容が入力された場合の表示例を示す。最終的には、図２（ｂ）のように、ユーザによって入力された項目情報の一覧が表示される。
【００４２】
図３は、画像情報を入力する際の表示例を示す図である。図３（ａ）に示す表示例では、画像入力部３を介して入力された三枚の画像が表示されている。ユーザが、入力部２を用いて各画像を指定し、画像情報の項目名を入力することにより、各画像と各画像情報の項目名とが表示される。図３（ｂ）は、各画像と各画像情報の項目名とが表示された場合の表示例を示す図である。図３（ｂ）では、縦に各画像が並んで表示され、横に各画像情報の項目名が並んで表示される。図３（ｂ）では、各画像について各画像情報に関する内容を入力するための入力枠が、マトリクス状に設けられる。そして、ユーザが各入力枠に各画像情報の内容を入力すると、入力された内容が図３（ｃ）のように表示される。この場合、画像名称、不良情報、良品度、コメントという項目名をそれぞれ有した四種類の画像情報が存在し、さらに各種類の画像情報が三つの画像それぞれについて存在する。即ち、図３（ｃ）の場合は、１２の画像情報が存在する。そして、各画像情報の項目名と内容とが、各画像に関連づけて記憶される。最終的には、図３（ｃ）のように、入力された画像と、ユーザによって入力された画像情報との一覧が表示される。
【００４３】
図４は、参照順序を指定した際の表示例を示す図である。例えば、ユーザは図２（ｂ）の表示において、発見工程、不良種を順に選択し、次に図３（ｃ）の表示において一番上の画像を選択し、そして図２（ｂ）の表示において一次要因、二次要因、起因工程を順に選択した場合、この選択した順番で参照順序が設定される。そして、設定された参照順序の結果がフローチャートとして図４のように表示される。図４の場合、フローチャートの表示には、項目情報の項目名、及び画像に対応する画像情報の項目名が用いられている。即ち、画像に対して参照順序が指定された場合には、その画像フローチャートの一部として表示される代わりに、この画像に対応する画像情報の項目名やその内容（図４の場合は「不良情報」）が表示される。なお、画像がフローチャートに含まれる場合には、対応する画像情報の項目名や内容がフローチャートの一部として表示されるとともに、画像のサムネイルがフローチャートの側に表示されても良い。また、その画像そのものがフローチャートの一部として表示されても良い。
【００４４】
また、項目情報に画像が対応づけられた場合には、その項目情報には画像が対応づけられている旨の表示がなされる。図４の表示例では、一次要因という項目名を有する項目情報に対して画像が対応づけられている。即ち、一次要因という項目名を持つ項目情報の脇に、対応づけられている画像の枚数が“１枚”と表示される。その他、画像が対応づけられていることがわかる態様であれば、どのような態様でその旨の表示がなされても良い。
【００４５】
〔動作例〕
図５は、データ蓄積装置１の動作例を示すフローチャートである。図２を用いてデータ蓄積装置１の動作例について説明する。まず、制御部４が画像入力部を介して画像のデータの入力を受け付け、画像のデータがデータ蓄積装置１に入力される（Ｓ０１）。制御部４は、入力された画像のデータを記憶部５に記憶させるとともに、表示部６に表示させる。この指示に従い、表示部６は、入力された画像を表示する（Ｓ０２）。また、制御部４は、入力部２を介して項目情報や画像情報の入力を受け付ける。ユーザは、表示された画像を参照することにより、入力部２を操作して項目情報や画像情報をデータ蓄積装置１に入力する（Ｓ０３）。制御部４は、入力された項目情報や画像情報を記憶部５に記憶させるとともに、表示部６に表示させる（Ｓ０４）。
【００４６】
次に、制御部４は、入力部２を介して項目情報と画像との対応付けの指定を受け付ける。ユーザは、表示された項目情報と画像を参照することにより、入力部２を操作して項目情報と画像との対応付けを指定する（Ｓ０５）。また、制御部４は、入力部２を介して項目情報と画像との参照順序の指定を受け付ける。ユーザは、入力部２を操作して参照順序を指定する（Ｓ０６）。そして、制御部４は、指定された対応付けや参照順序を、記憶部５にさらに記憶させることで、項目情報、画像情報及び画像の蓄積を完了する（Ｓ０７）。
【００４７】
〔作用／効果〕
データ蓄積装置１は、所定の処理において撮像される画像や、所定の処理に関する情報である項目情報を、それぞれ独立して単に蓄積するわけではない。データ蓄積装置１は、これらの画像や項目情報を、所定の処理において生じた事象を判断するために有効と認められる参照順序と関連づけて蓄積する。このため、蓄積された画像や項目情報をどのように活用してよいか分からない初心者などであっても、参照順序を容易に知ることが可能となる。そして、このような初心者であっても、データ蓄積装置１に蓄積された画像や項目情報を、他のユーザによって指定された参照順序に従って参照することにより、基板に生じた不良（所定の処理において生じた事象）について、発生の有無やその要因などを判断することが可能となる。
【００４８】
〔変形例〕
データ蓄積装置１に蓄積される参照順序や対応付けなどは、所定の処理において生じた事象を判断することについて熟練した者によって指定されることが望ましい。このような熟練者によって指定されることにより、データ蓄積装置１に蓄積されるデータの精度が向上し、併せて、蓄積されたデータに基づいてその後の処理を行う者の処理精度の向上を図ることができる。
【００４９】
［第二実施形態］
〔システム構成〕
次に、第二実施形態としてデータ表示装置７について説明する。データ表示装置７は、データ蓄積装置１によって蓄積された画像や項目情報や画像情報などを表示することにより、これらの蓄積されたデータについてユーザによる有効活用を図る装置である。以下、上述したデータ蓄積装置１によって記憶部４に記憶されているデータを表示するデータ表示装置７について説明する。なお、データ表示装置７の用途は、工業製品製造プロセスの基板実装工程や基板に生じた不良に関する画像等を表示することに限定される必要はない。即ち、データ表示装置７は、データ蓄積装置１によって、他の「所定の処理」や他の「所定の処理において生じた事象」についてのデータが蓄積された場合は、これら蓄積されたデータを表示しても良い。なお、以下の説明における項目情報、画像情報、画像などの定義は第一実施形態における定義と同じである。
【００５０】
データ表示装置７は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含
む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
【００５１】
図６は、データ表示装置７の機能ブロックを示す図である。データ表示装置７は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部８，制御部９，記憶部１０及び表示部１１等を含む装置として機能する。制御部９は、プログラムがＣＰＵによって実行されることにより実現される。また、制御部９は専用のチップとして構成されても良い。次に、データ表示装置７が含む各機能部について説明する。
【００５２】
〈入力部〉
入力部８は、入力装置を用いて構成される。入力部８には、既存のどのような入力装置が適用されても良い。入力部８は、例えばキーボードやポインティングデバイス（マウス，トラックボール，タブレットなど）や、タッチパネルや、テンキーや、各種ボタンや、音声入力装置などを用いて構成される。
【００５３】
ユーザは、入力部８を操作することにより、後述する表示部１１に表示された項目情報や画像を指定（選択）することができる。この場合、入力部８は、指定手段として機能する。
【００５４】
〈制御部〉
制御部９は、記憶部１０に記憶される項目情報や画像情報や画像に基づいて、初期画面の表示を表示部１１に指示する。また、入力部８を介して項目情報や画像の指定が行われた場合は、その指定に関するデータを入力部８から受け取り、指定された項目情報や画像に基づいて表示内容の変更を表示部１１に指示する。初期画面や表示内容の具体例については後述する。
【００５５】
〈記憶部〉
記憶部１０は、いわゆる不揮発性記憶装置を用いて構成される。記憶部１０は、データ蓄積装置１における記憶部４と同様のデータを記憶する。即ち、記憶部１０は、データ蓄積装置１によって蓄積された項目情報、画像情報、画像、参照順序、項目情報と画像との対応付けなどを記憶する。ただし、記憶部１０の記憶内容は、必ずしもデータ蓄積装置１によってのみ蓄積されるわけではなく、同様のデータが蓄積されるのであれば他の装置によって蓄積されても良い。
【００５６】
〈表示部〉
表示部１１は、表示装置を用いて構成される。表示部１１は、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶ディスプレイや、ＰＤＰ（Plasma Display Panel）や、有機ＥＬ（Electro-Luminescent）ディスプレイ等、既存のどのような表示装置を用いて構成さ
れても良い。
【００５７】
表示部１１は、制御部９の指示に従って、項目情報や画像情報や画像を表示する。表示部１１の表示画面は、第一表示領域と第二表示領域を含む。図８は、表示部１１による表示画面の例を示す図である。図８（ａ）は、初期画面の表示例を示す図である。図８（ａ）に示される表示画面の例では、表示画面は４つの区域（以下、各区域をその位置に従ってそれぞれ「左上区域」、「左下区域」、「右上区域」、「右下区域」と呼ぶ）により構成される。
【００５８】
第一表示領域は、参照順序に関わらない表示を行う。図８（ａ）では、左上区域、右上区域、及び右下区域が第一表示領域である。左上区域には、項目情報の一覧（例えば図２（ｂ）の表示例）が表示される。右上区域には、画像と画像情報の一覧（例えば図３（ｃ）の表示例）が表示される。図７は、右下区域の表示例を示す図である。右下区域には、画像中に含まれる特徴的部分を視認可能な態様で、画像が表示される。例えば、右下区域には、右上区域に表示される画像よりも大きく画像が表示される。このように大きく画像が表示されれば、画像の細部まで視認することが可能となり、結果としてユーザは画像中に含まれる特徴的部分を視認することができる。また、右下区域には、表示されている画像に関する画像情報がさらに表示されても良い。例えば、画像情報のうちコメントの内容が“コンテキスト詳細”という表示枠内に表示されても良い。以下、右下区域を画像表示領域と呼ぶ。
【００５９】
第二表示領域は、参照順序に従って、項目情報や画像を表示する。図８（ａ）では、左下区域が第二表示領域である。第二表示領域には、例えば項目情報の項目名や画像が参照順序に従ったフローチャート（例えば図４の表示例）として表示される。ユーザは、第二表示領域に表示されたフローチャートの一部（各項目名）を、入力部８を用いて指定することができる。
【００６０】
図８（ｂ）は、初期画面の第二表示領域において、画像情報の項目名である「一次要因」が指定された後の表示例を示す図である。このような指定がなされると、制御部９は、指定された項目名が画像情報であることを、記憶部１０の記憶内容から判断する。そして、制御部９は、この画像情報に対応する画像とこの画像情報とを記憶部１０から読み出し、その内容に応じた表示を行うことを表示部１１に指示する。そして、表示部１１は、図８（ｂ）に示されるような表示を行う。図８（ｂ）では、ユーザによって指定された画像情報に対応する画像が、画像表示領域に表示される。また、この画像に対応する画像情報も、画像表示領域に表示される。また、第一表示領域の右上区域に表示された画像の一覧表示中の該当画像及び当該画像に関する画像情報が、他の画像に関する画像情報と異なる態様で表示（例えばハイライト表示や反転表示や拡大表示など）される。以下、他の画像
に関する画像情報と異なる態様の表示について、ハイライト表示を行う場合を例に説明する。
【００６１】
また、第二表示領域において、項目情報の項目名が指定された場合には、第一表示領域の左上区域に表示された項目情報の一覧表示中の同一項目名がハイライト表示される。また、指定された項目情報に対応づけられた画像がある場合には、画像表示領域にその画像が表示される。
【００６２】
〔動作例〕
図９は、データ表示装置７の動作例のうち、項目情報が指定される場合の動作例を示すフローチャートである。図９を用いてデータ表示装置７の動作例について説明する。まず、制御部９が、記憶部１０に蓄積されている項目情報、画像情報、画像の一覧を初期画面として第一表示領域に表示するよう、表示部１１に指示する。表示部１１は、この指示に従って第一表示領域に表示を行う（Ｓ０８）。また、制御部９は、記憶部１０に蓄積されている参照順序を読み出し、この参照順序に従って第二表示領域の表示を行うよう、表示部１１に指示する。表示部１１は、この指示に従って第二表示領域に表示を行う（Ｓ０９）。これらの表示は同時に行われても良い。
【００６３】
次に、制御部９は、第二表示領域において項目情報がユーザによって指定されたか否か判断する（Ｓ１０）。指定された場合には（Ｓ１０−ＹＥＳ）、制御部９は、第一表示領域の左上区域において、同一項目情報をハイライト表示するように表示部１１に指示する。表示部１１は、この指示に従って表示を行う（Ｓ１１）。
【００６４】
次に、制御部９は、指定された項目情報に対応づけられた画像の有無について判断する（Ｓ１２）。このような画像がある場合には（Ｓ１２−ＹＥＳ）、制御部９は、該当する画像を画像表示領域に表示するように表示部１１に指示する。表示部１１は、この指示に従って表示を行う（Ｓ１３）。
【００６５】
次に、制御部９は、画像表示領域に表示された画像について画像情報の有無を判断する（Ｓ１４）。このような画像情報がある場合には（Ｓ１４−ＹＥＳ）、制御部９は、該当する画像情報を画像表示領域に表示するように表示部１１に指示する。表示部１１は、この指示に従って表示を行う（Ｓ１５）。そして、制御部９は、第一表示領域の右上区域において、同一の画像情報をハイライト表示するように表示部１１に指示し、表示部１１はこの指示に従って表示を行う。
【００６６】
Ｓ１０、Ｓ１２、Ｓ１４のいずれかの判断で条件が満たされなかった場合（Ｓ１０−ＮＯ，Ｓ１２−ＮＯ，Ｓ１４−ＮＯ）、又はＳ１５の処理の後、制御部９は、記憶部１０に蓄積されたデータの表示を終了する旨の指示の有無を判断する。終了指示が無い場合には（Ｓ１６−ＮＯ）、Ｓ１０以降の処理が繰り返される。一方、終了指示があった場合には（Ｓ１６−ＹＥＳ）、処理が終了する。
【００６７】
〔作用／効果〕
データ表示装置７は、データ蓄積装置１によって蓄積された各項目情報や画像情報や画像をそれぞれ独立して単に表示するわけではない。データ表示装置７は、これらの画像や項目情報を、他のユーザによって指定された参照順序に従って、第二表示領域に表示する。そして、ユーザが第二表示領域に表示された項目情報を指定すると、その項目情報の詳細が示されている一覧表示（第一表示領域の左上区域の表示）において、該当する項目情報がハイライト表示される。このため、蓄積された画像や項目情報をどのように活用してよいか分からない初心者などであっても、参照順序を容易に知ることが可能となる。そして、このような初心者であっても、データ表示装置７の第一表示領域に表示された様々な
画像や項目情報を、第二表示領域に表示されたフローチャートの流れ（他のユーザによって指定された参照順序）に従って参照することにより、基板に生じた不良（所定の処理において生じた事象）について、発生の有無やその要因などを判断することが可能となる。
【図面の簡単な説明】
【００６８】
【図１】データ蓄積装置の機能ブロック例を示す図である。
【図２】表示部の表示例を示す図である。
【図３】表示部の表示例を示す図である。
【図４】表示部の表示例を示す図である。
【図５】データ蓄積装置の動作例を示すフローチャートである。
【図６】データ表示装置の機能ブロック例を示す図である。
【図７】表示部の表示例を示す図である。
【図８】表示部の表示例を示す図である。
【図９】データ表示装置の動作例を示すフローチャートである。
【図１０】従来の検索結果の表示例を示す図である。
【符号の説明】
【００６９】
１        データ蓄積装置
２        入力部
３        画像入力部
４        制御部
５        記憶部
６        表示部
７        データ表示装置
８        入力部
９        制御部
１０      記憶部
１１      表示部
【図１】
2006318215.tif 000003
【図２】
2006318215.tif 000004
【図３】
2006318215.tif 000005
【図４】
2006318215.tif 000006
【図５】
2006318215.tif 000007
【図６】
2006318215.tif 000008
【図７】
2006318215.tif 000009
【図８】
2006318215.tif 000010
【図９】
2006318215.tif 000011
【図１０】
2006318215.tif 000012