(57)【要約】【目的】  設計図面を特別の手入力無しに登録し、記載されている部品名をキーワードとして検索することができる画像情報処理装置及び画像情報処理方法を提供できる。【構成】  設計図面をイメージ情報として記憶する設計図面記憶手段と、前記設計図面に記載されている部品名をベクトル化して記憶する部品名記憶手段とを備える画像処理装置における画像処理方法であって、前記設計図面に記載されている部品表を抽出し、記載されている部品名を文字認識し、部品名を単語の塊としてベクトル化し前記部品名記憶手段に登録し、検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化し、ベクトルモデル化したベクトル化キーワードに関連する前記部品名記憶手段に記憶されている部品名を抽出し、抽出した部品名の記載されている設計図面を前記設計図面記憶手段より抽出することを特徴とする。【選択図】      図１
2018032225.tif 000002
【特許請求の範囲】
【請求項１】
製品の設計図面を登録した画像処理装置において、
前記設計図面に記載されている部品表を抽出し、記載されている部品名を文字認識する表認識手段と、
前記認識手段で認識した、部品表の各部品及び当該設計図面で特定される製品をベクトルモデル化するベクトルモデル化手段と、
前記ベクトルモデル化したベクトル化部品及び製品を当該設計図面と関連付けて登録するベクトル化モデル登録手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記部品名のベクトル化は、部品名を単語の塊として把握してベクトル化することを特徴とする請求項１記載の画像処理装置。
【請求項３】
更に、検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化するキーワードモデル化手段と、
前記ベクトル化モデル登録手段に登録されているベクトル化モデルと前記キーワードモデル化手段がベクトルモデル化したベクトル化キーワードを生成するベクトル化キーワード生成手段と、
前記ベクトル化キーワード生成手段で生成した前記ベクトル化キーワードで前記ベクトル化モデル登録手段に登録されている設計図面を抽出する図面抽出手段とを備え、
検索キーワードの記載された設計図面と共に検索キーワードに関連する設計図面についても抽出できることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
製品の設計図面を登録して検索可能な画像処理装置であって、
前記設計図面に記載されている部品リストを抽出し、記載されている部品リストを文字認識する部品名認識手段と、
前記部品名認識手段で認識した部品名、及び当該部品名の記載された設計図面記載されている製品名を関連付けて登録する登録手段と、
検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化するキーワードモデル化手段と、
前記ベクトル化モデル登録手段に登録されているベクトル化モデルと前記キーワードモデル化手段がベクトルモデル化したベクトル化キーワードを生成するベクトル化キーワード生成手段と、
前記ベクトル化キーワード生成手段で生成した前記ベクトル化キーワードで前記登録手段に登録されている設計図面を抽出する図面抽出手段とを備え、
検索キーワードの記載された設計図面と共に検索キーワードに関連する設計図面についても抽出できることを特徴とする画像処理装置。
【請求項５】
設計図面をイメージ情報として記憶する設計図面記憶手段と、前記設計図面に記載されている部品名をベクトル化して記憶する部品名記憶手段とを備える画像処理装置における画像処理方法であって、
前記設計図面に記載されている部品表を抽出し、記載されている部品名を文字認識し、部品名を単語の塊としてベクトル化し前記部品名記憶手段に登録し、
検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化し、ベクトルモデル化したベクトル化キーワードに関連する前記部品名記憶手段に記憶されている部品名を抽出し、抽出した部品名の記載されている設計図面を前記設計図面記憶手段より抽出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージ画像を登録し、登録したイメージ画像を検索可能な画像情報処理装置及び画像情報処理方法に関し、例えば、機械図面をイメージ画像として登録し、登録したイメージ画像をキーワードにより検索可能な画像情報処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年おける製品開発サイクルの短縮化要求は非常に強く、企業が所有している自社技術の的確な管理が求められている。特に文書データ等であれば電子データ化（テキストデータ化）したものについては、２値の情報として取り扱うことができる。このため、キーワードにより検索することで、所望の文書データを特定することが出来、所望の技術内容が確認できる。
【０００３】
その一方、コンピュータは２値情報を処理するものであるから、上記したテキストデータの取り扱いはよいが、２次元の情報であるイメージ情報を直接処理することは苦手であり、イメージにタグを付与してこのタグにより管理したり、あるいはイメージの属性情報をイメージ情報と対応付けて登録し、属性情報を利用して所望のイメージ情報を検索していた。
【０００４】
また、例えば特許文献１に記載されたように、図面に表示される表示対象と表示対象の表示位置とを表示位置の相違に応じて組み合わせた属性情報と、各組み合わせにそれぞれ対応する複数の図面データとを事例データベースに記憶しておき、図面からの属性入力部が、図面に表示された又は表示される表示対象の表示・非表示の変更又は位置の変更を画面上から受け付けて、出力事例選択部が、変更された表示対象と当該表示対象の表示位置との組み合わせに合致する組み合わせを上記属性情報から選択し、出力事例生成部が、選択された組み合わせに対応する図面データを事例データベースから検索して表示する。
【０００５】
更に、特許文献２に記載された画像検索装置は、図面データを複数管理する図面管理データベースから、検索対象として特定される物品が記載された図面データを検索可能な図面検索装置であって、前記物品が記載された図面データを検索する第１検索手段と、前記物品を構成する部品に係る情報からなる第１構成情報一覧表を、前記物品が記載された図面データから抽出する第１構成情報抽出手段と、第１構成情報一覧表に基づいて前記部品が記載された図面データを検索する第２検索手段と、前記部品を構成する他の部品に係る情報からなる第２構成情報一覧表を、前記部品が記載された図面データから抽出する第２構成情報抽出手段と、前記第１構成情報一覧表と前記第２構成情報一覧表とから構成される部品展開一覧表を構成して出力する構成情報出力手段とを備える。
【０００６】
そして、物品が属する階層を最上位階層として物品を部品に展開することによって階層的に構成される木構造とし、複数の階層に渡って木構造を辿り、物品又は部品が記載された図面データに含まれる構成情報一覧表に基づいて、図面データに記載された物品又は部品の下位に属する部品に係る情報を検索して、物品を所定の階層に属する部品まで展開して得られた部品展開一覧表が出力されるため、物品を構成する部品よりも下位の階層に属する部品についての構成をユーザが簡便に知ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１２３２６２号公報
【特許文献２】特開２００５−２９３１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の発明は、表示位置の相違や手入力した属性情報に基づいて所望の図面を検索することが出来るのみで、予め設定されたキーワードでのみ検索することを予想したもので、後ほど新たに設定したキーワードで検索しようとしても対応が難しいものであった。
【０００９】
又、特許文献２に記載された発明では、図面の作成時に必要な検索データを用意して登録することが前提であり、例えば設計図面に表された物品を構成する部品一覧表を作成し、図面としてのイメージ情報と関連付けて一覧表を構成する部品名をキーワードとしてその部品を含む物品が表された図面を検索するのみであり、キーワードとして指定した部品名が記載された図面を検索することが出来るのみであり、具体的な検索方法として記載されているのは、キーワードとして指定された部品の含まれる一覧表が記載されている物品が抽出されるのみであった。
【００１０】
本発明は、特定の部品が記載された図面を検索できるのみでなく、キーワードで指定した部品とともに、当該部品が用いられた物品、当該部品に関連する物品も併せて検索できる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上述した課題を解決することを目的としてなされたもので、検索しようとして指定した検索対象と技術的に関連するものが記載された図面をも検索することが可能な画像処理装置及び方法を提供することを目的とする。且つ目的を達成する一手段として例えば以下の構成を備える。
即ち、製品の設計図面を登録した画像処理装置において、前記設計図面に記載されている部品表を抽出し、記載されている部品名を文字認識する表認識手段と、前記認識手段で認識した、部品表の各部品及び当該設計図面で特定される製品をベクトルモデル化するベクトルモデル化手段と、前記ベクトルモデル化したベクトル化部品及び製品を当該設計図面と関連付けて登録するベクトル化モデル登録手段とを備えることを特徴とする。
【００１２】
そして例えば、前記部品名のベクトル化は、部品名を単語の塊として把握してベクトル化することを特徴とする。
又例えば、更に、検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化するキーワードモデル化手段と、前記ベクトル化モデル登録手段に登録されているベクトル化モデルと前記キーワードモデル化手段がベクトルモデル化したベクトル化キーワードを生成するベクトル化キーワード生成手段と、前記ベクトル化キーワード生成手段で生成した前記ベクトル化キーワードで前記ベクトル化モデル登録手段に登録されている設計図面を抽出する図面抽出手段とを備え、検索キーワードの記載された設計図面と共に検索キーワードに関連する設計図面についても抽出できることを特徴とする。
【００１３】
更に例えば、製品の設計図面を登録して検索可能な画像処理装置であって、前記設計図面に記載されている部品リストを抽出し、記載されている部品リストを文字認識する部品名認識手段と、前記部品名認識手段で認識した部品名、及び当該部品名の記載された設計図面に記載されている製品名を関連付けて登録する登録手段と、検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化するキーワードモデル化手段と、前記ベクトル化モデル登録手段に登録されているベクトル化モデルと前記キーワードモデル化手段がベクトルモデル化したベクトル化キーワードを生成するベクトル化キーワード生成手段と、前記ベクトル化キーワード生成手段で生成した前記ベクトル化キーワードで前記登録手段に登録されている設計図面を抽出する図面抽出手段とを備え、検索キーワードの記載された設計図面と共に検索キーワードに関連する設計図面についても抽出できることを特徴とする。
【００１４】
または、設計図面をイメージ情報として記憶する設計図面記憶手段と、前記設計図面に記載されている部品名をベクトル化して記憶する部品名記憶手段とを備える画像処理装置における画像処理方法であって、前記設計図面に記載されている部品表を抽出し、記載されている部品名を文字認識し、部品名を単語の塊としてベクトル化し前記部品名記憶手段に登録し、検索キーワードが指示されると、入力された検索キーワードをベクトルモデル化し、ベクトルモデル化したベクトル化キーワードに関連する前記部品名記憶手段に記憶されている部品名を抽出し、抽出した部品名の記載されている設計図面を前記設計図面記憶手段より抽出する画像処理方法であることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、検索キーワードと技術的に関連する範囲まで含めた図面を検索することが可能な画像処理装置及び画像処理方法が提供できる。
【図面の簡単な説明】
【００１６】
【図１】図１は本発明に係る一発明の実施の形態例の画像処理システムのシステム構成図である。
【図２】図２は本実施の形態において処理対象とする図面の例を示す図である。
【図３】図３は本実施の形態例の画像登録処理制御を説明するためのフローチャート図である。
【図４】図４は本実施の形態例の画像検索処理制御を説明するためのフローチャート図である。
【図５】図５は本実施の形態例の図面／部品表へのベクトル検索適用も一例を示す図である。
【発明を実施するための形態】
【００１７】
本発明に係る発明を実施するための形態の一例について図面を参照して以下詳細に説明する。まず、図１を参照して本実施の形態における画像情報処理装置の概略構成を説明する。図１は本発明に係る一実施の形態の一例の画像情報処理装置のシステム構成図である。
【００１８】
図１において、１０は処理対象（検索対象）の技術図面であり、以下の説明では構成部品の一覧が表された機械図面を例として説明を行う。本実施の形態において処理対象とする図面の例を図２に示す。本実施の形態において処理対象の技術図面は図２に示す例に限定されるものではなく、図面に表されている物品の構成品が図面内に一覧で、あるいは引き出し線などで表されていればその記載形態に制限はない。図２に示すように下の領域に図示された製品の構成部品の一覧表が記載されている。
【００１９】
図１の１０に示すは内容が文章で表された技術文書であり、文章情報も参照することが出来る。１００は本システムの全体制御を司る全体制御装置、１１０は装置にセットされた技術図面や技術文書などを順次読み込んでイメージ情報に変換して全体制御装置１００に出力する原稿読み取り装置である。全体制御装置１００はこの原稿読み取り装置１１０よりの読み取りイメージ情報をタグを付与して図面データサーバ２１０に登録する。
【００２０】
１２０は図面に表された文字パターンを認識して対応するキャラクタコードに変換する文字認識装置であり、図面構成部品抽出部１２５を備えている。例えば原稿読み取り装置１１０で読み取ったイメージ情報中の文字情報を図面構成部品抽出部１２５で抽出し、抽出した文字パターンに対する認識処理を行い、対応する文字テキスト情報（キャラクタコード情報）に変換する。
【００２１】
文字認識装置１２０で認識された文字情報は、コーパス（単語の塊）としてコーパスサーバ２４０に登録する。このとき、対応するイメージ情報と関連付けてコーパス登録される。なお、技術文書２０については、原稿読み取り装置１１０で読み込んだテキストイメージを順次文字認識して全文検索サーバ２２０に登録される。
【００２２】
１３０は検索制御装置であり、例えば操作装置１７０などから指定されたキーワード情報を受け取り、全文検索サーバ２２０に登録されている当該キーワードに関連する文字テキスト情報を抽出する。また、図面データサーバ２１０に登録されている抽出したコーパスに関連する図面を抽出する。
【００２３】
具体的には、文字認識装置１２０がコーパスサーバ２４０に登録する際に、登録されるコーパスを元にベクトルモデルを作成するベクトルモデル作成部１３２を備えている。ここで、ベクトルモデルとは、図面中のある部品が、別部品と一緒に使用される（共起）情報を元に部品を他の部品のベクトルとして表現するモデルである。共起情報については予め部品毎にその使用方法や使用態様は予想されており、この情報からベクトルモデルを容易に計算して作成可能である。例えばボルトとナットのように一緒に用いられる例が多い部品と、ボルトとピンのように一緒に用いられる例の少ないものでベクトルモデルを計算する。
【００２４】
ベクトルモデル作成部１３２で作成されたベクトルモデルはコーパスサーバ２４０のベクトルモデル記憶部２４５に登録／記憶される。
更に検索制御装置１３０の類似部品検索部１３４を備えており、ベクトルモデル記憶部２４５に記憶されているベクトルモデルの中から、指示された部品をキーとしてベクトル計算を行って類似する部品を検索する。
【００２５】
検索制御装置１３０は更に類似部品検索部１３４で検索した類似部品が記載された図面データ（類似図面）を図面データサーバ２１０より読み出してくる類似図面検索部１３６を備えている。
【００２６】
１４０はネットワーク制御装置であり、ネートワーク網３００を介して他の装置などに接続可能であり、ネットワーク網３００を介して他の装置よりの遠隔操作により図面データサーバ２１０に登録されている図面データの検索を行うことを可能としている。
【００２７】
１５０はプリンタ装置であり、各種の検索状況や結果などを印刷する。１７０は操作装置であり、少なくとも表示部１７１，キーボード装置１７５を備えている。
【００２８】
２１０は技術図面データが登録されている図面データサーバであり、図面の登録は該図面に記載されていたコーパスサーバ２４０に登録されるコーパスと関連付けて行われる。２２０は全文検索サーバであり、図面データサーバ２１０に登録されている図面データと関連付けて登録されている図面データに記載された構成部品データが登録されている。更に技術文書が読み込まれた場合には当該技術文書の文字列を文字認識した技術文書の全文データ等が登録されている。
【００２９】
２４０は文字認識装置１２０で認識した図面中のコーパスを記憶するコーパスサーバであり、文字認識装置１２０の図面構成部品抽出部１２５が抽出したコーパス（単語の塊）を記憶する。更に、検索制御装置１３０の作成したベクトルモデルを記憶するベクトルモデル記憶部２４５を備えている。
【００３０】
以上の構成を備える本実施の形態における図面データ登録処理を図３のフローチャートを参照して説明する。
処理に先立って登録するべき図面シートを原稿読み取り装置１１０にセットする。そして、例えば操作装置１７０から、図面登録処理の開始を指示する。この後全体制御装置１００は図３に示す図面登録処理を実行する。
【００３１】
全体制御装置１００は、ステップＳ１０の図面読込処理に移行し、原稿読み取り装置１１０に指示して、装置にセットされている１枚目の技術図面を読み込む。読み込んだイメージ情報を受け取った全体制御装置１００は、読み取った画像データを文字認識装置１２０に送る。
【００３２】
文字認識装置１２０はまずステップＳ３０において、図面構成部品抽出部１２５を起動して画像イメージ中に表が表示された領域（当該図面の構成部品の情報、例えば部品番号や説明）があるか否かを調べる。表領域が検出されなかった場合にはステップＳ７０に進む。
【００３３】
一方、ステップＳ３０で表が検出された場合にはステップＳ３０よりステップＳ４０に進み、図面構成部品抽出部１２５は表領域を切り出し、切り出した表領域の文字（単語）パターンの抽出を行う。そして文字認識装置１２０は抽出した文字（単語）の認識処理を行う。そしてステップＳ５０に進む。
【００３４】
ステップＳ５０では認識した表中に表されているコーパス（図面中に表されている単語の塊）をコーパスサーバ２４０に登録する。なお、このコーパスサーバ２４０に登録されたコーパスは、図面が新たに追加されたり、削除された場合には当該図面の情報が順次更新されることになる。
【００３５】
続くステップＳ６０で認識されたコーパスを検索制御部１３０のベクトルモデル作成部１３２に送り、ベクトルモデル作成部１３２はコーパスを元に部品等のベクトルモデルを作成する。作成されたベクトルモデルはベクトルモデル記憶部２４５に登録される。
【００３６】
なお、以上のコーパスの説明は、部品名のベクトルモデル化及びベクトルモデル記憶部２４５への登録の例に限定されるものではなく、部品と共に図面に表されている製品名についても部品名と同様に、製品名を表すコーパス（製品コーパス）をコーパスサーバ２４０に登録し、このコーパスサーバ２４０に登録された製品コーパスを検索制御部１３０のベクトルモデル作成部１３２に送り、ベクトルモデル作成部１３２は製品コーパスを元に製品のベクトルモデルを作成する。作成されたベクトルモデルはベクトルモデル記憶部２４５に登録している。
【００３７】
続くステップＳ７０の処理では、読み込んだ技術図面に対して、ディープラーニング技術の分散表現（Word2Vec）を使った図面分類を行う。
続くステップＳ８０で分類した読込図面を図面データベース２１０に登録する。その場合には当該図面データに対応したベクトルモデル及び部品コーパスに関連付けて登録されるため、ベクトルモデルで技術図面を効率よく検索することが出来る。
【００３８】
そしてステップＳ９０に進み、原稿読み取り装置１１０に読み取るべき原稿がセットされているか否か（次に処理すべき図面があるか否か）を判断し、次に処理すべき原稿がある場合にはステップＳ１０に戻り、次の原稿の読み取り処理を行う。
【００３９】
一方、原稿読み取り装置１１０にセットされた処理すべき原稿がすべて処理された場合には登録処理を終了する。
以上の処理中のステップＳ２０における読込図面中の表領域の検出処理は、例えば、まず図面画像の線分を抽出し、各線分の種別をラベルとする。そして文字領域を抽出し、文字認識装置を起動して文字認識をおこなう。
【００４０】
次にステップＳ７０の図面の自動分類処理について更に説明する。検索制御装置１３０は、図面に記載される／記載されている各部品に関する情報を保持しており、部品同士の実績のある組み合わせ（パーツマイニング）、例えば「部品Ａ（例えばボルト）との組み合わせで実績のある部品として部品Ｂ（例えばナット）を関連付けて登録されている、部品Ａと部品Ｂとの組み合わせに相当する部品Ｆと一緒に用いられる部品のベクトルとして計算し登録する。
更に、反対に通常組み合わせることがない部品に対しては組み合わせ制約を表すベクトルを計算して登録する。
【００４１】
次に以上のようにして登録した図面情報の検索処理を図４を参照して以下説明する。
まずステップＳ１１０で図面の検索は図面中に描かれている部品名又は技術文書に含まれる検索対象の部品名（検索単語）をキーワードとして指定し、対応する図面又は技術文書を検索するように指示する。このキーワードの入力及び検索指示は、例えば操作装置１７０から行う。
【００４２】
検索するべき部品名が指示されるとステップＳ１２０に進み、検索制御装置１３０に指定されたキーワードが送られ、検索制御装置１３０は類似部品検索部１３４に類似部品の検索を指示する。類似部品検索部１３４はベクトルモデル生成部１３２に指示して指定された部品名をキーとしてベクトル計算を行なってベクトルモデル化し、このベクトルモデルを元にベクトルモデル記憶部２４５に登録されているベクトルモデル中一定の範囲のモデルを検索し、類似する部品を検索する。
【００４３】
このベクトル検索は、言うなれば部品名の連想検索ともいうべき手法であり、言い換えれば、「〜における（製品名〜における）〜は（部品名〜は）〜では何に相当するか」を検索することに相当する。
【００４４】
類似部品の抽出が行われるとステップＳ１３０に進み、全文検索サーバ２２０に登録されている抽出した部品名の含まれる技術文書を抽出する。そして抽出した技術文書の一覧を例えば検索を指示した操作装置１７０の表示画面１７１に表示する。
【００４５】
更に、これと並行して、あるいは続いてステップＳ１４０に進み、図面検索処理に移行し、検索制御装置１３０は類似図面検索部１３６に指示してステップＳ１２０で抽出した類似部品の含まれる製品図面を抽出して例えば操作装置１７０の表示画面１７１に表示する。そして、この表示された一覧から所望の製品図面を選択して表示する。
【００４６】
なお、以上の説明はキーワードとして部品名を入力した場合を例として説明したが、本例は以上の例に限定されるものではなく、部品名でなく製品名をキーワードとして指定することも可能である。
【００４７】
この場合には、検索するべきキーワードとして製品名が指示されると、検索制御装置１３０に指定されたキーワードが送られ、検索制御装置１３０は類似部品検索部１３４に類似製品の検索を指示する。部品と同様にベクトルモデル生成部１３２に指示して指定された製品名をキーとしてベクトル計算を行なってベクトルモデル化し、このベクトルモデルを元にベクトルモデル記憶部２４５に登録されている製品のベクトルモデル中一定の範囲のモデルを検索し、類似する製品を検索する。
【００４８】
類似製品の抽出が行われると、検索制御装置１３０は類似図面検索部１３６に指示して抽出した製品の図面を抽出して例えば操作装置の表示画面１７１に表示する。
【００４９】
以上の処理において、技術図面、部品表へのベクトル検索適用の状況をイメージ的に図５に示す。図５の例では、図面内の部品番号をベクトル化し、各ベクトルの組み合わせによって製品が表現されるととらえる。例えば、ＳＮ（Ｓｅｒｉａｌ  Ｎｕｍｂｅｒ）＃０１（ｅｘ，“１５３０”）の部品＃Ｘ（“Ｒ１５５５９”に相当する、ＳＮ＃０２（“１５３１”）の部品＃Ｘ‘は何か？というベクトル検索を行う場合の例を表している。
このように、単なる記載単語をキーワードとして検索するのみ成らず、単語と該単語のベクトル化データを元に検索するすることができる。
【図１】
2018032225.tif 000003
【図２】
2018032225.tif 000004
【図３】
2018032225.tif 000005
【図４】
2018032225.tif 000006
【図５】
2018032225.tif 000007