(57)【要約】【課題】分析装置などの各種装置の取扱説明を簡便にかつわかりやすくユーザに表示する。【解決手段】対象装置１０の操作を説明する情報である説明情報３０を、各別のコードと対応付けて記録した説明情報格納部２３と、携帯端末２０の撮影画像から、前記対象装置１０の外面に表示されたＡＲマーカー１２を抽出するマーカー抽出部２４と、抽出されたＡＲマーカー１２からコードを読み取るコード読み取り部２５と、コード読み取り部２５が読み取ったコードに対応する説明情報３０を撮影画像に重畳して携帯端末２０の画面に表示するＡＲ表示部２６と、から成るプログラムとする。ＡＲマーカーではなく装置の形状に基づいて説明情報３０を表示してもよい。【選択図】図１
2017187962.tif 000002
【特許請求の範囲】
【請求項１】
画像撮影機能を有する携帯端末で動作するプログラムであって、
a) 対象装置の各種操作を説明する情報である説明情報を、各操作毎のコードと対応付けて格納した説明情報格納部と、
b) 携帯端末の撮影画像から、前記対象装置の外面に表示されたＡＲマーカーを抽出するマーカー抽出部と、
c) 抽出されたＡＲマーカーからコードを読み取るコード読み取り部と、
d) コード読み取り部が読み取ったコードに対応する説明情報を前記説明情報格納部から読み出し、撮影画像に重畳して前記携帯端末の画面に表示するＡＲ表示部と
を有することを特徴とする装置説明用プログラム。
【請求項２】
前記ＡＲ表示部が、説明情報を、撮影画像中の前記対象装置に関する所定の位置に重畳して表示することを特徴とする請求項１に記載の装置説明用プログラム。
【請求項３】
画像撮影機能を有する携帯端末で動作するプログラムであって、
a) 対象装置の構成し得る複数の外観をそれぞれ所定の方法でパターン化して格納した外観パターン格納部と、
b) 前記外観の各パターンに、該パターンに対応する前記対象装置の構成に関する情報である構成情報を対応付けて格納した構成情報格納部と、
c) 携帯端末の撮影画像から、前記対象装置の外観を抽出し、前記所定の方法でパターン化する外観パターン化部と、
d) 前記外観パターン化部がパターン化したパターンに対応する構成情報を前記構成情報格納部から読み出し、撮影画像に重畳して前記携帯端末の画面に表示するＡＲ表示部と
を有することを特徴とする装置説明用プログラム。
【請求項４】
前記ＡＲ表示部が、構成情報を、撮影画像中の前記対象装置に関する所定の位置に重畳して表示することを特徴とする請求項３に記載の装置説明用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実（ＡＲ）技術を用いた、分析装置等の各種装置を説明するためのプログラムに関する。
【背景技術】
【０００２】
分析装置等の様々な装置を新たに製造する場合、同時に、その装置を正しく使用するための取扱説明書が作成される。装置が複雑であったり機能が多い場合、或いは、その操作対象であるユーザとして非熟練者を想定する場合等には、取扱説明書の内容量は大きくなる。紙製（冊子状）の取扱説明書では、大きいものでは厚さが数cmになったり、数冊に分冊されるものもあるが、ユーザがそれを読み通すことはもちろん、必要な箇所を読むことさえ困難となりつつある。
【０００３】
そこで近年は、コンピュータ上で閲覧できる、pdfファイル形式等の電子版取扱説明書が多くなってきている。電子版取扱説明書であると、必要な箇所を探すのが容易であり、また、現在読んでいるところから直ちに関連箇所に移動することも容易である。さらに、動画や音を挿入することができるため、より理解しやすいものとなる。
【０００４】
一方、近年、スマートフォンやタブレット等の携帯端末装置において、ＡＲ（拡張現実）という技術が多く使われるようになっている。これは、携帯端末装置で眼前の風景等を撮影している際に、その撮影画像に重畳して別の画像、動画、文字などの各種情報を表示する、というものである（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】＠IT、"いまさら聞けないAR（拡張現実）の基礎知識"、[online]、平成２４年９月２６日、［平成２７年５月８日検索］、インターネット＜ＵＲＬ：http://www.atmarkit.co.jp/ait/articles/1109/26/news136.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
新たな装置をユーザに提供する場合、電子版による取扱説明書を同時に提供することにより、ユーザは前記の通り、その装置が複雑であり、豊富な機能を持っていたとしても、その操作を容易に理解し、把握することができる。しかし、電子版の取扱説明書は通常、コンピュータ上でないと見ることはできないため、コンピュータに接続し、コンピュータ上で制御・操作をする装置の場合には便利に使用することができるが、コンピュータに接続しない、スタンドアロンの装置の場合には、別途コンピュータを用意しなければならない。例えば、スタンドアロンの分析装置は可搬性や立ち上がりの迅速性に優れているため、現場で分析を行うに適しているが、そのような場合に電子版取扱説明書は適した説明媒体とは言えない。
【０００７】
本発明が解決しようとする課題は、コンピュータに接続されないスタンドアロンの装置であっても、ユーザに対して容易にその操作を説明することができる装置説明用プログラムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために成された本発明の第１の態様は、画像撮影機能を有する携帯端末で動作するプログラムであって、
a) 対象装置の各種操作を説明する情報である説明情報を、各操作毎のコードと対応付けて格納した説明情報格納部と、
b) 携帯端末の撮影画像から、前記対象装置の外面に表示されたＡＲマーカーを抽出するマーカー抽出部と、
c) 抽出されたＡＲマーカーからコードを読み取るコード読み取り部と、
d) コード読み取り部が読み取ったコードに対応する説明情報を前記説明情報格納部から読み出し、撮影画像に重畳して前記携帯端末の画面に表示するＡＲ表示部と
を有することを特徴とする。
【０００９】
本発明の第１の態様はいわゆるマーカー型ビジョンベースＡＲに対応するものであり、携帯端末が撮影した画像からＡＲマーカーと呼ばれる特定のマーカーを読み取り、それに対応する画像、動画、文字などの各種情報を携帯端末の撮影画像に重畳して表示する。本発明の第１の態様では、そのようなＡＲマーカーが対象装置の外面に表示されていることを前提としているが、この「対象装置の外面に表示されたＡＲマーカー」は、対象装置毎に固定されたものであってもよいし、対象装置の内部状態に応じて可変となるようなものであってもよい。前者の場合は、その対象装置に対応した操作情報がＡＲとして携帯端末の画面に表示される。後者の場合は、その他に、その対象装置の内部状態（例えば、対象装置が分析装置である場合には、分析準備中／分析中／分析終了等）に応じてＡＲマーカーが変化し、携帯端末の画面には、その時点でユーザが操作すべき情報が表示される。
【００１０】
また、本発明の第２の態様は、同じく画像撮影機能を有する携帯端末で動作するプログラムであって、
a) 対象装置の採り得る複数の構成の外観をそれぞれ所定の方法でパターン化して格納した外観パターン格納部と、
b) 前記外観の各パターンに、該パターンに対応する前記対象装置の構成に関する情報である構成情報を対応付けて格納した構成情報格納部と、
c) 携帯端末の撮影画像から、前記対象装置の外観を抽出し、前記所定の方法でパターン化する外観パターン化部と、
d) 前記外観パターン化部がパターン化したパターンに対応する構成情報を前記構成情報格納部から読み出し、撮影画像に重畳して前記携帯端末の画面に表示するＡＲ表示部と
を有することを特徴とする。
【００１１】
本発明の第２の態様はいわゆるマーカーレス型ビジョンベースＡＲに対応するものであり、対象装置にはＡＲマーカーが表示されていなくてもよい。本発明の第２の態様では、外観パターン化部が撮影画像から対象装置の外観を抽出し、所定の方法でそれをパターン化する。撮影画像からの対象装置の抽出には周知の色差抽出や明度差抽出等の画像処理技術を用いることができ、抽出した画像のパターン化には二値化技術や輪郭線抽出等の画像処理技術を用いることができる。ＡＲ表示部は、こうしてパターン化した対象装置の外観のパターンを構成情報格納部に格納されている各パターンと比較し、一致するパターンを検出するとともに、一致したパターンに対応する構成情報を携帯端末の撮影画像に重畳して表示する。この構成情報にはその構成に対応する操作情報を含めておくことができるため、これによりユーザはその構成の対象装置に関する操作情報を容易に得ることができる。
【発明の効果】
【００１２】
本発明に係るプログラムの第１の態様によれば、携帯端末の画像撮影機能を用いて対象装置を撮影すると、対象装置の外面に表示されたＡＲマーカーのコードに応じた説明情報が、携帯端末の画面に表示されている対象装置の画像に適切に重畳されて表示される。従って、ユーザは紙の、または電子版の説明書から関連する記載箇所を探して参照するという手間なく、現在の対象装置の状況に対応した適切な指示や情報を簡単に得ることができる。
【００１３】
本発明に係るプログラムの第２の態様によれば、携帯端末の画像撮影機能を用いて対象装置を撮影すると、その対象装置の外観に応じた構成情報が、携帯端末の画面に表示されている対象装置の画像に適切に重畳されて表示される。従って、ユーザは紙の、または電子版の説明書から関連する記載箇所を探して参照するという手間なく、現在の対象装置の構成や、構成に対応した適切な指示や情報を簡単に得ることができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る装置説明用プログラムの構成図及び動作模式図。
【図２】ＡＲマーカーの他の形態を示す図。
【図３】説明情報を撮影画像中の対象装置上に表示する例で、(a)は文字と画像を組み合わせて表示する例、(b)は動画を表示する例。
【図４】第２実施形態に係る装置説明用プログラムの構成図及び動作模式図。
【図５】パターン化された外観の例。
【発明を実施するための形態】
【００１５】
以下、本発明に係る装置説明用プログラムの動作の具体例を実施形態として詳細に説明する。
いずれの実施形態においても、本発明に係るプログラムは携帯端末２０に予めインストールしておく。
なお、分析装置１０の各種制御は分析装置１０の本体上の入力部（キーボード、タッチパネル等）からユーザが種々の命令を入力することによって行うが、分析装置１０上で設定を行うことにより、携帯端末２０から無線で操作を行うことも可能である。その場合、携帯端末２０にはそのためのプログラム（アプリケーションソフトウェア）を予めインストールしておく。
【００１６】
図１は、第１実施形態に係る装置説明用プログラムの構成図及び動作模式図である。本実施形態において、対象装置である分析装置１０は、その装置の前面に、分析装置１０の状態を示すＡＲマーカー１２を有している。このＡＲマーカー１２は、所定の太さの黒枠を設け、その黒枠の内部に、装置の内部状態に対応した模様や文字など（コード）を表示するものであり、ＬＣＤ（Liquid Crystal Display）などから構成することができる。
また、ＡＲマーカー１２の他の形態として、例えば図２に示すように、ＬＥＤ等から成る複数のランプの、点灯・消灯の組み合わせを用いることもできる。図２のように１６個のランプがある場合には２の１６乗ケースの装置状態を表現することができる。点灯・消灯だけでなく、色を用いて装置状態を表現することもできる。
【００１７】
携帯端末２０は、中央演算処理装置であるＣＰＵ（Central Processing Unit）にメモリ、タッチパネル式のＬＣＤ等から成る携帯端末画面（表示部）２１、ＳＳＤ（Solid State Drive）等の大容量記憶装置から成る記憶部等から構成されている。また、携帯端末２０は静止画や動画を撮影することができるカメラと、そのカメラの動作を制御する画像撮影機能を備える。
【００１８】
携帯端末２０の記憶部には、携帯端末２０の全体の動作を制御するＯＳ（Operating System）の他、本発明に係る装置説明用プログラム２２やその他の各種プログラム（アプリケーションソフトウェア）が記憶されている。
【００１９】
図１に示されるように、装置説明用プログラム２２には、説明情報格納部２３、マーカー抽出部２４、コード読み取り部２５及びＡＲ表示部２６が含まれている。これらはいずれも基本的には携帯端末２０のＣＰＵが装置説明用プログラム２２を実行することによりソフトウエア的に実現される機能手段である。
【００２０】
説明情報格納部２３には対象装置（分析装置１０）の動作状態（分析準備中、分析中、分析終了）に応じた操作を説明する情報である説明情報３０が、ＡＲマーカーの種類と対応付けて記録されている。この説明情報３０には、装置の動作状態に応じた分析装置１０の注意・警告などの表示や装置の性能などの関連情報が付加的に記録されていてもよい。また、動作状態の分類は、上記に限られるものでなく、装置起動中などの別の分類を加えてもよいし、上記の分類をさらに細分化して、例えば、分析準備中の項目を試料設定、分析時間設定等としてもよい。
【００２１】
以下、実際にユーザが装置説明用プログラム２２を実行する場合の動作について説明する。
【００２２】
分析装置１０は、その装置の内部状態に応じて、ＡＲマーカー１２の表示を逐次変化させる。ユーザは、携帯端末２０において装置説明用プログラム２２を実行し、そのうえで画像撮影機能を用いて分析装置１０を撮影する。これは動画であっても静止画であっても構わない。
【００２３】
この撮影動作を受けて、マーカー抽出部２４は、撮影画像（静止画または動画中のフレーム）から、分析装置１０の外面に表示されたＡＲマーカー１２、すなわち黒枠とその内部に含まれている模様を抽出する。
次いで、コード読み取り部２５は、抽出されたＡＲマーカー１２に含まれている模様であるコードを読み取る。
【００２４】
その後、ＡＲ表示部２６は、コード読み取り部２５が読み取ったコードと、説明情報格納部２３に記憶されているコードを比較し、読み取ったコードに対応する説明情報３０を説明情報格納部２３から読み出し、撮影画像に重畳して携帯端末画面２１に表示する。
【００２５】
説明情報３０は、図１に示すように文字情報であっても良いし、図３に示すように例えば矢印や、○囲いなどの図形を説明情報画像３１として撮影画像中の分析装置１０の所定の箇所に表示しても良い。図３(a)に示すように両者の組み合わせとすることも当然可能である。また、矢印などの画像を画面上を動かして動画として表示してもよい。さらに、図３(b)に示すように、端末画面の一部又は全部に、予めに撮影された操作説明用の動画を説明情報動画３２として重畳表示させてもよい。
【００２６】
なお、説明情報３０を撮影画像中の分析装置１０の所定の箇所に表示するには、画像認識処理を実行することで表示箇所を特定しても良いし、ＡＲマーカー１２からの所定の相対位置に説明情報３０を表示するようにしても構わない。
【００２７】
上記実施形態において、ＡＲマーカー１２の抽出から説明情報３０の表示までの処理は、撮影画像が静止画の場合は、その静止画に対して処理を行うものであるが、動画の場合は、フレーム毎又は一定のフレーム間隔毎に処理を行うものとしてもよい。
リアルタイムで撮影されている動画に対して上記処理を行うと、ユーザによって分析装置１０が操作されて装置状態が変化した場合にも、該装置の状態に応じて変化したＡＲマーカー１２を順次読み取ることで、常に装置状態に応じた説明情報を携帯端末画面に表示することができる。従って、ユーザは携帯端末を操作することなく更新された説明情報を得ることができる。
【００２８】
次に、第２実施形態に係る装置説明用プログラムについて、その構成図及び動作模式図である図４を参照しつつ説明する。
【００２９】
本実施形態において、対象装置である分析装置１０は、付属品などを付け替え可能であり、その付属品の種類によって外観が変化する。
【００３０】
携帯端末２０は、先述した第一実施例の場合と同様に、中央演算処理装置であるＣＰＵにメモリ、タッチパネル式のＬＣＤ等から成る携帯端末画面（表示部）２１、ＳＳＤ等の大容量記憶装置から成る記憶部等から構成されている。また、携帯端末２０は静止画や動画を撮影することができるカメラとそのカメラの動作を制御する画像撮影機能を備える。
携帯端末２０の記憶部には、ＯＳの他、本発明に係る装置説明用プログラム４２やその他の各種プログラムが記憶されている。
【００３１】
図４に示されるように、本実施例に係る装置説明用プログラム４２には、外観パターン格納部４３、構成情報格納部４４、外観パターン化部４５及びＡＲ表示部４６が含まれている。これらはいずれも基本的には携帯端末２０のＣＰＵが装置説明用プログラム４２を実行することによりソフトウエア的に実現される機能手段である。
【００３２】
外観パターン格納部４３には、分析装置１０の構成し得る複数の外観がそれぞれ所定の方法でパターン化して記録されている。図５はそのようなパターン化された外観の三種類の例である。これらの外観は、装置の上面や側面を撮影した画像に対して、通常の画像認識の前処理において用いられる輪郭線抽出や二値化技術等の処理を組み合わせて適用することにより作成される。また、図５は全て異なる部品を1つずつ表示しているが、1つの構成品に対して撮影角度の異なる複数の外観を格納してもよい。また、装置の３Ｄモデルを外観パターン格納部４３に保存し、ユーザが撮影する毎にパターン化処理を行ってもよい。
【００３３】
構成情報格納部４４には、前記外観の各パターンに対応する前記分析装置１０の構成に関する情報である構成情報５０が対応付けて記録されている。この構成情報５０は、装置に取りつけられた付属品等の構成に関する情報である。これに加えて、該構成における操作に関連した情報を含んでもよい。
【００３４】
以下、実際にユーザが装置説明用プログラム４２を実行する場合の動作について説明する。
【００３５】
ユーザは、携帯端末２０において装置説明用プログラム４２を実行し、そのうえで画像撮影機能を用いて分析装置１０を撮影する。これは動画であっても静止画であっても構わない。
【００３６】
この撮影動作を受けて、外観パターン化部４５は、携帯端末２０の撮影画像（静止画または動画中のフレーム）から、前記対象装置の外観を抽出し、前記所定の方法でパターン化する。
【００３７】
次に、ＡＲ表示部４６は、外観パターン化部４５がパターン化した外観のデータと外観パターン格納部４３に保存されているパターン化された外観データとを比較し、外観が一致または最も類似したパターンを分析装置１０の構成として判定する。そして、分析装置１０に該当するパターンに対応した構成情報５０を、構成情報格納部４４から読み出し、撮影画像に重畳して携帯端末画面２１に表示する（図４）。
ＡＲ表示部４６が表示する構成情報５０の表示位置は、装置外形とは関係のない場所でも良いし、例えば矢印や、○囲いなどの図形を撮影画像中の分析装置１０の所定の箇所に表示しても良い。両者の組み合わせとすることも当然可能である。また、第１実施形態と同様に、装置構成やそれに関連した操作の情報等を、画面の一部又は全部に動画として表示してもよい。
本実施形態においても、第１実施形態と同様に撮影画像が静止画であるときは上記の処理を分析装置１０が撮影される毎に行い、動画が撮影画像であるときは、フレーム毎または一定のフレーム間隔毎に上記処理を行うものとしてもよい。
【００３８】
上記第１及び第２実施形態において、説明情報３０及び構成情報５０を携帯端末２０の撮影画像に重畳して表示するものとしたが、撮影画像に重畳させずに説明情報３０又は構成情報５０を単独で表示させてもよい。
【産業上の利用可能性】
【００３９】
なお、上記は分析装置を例にしたが、本発明に係るシステムはそればかりではなく、例えばパソコンや自動車、トラック等、様々な装置にも適用可能である。
【符号の説明】
【００４０】
１０…分析装置
１２…ＡＲマーカー
２０…携帯端末
２１…携帯端末画面
２２…装置説明用プログラム
２３…説明情報格納部
２４…マーカー抽出部
２５…コード読み取り部
２６…ＡＲ表示部
３０…説明情報
３１…説明情報画像
３２…説明情報動画
４２…装置説明用プログラム
４３…外観パターン格納部
４４…構成情報格納部
４５…外観パターン化部
４６…ＡＲ表示部
５０…構成情報
【図１】
2017187962.tif 000003
【図２】
2017187962.tif 000004
【図３】
2017187962.tif 000005
【図４】
2017187962.tif 000006
【図５】
2017187962.tif 000007