(57)【特許請求の範囲】
【請求項１】
貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、操作手段と撮像手段と表示手段と演算手段とを備えた操作端末の前記演算手段に対し、
前記ラベルの仮想画像データにおける少なくとも１つの基準点を設定するラベル基準点設定手順と、
前記撮像手段により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得手順と、
前記実画像データと前記ラベルの前記仮想画像データとを重畳した画像データを前記表示手段に出力する重畳画像生成手順と、
前記実画像取得手順で取得された前記視野の実画像データにおける複数の特徴点を設定する特徴点設定手順と、
前記操作手段からの決定操作信号に基づき、前記ラベルの仮想画像データと前記特徴点設定手順で設定された前記複数の特徴点との位置相関を決定する相関決定手順と、
前記相関決定手順で決定された前記位置相関を満たすようにしつつ、前記実画像データと前記ラベルの仮想画像データとを合成して合成画像データを生成する合成画像生成手順と、
前記合成画像生成手順で生成された前記合成画像データを前記表示手段に出力する合成画像出力手順と、
を実行させ、
前記相関決定手順は、
前記複数の特徴点と前記少なくとも１つの基準点とを頂点に含む多角形の相似形状の維持を前記位置相関として決定する
ための仮想ラベル表示処理プログラム。
【請求項２】
請求項１記載の仮想ラベル表示処理プログラムにおいて、
前記演算手段に対し、
前記操作手段からの編集操作信号に基づき前記ラベルの前記仮想画像データを生成する仮想画像生成手順をさらに実行させ、
前記相関決定手順は、
前記仮想画像生成手順で生成された前記仮想画像データと前記複数の特徴点との位置相関を決定する
ことを特徴とする仮想ラベル表示処理プログラム。
【請求項３】
請求項１記載の仮想ラベル表示処理プログラムにおいて、
前記相関決定手順は、
前記重畳画像生成手順で生成された画像データにより前記表示手段が前記対象物上に仮想ラベルの表示を行っている状態での前記操作手段からの決定操作信号に基づき、前記位置相関を決定する
ことを特徴とする仮想ラベル表示処理プログラム。
【請求項４】
請求項３の仮想ラベル表示処理プログラムにおいて、
前記特徴点設定手順は、
画像認識処理により、前記視野の実画像データにおける複数の特徴点を自動設定する
ことを特徴とする仮想ラベル表示処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラベル作成装置を操作する操作端末により実行される仮想ラベル表示処理プログラムに関する。
【背景技術】
【０００２】
貼り付け対象物に貼り付けて用いられるラベルを、操作端末からラベル作成装置を操作することで作成する技術が既に知られている（例えば、特許文献１参照）。この従来技術では、操作端末（ＰＣ）が有する表示手段（モニタ）に、作成されるラベルの印字イメージが表示される。操作者がそのイメージ表示を見ながらテキストデータ（単語や文章等）を操作入力すると、対応する印字情報が操作端末で生成され、ラベル作成装置に送信される。これにより、ラベル作成装置において、搬送されるテープ（ラベルテープ）に対し印字手段（サーマルヘッド）によって上記印字情報に対応した印字が行われ、ラベルが作成される。また、この従来技術では、貼り付け対象物の画像を予め取得しておくことで、操作端末が、貼り付け対象物にラベルが貼り付けられているかのような状態を、仮想的に表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術においては、操作者は、実際にラベルを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。しかしながら、貼り付け対象物の画像は、予め取得され記憶された固定画像である。この結果、その固定画像上に仮想的に貼り付けられたラベルの姿を少し視野をずらして見てみたい場合や、その固定画像からズームイン・ズームアウトした状態で貼り付けられたラベルの姿を視覚的に確認してみたい場合等、視野を変えた種々の状態でのシミュレーションのニーズには対応することはできなかった。
【０００５】
本発明の目的は、ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションできる仮想ラベル表示処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本願発明の仮想ラベル表示処理プログラムは、貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、操作手段と撮像手段と表示手段と演算手段とを備えた操作端末の前記演算手段に対し、前記ラベルの仮想画像データにおける少なくとも１つの基準点を設定するラベル基準点設定手順と、前記撮像手段により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得手順と、前記実画像データと前記ラベルの前記仮想画像データとを重畳した画像データを前記表示手段に出力する重畳画像生成手順と、前記実画像取得手順で取得された前記視野の実画像データにおける複数の特徴点を設定する特徴点設定手順と、前記操作手段からの決定操作信号に基づき、前記ラベルの仮想画像データと前記特徴点設定手順で設定された前記複数の特徴点との位置相関を決定する相関決定手順と、前記相関決定手順で決定された前記位置相関を満たすようにしつつ、前記実画像データと前記ラベルの仮想画像データとを合成して合成画像データを生成する合成画像生成手順と、前記合成画像生成手順で生成された前記合成画像データを前記表示手段に出力する合成画像出力手順と、を実行させ、前記相関決定手順は、前記複数の特徴点と前記少なくとも１つの基準点とを頂点に含む多角形の相似形状の維持を前記位置相関として決定する。
【０００７】
本願発明の表示処理プログラムが適用される操作端末は、操作手段と、撮像手段と、表示手段と、演算手段とを備えている。操作端末の演算手段によって上記表示処理プログラムが実行されると、まず、実画像取得手順において、その時点で撮像手段が撮影している、ラベルの貼り付け対象物を含む所望の視野の実画像データが取得される。そして、特徴点設定手順において、上記取得された実画像データに含まれる、複数の特徴点が設定される。特徴点は、操作端末が自動で設定してもよいし、操作手段を用いた操作者の手動操作により設定してもよい。これにより、上記撮像手段の撮影に基づく実画像データの適宜の箇所、例えば物の輪郭部分や凹凸部等、画像データとして他と識別できる特徴のある部分が、特徴点として設定される。
【０００８】
その後、操作者の操作に対応した操作手段からの決定操作信号に基づき、相関決定手順において、貼り付け対象物に貼り付けるラベルの仮想画像データ（予め操作端末の外部より取得され記憶されているか、操作端末が操作者の手動操作に基づき生成してもよい）と、上記設定された複数の特徴点との位置相関が決定される。これにより、例えば仮想画像データの位置と複数の特徴点の位置との間に、何らかの対応関係が固定的に設定される。そして、これ以降、合成画像生成手順では、上記のように決定された位置相関を遵守するようにしつつ、実画像データとラベルの仮想画像データとの合成画像データが生成され、表示手段に出力される。上述したように、合成画像データは撮像手段が撮影した貼り付け対象物を含む実画像とラベルの仮想画像との合成結果であるが、それら貼り付け対象物を含む実画像とラベルの仮想画像との間には、上述した位置相関によってある固定的な対応関係が維持される。これにより、例えば撮像手段の撮像する視野が変動して表示手段で表示される貼り付け対象物の実画像が動いたり大きさが変わったとしても、それに追従するようにラベルの仮想画像を動かしたり大きさを変えることができる。この結果、現実世界では貼り付け対象物にはまだラベルが貼り付けられていない状態にもかかわらず、表示手段の表示において、あたかも既にラベルが対象物に貼り付けられているかのような状態を仮想的に実現することができる。これにより、実際にラベルを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。また、上記のように視野を変えた種々の状態で仮想的に貼り付けられたラベルの姿をシミュレーションできるので、操作者はより実際の貼り付け状態に近い感覚を得ることができ、利便性を向上することができる。
【発明の効果】
【０００９】
本発明によれば、ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の仮想ラベル表示処理プログラムを実行する操作端末の外観を表す正面図、及び、右側面図である。
【図２】操作端末の操作対象であるラベル作成装置の外観を表す正面図である。
【図３】操作端末の機能的構成を表す機能ブロック図である。
【図４】ラベル作成装置の機能的構成を表す機能ブロック図である。
【図５】ラベル作成装置の制御回路が実行する、ラベル作成に係わる制御手順を表すフローである。
【図６】作成されたラベルの外観形状の一例を表す正面図である。
【図７】タッチパネルにおける、ラベルの印字データの編集操作用の表示画面を表す図である。
【図８】タッチパネルにおける、仮想ラベルの表示画面を表す図である。
【図９】タッチパネルにおける、仮想ラベルと対象物実画像とを重畳して表示した画面の一例を表す図である。
【図１０】タッチパネルにおける、仮想ラベルと対象物画像とを重畳して表示した画面の他の例を表す図である。
【図１１】仮想ラベルの位置と対象物画像の位置とに位置相関が設定されて仮想貼り付け状態となった、タッチパネルの画面表示例を表す図である。
【図１２】仮想ラベルの位置と対象物画像の位置とに位置相関が設定されて仮想貼り付け状態となった、タッチパネルの画面表示例を表す図である。
【図１３】操作端末の制御回路が実行する制御手順を表すフローチャートである。
【図１４】位置相関の設定に関して制御回路で実行される内部処理の内容を説明する説明図である。
【図１５】設定された位置相関を維持して表示を行うために制御回路で実行される内部処理の内容を説明する説明図である。
【図１６】設定された位置相関を維持して表示を行うために制御回路で実行される内部処理の内容を説明する説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面を参照しつつ説明する。
【００１２】
図１（ａ）及び図１（ｂ）において、操作端末１０は、装置本体１２と、カメラ１１１（撮像手段）とを有する。
【００１３】
装置本体１２は、例えば液晶ディスプレイを備えたタッチパネルからなり各種情報や各種メッセージを表示し、また操作者が各種操作を行えるタッチパネル１１２（表示手段）と、操作者が操作可能な操作ボタン１１０とを備えている。
【００１４】
カメラ１１１は、装置本体１２の上部（図１（ａ）及び図１（ｂ）中の上部）に設けられており、装置本体１２においてタッチパネル１１２の表示面が設けられた面の反対側、すなわち下面側（図１（ａ）中の紙面奥面側、図１（ｂ）中の右面側）に、レンズ１１１Ａを備えている。例えば、操作者が、操作ボタン１１０による操作でタッチパネル１１２に適宜のアイコン等を表示させ、指で当該アイコンを押して選択することによりカメラ１１１が起動し、対象物を撮影することが可能となる。
【００１５】
図２において、ラベル作成装置２０は、装置本体２２を有している。装置本体２２は、例えば液晶ディスプレイからなり各種情報や各種メッセージを表示する表示部２１２と、操作者が各種操作を可能な操作部２１０と、装置本体２２内に配設されたカッタ２０７（後述の図４参照）を駆動するためのカットレバー２１３とを備えている。
【００１６】
操作部２１０には、文字、記号、及び数字等を入力するための入力キーを初めとする種々の機能キー２１０ａ等が含まれている。
【００１７】
図３おいて、操作端末１０は、通信制御部１０８と、制御回路１０２と、各種情報を記憶するメモリ１０６と、上記操作ボタン１１０と、上記カメラ１１１と、上記タッチパネル１１２とを有する。なお、タッチパネル１１２のうち操作機能部分と、操作ボタン１１０とが、各請求項記載の操作手段として機能する。
【００１８】
通信制御部１０８は、無線を介して接続されたラベル作成装置２０との間で行われる、情報通信の制御を行う。
【００１９】
制御回路１０２は、図示しないＣＰＵ（演算手段）、ＲＡＭ、及びＲＯＭを備えている。この制御回路１０２は、ＣＰＵの演算機能により、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭに予め記憶された各種プログラムを実行する。この各種プログラムには、本発明の仮想ラベル表示処理プログラムが含まれている。また、制御回路１０２は、通信制御部１０８を介し、無線通信によりラベル作成装置２０と接続されており、ラベル作成装置２０と各種情報やデータの送受が可能となっている。
【００２０】
メモリ１０６は、記憶内容の追加及び消去が可能な、例えばＥｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＥＥＰＲＯＭ）等の不揮発性メモリから構成されている。このメモリ１０６には、上記仮想ラベル表示処理プログラムを含む上記各種プログラムが記憶されている。
【００２１】
図４において、ラベル作成装置２０は、通信制御部２０８と、制御回路２０２と、各種情報を記憶するメモリ２０６と、上記操作部２１０と、上記表示部２１２と、上記カットレバー２１３と、カートリッジホルダ２１６と、搬送装置２０９（搬送手段）と、印字ヘッド２０５（印字手段）と、カッタ２０７とを有する。
【００２２】
通信制御部２０８は、上記のように無線を介して接続された操作端末１０との間で行われる、情報通信の制御を行う。
【００２３】
制御回路２０２は、図示しないＣＰＵ、ＲＡＭ、及びＲＯＭを備えている。この制御回路２０２は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭに予め記憶された各種プログラムを実行する。これにより、制御回路２０２は、ラベル作成装置２０全体の制御を行う。また、制御回路２０２は、通信制御部２０８を介して操作端末１０と接続されており、操作端末１０とデータの送受が可能となっている。
【００２４】
メモリ２０６は、記憶内容の追加及び消去が可能な、例えばＥｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＥＥＰＲＯＭ）等の不揮発性メモリから構成されている。このメモリ２０６には、操作端末１０から送信された印字データを格納可能となっている。
【００２５】
カートリッジホルダ２１６は、テープ２０３（被印字テープ）を供給可能なカートリッジ２０１を着脱可能に構成されている。カートリッジ２０１は、テープ２０３を図示しないリール部材の周りに巻回したテープロール２０４（本来は渦巻き状であるが簡略化して同心円で図示している）を備えている。
【００２６】
搬送装置２０９は、印字ヘッド２０５に対向して設けられている。この搬送装置２０９は、制御回路２０２により制御されて、カートリッジホルダ２１６に装着したカートリッジ２０１から供給される、すなわち当該カートリッジ２０１のテープロール２０４から繰り出される、テープ２０３を搬送する。
【００２７】
印字ヘッド２０５は、制御回路２０２により制御されて、テープロール２０４から繰り出され搬送装置２０９により搬送されるテープ２０３に対し所望の印字を行う。
【００２８】
カッタ２０７は、操作者によりカットレバー２１３が操作されることで、印字ヘッド２０５による印字が終了したテープ２０３を所定の長さに切断して印字付きの１つのラベルＬ（後述の図６等参照）とする。
【００２９】
上記ラベル作成装置２０によるラベルＬの作成手順について図５を用いて説明する。
【００３０】
図５において、このフローに示す処理は、操作端末１０が、ラベル作成装置２０に対しラベル作成指示を出力することにより開始する（「ＳＴＡＲＴ」位置）。まずステップＳ１０で、制御回路２０２は、搬送装置２０９に制御信号を出力し、カートリッジホルダ２１６に装着されたカートリッジ２０１のテープロール２０４からのテープ２０３の繰り出し、すなわちテープ２０３の搬送を開始させる。
【００３１】
そして、ステップＳ２０に移り、制御回路２０２は、テープ２０３が所定量だけ搬送されたかどうかを判定する。なお、この所定量とは、例えば、テープ２０３の図示しない印字領域の先端が、印字ヘッド２０５とほぼ対向する位置に到達するだけの搬送距離（いわゆる前余白用の搬送量）である。所定量搬送されるまでステップＳ２０の判定が満たされず（Ｓ２０：Ｎｏ）、ループ待機し、所定量搬送されたらステップＳ２０の判定が満たされて（Ｓ２０：Ｙｅｓ）、ステップＳ３０に移る。
【００３２】
ステップＳ３０では、制御回路２０２は、印字ヘッド２０５に制御信号を出力し、搬送装置２０９により搬送されるテープ２０３の印字領域に対し、メモリ２０６に格納された印字データの印字を開始させる。
【００３３】
その後、ステップＳ４０で、制御回路２０２は、上記ステップＳ３０で開始した印字ヘッド２０５によるテープ２０３の印字領域への印字データの印字がすべて完了しているかどうかを判定する。印字がすべて完了するまでステップＳ４０の判定が満たされず（Ｓ４０：Ｎｏ）、ループ待機し、印字がすべて完了したらステップＳ４０の判定が満たされて（Ｓ４０：Ｙｅｓ）、ステップＳ５０に移る。
【００３４】
ステップＳ５０では、制御回路２０２は、テープ２０３がさらに所定量（例えば印字領域のすべてがカッタ２０７を所定の長さ分越えるだけの搬送距離。いわゆる後余白用の搬送量）だけ搬送されたかどうかを判定する。所定量搬送されるまでステップＳ５０の判定が満たされず（Ｓ５０：Ｎｏ）、ループ待機し、所定量搬送されたらステップＳ５０の判定が満たされて（Ｓ５０：Ｙｅｓ）、ステップＳ６０に移る。
【００３５】
ステップＳ６０では、制御回路２０２は、搬送装置２０９に制御信号を出力し、ステップＳ２０で開始させたテープロール２０４からのテープ２０３の繰り出し、すなわちテープ２０３の搬送を停止させる。
【００３６】
そして、ステップＳ７０では、制御回路２０２は、表示部２１２に表示信号を出力し、カットレバー２１３を操作することによりテープ２０３を切断可能な状態である旨の表示を行わせる。その後、このフローに示す処理を終了する。上記表示に応じて操作者がカットレバー２１３を操作すると、カッタ２０７が作動してテープ２０３が切断される。このカッタ２０７による切断によって、テープ２０３から印字ヘッド２０５による印字が行われた部分が切り離されて、１つのラベルＬとなる。
【００３７】
上記のようにして作成されたラベルＬは、図６に示すように、幅Ｌｗ、長さＬｇを有する長方形状のラベルである。この例では、ラベルＬの表面には、上記印字データに対応した印字ＲＲ（「ＵＥＮＯ−ＴＥＣＨ−１０４５０」の文字列）が印刷されている。
【００３８】
以上の基本構成において、本実施形態の特徴は、図６に示すようなラベルＬをラベル作成装置２０が実際に作成するより前に、操作端末１０が、ラベルＬと同等の仮想的なラベルの姿（以下適宜、「仮想ラベル」という）を、カメラ１１１で撮影された背景物の画像とともに表示することである。特に、本実施形態では、操作者の所望の操作（後述）により上記撮影された画像中の特定部位に上記仮想ラベルを仮想的に貼り付け、カメラ１１１の視野が変動して撮影画像が変化するのに追従して上記仮想ラベルも変化することにより、上記仮想的な貼り付けが維持される。以下、その詳細を順を追って説明する。
【００３９】
＜表示画面の推移＞
まず、操作者による、タッチパネル１１２や操作ボタン１１０を介した適宜の操作入力により、図７に示す「レイアウト」画面がタッチパネル１１２上に表示される。
【００４０】
そして、この「レイアウト」画面の表示状態で、操作者は、図７に示すように、印字データ記入欄１３３に指でなぞって筆記する等の操作により、所望のテキスト文字（図示の例では「ＵＥＮＯ−ＴＥＣＨ−１０４５０・・・」の文字列。末尾にはカーソル１３４が表示されている）を入力し、印字データＲを設定する。
このとき、この印字データＲの内容（例えば文字数）に対応して、制御回路１０２によってラベルＬの長さが設定される。なお、ラベルＬの幅については、予め固定的に定められているか、図示しない記入欄（又は別画面、ウィンドウ等でもよい）において上記同様の操作者の操作によって設定される。この例では、ラベルＬの長さ寸法は３５［ｍｍ］、幅寸法は９．５［ｍｍ］となっており、その旨がタッチパネル１１２上に表示されている。このような編集操作により設定されたラベルＬの印字データＲの内容や、ラベルＬの長さ寸法・幅寸法は、メモリ１０６に格納される。
【００４１】
上記編集操作の終了後、操作者により操作ボタン欄１１２ａの「ラベル作成」ボタンが押されることによって、上述のようにして生成された印字データＲが、通信制御部１０８を介しラベル作成装置２０に送信される。これにより、前述の図５に示したフローが実行され、ラベル作成装置２０によって、上記図６に示したような、印字データＲに対応した印字ＲＲが印刷されたラベルＬが作成される。
【００４２】
一方、上記編集操作の終了後、操作者は、操作ボタン欄１１２ａの「仮想貼り付け」ボタンを押す。これにより、タッチパネル１１２の画面が、図８に示す画面に切り替えられる。
【００４３】
切り替えられた後の図８に示す画面においては、上記図７の編集操作を反映した仮想ラベルＬＩ（実際に作成されるラベルＬのイメージ像）が、所定の位置（この例では中央部）に所定の大きさで表示される。そして、操作者は、上記ラベルＬを貼り付けようと意図する貼り付け対象物（後述の電気機器Ｆ）を、カメラ１１１の視野に入る位置に配置し、操作ボタン欄１１２ａのカメラのアイコンを押す。これにより、カメラ１１１による上記貼り付け対象物の動画撮影が開始される。
【００４４】
図９及び図１０は、このようにして動画撮影が開始された後のタッチパネル１１２の画面の様子の一例を表している。図示のように、カメラ１１１により撮影された上記貼り付け対象物（この例では電子機器）の実画像ＦＩ（以下適宜、単に「対象物画像ＦＩ」という）が、仮想ラベルＬＩの背景として仮想ラベルＬＩと重畳するように表示される。
【００４５】
このとき、操作者が操作端末１０を手で持って貼り付け対象物との位置関係を変えることにより、図９及び図１０に示すように、画面中に表示される対象物画像ＦＩの位置や大きさはリアルタイムで変化するが、仮想ラベルＬＩは、引き続き中央部での所定の大きさでの固定的な表示が維持される。これにより、操作者は、対象物画像ＦＩと仮想ラベルＬＩとの相対位置関係をどのように設定するか、言い換えれば対象物画像ＦＩのどの位置に仮想ラベルＬＩを仮想貼り付けするかを、自分の意図する態様となるまで模索することができる。
【００４６】
記模索が終了し、自分の意図する態様の対象物画像ＦＩと仮想ラベルＬＩとの相対位置関係が決まったら、操作者は、図９や図１０に示す、操作ボタン欄１１２ａの「貼り付け位置設定」ボタンを押す。これにより、図１１（ａ）に示すように、対象物画像ＦＩの所定の特徴点（詳細は後述）と仮想ラベルＬＩの所定の基準点（詳細は後述）との位置的な対応付け（位置相関。詳細は後述）が設定される。この例では、図１１（ａ）に示すように、対象物画像ＦＩの中央やや下よりの位置に、仮想ラベルＬＩの位置が設定されている。なお「貼り付け位置設置」ボタンの操作に代えて、例えば、操作者が、タッチパネル１１２の画面上で仮想ラベルＬＩを指でタップする等の操作としてもよい。
【００４７】
上記の設定以降は、カメラ１１１による視野が変動しても、上記対応付けが維持される。これにより、例えば上記視野の変動によって対象物画像ＦＩが画面中の左右方向又は上下方向に移動した場合には、仮想ラベルＬＩも上記移動量及び移動方向と同じ移動を画面上で行う。図１１（ｂ）は、図１１（ａ）に示した状態から画面中において対象物画像ＦＩが右上方に移動した（言い換えればカメラ１１１の視野が対象物に対して左下方に移動した）とき、当該移動に追従して仮想ラベルＬＩも同じように移動した例を示している。また例えば、上記視野の変動によって対象物画像ＦＩの大きさが画面中において拡大又は縮小（ズームイン又はズームアウトに相当）した場合には、仮想ラベルＬＩも同じ倍率の拡大又は縮小、すなわち変倍を画面上で行う。図１１（ａ）と同様の図１２（ａ）に示した状態から、画面中において対象物画像ＦＩが拡大された（言い換えればカメラ１１１の視野が狭くなった）とき、当該拡大に追従して仮想ラベルＬＩも同じ倍率で拡大した例を図１２（ｂ）に示す。以上のような追従表示の結果、操作者は、あたかも仮想ラベルＬＩが対象物画像ＦＩに張り付いたかのような視覚的効果（＝仮想貼り付け）を得ることができる。
【００４８】
＜制御内容＞
上記のような表示内容を実行するために、制御回路１０２（詳細には上記ＣＰＵ）が実行する制御内容を図１３を用いて説明する。図１３において、まずステップＳ２０１で、制御回路１０２は、タッチパネル１１２に表示信号を出力し、操作編集用の画面としての上記「レイアウト」画面を表示させる（図７参照）。そして、当該表示に対応した操作者の上記操作入力内容（印字データＲ等）を取得する。その後、前述の「仮想貼り付け」ボタンの操作に対応して、ステップＳ２０２に移る。なお、操作者が上記のような編集を行わない場合（ラベルＬの印字ＲＲ等が固定的に定まっている場合、あるいは他の装置で編集が行われる場合）等においては、このステップＳ２０１は省略してもよい。
【００４９】
ステップＳ２０２では、制御回路１０２は、上記ステップＳ２０１で取得された編集操作内容に基づき、対応する仮想ラベルＬＩ（ラベルＬのイメージ像）の画像データ（仮想画像データ）を生成する。生成された仮想ラベルＬＩの画像データはタッチパネル１１２に出力され、タッチパネル１１２の画面において仮想ラベルＬＩが表示される（図８参照）。なお、このステップＳ２０２が各請求項記載の仮想画像生成手順に相当する。
【００５０】
その後、ステップＳ２０３に移り、制御回路１０２は、上記仮想ラベルＬＩにおける基準点（ラベル基準点）を設定する。この基準点とは、上記のように仮想ラベルＬＩを対象物画像ＦＩに追従して移動又は変倍させるときの基準となる、仮想ラベルＬＩを代表する少なくとも１つの点である。例えば、制御回路１０２は、上記ステップＳ２０１において長さ寸法及び幅寸法が決定されているラベルＬの特定の一点に対応した仮想ラベルＬＩの１点に、上記基準点を設定する。この例では、ラベルＬがテキスト横書きラベルである場合に、仮想ラベルＬ１の左上の隅部が基準点Ａとして設定される（後述の図１４参照）。なお、この基準点Ａの設定を、タッチパネル１１２上の適宜の操作によって操作者が任意に所望の位置に行えるようにしてもよい。なお、このステップＳ２０３が各請求項記載のラベル基準点設定手順に相当する。その後、前述のカメラアイコンの操作に対応して、ステップＳ２０４に移る。
【００５１】
ステップＳ２０４では、制御回路１０２は、上記カメラ１１１により撮影された、対象物（電子機器）を含む所望の視野の実画像データ（対象物画像ＦＩの画像データを含む）を取得する。このステップＳ２０４が、各請求項記載の実画像取得手順を構成する。その後、ステップＳ２０５に移る。
【００５２】
ステップＳ２０５では、制御回路１０２は、上記ステップＳ２０２で生成した仮想ラベルＬＩの画像データと、上記ステップＳ２０４で取得された実画像データとを、重畳した画像データを生成する。生成された画像データはタッチパネル１１２に出力され、タッチパネル１１２の画面において、仮想ラベルＬＩと対象物画像ＦＩとが重畳して表示される（図９、図１０参照）。なお、このステップＳ２０５が各請求項記載の重畳画像生成手順に相当する。
【００５３】
そして、ステップＳ２０６に移り、制御回路１０２は、上記対象物画像ＦＩにおける複数の特徴点を設定する。この特徴点とは、上記のようにして上記位置相関を用いて仮想ラベルＬＩを対象物画像ＦＩに追従して移動又は変倍させるときに、上記位置相関を適用するために、他の部位と区別して特定可能な、対象物画像ＦＩ上の特定の複数の点である。
【００５４】
例えば、制御回路１０２が公知の画像認識処理機能を備えている場合には、上記ステップＳ２０４において取得された対象物画像ＦＩを画像処理し、輪郭、縁部、凹凸部、隅部、黒色部等の他の部位とは異なる特徴をもつ点を抽出し、当該抽出した点を特徴点とする。この例では、対象物画像ＦＩのうち、電子機器の筐体の２箇所に設けられた凹凸部に含まれる三角形突起部の上部頂点位置が、それぞれ特徴点Ｂ，Ｃとして設定される（後述の図１４参照）。なお、この特徴点Ｂ，Ｃについても、上記同様、タッチパネル１１２上の適宜の操作によって操作者が任意に所望の位置に行えるようにしてもよい。なお、このステップＳ２０３が各請求項記載の特徴点設定手順に相当する。その後、ステップＳ２０７に移る。
【００５５】
ステップＳ２０７では、制御回路１０２は、操作者より所定の貼り付け位置設定操作（上記の例では「貼り付け位置設置」ボタンの押し操作又はタップ操作）があったかどうかを判定する。上記貼り付け位置設定操作が行われない間は判定が満たされず（ステップＳ２０７：ＮＯ）、ステップＳ２０４に戻って同様の手順を繰り返す。貼り付け位置設定操作が行われると判定が満たされ（ステップＳ２０７：ＹＥＳ）、ステップＳ２０８へ移る。
【００５６】
ステップＳ２０８では、制御回路１０２は、上記ステップＳ２０３で設定された基準点Ａと、上記ステップＳ２０６で設定された特徴点Ｂと特徴点Ｃとを、上記位置相関によって対応づけ、リンクさせる。この例では、図１４に示すように、仮想ラベルＬＩ上の上記基準点Ａと、上記対象物画像ＦＩのうち前述の電子機器筐体の２箇所の凸部の三角形突起部に対応する部分にそれぞれ位置する上記特徴点Ｂ及び特徴点Ｃと、の合計３点を頂点とする三角形ＡＢＣが、上記位置相関として（制御回路１０２の内部処理において）形成される。前述した図１１（ａ）は、このときの上記内部処理により上記リンクが済んだ状態を示している。これ以降、上記基準点Ａ及び特徴点Ｂ，Ｃ（以下適宜、これらをまとめて「３点Ａ，Ｂ，Ｃ」という）が三角形ＡＢＣ（又はこれと相似形状の三角形）を形成する（言い換えればそのような三角形の３頂点上に位置する）、という位置相関が（制御回路１０２の内部処理において）常に維持される。このステップＳ２０８が、各請求項記載の相関決定手順に相当する。
【００５７】
なお、上記位置相関は三角形以外の多角形を用いるようにしてもよいし、多角形以外の何らかの位置的な対応関係を設定するようにしてもよい。また、上記のように自動的に設定されるのではなく、タッチパネル１１２上の適宜の操作によって操作者が任意に所望の態様の位置相関を設定できるようにしてもよい。
【００５８】
その後、ステップＳ２０９に移り、制御回路１０２は、上記ステップＳ２０８で対応づけられリンクされた状態の対象物画像ＦＩ及び仮想ラベルＬＩを含むような、上記実画像データと仮想ラベルＬＩの画像データとの合成画像データを公知の手法により生成する（合成画像生成手順に相当）。そして、制御回路１０２は、その生成した合成画像データをタッチパネル１１２に出力する（合成画像出力手順に相当）。
【００５９】
これにより、例えば図１１（ａ）及び図１１（ｂ）を用いて前述したように、対象物画像ＦＩがタッチパネル１１２の画面右上方向に移動した場合、図１５に示すように当該対象物画像ＦＩ上の上記特徴点Ｂ及び特徴点Ｃが画面右上方向に移動する。したがって、（制御回路１０２の内部処理において）その移動した特徴点Ｂ，Ｃを底辺とする三角形ＡＢＣが画面右上方向に移動する結果、当該三角形ＡＢＣの頂部に位置する仮想ラベルＬＩ上の基準点Ｃも（当該三角形の大きさや形状を変えることなく維持しようとして）画面右上方向に移動する。これにより、最終的に仮想ラベルＬＩ全体が画面右上方向に移動し、当該仮想ラベルＬＩが仮想的に対象物画像ＦＩに張り付いた、仮想貼り付け状態の表示（図１１（ｂ））が実現される。
【００６０】
また例えば、図１２（ａ）及び図１２（ｂ）を用いて前述したように、対象物画像ＦＩが拡大された場合、図１６に示すように（制御回路１０２の内部処理において）当該対象物画像ＦＩ上の上記特徴点Ｂ及び特徴点Ｃを含む線分ＢＣが拡大される。したがって、その拡大された線分ＢＣを底辺とする、拡大された三角形ＡＢＣ（もとの三角形ＡＢＣと相似形状である）が新たに形成され、当該拡大された三角形ＡＢＣの頂部に位置するために仮想ラベルＬＩ上の基準点Ａは当該拡大に対応した位置に（言い換えれば線分ＡＢ及び線分ＡＣを上記拡大と同じ倍率で拡大する位置に）移動する。また、この際には、詳細な説明は省略するが、（制御回路１０２の内部処理において）例えば線分ＡＣと仮想ラベルＬＩの外縁部との交点Ｄ（図１６にのみ図示。この場合、当該点Ｄも上記基準点の１つを構成する）が、拡大前と拡大後とで、仮想ラベルＬＩ上の同一位置となるように仮想ラベルＬＩ全体の各箇所の位置が設定される。これにより、最終的に仮想ラベルＬＩ全体が上記対象物画像ＦＩの拡大と同じ倍率で拡大されるので、前述と同様、仮想ラベルＬＩが仮想的に対象物画像ＦＩに張り付いた、仮想貼り付け状態の表示（図１２（ｂ））が実現される。
【００６１】
なお、上記の三角形の形成による位置相関の設定や、上記移動量・移動方向・変倍（拡大・縮小）倍率の算出や、当該算出結果に基づく表示等は、例えばカメラ１１１の光軸方向に垂直な二次元平面座標系（言い換えればタッチパネル１１２の各画面上において直交する二軸をｘ軸・ｙ軸とするｘｙ座標系）を用いた公知の演算により、実行することができる。したがって、詳細な説明を省略する。
【００６２】
以上説明したように、本実施形態においては、対象物画像ＦＩと仮想ラベルＬＩとの間には、上記位置相関（上記の例では三角形ＡＢＣ又はこれと相似形状の三角形）によってある固定的な対応関係が維持される。これにより、カメラ１１１の撮像する視野が変動してタッチパネル１１２で表示される対象物画像Ｆが動いたり大きさが変わったとしても、それに追従するように仮想ラベルＬＩを動かしたり大きさを変えることができる（図１１（ｂ）、図１２（ｂ）参照）。この結果、現実世界では貼り付け対象物（上記の例では電子機器）にまだラベルＬが貼り付けられていない状態にもかかわらず、タッチパネル１１２の表示において、あたかも既にラベルが対象物に貼り付けられているかのような状態を仮想的に実現することができる。これにより、実際にラベルＬを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。また、上記のように視野を変えた種々の状態で仮想ラベルＬＩをシミュレーションできるので、操作者はより実際の貼り付け状態に近い感覚を得ることができ、利便性を向上することができる。
【００６３】
また、本実施形態では特に、タッチパネル１１２に表示したレイアウト画面（図７参照）において、操作者は、編集操作を行うことで、印字ＲＲ等のラベルＬの態様を所望に設定することができる。この結果、上記のように操作者が所望に印字ＲＲ等を設定したラベルＬに対応した仮想ラベルＬＩを、（実際にラベルを作成する前に）仮想的に対象物に貼り付けた状態で表示させることができる。
【００６４】
また、本実施形態では特に、位置相関として、対象物画像ＦＩの複数の特徴点Ｂ，Ｃと仮想ラベルＬＩの基準点Ａとを頂点に含む多角形（上記の例では三角形）の相似形状の維持を上記位置相関として決定する。これにより、上記したように、比較的簡易な方法で、カメラ１１１の視野の変動による対象物画像ＦＩの移動や変倍への仮想ラベルＬＩの追従移動や追従変倍を行って、前述の仮想貼り付け状態の表示を実現することができる。
【００６５】
また、本実施形態では特に、上記のような位置相関の決定を、対象物画像ＦＩと仮想ラベルＬＩとが重畳してタッチパネル１１２に表示された状態で操作者が行うことができる（ステップＳ２０５、ステップＳ２０７、図１１参照）。これにより、操作者は、感覚的に、タッチパネル１１２に表示された貼り付け対象物（上記の例では電子機器）の所望の位置に対して、確実かつ容易に仮想ラベルＬＩを貼り付けることができる。この結果、視覚的なシミュレーションを、さらにきめ細かく実現することができ、さらに利便性が向上する。
【００６６】
また、本実施形態では特に、操作者が対象物をカメラ１１１で撮影することにより、自動的に、画像認識処理によって対象物画像ＦＩ中の特徴点Ｂ，Ｃが設定される（ステップＳ２０６参照）。これにより、操作者の操作労力を低減し、さらに利便性を向上することができる。
【００６７】
なお、以上においては、カメラ１１１により撮像しつつ、貼り付け対象物（上記の例では電子機器）に対して操作端末１０が直線的に移動することで視野が変化した場合を例にとって説明した（図９、図１０、図１１（ｂ）、図１２（ｂ）参照）。しかしながらこれに限られず、例えば操作端末１０の貼り付け対象物に対する方向が変化する場合（相対的に回転する場合等）においても、本発明の手法を適用可能である。この場合は、上述した二次元的平面座標系に代えて、３次元空間座標系（ｘｙｚ軸）、若しくは回転座標系を用いた公知の演算により、上記同様の、移動量・移動方向・変倍（拡大・縮小）倍率の算出や、当該算出結果に基づく表示等を行えば足りる。これらの場合も、同様の効果を得る。
【００６８】
なお、図３、図４等の図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【００６９】
また、図５、図１３等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【００７０】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【００７１】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【００７２】
１０              操作端末
２０              ラベル作成装置
１０２            制御回路
１１０            操作ボタン（操作手段）
１１１            カメラ（撮像手段）
１１２            タッチパネル（操作手段、表示手段）
Ａ                基準点
Ｂ                特徴点
Ｃ                特徴点
ＦＩ              対象物画像
ＬＩ              仮想ラベル
【図１】
0005557043.tif 000002
【図２】
0005557043.tif 000003
【図３】
0005557043.tif 000004
【図４】
0005557043.tif 000005
【図５】
0005557043.tif 000006
【図６】
0005557043.tif 000007
【図７】
0005557043.tif 000008
【図８】
0005557043.tif 000009
【図９】
0005557043.tif 000010
【図１０】
0005557043.tif 000011
【図１１】
0005557043.tif 000012
【図１２】
0005557043.tif 000013
【図１３】
0005557043.tif 000014
【図１４】
0005557043.tif 000015
【図１５】
0005557043.tif 000016
【図１６】
0005557043.tif 000017