(57)【要約】【課題】既描画領域を過不足なく正確に検出することのできる描画装置及び描画装置の描画方法を提供する。【解決手段】爪に描画を施す描画部４０と、描画部４０により爪に画像の描画を行った後の爪を、光源により爪が照明される方向を互いに異なる方向に変えて複数回撮影する撮影部５０と、撮影部５０による複数回の撮影によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて爪に描画が施されている既描画領域を検出する既描画領域検出部８１５と、を備えている。【選択図】図２
2020185395.tif 000002
【特許請求の範囲】
【請求項１】
描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする描画装置。
【請求項２】
前記描画対象に前記第１の画像の描画が施された後に、前記描画部が前記描画対象に前記第１の画像の少なくとも一部に重ねて第２の画像の描画を施すとき、前記第２の画像の描画位置及び前記第２の画像の大きさの少なくとも一方が、前記既描画領域検出部により検出された前記既描画領域に基づいて調整されることを特徴とする請求項１に記載の描画装置。
【請求項３】
前記光源を複数有し、
前記複数の光源の各々は、前記描画対象を照明する方向が互いに異なっており、
前記撮影部は、前記複数の光源のいずれかを使用することにより前記描画対象を照明する方向を互いに異なる方向に変えて前記複数回撮影することを特徴とする請求項１又は請求項２に記載の描画装置。
【請求項４】
前記既描画領域検出部は、ＨＤＲ合成により前記合成画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の描画装置。
【請求項５】
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができるように前記描画対象を照明する方向が設定されている前記複数の光源における第２の光源を使用した状態で撮影された第２の描画対象画像を含むことを特徴とする請求項１から請求項４のいずれか一項に記載の描画装置。
【請求項６】
前記既描画領域検出部は、前記合成画像における色分布情報に基づいて前記描画対象における前記第１の画像が描画されていると推定される領域を既描画推定領域として前記合成画像から抽出するとともに、当該既描画推定領域の周辺領域の画素について前記既描画推定領域との色の差を判定し、当該色の差が段階的に変化している領域を前記既描画推定領域とともに前記既描画領域として検出することを特徴とする請求項１から請求項５のいずれか一項に記載の描画装置。
【請求項７】
前記既描画領域検出部は、前記合成画像からグラフカットの手法により前記既描画推定領域を抽出することを特徴とする請求項６に記載の描画装置。
【請求項８】
前記既描画領域検出部は、前記既描画推定領域に隣接する画素から徐々に前記既描画推定領域から遠ざかる方向に向かって各画素と前記既描画推定領域との色の差を判定することにより色の差が段階的に変化している領域を検出することを特徴とする請求項６又は請求項７に記載の描画装置。
【請求項９】
描画装置の描画方法であって、
前記描画装置は描画対象に描画を施す描画部と、前記描画対象を照明する少なくとも一つの光源と、を備え、
前記描画部により第１の画像が描画された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる複数の方向に変えて複数回撮影し、
前記複数回の撮影により取得された複数の描画対象画像を合成して合成画像を生成し、
前記合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出し、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする描画装置の描画方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画装置及び描画装置の描画方法に関するものである。
【背景技術】
【０００２】
従来、爪にネイルデザインを描画する描画装置が知られている（例えば、特許文献１参照）。
また、爪の表面に色や絵柄等のネイルデザインを描画する描画装置（ネイルプリント装置）として、描画を施す筆記具（描画用具であるペン）を搭載したプロッタ方式の描画装置を用いることも検討されている。
ペンを用いて描画を施す場合には、インクジェット方式のように小液滴のインクを吐出させる描画装置と比べて、使用可能なインクの粘度やインクに含まれる色材の粒径等に制約が少なく、粒径の大きな色材を含んだ発色のよいインクや光硬化型のインクのような高粘度のインクも用いることができる。このため、ネイルサロンで施されるものと同様の各種のネイルデザインを描画することが可能となる。
【０００３】
爪に描画を施す場合、例えば下地を塗布した後に、下地領域の上に絵柄等を描画するというように、複数回に分けて、描画領域に重ねて描画を行うことが行われる。この場合に、ネイルプリントの仕上がり品質を良くするためには、前回描画した領域をできるだけ正確に検出して描画位置が相互にずれないようにすることが好ましい。
このため、爪に光を当てて撮影を行い、取得された撮影画像に基づいて描画済み領域（既描画領域）を検出することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００３−５３４０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば下地等は白色又はそれに近い色で描画されるところ、描画された色が白色又はこれに近い色であるような場合には、撮影画像を取得するために爪に照射した光が爪の表面で反射した場合に、その反射光により高輝度となっている部分と描画済み領域（既描画領域）との区別が付きにくく、描画済み領域（既描画領域）を正確に検出することができない場合がある。
また、描画済み領域（既描画領域）であっても光の照射によって部分的に影ができた場合には、他の描画済み領域（既描画領域）と異なる色の部分と認識されてしまい、正しく描画済み領域（既描画領域）と判断されない場合もある。
反射や影等が生じないような照明を設計することも考えられるが、爪の形状は人により、また各指ごとに様々であるため、どのような爪であっても反射や影が生じないようにすることは困難である。
【０００６】
本発明は以上のような事情に鑑みてなされたものであり、既描画領域を過不足なく正確に検出することのできる描画装置及び描画装置の描画方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の描画装置は、
描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴としている。
【発明の効果】
【０００８】
本発明によれば、既描画領域を過不足なく正確に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】（ａ）は、本実施形態における描画装置の正面図であり、（ｂ）は、（ａ）に示された描画装置の内部構成を示す側面図である。
【図２】本実施形態に係る描画装置の制御構成を示した要部ブロック図である。
【図３】既描画領域を検出する手順を示す説明図である。
【図４】本実施形態における描画装置の描画処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
図１（ａ）及び図１（ｂ）から図４を参照しつつ、本発明に係るネイルプリント装置（描画装置）及びネイルプリント装置（描画装置）における描画方法の一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、ネイルプリント装置１は手の指の爪を描画対象として、これに描画するものとして説明するが、本発明の描画対象は手の指の爪に限るものではなく、例えば足の指の爪を描画対象としてもよい。
【００１１】
図１（ａ）は、ネイルプリント装置の内部構成を示す正面図であり、図１（ｂ）は、図１（ａ）に示されたネイルプリント装置の内部構成を示す側面図である。
図１（ａ）及び図１（ｂ）に示すように、本実施形態におけるネイルプリント装置１は、描画ヘッド４３が描画用具であるペン４１とインクジェットヘッド７１とを備え、プロッタ方式とインクジェット方式とを併用しての爪Ｔに描画を施す描画装置である。
このネイルプリント装置１は、ケース本体（筐体）２と、このケース本体２に収容される装置本体１０とを備えている。ケース本体２は、外光がケース本体２内に進入しないように外光から遮光する構造になっている。
【００１２】
図１（ｂ）に示すように、ケース本体２には、その上面から上部前面にかけて、後述する描画部４０のペン４１及びインクジェットヘッド７１を交換するために開閉可能に構成された蓋部２３が設けられている。蓋部２３は、例えばヒンジ等を介して、図１（ｂ）に示すように閉状態から開状態まで回動自在となっている。
【００１３】
ケース本体２の上面（天板）には操作部２５（図２参照）が設置されている。
操作部２５は、ユーザが各種入力を行う入力部である。
操作部２５には、例えば、ネイルプリント装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔに描画するデザイン画像を選択するデザイン選択釦、描画開始を指示する描画開始釦等、各種の入力を行うための図示しない操作釦が配置されている。
【００１４】
また、ケース本体２の上面（天板）のほぼ中央部には表示部２６が設置されている。
表示部２６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部２６には、例えば、印刷指Ｕ１を撮影して得た爪画像（爪Ｔの画像を含む指画像）、この爪画像中に含まれる爪Ｔの輪郭線等の画像、爪Ｔに描画すべきデザイン画像を選択するためのデザイン選択画面、デザイン確認用のサムネイル画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部２６の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。
【００１５】
装置本体１０は、ほぼ箱状に形成され、ケース本体２の内部下方に設置された下部機枠１１と、この下部機枠１１の上方で且つケース本体２の内部上方に設置されている上部機枠１２とを備えている。
【００１６】
まず、下部機枠１１について説明する。
下部機枠１１は、背面板１１１、底板１１２、左右一対の側板１１３ａ，１１３ｂ、Ｘ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５及び隔壁１１６を有する。
側板１１３ａ，１１３ｂの下端部は、底板１１２の左右両端部にそれぞれ連結され、側板１１３ａ，１１３ｂが底板１１２に対して立てられた状態に設けられている。
背面板１１１の下部は、前方（指挿入方向手前側）に向かって２段に窪むように形成されている。背面板１１１の下端部は底板１１２の前端部に連結されており、背面板１１１は、底板１１２と側板１１３ａ，１１３ｂによって囲われた領域を前後に区切っている。
この窪んだ背面板１１１の後ろ側に形成される空間がＸ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５（図１（ｂ）参照）となっている。Ｘ方向移動ステージ収容部１１４内には、描画部４０が前方（指挿入方向手前側）に移動した際に描画部４０のＸ方向移動ステージ４５が収容される。また、Ｙ方向移動ステージ収容部１１５内には、描画部４０のＹ方向移動ステージ４７が配置されている。
また、隔壁１１６は、下部機枠１１の内部前方側の空間（背面板１１１、底板１１２及び側板１１３ａ，１１３ｂによって囲われた指挿入方向手前側の空間）を上下に区切るように下部機枠１１の内側に設けられている。隔壁１１６はほぼ水平に設けられ、隔壁１１６の左右両端部が側板１１３ａ，１１３ｂにそれぞれ連結され、隔壁１１６の後端部が背面板１１１に連結されている。
【００１７】
この下部機枠１１には、指固定部３０（図１（ｂ）参照）が一体的に設けられている。
指固定部３０は、描画を施す爪Ｔ（すなわち描画対象）に対応する指（以下、これを「印刷指Ｕ１」という。）を受け入れる指受入部３１と、この印刷指Ｕ１以外の指（以下、これを「非印刷指Ｕ２」という。）を退避させる指退避部３２と、から構成されている。
指受入部３１は、隔壁１１６の上側であって、例えば、下部機枠１１の幅方向の中央より少し右に配置されている。また、隔壁１１６によって下部機枠１１の下側に区分けられた空間が指退避部３２を構成している。
例えば、薬指の爪Ｔに描画を施す場合には、指受入部３１に印刷指Ｕ１としての薬指を挿入し、非印刷指Ｕ２であるその他の４指（親指、人差し指、中指、小指）を指退避部３２に挿入する。
指受入部３１は、下部機枠１１の前面側（印刷指挿入方向の手前側）に開口しており、下側が隔壁１１６の一部を構成する指載置部となっている。指載置部は、描画を施す爪Ｔの指（印刷指Ｕ１）をＸＹ平面上に載置するものである。
また、指受入部３１の上側は、開口しており、指受入部３１に挿入された印刷指Ｕ１の爪Ｔの表面（すなわち、描画対象面）が露出するようになっている。
【００１８】
また、隔壁１１６の上面であって下部機枠１１の前面側の両側部には、下部機枠１１の前面側を塞ぐ前壁３１ｆ（図１（ａ）参照）が立設されている。また、隔壁１１６の上面には、この前壁３１ｆの中央部寄りの端部から前記指受入部３１に向けて狭窄し、印刷指Ｕ１を指受入部３１内に案内する一対のガイド壁３１ｇ（図１（ａ）参照）が立設されている。
ユーザは指受入部３１に挿入した印刷指Ｕ１と指退避部３２に挿入した非印刷指Ｕ２との間に隔壁１１６を挟むことができる。そのため、指受入部３１内に挿入された印刷指Ｕ１が安定して固定される。
【００１９】
下部機枠１１の上面であって、指受入部３１の側方（ケース本体２の媒体挿出口２４に対応する位置であり、本実施形態では、図１（ａ）及び図２において左側）には、後述する描画ヘッド４３による描画可能範囲内に、後述するペン４１のペン先（先端部）４１３の書き出し時のかすれ等を無くすための慣らし書きを行う慣書部６１が設けられている。
慣書部６１は、平板状の部分であり、前述のケース本体２の媒体挿出口２４から挿入された図示しない描画媒体が載置されるようになっている。
慣書部６１に載置される描画媒体は、ペン先（先端部）４１３の慣らし書きを行うことができるものであればよく、例えば紙片である。
【００２０】
なお、図示は省略するが、下部機枠１１の上面には、後述する描画ヘッド４３の移動可能範囲内に、非描画時にペン４１を待機させておくペン待機部や、後述するインクジェットヘッド７１を待機させておくインクジェット保守部等が設けられている。
ペン待機部には、例えばペン先４１３の乾燥を防ぐキャップ部等が設けられている。
また、インクジェット保守部には、インクジェットヘッド７１インク吐出部（ノズル面）をクリーニングする機構や、インク吐出部（ノズル面）の保湿状態を保つためのキャップ部等が設けられている。
【００２１】
描画部４０は、描画ヘッド４３、描画ヘッド４３を支持するユニット支持部材４４、描画ヘッド４３をＸ方向（図１（ａ）におけるＸ方向、描画装置１の左右方向）に移動させるためのＸ方向移動ステージ４５、Ｘ方向移動モータ４６、描画ヘッド４３をＹ方向（図１（ｂ）におけるＹ方向、描画装置１の前後方向）に移動させるためのＹ方向移動ステージ４７、Ｙ方向移動モータ４８等を備えて構成されている。
【００２２】
図１（ａ）及び図１（ｂ）に示すように、本実施形態の描画ヘッド４３には、ペンを着脱可能に保持するペン保持部４２とインクジェットヘッド７１を保持するインクジェットホルダ７２とが隣り合って配置されている。
インクジェットヘッド７１は、例えば、イエロー（Ｙ；YELLOW）、マゼンタ（Ｍ；MAGENTA）、シアン（Ｃ；CYAN）のインクに対応する図示しないインクカートリッジと各インクカートリッジにおける描画対象（爪Ｔ）に対向する面（本実施形態では、図１（ａ）等における下面）に設けられた図示しないインク吐出部とが一体に形成されたインクカートリッジ一体型のヘッドである。インク吐出部は、それぞれの色のインクを噴射する複数のノズルからなるノズルアレイを備えており、インクジェットヘッド７１は、インクを微滴化し、インク吐出部から描画対象（爪Ｔ）の被描画面に対して直接にインクを吹き付けて描画を行う。なお、インクジェットヘッド７１は、上記３色のインクを吐出させるものに限定されない。その他のインクを貯留するインクカートリッジ及びインク吐出部を備えていてもよい。
【００２３】
ペン保持部４２は、少なくとも１本のペン４１が装着可能に保持するものであり、本実施形態では、１本のペン４１を保持するペン保持部４２が描画ヘッド４３に１つ設けられている。
ペン４１は、爪Ｔの表面を描画対象面とし、先端部が描画対象面である爪Ｔの表面に接触して爪Ｔに描画を施す描画用具である。
図１（ａ）等に示すように、ペン４１は、中空円筒状のペンホルダ４１０内に挿通された棒状のペン軸部４１１の先端側（図１（ａ）において下側）にペン先４１３が設けられたものである。
ペン軸部４１１の内部は、各種インクを収容するインク収容部となっている。
ペン軸部４１１の内部に収容されるインクとしては、各種のインクが適用可能である。インクの粘度や色材の粒径（粒子の大きさ）等は特に限定されず、例えば、金銀のラメ入りのインクや白色のインク、ＵＶ硬化型のインクやジェルネイル、アンダーコート用インク、トップコート用インクやマニキュア液等も用いることができる。
本実施形態では、ペン４１が、ペン軸部４１１内に下地塗布用の白色のインクが収容された下地用のペンである場合を例として説明する。
【００２４】
本実施形態において、ペン４１は、例えばペン先４１３を爪Ｔの表面に押し当てることでペン軸部４１１内に収容されているインクが染み出して描画する、ペン先４１３がボールペンタイプとなったペンである。
なお、ペン４１は、ボールペンタイプのものに限定されない。例えばフェルト状のペン先にインクを染み込ませて描画するサインペンタイプや、束ねた毛にインクを染み込ませて描画する筆ペンタイプのもの等であってもよい。また、ペン先４１３の太さも各種のものを用意することができる。
【００２５】
ペン保持部４２は、図示しない係止部により１つのペン４１を保持・固定して描画ヘッド４３とともに移動させるための部材である。本実施形態において、このペン保持部４２は、描画ヘッド４３の側部に支持されている。
また、ペン保持部４２は、描画ヘッド４３に搭載されたペン上下用モータ４２６（図２参照）の駆動によって上下方向に移動可能に構成されている。
【００２６】
また、ユニット支持部材４４は、Ｘ方向移動ステージ４５に取り付けられたＸ方向移動部４５１に固定されている。Ｘ方向移動部４５１は、Ｘ方向移動モータ４６の駆動によりＸ方向移動ステージ４５上を図示しないガイドに沿ってＸ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｘ方向（図１（ａ）におけるＸ方向、ネイルプリント装置１の左右方向）に移動するようになっている。
また、Ｘ方向移動ステージ４５は、Ｙ方向移動ステージ４７のＹ方向移動部４７１に固定されている。Ｙ方向移動部４７１は、Ｙ方向移動モータ４８の駆動によりＹ方向移動ステージ４７上を図示しないガイドに沿ってＹ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｙ方向（図１（ｂ）におけるＹ方向、ネイルプリント装置１の前後方向）に移動するようになっている。
なお、本実施形態において、Ｘ方向移動ステージ４５及びＹ方向移動ステージ４７は、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８と、図示しないボールネジ及びガイドとを組み合わせることで構成されている。
本実施形態では、Ｘ方向移動モータ４６及びＹ方向移動モータ４８等により、ペン４１を備える描画ヘッド４３をＸ方向及びＹ方向に駆動するＸＹ駆動部としてのヘッド移動部４９が構成されている。
【００２７】
描画部４０におけるペン上下用モータ４２６、インクジェットヘッド７１、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８は、後述する制御装置８０の描画制御部８１４（図２参照）に接続され、該描画制御部８１４によって制御されるようになっている。
【００２８】
また、撮影部５０は、撮像装置５１と、照明装置５２，５５とを備えている。
この撮影部５０は、指受入部３１内に挿入されて上部の開口から見える印刷指Ｕ１の爪Ｔを照明装置５２や照明装置５５によって照明する。そして、撮像装置５１によってその印刷指Ｕ１を撮影し、印刷指Ｕ１の爪Ｔの撮影画像である爪画像（爪画像を含む指の画像）を取得するものである。本実施形態では、撮像装置５１は、爪Ｔに対する光の照射角度の異なる爪画像を複数取得するようになっている。
本実施形態では、撮像装置５１及び照明装置５２は、描画部４０の描画ヘッド４３の側方（図１（ａ）において描画ヘッド４３の右側）に固定配置されている。
すなわち、図１（ａ）及び図１（ｂ）に示すように、描画部４０の描画ヘッド４３は、上面の一端側（図１（ａ）において右側）に、側方に張り出す張出部４０１を有しており、この張出部４０１に基板５３が取り付けられている。撮影部５０を構成する撮像装置５１及び照明装置５２は、この基板５３の下面に、隔壁１１６に対向するように設けられている。
なお、基板５３の大きさや基板５３に取り付けられている撮像装置５１及び照明装置５２の位置は特に限定されない。
【００２９】
撮像装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
本実施形態では、撮像装置５１によって取得された撮影画像（爪画像）に基づいて、後述する既描画領域検出部８１５（図２参照）がペン４１による描画が施された描画済み領域Ｆａの描画状況を判定する。
また、爪形状検出部８１２は、撮影画像（爪画像）に基づいてｘｙ平面上における爪Ｔの位置や、爪Ｔの垂直位置等、その他の爪情報を検出する。
なお、撮像装置５１は、印刷指Ｕ１の爪Ｔの湾曲形状等を検出するために、ヘッド移動部４９による移動によって、異なる位置・角度から爪Ｔを撮影して複数枚の撮影画像（爪画像）を取得することが好ましい。
撮像装置５１により複数枚の撮影画像（爪画像）が取得された場合には、これらの撮影画像（爪画像）に基づいて、爪形状検出部８１２（図３参照）が爪Ｔの湾曲形状を検出することができる。
【００３０】
照明装置５２は、例えば白色ＬＥＤ等の光源である。
照明装置５２は、下方に向けられていて、下方に向けて光を照射して、少なくとも撮像装置５１の下方の撮影範囲を照明する。撮像装置５１に対する照明装置５２の位置は一定となっている。なお、照明装置５２を設ける数や、その配置等は図示例に限定されない。
【００３１】
また、本実施形態では、これらこの照明装置５２とは別に、指受入部３１の上部であって、開口部から露出する爪Ｔに対して斜め上方向から光を照射可能な位置に照明装置５５が配置されている。
照明装置５５は、照明装置５２と同様に白色ＬＥＤ等で構成される光源である。
照明装置５５は、図１（ｂ）に二点鎖線の矢印で示すように、爪Ｔに対して爪Ｔの根元側の斜め上方向となっていて、爪Ｔに対して、爪Ｔの根元側の斜め上方向から光を照射するようになっており、照明装置５２とは爪Ｔを照明する向きが異なる方向から爪Ｔに光を照射することができる。  なお、上記においては、照明装置５２と照明装置５５とによる複数の光源を有して、照明装置５２と照明装置５５とを使い分ける（切り換える）ことにより爪Ｔを照明する方向を変える構成としたが、本発明はこの構成に限るものではない。例えば、一つの光源のみを有し、この光源の位置を変える機構を備えて、この機構により光源の位置を変えることにより爪Ｔを照明する方向を変えるようにしてもよい。
【００３２】
この撮影部５０は、後述する制御装置８０の撮影制御部８１１（図２参照）に接続され、該撮影制御部８１１によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部８２の爪画像記憶領域８２１に記憶される。
【００３３】
制御装置８０は、例えば上部機枠１２に配置された基板１３等に設置されている。
図２は、本実施形態における制御構成を示す要部ブロック図である。
制御装置８０は、図２に示すように、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。
【００３４】
記憶部８２には、ネイルプリント装置１を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、記憶部８２のＲＯＭには、爪画像（撮影画像）から既描画領域を検出するための既描画検出プログラム、爪画像（撮影画像）から、爪Ｔの幅方向における湾曲形状、爪の幅、爪の面積等の各種の爪情報を検出するための爪情報検出プログラム、描画データを生成するための描画データ生成プログラム、描画処理を行うための描画プログラム等の各種プログラムが格納されており、これらのプログラムが制御装置８０によって実行されることによって、ネイルプリント装置１の各部が統括制御されるようになっている。
また、本実施形態において記憶部８２には、撮影部５０によって取得されたユーザの印刷指Ｕ１の爪Ｔの爪画像（撮影画像）を記憶する爪画像記憶領域８２１、爪形状検出部８１２によって検出された爪情報（爪Ｔの形状を示す輪郭線や爪Ｔの湾曲形状等）が記憶される爪情報記憶領域８２２、及び爪Ｔに描画されるネイルデザインの画像データを記憶するネイルデザイン記憶領域８２３等が設けられている。
【００３５】
制御部８１は、機能的に見た場合、撮影制御部８１１、爪形状検出部８１２、描画データ生成部８１３、描画制御部８１４、既描画領域検出部８１５、表示制御部８１６等を備えている。これら撮影制御部８１１、爪形状検出部８１２、描画データ生成部８１３、描画制御部８１４、既描画領域検出部８１５、表示制御部８１６等としての機能は、制御部８１のＣＰＵと記憶部８２のＲＯＭに記憶されたプログラムとの協働によって実現される。
【００３６】
撮影制御部８１１は、撮影部５０の撮像装置５１、照明装置５２及び照明装置５５を制御して撮像装置５１により、指受入部３１に挿入された印刷指Ｕ１の爪Ｔの画像を含む指の画像である爪画像（撮影画像）を撮影させて、撮影された爪画像（撮影画像）を取得するものである。
本実施形態では、描画部４０により１つの爪Ｔについて第１の色（例えば下地用の白色）で第１の描画動作（ペン４１による下地描画動作）を行った後、第２の色（インクジェットヘッド７１によって描画可能な各色）で第２の描画動作（インクジェットヘッド７１による絵柄等の描画）を行う場合に、撮影制御部８１１は、撮影部５０を制御して、少なくとも第２の描画動作前に、光の照射方向を変えて複数回爪Ｔを撮影させて、複数の爪画像を取得する。
そして、この撮影の際には、照明装置５２と照明装置５５とを適宜切り替えて異なる位置から爪Ｔに光を照射しながら、撮影制御部８１１が、撮像装置５１により複数回爪Ｔを撮影させて、複数枚の爪画像（撮影画像）を取得する。
なお、１つの爪Ｔについて何枚の撮影画像を取得するかは特に限定されないが、多くの撮影画像を取得した方がこれらを既描画領域検出部８１５において生成される合成画像の精度が向上するため好ましい。
また、撮影制御部８１１によって取得される画像のうち、少なくとも１枚は、爪Ｔの表面（少なくとも爪Ｔの表面のうち第１の描画動作において描画された領域）に影となっている部分（影領域）が現れない状態の画像となるように設定されている。
撮影制御部８１１により取得された爪画像の画像データは、記憶部８２の爪画像記憶領域８２１に記憶される。
【００３７】
爪形状検出部８１２は、撮影制御部８１１により取得された指受入部３１に挿入された印刷指Ｕ１の爪Ｔの画像（撮影画像）に基づいて、印刷指Ｕ１の爪Ｔについての爪情報を検出するものである。
本実施形態では、爪形状検出部８１２は、撮影画像（爪画像）に基づいて爪Ｔの輪郭形状を爪情報として検出する。
なお、爪形状検出部８１２によって取得される爪情報は爪Ｔの輪郭形状に限定されず、例えば、爪Ｔの水平位置のＸＹ座標、爪Ｔの高さ（爪Ｔの垂直方向の位置、以下「爪Ｔの垂直位置」又は単に「爪Ｔの位置」ともいう。）、爪Ｔの幅方向における形状、すなわち、爪Ｔの表面の、ＸＹ平面に対する傾斜角度（爪Ｔの湾曲形状、爪Ｔの傾斜角度）等を含んでいてもよい。
爪形状検出部８１２によって取得された爪情報は、記憶部８２の爪情報記憶領域８２２に記憶される。
【００３８】
描画データ生成部８１３は、爪形状検出部８１２により検出された爪情報に基づいて、描画ヘッド４３により印刷指Ｕ１の爪Ｔに施される描画用の描画データを生成する。
具体的には、描画データ生成部８１３は、爪形状検出部８１２により検出された爪Ｔの形状（輪郭形状）等に基づいてネイルデザインの画像データを拡大、縮小、切出し等することにより爪Ｔの形状に合わせ込む合せ込み処理を行う。
また、描画データ生成部８１３は、爪形状検出部８１２により検出された爪Ｔの湾曲形状に応じて、爪Ｔに描画するように指定されたネイルデザインの画像データに適宜曲面補正等を行う画像データ補正部としても機能する。
これにより、ペン４１やインクジェットヘッド７１によって描画されるネイルデザインの描画用のデータが生成される。
【００３９】
描画制御部８１４は、描画データ生成部８１３によって生成された描画データに基づいて描画部４０に制御信号を出力し、爪Ｔに対してこの描画データにしたがった描画を施すように描画部４０のＸ方向移動モータ４６、Ｙ方向移動モータ４８、ペン上下用モータ４２６、インクジェットヘッド７１等の動作を制御する制御部である。
【００４０】
既描画領域検出部８１５は、撮影制御部８１１によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて第１の描画動作（ペン４１による下地描画動作）により描画された既描画領域（例えば白色のインクが塗布された下地塗布領域）を検出するものである。
本実施形態の既描画領域検出部８１５は、まず複数の爪画像を合成することにより、光の反射（正反射等）によって既描画領域と同様に白く見えているが実際には既描画領域ではない高輝度領域を排除して、既に描画が施された領域と推定される領域である「既描画推定領域」を検出するとともに、画像中では影となっていて既描画推定領域と判断されなかったが実際には既描画領域である影領域を取り込み、最終的な「既描画領域」として検出する。
以下、図３を参照しつつ、既描画領域検出部８１５による既描画領域の検出手法を具体的に説明する。
【００４１】
本実施形態において既描画領域検出部８１５は、照明装置５２，５５からの光の照射方向を変えて撮影制御部８１１によって取得された複数の爪画像をＨＤＲ合成の手法により合成してＨＤＲ合成画像Ｉｂｈ（図３参照）を生成する。なお、ＨＤＲ合成の具体的な手法としてどのような手法を用いるかは特に限定されず、一般的に用いられるＨＤＲ合成の手法を適用することができる。ここで、爪Ｔは、爪Ｔの先端側が、第１の描画動作によって例えば白色の下地用のインクが塗布された既描画領域ＰＡとなっており、爪Ｔの既描画領域ＰＡ以外の領域が、インクが塗布されていない未描画領域Ｎとなっている場合について説明する。
撮影制御部８１１によって取得された複数の爪画像の中には、光の反射によって高輝度（白飛び）となっている領域（これ以下「高輝度部ＨＡ」という。図３に示す画像Ｉｂ０において破線で示す領域）や、光の照射において影となり暗くなっている領域（これ以下「影部ＳＡ」という。）を含むものがある。これらの複数の画像を合成するＨＤＲ合成では、概略、白飛びしている高輝度部ＨＡを、他の高輝度部ＨＡを有していない画像と置き換えるような処理をすることにより、この高輝度部ＨＡをほとんど除去することができるため、これら複数の爪画像をＨＤＲ合成して得られるＨＤＲ合成画像（図３に示す画像Ｉｂｈ）には高輝度部ＨＡはほとんど現れない。なお、仮にＨＤＲ合成画像Ｉｂｈにおいて多少高輝度部ＨＡが残っていた場合でも、既描画領域ＰＡと明確に区別できる程度の色の差を付けることができる。ただし、ＨＤＲ合成では黒潰れしていない程度の影部を除去することはできないため、ＨＤＲ合成画像Ｉｂｈには、図３に示すように、黒潰れしていない程度の影部が含まれている場合がある。
また、既描画領域検出部８１５は、撮影制御部８１１によって取得された複数の爪画像の中から、爪Ｔの表面（少なくとも爪Ｔの表面のうち第１の描画動作において描画された描画領域ＰＡ）に影が現れない状態で撮影された爪画像（図３において画像Ｉｂ０）を少なくとも１枚取得する。
【００４２】
既描画領域検出部８１５は、まずＨＤＲ合成画像Ｉｂｈにおける色分布情報に基づいて、爪Ｔのうち既に描画されていると推定される領域を既描画推定領域Ｐ１として、ＨＤＲ合成画像Ｉｂｈから抽出する。
具体的には、既描画領域検出部８１５は、第１の描画動作（ペン４１による下地描画動作）後の撮影において取得された影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）や第１の描画動作（ペン４１による下地描画動作）後の撮影において取得された複数の爪画像をＨＤＲ合成して生成したＨＤＲ合成画像Ｉｂｈから、第１の描画動作によって描画された描画領域ＰＡの色分布情報、及びそれ以外の未描画領域Ｎの色分布情報（例えば描画されていない生の爪Ｔや指の皮膚、その他背景等の色分布情報）を取得し、この色分布情報に基づいて、第２の描画動作（例えばインクジェットヘッド７１による絵柄描画動作）前の撮影において取得された影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）や第２の描画動作（例えばインクジェットヘッド７１による絵柄描画動作）前に取得された複数の爪画像をＨＤＲ合成して生成したＨＤＲ合成画像Ｉｂｈから既描画推定領域Ｐ１を抽出するためのセグメンテーション処理を行う。
このセグメンテーション処理により、第２の描画動作前の撮影において取得された高輝度部ＨＡを含むが影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）から、既描画推定領域Ｐ２及び高輝度領域Ｈ１を白、それ以外の領域を黒に区分したセグメンテーションマップ（図３においてマップＭ０）と、第２の描画動作前の撮影において取得された画像をＨＤＲ合成して得られた高輝度領域ＨＡを含まず、影部ＳＡを含むＨＤＲ合成画像から、既描画推定領域を白、それ以外の領域を黒に区分したセグメンテーションマップ（図３においてマップＭｈ）が作成される。
既描画領域検出部８１５がＨＤＲ合成画像Ｉｂｈから既描画推定領域を抽出するためのセグメンテーション処理の手法としては、例えばグラフカットの手法が用いられる。なお、既描画推定領域を抽出するためのセグメンテーション処理の手法は特に限定されず、色の差を閾値として持つことで既描画推定領域の境界を判定していく等の手法によってもよい。
【００４３】
さらに、既描画領域検出部８１５は、セグメンテーションマップＭ０とセグメンテーションマップＭｈとのＥＸＯＲによる、セグメンテーションマップ（図３においてマップＭｘｏｒ）を作成する。このマップＭｘｏｒでは、図３に示すように、既描画推定領域Ｐ２中の影領域Ｓ１と既描画推定領域Ｐ２外の高輝度領域Ｈ１とが白、それ以外の領域が黒に区分され、これらが既描画領域ＰＡであるか否かは不明となっている。
また、既描画領域検出部８１５は、セグメンテーションマップＭ０とセグメンテーションマップＭｈとのＡＮＤによる、セグメンテーションマップ（図３においてマップＭａｎｄ）を作成する。このマップＭａｎｄでは、図３に示すように、既描画推定領域Ｐ１が白、それ以外の領域が黒に区分されている。
また、既描画領域検出部８１５は、セグメンテーションマップＭ０の反転とセグメンテーションマップＭｈの反転とのＯＲによる、セグメンテーションマップ（図３においてマップＭｎｏｔ）を作成する。このマップＭｎｏｔでは、図３に示すように、未描画領域Ｓ２が白、既描画推定領域Ｐ２及び高輝度領域Ｈ１が黒に区分されている。
【００４４】
さらに、既描画領域検出部８１５は、セグメンテーションマップＭａｎｄをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、既描画推定領域Ｐ１の色分布情報ＣＤｔを求める。
また、既描画領域検出部８１５は、セグメンテーションマップＭｎｏｔをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、未描画領域Ｓ２の色分布情報ＣＤｒを求める。
また、既描画領域検出部８１５は、セグメンテーションマップＭｘｏｒをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、セグメンテーションマップＭｘｏｒにおいて検出されている各領域Ｓ１，Ｈ１の色と、色分布情報ＣＤｔ及び色分布情報ＣＤｒにより、各領域が、高輝度部ＨＡであって既描画領域ＰＡでないのか、既描画領域ＰＡ中の影部ＳＡであるのか、を判定する。
【００４５】
なお、各領域が、高輝度部ＨＡであって既描画領域ＰＡでないのか、既描画領域ＰＡ中の影部ＳＡであるのか、を判定するにあたっては、既描画領域検出部８１５は、当該既描画推定領域の周辺領域の画素について既描画推定領域Ｐ１との色の差を判定し、当該色の差が段階的に変化する領域を既描画領域ＰＡ中の影部ＳＡであるとして、既描画推定領域Ｐ１とともに既描画領域ＰＡとして検出する。
すなわち、既描画領域検出部８１５は、セグメンテーションマップＭａｎｄにおいて検出されている既描画推定領域Ｐ１の輪郭に近い位置から外側に向かって、セグメンテーションマップＭｘｏｒにおける各領域が、既描画領域ＰＡの色分布ＣＤｔに近いか否か、未描画領域Ｎの色分布情報ＣＤｒに近いか否か、を判定していく。
既描画領域ＰＡ中の影部ＳＡの色は、既描画領域ＰＡの色から徐々に変化していくようになっている。このため、影部ＳＡにおいては、外側に向かって隣接する画素間の色の差は小さい。一方、高輝度部ＨＡであって、既描画領域ＰＡでない場合は、既描画領域ＰＡの色から比較的大きく異なる色（生の爪Ｔの色等）になっている。このため、ＨＤＲ合成画像における、セグメンテーションマップＭｘｏｒの各白領域に対応する領域おいて、セグメンテーションマップＭａｎｄの境界（輪郭）に近い位置の画素から外側に向かって、各画素の色情報を見ていき、既描画領域ＰＡの色に対して差が比較的小さい色を既描画領域ＰＡの色に含めるように、既描画領域ＰＡの色分布情報ＣＤｔを順次更新していく。これにより、光の反射による高輝度部ＨＡについては既描画領域ＰＡに含めることなく、影部ＳＡについては既描画領域ＰＡに含めるようにすることができる。
【００４６】
表示制御部８１６は、表示部２６を制御して表示部２６に各種の表示画面を表示させるものである。本実施形態では、表示制御部８１６は、例えばネイルデザインの選択画面やデザイン確認用のサムネイル画像、印刷指Ｕ１を撮影して取得した爪画像、各種の指示画面、操作画面等を表示部２６に表示させるようになっている。
【００４７】
次に、図４を参照しつつ、本実施形態におけるネイルプリント装置（描画装置）による描画方法について説明する。
【００４８】
このネイルプリント装置１により描画を行う場合、ユーザはまず、電源スイッチを入れて制御装置８０を起動させる。
表示制御部８１６は、表示部２６にデザイン選択画面を表示させ、ユーザは操作部２５の操作釦等を操作して、デザイン選択画面に表示された複数のネイルデザインの中から所望のネイルデザインを選択する。これにより、操作部２５から選択指示信号が出力されて爪Ｔに描画すべきネイルデザインが選択される。
ユーザが印刷指Ｕ１を指受入部３１に挿入し、非印刷指Ｕ２を指退避部３２に挿入して、操作部２５の図示しない描画スイッチを操作すると、指受入部３１内に印刷指Ｕ１が固定される。
【００４９】
描画スイッチから指示が入力されると、描画動作を開始する前に、まず描画制御部８１４がヘッド移動部４９を制御して撮影部５０を所定の撮影位置に移動させ、印刷指Ｕ１を撮影させて爪画像（撮影画像）を取得させる（ステップＳ１の描画前の撮影）。なお、この描画前の撮影においては、撮影部５０を移動させながら複数の位置や角度から爪Ｔを撮影することが好ましい。このように、撮影位置等の異なる爪画像を複数取得することにより、爪形状検出部８１２による爪の輪郭形状や湾曲形状等の検出をより高精度に行うことができる。
爪画像（撮影画像）が取得されると、爪形状検出部８１２は、爪画像（撮影画像）に基づいて爪Ｔの外形形状である輪郭形状を検出する。また、爪形状検出部８１２は、爪画像（撮影画像）に基づいて、爪Ｔの湾曲形状、その他の爪情報を検出する（ステップＳ２）。
次いで、描画データ生成部８１３は、爪形状検出部８１２により検出された爪情報に基づいて、第１の色のペン４１（例えば下地用の白色のインクによる描画を行うペン４１）による描画対象領域を決定するとともに、画像データに適宜曲面補正等の補正を行ってネイルデザインの描画データを生成する。描画データが生成されると、描画制御部８１４は、描画データを描画部４０に出力し、ヘッド移動部４９を動作させて適宜描画ヘッド４３を移動させながら、爪Ｔに第１の色による描画処理（すなわち、第１の色のペン４１による第１の描画動作）を行う（ステップＳ３）。
第１のペン４１による描画が終了すると、撮影部５０により印刷指Ｕ１を撮影して、爪Ｔに対する光の照射方向の異なる複数の爪画像（撮影画像）を取得する（第１の描画動作後の撮影、ステップＳ４）。
既描画領域検出部８１５は、この爪画像のうち、影領域ＳＡを含まない少なくとも１枚の爪画像Ｉｂ０を取得するとともに、複数の爪画像をＨＤＲ合成することによりＨＤＲ合成画像Ｉｂｈを作成する（ステップＳ５）。
そして、既描画領域検出部８１５は、取得した爪画像Ｉｂ０及びＨＤＲ合成画像Ｉｂｈから色分布情報を取得する（ステップＳ６）。
【００５０】
その後、第１の描画処理が施された爪Ｔについて乾燥処理が行われ（ステップＳ７）、第２の色のインクによる第２の描画処理（例えばインクジェットヘッド７１による描画処理）が行われる前に、撮影部５０により印刷指Ｕ１を撮影して、爪Ｔに対する光の照射方向の異なる複数の爪画像（撮影画像）を取得する（第２の描画動作前の撮影、ステップＳ８）。
既描画領域検出部８１５は、この爪画像のうち、影領域ＳＡを含まない少なくとも１枚の爪画像Ｉｂ０を取得するとともに、複数の爪画像をＨＤＲ合成することによりＨＤＲ合成画像Ｉｂｈを作成する（ステップＳ９）。
そして、既描画領域検出部８１５は、グラフカットの手法等によりセグメンテーション処理を行い（ステップＳ１０）、セグメンテーションマップ（図３におけるマップＭ０，Ｍｈ，Ｍｘｏｒ，Ｍａｎｄ，Ｍｎｏｔ）を作成する（ステップＳ１０）。
【００５１】
また、既描画領域検出部８１５は、取得した爪画像Ｉｂ０及びＨＤＲ合成画像Ｉｂｈから色分布情報を取得して（ステップＳ１２）、この色分布情報に基づき、爪画像における各画素ごとに既描画推定領域か否かの振り分けを行う（ステップＳ１３）。本実施形態では、図３におけるセグメンテーションマップＭｈにおいて白抜きで示されている領域に対応する画素が既描画推定領域Ｐ１内の画素として振り分けられる。
なお、本実施形態では、図３に示すように、爪Ｔの長さ方向の先端部分だけに第１の色である下地用の白色のインクが描画されるため、爪Ｔの長さ方向の半分よりも上に位置する画素だけを既描画推定領域Ｐ１か否かの振り分けを行う対象画素とする。このようにすることで既描画推定領域Ｐ１か否かの振り分けを行う必要のない部分については処理を省略することができ、処理時間を短縮することができる。なお、対象画素を設定することは必須ではなく、爪Ｔの全体について画素ごとに既描画推定領域Ｐ１か否かの振り分けを行ってもよい。
既描画領域検出部８１５は、対象画素についての振り分けがすべて終了したか否かを判断し（ステップＳ１４）、終了していない場合（ステップＳ１４；ＮＯ）には、ステップＳ１３の処理を繰り返す。
他方、終了している場合（ステップＳ１４；ＹＥＳ）には、既描画推定領域Ｐ１に振り分けられた画素を既に第１の色による描画が行われた既描画領域ＰＡとして検出する（ステップＳ１５）。
【００５２】
次に、既描画領域検出部８１５は、既描画推定領域Ｐ１とされた領域の周辺領域に所定の色条件を満たす画素があるか否かを判断する（ステップＳ１６）。
具体的には、既描画推定領域との色の差を判定し、当該色の差が段階的に変化する領域の画素を所定の色条件を満たす画素と判断する。
既描画推定領域Ｐ１とされた領域の周辺領域には、高輝度部ＨＡ及び影部ＳＡが存在する可能性があるが、前述のように、既描画領域ＰＡ中の影部ＳＡの色は、既描画領域ＰＡの色から徐々に変化していくため、影部ＳＡにおいては、外側に向かって隣接する画素間の色の差は小さい。これに対して、高輝度部ＨＡであって、既描画領域ＰＡでない場合は、既描画領域ＰＡの色から比較的大きく異なる色となっている。このため、色の差の変化を見ることで、高輝度部ＨＡと影部ＳＡとを適切に区別することができる。
既描画領域検出部８１５は、既描画推定領域Ｐ１とされた領域の周辺領域に所定の色条件を満たす画素がある場合（ステップＳ１６；ＹＥＳ）、すなわち、既描画推定領域との色の差が段階的に変化する領域の画素がある場合には、これを既描画領域ＰＡ中の影部ＳＡであるとして、既描画推定領域とともに既描画領域ＰＡとして検出する（ステップＳ１７）。そしてこの場合には、既描画領域検出部８１５は、既描画領域ＰＡの色に対して差が比較的小さい色を既描画領域ＰＡの色に含めるように、既描画領域ＰＡの色情報を更新する（ステップＳ１８）。
他方、既描画推定領域とされた領域の周辺領域に所定の色条件を満たす画素がない場合（ステップＳ１６；ＮＯ）には、そのまま次のステップに進む。
【００５３】
既描画領域検出部８１５により既描画領域ＰＡが検出されると、当該領域に対して描画部４０により第２の色による描画処理（第２の描画動作）が行われる（ステップＳ１９）。具体的には、例えば、第１の描画動作により白色の下地が描画された既描画領域ＰＡに、第２の描画動作として、インクジェットヘッド７１により絵柄を描画する。
そして、再度乾燥動作を行い（ステップＳ２０）、乾燥が完了するだけの所定の時間乾燥させたのち、印刷指Ｕ１の固定を解除して描画処理を終了する。
【００５４】
以上のように、本実施形態によれば、描画部４０により１つの爪について第１の色で第１の描画動作（例えばペン４１による白色のインクの塗布）を行った後に、第２の色で第２の描画動作（例えばインクジェットヘッド７１による絵柄の描画）を行う場合、第２の描画動作前に光の照射方向を変えて複数回爪Ｔを撮影して複数の爪画像を取得し、取得された複数の爪画像を合成して合成画像を生成する。そして当該合成画像に基づいて第１の描画動作により描画された既描画領域ＰＡを検出する。
これにより、光の正反射等により生じる高輝度部ＨＡについては既描画領域ＰＡから除外し、既描画領域ＰＡ内であって暗くなっている影部ＳＡについては既描画領域ＰＡに含めることができるため、既描画領域ＰＡを過不足なく適切に検出することができる。このため、第１の描画動作によって描画済みの領域に対して正確に第２の描画動作を行うことができ、下地の上に絵柄を描画するように複数回に分けて重ねて描画動作を行う場合にも描画位置がずれずに高精細な描画を行うことができる。
また、本実施形態では、既描画領域検出部８１５は、合成画像における色分布情報に基づいて爪Ｔのうち既に描画されていると推定される領域を既描画推定領域Ｐ１として合成画像から抽出するとともに、当該既描画推定領域Ｐ１の周辺領域の画素について既描画推定領域Ｐ１との色の差を判定し、当該色の差が段階的に変化する領域を既描画推定領域Ｐ１とともに既描画領域ＰＡとして検出する。これにより、高輝度部ＨＡについては既描画領域ＰＡから除外し、影部ＳＡだけを適切に既描画領域ＰＡに取り込むことができる。ことを特徴とする請求項１に記載の描画装置。
また、本実施形態では、既描画領域検出部８１５は、ＨＤＲ合成により合成画像を生成する。合成画像の生成にＨＤＲ合成の手法を用いることにより、光の反射等で発生する高輝度部ＳＡを適切に除去することができる。
また、本実施形態では、既描画領域検出部８１５は、合成画像からグラフカットの手法により既描画推定領域Ｐ１を抽出する。グラフカットの手法により既描画推定領域Ｐ１を抽出することにより、閾値等によって領域の境界を特定する場合よりも正確に領域抽出Ｐ１を行うことができる。
また、本実施形態では、既描画領域検出部８１５は、既描画推定領域Ｐ１に隣接する画素から徐々に既描画推定領域Ｐ１から遠ざかる方向に向かって各画素と既描画推定領域Ｐ１との色の差を判定することにより色の差が段階的に変化する領域を検出する。既描画推定領域Ｐ１とされた領域の周辺領域には高輝度部ＨＡ及び影部ＳＡが存在する可能性があるが、前述のように、影部ＳＡと高輝度部ＨＡとでは既描画領域ＰＡからの色の差の変化の仕方が異なる。このため、色の差の変化を見ることで、高輝度部ＨＡと影部ＳＡとを適切に区別して影部ＳＡだけを既描画領域ＰＡに取り込むことができる。
【００５５】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【００５６】
例えば、本実施形態では、第１の色を描画する第１の描画動作がペン４１による下地用の白色のインクの塗布であり、第２の色を描画する第２の描画動作がインクジェットヘッド７１による絵柄の描画である場合を例示したが、第１の描画動作、第２の描画動作はここに例示したものに限定されない。例えば、第２の描画動作が、ペン４１によるライン模様の描画等であってもよい。
【００５７】
また、本実施形態では、第１の描画動作後（第１の描画動作の直後）と第２の描画動作前（第２の描画動作の直前）とにおいて撮影を行い、爪画像を取得してＨＤＲ合成画像の作成や色分布情報の取得等を行う場合を例示したが、第１の描画動作の直後の撮影は必須ではない。例えば、ネイルデザインにおいて指定されている第１の描画動作で描画される色を実際に爪Ｔ（ユーザの爪ではない一般人のモデル爪でもよい。）に描画した場合における既描画領域ＰＡの色情報及び生爪や指の皮膚等、既描画領域ＰＡの周囲の色情報が予め記憶部８２に登録される等により把握されている場合であれば、第１の描画動作の直後の撮影及び撮影された爪画像に基づくＨＤＲ合成画像の作成や色分布情報の取得等（すなわち、図４においてステップＳ４からステップＳ６の処理）を行わなくてもよい。
【００５８】
また、本実施形態では、ネイルプリント装置（描画装置）１の描画ヘッド４３に描画用のペン４１を保持するペン保持部４２の他、インクジェットヘッド７１を備える構成としたが、インクジェットヘッド７１を備えることは必須の構成ではなく、ペン４１のみにより描画を行う描画装置であってもよい。
【００５９】
また、上記各実施形態では、描画ヘッド４３にペン保持部４２を１つ備えている場合を例示したが、描画ヘッド４３に設けられるペン保持部４２の数は１つに限定されない。例えば２つ以上のペン保持部４２を備え、描画用のペン４１が２本以上保持されていてもよい。
【００６０】
また、上記各実施形態では、描画ヘッド４３に撮像装置５１や照明装置５２が搭載されている場合を例示したが、撮像装置５１や照明装置５２を設ける位置はこれに限定されない。
例えば描画ヘッド４３を移動させる機構とは別に撮影部５０を移動させる機構を別途設けてもよい。
【００６１】
また、上記各実施形態では、指を１本ずつ装置に挿入して順次描画を行うネイルプリント装置１を例としたが、複数本の指に対して、各指を抜き差しすることなく、連続的に描画を行うことのできる構成とすることも可能である。
【００６２】
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備えていることを特徴とする描画装置。
＜請求項２＞
前記描画対象に前記第１の画像の描画が施された後に、前記描画部が前記描画対象に前記第１の画像の少なくとも一部に重ねて第２の画像の描画を施すとき、前記第２の画像の描画位置及び前記第２の画像の大きさの少なくとも一方が、前記既描画領域検出部により検出された前記既描画領域に基づいて調整されることを特徴とする請求項１に記載の描画装置。
＜請求項３＞
前記光源を複数有し、  
前記複数の光源の各々は、前記描画対象を照明する方向が互いに異なっており、
前記撮影部は、前記複数の光源のいずれかを使用することにより前記描画対象を照明する方向を互いに異なる方向に変えて前記複数回撮影することを特徴とする請求項１又は請求項２に記載の描画装置。
＜請求項４＞
前記既描画領域検出部は、ＨＤＲ合成により前記合成画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の描画装置。
＜請求項５＞
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする請求項１から請求項４のいずれか一項に記載の描画装置。
＜請求項６＞
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができるように前記描画対象を照明する方向が設定されている前記複数の光源における第２の光源を使用した状態で撮影された第２の描画対象画像を含むことを特徴とする請求項１から請求項５のいずれか一項に記載の描画装置。
＜請求項７＞
前記既描画領域検出部は、前記合成画像における色分布情報に基づいて前記爪における前記第１の画像が描画されていると推定される領域を既描画推定領域として前記合成画像から抽出するとともに、当該既描画推定領域の周辺領域の画素について前記既描画推定領域との色の差を判定し、当該色の差が段階的に変化している領域を前記既描画推定領域とともに前記既描画領域として検出することを特徴とする請求項１から請求項６のいずれか一項に記載の描画装置。
＜請求項８＞
前記既描画領域検出部は、前記合成画像からグラフカットの手法により前記既描画推定領域を抽出することを特徴とする請求項７に記載の描画装置。
＜請求項９＞
前記既描画領域検出部は、前記既描画推定領域に隣接する画素から徐々に前記既描画推定領域から遠ざかる方向に向かって各画素と前記既描画推定領域との色の差を判定することにより色の差が段階的に変化している領域を検出することを特徴とする請求項７又は請求項８に記載の描画装置。
＜請求項１０＞
描画装置の描画方法であって、
前記描画装置は描画対象に描画を施す描画部と、前記描画対象を照明する少なくとも一つの光源と、を備え、
前記描画部により第１の画像が描画された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる複数の方向に変えて複数回撮影し、
前記複数回の撮影により取得された複数の爪描画対象画像を合成して合成画像を生成し、
前記合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する、
ことを特徴とする描画装置の描画方法。
【符号の説明】
【００６３】
１        ネイルプリント装置
４０      描画部
４１      ペン
４３      描画ヘッド
５０      撮影部
５１      撮像装置
５２      照明装置
５５      照明装置
８１      制御部
８２      記憶部
８１２    爪形状検出部
８１５    既描画領域検出部
Ｔ        爪
Ｕ１      印刷指
【図１】
2020185395.tif 000003
【図２】
2020185395.tif 000004
【図３】
2020185395.tif 000005
【図４】
2020185395.tif 000006
【手続補正書】
【提出日】令和2年7月28日(2020.7.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記課題を解決するために、本発明の描画装置は、
爪に描画を施す描画部と、
前記爪を照明する一つの光源と、
前記描画部により第１の画像の描画が施された後の前記爪を、前記光源により前記爪を照明する方向を変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
前記光源の位置を変えることにより前記爪を照明する方向を変える位置調整部と、
を備え、
前記複数の爪画像は、少なくとも１つの、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が前記位置調整部により設定されている前記光源における第１の光源を使用した状態で撮影された第１の爪画像を含む、
ことを特徴としている。
更に、本発明の描画装置は、
爪に描画を施す描画部と、
前記爪を照明する複数の光源と、
前記描画部により第１の画像の描画が施された後の前記爪を、前記複数の光源により前記爪を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の爪画像は、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が設定されている前記複数の光源を使用した状態で撮影された第１の爪画像を含む、
ことを特徴としている。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
爪に描画を施す描画部と、
前記爪を照明する一つの光源と、
前記描画部により第１の画像の描画が施された後の前記爪を、前記光源により前記爪を照明する方向を変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
前記光源の位置を変えることにより前記爪を照明する方向を変える位置調整部と、
を備え、
前記複数の爪画像は、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が前記位置調整部により設定されている前記光源を使用した状態で撮影された第１の爪画像を含む、
ことを特徴とする描画装置。
【請求項２】
前記爪に前記第１の画像の描画が施された後に、前記描画部が前記爪に前記第１の画像の少なくとも一部に重ねて第２の画像の描画を施すとき、前記第２の画像の描画位置及び前記第２の画像の大きさの少なくとも一方が、前記既描画領域検出部により検出された前記既描画領域に基づいて調整される、
ことを特徴とする請求項１に記載の描画装置。
【請求項３】
爪に描画を施す描画部と、
前記爪を照明する複数の光源と、
前記描画部により第１の画像の描画が施された後の前記爪を、前記複数の光源により前記爪を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の爪画像は、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が設定されている前記複数の光源を使用した状態で撮影された第１の爪画像を含む、
ことを特徴とする描画装置。
【請求項４】
前記複数の光源の各々は、前記爪を照明する方向が互いに異なっており、
前記撮影部は、前記複数の光源のいずれかを使用することにより前記爪を照明する方向を変えた状態で前記複数回撮影する、
ことを特徴とする請求項３に記載の描画装置。
【請求項５】
前記複数の爪画像は、少なくとも１つの、前記爪における前記第１の画像の描画が施された領域に影ができるように前記爪を照明する方向が設定されている前記複数の光源における第２の光源を使用した状態で撮影された第２の爪画像を含むことを特徴とする請求項３又は請求項４に記載の描画装置。
【請求項６】
前記既描画領域検出部は、前記合成画像における色分布情報に基づいて前記爪における前記第１の画像が描画されていると推定される領域を既描画推定領域として前記合成画像から抽出するとともに、当該既描画推定領域の周辺領域の画素について前記既描画推定領域との色の差を判定し、当該色の差が段階的に変化している領域を前記既描画推定領域とともに前記既描画領域として検出することを特徴とする請求項１から請求項５のいずれか一項に記載の描画装置。
【請求項７】
前記既描画領域検出部は、前記合成画像からグラフカットの手法により前記既描画推定
領域を抽出することを特徴とする請求項６に記載の描画装置。
【請求項８】
前記既描画領域検出部は、前記既描画推定領域に隣接する画素から徐々に前記既描画推定領域から遠ざかる方向に向かって各画素と前記既描画推定領域との色の差を判定することにより色の差が段階的に変化している領域を検出することを特徴とする請求項６又は請求項７に記載の描画装置。
【請求項９】
描画装置の描画方法であって、
前記描画装置は爪に描画を施す描画部と、前記爪を照明する一つの光源と、前記光源の位置を変えることにより前記爪を照明する方向を変える位置調整部と、を備え、
前記描画部により第１の画像が描画された後の前記爪を、前記光源により前記爪を照明する方向を変えて複数回撮影し、
複数回の撮影により取得された複数の爪画像を合成して合成画像を生成し、
前記合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出し、
前記複数の爪画像は、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が前記位置調整部により設定されている前記光源を使用した状態で撮影された第１の爪画像を含むことを特徴とする描画装置の描画方法。
【請求項１０】
前記既描画領域の検出は、第２の画像が前記爪に描画される前に行われ、
検出された前記既描画領域に基づいて、前記第１の画像が描画された前記爪に対して前記第２の画像を描画する、
ことを特徴とする請求項９に記載の描画装置の描画方法。
【請求項１１】
描画装置の描画方法であって、
前記描画装置は爪に描画を施す描画部と、前記爪を照明する複数の光源と、を備え、
前記描画部により第１の画像が描画された後の前記爪を、前記複数の光源により前記爪を照明する方向を互いに異なる複数の方向に変えて複数回撮影し、
複数回の撮影により取得された複数の爪画像を合成して合成画像を生成し、
前記合成画像に基づいて前記爪における前記第１の画像の描画が施されている既描画領域を検出し、
前記複数の爪画像は、前記爪における前記第１の画像の描画が施された領域に影ができないように前記爪を照明する方向が設定されている前記複数の光源を使用した状態で撮影された第１の爪画像を含むことを特徴とする描画装置の描画方法。
【請求項１２】
前記既描画領域の検出は、第２の画像が前記爪に描画される前に行われ、
検出された前記既描画領域に基づいて、前記第１の画像が描画された前記爪に対して前記第２の画像を描画する、
ことを特徴とする請求項１１に記載の描画装置の描画方法。