(57)【要約】【課題】装置の煩雑化および大型化を招くことなく、対象物が備える色を優れた再現性で表示部において再生することができる表示装置および再生方法を提供すること。【解決手段】本発明の表示装置は、対象物の画像を撮像する撮像部、前記対象物の画像を表示する表示部、および、前記撮像部と前記表示部との作動を制御する制御部を、一体的に備える本体部と、前記表示部で表示された画像の光路を変更する光路変更部と、を有し、前記表示部で表示された画像が、前記光路変更部を介して、前記撮像部により撮像し得るよう構成されている。【選択図】図８
2020194051.tif 000002
【特許請求の範囲】
【請求項１】
対象物の画像を撮像する撮像部、前記対象物の画像を表示する表示部、および、前記撮像部と前記表示部との作動を制御する制御部を、一体的に備える本体部と、
前記表示部で表示された画像の光路を変更する光路変更部と、を有し、
前記表示部で表示された画像が、前記光路変更部を介して、前記撮像部により撮像し得るよう構成されていることを特徴とする表示装置。
【請求項２】
前記光路変更部は、光を反射させることで光路を変更する光反射部を有している請求項１に記載の表示装置。
【請求項３】
前記撮像部は、前記対象物が有する固有の分光情報を取得することで、前記対象物の画像を取得する分光計測部で構成される請求項１または２に記載の表示装置。
【請求項４】
前記表示部は、所定の色を有するパッチを表示し、前記撮像部は、前記光路変更部を介して前記パッチを撮像するよう構成され、
前記撮像部で取得された前記パッチの撮像結果により得られた情報に基づいて、モニタプロファイルを生成する画像生成部を有し、
前記画像生成部は、前記モニタプロファイルを用いて、前記撮像部で撮像された前記対象物の画像を、ＲＧＢ画像に変換し、前記表示部において変換された前記ＲＧＢ画像を表示する請求項１ないし３のいずれか１項に記載の表示装置。
【請求項５】
前記表示部は、前記パッチを、異なる複数の色について表示し、前記撮像部は、複数の色の前記パッチを撮像する請求項４に記載の表示装置。
【請求項６】
前記光路変更部は、前記本体部から着脱可能となっている請求項１ないし５のいずれか１項に記載の表示装置。
【請求項７】
対象物の画像を表示部において表示し、表示された前記対象物の画像を撮像部において撮像することで、前記対象物の画像の再生を行う再生方法であって、
前記表示部で表示された画像の光路を変更する光路変更部を用いて、前記表示部で表示された画像を、前記撮像部により撮像されるよう構成されていることを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および再生方法に関するものである。
【背景技術】
【０００２】
近年、スマートフォン等の情報端末が備えるアプリケーション等において、例えば、カメラで撮像した、動物や、植物等の対象物の画像に基づいて、これら対象物の種類を特定する電子図鑑等が知られている。
【０００３】
この電子図鑑では、情報端末で撮像した画像に基づいて、対象物の種類の特定を行い、その結果を、撮像された画像と共に、その種類等に関する情報を、情報端末が有する表示部において表示する。
【０００４】
このような情報端末では、撮像された画像を、表示部を構成する液晶ディスプレイや有機ＥＬディスプレイ等の種類に影響を受けることなく、対象物が備える色を優れた再現性で表示部において再生することが求められる。
【０００５】
ここで、表示装置が備える表示部に表示される対象物の色の再生方法が、例えば、特許文献１、２において提案されている。これら特許文献１、２では、遠隔地等で撮像した画像を、インターネット等を介して表示部に伝送し、この表示部において、この画像を再現するために色合わせを行うことが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０９−１７２６４９号公報
【特許文献２】特開２０１２−２１７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１、２に記載の再生方法では、遠隔地等で画像を撮像し得るように、画像を表示する表示部と、この画像を撮像する撮像部とが、別体として用意される必要がある。
【０００８】
そのため、特許文献１、２に記載の再生方法を、スマートフォン等の情報端末が備える表示装置に適用すると、この情報端末すなわち表示装置の他に、撮像部を備える撮像装置を用意する必要が生じ、かかる再生方法を実現するための装置の煩雑化および大型化を招くと言う課題が生じる。
【０００９】
また、このような課題は、対象物としての動物および植物の種類を特定する電子図鑑に限らず、撮像した画像における存在を特定したい対象としての動物および植物の存在の有無や、存在する位置を検出する検出方法や、撮像した画像における対象物としてのカバン、財布、時計および宝石等の物品の真偽や経年劣化の程度を鑑定する鑑定方法、インターネットショッピングにおいて表示部に表示された対象物を購入する購買方法等をスマートフォン等の情報端末に適用した場合についても同様に生じる。
【課題を解決するための手段】
【００１０】
本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。
【００１１】
本発明の適用例に係る表示装置は、対象物の画像を撮像する撮像部、前記対象物の画像を表示する表示部、および、前記撮像部と前記表示部との作動を制御する制御部を、一体的に備える本体部と、
前記表示部で表示された画像の光路を変更する光路変更部と、を有し、
前記表示部で表示された画像が、前記光路変更部を介して、前記撮像部により撮像し得るよう構成されていることを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図である。
【図２】図１に示すスマートフォンのＡ−Ａ線断面図である。
【図３】図１に示すスマートフォンのＢ−Ｂ線断面図である。
【図４】図１に示すスマートフォンの概略構成を示すブロック図である。
【図５】図１に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。
【図６】図１に示すスマートフォンにより対象物の種類の特定を行う特定方法を示すフローチャートである。
【図７】図１に示すスマートフォンにより、対象物を撮像して得られる対象物が有する固有の分光情報を説明するための概略図である。
【図８】図１に示すスマートフォンに、光路変更部を装着した状態を示すＡ−Ａ線断面図である。
【図９】図８に示す光路変更部が装着されたスマートフォンにより、撮像された画像を再生する再生方法を示すフローチャートである。
【図１０】情報システムの第２実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。
【図１１】情報システムの第３実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
【図１２】情報システムの第４実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の表示装置および再生方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。
【００１４】
なお、以下では、本発明の表示装置および再生方法を説明するのに先立って、本発明の表示装置が適用された情報システムについて説明する。
【００１５】
＜情報システム＞
＜＜第１実施形態＞＞
図１は、情報システムの第１実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図、図２は、図１に示すスマートフォンのＡ−Ａ線断面図、図３は、図１に示すスマートフォンのＢ−Ｂ線断面図、図４は、図１に示すスマートフォンの概略構成を示すブロック図、図５は、図１に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図、図６は、図１に示すスマートフォンにより対象物の種類の特定を行う特定方法を示すフローチャート、図７は、図１に示すスマートフォンにより、対象物を撮像して得られる対象物が有する固有の分光情報を説明するための概略図、図８は、図１に示すスマートフォンに、光路変更部を装着した状態を示すＡ−Ａ線断面図、図９は、図８に示す光路変更部が装着されたスマートフォンにより、撮像された画像を再生する再生方法を示すフローチャートである。
【００１６】
なお、図１において、紙面手前側を「上」、紙面奥側を「下」、右側を「右」、左側を「左」と言い、図２、図３、図８において、上側を「上」、下側を「下」、右側を「右」、左側を「左」と言う。また、図８では、表示部から出射して分光計測部に入射するまでの光の中心、すなわち、光軸を矢印で示している。また、説明の便宜上、この光軸を光路とも言うことがある。
【００１７】
以下、本実施形態では、情報システムを、情報端末の１種であるスマートフォン１（ＳＰ）に適用した場合、すなわち、情報端末であるスマートフォン１単独で、情報システムが完結している場合について説明する。換言すれば、本発明の表示装置が適用されたスマートフォン１について説明する。
【００１８】
スマートフォン１は、撮像機能を備えた携帯型の情報端末の１つであり、図１〜５に示すように、撮像すべき対象物Ｘ（対象）の分光情報を取得するための条件を入力する入力部１６と、対象物Ｘが有する固有の分光情報を取得する分光計測部１０と、分光計測部１０の作動を制御する分光計測部制御部としての制御部６０と、対象物Ｘが有する固有の分光情報を含む複数の分光情報を有するデータベースが記憶された記憶部１７と、撮像された対象物Ｘの情報を含む各種の可視化画像を表示する表示部１５と、これらの各部を収納する筐体１１とを備えている。このようなスマートフォン１では、表示部１５と、入力部１６と、分光計測部１０と、制御部６０と、記憶部１７とが、筐体１１に収納された状態で、一体的に形成されている。
【００１９】
このスマートフォン１では、分光計測部１０は、制御部６０の制御に基づいて、対象物Ｘが有する固有の分光情報を取得することで、対象物Ｘの画像を取得する。このように、スマートフォン１では、対象物Ｘが有する固有の分光情報を取得することで、対象物Ｘの特定を実施する。
【００２０】
なお、スマートフォン１により、対象物Ｘを特定するために、取得する波長領域は、可視光領域から選択されたものに限らず、赤外線領域や、紫外線領域等から選択されたものであってもよい。
【００２１】
このスマートフォン１が備えるアプリケーションとして、対象物Ｘとしての動物および植物等の種類を特定する電子図鑑を起動させたときには、表示部１５に、特定された動物および植物等の種類の他、その詳細な情報等が表示される。なお、図１では、表示部１５に、対象物Ｘとしてのリンゴが、その種類が特定されたものとして表示されている。
【００２２】
また、前記アプリケーションとして、撮像した画像すなわち撮像領域における対象物Ｘとしての動物および植物等の存在の有無や、存在する位置を検出する検出方法を起動させたときには、表示部１５に、検出された動物および植物等の種類、ならびに、その動物および植物等の存在する位置の他、そのものが存在している確率等が表示される。
【００２３】
さらに、前記アプリケーションとして、撮像した画像における対象物Ｘとしてのカバン、財布、時計および宝石等の物品の真偽（真贋）や、経年劣化の程度を鑑定する鑑定方法を起動させたときには、表示部１５に、特定すなわち鑑定された物品の真偽および経年劣化の程度、ならびに、真贋率および経年劣化が生じている位置等が表示される。
【００２４】
以下、本実施形態のスマートフォン１が備える各部の構成について説明する。
［表示部１５、入力部１６］
スマートフォン１では、ディスプレイ７０が表示部１５と入力部１６との双方の機能を兼ね備えており、表示部１５は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の各種表示装置で構成される。この表示部１５は、図１に示すように、スマートフォン１の表側において筐体１１に設けられ、特定された対象物Ｘの情報を含む各種の可視化画像を表示する。なお、本発明では、表示部１５と入力部１６とは、それぞれ、別個に設けられていてもよい。
【００２５】
表示部１５で表示する可視化画像すなわち特定された対象物Ｘの情報としては、例えば、特定された対象物Ｘの画像の他、対象物Ｘの特徴、分類、成分、性質等の情報、さらには、撮像領域における対象物Ｘの存在の有無および位置、対象物Ｘの認識精度（％）や存在確率（％）、ならびに、対象物Ｘの真偽の確率（％）や劣化の程度（％）等が挙げられる。
【００２６】
また、入力部１６は、例えば、表示部１５の表面に設けられ、タッチ感知面と、このタッチ感知面との接触の強度を検出するためのセンサーとを備えるタッチパネルで構成される、ユーザー（操作者）による操作指示、すなわち、対象物Ｘが有する固有の分光情報を取得するための条件等が入力されることにより受け付ける。
【００２７】
［記憶部１７］
記憶部１７は、ＲＯＭやＲＡＭ等の各種記憶装置（メモリー）により構成され、スマートフォン１の制御、特に分光計測部１０の制御に必要な各種データやプログラム等を記憶する。
【００２８】
当該データは、例えば、制御部６０の各機能を実現させるためのアプリケーション、プログラム等の他、分光部４１のファブリーペローエタロンフィルターが備える静電アクチュエーター４５に印加する駆動電圧に対する透過光の波長を示す相関データＶ−λデータ、対象物Ｘが有する固有の分光情報に基づいて対象物Ｘの種類等を特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、特定すべき対象物Ｘを含む、魚貝類、昆虫、哺乳類のような動物、花、木のような植物、カバン、財布、時計、宝石のような物品等のそれぞれについての分光情報を示す。
【００２９】
［分光計測部１０］
分光計測部１０は、対象物Ｘで反射した反射光を受光し、分光することで、選択された特定波長または特定波長領域（以下では、「特定波長」で代表して説明する。）の光を得た後、この特定波長を有する光を撮像することにより、分光画像すなわち分光情報を取得する撮像部を構成し、いわゆる分光カメラとして機能するものである。
【００３０】
この分光計測部１０は、本実施形態では、対象物Ｘすなわち撮像対象に光を照射する光源３１と、対象物Ｘを反射した反射光に基づいた、画像を撮像する撮像素子２１と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長もしくは波長領域を変更可能な分光部４１と、を備えている。
【００３１】
このような分光計測部１０において、図２に示すように、光源３１、撮像素子２１が、スマートフォン１の表面側において同一方向を向くように筐体１１内に配置された状態で、分光部４１は、撮像素子２１と対象物Ｘとの間に配置されている。光源３１と、分光部４１と、撮像素子２１とをこのような位置関係で配置することで、これらにより、分光計測部１０を、後分光方式の分光カメラで構成することができる。このような後分光方式の分光カメラでは、ある測定範囲（所定領域）の波長をスキャンすることで、特定波長やスペクトル形状を取得して、対象物Ｘの特性を把握することが可能である。そのため、特定波長が不明な対象物Ｘを測定すなわち撮像する場合に有効な方式である。
【００３２】
なお、分光計測部１０は、分光部４１が光源３１と対象物Ｘとの間に配置された、前分光方式の分光カメラを構成していてもよい。かかる構成をなす前分光方式の分光カメラでは、特定波長の光を照射することで、対象物Ｘの特性を把握することが可能な方式である。したがって、特定波長が明らかになっている対象物Ｘを測定する場合に有効な方式であり、後分光方式よりも情報量を減らせることから、計測時間の短縮が図られると言う利点を有する方式である。
【００３３】
以下、分光計測部１０が備える各部の構成について説明する。
［光源３１］
光源３１は、対象物Ｘに向かって照明光を照射する光素子である。
【００３４】
光源３１は、図１、図３に示すように、スマートフォン１の筐体１１内に配置された回路基板５１上に、対象物Ｘに向かって照明光を照射し得るように、スマートフォン１の表面側に配置されている。
【００３５】
この光源３１と対象物Ｘとの間には分光部が配置されておらず、これにより、光源３１から出射された光が、対象物Ｘに対して、直接、照射される。
【００３６】
このような光源３１は、例えば、ＬＥＤ光源、ＯＬＥＤ光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部４１により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源３１は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
【００３７】
［撮像素子２１］
撮像素子２１は、対象物Ｘを反射した反射光に基づいた、画像を撮像することで、対象物Ｘを反射した反射光を検出する検出部として機能するものである。
【００３８】
撮像素子２１は、図１、図２に示すように、スマートフォン１の筐体１１内に配置された回路基板５１上に、対象物Ｘを反射した反射光を受光し得るように、スマートフォン１の表面側に配置されている。
【００３９】
そして、この撮像素子２１と対象物Ｘとの間には分光部４１が配置されている。これにより、対象物Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光が選択的に出射され、この出射光が撮像素子２１により、分光画像すなわち分光情報として撮像される。
このような撮像素子２１は、例えば、ＣＣＤやＣＭＯＳ等で構成される。
【００４０】
［分光部４１］
分光部４１は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。すなわち、入射光から特定波長の光を出射光として撮像素子２１へ向けて出射させるものである。
【００４１】
分光部４１は、図２に示すように、スマートフォン１の筐体１１内に配置された回路基板５２上に配置されている。
【００４２】
この分光部４１は、撮像素子２１と対象物Ｘとの間、すなわち、これらの間の光軸上に配置されている。これにより、対象物Ｘから分光部４１に入射された入射光のうち、特定波長を有する出射光を、撮像素子２１に向けて選択的に出射する。
【００４３】
このような分光部４１は、出射させる出射光の波長領域を変更可能なように、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより２つのフィルター（ミラー）間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター（ＡＯＴＦ）、リニアバリアブルフィルター（ＬＶＦ）、液晶チューナブルフィルター（ＬＣＴＦ）等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
【００４４】
ファブリーペローエタロンフィルターは、２つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、２．０ｍｍ以下に設定することが可能となる。そのため、分光部４１ひいては分光計測部１０を備えるスマートフォン１をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光計測部１０のさらなる小型化を実現することができる。
【００４５】
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部４１について、図５を参照しつつ説明する。
【００４６】
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板４１０と、可動基板４２０と、固定反射膜４１１と、可動反射膜４２１と、固定電極４１２と可動電極４２２と、接合膜４１４とを備えている。そして、固定基板４１０と可動基板４２０とが積層した状態で、接合膜４１４を介して一体的に接合されている。
【００４７】
固定基板４１０は、その中央部に反射膜設置部４１５が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４１３が形成されている。かかる構成の固定基板４１０において、反射膜設置部４１５の可動基板４２０側に固定反射膜４１１で構成される固定光学ミラーが設けられ、溝４１３の可動基板４２０側に固定電極４１２が設けられている。
【００４８】
また、可動基板４２０は、その中央部に反射膜設置部４２５である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝４２３である保持部が形成されている。かかる構成の可動基板４２０において、反射膜設置部４２５の固定基板４１０側すなわち下面側に可動反射膜４２１で構成される可動光学ミラーが設けられ、固定基板４１０側に可動電極４２２が設けられている。
【００４９】
この可動基板４２０は、反射膜設置部４２５と比較して、溝４２３の厚み寸法が小さく形成されており、これにより、溝４２３は、固定電極４１２および可動電極４２２間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
【００５０】
これら固定基板４１０と可動基板４２０とは、０．１ｍｍ以上１．０ｍｍ以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、２．０ｍｍ以下に設定し得るため、分光計測部１０の小型化を実現することができる。
【００５１】
このような固定基板４１０と可動基板４２０との間において、固定反射膜４１１と可動反射膜４２１とは、固定基板４１０および可動基板４２０のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極４１２と可動電極４２２とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極４１２と可動電極４２２とにより、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさを調整する静電アクチュエーター４５が構成される。
【００５２】
静電アクチュエーター４５を構成する、固定電極４１２および可動電極４２２間に電圧を印加することで生じる静電引力により、溝４２３である保持部に撓みが生じる。その結果、固定反射膜４１１と可動反射膜４２１との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長（波長領域）の光を選択的に出射させることができる。また、固定反射膜４１１および可動反射膜４２１の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
【００５３】
なお、固定基板４１０および可動基板４２０は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜４１４は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜４１１および可動反射膜４２１は、例えば、Ａｇ等の金属膜や、Ａｇ合金等の合金膜で構成される他、高屈折層としてＴｉＯ２、低屈折層としてＳｉＯ２を備える誘電体多層膜で構成され、さらに、固定電極４１２および可動電極４２２は、各種導電性材料で構成される。
【００５４】
また、本実施形態では、この分光計測部１０により、対象物Ｘの画像を撮像する撮像部が構成される。
【００５５】
［光学系８１、８３］
また、分光計測部１０は、本実施形態では、図４に示すように、各種光学部品で構成される光学系８１、８３を有する構成のものである。
【００５６】
第１分光部側光学系８１は、対象物Ｘと分光部４１との間に配置され、入射光学系としての入射レンズ８１１と、投射レンズ８１２とを備え、対象物Ｘを反射した反射光を分光部４１に導く。
【００５７】
また、第１撮像素子側光学系８３は、分光部４１と撮像素子２１との間に配置され、入出射レンズ８３１を備え、分光部４１により出射された出射光を撮像素子２１に導く。
【００５８】
このような光学系８１、８３のうちの少なくとも１つを分光計測部１０が備えることで、対象物Ｘを反射する反射光の撮像素子２１による集光率の向上を図ることができる。
【００５９】
なお、光学系８１、８３は、これらのうちの少なくとも１つが、撮像素子２１による前記集光率を考慮して、省略されたものであってもよい。
【００６０】
また、第１分光部側光学系８１は、上記のような配置とする場合（図４参照）の他、分光部４１と第１撮像素子側光学系８３との間に配置されている構成をなすものであってもよい。
【００６１】
［制御部６０］
制御部６０は、スマートフォン１が備える筐体１１内に設けられ、例えば、ＣＰＵやメモリー等が組み合わせられたプロセッサーにより構成され、光源３１、撮像素子２１、分光部４１等の各部の作動、すなわち、分光計測部１０の全体または各部の作動を制御するとともに、表示部１５の作動および記憶部１７へのデータの入出力を制御する。分光計測部１０の作動を制御すると言う点においては、制御部６０は、「分光計測部制御部」に相当するか、または内包するものと言える。
【００６２】
より具体的には、制御部６０は、入力部１６に入力されたユーザーの操作指示、すなわち、対象物Ｘが有する固有の分光情報を取得するための条件に基づいて、記憶部１７に記憶されたプログラム等のソフトウェアを読み込むことで、光源３１、分光部４１および撮像素子２１の作動を制御する。そして、これにより得られた分光画像すなわち分光情報に基づいて、例えば、撮像された対象物Ｘの特定を行い、そのものの種類や特徴、撮像領域における存在の有無等の情報を、表示部１５において表示する。
【００６３】
この制御部６０は、本実施形態では、図４に示すように、光源制御部６０１と、分光制御部６０２と、分光画像取得部６０３と、分析処理部６０４と、表示制御部６０５とを備える。
【００６４】
光源制御部６０１は、入力部１６に入力されたユーザーの操作指示、具体的には、対象物Ｘが有する固有の分光情報を取得するための条件に基づいて、光源３１の点灯、消灯を制御するものである。
【００６５】
分光制御部６０２は、記憶部１７に記憶されているＶ−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値（入力値）を取得する。そして、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加させるために指令信号を出力する。すなわち、分光制御部６０２は、分光部４１の作動を制御して、分光部４１から出射される光の特定波長の大きさを特定する。また、分光制御部６０２は、記憶部１７に記憶されている各種データに基づいて、測定波長の変更タイミングの検出、測定波長の変更、測定波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
【００６６】
分光画像取得部６０３は、対象物Ｘを反射した反射光に基づいた、光量測定データ（受光量）を分光画像すなわち分光情報として、撮像素子２１において取得（撮像）し、その後、取得された分光画像を記憶部１７に記憶させる。なお、分光画像取得部６０３は、分光画像を記憶部１７に記憶させる際に、分光画像とともにかかる分光画像が取得された測定波長も併せて記憶部１７に記憶させる。
【００６７】
分析処理部６０４は、記憶部１７に記憶された、対象物Ｘの分光画像および測定波長すなわち分光スペクトルを分光情報として取得し、これらの分析処理を行う。すなわち、分光情報としての分光スペクトルと、記憶部１７に記憶されたデータベースとを比較する分光処理を実施することで、撮像された対象物Ｘの特定を行う。
【００６８】
なお、分析処理部６０４による、分光画像および測定波長の取得は、記憶部１７を介することなく、分光画像取得部６０３から、直接、実施することもできる。
【００６９】
表示制御部６０５は、分析処理部６０４で特定された対象物Ｘの情報を可視化画像として表示部１５に表示させる画像生成部を構成する。
【００７０】
なお、かかる構成の制御部６０において、光源制御部６０１、分光制御部６０２および分光画像取得部６０３により、光源３１、分光部４１および撮像素子２１の作動、すなわち分光計測部１０の作動を制御する分光計測部制御部が構成される。
【００７１】
以上のようなスマートフォン１において、起動させるアプリケーションの種類を選択すること、すなわち、スマートフォン１の利用方法を選択することで、スマートフォン１を、１）対象物Ｘとしての動物および植物等の種類を特定する電子図鑑として用いたり、２）撮像した画像における対象物Ｘとしての動物および植物等の存在の有無や、存在する位置を検出する検出装置として用いたり、さらには、３）撮像した画像における対象物Ｘとしての物品の真偽（真贋）や、経年劣化の程度を鑑定する鑑定装置として用いることができる。以下、スマートフォン１を、１）〜３）を実施する装置のうち、１）の電子図鑑として用いた場合の利用方法について、説明する。
【００７２】
［１）電子図鑑としての利用方法］
以下、前述したスマートフォン１を電子図鑑として用いた、対象物Ｘとしての動物および植物等の種類を特定する特定方法を、図６等を用いて、以下に詳述する。
【００７３】
このスマートフォン１を電子図鑑として用いた特定方法では、対象物Ｘを、分光計測部１０を用いて撮像し、撮像された分光画像に基づいて、対象物Ｘの特定を行う。その後、特定された対象物Ｘの画像、種類、その詳細な説明等をディスプレイ７０に表示する。
【００７４】
＜１Ａ＞  まず、ユーザーは、入力部１６の操作により、スマートフォン１を電子図鑑として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて条件等の選択を行う（Ｓ１Ａ）。
【００７５】
なお、アプリケーションの指示に従って入力する条件としては、例えば、対象物Ｘの、花、魚類、哺乳類等の分類すなわち群が挙げられる。
【００７６】
＜２Ａ＞  次いで、ユーザーは、入力部１６の操作により、対象物Ｘをスマートフォン１すなわち分光計測部１０により撮像する入力指示を行い、この入力指示に基づいて、制御部６０は、分光計測部１０の作動を制御して、対象物Ｘの撮像を行う。
【００７７】
＜２Ａ−１＞  まず、入力部１６における、ユーザーによる対象物Ｘの撮像の入力指示に従って、光源制御部６０１は、光源３１を点灯させる（Ｓ２Ａ）。
【００７８】
この光源３１の点灯により、光源３１から出射された照明光が、対象物Ｘに対して、照射される。そして、照射された光が対象物Ｘにより反射され、この反射された光が入射光として分光部４１に入射する。
【００７９】
＜２Ａ−２＞  次いで、分光制御部６０２は、記憶部１７に記憶されているＶ−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値（入力値）を取得する。そして、取得した電圧値を、分光部４１としてのファブリーペローエタロンフィルターの静電アクチュエーター４５に印加させるために指令信号を出力する（Ｓ３Ａ）。
【００８０】
これにより、対象物Ｘから分光部４１に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子２１側に向かって出射される。
【００８１】
なお、分光制御部６０２は、分光部４１により特定波長を有する光を出射させるのに先立って、分光部４１のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源３１の分光スペクトルSrefを取得する。
【００８２】
＜２Ａ−３＞  次いで、分光画像取得部６０３は、撮像素子２１の作動を制御することで、分光部４１から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子２１により取得する。すなわち、対象物Ｘを反射した反射光のうち、特定波長を有する光における光量測定データ（受光量）を分光画像として、撮像素子２１により取得する。そして、分光画像取得部６０３は、取得された分光画像を、かかる分光画像に対応する測定波長すなわち特定波長とともに記憶部１７に記憶させる（Ｓ４Ａ）。
【００８３】
このような分光画像の取得方法では、分光部４１は、対象物Ｘと撮像素子２１との間において、撮像素子２１の受光光の光軸上に配置される。これにより、分光部４１で対象物Ｘにより反射された光が有する特定波長の光のみが透過され、この特定波長における光の強度が分光画像として撮像素子２１により分光測定される。
【００８４】
＜２Ａ−４＞  次いで、１回目の特定波長を有する光における分光画像の取得の後に、１回目の特定波長とは異なる２回目の特定波長を有する光における分光画像の取得が必要か否かを、前記工程＜１Ａ＞において、ユーザーによって選択された条件等に基づいて判定する。すなわち、１回目の特定波長とは異なる２回目の特定波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する（Ｓ５Ａ）。
【００８５】
この判定（Ｓ５Ａ）において、２回目の特定波長を有する光における分光画像の取得の必要がある場合には、１回目の特定波長を有する光に代わり、２回目の特定波長を有する光について、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施する。すなわち、静電アクチュエーター４５の固定電極４１２と可動電極４２２との間に印加させる電圧値を変化させて２回目の特定波長に設定した後、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施する。これにより、２回目の特定波長を有する光における分光画像を取得する。このような２回目の特定波長、すなわち、異なる特定波長を有する光における分光画像の取得を、１、２〜ｎ回目まで、繰り返して実施する。上記の通り、前記工程＜２Ａ−２＞〜本工程＜２Ａ−４＞を繰り返して実施することで、分光情報を、分光画像に含まれる各画素に対応した、各特定波長と光強度との関係を示す分光スペクトル情報Ssamとして得ることができる。
【００８６】
すなわち、分光スペクトル情報Ssamは、図７では、可視光の波長領域である４００ｎｍ以上７６０ｎｍ以下の波長領域における、ｎ分割された各特定波長と光強度との関係を表すグラフとして表され、このグラフすなわちスペクトル情報がＭ行×Ｎ列の画素毎に有している合計の分光情報として得られることとなる。
【００８７】
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部１０による分光画像の取得を終了し、次工程＜３Ａ＞に移行する。
【００８８】
＜３Ａ＞  次いで、分析処理部６０４は、記憶部１７に記憶された、対象物Ｘの分光画像および特定波長に基づいて、すなわち、分光スペクトル情報Ssamに基づいて、分光画像の分析を実施する（Ｓ６Ａ）。
【００８９】
換言すれば、分析処理部６０４は、前記工程＜２Ａ＞において記憶部１７に記憶された、分光スペクトル情報Ssamを取得する。その後、分光情報としての分光スペクトル情報Ssamを、特徴量として用い、データベースと比較する分析処理を実施することで、撮像された対象物Ｘの特定を行う。
【００９０】
具体的には、分光スペクトル情報Ssamと、光源３１の分光スペクトルSrefとから、対象物Ｘの反射率r=Ssam/Srefを算出する。
【００９１】
そして、分析処理部６０４は、記憶部１７に予め記憶された群i=1,…,Mに対応したものに含まれるデータriを取得し、riを用いて対象物Ｘの反射率rが、群iに含まれるいずれに属するか否かを判別することで、対象物Ｘを特定する。なお、ここで、「群」とは、対象物Ｘが属する、花、魚類、哺乳類等の分類や小分類のことを言い、前記工程＜１Ａ＞において、予め入力された対象物Ｘの分類に対応する群のデータが取得される。
【００９２】
より詳しくは、まず、どの群に属するかを判別するのに適した判別空間へ、特徴量としての分光スペクトル情報Ssamを射影する、すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、対象物Ｘの反射率rを判別空間に射影し、yとする。
【００９３】
y=f(r)
【００９４】
同様に、群i=1,…,Mのデータriについても、判別空間に投影し、y(ri)とする。そして、対象物Ｘの判別空間上の位置yと、群i=1,…,Mとの判別空間での距離mi(i=1,…,M)を計算する。
【００９５】
mi(i=1,…,M)=g(y,y(ri))
【００９６】
ここで、y(ri)は群iに属するデータの判別空間上での位置の集合、すなわち、y(ri)={y(ri 1),…,y(riN)}（式中、Ｎは、群iに属するデータの数を表す。）であり、また、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。mi(i=1,…,M)のうち、最も距離が小さいものを特定し、小さいものに対応する群iに含まれる種類を、対象物Ｘの種類Ｈとして特定する。
【００９７】
H=argimin mi
【００９８】
以上の通り、本工程＜３Ａ＞では、対象物Ｘを特定するための特徴量として、分光スペクトル情報Ssamすなわち分光情報を用い、この分光スペクトル情報Ssamの形状に基づいて対象物Ｘの特定を行っていることから、「対象物Ｘが背景の模様と似ている」場合、例えば、枯れた松葉の中にある「マツタケ」、葉っぱ上にいる「青虫」、砂浜上にいる「カレイやヒラメ」、木の枝にいる「クワガタ」や「カブトムシ」を対象物Ｘとして特定する場合のように対象物と背景とが同系色であったとしても、正確に特定することができる。さらに、「撮像領域において対象物Ｘが正面や後方を向いている」場合、および、「対象物Ｘが撮像領域からはみ出している」場合であっても、特徴量として形状情報を用いていないことから、正確に特定することができる。
【００９９】
＜４Ａ＞  次いで、表示制御部６０５は、分析処理部６０４で特定された対象物Ｘの情報を可視化画像として作成し、その後、この可視化画像を、図１に示すように、表示部１５を備えるディスプレイ７０に表示させる（Ｓ７Ａ）。ただし、図１では、表示部１５に、対象物Ｘとして、リンゴが特定された場合を示している。
【０１００】
この可視化画像として、ディスプレイ７０に表示させる対象物Ｘの情報としては、対象物Ｘが魚貝類、昆虫、哺乳類のような動物、または、花、木のような植物である場合、特定された対象物Ｘの種類すなわち対象物Ｘが属する群Ｈの他、この対象物Ｘの分類や、分布、形態、生態等の詳細な情報が挙げられる。
【０１０１】
なお、ディスプレイ７０には、記憶部１７に記憶された情報が表示されるが、スマートフォン１の通信機能を用いて、インターネット上に開示されている情報をディスプレイ７０に表示させるようにすることもできる。
【０１０２】
以上のような、スマートフォン１を電子図鑑として用いた、工程＜１Ａ＞〜工程＜４Ａ＞を経ることで、対象物Ｘの特定が実施される。
【０１０３】
なお、分光情報としての分光スペクトルと、記憶部１７に記憶されたデータベースとを比較する分光処理を、上記では、判別空間での距離mi(i=1,…,M)を用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
【０１０４】
また、上記の通り、スマートフォン１を１）電子図鑑として用いた場合、電子図鑑による対象物Ｘの特定は、上記のような動物または植物の特定に適用できる他、例えば、宝石のような鉱物、電車、車のような乗り物、雲、および、星座等の特定にも適用することができる。
【０１０５】
さらに、スマートフォン１を２）検出装置として用いた場合、検出装置で撮像した撮像領域における対象物Ｘの検出は、動物または植物の検出に適用できる他、例えば、宝石のような鉱物、雲および星座等の検出にも適用することができる。
【０１０６】
また、スマートフォン１を３）鑑定装置として用いた場合、鑑定装置による対象物Ｘの鑑定は、カバン、財布、時計および宝石等の物品に適用できる他、対象物Ｘの真偽に鑑定装置を適用した際には、動物、植物、雲および星座等の特定にも用いることができる。
【０１０７】
さらに、本実施形態では、分光情報として、対象物Ｘの反射率を用いて、対象物Ｘの特定を行う場合について説明したが、これに限定されず、例えば、対象物Ｘの透過率、吸光度や、クベルカ・ムンク変換データ等を分光情報として用いた場合においても、対象物Ｘの特定を行うことが可能である。
【０１０８】
また、本実施形態では、分光計測部１０は、分光カメラとして、光源３１と、分光部４１と、撮像素子２１とを備える場合について説明したが、分光計測部１０は、これらのうち、光源３１が省略されたものであってもよい。この場合、分光計測部１０は、分光計測部１０により分光画像を撮像する前記工程＜２Ａ＞では、対象物Ｘに対する光の照射は、太陽や室内照明等の外光により実施される。
【０１０９】
さらに、スマートフォン１において起動させるアプリケーションの種類を選択することで、スマートフォン１を、１）対象物Ｘとしての動物および植物等の種類を特定する電子図鑑、２）撮像した画像における対象物Ｘとしての動物および植物等の存在の有無や、存在する位置を検出する検出装置、さらには、３）撮像した画像における対象物Ｘとしての物品の真偽（真贋）や、経年劣化の程度を鑑定する鑑定装置として用いることができる他、前記アプリケーションの種類を変更して、スマートフォン１を、例えば、インターネットショッピングにおいて提供されている対象物Ｘを、表示部１５で表示させて購入する購買装置等として用いることもできる。
【０１１０】
また、本実施形態では、情報システムが、情報端末単独で完結しているものとして、スマートフォン１を一例にして説明したが、このような情報端末としては、スマートフォン１に限定されず、例えば、タブレット端末、ノート型パソコン、デジタルカメラ、デジタルビデオカメラ、車載用のモニター、ドライブレコーダー等であってもよい。なお、本実施形態のように、情報システムを、情報端末単独で完結している構成のものとすることで、オフラインでの使用を実現することが可能であるため、通信状況が不安定な場所であっても利用可能となる。
【０１１１】
さらに、本実施形態では、入力部１６がタッチパネルで構成される場合について説明したが、これに限定されず、入力部１６は、スマートフォン１の筐体に設けられた操作用ボタンであってもよいし、スマートフォン１が備えるマイクを介して音声により入力がなされるものであってもよいし、これらが組み合わされたものであってもよい。
【０１１２】
［光路変更部９０］
さて、スマートフォン１において起動させるアプリケーションの種類を選択することで、スマートフォン１を、前述のように、電子図鑑、検出装置、鑑定装置、さらには購買装置等の各種装置として用いることができるが、これらの各種装置としてスマートフォン１を用いる際には、撮像された対象物Ｘを、表示部１５において、このものを構成する液晶ディスプレイや有機ＥＬディスプレイ等の種類に影響を受けることなく、対象物Ｘが備える色を優れた再現性で再生することが求められる。
【０１１３】
このように、対象物Ｘが備える色を優れた再現性をもって、表示部１５において表示するために、スマートフォン１は、本発明の表示装置が適用され、スマートフォン１が備える筐体１１に対して、着脱可能に設けられた光路変更部９０を有している。換言すれば、上述したスマートフォン１、すなわち、筐体１１と、この筐体１１に収納された、入力部１６と、分光計測部１０と、制御部６０と、記憶部１７と、表示部１５とを、一体的に備える本体部としたとき、この本体部に対して、着脱可能に設けられた光路変更部９０を有している。
【０１１４】
この光路変更部９０は、表示部１５に表示された画像の光路を変更するためものであり、筐体１１に対して装着されることで、表示部１５に表示された画像が、この光路変更部９０を介して、分光計測部１０により撮像し得るように構成されている。以下、この光路変更部９０について、詳述する。
【０１１５】
光路変更部９０は、本実施形態では、図８に示すように、表示部１５に表示された画像を反射することで、この画像の光路を変更する光反射部９１と、光反射部９１を支持する支持部９２と、支持部９２を介して光反射部９１を筐体１１に固定するための固定部９３とを有している。
【０１１６】
支持部９２は、光反射部９１を支持するものであり、図８に示すように、本実施形態では、右側から見た平面視において平板状をなし、上端部において光反射部９１を支持し、下端部において固定部９３が設けられている。
【０１１７】
また、固定部９３は、支持部９２を介して光反射部９１を筐体１１に固定するためのものであり、本実施形態では、右側から見た平面視において平板状をなし、その中央部に、筐体１１の一端部を挿入することで、光路変更部９０を筐体１１に固定することが可能な大きさに設けられた凹部９３１を有している。
【０１１８】
固定部９３が有する凹部９３１に筐体１１の一端部を挿入して、光路変更部９０を筐体１１に固定することで、支持部９２を介して光反射部９１が筐体１１に固定され、これにより、筐体１１すなわちスマートフォン１に、固定部９３すなわち光路変更部９０が装着される。その結果、光反射部９１は、筐体１１の表側に設けられたディスプレイ７０すなわち表示部１５に対向して配置される。これに対して、この凹部９３１から、筐体１１の一端部を取り外すことで、筐体１１すなわちスマートフォン１から、固定部９３すなわち光路変更部９０が離脱される。このように、固定部９３が有する凹部９３１への筐体１１の一端部の挿入と、この凹部９３１からの筐体１１の一端部の取り外しとにより、光路変更部９０は、スマートフォン１から着脱可能となっている。
【０１１９】
光反射部９１は、光を反射させることで光路を変更するものであり、図８に示すように、本実施形態では、上側から見た平面視において平板状をなし、その左側の一端部が支持部９２の上端部で支持され、固定部９３が有する凹部９３１に筐体１１における左側の一端部を挿入して、筐体１１すなわちスマートフォン１に光路変更部９０が固定されることで、光反射部９１が表示部１５に対して対向配置される。
【０１２０】
この光反射部９１は、その下面が鏡面で構成されている。そのため、上記の通り、光反射部９１を表示部１５に対して対向配置することで、表示部１５に表示された画像が、光反射部９１で反射されることから、前記画像が、撮像素子２１に導かれる。その結果、前記画像が、撮像素子２１により撮像される。
【０１２１】
なお、光路変更部９０は、光反射部９１に代えて、プリズムまたは光導波路を備え、これにより、表示部１５に表示された画像が、撮像素子２１に導入されるように構成されていてもよい。
【０１２２】
以上のような構成をなす光路変更部９０を、筐体１１すなわちスマートフォン１に装着した状態で、スマートフォン１の表示部１５に画像を表示することで、この画像を、光路変更部９０を介して、分光計測部１０すなわち撮像素子２１により撮像することができる。そして、撮像素子２１で撮像された、表示部１５において表示された画像に基づいて、この表示された画像の補正を行うことで、この表示部１５を構成する液晶ディスプレイや有機ＥＬディスプレイ等の種類に影響を受けることなく、表示部１５において表示した対象物Ｘの色を、優れた再現性をもって再生することができるようになる。
【０１２３】
さらに、表示部１５と分光計測部１０とが筐体１１内に収納されることで、これらを一体的に備えるスマートフォン１に対して、表示部１５に表示された画像の光路を変更することが可能な光反射部９１を備える光路変更部９０を装着するという、比較的に単純な構成で、表示部１５に表示された画像を、分光計測部１０で撮像することができる。このように、画像を表示する表示部１５と、この画像を撮像する分光計測部１０すなわち撮像部とを、別体として用意する必要がない。そのため、対象物Ｘの色を、優れた再現性をもって再生するために用いる装置の煩雑化および大型化を招くのを的確に抑制または防止することができる。
【０１２４】
以下、スマートフォン１と、このスマートフォン１に対して装着された光路変更部９０とを用いて、表示部１５において表示される対象物Ｘの色を、優れた再現性をもって再生する再生方法、すなわち、本発明の再生方法について説明する。
【０１２５】
（再生方法）
スマートフォン１は、前述の通り、このものが備える分光計測部１０すなわち分光カメラにより撮像した画像を表示部１５で表示するように構成される。そして、この画像をフルカラーで表示するときには、表示部１５に表示される対象物Ｘの色を、表示部１５を構成する液晶ディスプレイや有機ＥＬディスプレイ等の種類による影響を受けることなく、分光計測部１０で撮像された対象物Ｘの色に一致させる必要がある。
【０１２６】
ここで、分光計測部１０で撮像された対象物Ｘの分光情報すなわちカラー・イメージデータは、表示制御部６０５において、国際照明委員会ＣＩＥで規定された三刺激値すなわち、Ｘ，Ｙ，Ｚ値に変換され、その後、表示制御部６０５は、このＸ，Ｙ，Ｚ値を、汎用プロファイルやカスタムプロファイルのようなモニタプロファイルを用いて導出された変換式（１）により、Ｒ，Ｇ，Ｂ値に変換した後に、このＲ，Ｇ，Ｂ値を表示部１５に供給することで、対象物Ｘの画像を表示部１５に表示させる。
この変換式は、具体的には下記式（１）のように表すことができる。
【０１２７】
【数１】
2020194051.tif 000003
【０１２８】
なお、Ｒ，Ｇ，Ｂ値を用いた、Ｘ，Ｙ，Ｚ値の導出は、前記変換式（１）の逆関数を用いることで行うことができる。
【０１２９】
しかしながら、表示部１５を構成するディスプレイの種類による影響を考慮して、対象物Ｘを分光計測部１０で撮像することにより得られたＸ，Ｙ，Ｚ値と、表示部１５に表示された対象物Ｘの画像を分光計測部１０で撮像することにより得られたＸ，Ｙ，Ｚ値とが一致するように、前記変換式（１）で求められるＲ，Ｇ，Ｂ値を補正する必要が生じる。換言すれば、前記変換式（１）を補正する必要が生じる。
【０１３０】
そこで、本発明の再生方法では、分光計測部１０で撮像された対象物Ｘの分光情報から算出されたＸ，Ｙ，Ｚ値に基づいて、前記変換式（１）式を用いて得られるＲ，Ｇ，Ｂ値を補正することで、表示部１５において表示される対象物Ｘの色を、優れた再現性をもって再生する。以下、この再生方法について説明する。
【０１３１】
［１］  まず、対象物Ｘの色を再生する再生方法では、表示制御部６０５は、図９に示すように、単色の所定の色を第１色とし、この第１色を対象物Ｘとして、表示部１５の全面または一部に第１色の画像を表示する（Ｓ１Ｄ）。
【０１３２】
なお、表示部１５に表示させる第１色のＸ，Ｙ，Ｚ値は、予め、測定することで明らかになっており、記憶部１７に記憶されているものとする。また、以下、このＸ，Ｙ，Ｚ値を、本明細書では、「Ｘ，Ｙ，Ｚ値（Ｉ）」と言うこともある。さらに、表示部１５において、その全面または一部が所定の色の１色で表示された画像のことを、「パッチ」と言うこととする。
【０１３３】
そして、表示制御部６０５は、この第１色のＸ，Ｙ，Ｚ値に基づいて、前記変換式（１）式を用いて第１色のＲ，Ｇ，Ｂ値を取得し、その後、このＲ，Ｇ，Ｂ値を用いて表示部１５に第１色の画像すなわち第１色のパッチを表示する。
【０１３４】
［２］  次に、分光画像取得部６０３は、分光計測部１０の作動を制御して、分光計測部１０により表示部１５に表示された第１色のパッチを、光路変更部９０を介して撮像する（Ｓ２Ｄ）。
この分光画像取得部６０３による撮像により、第１色の分光情報が取得される。
【０１３５】
［３］  次に、表示制御部６０５は、取得された第１色の分光情報を、Ｘ，Ｙ，Ｚ値に変換する（Ｓ３Ｄ）。
【０１３６】
なお、以下、このＸ，Ｙ，Ｚ値を、「Ｘ，Ｙ，Ｚ値（II）」と言うこともある。
また、表示制御部６０５は、第１色の分光情報およびそのＸ，Ｙ，Ｚ値を、記憶部１７に記憶させてもよい。
【０１３７】
［４］  次に、第１色とは異なる第Ｎ色（Ｎは、２〜ｎの整数）について、第Ｎ色のＸ，Ｙ，Ｚ値（Ｉ）が記憶部１７に記憶されているか否かを判定し、記憶されている場合には、第１色を第Ｎ色に代えて、前記工程［１］〜［３］を繰り返して実施し、記憶されていない場合には、次工程［５］に移行する（Ｓ４Ｄ）。このように、第１色とは異なる第Ｎ色まで、前記工程［１］〜［３］を繰り返して実施することで、表示部１５は、異なる複数の色の画像すなわちパッチを表示し、さらに、分光計測部１０は、これら複数の色のパッチを、光路変更部９０を介して撮像する。
【０１３８】
［５］  次に、表示制御部６０５は、記憶部１７に予め記憶された第１色〜第Ｎ色のＸ，Ｙ，Ｚ値（Ｉ）と、表示部１５により表示された第１色〜第Ｎ色の画像を分光計測部１０で撮像することにより得られたＸ，Ｙ，Ｚ値（II）とが近似するように、Ｒ，Ｇ，Ｂ値を求めるための前記変換式（１）を補正する（Ｓ５Ｄ）。
【０１３９】
この補正の方法としては、第１色〜第Ｎ色について、Ｘ，Ｙ，Ｚ値（Ｉ）とＸ，Ｙ，Ｚ値（II）とを、前記変換式（１）によりそれぞれＲ，Ｇ，Ｂ値に変換し、複数（Ｎ個）のＸ，Ｙ，Ｚ値（Ｉ）に対応したＲ，Ｇ，Ｂ値と、複数（Ｎ個）Ｘ，Ｙ，Ｚ値（II）に対応したＲ，Ｇ，Ｂ値とから補正曲線を算出し、これを補正テーブルとして用いて、前記変換式（１）を補正する。
【０１４０】
すなわち、前記変換式（１）を用いて得られるＲ，Ｇ，Ｂ値を補正する。換言すれば、表示制御部６０５は、分光計測部１０で取得された複数のパッチの撮像結果により得られた分光情報に基づいて、Ｘ，Ｙ，Ｚ値をＲ，Ｇ，Ｂ値に変換する際に用いるモニタプロファイルを補正する。
【０１４１】
以上のような工程を経ることで、Ｘ，Ｙ，Ｚ値を変換することで得られるＲ，Ｇ，Ｂ値が正しく補正される。したがって、表示制御部６０５は、補正されたモニタプロファイルを用いて、Ｘ，Ｙ，Ｚ値をＲ，Ｇ，Ｂ値に変換し、さらに、このＲ，Ｇ，Ｂ値を用いて対象物ＸのＲＧＢ画像を生成した後に、このＲＧＢ画像を表示部１５において表示するが、このＲＧＢ画像すなわち色彩値画像で表示される対象物Ｘの色を、優れた再現性をもって再生することができる。
【０１４２】
なお、本実施形態では、スマートフォン１が分光計測部１０を備える場合、すなわち、撮像部が分光カメラで構成される場合について説明したが、かかる構成に限定されず、スマートフォン１は、撮像部として、ＸＹＺカメラ、または、ＲＧＢカメラを備えるものであってもよい。
【０１４３】
＜＜第２実施形態＞＞
次に、情報システムの第２実施形態について説明する。
【０１４４】
図１０は、情報システムの第２実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。
【０１４５】
以下、第２実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１４６】
図１０に示す第２実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらに外部表示部１８を独立して備え、この外部表示部１８がスマートフォン１の外部の表示部としての機能を発揮すること以外は、前記第１実施形態の情報システムと同様である。すなわち、第２実施形態の情報システムでは、情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、外部表示部１８とを有している。
【０１４７】
第２実施形態の情報システムは、図１０に示すように、スマートフォン１が備える表示部１５の他に、さらに、スマートフォン１の外部に独立して設けられた外部表示部１８を備えており、外部表示部１８の作動がスマートフォン１により制御可能なように構成されている。なお、スマートフォン１と外部表示部１８との電気的な接続による、スマートフォン１による外部表示部１８の制御は、有線および無線のいずれであってもよい。
【０１４８】
かかる構成の第２実施形態の情報システムでは、外部表示部１８における画像の操作者による確認と、スマートフォン１による対象物Ｘを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。
【０１４９】
また、情報システムを、スマートフォン１と外部表示部１８とで完結している構成のものとすることで、スマートフォン１と外部表示部１８との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
【０１５０】
また、外部表示部１８としては、モバイルノートＰＣ、タブレット端末およびヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実（ＡＲ）において、例えば、対象物Ｘの特定された結果や、対象物Ｘが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。
【０１５１】
このような第２実施形態の情報システムによっても、前記第１実施形態と同様に、本発明の表示装置および再生方法を適用することができる。
【０１５２】
＜＜第３実施形態＞＞
次に、情報システムの第３実施形態について説明する。
【０１５３】
図１１は、情報システムの第３実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
【０１５４】
以下、第３実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１５５】
図１１に示す第３実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらにサーバー１００を独立して備えること以外は、前記第１実施形態の情報システムと同様である。すなわち、第３実施形態の情報システムでは、情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、サーバー１００とを有している。
【０１５６】
第３実施形態の情報システムでは、図１０に示すように、スマートフォン１は、さらに、送受信部１９を有しており、また、制御部６０において、この送受信部１９の作動を制御する送受信制御部６０６を有している。
【０１５７】
また、サーバー１００は、記憶部１１７と、送受信部１１９と、制御部１６０とを有し、制御部１６０は、記憶部１１７および送受信部１１９の作動を、それぞれ、制御するデータ取得部１６１および送受信制御部１６２を有している。
【０１５８】
このような本実施形態の情報システムにおいて、スマートフォン１が備える記憶部１７では、対象物Ｘを特定するためのデータベースの記憶が省略されており、これに代えて、サーバー１００が備える記憶部１１７に、このデータベースが記憶されている。
【０１５９】
そして、スマートフォン１が備える送受信部１９と、サーバー１００が備える送受信部１１９とは、データベースの受け渡しを実施する。すなわち、送受信部１９は、送受信部１１９に記憶部１１７からのデータベースの取得要請を送信し、サーバー１００から送受信部１１９を介してデータベースを受信する。また、送受信部１１９は、送受信部１９による記憶部１１７からのデータベースの取得要請を受信し、スマートフォン１に送受信部１９を介してデータベースを送信する。なお、送受信部１９と送受信部１１９との間におけるデータベースの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
【０１６０】
また、スマートフォン１が制御部６０において備える送受信制御部６０６は、送受信部１９の作動を制御して、送受信部１１９を介して、サーバー１００からデータベースを受け取り、分析処理部６０４は、送受信制御部６０６から、このデータベースを受け取り、これに基づいて対象物Ｘの特定を実施する。
【０１６１】
さらに、サーバー１００が制御部１６０において備えるデータ取得部１６１は、取得要請に応じて記憶部１１７に記憶されたデータベースを取得した後に、送受信制御部１６２に受け渡す。そして、送受信制御部１６２は、送受信部１１９の作動を制御して、送受信部１９を介して、サーバー１００からスマートフォン１に、このデータベースを受け渡す。
【０１６２】
かかる構成の第３実施形態の情報システムでは、情報システムが情報端末であるスマートフォン１単独で完結することなく、さらに、サーバー１００を備え、このサーバー１００が有する記憶部１１７において、データベースが保存され、このデータベースが対象物Ｘを特定する際に、送受信部１９、１１９を介してスマートフォン１に、送信されるようになっている。これにより、スマートフォン１が備える記憶部１７に大量のデータを記憶させる必要がなくなると言う利点が得られる。また、情報システムが、複数のスマートフォン１を備える場合、データベースの共有化を図ることができる。さらに、サーバー１００の記憶部１１７が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン１で利用するデータベースを最新のものとし得る。
【０１６３】
さらに、情報システムにおいて、スマートフォン１による対象物Ｘの特定をオフライン時に実施する場合には、オフライン時に、必要となるデータベースをサーバー１００が備える記憶部１１７からスマートフォン１が備える記憶部１７に記憶させておくようにすればよい。これにより、オフライン時であっても、スマートフォン１による対象物Ｘの特定を実施することができる。
【０１６４】
このような第３実施形態の情報システムによっても、前記第１実施形態と同様に、本発明の表示装置および再生方法を適用することができる。
【０１６５】
また、本実施形態では、情報システムが、情報端末としてのスマートフォン１と、サーバー１００とを有する場合について説明したが、情報システムは、スマートフォン１に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン１すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等で構成されるものであってもよい。
【０１６６】
さらに、本実施形態では、スマートフォン１が備える制御部６０は、前記第１実施形態と同様に、光源制御部６０１と、分光制御部６０２と、分光画像取得部６０３と、分析処理部６０４と、表示制御部６０５とを備えることとしたが、これらのうちの少なくとも１つは、サーバー１００が有する制御部１６０が備えるものであってもよい。
【０１６７】
＜＜第４実施形態＞＞
次に、情報システムの第４実施形態について説明する。
【０１６８】
図１２は、情報システムの第４実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
【０１６９】
以下、第４実施形態の情報システムについて、前記第１実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１７０】
図１２に示す第４実施形態の情報システムは、情報端末としてのスマートフォン１の他に、さらにサーバー１００を独立して備えること以外は、前記第１実施形態の情報システムと同様である。すなわち、第４実施形態の情報システムでは、情報システムが、情報端末であるスマートフォン１単独で完結することなく、情報端末としてのスマートフォン１と、サーバー１００とを有している。
【０１７１】
第４実施形態の情報システムでは、図１２に示すように、スマートフォン１は、記憶部および制御部６０における分析処理部を有しておらず、これに対して、スマートフォン１は、さらに、送受信部１９を有しており、また、制御部６０において、この送受信部１９の作動を制御する送受信制御部６０６を有している。
【０１７２】
また、サーバー１００は、記憶部１１７と、送受信部１１９と、制御部１６０とを有し、制御部１６０は、記憶部１１７および送受信部１１９の作動を、それぞれ、制御するデータ取得部１６１および送受信制御部１６２と、対象物Ｘの特定を行う分析処理部１６３とを有している。
【０１７３】
このような本実施形態の情報システムにおいて、スマートフォン１における記憶部の配置が省略され、これに代えて、サーバー１００が記憶部１１７を備えている。この記憶部１１７は、前記第１実施形態のスマートフォン１が備える記憶部１７と同様に、各種データが記憶されている。
【０１７４】
また、スマートフォン１が備える制御部６０における分析処理部の配置が省略され、これに代えて、サーバー１００が備える制御部１６０が分析処理部１６３を備えている。この分析処理部１６３は、前記第１実施形態のスマートフォン１が備える分析処理部６０４と同様に、対象物Ｘの分光スペクトルすなわち分光情報と、データベースとを比較することで、対象物Ｘの特定を実施する。
【０１７５】
そして、スマートフォン１が備える送受信部１９と、サーバー１００が備える送受信部１１９とは、各種データの受け渡しを実施する。具体的には、例えば、送受信部１９は、スマートフォン１で取得した対象物Ｘが有する固有の分光情報すなわち分光スペクトルを送受信部１１９に送信し、サーバー１００から送受信部１１９を介して対象物Ｘの特定された結果を受信する。また、送受信部１１９は、スマートフォン１で取得した対象物Ｘが有する固有の分光情報すなわち分光スペクトルを、スマートフォン１から送受信部１９を介して受信し、スマートフォン１に、送受信部１９を介して、対象物Ｘの特定された結果を送信する。なお、送受信部１９と送受信部１１９との間における各種データの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
【０１７６】
また、スマートフォン１が制御部６０において備える送受信制御部６０６は、送受信部１９の作動を制御して、分光画像取得部６０３で取得した、対象物Ｘの分光スペクトルすなわち分光情報を、送受信部１１９を介して、サーバー１００が備える分析処理部１６３に送信する。そして、分析処理部１６３は、データ取得部１６１の作動を制御することにより記憶部１１７に記憶されたデータベースを取得し、その後、分光情報とデータベースとを比較することで、対象物Ｘの特定を行う。
【０１７７】
さらに、サーバー１００が制御部１６０において備える送受信制御部１６２は、送受信部１１９の作動を制御して、送受信部１９を介して、サーバー１００からスマートフォン１に、分析処理部１６３による対象物Ｘの特定された結果を受け渡す。
【０１７８】
かかる構成の第４実施形態の情報システムでは、情報システムが情報端末であるスマートフォン１単独で完結することなく、さらに、サーバー１００を備え、このサーバー１００が有する記憶部１１７において、データベースが保存される。そして、サーバー１００が有する分析処理部１６３において、このデータベースに基づいて対象物Ｘの特定が行われ、その後、送受信部１９、１１９を介してスマートフォン１に、対象物Ｘの特定された結果が送信されるようになっている。これにより、スマートフォン１が備える記憶部に大量のデータを記憶させる必要がなくなり、さらに、スマートフォン１に、大きな計算負荷を掛ける必要がなくなると言う利点が得られる。また、分析処理部１６３を処理能力に優れたものとし、さらに、記憶部１１７に記憶されるデータベースの情報量をより詳細なものとすることで、より高精度に対象物Ｘを特定することが可能となる。
【０１７９】
また、情報システムが、複数のスマートフォン１を備える場合、データベースの共有化を図ることができる。さらに、サーバー１００の記憶部１１７が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン１で利用するデータベースを最新のものとし得る。
【０１８０】
このような第４実施形態の情報システムによっても、前記第１実施形態と同様に、本発明の表示装置および再生方法を適用することができる。
【０１８１】
また、本実施形態では、情報システムが、情報端末としてのスマートフォン１と、サーバー１００とを有する場合について説明したが、情報システムは、スマートフォン１に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン１すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）等で構成されるものであってもよい。
【０１８２】
さらに、本実施形態では、スマートフォン１が備える制御部６０は、前記第１実施形態と同様に、光源制御部６０１と、分光制御部６０２と、分光画像取得部６０３と、表示制御部６０５とを備えることとしたが、これらのうちの少なくとも１つは、サーバー１００が有する制御部１６０が備えるものであってもよい。
【０１８３】
以上、本発明の表示装置および再生方法を、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
【０１８４】
例えば、情報システムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
【０１８５】
また、情報システムでは、前記第１〜第４実施形態で示した任意の２以上の構成を組み合わせるようにしてもよい。
また、本発明の再生方法において、任意の工程が追加されたものであってもよい。
【符号の説明】
【０１８６】
１…スマートフォン、１０…分光計測部、１１…筐体、１５…表示部、１６…入力部、１７…記憶部、１８…外部表示部、１９…送受信部、２１…撮像素子、３１…光源、４１…分光部、４５…静電アクチュエーター、５１…回路基板、５２…回路基板、６０…制御部、７０…ディスプレイ、８１…第１分光部側光学系、８３…第１撮像素子側光学系、９０…光路変更部、９１…光反射部、９２…支持部、９３…固定部、１００…サーバー、１１７…記憶部、１１９…送受信部、１６０…制御部、１６１…データ取得部、１６２…送受信制御部、１６３…分析処理部、４１０…固定基板、４１１…固定反射膜、４１２…固定電極、４１３…溝、４１４…接合膜、４１５…反射膜設置部、４２０…可動基板、４２１…可動反射膜、４２２…可動電極、４２３…溝、４２５…反射膜設置部、６０１…光源制御部、６０２…分光制御部、６０３…分光画像取得部、６０４…分析処理部、６０５…表示制御部、６０６…送受信制御部、８１１…入射レンズ、８１２…投射レンズ、８３１…入出射レンズ、９３１…凹部、Ｘ…対象物
【図１】
2020194051.tif 000004
【図２】
2020194051.tif 000005
【図３】
2020194051.tif 000006
【図４】
2020194051.tif 000007
【図５】
2020194051.tif 000008
【図６】
2020194051.tif 000009
【図７】
2020194051.tif 000010
【図８】
2020194051.tif 000011
【図９】
2020194051.tif 000012
【図１０】
2020194051.tif 000013
【図１１】
2020194051.tif 000014
【図１２】
2020194051.tif 000015