(57)【要約】【課題】昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる画像識別システムを提供する。【解決手段】対象物を含む画像を撮像可能な撮像装置１２と、撮像装置１２と接続され、色情報を含む映像データを処理する画像処理装置１１と、画像処理装置１１と接続され、画像を表示する画像表示装置１３と、を備え、画像処理装置１１が、撮像装置１２から入力された映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をそのままの色か、所定の有彩色か、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクローム化された無彩色とする画像処理をし、画像処理後の映像データを画像表示装置１３に出力する画像識別システム。【選択図】図１
2020095325.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む画像を撮像可能な撮像装置と、
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をそのままの色か、所定の有彩色か、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクローム化された無彩色とする画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム。
【請求項２】
前記画像処理が、前記ユーザーが選択する一色以上の色が含まれる領域の色の色相、明度又は彩度を変更する処理、該領域を拡大する処理、該領域を点滅させる処理、該領域に矢印記号を付加する処理の少なくとも一つの処理を含む請求項１記載の画像識別システム。
【請求項３】
前記画像処理が、ユーザーが選択する色が含まれない領域の色の明度を下げる処理を含む請求項１又は２記載の画像識別システム。
【請求項４】
前記画像表示装置が、ヘッドマウントディスプレイである請求項１〜３のいずれか一項に記載の画像識別システム。
【請求項５】
前記撮像装置が、前記ヘッドマウントディスプレイに搭載されている請求項４記載の画像識別システム。
【請求項６】
前記対象物が、釣糸、浮き、釣竿、ルアー、餌、魚の少なくとも一つである請求項１〜５のいずれか一項に記載の画像識別システム。
【請求項７】
前記対象物が、工場における部品、ベルトコンベアのベルト、機械、安全靴の少なくとも一つである請求項１〜５のいずれか一項に記載の画像識別システム。
【請求項８】
前記画像処理装置が、ユーザーが選択する一色以上の色が含まれる領域の距離又は移動速度を計測し、この距離又は移動速度の計測結果を前記画像表示装置に出力する処理を含む請求項１記載の画像識別システム。
【請求項９】
前記画像処理装置が、２つ以上の対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する処理を含む請求項１記載の画像識別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別システムに関する。
【背景技術】
【０００２】
人間が目視にて物体をするには、その物体が発光しているか、あるいは他の発光体から放射される光をその物体が反射した光、のいずれかが目に到達し、これが刺激となって脳に伝わり、脳内で光の刺激情報が高度に処理される、というプロセスを経る。このプロセス中では、目に光が到達することが欠かせないため、物体が発光している場合を除いて、暗所で物体を認識することはできず、暗所での活動には、懐中電灯や照明などの、何らかの可視光線照射システムが必須となる。
【０００３】
こうした、知覚と脳の処理プロセスに着目し、夜間での物体の認知能力を高める工夫がある（特許文献１）。しかしながら、上記特許文献１に記載のシステムは、暗所でないとその効果を明確に発揮させることは難しかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６２０２２４１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
日中のような明所で物体の認知能力を高めることができれば、作業の確実性や安全性を高めることができる。
本発明は、上記の問題を有利に解決するものであり、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる画像識別システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
物体の認知能力を高めることに関し、脳内での刺激情報の処理は非常に複雑であることから、光の刺激情報が短時間に多量に押し寄せると、この処理が追いつかず、いわゆる見落とし、という現象が発生する。逆に言えば、観察に関係のない刺激情報を極力少なくした条件下であれば、非常にわずかな光刺激であっても、人間はたちどころに感知・認識することができる。
【０００７】
本発明者らは、特許文献１に記載のシステム及び上記の着想を基に、昼間のような明所で物体の認知能力を高めることができるシステムを開発するために研究開発を進めた結果、特許文献１のように光線を照射することなく昼間のような明所で物体の認知能力を高めるためには、対象物と関係のない部分の明度を下げる画像処理、及び対象物そのものの明度もしくは彩度を上げる画像処理のうちの少なくとも一つの処理を行い、処理後の映像データを表示させて視覚情報として目に入力させればよいことを見いだし、本発明に至った。
【０００８】
本発明の画像識別システムは、以下のものである。
［１］
対象物を含む画像を撮像可能な撮像装置と、
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をそのままの色か、所定の有彩色か、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム、
［２］
前記画像処理が、ユーザーが選択する一色以上の色が含まれる領域の色の色相、明度又は彩度を変更する処理、該領域を拡大する処理、該領域を点滅させる処理、該領域に矢印記号を付加する処理の少なくとも一つの処理を含む［１］の画像識別システム、
［３］
前記画像処理が、ユーザーが選択する色が含まれない領域の色の明度を下げる処理を含む［１］又は［２］の画像識別システム、
［４］
前記画像表示装置が、ヘッドマウントディスプレイである［１］〜［３］のいずれかの画像識別システム、
［５］
前記撮像装置が、前記ヘッドマウントディスプレイに搭載されている［４］の画像識別システム、
［６］
前記対象物が、釣糸、浮き、釣竿、ルアー、餌、魚の少なくとも一つである［１］〜［５］のいずれかの記載の画像識別システム、
［７］
前記対象物が、工場における部品、ベルトコンベアのベルト、機械、安全靴の少なくとも一つである請求項１〜５のいずれか一項に記載の画像識別システム。
［８］
前記画像処理装置が、ユーザーが選択する一色以上の色が含まれる領域の距離又は移動速度を計測し、この距離又は移動速度の計測結果を前記画像表示装置に出力する処理を含む［１］の画像識別システム、
［９］
前記画像処理装置が、２つ以上の対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する処理を含む［１］の画像識別システム。
【発明の効果】
【０００９】
本発明の画像識別システムによれば、昼間のような明所で物体の認知能力を高めることができ、ひいては釣りにおける釣り竿や釣り糸等の認識能力を高めたり、作業の確実性や安全性を高めたりすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の画像識別システムを説明するブロック図である。
【図２】本発明の一実施形態の画像識別システムの模式的な斜視図である。
【発明を実施するための形態】
【００１１】
本発明を端的に言えば、観察対象物以外の情報を見にくくし、さらに、必要に応じて観察対象物の情報を見えやすくした状態で、人間に与えることで、観察対象物を見つけやすく、認知しやすく、観察しやすい状態を提供するシステム、である。
以下、本発明の画像識別システムの実施形態を、図面を用いつつ、より具体的に説明する。
【００１２】
（実施形態１）
図１に、本発明の画像識別システムの実施形態１のブロック図を示す。図１において、画像識別システム１０は、画像処理装置１１と、当該画像処理装置１１に接続された撮像装置１２と、当該画像処理装置１１に接続された画像表示装置１３と、当該画像処理装置１１に接続されたユーザー選択色入力操作受け付け装置１４とを備えている。画像識別システム１０は、具体的に、図２に示すようなヘッドマウントディスプレイ１５と当該ヘッドマウントディスプレイに組み込まれたデジタルカメラ１６及びコンピュータ１７と、タブレット型端末１８の形態とすることができる。図２のヘッドマウントディスプレイ１５は、赤外線投光装置１９と、ヘッドフォン２０とを更に備えている例が示されている。ヘッドフォン２０は、警告音を発したり、後述する距離や速度の数値を読み上げたりすることができる装置とすることができる。また、コンピュータ１７は、通信機能が内蔵されていて、ヘッドマウントディスプレイ１５の外部に設けた送受信装置２１や、タブレット型端末１８と画像データ等を無線又は有線で通信可能になっている。
【００１３】
画像処理装置１１は、入力部１１１と、記憶部１１２と、演算部１１３と、制御部１１４と、出力部１１５とを備えている。入力部１１１は、撮像装置１２及びユーザー選択色入力操作受け付け装置１４からのデータが入力可能になっている。記憶部１１２は、半導体メモリや磁気ディスク等で構成され、入力部１１１や演算部１１３からのデータが読み込まれ、記憶され、必要に応じて演算部等に書き出される。また、記憶部１１２は、制御部１１４で実行されるプログラムが記憶され、読み出される。演算部１１３は、画像処理及び画像処理に付随する処理を行い、制御部１１４は、演算部１１３で画像処理等をするための指示を演算部１１３に行う。演算部１１３及び制御部１１４は、回路により構成される。出力部１１５は、演算部１１３で画像処理される前の映像データ、または画像処理後の映像データ、その他の映像データが出力可能になっていて、必要に応じて文字情報等を映像データにオーバーレイで表示可能になっている。また、出力部１１５は、必要に応じて警告音などの音声信号を出力可能になっている。画像処理装置１１は、撮像装置１２で撮像された画像を基に、仮想現実（ＶＲ）、拡張現実（ＡＲ）や複合現実（ＭＲ）を画像表示装置１３で表示するための装置とすることができる。画像処理装置１１は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに組み込まれる装置とすることができ、図２においてはコンピュータ１７である。
【００１４】
撮像装置１２は、撮影された物から反射される光を、レンズを通して受光して電気信号に変換する撮像素子が二次元的に配列されたエリアイメージセンサを備え、カラーフィルターを通して撮像素子が受光した光を光電変換して、撮像素子の配列に対応した画素ごとに例えばＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体のイメージ情報のデータに変換可能になっている。このエリアイメージセンサは、一画面全体の静止画像情報を所定のフレームレートで取得可能である。撮像装置１２は、可視光を光電変換できるものに限られず、赤外線の波長の光を光電変換可能なものであってもよい。また、赤外線の波長の光を対象物から撮像装置が受光できるように、撮像装置１２に付随して、又は撮像装置１２以外の装置として、光投射装置、例えば可視光投射装置や赤外線投光装置を画像識別システム１０は含むことができる。撮像装置１２は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに取り付けられた装置とすることができ、その構成は、例えばデジタルカメラの一部又は全部を用いることができ、図２においてはデジタルカメラ１６である。また、図２は、上述の赤外線投光装置１９を備えている。可視光投射装置や赤外線投光装置を備えることにより、照度が足りないときの光源となって撮像の補助をするとことができる。なお、可視光投射装置や赤外線投光装置は、連続光源でもよいし、間欠光源であってもよい。間欠光にすることにより消費電力を抑えることができ、また、釣りにおける魚への影響も少なくすることが期待できる。
【００１５】
画像表示装置１３は、出力部１１５から出力された信号に基づいて一画面全体の静止画像を所定のフレームレートでカラー表示可能である。撮像装置１２は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイとすることができる。ヘッドマウントディスプレイは、透過型のヘッドマウントディスプレイを含む。画像表示装置１３は、図２においてはヘッドマウントディスプレイ１５である。ヘッドマウントディスプレイ１５に組み込まれた撮像装置１２としてのデジタルカメラ１６は、ヘッドマウントディスプレイ１５の画面の近傍、例えば、眼鏡タイプのヘッドマウントディスプレイにおける眼鏡の智（よろい）の位置やブリッジの位置に設けられることが好ましい。デジタルカメラ１６が、ヘッドマウントディスプレイ１５の画面の近傍に設けられることにより、言い換えれば、ヘッドマウントディスプレイ１５が装着されたユーザーの目に近い位置に設けられることにより、ユーザーの本来の視線とのズレが小さく、位置補正の必要性がなくなる。
【００１６】
ユーザー選択色入力操作受け付け装置１４は、画像表示装置１３又は画像表示装置１３とは別個の、ユーザーが色を選択するための画像を表示可能な装置に表示された画像から、ユーザーが対象物を表示している色として当該画像に表示されている色を選択する操作を受け付けて、その色情報を画像処理装置１１の入力部１１１に入力する装置である。また、このユーザー選択色入力操作受け付け装置１４を用いて、対象物を表示している色としている色を、ユーザーが指定する任意の色に変換するために当該任意の色を選択する操作を受け付けて、その色情報を画像処理装置１１の入力部１１１に入力するようにすることができる。ユーザー選択色入力操作受け付け装置１４は、図２においてはタブレット型端末１８である。
【００１７】
ユーザー選択色入力操作受け付け装置１４は、例えば、タッチパネル、マウス、コントローラ等のポインティングデバイス、視線入力や音声入力などの入力デバイスがあり、またＲＧＢカラーモデルにおける例えば２５６階調で表される色又は色の範囲を、数値で直接入力したり、画像表示装置にオーバーレイされたスライドバーやスポイトツールで入力したりする装置とすることもできる。ユーザー選択色入力操作受け付け装置１４は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに取り付けられた装置又はヘッドマウントディスプレイに接続された装置とすることができる。図２のタブレット型端末１８は、コンピュータ１７と無線で接続されている。タブレット型端末１８はスマートフォンのように画像に表示し得る画面と、当該画面に重ねて設けられたタッチパネルとを有している。画面に表示された画像の色を、タッチパネルで選択することにより入力できるようになっている。タブレット型端末１８とコンピュータ１７との接続は無線に限られず、有線で接続されるようにしてもよい。またコンピュータ１７と接続されるユーザー選択色入力操作受け付け装置１４は、タブレット型に限られず、スティック型やパッド型のゲームコントローラーのようなものであってもよい。
【００１８】
画像識別システム１０の動作を説明する。
ユーザーが、撮像装置１２により対象物を含む視域を撮像すると、撮像された映像は撮像装置１２により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データとすることができる。もっとも、数値データは２５６階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置１２で作成された静止画像データは画像処理装置１１における画像処理や画像表示装置１２における画像表示の基準となるデータであるので、撮像装置１２は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置１２は十分にキャリブレーションされていることが好ましい。
【００１９】
かかる映像データは、画像処理装置１１に入力部１１１から入力され、演算部１１３で所定の画像処理をされるか、又は、画像処理をされることなく出力部１１５に送られ、出力部１１５に接続された画像表示装置１３で動画が表示される。また、入力部１１１からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部１１２に記憶される。
【００２０】
演算部１１３における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置１２からの映像データに画像処理をしないで出力部１１５に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
【００２１】
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置１４をユーザーが操作することにより，画像表示装置１３又は画像表示装置１３とは別個の画像表示装置に、記憶部１１２に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置１３に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置１３に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばＲＧＢカラーモデルにおける２５６階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にＲＧＢの値でそれぞれ特定数値から±３〜５％程度以内の数値の相違を、換言すれば２５６階調の場合は±８〜１３階調程度以内の階調差の色を、近似した色と見なす設定を、記憶部１１２に記憶させておき、この設定を記憶部１１２から読みだして調整することができる。また、ユーザーの入力により任意の数値範囲を調整することができるようにしてもよい。また、赤外線の撮像装置ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置１４から画像処理装置１１の入力部１１１に入力され、記憶部１１２に記憶される。
【００２２】
ユーザーが選択色を入力した後は、撮像装置１２からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は所定の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部１１５に送られる。所定の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。また、ユーザーによって光への感受性が異なる場合に、そのユーザーの光への感受性に応じた適切な明度や彩度に調整した色とすることができる。更に、色覚障害者や視覚異常者や加齢により黄色味を帯びた像が見える人のために、色覚障害者や視覚異常者や加齢者に見ることができる、又は見易い適切な色相の色にすることができる。
【００２３】
この画像処理では、演算部１１３において、記憶部１１２からユーザーが選択した色又は色範囲の数値データを読み出し、入力部１１１から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換える。強調された無彩色とは、モノクローム化されたことによる無彩色よりも明度が上げられた無彩色のことをいう。含まれていない場合には、その画素の数値データを、色がモノクローム化された無彩色となるような数値に置き換える。色がモノクローム化された無彩色となるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクローム化された無彩色となるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。上記の明度をより下げる処理には、画像表示装置の画面において、枠状又はピラー状の暗部を形成するようなものであってもよい。これにより、ユーザーの認識力をより高めることが期待できる。
【００２４】
さらに、ユーザーが選択した対象物と同じ又は類似の色を有する別の物が静止画像内に含まれていて、画像内における当該別の物の大きさが対象物の大きさよりも小さい場合に、当該別の物は、ユーザーが観察する対象物ではないとみなして、当該別の物の色を、モノクロームとする画像処理を、必要に応じて行うことができる。このような同色または類似の色を有する別の物についての画像処理は、一例として、上記画像処理後の映像データを、演算部１１３に入力して、画像認識プログラムを実行して、映像データの各静止画像のうち、各画素の数値データについて、変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換えられたものの数を計数して、その数の大きさにより映像データの各静止画像における対象物及び別の物の大きさを求め、その大きさが、静止画像の全体の大きさ（画素数）に対して特定割合以下のものであるときに、その特定割合以下のものは別の物と判定して、その特定割合以下のもの画素の数値データを、モノクロームとする画像処理を行う。別の物と判定する基準は、静止画像の全体の大きさ（画素数）に対する特定割合以下のものに限られず、対象物の大きさに対する特定割合以下の大きさのものを別の物と判定するのでもよいし、ユーザの入力により判定するのでもよい。また、特定割合の設定については、適切な割合を予め設定して記憶部１１に記憶していてもよいし、ユーザが割合を設定及び変更できるようにしてもよい。また、対象物の色に応じて設定値を変えてもよい。
かかる画像処理装置１１における、物の大きさを計測する処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。
【００２５】
上述した画像処理により、本実施形態の画像識別システム１０は、出力部１１５から出力され、画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色の領域であり、それ以外の領域がモノクロームとして例えば公知のグレースケール変換により線形の輝度の数値で表示された領域であり、いわゆるパートカラーの映像である。したがって、ユーザーは、対象物と関係のない部分の明度が下げられた映像が視覚情報として目に入力されるので、対象物の認知能力を高めることができ、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる。
【００２６】
また、上述した画像処理は、対象物の色により当該対象物を特定する処理であり、公知技術であるところの、対象物の二次元的な輪郭を抽出して当該対象物を特定するような処理に比べて処理負荷が軽い。したがって、画像識別システムの小型化、低消費電力化に寄与することができるとともに、所定フレームレートで入力される複数の静止画像データを順次に処理することが容易であり、よって、対象物の動きを観察することができるので、ユーザーの認知能力を高めることができ、しかもタイムラグが少なく、実質的にリアルタイムの観察ができる。
【００２７】
演算部１１３における画像処理は、上述した処理を基本として、派生的な処理をすることができる。例えば上述した画像処理では、撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は任意の有彩色又は強調された無彩色の数値データに置き換えているが、ユーザーが選択した色又は色範囲の数値データに含まれる画素に対して所定の画素単位で隣接している画素についても、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えるように画像処理することができる。これにより、画像処理後に画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域よりも拡大された領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色で表示される。したがって、例えば対象物が糸のように細い物体である場合に，その糸を現実の太さよりも太く表示させることで強調して、物体の認知能力をより高めることができる。
【００２８】
また、撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域を、経時的に点滅させる画像処理をすることができる。点滅させる画像処理は、例えば、所定のフレームレートで入力部１１１から演算部１１３に入力された映像データの静止画像におけるユーザーが選択した色又は色範囲の数値データに含まれる画素に対して、そのままの色又は有彩色又は強調された無彩色の数値データに置き換える処理と、モノクロームの数値データや黒色の数値データ（０，０，０）に置き換える処理とを所定の間隔で交互に切り替えることで実現できる。これにより、画像処理後に画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域が点滅して表示される。したがって、例えば対象物が糸のように細い物体である場合に，その糸を強調して、物体の認知能力をより高めることができる。
【００２９】
また、上述した撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域に矢印記号を付加する画像処理をすることができる。
【００３０】
本実施形態の画像識別システム１０は、デジタル処理によりパートカラーの映像としていることにより、以下の効果を奏することが期待できる。
（１）  対象物の色として任意の色を静止画像データから抽出してパートカラー化できるので、観察したい物体の色情報及び、当該色情報が撮像するその日の天候や光の量、場所により変動し得ることに対応して、一番適切な色の光を自在に選択することができる。これに対して、アナログ的なバンドパスフィルターを用いた場合には、フィルター１枚に対して１種類の色のみが通過するので、対象物の色の数に応じて多数のフィルターを用意する必要があり、コスト的にも操作上も好ましくなかった。
（２）  実際の対象物を、より強調（太くする、点滅させる、矢印記号を付加するなど）させることができる。
（３）  逆に、対象物以外の領域、すなわち背景を、ぐっと弱調することができる。
（４）  対象物が有している色としてユーザーが選択する色として、複数の色を選択することにより、対象物以外の情報をも強調表示することができる（例えば、糸を観察したいが、それ以上に自分の足場が何処までか、を強調表示する、など）。
（５）  対象物の実際の色とは異なる色相、明度又は彩度の色で強調することもできる。
（６）  他のセンシング技術と組み合わせ、その場に適した強調の趣向を自動で変化させることができる。
【００３１】
また、本実施形態の画像識別システム１０は、デジタルカメラなどの撮像装置で撮影した映像を、元の画像として使うことにより、以下の効果を有している。
（７）  高感度の撮像装置や暗視用の撮像装置を用いることにより、人間の目よりも感度を高められる（ナイトビジョンなど）。
（８）  人間の目に知覚しない波長の光を光源として使うことで、他に気づかれないようにすることができる（紫外線、赤外線）。これらの波長の光源を用いる際に、対象物の表面に蛍光剤を形成させておけば、より効果に優れる。
（９）  バンドパスフィルターと異なり、波長ではなく、例えばＲＧＢの比率で色を識別するため、色の選択肢が増え、色分解能が上がる。
【００３２】
本実施形態の画像識別システム１０は、次のような用途が考えられる。
釣りにおける釣糸や浮き、釣竿の先端部、又はルアーを対象物としてユーザーが選択すると、昼間のような明所においても、釣糸や浮き、釣竿の先端部、ルアーの動きを強調して観察することができ、釣果の向上が期待できる。また、水中に撒く餌に、押麦のような白色の餌を視認性向上のために混合することがあり、この押麦の色をユーザーが対象物として選択することにより、潮の流れを強調して観察することができる。更に、水中の魚を対象物としてユーザーが選択することにより、魚の動きを強調して観察することができる。この水中の魚を対象物とするときには、撮像装置１２が偏光フィルターを通して受光するようにすることができる。したがって、本実施形態の画像識別システム１０は、釣糸認識用の画像識別システムとすることができ、また、釣竿認識用の画像識別システムとすることができ、また、ルアー認識用の画像識別システムとすることができ、また、餌認識用の画像識別システムとすることができ、また、魚認識用の画像識別システムとすることができる。
また、岸壁の色を対象物としてユーザーが選択して、岸壁に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
【００３３】
また、産業では部品の組み立ての際に組み立ての順序が決まっている場合に、部品を色分けしておき、順序ごとに例えば一つ部品の取り付けを終えたらその部品の色の強調を止め、次の色の部品を強調するような画像処理を行うことで、部品の組み付けミスなどを減らすこともできる。また部品を搬送するベルトコンベアのベルトの色を選択することでベルトの動きを感知して、最も作業性の高い位置に部品を置く、身体を置く、などを支援することも考えられる。したがって、本実施形態の画像識別システム１０は、部品認識用の画像識別システムとすることができる。
また、安全靴の先端に付けた色と、機械の色とを対象物としてユーザーが選択して、ユーザーが履いている安全靴が機械に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
また、作業現場の色を対象物としてユーザーが選択して、あまりにも長い時間に選択色がカメラに入力されない場合、画像処理装置の出力部から外部の送受信装置に警告信号を送信するようにして、作業者が倒れたり、作業を怠っていたりする時に外部に通知するようにすることができる。
【００３４】
（実施形態２）
次に、本発明の画像識別システムの実施形態２を説明する。本実施形態の画像識別システムは、基本構成は実施形態１の画像識別システムと同じであり、図１に示したブロック図の構成を有している。したがって、図１に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物を含む距離又は対象物の移動速度を計測し、計測結果を表示する機能を有している。
例えば距離の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、画像処理装置１１が、選択された色の個数をカウントすることにより、ある位置からある位置までの実距離を計測することができる。
【００３５】
距離の計測は、具体的には、ユーザーが、撮像装置１２により対象物を含む視域を撮像すると、撮像された映像は撮像装置１２により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データとすることができる。もっとも、数値データは２５６階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置１２で作成された静止画像データは画像処理装置１１における画像処理や画像表示装置１２における画像表示の基準となるデータであるので、撮像装置１２は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置１２は十分にキャリブレーションされていることが好ましい。
【００３６】
かかる映像データは、画像処理装置１１に入力部１１１から入力され、演算部１１３で所定の画像処理をされるか、又は、画像処理をされることなく出力部１１５に送られ、出力部１１５に接続された画像表示装置１３で動画が表示される。また、入力部１１１からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部１１２に記憶される。
【００３７】
演算部１１３における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置１２からの映像データに画像処理をしないで出力部１１５に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
【００３８】
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置１４をユーザーが操作することにより，画像表示装置１３又は画像表示装置１３とは別個の画像表示装置に、記憶部１１２に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置１３に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置１３に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばＲＧＢカラーモデルにおける２５６階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にＲＧＢの値でそれぞれ特定数値から±３〜５％程度以内の数値の相違を、換言すれば２５６階調の場合は±８〜１３階調程度以内の階調差の色を、近似した色と見なすことができる。ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置１４から画像処理装置１１の入力部１１１に入力され、記憶部１１２に記憶される。
【００３９】
ユーザーが選択色を入力した後は、撮像装置１２からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色の色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部１１５に送られる。任意の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。
【００４０】
この画像処理では、演算部１１３において、記憶部１１２からユーザーが選択した色又は色範囲の数値データを読み出し、入力部１１１から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる所定の有彩色又は強調された無彩色の数値データに置き換える。含まれていない場合には、その画素の数値データを、色がモノクロームとなるような数値に置き換える。色がモノクロームとなるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクロームとなるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。
【００４１】
上述の対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理後の映像データは、演算部１１３に再度入力され、画像認識プログラムを実行して選択された色の個数をカウントする処理を行う。かかる画像処理装置１１における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。そして計測結果は、出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
【００４２】
例えば移動速度の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、上述の距離の計測と同様にして対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理を行い、画像処理後の映像データは、演算部１１３に再度入力され、画像認識プログラムを実行して選択された色の移動速度を算出する処理を行う。画像処理装置１１が、ある時点のフレームの静止画像データと、その後のフレームの静止画像データとを比較して、そのフレーム間の時間で、選択された色がどれだけの距離で移動したか、又は回転運動でどれだけ回転したかを公知の画像処理により計測することにより、対象物の移動速度（回転運動における角速度を含む）を計測することができる。かかる画像処理装置１１における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知のプログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。そして計測結果は、出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
【００４３】
距離や速度の計測の機能を有する本実施形態の画像識別システムは、次のような用途が考えられる。
釣りにおいて、数十メートルごとに色が塗り分けられた糸を用いて、ユーザーが当該塗り分けられた色を選択することにより、水深や飛距離を計測し、表示することができる。また、１メートル等の等間隔に着色された糸を用いて、リールの巻き取る速度、すなわち、ルアーの泳ぐ速度を表示することができる。さらには、かかる速度の計測値に基づいて、適切な巻き取り速度から外れた場合にアラートを画面表示又は音声で出力することができる。また、目盛が着色されたスケールマーカーなどを用いて、釣り上げた魚の体長を測定することができる。
また、工場における作業物の色をユーザーが選択することにより、作業物の移動スピードが速過ぎるとか遅過ぎる場合に、外部の送受信装置に警告信号を送信することもできる。
【００４４】
なお、画像表示装置１３は、上述した速度や距離の数値や図形情報ばかりでなく、潮汐、風、地形、気温・水温、気圧等の様々な情報を表示できるようにしてもよい。
【００４５】
（実施形態３）
次に、本発明の画像識別システムの実施形態３を説明する。本実施形態の画像識別システムは、基本構成は実施形態１の画像識別システムと同じであり、図１に示したブロック図の構成を有している。したがって、図１に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する機能を有している。
【００４６】
例えば対象物を、建物内で立ち入りが禁止される区域があり、その区域を仕切る壁に設けられて人が出入り可能な扉が特定の色に着色されている場合の、その扉とする。ユーザー又はユーザーの管理者は、その扉の色を選択する。ユーザーが、立入禁止区域に入ろうと、特定色の扉の前に来たときに、画像処理装置１１が、選択された色を検知して、警告を画像表示装置１３に出力する。対象物は扉に限られず、立入禁止区域の床面が特定の色に着色されたものでも、同様の警告をすることができる。なお対象物が床面の場合は、撮像装置の光軸が床面に対向するように取り付けられていることが好ましい。
【００４７】
かかる画像処理装置１１における、選択された色を検知する処理は、例えば、演算部１１３が、その色の数値データがあるか否かを判別する処理とすることができる。そして検知したときは出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として警告を文字情報又は図形情報として出力される。また図２に示すようにヘッドマウントディスプレイ１５に付随してスピーカーとしてのヘッドフォン２０を有している場合には、出力部１１５から警告音を発することができる。
【００４８】
本実施形態の画像識別装置は、立入禁止区域に入ろうとしたときの検知を単に内装の色分けだけで可能にするので、検知のために他の接触スイッチや非接触スイッチを設ける必要がない。
また本実施形態の画像識別システムは、施設のルート案内に利用することもできる。
【００４９】
以上、本発明の画像識別システムを、画像表示装置がヘッドマウントディスプレイである実施形態により説明したが、画像表示装置はヘッドマウントディスプレイに限定されない。例えば、自動車の前面ガラスに投影して画像表示装置とするヘッドアップディスプレイとすることもできる。本発明は車両用の画像識別システムとして、例えば自動車の運転時に、風景などを白黒にし、標識やブレーキランプや人などの障害物の色を選択して強調表示することで、疲れにくく安全な運転が可能になる。
【符号の説明】
【００５０】
１０  画像識別システム
１１  画像処理装置
１２  撮像装置
１３  画像表示装置
１４  ユーザー選択色入力操作受け付け装置
１１１  入力部
１１２  記憶部
１１３  演算部
１１４  制御部
１１５  出力部
【図１】
2020095325.tif 000003
【図２】
2020095325.tif 000004