(57)【要約】【課題】本発明の目的は、必要な機能をカメラもしくは受信ユニットに適切に追加することができるカメラシステムを提供することにある。【解決手段】本発明のカメラシステムは、カメラと受信ユニットを同軸ケーブルで接続するカメラシステムであって、監視カメラは撮像素子から出力された信号を映像信号処理する第１動的再構成デバイスと、第１動的再構成デバイスの構成を設定する第１コンフィギュレーションデータを保持する第１不揮発メモリと、第１コンフィギュレーションデータを第１動的再構成デバイスへロードするとともに、ロードすることによって設定された第１動的再構成デバイスが行う映像信号処理を特定可能な情報がケーブルから出力されるように制御する第１ＣＰＵと、複数の第２コンフィギュレーションデータからロードすべきものを選択してロードする第２ＣＰＵとを有することを特徴とする。【選択図】  図４
2018182367.tif 000002
【特許請求の範囲】
【請求項１】
カメラと受信ユニットを同軸ケーブルで接続するカメラシステムであって、
前記監視カメラは、撮像素子から出力された信号を映像信号処理する第１動的再構成デバイスと、前記第１動的再構成デバイスの構成を設定する第１コンフィギュレーションデータを保持する第１不揮発メモリと、前記第１コンフィギュレーションデータを第１動的再構成デバイスへロードするとともに、前記ロードすることによって設定された前記第１動的再構成デバイスが行う映像信号処理を特定可能な情報が前記ケーブルから出力されるように制御する第１ＣＰＵと、を有し、
前記受信ユニットは、前記監視カメラから出力され前記ケーブルを介して受信した映像信号を映像信号処理する第２動的再構成デバイスと、前記第２動的再構成デバイスの構成を設定する複数の第２コンフィギュレーションデータを保持する第２不揮発メモリと、前記監視カメラから出力された前記特定可能な情報に基づいて、前記複数の第２コンフィギュレーションデータからロードすべきものを選択してロードする第２ＣＰＵと、を有し、
前記受信ユニットから出力する所定形式の映像信号は、前記第１動的再構成デバイスと前記第２動的再構成デバイスとによって分担された映像信号処理を受けた信号であることを特徴とするカメラシステム。
【請求項２】
請求項１に記載のカメラシステムであって、
前記受信ユニットはメモリを有し、第２動的再構成デバイスは前記メモリを用いて、フレーム間演算を伴う映像信号処理を行う一方、
前記第１動的再構成デバイスは、フレーム間演算を伴う映像信号処理を行わないことを特徴とするカメラシステム。
【請求項３】
請求項１に記載のカメラシステムであって、
前記第１動的再構成デバイスは、入力された４色以上の映像信号を、３色の映像信号に変換する第１色補正器を有し、
前記受信ユニットは、前記色補正器で補正された映像に映った所定の被写体を学習し認識する人工知能を有し、
前記色補正器は、クラスタリング器、マッピングテーブル、変換行列テーブル、減算器、行列掛け算器、及び加算器を用いて色補正処理を行い、
前記人工知能は、多層ニューラルネット、学習処理器、学習データストア、学習履歴ストア、及び第２色補正器で構成していることを特徴とするカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ本体と受信ユニットからなるカメラシステムに関するものである。
【背景技術】
【０００２】
従来のカメラシステムの概要を図１〜図３で示す。
監視カメラ１０１は撮像素子から出力される画像信号に信号処理を施して、映像信号を出力している。映像信号処理部１６には、蓄積処理部３７、ゲインアップ器３１、γ補正３５、ニー処理器３３、色補正器(マスキング)３２、エンハンサ３４、WDR（ワイドダイナミックレンジ）、霧霞補正器(DEFOG）３９、DNR（デジタルノイズリダクション）処理器３６、電子ズームなどがある。受信ユニット１０２はカメラから、HD-VLC(商標)またはHD-SDI(High  Definition-Serial  Digital  Interface)等の圧縮/非圧縮映像信号を受信し、様々なモニタや記録装置に接続できるようにフォーマット変換を行い、VBS(Video(映像信号）、Burst(カラーバースト信号)、Sync(同期信号))出力、DVI-D出力、アナログRGB(Red,  Green,  Blue)出力、HD-SDI出力できるようになっている。
【０００３】
監視カメラ１０１と受信ユニット１０２による構成の最大のメリットは、カメラからHD-VLC圧縮伝送方式で出力し、受信ユニットでHD-SDI信号に復元することで、最大300mの同軸ケーブル１０３で伝送できることにある。これにより既設の同軸ケーブルを使用してアナログカメラからHD-SDIカメラへのカメラ変更が可能となった。また、従来の監視カメラ１０１と受信ユニット１０２には映像信号処理を行うためにFPGA(Field  Programmable  Gate  Array)１２，２２を搭載している。動的再構成デバイスの一種であるFPGAのメリットは、信号処理のカスタマイズが容易に行えることで、機能追加などの要望にすぐ対応することが可能である。その反面デメリットは市販品の信号処理LSIチップ（SoC）に比べると消費電力が大きく、機能追加などでさらに消費電力が上がり、それに伴いカメラ本体の温度が上昇してしまう点である。
【０００４】
従来はカメラ単体のみで様々な機能を満足するように機能追加などを行ってきたため、カメラの消費電力増加に伴う本体の温度上昇を避けられなかった。
そこで、カメラと受信ユニットをセット構成にすることで、カメラのみに機能を追加する必要はなく、受信ユニット側に機能を追加することでカメラの消費電力を抑えることが可能になる（例えば特許文献１乃至３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５４４６２号公報
【特許文献２】特開２００７−２２１６８４号公報
【特許文献３】特許登録第５８７４５１９号公報
【特許文献４】特開２０１１−１３５５３２号公報
【特許文献５】特開２００７−０３６７８７号公報
【特許文献６】特開２０１０−１３６０３２号公報
【特許文献７】特開２０１４−０３６４１４号公報
【特許文献８】特開平０９−１３９９３９号公報
【特許文献９】特許登録第５５３５４７６号公報
【特許文献１０】特許登録第２９９５６８３号公報
【特許文献１１】特開２０１１−２５９０４７号公報
【特許文献１２】特開２０１４−１７１１１９号公報
【非特許文献】
【０００６】
【非特許文献１】“28nm  FPGA  の多機能性を向上させるパーシャル & ダイナミック・リコンフィギュレーション”、［online］、2010年、Altera  Corporation、[2017年2月28日検索]、インターネット＜https://www.altera.co.jp/ja_JP/pdfs/literature/wp/wp-01137-stxv-dynamic-partial-reconfig_j.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、組み合わせるカメラと受信ユニットが固定ではない場合、組合せによっては機能の重複または不足が生じうる。機能が重複していても、一方の機能を停止させれば問題は無いが、それはハードウェアのリソースを有効に利用できていないことを意味する。
またユーザが求める画像処理は多様であり、カメラと受信ユニットのセット構成にしたとしても、実行可能な処理が不足する可能性がある。需要に応じて様々な機能に対応しようとすると、カメラ側で行うべき処理の種類が増え、多くの機種を用意しなければならないという問題がある。
【０００８】
本発明の目的は、上記問題点に鑑み、必要な機能をカメラもしくは受信ユニットに適切に追加することができるカメラシステムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明のカメラシステムは、カメラと受信ユニットを同軸ケーブルで接続するカメラシステムであって、監視カメラは撮像素子から出力された信号を映像信号処理する第１動的再構成デバイスと、第１動的再構成デバイスの構成を設定する第１コンフィギュレーションデータを保持する第１不揮発メモリと、第１コンフィギュレーションデータを第１動的再構成デバイスへロードするとともに、ロードすることによって設定された第１動的再構成デバイスが行う映像信号処理を特定可能な情報がケーブルから出力されるように制御する第１ＣＰＵとを有し、受信ユニットは監視カメラから出力されケーブルを介して受信した映像信号を映像信号処理する第２動的再構成デバイスと、第２動的再構成デバイスの構成を設定する複数の第２コンフィギュレーションデータを保持する第２不揮発メモリと、監視カメラから出力された特定可能な情報に基づいて、複数の第２コンフィギュレーションデータからロードすべきものを選択してロードする第２ＣＰＵとを有し、受信ユニットから出力する所定形式の映像信号は第１動的再構成デバイスと第２動的再構成デバイスとによって分担された映像信号処理を受けた信号であることを特徴とする。
【００１０】
また、受信ユニットはメモリを有し、第２動的再構成デバイスはメモリを用いて、フレーム間演算を伴う映像信号処理を行う一方、第１動的再構成デバイスはフレーム間演算を伴う映像信号処理を行わないことが好ましい。
【００１１】
さらに、第１動的再構成デバイスは入力された４色以上の映像信号を、３色の映像信号に変換する第１色補正器を有し、受信ユニットは色補正器で補正された映像に映った所定の被写体を学習し認識する人工知能を有し、色補正器はクラスタリング器、マッピングテーブル、変換行列テーブル、減算器、行列掛け算器、及び加算器を用いて色補正処理を行い、人工知能は多層ニューラルネット、学習処理器、学習データストア、学習履歴ストア、及び第２色補正器で構成していることが好ましい。
【発明の効果】
【００１２】
本発明によれば、FPGAを搭載したカメラと、同種のFPGAを搭載した受信ユニットを組み合せたことで、カメラの発熱を抑えつつ、機能の入れ替えが可能となる。
【図面の簡単な説明】
【００１３】
【図１】従来の監視カメラ１０１と受信ユニット１０２の構成図、受信ユニットの既製品は1ch用と4ch用がある。
【図２】従来のカメラシステムの構成ブロック図、受信ユニットには映像信号処理部はない。
【図３】従来のカメラの映像信号処理部１６３のブロック図の例、カメラ側に機能を追加するので消費電力が高くなる。
【図４】実施形態のカメラシステムの構成ブロック図。
【図５】カメラ１の映像信号処理部１６のブロック図。
【図６】受信ユニット２の映像信号処理部２５２６のブロック図。
【図７】変形例の映像信号処理部１６の構成ブロック図。
【図８】変形例の受信ユニット２側の人工知能５０のブロック図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図４に実施形態にかかるカメラシステムの構成を示す。カメラシステムは、監視カメラ１と、受信ユニット２を備える。本実施形態の特徴として、受信ユニット２に映像信号処理部２６が追加されている。
監視カメラ１は、撮像素子(CMOS)１１と、FPGA１２と、メモリ１３と、ROM(Read  Only  Member)１４、電源分離器１５とを有する。
CMOS１１は、主に可視光に対して感度を有するイメージセンサであり、映像信号を出力するLVDS等のデジタル映像インタフェースと、I2C等の制御用インタフェースを有し、両インタフェースによってFPGA１２と接続されている。CMOS１１は1080p、1080i又は720pの内の少なくとも1種類の映像信号を出力できることが望ましい。
【００１５】
FPGA１２は、映像信号処理部１６と、HD-VLC圧縮部１７と、CPU(Central  Processing  Unit)コア１８と、を有する。このようにCPUとPFGAが融合したデバイスは、プログラマブルSoCとも呼ばれる。
メモリ１３は、例えば一般的なDDR2(Double  Data  Rate  2)のDRAM(Dynamic  Random  Access  Memory)であり、フレームメモリ等として用いられる。
【００１６】
ROM１４は、FPGA１２のコンフィグレーションデータ及びCPUコア１８のための命令やデータを格納するフラッシュメモリ等である。
電源分離器１５は、同軸ケーブル３に接続され、監視カメラ１から受信ユニット２へ伝送する映像信号と、受信ユニット２から監視カメラ１に供給される電源とを分離する。
【００１７】
映像信号処理部１６は、FPGA２２内のリコンフィギュラブルなハードウェアリソースであり、映像信号処理のソフトマクロが実体化される。映像信号処理部１６はメモリ１３にアクセス可能に構成される。
HD-VLC圧縮部１７は、Dirac方式の映像圧縮処理やケーブルドライバなどのハードマクロが実体化されたものであり、HD-SDIの映像信号を入力され、ケーブル伝送に好ましい信号に変換して出力する。HD-VLC圧縮部１７は、アンシラリーデータを含んだHD-SDIを受信ユニットで再生可能に送信することができる。
【００１８】
CPUコア１８は、FPGA１２に内蔵されたCPU或いはDSP(Digital  Signal  Processing)であり、一般的な１チップマイコンの様に、割り込みコントローラやタイマー、DMA、キャッシュメモリ、メモリコントローラ等を含んでいる。そしてCPUコア１８は、映像信号処理部１６やHD-VLC圧縮部１７、CMOS１１との間で、レジスタやメモリマップトI/O、シリアルバスを介して制御情報あるいは映像データの受け渡しを行い、それらの動作を制御したり、映像信号処理の一部を担ったりすることができる。また本例の特徴として、CPUコア１８は、ROM１４に格納された、パーシャルリコンフィギュレーション用の複数のビットストリームの内、映像信号処理部１６にロードすべきいくつかのストリームを選択したり、実際にロードしたりする制御を行うことができる。また、ストリームの選択の結果、或いはカメラ１側で実体化された画像処理パイプラインを特定する情報を、アンシラリーデータとしてHD-VLC圧縮部１７に渡すことができる。
【００１９】
受信ユニット２は、フォーマット変換IC２１と、FPGA２２と、メモリ２３と、ROM２４と、電源重畳器２５を有する。FPGA２２と、メモリ２３と、ROM２４は、ハードウェア上は、FPGA１２と、メモリ１３と、ROM１４と同じである。FPGA２２は、HD-VLC圧縮部１７に代えてHD-VLC復元部２７が実体化されている点などでFPGA１２と異なる。ROM２４は、カメラ側でしか必要とされないコンフィグレーションデータや命令が省かれ、受信ユニット側でしか必要とされないコンフィグレーションデータや命令が追加されている点などでROM１４と異なる。
【００２０】
フォーマット変換IC２１は、所定のデジタル映像データを入力され、VBS（Video, Blanking, and Sync）、RGB、DVI-Dなどのビデオインタフェースに変換して出力する、専用ICである。HD-SDI信号を入力されVBSを出力する場合、フォーマット変換IC２１は、リサンプル（ダウンサンプル）やプログレッシブ/インタレース変換等を行う。
【００２１】
電源重畳器２５は、同軸ケーブルに接続され、カメラ１から伝送された映像信号を受信するとともに、同軸ケーブル３に監視カメラ１の電源として直流１２Vを供給する。
【００２２】
映像信号処理部２６は、FPGA２２内のリコンフィギュラブルなハードウェアリソースであり、映像信号処理のソフトマクロが実体化される。映像信号処理部２６はメモリ２３にアクセス可能に構成される。
【００２３】
HD-VLC復元部２７は、Dirac方式の映像復号処理やケーブル等化器などのハードマクロが実体化されたものであり、対をなすHD-VLC圧縮部１７から受信した映像信号を展開し、HD-SDI相当の映像信号を出力する。アンシラリーデータはHD-SDIに埋め込まれるとともに、CPUコア２８にも提供される。
【００２４】
CPUコア２８は、ROM２４に格納された、パーシャルリコンフィギュレーション用の複数のストリームの内、映像信号処理部２６にロードすべきいくつかのストリームを選択したり、実際にロードしたりする制御を行うことができる。また、カメラ１側におけるストリームの選択の結果、或いは実体化された画像処理パイプラインを特定する情報を、アンシラリーデータとしてHD-VLC復元部２７から受取ると、それに応じてFPGA２２の部分的或いは全体のフィギュレーションを実行する。部分的かつ動的な更新を行う場合、信号のバイパス配線を設けておく手法により、映像を停止させずにリコンフィギュレーションを達成できる。
【００２５】
図５は、本実施形態の監視カメラ１の映像信号処理部１６のブロック図である。ここではカメラ１はカラーの単板カメラを想定する。監視カメラ１の画像処理パイプラインは、ゲインアップ器３１、色補正器３２、ニー処理器３３、エンハンサ３４、ガンマ補正３５とで構成される。本例の特徴として、メモリ処理が必要な機能を削除して、消費電力を抑えるようにしている。ゲインアップ器３１以降の各段の入出力I/Fは全て統一されており、例えば画素データのビット深度は１４bitとし、同期型I/Fとする。カラー映像であれば、色分離後のデータは、例えばRGB4:4:4あるいはYUV4:2:2等の所定の色フォーマットに統一されることが望ましい。
【００２６】
ゲインアップ器３１は、CMOS１１から画素データを直接受け取り、所定の係数を乗算するデジタルゲインアップし、ＣＳＣへ出力する。CMOS１１の画素数が多い場合、ビニング処理を行ってもよく、ライン単位で異なる露出が為される場合などはHDR処理を行ってもよい。CMOS１１からの画素データのビット深度は、ゲインアップ３１が出力するデータのビット深度と異なってもよい。
【００２７】
色補正器３２は、ＲＧＢやCMYG(Cyan(水色）、Magenta(赤紫)、Yellow(黄）、Green(緑))のカラーフィルタを介して撮影された映像のデモザイキングを適宜行った後、ホワイトバランス調整、或いは、特許文献１０（特許第２９９５６８３号）のような条件付線形演算や、特許文献１１のような色空間上での射影変換等によって、色補正された映像信号を出力する。
【００２８】
ニー処理器３３は、所定のニーポイントを超える輝度に対して、トーンマッピングの傾き（ニースロープ）を小さくすることで、小さなダイナミックレンジでも輝度の飽和を起こりにくくする処理を行う。またCMOS１１のカラーチャネルの中で最も飽和しやすい色において飽和が始まる輝度を超えた時に、色差を０にするなどして偽色を防ぐ処理を行ってもよい。
【００２９】
エンハンサ３４は、映像のディティールを強調したり、階調を空間的に滑らかにしたりする空間フィルタ処理を行う。或いは、特にゲインアップ器で高いゲインを与えている（低照度）ときに、メディアンフィルタ等の外れ値を抑圧するフィルタ処理を行う。
【００３０】
ガンマ補正３５は、ITU-R Rec.709やBT.1886等に従い、1.9〜2.4程度のディスプレイガンマに対応するガンマ処理を行うとともに、もし必要であればHD-SDIと互換性のあるフォーマット（YCbCr(Y(輝度)、Cb(青の色差)、Cr(赤の色差))又はRGB）に色空間変換し、HD-VLC圧縮部１７へ出力する。
【００３１】
図６は、本実施形態の受信ユニット２の信号処理部２３のブロック図である。信号処理部２３は、HD-VLC復元部２７から、HD-SDIと互換性のあるベースバンド映像信号を受け取る。信号処理部２５２３の画像処理パイプラインは、デジタルノイズリダクション処理器３６、蓄積処理器３７、ワイドダイナミックレンジ処理器３８、霧霞補正器３９、及びメモリIF４０とで構成される。
【００３２】
デジタルノイズリダクション処理器３６は、被写体の動きの速度やSNなどに応じて最適制御された重みで時間領域フィルタリングを行う適応型ノイズフィルタである。一般的にはリカーシブフィルタとして実装されることが多い。
蓄積処理器３７は、複数のフレームの映像を単純加算して出力する。例えばNフレームの蓄積を行う場合、出力フレームはNフレーム毎に更新される。
【００３３】
ワイドダイナミックレンジ処理器３８は、ヒストグラム正規化、ヒストグラム調整、Retinexなどの手法により、トーンマネージメントを行う。この処理は、画素データに対する大量の時間領域操作は必要としないものの、ヒストグラム計算、照明光モデル、或いは視覚応答モデルの生成の為、相当量のメモリ帯域を要求する。
【００３４】
メモリIF４０は、デジタルノイズリダクション処理器３６、蓄積処理器３７及びワイドダイナミックレンジ処理器３８に対してメモリ２３の読み込み及び書込みのアクセスを提供する。なおこれらは必ずしも同時に動作可能で有る必要は無く、メモリ帯域の許す範囲で一部のみ作動させることができる。
【００３５】
霧霞補正器３９は、注目画素の近傍のカラーチャネルで最小の値で構成されるダークチャネル画像を利用して、霧や霞による散乱光の成分を除去する。この処理は、ワイドダイナミックレンジ処理と似た視認性向上効果を奏し、エンハンサ３４と大差ない処理量で実現できる。
【００３６】
本実施形態では、監視カメラ１が搭載するFPGA１２と受信ユニット２が搭載するFPGA２２を、同一もしくは互換性の高いデバイスとすることで、ゲインアップ器３１からメモリIF４０までの機能に対応するコンフィグレーションデータは、ストリームレベル、ハードウェア記述言語レベル、或いは少なくとも高級言語レベルで共通にすることができ、その結果、設計資産を有効に活用できる。なおゲインアップ器３１からメモリIF４０までの各機能部は、独立にパーシャルリコンフィギュラブルにする必要は無く、それら機能部の組合せの複数パターンのコンフィギュレーション・ストリームを用意して、選択可能にロードする方が、容易に実現できる場合がある。ここで、カメラ１と受信ユニット２の機能を重複を完全に否定する意図はなく、用意するストリームの種類を減らすため、電力やリソースの消費が小さい機能などは重複させてもよい。
【００３７】
監視カメラ１のROM１４と受信ユニット２のＲＯＭ２４に、共通に実体化可能に保持された機能部を択一的に実体化させることで、監視カメラ１と受信ユニット２は、それらの間で、あたかも機能を入れ替えることができるように振る舞う。たとえば、カメラが特異的に高温になり易い環境に設置されたことに事後的に気づいた場合、そのようなカメラの機能を図４に示されるようなものに簡素化することで、発熱を抑えることができる。特にフレームメモリを使用するワイドダイナミックレンジ処理などを停止させることが、発熱の低減に効果的である。なお、過熱の恐れが無い夜間には、監視カメラ１内の蓄積処理を適宜有効化することができる。
【００３８】
本例では、監視カメラ１と受信ユニット２の間の伝送は一方向であるため、監視カメラ１で為される画像処理は、受信ユニット２からの指示無しに自律的に行われる必要があり、また為された処理の内容を受信ユニット２が知ることができる必要がある。そのためCPUコア１８は、CMOS１１に設定したパラメータや、映像信号処理部１６の各機能部が用いているパラメータや内部状態なども、レジスタなどを通じて取得し、アンシラリーデータに包含させることで、受信ユニット２へ送信されるようにすることが望ましい。
【００３９】
なお、監視カメラ１と受信ユニット２の間の伝送には任意の周知の方式、例えばHDcctv（商標）、SMPTE 2022-6等の双方向通信可能な方式も利用できる。
【００４０】
以下、実施形態の変形例を図７、図８を参照して説明する。変形例では、受信ユニット２側に人工知能５０が備えられ、人工知能５０から監視カメラ１へ伝送可能な通信手段が設けられる。
図７は、変形例に係る映像信号処理部１６の色補正器４２の内部ブロック図である。変形された映像信号処理部１６は、色補正部３２の置き換えとして、或いは追加的に色補正器４２を備える。
色補正器４２は、多様体学習或いは多次元尺度構成などと呼ばれる処理のうち、リアルタイムで行う必要があるマッピング（次元圧縮）処理の部分を実行する。
具体的には色補正器４２は、４チャネル以上の色の映像信号を入力され、色の微妙な違いをできるだけ保存するような非線形な色変換をリアルタイムで行って、３チャネルの色の映像信号を出力する。入力信号は、例えばCy,Mg,Ye,Gの補色センサ、或いはベイヤセンサのGチャンネルの１つを別の感度波長（例えば近赤外線）に変更したような色フォーマットの映像であり、以後、４色映像信号と呼ぶ。
【００４１】
クラスタリング器４３は、４色映像信号の各画素をN個のクラスタに分類し、その結果をクラスタIDとして出力する。クラスタリングは多様体学習等によって予めなされており、個々のクラスタは部分多様体に対応する。分類の実行は、ｋｄ木、R木、LSH等の周知の手法で行うことができる。多様体学習等には、LLE、ｔ-SNE、ラプラシアン固有マップ等の非線形の手法が利用できる。或いは、クラスタリングは、DSMAP、もしくは色空間の単純な等間隔な分割によっても成しえる。
【００４２】
マッピングテーブル４４は、クラスタIDを受取ると、それに対応するクラスタの代表ベクトル（ソースベクトル）と、マッピング先のマップトベクトルを出力する。本例では代表ベクトルは４次元、マップトベクトルは３次元である。なお代表ベクトルはクラスタリング器４３から出力させてもよい。
変換行列テーブル４５は、クラスタIDを受取ると、そのクラスタの代表ベクトルの近傍で最適化された３行４列の射影変換（沈め込み）行列Aを出力する。
【００４３】
マッピングテーブル４４や変換行列テーブル４５の内容は、所定の被写体の映像に対して多様体学習等によって獲得されたものが初期的に設定され、その後、受信ユニット２の出力先にある人工知能の学習の過程で、バックプロパゲーションによって修正されうる。クラスタリング器４３やマッピングテーブル４４、変換行列テーブル４５が、FPGA内において組込ブロックRAM(Random  Access  Memory)として実体化されていれば、内容の書き換えは容易である。書き換えに際して各テーブルのバージョンが管理されており、用いたバージョンをアンシラリーデータとしてカメラ１から下流に通知することで、人工知能５０は監視カメラ１でどのような色変換が為されたか知ることができる。
【００４４】
なお多様体学習をオンラインで行う場合、画素をランダムに選ぶ構成や、クラスタ毎に分散を算出して保持する構成等も映像信号処理部１６内に備えることが望ましい。一方、代表ベクトルの選定及び射影変換行列Aを得るための固有値計算や最急降下アルゴリズムなどは、CPUコア１８或いはHD-VLC復元部２７で処理させることができる。多様体学習等は、自由度があるため、何らかの制約条件を必要とする場合、マッピングが一般的なRGB色空間に近いものとなるような制約を課すことができる。更に視覚との整合性を重視する場合、単射性を犠牲にしてもよい。また被写体の色分布が偏っていれば全射である必要も無い。様々な種類の被写体を認識しようとする場合、付加的な制約を課さず、本来の局所等長写像の性質を優先することができる。なお局所等長写像は唯一ではなく、学習可能である。
【００４５】
減算器４６は、入力された４色映像信号から、代表ベクトルを減算し、差ベクトルを出力する。
【００４６】
行列掛け算器４７は、列ベクトルである差ベクトルに、射影変換行列を後ろから乗算して出力する。
加算器４８は、行列掛け算器４７の出力に、マップトベクトルを加算し、色補正部４２の結果として出力する。
【００４７】
色補正器４２は、映像の全画素について個別に補正することができるが、4:2:2や4:2:0等のフォーマットに応じて、画素を１／２に間引いて実行してもよい。
【００４８】
図８は、色補正器４２で補正された映像を学習し認識する人工知能５０の構成図である。人工知能５０は、畳み込みニューラルネット（ＣＮＮ）５１、学習処理器５２、学習データストア５３、学習履歴ストア５４、色補正器５５を備え、半教師有学習をオンラインで行うことができる。人工知能５０のハードウェアには、高性能計算（HPC）に適したコンピュータ、特にGPGPU (General-Purpose  computing  on  Graphics  Processing  Units)を搭載したワークステーションやPC等が利用できる。
【００４９】
ＣＮＮ５１は、例えばFaster  R-CNN、SSD(Single  Shot  MultiBox  Detector)、YOLO等のような、画像中に含まれる既知の物体を認識する多層ＮＮであり、認識した物体のスコアと、領域座標を出力する。ＣＮＮ５１は認識に使用される前に、既知の物体について十分学習しているものとし、本例では特定の農作物（例えば植物の葉）についての複数の症状を学習してあるものとする。ＣＮＮ５１の一部又は全部は、コンピュータが備えるGPGPUや主メモリ等によって実現することができる。
【００５０】
学習処理器５２は、ＣＮＮ５１の学習を行う処理器であり、コンピュータが備えるCPUや主メモリとうによって実現されうる。
【００５１】
学習データストア５３は、学習データであるラベル付画像を記憶する。学習データストア５３は、コンピュータが備えるSSD等の不揮発性記憶装置によって実現されうる。
ラベル付画像は、植物の葉や茎を含む画像であって、窒素、リン酸、カリウム、マグネシウム、カルシウム等の不足又は過多の他、日照や灌水の不足又は過多、特定の病害虫に侵されたときの症状などを示すラベルが付されている。ラベル付画像は、どのような色空間で表現され、あるいは色補正を受けているかを示す色表現情報が付加されている。学習データストア５３は、入力画像を一時的に保持し、学習処理器５２の指示に応じて、その一時保持画像の部分画像にラベルや色表現情報を付加して、新たなラベル付画像として登録することができる。
【００５２】
色表現情報は、例えば、ラベル付画像を基準となる表色系、例えばsRGB（IEC 61966-2-1)に変換するため若しくはその逆変換のためのカラーマトリクス(3*3、4*3、又は4*4)の各係数、そのようなカラーマトリクスを特定する情報（色温度、ID）である。ラベル付画像がカメラ１で取得されたものである場合、色補正器４２内の各テーブルのバージョンが、色表現情報として利用できる。
【００５３】
学習履歴ストア５４は、色補正器４２でマッピングに用いられる各テーブルの初期の内容を記憶するとともに、学習処理器５２が行うバックプロパゲーションによって、それらテーブルが修正された場合に、その履歴を保持する。１回の修正（バージョンアップ）における修正はわずかであり、修正毎にテーブルのスナップショットを保持するよりも、履歴に従って初期テーブルに修正を適用して都度生成したほうが、効率的である。なお学習データストア５３に保持されている最も古いラベル付画像よりも過去の履歴は、再現する必要が無いので、カメラ１で取得された最も古いラベル付画像の時点における各テーブルの内容を初期の内容とすることができる。
【００５４】
色補正器５５は、学習データストア５３に保持されたラベル付画像を、最新の学習成果に基づく色補正がされた画像に、近似的に変換する。ラベル付画像が一般的なsRGB画像として取得されていた場合、色補正器５５は、色補正器４２と同一の構成及び/又は方法で色補正を達成できる。ラベル付画像がカメラ１で取得され色補正器４２で補正されていた場合、取得時の各テーブルおよび最新の各テーブルの内容に基づいて生成した、変換用のテーブルを用いて変換する。変換用のテーブルは以下のステップ１から４の手順で生成する。
【００５５】
ステップ１：取得時のテーブルにおける全てのマップトベクトルと、元の空間（色補正器４２へ入力される４色映像信号）において最も良く対応する、最新のテーブルにおけるマップトベクトルとを対応付ける。これは、取得時以降にクラスタリングや代表ベクトルが更新されている場合に必要となり、取得時のクラスタリング器４３で用いられた各クラスタと空間的に最も良く対応する最新のクラスタとに対応付けることにより為され、旧クラスタID−新クラスタID変換テーブルとして表現される。或いは、取得時のマッピングテーブル４４の各代表ベクトルに最も近い代表ベクトルを、最新のマッピングテーブルから検索する方法でも為されうる。
【００５６】
ステップ２：旧クラスタIDに対応付けられた全てのマップトベクトルを３色空間上で分類し、その旧クラスタIDに対応する新クラスタIDを出力するように、色補正器５５のクラスタリング器を設定する。
【００５７】
ステップ３：色補正器５５のマッピングテーブルは、最新の内容に設定する。
【００５８】
ステップ４：最新の変換行列テーブルにおいて新クラスタIDに対応付けられた変換行列の全てについて、取得時の変換行列テーブル中の、新クラスタIDに対応する旧クラスタIDの変換行列の逆行列を右から掛け算し、3行3列の変換行列を得る。そして、それらを新クラスタIDに対応付けて、色補正器５５の変換行列テーブルに設定する。なお色補正器５５の行列掛け算器は、3行3列の変換行列を掛け算するように構成されるものとする。
【００５９】
ここで、学習処理器５２による学習を説明する。学習は凡そ、以下の第1過程から第3過程を有する。
［第1過程］
学習処理器５２はまず、初期的に用意されたラベル付画像を用いて、ＣＮＮ５１の学習を行う。つまり、ＣＮＮ５１にラベル付画像の画像を入力し、ラベルに対応するＣＮＮ５１の出力ノードの値の誤差（ラベルの正解値との差）を算出する。そしてその出力ノードが正解値を出力するために入力されるべき、中間層ノードの出力値（これはその中間層ノードにとっての誤差となる）や重みを調整する。この調整には、確率的最急降下法が利用できる。この調整を入力側に遡りながら行うことで、ＣＮＮ５１全体が学習されうる。なお用いるＣＮＮ５１に固有のその他の学習も行われ得る。例えば、位置や大きさ、視点の違いに対する汎化能力を向上させるため、様々なアフィン変換等が適用されたラベル付画像を用いて、内部パラメータを学習させることがある。
【００６０】
［第２過程］
ＣＮＮ５１の中間層のどこかで、RGB毎の特徴が、別の尺度の特徴に変換されている。この中間層からバックプロパゲーションさせる場合、第１過程では、RGBの各色の重みを調整していた。
それらの調整が収束した以降、第２過程では、代わりに、色補正器４２の色変換の重みを調整する。つまり、色補正器４２の各テーブルをバックプロパゲーションによって更新することで、３色に対する調整よりもはるかに高い自由度で、色の重みを調整する。実際には、色補正器４２の補正を再現する色補正器５２にバックプロパゲーションさせ、ＣＮＮ５１に入力されるラベル付画像に、擬似的に色の重みの調整を施すことによって、学習が為される。
【００６１】
［第３過程］
ＣＮＮ５１は、カメラ１で取得され色補正器４２で処理された画像を識別し、その結果を利用して弱教師有学習を行う。最も簡単な弱教師有学習では、識別結果の内、十分信頼できるものについては、正解と仮定し、新たなラベル付画像として学習データストア５３に格納する。そしてこれらの追加されたラベル付画像も利用して、学習が繰り返される。
【００６２】
以上説明した変形例は、植物の識別に限らず、映像に基づく各種の識別、例えば、コンクリート構造物の外観の診断や、海や河川等の汚染や赤潮その他の状態の検出、油等の特定の物質の漏えいの検出等に利用できる。
【００６３】
また、本発明は、例えば、本発明に係る処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。
【００６４】
上述の一実施例にかかるカメラシステムは、信号処理を行うためのFPGAを搭載した監視カメラと、同種のFPGAを搭載した受信ユニットを組み合わせた構成とすることで、カメラ内のFPGAで信号処理をしていた機能を受信ユニットに組み込むことができる。また、新しい機能を追加する場合にも受信ユニットに搭載することでカメラの消費電力を抑えることができる。当然、受信ユニット側の機能をカメラ側に入れ替えることも可能なので、必要な機能をカメラと受信ユニットで組み合せを検討することができる。
消費電力の低減効果は機能の入れ替えによるが、特にフレームメモリを使用するワイドダイナミック、デジタルノイズリダクション機能を受信ユニット側に搭載することで数ワットの低減効果が期待できる。
【産業上の利用可能性】
【００６５】
本発明は、デジタルカメラ、ビデオカメラ等に広く利用できる。画像をリアルタイムで伝送するものに限らず、カメラが画像を記録媒体に蓄積し、それをPC等の受信ユニットで再生する場合にも適用できる。
【符号の説明】
【００６６】
１０１：監視カメラ、１０２：受信ユニット、１０３：同軸ケーブル、１：カメラ、２：受信ユニット、３：同軸ケーブル、１１：撮像素子（CMOS）、１２：FPGA、１３：メモリ、１４：ROM、１５：電源分離器、１６：映像処理部、１７：HD-VLC圧縮部、１８：CPUコア、１９：光学系、２１：フォーマット変換IC、２２：FPGA、２３：メモリ、２４：ROM、２５：電源重畳器、２６：映像処理部、２７：HD-VLC復元部、２８：CPUコア、３１：ゲインアップ器、３２：色補正器（マスキング）、３３：ニー処理器、３４：エンハンス、３５：γ（ガンマ）補正、３６：デジタルノイズリダクション処理器、３７：蓄積処理器、３８：ワイドダイナミックレンジ処理器、３９：霧霞補正器、４０：メモリIF、４２：色補正器、４３：クラスタリング器、４４：マッピングテーブル、４５：変換行列テーブル、４６：減算器、４７：行列掛け算器、４８：加算器、５０：人工知能、５１：畳み込みニューラルネット（ＣＮＮ）、５２：学習処理器、５３：学習データストア、５４：学習履歴ストア、５５：色補正器、５６：切替器。
【図１】
2018182367.tif 000003
【図２】
2018182367.tif 000004
【図３】
2018182367.tif 000005
【図４】
2018182367.tif 000006
【図５】
2018182367.tif 000007
【図６】
2018182367.tif 000008
【図７】
2018182367.tif 000009
【図８】
2018182367.tif 000010