(57)【要約】      （修正有）【課題】対象画像の取得周波数領域であるバンドおよび取得時間を異ならせた多バンド・多時期デジタルスペクトル画像をバンド毎に音に変換する多バンド・多時期・マルチスペクトル画像データ−音変換システムを提供することにある。【解決手段】多バンド・多時期・マルチスペクトル画像データ−音変換システムは、対象を特定して、異なるスペクトル画像信号を多バンドで且つ任意のサンプリングタイミング毎に取得した複数の多時期・マルチスペクトル画像データを、それぞれＤＦＴ変換して周波数信号に変換し、前記バンドのそれぞれの前記周波数信号から合成音を作成し異なる種類の表音装置で表音させることを特徴とする。【選択図】図２
2006221374.tif 000002
【特許請求の範囲】
【請求項１】
対象を特定して、
異なるスペクトル画像信号を多バンドで
且つ任意のサンプリングタイミング毎に
取得した複数の多時期・マルチスペクトル画像データを、
それぞれＤＦＴ変換して周波数信号に変換し、
前記バンドのそれぞれの前記周波数信号から合成音を作成し異なる種類の表音装置で表音させることを特徴とする多バンド・多時期・マルチスペクトル画像データ−音変換システム。
【請求項２】
前記サンプリングタイミング毎の
前記多時期・マルチスペクトル画像データは
画像位置情報を有すること
を特徴とする請求項１記載の多バンド・多時期・マルチスペクトル画像データ−音変換システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象を特定し、画像データを、種々の波長スペクトル領域（多バンド）毎で、画像取得時期（サンプリングタイミング）を任意（多時期）の条件で取得し、取得した画像データを周波数信号に変換し、その周波数信号を任意の音で表音する多バンド・多時期・マルチスペクトル画像データ−音変換システムに関する。
【背景技術】
【０００２】
既存研究としては画像全体に対しフーリエ変換（逆変換）などを施して周波数情報に変換し、その周波数情報を音情報に変換する手法が提案されている。
人間が視覚を用いて認識できる情報はスペクトル値としては可視域のみである。一方、衛星データをはじめとする多バンドのスペクトルデータ、ハイパースペクトルデータを取得可能なシステムが開発・運用されている。
こうしたシステムで画像として取得されたデータを目視で確認する際、従来用いられる手法としては、人工衛星によって得られたマルチスペクトル画像を例に挙げると、以下１〜８のような手段がある。
【０００３】
１）単バンドの画像をグレースケールで表示する手段：
ここで、「バンド」とは所定の空間周波数の範囲をいう。換言すれば、所定の空間周波数の範囲内のスペクトルを有する画像データの範囲、例えば、カラーの撮像画像を構成する３原色Ｒ，Ｇ，Ｂデータの該Ｒ、Ｇ、Ｂを各バンドとする。
必要に応じて、全バンドを並べて表示することもできる。
図３は、画像解析ハンドブック口絵カラー画像より抜粋した図であり、
図４は図３を作成するときに用いることができるグレースケールのサンプルを示す。
【０００４】
２）単バンドのデジタル値とデジタル値に対応するカラーパレットを用いて擬似カラー表示する手段：
例えば、図３に示した単バンドのグレースケール表示の画像を、画素値を量子化してデジタル値で置き換えし、該デジタル値をカラーパレットの各色に対応付けし、この対応付けされたカラーパレットにより疑似カラー表示する。
【０００５】
３）ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）といった３原色に任意のバンドを割り当てる手法：
この手法は、ＲＧＢの３原色に任意のバンドを割り当てて分解図を作成し、全分解図を合成して全体図を形成する。
【０００６】
４）上記「３」の拡張系として、バンド比演算を行ってから任意のバンドに割り当てる手段：
原画像から任意のバンド、例えばバンド１〜７までの各バンド毎の画像データを抽出し、各色毎の以下に示すバンド比演算を行い、例えば、
青色はバンド１／バンド３、
緑色：バンド５／バンド７、
赤色：バンド３／バンド４、を演算し、
演算の結果を任意のバンドに割り当て、表示する。
【０００７】
５）上記「３）」、「４）」と同様に、Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（明度）に対して任意のバンド、又はバンド比を割り当て、これをＲＧＢに変換する手法：
変換回路は、例えば、原画像のカラー画像をバンド１〜３に分離し、このバンド１〜３をＲＧＢに割り当て、ＨＳＩ（色相、彩度、明度）情報に変換する。原画像の白黒画像から明度Ｉ情報を抽出する。次に、これら各情報をＨＳＩ逆変換してＲＧＢ画像に逆変換し、カラー画像を合成する。
【０００８】
６）情報圧縮（データ圧縮：通常、１枚の画像には膨大な情報が含まれている、マルチチャンネル画像の場合にはその情報量はさらに増加する。データ圧縮は、こうした膨大な画像データをより少ないデータで表現し、画像の伝送、蓄積、処理などの効率化を図る符号化技術といえる。画像の符号化は１）情報源符号化と２）伝送路符号化に分けられる。画像処理の観点からは情報源の持つ統計的性質に基づく助長性を軽減し、効率よく情報源を表現する手法と定義される。（画像解析ハンドブック、出版社：  東京大学出版会、  高木  幹雄  （編集），  下田  陽久  （編集）  ｐ６０７より抜粋（一部改変））、主成分分析、ニューラルネットワークなど）を行い第３主成分まで抽出し上記「３）」又は「５）」の手段を用いる手段：
【０００９】
但し、第３主成分は以下のように定義される。
下記のＵＲＬに記載されているように、
ｈｔｔｐ：／／ａｏｋｉ２．ｓｉ．ｇｕｎｍａ−ｕ．ａｃ．ｊｐ／ｌｅｃｔｕｒｅ／ＰＣＡ／ｐｃａｌ．ｈｔｍｌ
（１）ｐ個の変数をＸ１，Ｘ２，．．．，Ｘｐ，これらの重み付け合成変量をＺ１，Ｚ２，．．．，Ｚｍとする（ｍ≦ｐ）。
【数１】
2006221374.tif 000003
【００１０】
（２）このようなｍ個の合成変量において、以下のような性質を持つものを考える。
・各合成変量の相関が０である。
・合成変量の分散  Ｖａｒ（Ｚｉ）は，Ｖａｒ（Ｚ１）≧Ｖａｒ（Ｚ２）≧…≧Ｖａｒ（Ｚｍ）である。
【００１１】
（３）ｐ個の変数の相関係数行列の固有値をλ１≧λ２≧…≧λｉ≧…≧λｍ≧…≧λｐ≧０  としたとき，λｉに対応する固有ベクトルを重みとした合成変量がＺｉに対応し，Ｚｉの分散がλｉに等しくなる（  固有ベクトルは互に直交する，すなわち，互に相関が０である  ）。
【００１２】
（４）Ｚ１，Ｚ２，．．．，Ｚｍは主成分と呼ばれ，そのうちで最も分散の大きいＺ１は第１主成分，次に分散の大きいＺ２は第２主成分，以下順に第ｍ主成分と呼ばれる。
【００１３】
上記情報圧縮技術に関しては、例えば、画像解析ハンドブック」、ニューラルネットワークを利用したマルチスペクトル衛星データの次元縮小型圧縮：  須崎  純一、  清水  英範「写真測量とリモートセンシング」  Ｖｏｌ．３８  ，  Ｎｏ．１  ，  １９９８に示されている。
７）各バンド毎に異なるカラーの色で表示した複数の画像を、それぞれレイヤー毎に形成し、それら複数のレイヤーを重ね会わせて表示する手段：
【００１４】
８）上記「７」の拡張系の手段：
例えば、地表面空間の画像を平行四辺形領域に示し、その平行四辺形領域の端部に断面を示すように垂直に連なる別画像を設ける。別画像は、横軸が空間距離、縦軸が波長の画像とする。
【００１５】
以上の手段を方法として大別すると、上記「１」−「２」、「７」、「８」の単バンドをそのまま並べて表示する方法、上記「３」−「５」の人間の視覚に基づいた画像表現方法、上記「６」の情報圧縮操作により情報量を圧縮し表示する方法とまとめることができる。
こういったマルチスペクトル画像を表現する方法は視覚による画像認識という前提に基づいている。
そのため各バンドを並べて表示する（あるいは「７」の場合のように重ねて表示する）以外にはカラー合成というプロセスが介在する。上記「３」，「４」，「５」，「６」などのケースがこの場合に相当する。
【００１６】
カラー合成とはＲＧＢ，もしくはＨＩＳなどの情報に情報を圧縮することを意味する。例えば上記「３」で紹介している衛星は、同一地点に対して一度に７バンドのマルチスペクトルデータが取得できる。この場合はそのうちの３バンドのみを利用してカラー合成しているので残りの４バンドが利用されていない。
主成分分析を用いた上記「６」では同じく７バンドの情報から第３主成分までを抽出し、各成分に対してＲＧＢを割り当てているのでこの場合も本来存在する情報を一度に取得し使用することはできず、このことがマルチスペクトルデータの利用可能性を限定する要因にもなっている。
【００１７】
さらには衛星データのように時系列データが蓄積された現在、あるポイントでの多バンドのスペクトルを同時に処理するシステムは存在しない。
従来は、このようにわざわざ取得した重要なデータであるにも係わらず、有効な利用ができずに捨ててしまっていた。
一般の画像処理では画像データを音の信号に変換するというアイデアがすでに存在する。例えば、
（１）「画像から音への変換」木村研究室１９５４２０９３中島永景（２００４．０９．０７現在の下記ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）参照；非特許文献１参照）
【００１８】
（２）「画像の色彩情報から音声情報を派生させるシステムの開発と利用」（獨協大学大学院  経済学研究科  経済・経営情報  マルチメディア専攻  仙石和隆）（２００４．０９．０７現在の下記ＵＲＬ参照；非特許文献２参照）
またこのようなアイデアは盲人用画像音変換カメラなどに応用されている。
（３）「ｏｎ  ｏｆｆ  ａｎｄ  Ｂｅｙｏｎｄ」盲人用カメラ（Ｆｅｂｒｕａｒｙ  １７，２００４）（２００４．０９．０７現在の下記ＵＲＬ参照；非特許文献３参照）
【００１９】
【非特許文献１】ｈｔｔｐ：／／ｈｏｍｅ．ｋａｎｔｏ−ｇａｋｕｉｎ．ａｃ．ｊｐ／〜ｋｉｍｕｒａ／ｓｏｔｕｒｏｎ／ｈｅｉｓｅｉ１０／ｆ９５４２０９３．ｈｔｍｌ
【非特許文献２】ｈｔｔｐ：／／ｗｗｗ．ｃｉｅｃ．ｏｒ．ｊｐ／ｅｖｅｎｔ／２００２／ｐａｐｅｒｓ／ｐｄｆ／Ｅ００７２．ｐｄｆ
【非特許文献３】ｈｔｔｐ：／／ｗｗｗ．ｃｈｉｋａｗａｔａｎａｂｅ．ｃｏｍ／ｂｌｏｇ／２００４／０２／ｐｏｓｔ６．ｈｔｍｌ
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記従来例のものは通常の可視画像を対象としているもので、非可視領域を含むマルチスペクトル画像を対象にしているものでなく、ＲＧＢ３チャンネル、もしくはＨＳＩなどチャンネル数（スペクトル数）に制限がある。また、画素あたりの情報が少ないこともあり画像全体に対しての音の変換しかできなかった。
【００２１】
本発明の目的は、上記従来例の問題点に鑑み、対象画像の取得周波数領域であるバンドおよび取得時間を異ならせた多バンド・多時期デジタルスペクトル画像をバンド毎に音に変換する多バンド・多時期・マルチスペクトル画像データ−音変換システムを提供することにある。
【課題を解決するための手段】
【００２２】
上記目的を達成するための課題解決手段は、基本的に、多バンド・多時期デジタルスペクトル画像を各バンド毎に音に変換するシステムで構成する。具体的には、
（１）多バンド・多時期・マルチスペクトル画像データ−音変換システムは、対象を特定して、異なるスペクトル画像信号を多バンドで且つ任意のサンプリングタイミング毎に取得した複数の多時期・マルチスペクトル画像データを、それぞれＤＦＴ変換して周波数信号に変換し、前記バンドのそれぞれの前記周波数信号から合成音を作成し異なる種類の表音装置で表音させることを特徴とする。
（２）上記（１）記載の多バンド・多時期・マルチスペクトル画像データ−音変換システムにおいて、前記サンプリングタイミング毎の前記多時期・マルチスペクトル画像データは画像位置情報を有することを特徴とする。
【発明の効果】
【００２３】
従来のマルチスペクトル画像は３バンドまでに集約された画像処理システムに集約されていたためそのデータを目視、コンピュータ画像処理による画像認識では十分に生かしきれていなかった。
本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システムでは、周波数および時間を制御対象として取得した画像データを任意の組み合わせで音情報に変換するので、広範囲のマルチスペクトル画像の音による情報提示ができる。
【発明を実施するための最良の形態】
【００２４】
提案するシステムでは多バンドのスペクトルデータを音に変換し、音の情報としてバンドごとに置き換えることで、ピクセルごとに一度に音の集合として聴覚で認識するシステムを構築する。
そのために、本手法ではバンドごとに画像の濃度に着目し、これを量子化し、ある特定の音域に割り振り、さらにＭＩＤＩ音源と量子化された各バンド（多時期における）の情報を組み合わせ一度に出力することによりこれまで扱うことができなかった多時期・多バンドの情報を一度にまとめて音により体感することができる。
実施形態としては種々考えられるが、例えば、マルチスペクトル画像の音声変換による音読技術は、衛星画像の土地被覆解析など画像分類への応用が考えられる。
【００２５】
多時期マルチスペクトル画像のポイント（対象画像の座標位置を特定した点）ベースの音読技術は、時系列フェノロジー解析への応用が考えられる。また、目の不自由な方がマルチスペクトル画像を鑑賞できるシステムを構成することもできる。
フェノロジー解析（Ｐｈｅｎｏｌｏｇｉｃａｌ  Ａｎａｌｙｓｉｓ）とは、季節的におこる自然界の動植物が示す諸現象の時間的変化およびその気候あるいは気象との関連を解析すること。
例えば、植物の発芽、開芽（芽ぶき）、開花、紅葉、落葉などの時期の調査から、それぞれの地方の気候の比較を行うなど。  衛星画像は周期的な観測が可能であるので対象地域を繰り返し観測してその地域の土地被覆の季節変化（積雪−雪解−芽ぶき−開花−紅葉−落葉）に対して対応する衛星画像の各チャンネルのピクセル値の変動を捉えることにより生物季節変化の定量的なモニタリングが行われている。
【実施例１】
【００２６】
（デジタルマルチスペクトル画像処理システム）
このシステムは、所期の処理を行う多バンド・多時期・マルチスペクトル画像データ−音変換処理プログラムに特徴を有し、該プログラムを組み込んだパーソナルコンピュータと、画像の取り込みおよび表示並びに音発生を可能とする入出力装置（Ｉ／Ｏインターフェース）、メモリ等から構成する。
図１は本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システムの処理の流れを説明する図である。
図１では、多バンド・多時期・マルチスペクトル画像データ−音変換処理の一連の流れは以下のようになる。
【００２７】
（１）入力マルチスペクトル画像（多時期画像）取得：
対象を特定して、サンプリングタイミング（時期）毎に、空間周波数領域が異なる画像データを取得する。画像データは、ブロック単位、ピクセル単位等任意の単位で取得する。画像データは、サンプリング時間毎の座標位置データ、空間周波数スペクトルデータ等任意のデータを持つ。
（２）画像解析：
取得した画像データ（ピクセルサイズ、ラインサイズ、画素値、画像フォーマット、バイト数など）を必要な形に解析する。
上記「必要な形」の例としては、画像データの先頭にヘッダ情報として以下のような情報を付加するものをいう。
１行目：  画像フォーマット形式
２行目：  チャンネル数
３行目：  バイト数
４行目：  ピクセルサイズ  ラインサイズ
以下バイナリー画像データ。
【００２８】
（３）画像変換（量子化）：
画像解析し整理した画像データ、例えば各バンドデータを周波数変換、例えばＤＦＴ変換（離散フーリエ変換）して量子化し、量子化された各バンドデータ（画像データ）をＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）音源に振り分ける。
（４）音声出力：
前記ＭＩＤＩ音源に振り分けられた画像データを、音源ボードを介して固有の音として発生する。
【実施例２】
【００２９】
図２は本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システムの説明図である。
図２（ａ）は、多バンド・多時期・マルチスペクトル画像データ−音変換処理手順を説明する図、図２（ｂ）は、多バンド・多時期・マルチスペクトル画像データ−音変換システムの構成図である。
【００３０】
本発明の多バンド・多時期・マルチスペクトル画像データ−音変換処理手順は、図２（ａ）に示すように、撮像する対象を特定し、必要とするサンプリングタイミング（Ｓ）、必要とするバンド（Ｂ）毎の画像データを取得する。対象画像は所定面積、座標位置等を有する。取り込む画素単位はピクセル単位とし、例えば縦横各８ドットのブロックで抽出する。
上記「サンプリングタイミング（Ｓ）」としては、例えば、多時期の時系列データセットの場合は、気象衛星ひまわりの画像であれば１時間おきのサンプリング、１日周期の衛星画像を対照とする場合はサンプリング頻度を一日とするというように任意に設定する。
上記「必要とするバンド（Ｂ）」としては、例えば、特定の撮像領域又は撮像地点を撮像した撮像画像における空間周波数のダイナミックレンジを任意の間隔に分割した分割レンジ領域をいう。
データ取得時には、例えば、多バンド画像、例えば、ＭＯＤＩＳのように３６チャンネルのスペクトル情報を一度に取得可能なものに対しては撮影地点が同一とする画素値をチャンネルごとにサンプリングを行う。
【００３１】
各バンドは、任意の空間周波数領域、例えば、光の三原色Ｒ（赤），Ｇ（緑），Ｂ（青）の各周波数領域を有するようにも設定できる。
画像データの各ピクセル又はブロック等は、画素値、又は画素値を元にして変換した階調値でデジタル信号として記録される。
画像データは、サンプリングタイミング毎に、バンド数に応じた多層レイヤー構造の画像データを構成する。
この画像データをＤＦＴ変換して、空間周波数スペクトルＧ（μ，ν）を得る。
このとき、画像データの取り込みは例えばｘ方向に走査して行う。
【数２】
2006221374.tif 000004
【００３２】
ここで、μ、νはそれぞれｘ、ｙ方向の空間周波数、
Ｇ（μ，ν）：（μ，ν）成分の正弦波の振幅と位相を表す。
このＧ（μ，ν）データを、画像データの走査に対応してテーブルに記憶する。図２（ａ）では、Ｒバンドにおける走査方向（ｘ）におけるＧ（μ，ν）データのテーブルを示す。
【００３３】
次に、各バンドを異なるＭＩＤＩ音源に割り当てる。
最後に、対象画像の特定の座標位置を指定してＧ（μ，ν）データに基づきＭＩＤＩ音源から音を出す。この音を出すためのデータを、サンプリング時間、バンド、画像の座標位置等任意に組み合わせて、可視領域以外で、多パラメータの画像データから構成することができる。
【００３４】
本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システム１は、前記処理手順を実行するプログラムを有し、必要な画像データを取り込んで、ＤＦＴ変換処理を行い、その結果に基づいて合成音を作成し出力する機能を有する中央処理装置２と、必要な画像データを取り込むための入力装置３と、中央処理装置の出力を音表示する出力装置４を有する。前記中央処理装置２は市販のパーソナルコンピュータで間に合わせることができる。
以上説明した本発明の解決手段は、機能が異ならない限り、他の手段で置き換えることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システムの処理の流れを説明する図である。
【図２】本発明の多バンド・多時期・マルチスペクトル画像データ−音変換システムの説明図である。
【図３】画像解析ハンドブック口絵カラー画像より抜粋した図である。
【図４】図３を作成するときに用いることができるグレースケールのサンプルを示す。
【符号の説明】
【００３６】
１    多バンド・多時期・マルチスペクトル画像データ−音変換システム
２    中央演算装置
３    入力装置
４    出力装置
【図１】
2006221374.tif 000005
【図２】
2006221374.tif 000006
【図３】
2006221374.tif 000007
【図４】
2006221374.tif 000008