「川の自然環境の保全・再生」に関する研究報告

大規模データ群のデータベース化について−河川水辺の国勢調査の過去データの真正化−
Building a large-scale database― Validation of data collected through National Census on River Environments ―

研究第四部

研

究 員

松間充

企画・広報部

副参 事

大石三之小川鶴蔵

審議役

河川水辺の国勢調査（生物調査）ではより効率的なデータ活用のために、平成１２年度調査以降は調査結果の電子化が図られている。しかし、平成１１年度以前の調査データ（以下、過去データ）についてはデータベースに搭載可能なデータ形式にはなっていないため、データの変換等が必要である。本研究では、河川水辺の国勢調査の過去データの「真正化」を例に、膨大なデータ群をデータベース化する際の手法について検討することを目的とした。
過去データの真正化においてはデータ入力時のエラーの解消に多くの労力が費やされた。このような全国規模のデータベースを作成する際には、単純なエラーが出ないように対策を講じることが重要であることが示唆された。
キーワード：河川水辺の国勢調査、過去データ、真正化、河川環境情報システム、データベース、水情報国土
データ管理センター
Data collected through the National Census on River Environments (biological surveys) have been turned
into electronic form since the 2000 survey in order to make more efficient use of data. Since, however, the1999 and earlier survey data (”past data”) are not in a format compatible with the database, they need tobe subjected to data processing including data conversion. The purpose of this study is to study methods forbuilding a database from a large number of data sets, focusing on the validation of past data obtained fromthe National Census on River Environments.
In validating the past data, considerable effort was spent in eliminating data entry errors. This suggeststhat when building a database on a nationwide scale, it is important to take measures to minimize simple errors.
Key words : National Census on River Environments, past data, validation, River Environmens Information Systems, database, National Land with Water Information Data Management Center94リバーフロント研究所報告

1．はじめに第14号

2003年10月

調査マニュアルが未だ十分熟成していなかったこと等

平成２年度から開始された「河川水辺の国勢調査」
は、河川に生息・生育する動植物の相の把握という点の理由から平成５年度以降の調査データを対象とした。

で大きな成果を挙げている。しかし、その成果は毎年表−１に全国の一級河川で平成５年度以降に実施さ「年鑑」という形で発行されてきたものの、この「年 れた河川水辺の国勢調査データを、地方毎、調査項目鑑」は、毎に真正化対象となる過去データの数として整理し・公開しているデータの項目数の割合が全取得データた。全国の対象データ数の合計は１７２５であった。に比べ４割程度である
表−１

底生動物

植物

鳥類

両・爬・哺

陸上昆虫類等合計

真正化対象過去データ数

魚介類

・調査実施当該年度のみのデータ発行であり、過去の北海道

３９３０２７３０２６２５１７７

れ、現在では、全国にある国土交通省の河川事務所（河東北４２２８３２３４３２３２２００川管理者）においては河川環境情報システムにより、

関東

３９３２３７３６２９２８２０１また一般向けには国土交通省の「水情報国土データ管

北陸

３６２６２７２７２８２７１７１理センター」からのデータ提供により、データの検索

中部

４８３３３２２９３５４０２１７や時系列的な分析等によるデータ利用が容易となって近畿

６５３８３４３３３４３４２３８いる。

中国

３８３０２６２７２３２６１７０

平成１１年度以前の過去データについては、データ取

四国

１６１６１５１４１４１４８９得の際にシステム運用を意識した電子化が図られてい九州

６１３７３６５３３７３８２６２ないことから、平成１２年度以降の調査データと同様に

合計

３８４２７０２６６２８３２５８２６４１７２５システム運用できる形式のデータを作成する必要があ※データ数：１水系１調査項目１調査を１データとして計上

調査
項目

調査データも含めた対象河川のデータを一括して扱うことができないなどの理由により十分活用されていない状況にある。

地方

このような背景から平成１２年度より、調査データの公開システムの運用に向けたデータの電子化が図らる。よって、このシステム運用が可能となる形式のデータを元の調査データから生成する「真正化」作業を2−2 過去データの真正化手順の検討行うものとする。なお、真正化とは、調査データが最過去データの真正化の手順は、図−１のとおりであ新の生物種目録に基づいており、且つ、最新版であるり、「河川水辺の国勢調査システム過去データ入力マ（以下、過去データ入力マニュアル）で電
平成９年度調査マニュアルに沿ったデータ構造でデー ニュアル」
タベース化、GIS 化され、正規のデータとして河川環 子化された調査データをシステム運用できるデータ構
境情報システムでの運用ができるようにすることであ 造に置き換えるためには、図−１に示す４つの手順が必要である。

る。
上記のような背景から、本研究では、河川水辺の国勢調査の過去データの真正化検討を例にとり、膨大な真正化対象データの基本事項チェックデータ群をデータベース化する際の手法について検討
調査データのデータベース化することを目的とする。

調査情報の真正化

2．河川水辺の国勢調査におけるデータの真正化
2−1 対象過去データ

河川環境情報システム格納
データの照査河川水辺の国勢調査は、平成２年度から実施されているが、平成１２年度以降の調査データは既にシステム

図−１

過去データの真正化フロー運用に向けた電子取得に移行していることから、今回それぞれについて作業の概要を以下に示す。の検討では平成２〜１１年度の調査データが真正化の対（１）真正化対象データの基本事項チェック象となる。
ただし、平成４年度以前の調査データについては、

95

過去データ入力マニュアルにより電子化された真正

「川の自然環境の保全・再生」に関する研究報告

化対象データのデータベース化にあたって必要となデータはいくつかのファイルに分かれて存在している、電子ファイルの有無、調査回数・調査地点数等のる。それぞれのファイルは調査回数等の情報により結基本情報についてファイル間整合の確認を行う。

びついているので、ファイル数に過不足があった場合（２）調査データのデータベース化には作業に支障がでる。ここでは、実際の調査回数に「河川環境情報システム」のデータベースに格納で 見合う数のファイルがあるかなど、基本的な情報につきるようなフォーマットにデータ変換を行い、河川環いて整合がとれているかどうかについてチェックを行境情報システムに格納する。

った。整合がとれていないものについては問い合わせ（３）調査情報の真正化確認を行い修正した。

データベースに格納されたデータのうち、生物名に （２）調査データのデータベース化関する精査を行う。精査には「河川水辺の国勢調査のここでは、データをデータベース形式に変換するこための生物リスト」（以下、生物リスト）の最新版で とを主な目的としているが、データ自体に何らかの問ある平成１２年度版を用い、リストと過去データを照合題がある場合は正常に変換することができない。デーさせることにより、整合がとれなかった種名についてタの変換時にファイルフォーマットの正当性、論理的変更を行う。変更結果については変更履歴を作成し、な誤り、調査データの欠落についてチェックを行った。

原記載との関係を明らかにしておく。

ファイルフォーマットのチェックについて、図−３に（４）河川環境情報システム格納データの照査

例を示す。

「過去データ入力マニュアル」に基づき作成された真正化前のデータと河川環境情報システム格納データ（真正化後のデータ）に不整合がないことを確認するために照査を行う。

2−3 真正化作業
対象データは、各調査の報告書（紙ベース）を過去データ入力マニュアルに基づいて電子化したものであるが、真正化作業それぞれの作業段階で問題となった代表的な事例を以下に示す。
（１）真正化対象データの基本事項チェック
真正化対象となるデータは、過去データ入力マニュ

図−３アルに基づいて作成した種名や調査地等の文字と数値からなる「EXEL データ」
、調査地点などを地図デー

ファイルフォーマットチェックの例

過去データ入力マニュアルでは、決められたフォータとして示した「GIS データ」、そして「写真データ」 マットに情報を入力するようになっている。データ入の主に３種類である。これらのデータはファイルの有力者がそのフォーマットに変更を加えたため、データ無をチェックし、またそれにあわせて調査回数・地点ベースへ取り込む形式にうまく変換できないケースが数といった調査の基本的な情報についてもそれぞれ整見られた。図−３では、「文献 No.」という文字が削除合がとれているかの確認を行った。

されているために変換できない例を示している。この

調査回数・地点数チェックの例について図−２に示す。

ほかに行や列を挿入したり削除したりといった例が見られた。これらについては手作業により修正を行った。
また、現行の平成９年度版マニュアルでは、調査時の環境情報などは候補となる環境の母集団から選択する形式をとっており、河川環境情報システムではそれらをマスタとして管理している。例えば図−４の右表がマスタにあたり、調査者は調査時の環境に合わせてこのマスタの中から選んで記録することになる。しかし、過去データにおいてはマニュアルの違いから必ずしもマスタ通り記載されていないため、検討して現在図−２

調査回数・地点数のチェックのマスタにあわせるように統一化を行った。
（図−４左）。
96リバーフロント研究所報告第14号

2003年10月

通常単年度の調査結果の真正化では、主に新規に確報告書
記載
内容

統一登録内容（マ スタ）

No.

１

砂

地上

２３

認された種の種名や分布に関してスクリーニング委員

報告書
記載
内容

統一登録内容（マ スタ）

鳥類位置
マスタ

１３他・空

空中

地上地

１４空・他

草上

いるため、最新の生物リストはこれまでのスクリーニ

土

１５

空・木

樹上

ング結果を全て反映したものといえる。

４土・空

１６土→空

空中

５畑

１７

水６

田

１８ブロック
他

７

堤

１９上

その他

８草草上

２０

電柱

不明

９木

樹上

２１

物

１０

不２
２

○

１１

林

２３

そ

１２

木・空

２４ほNo.

図−４会にて精査を行う。そこで確認されることにより生物リストに新規確認種が追加され、更新される。生物リストは毎年の河川水辺の国勢調査の調査結果を受けて水面水面

今回は、過去データにおける確認種を現在の生物リその他

水中ストと照合し、一致しない種（目録未掲載種）について種名の修正等を行った。目録未掲載の理由は以下のものがあげられる。
分類学の発展により調査時の種名に変更が生じた場

不明合入力した種名に誤りがあった場合
種名の表現が河川水辺の国勢調査のルールに従ってマスタによるデータ変換内容の例

いない場合
データベースで入力必須項目となる項目が未入力で表−２に種名の修正例を示す。一番上の例は、平成あった場合もエラーとして認識された。例えば魚介類 １１年に刊行された文献により、種名（学名）の変更が調査の場合調査値の水温や流速は必ずデータとして入生じたので修正した例である。２番目の例は根拠となれなければならないが、それらのデータが未入力である資料が無いため、属という上位の階層にまとめた例

った場合にはデータベース形式に変換することができである。３番目は同定の間違いではないが、河川水辺ない。そのため、「９９」など明らかにダミーとわかる の国勢調査では種名の記述方法が統一されているのようなデータを記入し、作業後の確認が行えるよう変 で、そのように修正した例である。最後に、これが一更履歴を作成した。

番多くみられたが、種和名や学名の入力ミスを修正しこのようにエラーのあるファイルがかなりの頻度で た例である。これには、種名の最後に半角スペースが発生したため、データ入力者との確認作業が頻繁に行 含まれるなど、一見判別できないようなエラーも多数われた。また、これらのエラーが発生するたびにデー 含まれる。このようなエラーの発見にはコンピュータタベースの形式に変換する過程で止まってしまい、そ による自動チェックが有効であった。の都度確認し手作業により修正を行わなければならないため、全作業の中でも相当な労力を必要とした。

データの修正を行った場合は、全て修正履歴を作成し、原記載との関係を確認できるようにした。

（３）調査情報の真正化

表−２

河川水辺の国勢調査では、スクリーニング委員会と元データの種名いう学識経験者等により構成された委員会により種名

Agabus miyamotoiの真正化が行われる。今回の過去データの真正化においては、最新版の生物リストと照合することで真正化

イトウオオアリを行った。ここで、スクリーニングとは専門家による種名や分布の精査を意味する。図−５に通常の種名真Leersia sp.

正化の流れと今回の流れの比較を示す。

ネスミホソムギ

種名修正の例

真正化後の種名

変更理由

Agabus optaus

甲虫図鑑 ４刷（平成１１年）により種名変更
Camponotus 属の一 出典不明につき
種上位分類に変更
Leersia 属の一種
不特定種の記述方法
を統一
ネズミホソムギ
和名入力ミスを修正

2−4 河川環境情報システム格納データの照査
基本的には前作業までを行うことで河川環境情報システムでの運用は可能となるが、最後に真正化作業の前後でデータが正しく変換されているかどうかのチェックを行うこととした。データ照査方法については一図−５

種名真正化の流れの比較

般的な方法が確立されていないため、独自の方法を検97

「川の自然環境の保全・再生」に関する研究報告討した。ここではその内容について詳細に記述する。
（１）電子データに関する照査方法の現状
データ入力や変換といった作業の照査方法については、標準化した考え方が存在していないのが現状である。このためデータの照査は、現在 GIS 総プロで検討が進められている GIS データの照査方法の検討、研究結果を参考にして独自の方法について検討した。
GIS 総プロとは GIS を活用した次世代情報基盤の活用推進に関する研究（国土地理院企画部測量指導課が中心となって推進中）である。
（２）過去データの照査の概要
作業は真正化前と真正化後の過去データを相互に比図−７較することにより、適正にデータが変換され、整合が照査の視点とれているかどうかのチェックを行うことである。図 （４）照査の方法−６にその概要を示す。

調査数量及びデータフォーマットについては、調査データの基本事項であることから全ての調査データを対象とした全数検査を行うこととした。また、調査地
区、調査時期、種名、個体数、調査環境等、調査手法などのデータの内容に関する項目については、生物情報として基本情報であり、データ数が膨大な数であることから、その内容について整合を確認するため抜取検査を行うこととした。表−３に照査方法の設定に関する検討結果をまとめた。
表−３
数量
チェック

照査項目

格納データの照査の概要

なお、前述の通りデータベース化の作業時にデータの修正・変更を行っているため、単純に比較すると真正化の作業前後でデータに違いが生じている場合があフォーマットのチェック

図−６

調査回数、地区数

文字数値・地図情報る。このような場合については、修正・変更履歴によ調査地区って前後の関係の確認がとれれば、整合はとれているものと判断した。
照査は、調査業務に関する基本事項である調査数量に関する事項、データフォーマットに関する事項、調査内容に関する事項、の大きく３つに分けて考えることができる。それぞれ、図−７に示す視点でデータの照査を行うものとした。

内容のチェック（３）照査の視点

調査時期
種名
個体数
調査環境等
調査手法

98

照査方法の設定照査方法

照査方法の設定理由

全数検査

調査データの数量は業務の基本事項であるため全数検査を行う。

全数検査

文字数値及び主題図のデータが遵守すべき関係やルールを満足しているかの基本的な検査であるため全数検査を行う。

抜取検査
１調査業務毎に１サンプルを抽出
その上で、地方整備局内の全ロット数（各調査業務の地区数×回数の総計）に対する抽出サ
ンプル数の比率が５％を下回らないようにさらにサンプルを抽
出地区情報、時間情報、種の分類や名称、個体数、調査環境等や手法は、生物調査の基本情報であることから、その内容について整合を確認するため抜取検査を行う。

リバーフロント研究所報告（５）抜取検査における照査データの抽出方法

第14号

2003年10月（７）照査

抜取検査の対象となる照査データの抽出は、以下のデータの照査は、前述の通り全てのデータについて方針により行う。

照査を行う全数検査と、全データから検査対象を抜取・抜取検査は全調査データを生物調査項目毎に分けてり抽出する抜取検査の２通りの照査を行った。図−８行う。に作業フローを示す。

・抜取検査の検査単位（サンプル）は、生物調査項目毎に分けられた全調査データに対して、 調査地区ごとに従属する調査回データを基本単位とする。

・１調査業務ごとに乱数表を用いて１サンプルを抽出する。
・その上で、地方整備局内の全ロット数（各調査業務の地区数×回数の総計）に対する抽出サンプル数の比率が５％を下回るようであれば、残りの全ロットを対象に乱数表を用いてサンプルを抽出し、全ロット数に対する抽出サンプル数の比率が５％以上となるようにする。
（６）照査の内容
各照査項目に対する検査の方法は、表−４に示すとおりである。フォーマットチェックでは「文字数値情報」及び「地図情報」についてチェックプログラムを開発し、これにより自動チェックを行った。また、数量チェックでは「調査回数」及び「調査地区数」について、内容のチェックでは「調査地区」、「調査時期」、「種名」、「個体数」、「調査環境等」、「調査手法」について目視によるチェックを行った。
表−４

照査の内容

照査項目

検査項目

検査の方法

数量のチェック

調査回数
・地区数

フォーマットのチェック

文字数値情報
地図情報

内容のチェック

調査地区

調査回数・地区数について整合性を目視確認
する
文字数値・地図情報について、チェックプロ
グラムを用いて所定のフォーマットに合致するか確認する
地区番号及び地区名について整合性を目視確認する
調査年月日について整合性を目視確認する
確認種のリストについて種名変更履歴を加味し整合性を目視確認す
る
個体数について種名変更履歴を加味し整合性を目視確認する
流速・水深等の調査条
件について整合性を目視確認する
調査手法について整合性を目視確認する

調査時期
種名

個体数

調査環境等

調査手法

図−8 照査のフロー照査の結果、データ変換プログラムに関するエラーは見られなかったが、手作業を加えた点については若干の修正ミスを発見した。このように不良が確認され99

「川の自然環境の保全・再生」に関する研究報告た場合は、その原因を究明した上で対応策を検討し、力者自らがデータチェックができるようにするなど、データの修正後に再チェックを行い真正化前後でデーデータについて入力段階から一定の質を確保することタに不整合がないことを確認した。

が重要である。

なお、抜き取り検査で確認された不良については、

因みに現在の河川水辺の国勢調査の入出力システム

その原因が抜き取り検査対象外のデータについても影では、入力の段階毎にチェックがかかるため、入力者響を及ぼしていると考えられる場合は、それらデータはエラーを解決できなければ先に進めないようになっについて修正を行った。ている。また、入力データの最終的なチェックシステムが搭載されており、それに合格したデータのみ収集3．まとめするため、データ収集の時点では「データベースに格以上の作業を終え、過去データの真正化が完了した。 納ができない」等の大きな問題はほとんど発生しない。
当初は、種名の真正化に最も時間がかかると考えられこれらの機能は、多くのデータを統一的に取り扱いたたが、実際に作業を始めると、全データをデータベーい場合（データベース化等）には有効である。

ス形式に変換する作業に最も多くの時間を費やすこと

一方で、一連の作業により平成５年度からの河川水になった。このように一度に大量のデータをデータベ

辺の国勢調査データが一つのデータベースに格納さース化する場合には、なるべく異質なデータを出さなれ、データの検索、経年的な分析が可能になった。現いようにすることが重要である。河川水辺の国勢調査

在、河川水辺の国勢調査の結果は、インターネット上のような全国規模のデータは、データ入力者が多数にで国土交通省の「水情報国土データ管理センター」か及ぶため、データの形式やファイルフォーマットに関ら「河川環境情報データベース」として平成１２年度のしてエラーが生じやすい。そのようなエラーを防ぐた結果のみ公開されている（注：平成１５年６月現在）。

めには、データ形式等を規定する詳細なルールの設定

今後、今回真正化した過去データが同様に公開されるとそれをフォローする体制の整備が不可欠である。

ことにより、これまで年鑑で４割程度だった情報量が今回は過去データ入力マニュアルがルールに相当すほとんど全て公開され、一般市民あるいは研究者に河るが、数回の調査マニュアルの改定に対応するため、川環境の基礎情報として様々な場面で広く利用・活用フォーマットや記述内容が複雑になったことが、エラされるのではないかと考える。

ー多発の一因と考えられる。またそのようなエラーに対応するため「ヘルプデスク」を設置し入力者の質問 〈参考文献〉等を受け付けたが、入力者が独自に判断してデータを

１）林尚・小川鶴蔵：河川環境情報の効率的な整備と作成する場合があった。ヘルプデスクは有効な手段の有効活用について「リバーフロント研究所報告第一つであるが、入力者からの積極的なアクセスが無い１３号」財 団 法 人 リ バ ー フ ロ ン ト 整 備 セ ン タ ー

場合は問題の把握が困難である。このような事態に対（２００２）

しては、例えばチェックシステムを開発・公開し、入100