opengeogroep/NLExtract — Issue #27: Top10NL extract scripts migreren naar Python
Author: justb4
Created: 2012-02-06 08:42:46+00:00
State: open
Labels: top10-extract

Zie ook issue #20. Er blijken wat issues te kleven om de huidige shell scripts (Linux,Unix,Mac) om te zetten naar .bat scripts voor Windows, met name het geheugengebruik XML parsers XSLT processoren voor de grote Top10NL GML bestanden (grootste is 37_oost.gml; 360k features) ) ondanks gebruik XMLStarlet. Ook om cross-platform te zijn met 1 codebase lijkt Python de beste keuze, ook al omdat bag-extract binnen NLExtract in Python is geschreven. In eerste instantie zullen voor Top10NL extract de volgende 3 stappen in Python moeten worden uitgevoerd:

1. splitsen GML in kleinere blokken
2. resultaten van 1 uitsplitsen in objecten_geometrie GML (mbv XSLT, dwz top10-split.xsl)
3. resultaat van 2 via OGR (ogr2ogr) omzetten in PostGIS (of later andere OGR outputs als Oracle, Shapefile etc)

Uitgangspunt voor de implementatie kan het top10-trans.py script van Frank worden. Om e.e.a. in lijn met BAG-extract te houden is het goed om de Python source onder src te doen en in /bin alleen shorthand .sh en .bat scripts. DB scripts kunnen net als bij bag-extract onder db/script.

Goed is te coordineren met skinkie mbt gebruik lxml zodat we 1 oplossing gebruiken binnen BAG en Top10NL mbt XML parsing.
Bijv.
https://github.com/skinkie/xmljson/blob/master/elementtree-json.py