opengeogroep/NLExtract — pull request #122 by reinout (2014-05-23 10:39:48+00:00)
Title: Verschillende top10 fixes: o.a. script stoppen als import stap mis gaat

Ik heb verschillende fixes aan de top10 import gemaakt.

- De belangrijkste: `execute_cmd()` kijkt nu naar de exit code van het commando en stopt het script indien nodig. Ik had last van geheugenproblemen. Enkele van de xml conversie stappen gingen daarom fout. Maar... het script ging daarna vrolijk door met de volgende .gml file. Het valt niet op als er halverwege zoiets mis gaat. Het is daarom beter het hele script gelijk af te breken.

- Her en der ontbrak een `import sys`.

- `--max_split_features` toegevoegd om minder dan de default 30000 features per bestand te krijgen. Gedaan i.v.m. geheugenproblemen.

- `--skip_existing` toegevoegd: deze kijkt of een bestand al is geconverteerd en slaat 'em dan over. Handig zodat je niet het hele proces (duurt 2 uur) weer door hoeft te lopen als je een typfoutje in je postgres wachtwoord hebt gemaakt :-)

In de 'diff' zitten ook nogal wat lege regels die gewijzigd zijn: bij ons staan alle editors ingesteld op "zap trailing whitespace". En de bestanden zitten nogal vol met onnodige spaties. Daardoor krijg je diff vervuiling, maar ik zie dat maar als noodzakelijke opschoning :-)