Thema Totaal 3D/T3D Pilots/Den Haag/Samenstellen

Categorie:Totaal 3D
==Samenstellen==
Samenstellen bestaat uit drie stappen
* Valideren van een ingekomen bestand
* Transformeren naar het doelbestand
* Valideren van het getransformeerde bestand
===Valideren===
Vanuit ADF worden via Azure functions aparte componenten aangeroepen voor het valideren van bestanden die in de workflow binnen komen. Deze validatie componenten bestaan uit twee delen. Een technische validatie of het een correct bestand is. Voor vrijwel alle formaten bestaan er standaard checks die eenvoudig kunnen worden aangeroepen. Dit is in Den Haag getest, en dat werkt prima.
Daarnaast is het, afhankelijk van het type bestand, mogelijk om te controleren op specifieke leveringsspecificaties. Ook dit is niet heel lastig. Het is wel wenselijk om dit flexibel te houden, zodat specificaties nog gewijzigd kunnen worden. Op dit moment zijn die namelijk nog verre van definitief. Dit geldt vooral voor bijvoorbeeld BIM bestanden. Bij Lidar bestanden is dit minder goed mogelijk.
Samenvattend kan gesteld worden dat een technische validatie van bestanden niet lastig is. Zeker schemachecks zijn relatief eenvoudig, en ook per bestandstype generiek te maken met een duidelijke API erbij.
===Transformeren===
Bij de beschrijving van de bestandsformaten is al aangegeven in hoeverre transformatie succesvol is voor elk bestandstype. Het transformeren gebeurt via ETL processen. Voor inkomende vector formaten zoals BIM bestanden (IFC), is een ETL goed te maken. Wel is het zo dat in de praktijk nog veel IFC's weer verschillend zijn, waardoor een mapping lastig is. Voor een goede ETL tool zou een configureerbare mapping ideaal zijn. 
Transformatie van minder gestructureerde bestanden, zoals Lidar, blijkt lastiger. Daar wordt nog steeds wel aan gewerkt, en de verwachting is wel dat dit de komende jaren betere resultaten gaat opleveren. Zowel op gebied van herkenning van objecten als nauwkeurigheid laat nu nog het te wensen over. Toch kan een combinatie van automatische verwerking aangevuld met handmatige controle/verwerking wel een meerwaarde bieden.
ETL tooling wordt in Den Haag vanuit ADF aangeroepen, en geeft naast het getransformeerde bestand ook de nodige proces informatie terug die kan worden opgeslagen. Hiervoor worden nu Azure functions gebruikt. Dit kan echter ook op vele andere manieren worden ingevuld.
Ook deze tooling kan goed generiek worden gemaakt en met een API beschikbaar worden gemaakt. 
onderstaande figuur geeft een overzicht van het transformatie proces.
===Valideren met inspectie===
Na transformeren wordt er weerom een validatie uitgevoerd, die op dezelfde mannier wordt uitgevoerd, namelijk een technische validatie (klopt het bestand), en eventueel een check op datamodel. Daarnaast wordt het bestand naar een viewer gestuurd voor een visuele inspectie van het bestand. Er zijn meerdere viewers in de markt waarmee dit mogelijk is, en die vrijwel allemaal via een API vanuit ADF kunnen worden aangeroepen. Ook in Den Haag zijn hier testen mee gedaan.
===Algemene conclusies===
Er zit hier potentieel veel generieke functionaliteit in, die ook generiek kan worden gemaakt over de gemeenten heen. Waar tooling als workflow automation, maar ook een beheer omgeving en viewers door elke gemeente afzonderlijk zullen worden gekozen, kan het raadzaam zijn om validators en transformers centraal vanuit de VNG (of bijvoorbeeld Geonovum) beschikbaar te stellen. Dat kan veel dubbel werk door gemeenten besparen.
Dit zijn typisch tools die via een API kunnen worden aangeroepen met vaste parameters, en die ook vaste antwoorden terug kunnen geven. Hier kan de VNG het voortouw in nemen.