Han ledet senere byggingen av hovedbygningen på Søndre Brekke etter at Aall hadde kjøpt stedet i 1810. Telemark Museum «Fører» af 1927 forteller at « Niels Aall under sin ombygning ikke brugte anden arkitekt end byggelederen Aasmund Norgaard». Dette er det senere sådd tvil om, men,