Die während der truchsessischen Wirren entstandenen Kriegsschäden wurden beseitigt und besonders Schnellenberg erhielt eine kostbare Innenausstattung im Stil der Spätrenaissance. Der Altar der Burgkapelle wurde von Kaspars Bruder Dietrich geweiht. Auch die Burg Waterlappe ließ er neu erbauen, beim Gut Hengstebeck in der Nähe von Bilstein ließ er einen Garten anlegen. Insbesondere der Ausbau von Schnellenberg war aufwändig und hat die Finanzen von Kaspar stark belastet. Er beschäftigte auswärtige Handwerker, Kunsthandwerker und Künstler.