Da svigerfaren døde i januar 1661, ble Ludvig en av Norges rikeste menn; i 1676 ble han nevnt som den nest rikeste i Norge. I 1661 begynte han å bygge sitt herresete på Hatteberg, og da det sto ferdig i 1665, hadde det kostet så mye at han måtte selge jordegods for å greie gjelden. Det ble sagt om han at han var en dårlig økonom og stadig i pengeproblemer, selv om han eide stort jordegods og hadde gode embeter.