Han hadde i 1736 fått tillatelse til å ekte Helle Margrethe Rantzau (d. 1771). Etter av Grabow trakk seg tilbake fra det militære slo paret seg ned i Fredericia i Jylland, hvor de kjøpte en stor bygård. Ekteparets bolig der bugnet over med kostbart innbo, mengder av porselen importert fra både Kina og Japan, og en rekke malerier, deriblant malte kongebilder i forgyldte rammer.