I 1803 hadde han giftet seg i Travendahl med komtesse Nicoline Wilhelmine von Luckner (1780-1873), datter av grev Nikolaus Luckner og grevinne Adamine Gottlobine, født Wedell-Wedellsborg. Syd for Sem kirke ved Jarlsberg lot han oppføre en oktogont gravkapell, for seg selv og sin nye familie. I 1809 reiste han som gesandt til keiserhoffet i Wien. Her døde han i april 1811, og kom derfor ikke til å hvile i sitt gravkapell i Norge.