Han var gift med Eleonore Marie Sehested (egentlig: Sested) (født i Mecklenburg 1630, død på Birkholm 4. juni 1696), datter av Cai Sested (Sehestedt) til Mönchneverstorff og Anna v. Ahlefeldt (1592-1645). Parets store besittelser gikk etter Vittinghofs død over til datteren Sophie Charlotte (1666–1732), gift med general Schack Brockdorff (1652–1730), som arvet baroniet. Paret Vittinghofs epitafium, bekostet av datteren, ses i Sankt Knuds kirke i Odense, hvor han er avbildet en face og hun bak ham i profil i en portrettmedaljong. Gravminnet er tilskrevet Thomas Quellinus.