Han eide herregårdene Engestofte, Skibelundgård og Holmegård, og andre eiendommer, og var gift med Anne Jørgensdatter Urne til Engestofte. Peder Hvitfeldts Stræde i København er oppkalt etter ham.