Gregers Høeg Nissen var sønn av krigskommissær i Jylland Nicolai Nissen til Lerbæk og Rugballegaard (1664–1717) og Elisabeth Sophie Høeg (Banner) (1669–1739). Han var oppkalt etter morfaren Gregers Ulfstand Høeg, Vang Hovedgård, og fornavnet var oppkalt fra familien Ulfstand. Boet etter faren viste seg å være konkurs da han døde, godset gikk ut av familiens eie og barna måtte finne nye muligheter.