Han var sønn av ingeniør Erling Ramm Østgaard (1882–1964) og Edith Sofie Evensen (1894–1980). Han var far til arkitekt Michael Ramm Østgaard (født 1952). For øvrig var han også i slekt med arkitektkollega Rolf Ramm Østgaard (1923).