Grefsheim hadde i middelalderen og tidlig nytid mange framtredende adelige eiere, som Magnhild Oddsdatter, Knut Alvsson, Gørvel Fadersdatter (Sparre) og Hannibal Sehested.