Han fikk i 1669 bygget gården som i dag kalles i Klosterstræde 16 i Holbæk, og som fortsatt står. Den var hans privatbolig, mens han i tillegg hadde en embedsbolig i Klosterstræde 18 der hvor det gamle rådhuset står. En grunn til at han fikk bygget en ekstra bolig like ved var hans store familie og husholdning. Fra 1919 har Søren Mays Gård vært sete for Holbæk Museum.