In 1370 kreeg Willem van Egmond, vierde zoon van Jan I van Egmond, van zijn oudste broer Arend van Egmond de ambachten Zevenhuizen en Zegwaart in leen. Hij erfde dit leenrecht van zijn in 1369 gestorven vader Jan I van Egmond. Hij was lid van de Kabeljauwen (1391) en raakte tussen 1409 en 1410 in ongenade. Hij liet een -waarschijnlijk toen reeds bestaande- hoeve aan de Dorpsstraat van Zegwaart, tegenwoordig Zoetermeer, ombouwen tot een versterkte woning. Dit was eerder bedoeld als statussymbool dan dat het enig militair belang had. Het bestaan van dit kasteel wordt in een document uit 1398 bevestigd, terwijl archeologisch onderzoek een ontstaansjaar tussen 1375 en 1405 uitwees. In 1405 was er sprake van een hofstede met een singel en een boomgaard bij het omgrachte huis.