Reeds in 1345 werd op de plaats van de kerk een kapel opgericht. Deze was gesticht ter nagedachtenis aan graaf Willem IV, die tijdens de Slag bij Warns op 26 september van dat jaar was omgekomen. Ze werd tijdens het Beleg van Haarlem in 1573 verwoest. De muren bleven wel gedeeltelijk intact. Toen Adriaan Pauw, de latere raadpensionaris van Holland, in 1629 ambachtsheer van Heemstede werd, nam hij het initiatief om de Oude Kerk te herbouwen. In 1623 werd de eerste steen gelegd en twee jaar later werd de kerk in gebruik genomen. In 1652 werd een dwarsarm toegevoegd en in 1759 het daktorentje.