In de middeleeuwen was dit een dorp met een slot, slot Swanenburgh, waarin de 'Heren van Duiveland' woonden. Ook toen overstroomde het al regelmatig. De polder waarin Capelle lag, de Vierbannenpolder, stond bij stormvloeden in 1288 (de Sint-Aagthenvloed), 1304, 1403, 1414, 1421 (de Sint-Elisabethsvloed), 1530 (de Sint-Felixvloed) en 1532 (Stormvloed van 1532) telkens onder water. Bij de stormvloed van 1532 werd de kerk verwoest, maar de bewoners waren niet bij machte behalve hun huizen ook de kerk weer op te bouwen. Hierdoor werd het dorp Capelle een gehucht.