Na de Val van Antwerpen in 1585 werd Antwerpen ge-herkatholiseerd. De invloed die de Reformatie had gehad, moest onder de Contrareformatie teniet gedaan worden. Er kwam een bisschop, en er werden talrijke nieuwe kloosters en kerken gesticht, waaronder het klooster van de annunciaten. Op 26 augustus 1615 werd de eerste steen van de kloosterkerk gelegd door Isabella van Spanje en haar echtgenoot Albrecht van Oostenrijk, op dat moment de wereldelijke heersers van de Zuidelijke Nederlanden. Toch bleven er protestantse enclaves bestaan. In Antwerpen vormden de protestanten een gemeenschap onder de schuilnaam van de "Brabantse olijfberg". Ze kwamen in het geheim bijeen bij privépersonen aan huis. De naam duikt voor het eerst op ter aanduiding van deze gemeenschap in het midden van de 17de eeuw. Het prominentste lid van deze gemeente was ongetwijfeld de schilder Jacob Jordaens, die zijn huis vanaf 1674 tot zijn dood in 1678 geregeld ter beschikking stelde voor de viering van het Heilig Avondmaal.