La chapelle Sainte-Anne, construite en 1519, se dressait initialement à quelques dizaines de mètres de son emplacement actuel, au coin de la rue de la Montagne et de la rue du Singe, aujourd'hui disparue. Reconstruite de 1655 à 1661, elle fut sérieusement endommagée par le bombardement de 1695, et reconsacrée en 1699.