In 1540 zou een andere kapel op de top van deze heuvel gebouwd die ook aan Maria geweid zou zijn. De berg maakte toen deel uit van een groot ziekenhuis in Lissabon: het "Hospital Real de Todos os Santos". Tijdens de zeventiende eeuw was het landgoed eigendom van Fransisco de Mello e Castro. Na de aardbeving van 1755, werd het landgoed verlaten.