A principios del siglo XVI se comenzó a construir la iglesia de Santa María de Altamira en el solar que ocupaba el Hospital del Chantre.