Tradicionalmente se considera que se inició su construcción en 1316, a instancias del arzobispo Rodrigo de Padrón, como torre de defensa y tras su defunción continuó con la obra su sucesor, el arzobispo Berenguel de Landoria, aunque algunos autores sostienen que esos datos pueden no ser correctos.