Entre 1482 y 1485 el obispo Diego de Muros añadiría al costado sur y sobre la vieja capilla de Santa Catalina una gran torre-palacio, ejemplo de la escasa arquitectura gótica civil gallega.