La fábrica del palacio, muy antiguo señorío considerado de Cabo de Armería, fue levantada hacia 1550 por orden del señor de Urra, Juan Beltrán de Albizu, quien había ganado su posesión en pleito.