Por su apoyo al bando realista, encabezado por su hermano Beltrán, sufrió fuertes enfrentamientos con los palentinos, partidarios del infante Alfonso de Castilla, quienes llegaron a derribar en 1465 el alcázar y palacio de los obispos en la ciudad.