La residencia de la familia Coloma en estas tierras durante todo el siglo XVI y parte del XVII, dio lugar a la transformación definitiva de la fortaleza militar medieval en Palacio Condal.