Pero ante discordancias entre Felipe con Fernando y por la Concordia de Villafáfila, de 1506, este último se retiró del poder de Castilla y regresó a Aragón.