Sin embargo, las rivalidades entre los comuneros provocan su sustitución por Pedro Girón y Velasco, ante lo cual Padilla regresa a Toledo.