Carl August hade likväl också fiender.