Wallenberg hade mäktiga både wänner och flender.