祖辈和父亲吴令珪都是今四川一带的县令和县丞之类的小官。姐姐吴氏因父亲犯罪而没入掖庭，后成为皇子李玙（即唐肃宗）的姬妾，生下唐代宗。宝应二年（763年），其外甥唐代宗开始大封母族，家族由此兴盛。吴溆以盛王府参军，拜开府仪同三司、太子詹事，与弟弟吴凑俱封濮阳郡公。不久，迁鸿胪少卿、金吾将军。建中初年，唐德宗以舅公吴溆为大将军。吴溆循循有礼让，无倨气矜色，见重朝廷，时以为材当所位，不自戚属者。泾原兵变，吴溆从幸奉天，卢杞、白志贞请德宗派人诏谕朱泚。德宗问手下大臣，大家都害怕去。吴溆请命去长安，说：“陛下不以臣