亲都是今四川一带的县令和县丞之类的小官。宝应二年（763年），其外甥唐代宗开始大封母族，家族由此兴盛。与兄吴溆同日开府，授太子詹事，俱封濮阳郡公。又记为“太子詹事，临濮县公；并加开府仪同三司”。吴凑以兄弟皆授官三品，固辞太过，要求降低官职。于是任命吴凑为检校太子宾客，兼太子家令，充十宅王使。累迁左金吾卫大将军。吴凑性格“小心谨慎，智识周敏，特承顾问，偏见委信”，深得唐代宗信任。大历末年，丁继母丧免职。建中初年，起为右卫将军，兼通州刺史。贞元初年，入为太子宾客，出为福州刺史、御史中丞、福建观察使。唐德宗又