后又任顺阳国内史，当时顺阳王司马畅骄横放纵，以前数任内史者被他诬陷，但吾彦是清官，以身作则，整肃当地官员，令众人都畏惧他；而司马畅亦不能诬陷他，反而推荐他，希望尽快将他送走。后迁任员外散骑常侍。交州刺史陶璜死后，吾彦出任南中都督、交州刺史。陶璜死后九真郡的戍兵使作乱，更驱逐九真太守，叛军首领赵祉又围困郡城；吾彦上任后领兵将叛军一一平定。后任交州太守二十多年，令交州安定。吾彦此时自表请求朝廷派人接替他，于是征召他为大长秋。吾彦最终在任内逝世。