年好学。嗣德八年（1855年），参加河内场乡试，考中举人。嗣德十八年（1865年），考中副榜。初授翰林院检讨，后补仙游知县。嗣德二十五年（1872年），升任监察御史，后因父母年老，改授兴安督学，方便就近奉养父母。成玉蕴担任督学十余年，累升至侍读学士。同庆二年（1887年），升授光禄寺卿，仍任督学。次年（1888年），回朝充任国史馆纂修。成泰五年（1893年），成玉蕴去世，年五十九岁。