Ye kom fra en akademisk familiebakgrunn, og fikk høyeste grad ved den keiserlige embedsmannseksamen i 1835. Deretter hadde han en kort stund vervet som kompilator ved Hanlinakademiet, det keiserlige embedsverks eliteinstitusjon i Beijing. I 1838 ble Ye utnevnt til prefekt for Xing'an i provinsen Shaanxi, og han steg deretter raskt i gradene i Qing-dynastiets embedsverk. Han var kretsintendant for Yanping i Shanxi, saltinspektør i Jiangxi, tilsynskommisjonær i Yunnan og finanskommisjonær først i Hunan, så i Gansu og til slutt i Guangdong.