汪继续为其长史，并兼领江州刺史，但范汪都不就职，反自请还京，请求任东阳太守。此举则令桓温十分憎恨范汪。范汪在东阳郡大兴学校，甚有惠政。后来就被征召入朝为中领军、本州大中正。当时会稽王司马昱在朝辅政，十分亲近范汪，故在升平五年（361年）北中郎将，徐、兖二州刺史郗昙去世后，就让范汪都督徐兖青冀幽五州及扬州之晋陵诸军事、安北将军、徐兖二州刺史、假节。然而桓温仍然憎恨范汪，以将行北伐为由命范汪率众到梁国，及后指责范汪过约定时间而废他为庶人。当时朝廷因畏惧桓温而不敢为范汪争理，于是范汪的遭遇就令人叹恨。范汪