遐给会稽内史何充写笺：“乞求留任百日，穷究逃犯，然后退职服罪，无恨。”何充为之申理，无果，最终坐罪免官。后为东阳太守，为政严勐。晋康帝下诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。建元元年（343年）二月，荆州刺史庾翼写信给哥哥车骑将军庾冰提到“山遐为余姚长，为官出豪强所藏二千户，而众豪强共驱逐之，令山遐不得安席。这虽然都是之前宰相昏谬，但江东大势已去，实缘于此”。永和元年（345年）至三年（347年）期间，山遐卒于任上。司徒左长史王蒙向辅政大臣录尚书六条事会稽王司马昱请求任东阳太守，