诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。建元元年（343年）二月，荆州刺史庾翼写信给哥哥车骑将军庾冰提到“山遐为余姚长，为官出豪强所藏二千户，而众豪强共驱逐之，令山遐不得安席。这虽然都是之前宰相昏谬，但江东大势已去，实缘于此”。永和元年（345年）至三年（347年）期间，山遐卒于任上。司徒左长史王蒙向辅政大臣录尚书六条事会稽王司马昱请求任东阳太守，说：“得山遐严厉的为政作风荫借，我可让当地和谐安定。”但司马昱没有答应。