因藏户，罪当弃市，山遐想法办他。诸豪强莫不切齿恨山遐，对执政官员说虞喜有高节，不宜屈辱。又因山遐擅自造县舍，遂陷山遐于罪。山遐给会稽内史何充写笺：“乞求留任百日，穷究逃犯，然后退职服罪，无恨。”何充为之申理，无果，最终坐罪免官。后为东阳太守，为政严勐。晋康帝下诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。建元元年（343年）二月，荆州刺史庾翼写信给哥哥车骑将军庾冰提到“山遐为余姚长，为官出豪强所藏二千户，而众豪强共驱逐之，令山遐不得安席。这虽然都是之前宰相昏谬，但江东大势已去，实缘于此”。