朝余姚令。时东晋初建，法禁宽弛，豪族多挟藏户口，让他们私下依附自己。山遐以峻法治理，到县八十日，查出万余户口。县人虞喜因藏户，罪当弃市，山遐想法办他。诸豪强莫不切齿恨山遐，对执政官员说虞喜有高节，不宜屈辱。又因山遐擅自造县舍，遂陷山遐于罪。山遐给会稽内史何充写笺：“乞求留任百日，穷究逃犯，然后退职服罪，无恨。”何充为之申理，无果，最终坐罪免官。后为东阳太守，为政严勐。晋康帝下诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。建元元年（343年）二月，荆州刺史庾翼写信给哥哥车骑将军庾冰提到“山遐为