门郎、青州刺史、侍中、尚书等职。光熙元年（306年）升任吏部尚书。永嘉初年一度出任镇西将军、雍州刺史，及后又被征为尚书左仆射，领吏部。山简在任内上奏建议命各公卿大臣都因自己所知而举荐各地贤才，以求广招贤士，复兴晋室。永嘉三年（309年），征南大将军司马略逝世，山简于是被任命为征南将军、假节都督荆湘交广四州诸军事，出镇襄阳。当时天下大乱，山简则终日沉溺于酒醉之中，并常常在荆州豪族的园林内游玩，并醉卧于池塘。不久，山简加督宁益二州军事。永嘉五年（311年），汉国将领刘聪等率大军进攻洛阳，山简于是派督护王