Yan Xishan syntyi Hebianin kylässä lähellä Shanxin pääkaupunkia Taiyuania. Hänen isänsä oli pankkiiri, mutta perheen pankki meni vararikkoon, joten Yan lähetettiin vuonna 1901 sotakouluun Taiyuaniin. Hän jatkoi sotilasopintojaan Kiinan valtion tuella Japanissa, mutta liittyi siellä myös kiinalaisten emigranttien maanalaiseen Tongmenghui-vallankumouspuolueeseen. Wuchangin kansannousun ja Xinhai-vallankumouksen puhjetessa lokakuussa 1911 Yan oli everstinä Shanxissa. Hän kiirehti julistamaan Shanxin itsenäiseksi Qing-dynastiasta. Hänen joukkonsa olivat alivoimaiset niitä vastaan lähetettyihin keisarillisiin joukkoihin nähden, mutta vallankumouksen menestys muualla Kiinassa pelasti tilanteen. Kiinan tasavallan ensimmäiseksi presidentiksi tullut Yuan Shikai nimitti Yanin Shanxin sotilaskuvernööriksi.