，高中毕业的马铁山赴陕西咸阳市农村插队劳动。1970年通过招工，进入咸阳市造纸厂工作；历任厂供销科干事，子弟中学教师，厂共青团委副书记、书记，厂办公室主任；1984年，出任厂长。
从政经历.1984年8月，马铁山转任中共咸阳市秦都区区委书记，开启从政之路。此后，历任中共咸阳市委常委、经济部部长，陕西省经济体制改革委员会副主任，中共榆林地委副书记、书记，榆林地区行政公署专员；期间，于1997年，参加中共中央党校一年制中青年干部培训班。2000年，升任中共陕西省委常委、省纪委书记；