财政科科员。中华人民共和国成立后，他先后担任了察哈尔省财政科副科长、科长，察哈尔省财政局副局长，山西省城市规划委员会副主任，山西省计委副主任，山西省建委主任。1961年，白效玉增选为大同市副市长。文化大革命中，白效玉被打为走资派。文化大革命后，白效玉在雁北地区任职。1978年5月，雁北地区革委会撤销，改设雁北行署，末任革委会主任薛凤霄担任雁北地委书记，白效玉成为雁北行署专员，同时担任中共雁北地委副书记。后来，他由行署专员改任平朔矿区工委书记，仍任中共雁北地委副书记。此后，他进入中国共产党山西省顾问委员会担任