排行第一。李嘉玉幼年曾上农村小学，并放过羊、卖过饭。1942年考进绥德师范学校，任学生会主席。1942年6月加入中国共产党。1944年毕业后，被分配到绥德专署民政科工作，历任子洲县石窑沟区（今属榆林市横山区）乡指导员、横山县波罗区宣传科长、镇川县（今属榆林市）武家坡区（今属榆林市横山区）副区长。1946年6月，奉命到国统区波罗堡，参与策划国民革命军胡景铎部武装起义。1947年9月，参加中国人民解放军，历任新4旅771团营政工干事，17师49团连指导员、营副教导员。1949年10月，李嘉玉乘坐苏联军机抵达