伐幽州节度使李匡俦后，成为李克用义子，十三太保中排行第八，成为义儿军使。光化二年，授为泽州刺史，入为牢城使。跟从李嗣昭讨平云州叛将王晖，改为教练使、检校司空。光化五年，李克用病危时，召张承业与李存璋嘱託辅助李存勖。其后李存璋在扶立李存勖为晋王，夷平李克宁的内乱，颇为有功。李存璋后改为河东马步都虞候，兼领盐铁。当初，李克用为建立吊军心，纵容军士，使部下很多时会干扰商市，肆意豪夺，令法司也不能禁止。李存勖初嗣位时，锐于求理。李存璋得行其志，抑强抚弱，诛杀其豪首，数月之间，纪纲大振，弭群盗，务耕稼，去姦宄