入北京之后，李存义带领弟子至山西避祸，曾经向宋世荣求教内功，并与宋铁麟交流拳技，使得河北形意拳与山西形意拳门下得以交换习武心得，更增进了形意拳的内涵。他与李瑞东、李书文结拜，排行第二，又与张占魁以兄弟相称。宣统三年（1911年），为发挥武术精神，与马凤图、叶云表在天津创立当时北方最大的民间武术团体－中华武士会，在名义上以李瑞东为首，但实际上所有事务都是由他来处理，与上海的精武体育会声气相通，共同为了发扬尚武精神而努力。他是最早提出将中国武术命名为国术者，民国后他将天津中华武士会改名为天津国术会，因李存义