与李存义结拜，众人尊瑞东为首，也称瑞东为「老会长」，但实际上的工作皆是由李存义负责。成立之时，在天津河北公园举办武术表演「天下英雄会」，轰动一时，与上海的精武体育会声气相通。在他们的带领下，天津当时建立了二十多个武术团体。成立之初，人才汇集，教练有李书文、张占魁、閰道生、张景星、王中泉、霍殿阁、郝恩光等人，同心推广武术，一时极盛。武士会所教授的拳术以形意拳、八卦掌、八极拳为主，但同时也教授许多北方武术，如弹腿等。虽然成员皆来自不同的武术流派，但在李存义的主持下，大家皆能够齐心同力。李存义也经常率领其中的