据庙中碑文可知，至迟在明洪武年间，武山庙已经存在。庙宇最初为溪口镇上任、宋、单、张、蒋五姓共同祭祀，清代以后蒋姓成为镇上第一大姓，社首即由蒋姓担任。清干隆五十五年（1790年）及嘉庆元年（1796年）曾修葺并扩建廊庑和山门。清末，蒋中正祖父蒋斯千、父亲蒋肇聪均曾担任庙董。蒋肇聪担任庙董期间，五族再次对武山庙进行扩建，形成当下的规模。中华民国成立后，武山庙内兴办武山小学，蒋经国曾于1916年在此学习，蒋中正也曾捐资修庙并多次在此祭拜。1936年12月，西安事变的消息传到溪口，正在武山庙看戏的蒋中正兄长蒋介