学校创建于抗战胜利前夕的1945年，当时选址清水江杨木档张氏宗祠，原名称祥瑞中学，由张啸霞（早年是同盟会会员，参加过辛亥革命）任董事长，张本仁（毕业于黄埔军校，曾任陈明仁旧部参谋长）任校长，1946年夏，由该中学教导主任朱孜砻（曾中山大学任教）老师提议，借用李大钊“铁肩担道义，妙手著文章”诗句中的“铁肩”二字更名为“铁肩初级中学”，到目前为止，校名仍称铁肩中学