声慈善社于西环近加惠民道位置为属下学校建成新校舍，期间政府资助一半建筑费。1956年及成以来，该校舍一直沿用至1989年，为了扩充班级结构，钟声慈善社胡陈金枝中学校方于1989年3月获教育署批准迁入屯门区办学；同年9月至1990年9月前暂时借用大兴邨释慧文中学当年新建的校舍。自1990年起正式迁到兆麟街现址，并以胡文虎夫人胡陈金枝的名字来命名，取代原名「钟声慈善社学校」。当时小学部设有夜校。小学部则在中学部迁址后停办。钟声慈善社胡陈金枝中学是「国际启发潜能教育（Invitational Education）