1940年8月，军令部离开南岳，退还所借校舍，学校开始回迁南岳。学校在南岳恢复农科，兼办初中一、二年级。1944年6月，学校正筹划将校本部搬迁到南岳，不料日军进攻湖南，南岳、白果、衡阳相继陷落，学校不得不另寻出路。8月师生七十余人搬迁到娄底蓝田，租国立师范学院附中的校舍（该校已随国师西迁溆浦）开始招生，但全校新旧学生才150人，经费极为困难，得到校友钟汉馨和学生家长黄云奎资助才得以勉强维持。虽然当时教职员待遇很低，但全校尚能团结一心，维持教学。1945年学生由上学期的366人增至下学期的660人，学校的经