后回到河北省，在博野、蠡县、安国、安平等县搞乡村自治。张荫梧在“四存小学”的基础上，扩充了一所亦军亦农亦学的“四存中学”。1932年（民国21年）2月，他重归山西省政府，任晋绥军事整理委员会常务委员兼军官教导团团长。1934年（民国23年）11月，他任河北省政府委员，兼任县政建设研究院院长（任至1935年12月）。1936年（民国25年）1月，他获授陆军中将。
抗日战争期间.1937年（民国26年）抗日战争爆发，张荫梧退到了河南和山西的交界处林县、陵川一带，以“四存中学”的教员和学