十四年（1545）五月，上疏弹劾严嵩贪污，帝怒下狱廷杖，削籍居家。家居二十余年。何回乡后，“乃聚徒讲学，辟天山书院于邑之小港（按：邑指番禺，海珠区地域在广州设市前，向属番禺县管辖），从游者甚众。”隆庆元年（1567年）复官，升任大理寺少卿，后再升左佥都御史、进左副都御史；因母丧丁忧。万历三年，再升任至吏部右侍郎、吏部左侍郎。因得罪张居正，停俸三月。不久，改为南京礼部尚书。有弟何维椅、子何崇亨。万历五年（1577年），与时宰相张居正不合，何再次被罢官，被罢官，返广州河南小港讲学，把书院改名天山草堂。时