五年（1577年），与时宰相张居正不合，何再次被罢官，被罢官，返广州河南小港讲学，把书院改名天山草堂。时草堂附近小港涌上原有一小木桥，来往行人深感不便。后何带头斥资改建为石桥。而何辛勤讲学多年，从学者半数中举人，10余人中进士。乡人为纪念何维柏之功，在小港桥头建一座石牌坊，刻云桂发祥。
家族.曾祖何荣；祖父何方；父何应初。前母陆氏；冯氏。