。光绪二十四年（1898年）辞官返乡，建“高华”府第，正座官厅匾书“太史第”，俗称“南园”，又建“惜兰香馆”书房藏书。光绪三十一年（1905年），光绪帝废科举改办学堂。郑邦任就在家乡倡办“履新学校”。光绪三十三年（1907年）又与乡人清朝末科进士出身的范家驹等人创办六都高等小学堂。