先祖何德明公从广州迁居到沙湾。六年之后，他得到本乡李昴英的助力，向广东常平司以官价购置官辖的荒田和荒地，一共三百顷，是为何氏最早的产业。公元1335年，何氏族人修建留耕堂。元朝末年，留耕堂毁于兵祸。明朝洪武二十六年（公元1393年）得以重建。随后又在正统五年（公元1440年）扩建。清朝康熙三年（公元1664年），朝廷实施海禁，令沿海居民一律内迁五十里，留耕堂也被迫拆掉。康熙二十七年，何氏家族开始重建留耕堂，但规模比之前大为减小。直到康熙三十七年，才开始考虑认真重建，将几年前的祠堂拆掉重起扩建，改为五