四子伦以谟均为正室区氏所出，五子伦以谔则为侧室邝氏所出。长子伦以谅，正德十一年（1516年）中丙子科广东乡试第一名（解元），正德十六年（1521年）登辛巳科进士。次子伦以训，正德十二年（1517年）中丁丑科会试第一名（会元），同年登进士第一甲第二名（榜眼）。三子伦以诜，嘉靖十七年（1538年）登戊戌科进士。其中又以伦文叙跟长子伦以谅、次子伦以训父子三人各佔一元，一家之中父子兄弟并以魁元策名当世，并称为“南海三伦”。
着作.着有《迂冈集》、《白沙集》等。