袁通为子。侧室陶姬，生一女。袁枚六十余岁时，侧室钟氏生子，袁枚赋诗曰：「六十生儿太觉迟，即将迟字唤吾儿。」，取名袁迟。袁迟（1779－1828），字真来，知名画家，着有《画林新咏》等，袁迟生有三子。
墓葬.袁枚在小仓山筑随园，题其室曰“小仓山房”，着《小仓山房文集》。其墓亦坐落于此，碑文“皇清诰授奉政大夫显考袁简斋之墓”为姚鼐所撰，民国时尚存，但在文化大革命时被毁坏，仅残留碑址。1974年3月18日修建五台山体育馆时，袁枚墓被全面清理。
逸事.据葛