与一英国女子玛丽娅诞下一女伍丽芳及三岁时将她带回香港抚养，而聚多的私人文物及艺术收藏品由伍丽芳及其子孙郑月娥及赵泰来继承
轶事.着名雕塑家李金发曾为伍廷芳作一雕塑。
信仰言论.据称伍喜好谈论鬼，还会和鬼一起摄影，单独一人有时会「骂鬼」而惊动旁人。1920年左右伍在上海，还设过一鬼讲坛，任人来研究鬼学。外籍人士被其独特学说所吸引，推伍为「中国式学者的代表」。
率先採用火葬.1922年6月伍在广州离世，后人按其生前意愿，送遗体火化。