长子严伯玉，接着吕长子吕彦深娶了严复侄女严琦，再是吕彦直与严复的二女儿相好，并订为未婚妻。1929年3月下旬，正在北京读书的严二小姐从报纸上知道吕彦直病逝后痛不欲生，决意遁入空门成为比丘尼，在北京西郊剃发出家，法名“秋妙”。秋妙在1950至1951年间经香港去了台湾，并死于台湾。吕彦直二姐夫因贫病而死。三弟师从历史学家顾颉刚，是历次运动的箭靶，贫病死于文化大革命前夕。四弟是上海中共地下党员，开有“金马书堂”印刷厂掩护革命工作，死于1932年。另据说，二姐1959年病逝于台湾。