夫，赐谥号为穆。司徒蔡谟曾十分器重杜乂，曾经在朝议中向众人说：「可惜你们都没有见过杜乂啊！」可见杜乂名声何其出众。
妻子.杜乂死后，其妻裴氏孀居，抚养杜陵，以礼自守，贤名远扬。杜乂获追谥时，朝廷亦封裴氏为高安乡君，食邑五百户。晋孝武帝时期，再进封为广德县君。裴氏相当长寿，百姓均唿其为「杜姥」。