国公）。妻尉迟氏，为邛州刺史尉迟环女，尉迟恭孙女，封河南郡君，逝世于天宝四年（745年）。长子陈州太康主簿杜灵瑗，次子杜奉遥（此从墓志铭，《新唐书·宰相世系表》作杜凤举），三子杜鸿渐（708年－769年）。杨炎所撰神道碑记载杜鸿渐为“山南剑南道副元帅特进黄门侍郎同中书门下平章卫国公”，可见杜鹏举应去世于764年杜鸿渐官拜同中书门下平章事之后。