家族自元和后，官至正卿、方镇者六七人，没有宰相，至孔纬始入宰辅。孔纬大弟孔绛明经及第，二弟孔缄为干符三年（876年）状元，伯父孔温质之子孔纁为咸通十四年（873年）状元；孔纬之子孔崇弼（《新唐书·宰相世系表》作孔昌弼，字佐化）亦进士出身，官至散骑常侍。徐彦若是其姻亲，孔纬之孙即孔昌弼子孔葆是徐彦若孙女婿。