曾祖孔岑父，官至秘书省着作佐郎，曾祖母韦氏，封扶风郡夫人 (唐元稹撰有〈追封孔戣母韦氏等制〉)，舅曾祖韦屺 (韩愈〈唐朝散大夫赠司勋员外郎〉有载，孔戡称韦屺为舅，孔戣和孔戡是亲兄弟，故韦氏夫人是韦屺之姐妹)；叔曾祖孔巢父官谏议大夫。祖父孔戣，位终礼部尚书，祖母京兆韦氏韦种女 (韩愈〈正议大夫尚书左丞孔公墓志铭〉有载)。父孔遵孺，官华阴县丞。少年丧父，有弟孔绛、孔缄，兄弟三人皆由叔父孔温裕、孔温业养大，叔父都位居方镇，与名士交往，所以孔纬早年就名声远播。堂姐妹孔氏，孔戡之女，嫁刘博 (〈唐前汴州