唐朝散大夫赠司勋员外郎〉有载，孔戡称韦屺为舅，孔戣和孔戡是亲兄弟，故韦氏夫人是韦屺之姐妹)；叔曾祖孔巢父官谏议大夫。祖父孔戣，位终礼部尚书，祖母京兆韦氏韦种女 (韩愈〈正议大夫尚书左丞孔公墓志铭〉有载)。父孔遵孺，官华阴县丞。少年丧父，有弟孔绛、孔缄，兄弟三人皆由叔父孔温裕、孔温业养大，叔父都位居方镇，与名士交往，所以孔纬早年就名声远播。堂姐妹孔氏，孔戡之女，嫁刘博 (〈唐前汴州尉氏县尉刘搏妻孔氏墓铭〉)，另尚有一名堂姐妹，亦孔戡之女。堂兄弟孔纾，叔孔温裕与薛氏之子，堂弟妇韦氏，堂侄男二。