令狐绹能够升任宰相，在某种程度上是宣宗感动于令狐楚对宪宗的忠诚。令狐绹之子令狐滈骄纵不法，受贿卖官，人称“白衣宰相”。令狐绹还有几个儿子：中书舍人令狐涣、令狐沨。令狐绹的外祖沂州刺史李渐，唐朝名画师。舅舅乃李仲和。
逸事.温庭筠与令狐滈友好，经常出入于相府。令狐绹曾央求温庭筠代写二十首《菩萨蛮》词。《北梦琐言》卷二：「（绹）曾以｀故事｀访于温岐，对以｀其事｀出《南华》，且曰：『非僻书也，或冀相公燮理之暇，时宜览古』。绹益怒之。」