他的性格胆小迟缓。这也许是他身居相位达10年之久的原因之一。令狐绹非无情人，与李商隐有书简慰答。令狐绹的父亲令狐楚也曾经在唐宪宗元和年间担任过宰相。根据《资治通鉴》上的记载，令狐绹能够升任宰相，在某种程度上是宣宗感动于令狐楚对宪宗的忠诚。令狐绹之子令狐滈骄纵不法，受贿卖官，人称“白衣宰相”。令狐绹还有几个儿子：中书舍人令狐涣、令狐沨。令狐绹的外祖沂州刺史李渐，唐朝名画师。舅舅乃李仲和。
逸事.温庭筠与令狐滈友好，经常出入于相府。令狐绹曾央求温庭筠代写二十首《菩萨蛮》词。