李吉甫
李殷衡生年不详。他来自显赫的官僚家族赵郡李氏，曾祖父李吉甫和祖父李德裕都曾任宰相。李德裕在唐武宗年间尤其有权，掌控国政。武宗崩，唐宣宗继位后，李德裕失权，最终被贬，儿子李烨即李殷衡的父亲一同被贬。因此李殷衡不能在早年得到重要官职。