殷衡生年不详。他来自显赫的官僚家族赵郡李氏，曾祖父李吉甫和祖父李德裕都曾任宰相。李德裕在唐武宗年间尤其有权，掌控国政。武宗崩，唐宣宗继位后，李德裕失权，最终被贬，儿子李烨即李殷衡的父亲一同被贬。因此李殷衡不能在早年得到重要官职。唐朝灭亡后，李殷衡效力后梁开国皇帝梁太祖，为右补阙。开平二年（908年），太祖派膳部郎中赵光裔充官告使，李殷衡为副，出使控制清海军且名义附庸于梁的军阀刘隐，授其清海军和静海军节度使。赵光裔和李殷衡到清海军后，刘隐将他们留在自己的幕府，没有送他们回梁。李殷衡因中原多兵戈，于是乐于安