为李瑗，字子玉，因读《后汉书·张纲传》，仰慕张纲为人而改为李纲。北周齐王宇文宪招聘他为王府参军，宇文宪被周宣帝杀后，李纲赶车将宇文宪尸首载出安葬，并抚棺痛哭祭拜。宇文宪的女儿守寡无所依靠，他以齐王府的故吏，救济抚养宇文氏。在隋朝开皇末，作为隋文帝太子杨勇的老师，任太子洗马一职。后与杨素、苏威交恶，被派为行军司马随军征讨林邑，几乎丧命。后遇到赦免，隐居在鄠县（今陕西省户县）。李渊入长安，李纲前来谒见，为丞相府司录参军，封新昌县公。唐朝建立后，拜礼部尚书，兼太子詹事，掌管选拔人才授官的事务。他敢于犯言直