子，征东府司马李遵的儿子，泾阳县男李浑与平南将军李绘弟弟。他年少聪颖有才学，和舅舅的儿子河间邢昕辈份相差不远。他最初担任征东法曹参军，后除授奉车都尉，加官宁远将军，又拜任为大司马广陵王元欣的录事参军。大司马府解除，他回到家乡。其后再拜冠军将军、中散大夫，高欢从子高永乐担任济州刺史，听闻李纬而请求和他相见，以宾交之礼相待。高永乐逝世，他协助送葬还都。萧衍遣使朝贡，侍中李神儁推举李纬为尚书南主客郎，前后共接应十八人，十分称职。邺城有人说：「才学表现依次为李浑、李绘、李纬，口才则为李绘、李纬、李浑。」高澄兼任吏部