散大夫，高欢从子高永乐担任济州刺史，听闻李纬而请求和他相见，以宾交之礼相待。高永乐逝世，他协助送葬还都。萧衍遣使朝贡，侍中李神儁推举李纬为尚书南主客郎，前后共接应十八人，十分称职。邺城有人说：「才学表现依次为李浑、李绘、李纬，口才则为李绘、李纬、李浑。」高澄兼任吏部尚书，任用他为司徒谘议参军，说：「你能破格署任是因为你是人才，我才这样做。」不久加任征虏将军。南梁使者谢兰来访，李纬慰劳他。谢兰询问安平崔氏的近况，他说：「崔子玉之后，善于文辞的人已经没有了。」崔暹听到后很生气，李纬登门谢罪，崔暹立刻骑马不理