加任征虏将军。南梁使者谢兰来访，李纬慰劳他。谢兰询问安平崔氏的近况，他说：「崔子玉之后，善于文辞的人已经没有了。」崔暹听到后很生气，李纬登门谢罪，崔暹立刻骑马不理睬他。他对人说：「虽然得失别人，但我一定会担任聘梁使。」武定五年（547年），李纬兼任散骑常侍出使南梁，他和两位兄长和姪子李湛都担任过和南梁交聘的使节和副使，被称为赵郡的四使之门。他在任期间经常游玩，不遵守礼法，自称「隐君」，空虚得有超脱尘俗的意愿。后来太尉高岳出讨时，任用他为大都督司马。还师后，拜授太子家令，到武定七年（549年）八月去世，虚