尉行参军为起家官，屡次升迁至尚书仓部郎中。汝南王元悦担任司州牧时，因为元悦禀性粗率懒散，才情与见识不伦不类，朝廷认为李玙兼具才具与名望，熟悉政务，就提拔李玙为司州长史，同时处理司州的事务，李玙很了解辅佐上级的方法，因此又被任命为司州别驾，后转任光禄少卿。永安初年，李玙以光禄少卿兼任度支尚书，承袭了父亲的安城县伯爵位，又出任司徒右长史，仍然兼任度支尚书。东魏迁都邺城后，朝廷将李玙留在后方，监管负责国家储存的文书和财物，到了运送宫殿宗庙的木材时，李玙以明智干练而被称道，因而加号征南将军、金紫光禄大夫，不久又兼任