。天祐十九年（922年），后梁将领段凝率军五万立营逼近晋地，蒲人大为恐慌，多数人欲归降后梁。间谍离间存贤说河中将士欲拘留他降于后梁，但是，李存贤回应说既然奉命援河中，殁于王事是固然的。后梁军退后，以功加检校司徒。同光元年（923年），李存勗灭后梁建立后唐，李存贤被授为右武卫上将军。同年十一月，入觐洛阳。同光二年（924年）三月，幽州李存审疾笃，要求入觐进见李存勗，众人商议选择将帅取代他。当时正在内宴会上，李存勗慨叹无人能附托时，见李存贤在坐，即日授李存贤为特进、检校太保，充当幽州卢龙节度使。是年五月，李