显甫的族兄弟；定州刺史、晋阳县伯李元忠的族叔，他年轻时懂武术有胆识，喜欢结集亡命之徒抢劫，成为乡间忧患。永安末年，兄长南鉅鹿太守李无为因收赃被御史弹劾，囚禁在州内监狱；他率领左右十多名骑兵，冒称台使途经州城劫出李无为，州军无法控制，于是李景遗以侠义闻名。高欢在信都起事，他自行投靠；高欢早听闻他的事蹟，就给他很好的待遇，命令他和李元忠西山举兵，和大军会合，抓拿刺史尔朱羽生；李景遗因军功除授龙骧将军、封昌平县公，食邑八百户。与尔朱兆作战期间，他力战有功，又任命为使持节、大都督、左将军。太昌初年（532年），进爵