即从军，后来被唐朝廷任命为沙陀副兵马使。唐僖宗干符五年（878年），当时代北（今山西省北部）饥荒，漕运不继。大同（今山西省大同市）防御使段文楚大量缩减军士衣物和米粮的供应，而执法严厉，士卒怨恨。李克用为下属所拥，杀段文楚而起事。广明元年（880年），再杀河东（今山西省太原市）节度使康传圭，佔领太原，不久为唐军所败，与父逃入鞑靼部落。
助唐平变.唐僖宗中和元年（881年），公家赦李氏父子之罪，命李克用率沙陀军南下助战，以镇压佔领两都、自称大齐皇帝的黄巢。克用途经太原，因无法得到犒赏，