年间，任营州都督。他的部落家僮有数千人，以财力雄据边关，被夷人（契丹、高句丽）所忌惮。666年，以左监门卫将军与李勣、契苾何力、高侃、薛仁贵东征高句丽。670年，镇压高句丽将领剑牟岑的反叛。又和支持高句丽复国的新罗交战，是罗唐战争中，后期唐军的主帅。防御吐蕃时，累拜右领军大将军，为积石道经略大使。吐蕃论钦陵等率众十万人进攻湟中，李谨行以空城计待之。吐蕃疑有伏兵，不敢进。676年，于青海又破吐蕃数万众，唐高宗授其为镇军大将军，行右卫大将军，封燕国公。永淳二年（683年）七月二日去世于鄯州河源军，年六十四，追赠