贵只得退军，屯驻于大非川。吐蕃派出四十余万大军进攻唐军，唐军不敌，大败。薛仁贵无奈，只好与吐蕃大将论钦陵约和，才得以退军，然而吐谷浑自此沦陷。薛仁贵叹息道：“今年岁在庚午，军行逆岁，邓艾所以死于蜀，吾知所以败也。”因为战败，所以薛仁贵被废为平民。之后，高句丽余众反叛，薛仁贵再度被起用，为鸡林道总管，经略高句丽故地。上元年间，薛仁贵因为某事被贬，发配象州，遇到大赦，得以回归。开耀元年（681年），高宗念及薛仁贵旧功，召见薛仁贵，对他说：“往九成宫遭水，无卿已为鱼矣。卿又北伐九姓，东击高丽，汉北、辽东咸遵声