派阀（“新派”）手中，同刘代表的旧世代军人与政治家派阀（“旧派”）之间的对立加深。1920年（民国9年）9月，王文华从远征的四川败退回贵州。同年11月，他发动了肃清旧派的行动（“民九事变”）。新派军人杀掉旧派骨干，刘也不得不下野。可是王文华在和部下袁祖铭的斗争中被暗杀，贵州政治形势再度混沌。
东山再起失败.1923年（民国12年）3月，刘显世获得唐继虞（唐继尧的弟弟）所率滇军的支援，驱走了袁祖铭，重归贵阳。此后，唐继虞任贵州军事善后督办，刘任辅佐他的贵州军事善后会办。1925年