1921年6月仍回桂系军队任排长。1922年，被派往李济深在肇庆主办西江讲武堂学习。1924年初，刘斐毕业后，任广西讨贼军参谋。6月，任广西定桂讨贼联军少校参谋。1926年7月任国民革命军总司令部上校主任作战参谋，同时得与一些中国共产党党员，如李富春、朱克靖、林伯渠等有所接触。1927年补送往日本留学，通过根本博少佐绍至第1师团第57联队见习半年后，经考试进入日本陆军步兵专门学校。1930年第一名毕业，免试入日本陆军大学。1934年春，刘毕业回国。在桂系任职，曾七次奔走于桂系与蒋介石之间调停