生于湖南醴陵县姚家坝乡潭湾村一个农民家庭。1917年夏，高小卒业在家，经别人撮合，与当地名医邹翼经之女邹碧君结婚。透过邹翼经结识时任连长的白崇禧。刘斐在白崇禧所在连被任文书，不久便升任排长，并被选派到南宁讲武堂学习。结业后，刘于1921年6月仍回桂系军队任排长。1922年，被派往李济深在肇庆主办西江讲武堂学习。1924年初，刘斐毕业后，任广西讨贼军参谋。6月，任广西定桂讨贼联军少校参谋。1926年7月任国民革命军总司令部上校主任作战参谋，同时得与一些中国共产党党员，如李富春、朱克靖、林伯渠等