父母都是军人。父亲刘义德，曾在八路军胶东军区和东北野战军参加抗日战争和第二次国共内战，以后曾任四十一军政治部副主任、湖南省军区政治部副主任等职。因为出生在广东的军营中，故名“粤军”。1969年冬，14岁的刘粤军进入解放军服役，被分配到广州军区下辖第四十一军一二三师三六七团（塔山英雄团），在该团工作19年。1973年12月，任排长。1974年9月，任三六七团二营四连连长。1979年2月，参加中越战争，他亲自操纵一挺重机枪，勐打越军火力点，营救被越军包围并已负重伤的副师长李德元。战后，刘粤军荣立二等