1936年10月授陆军少将。1946年当选国民大会代表。1950年春到台湾，任国防部高参，授陆军中将。1988年11月10日在台北荣民总医院逝世。据张发奎回忆，1937年淞沪会战末期，蒋介石曾于11月8日至9日的午夜，通过电话要求张发奎下令时任上海警察局局长的蔡劲军留守南市，蔡劲军拒绝接受此命令，在张发奎回复蒋介石时，蒋曾说要枪毙蔡劲军。但是后来蔡劲军给蒋介石写了一份报告就没有受到处分。