元配韦碧辉，1925年由执信学校选派至苏联留学，与同赴莫斯科中山大学的刘咏尧相识而结婚。韦是当时的“才女”，她与廖仲恺的女儿廖梦醒一道，从执信学校选拔至此，在广州执信中学优秀校友的名册上，依旧保留有她的名字。1940年代初两人离异，刘纬武与兄长刘纬文随母亲生活，并改从母姓。刘韦2人离婚后，经黄杰介绍，刘咏尧结识后来的妻子钟光仪，是他在南京创办的中正学校第一届学生，两人相差18岁。下有一女双幸，其孙女刘若英是两岸三地着名音乐人、演员暨作家，被家里的副官称作「将军的将军」，意指刘将军本人也拿她莫可