出自范阳卢氏北祖大房，东魏卫大将军、幽州刺史、临淄恭文公卢道虔第五子，东魏、北齐、北周、隋朝官员。
生平.卢昌衡是卢道虔与第三位夫人元氏所生的儿子，他深沉恭谦有才能见识，风度神采清高典雅，仪容举止可做楷模，广泛涉猎经书史籍，擅长草书和行书，卢昌衡的堂弟卢思道小字释奴，两人在宗族中都受到推重，被称为英俊奇才。幽州人歌谣说：“卢家的千里马，是释奴和龙子。”卢昌衡虚岁十七时，为东魏济阴王元晖业征召补官为太尉参军，兼任外兵参军。北齐接受禅让后，卢昌衡历任平恩县县令、太子舍人，很快为仆射