担任尚书祠部侍郎。隋文帝杨坚曾经大会群臣，让他们自己陈述功绩，众人都争相进言，只有卢昌衡没说什么。左仆射高颎注意到卢昌衡，认为他与众不同。南陈使者贺彻、周濆相继前来出使，隋朝朝廷总是派卢昌衡迎接应对。不久，卢昌衡外任徐州总管长史，很有能干的名声。吏部尚书苏威考核说：“德行为众人表率，行止为士人法则。”议论的人视为美谈。卢昌衡曾经出行到浚仪县，所乘的马为他人的牛顶死。牛的主人谢罪，请求照价赔偿。卢昌衡对他说：“畜牲互相角斗，自属常理，这不关人事，你何必谢罪？”就拒绝了牛主人的赔偿。卢昌衡个性宽厚不计较，都如此