曾祖常毅，哥哥司农卿常偕，唐玄宗开元十七年（729年）出生，清俭自贤。天宝十四年（755年）乙未科状元进士及第，由太子正字授补阙起居郎。宝应二年（763年），爲翰林学士。广德二年（764年），常衮与大兴善寺不空译经。永泰元年（765年）授中书舍人。宦官鱼朝恩恃宠专权，群臣竞相邀宠，唯衮不畏朝恩，常衮上言：“成均之任，当用名儒，不宜以宦者领之。”大历十二年拜门下侍郎、同平章事，与杨绾并掌机务。大历十四年罢相，贬为福建观察使，在福建设乡校，提倡教育，造就欧阳詹、徐晦等士子。建中四年（783年）卒于任上。