空译经。永泰元年（765年）授中书舍人。宦官鱼朝恩恃宠专权，群臣竞相邀宠，唯衮不畏朝恩，常衮上言：“成均之任，当用名儒，不宜以宦者领之。”大历十二年拜门下侍郎、同平章事，与杨绾并掌机务。大历十四年罢相，贬为福建观察使，在福建设乡校，提倡教育，造就欧阳詹、徐晦等士子。建中四年（783年）卒于任上。