中元年（780年）与符载、王简言、李元象隐居庐山，号山中四友。唐德宗贞元六年登第，贞元七年随御史中丞、桂管观察使齐映至南越（今广西），好友王简言、李元象相继去世，后入广州岭南节度使薛珏幕。官至大理评事。贞元十六年以后事迹失考，生卒年不详。杨衡工于诗。唐代行卷之风盛行，有人偷了杨衡的诗文去应试而登第。杨衡见到此人，便问他：“‘一一鹤声飞上天’在否?”这人回答说：“此句知兄最惜，不敢偷。”杨衡笑说：“犹可恕也。”《全唐诗》存诗1卷，《全唐诗续拾》补2句。