后入广州岭南节度使薛珏幕。官至大理评事。贞元十六年以后事迹失考，生卒年不详。杨衡工于诗。唐代行卷之风盛行，有人偷了杨衡的诗文去应试而登第。杨衡见到此人，便问他：“‘一一鹤声飞上天’在否?”这人回答说：“此句知兄最惜，不敢偷。”杨衡笑说：“犹可恕也。”《全唐诗》存诗1卷，《全唐诗续拾》补2句。