张九龄很看重他，唿为小友。天宝十五年（755年）进士第一，授无钖尉。安史之乱爆发，“烽火惊戎塞，豺狼犯帝畿”，。大历初，入河南节度使王缙幕佐，表掌书记，任左拾遗、右补阙，又奉命出使江表。大历五年（770年），回丹阳（今江苏省丹阳市）省亲，卒于家。与其弟皇甫曾皆工于诗，他的《巫山崃》诗云:“巫峡见巴东，迢迢出半空。云藏神女馆，雨到楚王宫。”被誉为唐人咏巫崃最佳，《全唐诗》称他“天机独得，远出情外。”，大历十才子之一。