宪宗宰相王涯的外甥，太宗朝睦州刺史皇甫德参的后人。德参死后其子皇甫敬定居清溪（今淳安）。元和三年（808年）与牛僧孺、李宗闵并登贤良方正科第三等，三人勐烈抨击时政，引起宰相李吉甫不满，舅王涯、裴垍被免去翰林学士之职，考官杨于陵、韦贯之也被外贬。皇甫湜补授陆浑尉，久久不得晋升。后官至工部郎中。裴度辟为判官。皇甫湜出韩愈门下，从韩愈学古文，思想倾向与韩愈相近，为文亦言圣道，但其辟佛不若韩愈积极。文章奇僻，今存诗三首，《全唐诗》仅收其《题浯溪石》一首。《答李生书》三篇，是皇甫湜文论的代表作，反覆论辩“奇”与“常”