姓苦之。凿通山道五百余里，置亭传、邮驿、省息劳役，便利吏民往来。耒阳县出铁石，很多人私自冶铸，招来亡命，多有奸盗。卫飒奏请设立铁官，禁止私铸，每年增加收入五百余万。卫飒整饬吏治，抚恤百姓，流民争归，为官十年，郡内大治。建武二十五年（49年），征还。汉光武帝想以他为少府，卫飒得病，不能就任，于是以桂阳太守回家乡，两年后，抱病到京，自陈病重，收回印绶，赐钱十万，后在家中去世。《隋书·经籍志》记载卫飒撰《史要》十卷，约《史记》要言以类相从。《隋书经籍志考证》，称《唐志》作《史记要传》。