整饬吏治，抚恤百姓，流民争归，为官十年，郡内大治。建武二十五年（49年），征还。汉光武帝想以他为少府，卫飒得病，不能就任，于是以桂阳太守回家乡，两年后，抱病到京，自陈病重，收回印绶，赐钱十万，后在家中去世。《隋书·经籍志》记载卫飒撰《史要》十卷，约《史记》要言以类相从。《隋书经籍志考证》，称《唐志》作《史记要传》。