武二年（26年），大司徒邓禹征召为吏。能处理复杂事务，担任侍御史，襄城令。有政绩，转任桂阳太守。桂阳郡与交州接境，受风俗影响，民性慓悍。飒下车，兴建学校，设婚丧之礼，移风易俗，传播中原先进文化。一年之间，民俗为之一变。含洭县、浈阳县、曲江县三县，是汉武帝平定，内属桂阳郡。在深山之中，交通极为不便。每一吏出，徭及数家，百姓苦之。凿通山道五百余里，置亭传、邮驿、省息劳役，便利吏民往来。耒阳县出铁石，很多人私自冶铸，招来亡命，多有奸盗。卫飒奏请设立铁官，禁止私铸，每年增加收入五百余万。卫飒整饬吏治，抚恤百姓，