隋文帝即位，擢升为水部侍郎，封率道县伯。不久，出任广汉郡太守，很有能干的名声。不久郡废。当时隋文帝初有天下，励精图治，简选良材，出任地方官，柳俭以仁明着称，擢拜为蓬州刺史。狱讼的人当庭释放，不设文书案卷，约束佐史，只是从容。狱中没有囚犯。蜀王杨秀当时镇守益州，报告了柳俭的事迹，转任邛州刺史。在职十余年，华夷心悦诚服。蜀王杨秀获罪，柳俭因为与他交往，被免职。回到乡里，乘破车瘦马，妻儿衣食都不充裕，见到的人都表示叹服。隋炀帝嗣位，征召他。当时以功臣任职，担任地方官，并带军功，只有柳俭起自清官。隋炀帝嘉赏了他的功