杨秀当时镇守益州，报告了柳俭的事迹，转任邛州刺史。在职十余年，华夷心悦诚服。蜀王杨秀获罪，柳俭因为与他交往，被免职。回到乡里，乘破车瘦马，妻儿衣食都不充裕，见到的人都表示叹服。隋炀帝嗣位，征召他。当时以功臣任职，担任地方官，并带军功，只有柳俭起自清官。隋炀帝嘉赏了他的功绩，用特授朝散大夫，拜为弘化郡太守，赐织物一百段，派走他。柳俭清节更加严格。大业五年入朝，地方官员都到了，隋炀帝问纳言苏威、吏部尚书牛弘：“其中清廉之名为天下第一的是谁？”苏威等回答柳俭。隋炀帝又问其次是谁，苏威回答是涿郡丞郭绚、颍川郡丞敬肃