解县（今山西省永济市东北）人，北魏司州大中正、相州华州二州刺史柳元章之孙，北周闻喜令柳裕之子。柳俭有器量，立德修行清苦，被州里所敬重，即使是亲近的人，也不敢轻侮他。北周时历任宣纳上士、畿伯大夫。隋文帝即位，擢升为水部侍郎，封率道县伯。不久，出任广汉郡太守，很有能干的名声。不久郡废。当时隋文帝初有天下，励精图治，简选良材，出任地方官，柳俭以仁明着称，擢拜为蓬州刺史。狱讼的人当庭释放，不设文书案卷，约束佐史，只是从容。狱中没有囚犯。蜀王杨秀当时镇守益州，报告了柳俭的事迹，转任邛州刺史。在职十余年，华夷心悦诚