隆父亲柳叔宗早死，但世隆却很独特出众，虽然出身门第却独独学习平民百姓的技艺和事务；长大后又变得涉猎文史书籍及学弹琴，谈吐温和。伯父柳元景在柳氏子弟中特别欣赏他，更特别介绍给宋孝武帝知道，孝武帝见过世隆后亦向元景赞叹他将来必定能位居三公。柳世隆初为海陵王刘休茂的雍州主簿，后转西阳王刘子尚的抚军法曹行参军，及后又改任虎威将军、上庸太守。孝武帝亲任柳元景，亦欣赏世隆，故就以昔日柳元景曾获授的虎威将军号授给世隆。永光元年（465年），柳元景谋废宋前废帝失败被杀，世隆却因远在上庸而倖免于祸。泰始二年（466年），