祖柳卓，随东晋南迁，寓居襄阳。父亲柳仲礼，为南梁将领，兵败归北周，再家居故乡。柳彧少年好学，涉猎经史。北周大冢宰宇文护引用他为中外府记室，很久后，出任为宁州总管掾。周武帝亲政后，柳彧到京城参加考试。周武帝认为他非同寻常，任命他为司武中士。转任郑县县令。平北齐后，周武帝大赏从官，留京的人没再赏赐。柳彧上表劝谏，于是留守的人也加官进爵。隋文帝即位，官至尚书虞部侍郎，因为母亲离世去职。不久，起复为屯田侍郎，推辞朝廷不许。当时制度三品已上，门前都有列戟。左仆射高颎之子高弘德封应国公，申请列戟。柳彧反对：“仆射之