后因父丧去职，复归后为给事黄门侍郎，袭爵建安郡公。仁寿年间，判吏部尚书事。柳述与杨素对立，杨素多受柳述侮辱。文帝重用柳述甚于杨。柳述任兵部尚书，参掌机密。柳述自称功绩不足，上表请皇帝辞退，文帝命他摄兵部尚书事。604年，文帝在仁寿宫卧病，柳述、杨素、元岩在宫中近侍。皇太子杨广对宣华夫人无礼，文帝得知后大怒，命柳述召房陵王杨勇入宫。柳述、元岩拟好勅书。杨素听闻，与杨广共谋，捕拿柳述、元岩。杨广即位为炀帝，夺柳述之官爵，迫使兰陵公主和他离婚。流放他到龙川郡，公主表示愿与柳述同行，炀帝不许。柳述在龙川数年，再