出自河东柳氏西眷，柳虬之孙，北周顺州刺史柳蔡年的儿子。柳謇之身高七尺五寸，仪容俊伟，风神爽亮，举止得体。儿童时，北周齐王宇文宪曾经在路上遇到柳謇之，感到奇异，和他交谈，视为奇材。于是表奏他进入国子学，以明经擢升中第，拜为宗师中士，不久转任守庙下士。周武帝在太庙举行祭典，柳謇之读祝文，音韵清雅，引人注目。周武帝认为他不错，擢升他为宣纳上士。杨坚担任丞相，引用他为田曹参军，参议典签之事。开皇初年，拜为通事舍人，不久转任内史舍人，历任兵部、司勋二曹侍郎。朝廷以柳謇之有声望，善于言谈戏谑，又饮酒到一石夜不乱性，