父柳岑，官至通事舍人，赠秘书监。父亲柳潭，官至太仆卿、驸马都尉，赠尚书左仆射。外祖父唐肃宗皇帝，外祖母章敬皇后，母亲和政公主。柳杲官至秘书少监，娶唐代宗之女义清公主，拜驸马都尉。柳杲的大哥柳晟，官至将作少监；二哥柳晕，官至邕王傅；弟弟柳昱娶唐德宗第四女宜都公主。