楚王桓玄太常博士，母亲去世后辞职守丧，后来担任临安令。刘穆之推举他为镇军将军刘裕的参军、库部郎、永世令。后任太尉刘裕的参军，转主簿、丹阳丞。景平二年（424年），担任尚书右丞，后转左丞，司徒右长史、黄门侍郎、宣城太守、廷尉、尚书吏部郎、御史中丞、衡阳王刘义季右军长史、南东海太守，加辅国将军，都官尚书、左衞将军，加给事中，丹阳尹、会稽太守、吴郡太守。刘劭即位后，担任吏部尚书，领国子祭酒，不久加封光禄大夫。刘骏即位后，羊玄保担任散骑常侍，领崇宪衞尉，金紫光禄大夫，光禄大夫。大明五年（461年），再次担任散骑