史、南东海太守，加辅国将军，都官尚书、左衞将军，加给事中，丹阳尹、会稽太守、吴郡太守。刘劭即位后，担任吏部尚书，领国子祭酒，不久加封光禄大夫。刘骏即位后，羊玄保担任散骑常侍，领崇宪衞尉，金紫光禄大夫，光禄大夫。大明五年（461年），再次担任散骑常侍，特进。大明八年（464年）去世，时年九十四岁。