被石亨、曹吉祥构罪陷害，谪钦州同知。陈汝言诬陷其尝夺公主田，遂逮系诏狱，杖百，戍肃州。曹石之变后，释放为民。明宪宗继位后，御史吕洪等请复岳正与杨瑄官职，后以原官直经筵，纂修《英宗实录》。成化元年（1465年）因事连坐，出任兴化府知府，在任期间有建树。成化五年（1470年）入觐，遂致仕。五年后去世，无子，大学士李东阳、御史李经为其女婿。嘉靖年间，追赠太常寺卿，谥文肃。
着作.岳正善画葡萄，曾作《画葡萄说》。