Hans far var fogd og stiftsamtmann i Bergen, Nicolai Ditlev Ammon Ræder (1817–84) av Ræder (slekt). Moren var Johanne (Hanna) Cathrine Scheel (1830–1910). Anton var gift med Astrid Greve (1874–1947) av Greve (slekt).