Hans far var kongens livlege og medisinsk professor Frans Christian Faye (1806–90); moren var Sophie Lovise Kaltenborn (1821–67). I 1885 giftet Anton seg med Angelique Constance Trampe (1866–92), datter av kommandørkaptein Jens Edvard Trampe i Trondheim.