Faye giftet seg i 1842 med Sofie Kaltenborn (1821–1867), datter av generalmajor og kammerherre Carl Fredrik Ferdinand Wilhelm Albrecht von Kaltenborn og grevinne Karen Knuth f. Rosenkrantz. De ble foreldre til Anton Ludvig Faye.