Faye var sønn av skipsfører Christopher Faye (død 1825) og Maren Mathea Borgen. Han ble gift første gang 1. oktober 1835 med Ditlevine Madsen (1810–1846), annen gang 1. mai 1850 med Octavia Knudsen (f. 1828).