Han var sønn av Thomas Fearnley (1768–1834) kjøpmann i Halden, gift 1799 med Maren Sophie Paus (1782–1838). Broren Thomas Fearnley (1802–1842) var en kjent kunstmaler. I 1853 giftet Carl Frederik seg med Vilhelmine Charlotte Emma Maribo (1820–1903) dattera til Ludvig Mariboe.