Fessenden netstammet fra en innflytelsesrik familie. Hans far Samuel Fessenden var ikke bare parlamentariker i Massachusetts, men var også et tidlig motstander av det amerikanske negerslaveriet. To av hans brødre, Samuel C. Fessenden og Thomas Fessenden, var likesom Wilkliam også medlemmer av Representantenes Hus. Hans tre sønner tjenestegjorde for Nordstatene i den amerikanske borgerkrig: Samuel falt i det andre slaget ved Bull Run, mens James avanserte til brigadegeneral og Francis til generalmajor.