Weiteres Ungemach traf Fell, als 1853 seine Frau an Tuberkulose starb. Von den vier Kindern des Paares, Samuel Weldon (1839–1840), George Slocum (*† 1842), Alice Blanche (1843–1850) und Jessie Helen Dennis (1847–1902), überlebte nur die jüngste Tochter. Im Mai 1855 heiratete er die damals 23-jährige, aus einer Puritaner-Familie stammende Elizabeth Ayrault Smith (1832–1888) und begab sich zusammen mit seiner Tochter und seiner neuen Frau auf eine Reise nach Europa, zunächst um die Weltausstellung in Paris zu besuchen. Tatsächlich scheint Fell entschlossen gewesen zu sein, die Anfeindungen seiner Gegner in der Akademie hinter sich zu lassen und eine Fortsetzung seiner Laufbahn in Europa zu suchen.