Jouduttuaan vaikeuksiin perheen Bathissa sijaitsevan talon vuokramaksun vuoksi Sharplesit palasivat Englantiin 1801, jolloin Ranskan vallankumoussodat viivyttivät perheen paluun Amerikkaan. Sharplesin kaksi poikaa palasi vuonna 1806, ja heidän jälkeen perheen tyttäret vanhemmat kolme vuotta myöhemmin. James Sharples kuoli sydänvaivoihin vuoden 1811 äärimmäisen kylmän talven aikana, minkä jälkeen perhe päätti palata Englantiin. Ainoastaan Sharplesin toisena syntynyt poika Felix jäi Amerikkaan.