Tras el fallecimiento de sus padres en 1894 y 1896, Oliver se trasladó en 1897 a una casa independiente en el campo, cerca de Newton Abbot y no muy lejos de Paington, pero la experiencia no fue muy satisfactoria y en 1908 volvió a vivir como huésped en Torquay, donde falleció en 1925, tras llevar una vida cada vez más solitaria y excéntrica.