Durante el resto de su vida Southern se vio obligado a realizar diferentes trabajos únicamente para poder pagar los impuestos y multas, y en muchas ocasiones tuvo que hacer verdaderos esfuerzos para seguir pagando la hipoteca de la granja de East Canaan.