1842 માં તેની માતાના મૃત્યુ બાદ, વ્હીલરના પિતાને નાણાકીય મુશ્કેલીઓનો સામનો કરવો પડ્યો હતો અને તે કનેક્ટિકટને પાછા પરિવારમાં ખસેડવામાં આવ્યો હતો.