Da han var blitt 14 år gammel, gav moren opp gården og flyttet med ham til Louisville. Der åpnet hun et boarding house, men måtte oppgi dette etter kort tid. For å hjelpe til med familiens utkomme sluttet Griffith på skolen og arbeidet så i en tørrvarehandel og i en bokhandel.