Green vokste opp i Nottingham hvor faren drev et bakeri. Etter mindre enn to års skolegang måtte han som niåring begynne å arbeide i bakeriet. Han fortsatte med det i fem år til faren ville at han skulle bli opplært som møller. Det skulle skje i en vindmølle som faren hadde fått bygd opp utenfor byen og hvor en mer erfaren møller var ansatt. Green flyttet da inn hos ham og bodde der de første årene sammen med hans kone og en datter. Hun skulle etter hvert bli mor til Greens syv barn uten at de giftet seg.