I en alder av 17 år forlot Harris, som ikke hadde noe særlig skolegang å vise til, Mississippi og dro til Florida. Der tjente han til livets opphold med å plukke frukt under innhøstningen. Senere var han blikkenslager og deretter selvstendig taktekker. I Florida ble han kjent med fribryting.