Siden han ble født rett før den store depresjonen vokste Harris opp i fattige kår i Brooklyn. Han gikk inn i hæren mot slutten av den andre verdenskrig og benyttet finansiering fra , en ordning for å gi støtte til tidligere soldaters utdannelse, til å begynne på Columbia University sammen med en ny generasjon etterkrigs-antropologer. Harris var en begjærlig lesehest som elsket å tilbringe mange timer på veddeløpsbaner og han utviklet etter hvert et komplisert matematisk system som var vellykket nok til å finansiere han og hans hustru Madelyn avsluttende studier.