Stallman vokste opp i den vestre delen av New York, hvor hans far jobbet innen trykkeribransjen og moren som lærer. I et intervju med forfatteren Michael Gross i 1999 beskrev Stallman selv sin barndom og oppvekst som en turbulent periode fylt med motsetninger mellom ham selv, lærerne og de andre elevene.