Som tenåring hadde Gordy to hovedinteresser, musikk (særlig jazz) og boksing. Han var ikke særlig skoleflink, men hadde sans for å tjene en skilling. Han solgte blant annet den afrikansk-amerikanske avisa , men valgte, originalt nok, hvite nabolag som marked. Tanken bak var at ettersom stadig flere hvite vanka på nattklubber i svarte strøk, så var de kanskje også interessert i å lese som svart kultur. Ideen var vellykka – og gav et frampek på hans seinere karriere med å gi svarte musikere et all-amerikansk publikum.