Etter hvert kom han til at musikken kunne gi bedre framtidsutsikter. Han skreiv en del sanger, og etter endt militærtjeneste (i Koreakrigen) åpna han en platebutikk (). Han spesialiserte seg på jazz, mens det var rhythm and blues som var tidas populærmusikk. Butikken gikk derfor ganske dårlig, og etter et par år måtte den stenge. Gordy hadde gifta seg og fått barn, det trengtes ei mer stabil inntekt, og løsninga var Detroits bilindustri. Han benytta tida ved samlebåndet til å tenke på musikk, og han begynte å tenke på om musikk også kunne lages på samlebånd – sette sammen deler til nye modeller. Etter ei tid slutta han på bilfabrikken for å vie seg fulltid til musikk, noe som kosta ham ekteskapet. Men det innebar også en start på karrieren som musikkmogul.