Han starta også en uformell forretning innen «syngende telegrammer» – han organiserte og valgte ut sangene, en kamerat blei sendt rundt for å synge. Men det var boksing Gordy først satsa på. Han slutta på skolen da han var 16 i håp om å klare seg som bokser, og han vant tolv av sytten offisielle kamper.