Gordy var nummer sju av åtte barn. Både faren og bestefaren het Berry Gordy. Bestefaren, som kom fra Georgia, var sønn av en hvit bonde og ei svart slavekvinne. Denne bonden var også oldefar til USAs seinere president Jimmy Carter. Gjennom oldefaren var Gordy også fjernt i slekt med Elvis Presley.