Gordy var gift tre ganger – med Thelma Coleman, Raynoma Singleton og Grace Eaton. Han har åtte barn (også med andre kvinner enn konene, blant annet Diana Ross): Hazel Joy, Berry Gordy IV, Sherry, Kennedy, Kerry, Rhonda, Stefan og Terry James. Stefan Kendal Gordy er kjent under artistnavnet Redfoo og var medlem av elektro-hop-duoen LMFAO.