Rogers var gift med Wanda Young, førstesangeren i The Marvelettes, fra 1963 til 1975. Han er fetter av Claudette Rogers, som også sang i The Miracles og som seinere var gift med gruppas leder, Smokey Robinson.