Hijo de una familia acomodada, Ritts fue el mayor de cuatro hermanos, y recibió la educación por parte de sus padres, Shirley y Herb Ritts Senior, dueños de una tienda de muebles.