Nacido en la ciudad de Nueva York, a los cinco años Glover se mudó a Los Ángeles con sus padres; su madre, Mary Elizabeth Lillian Betty Krachey Bloom, era una actriz y bailarina, quien se retiró después del nacimiento de Crispin.