Buck y Stipe empezaron a escribir música juntos; momento en el cual Stipe también formaba parte de un grupo local llamado Gangster, donde era conocido como Michael Valentine.