Para «Bye Bye Baby», Madonna y Pettibone querían un tema de los años 1940 con el fin de que el sonido de la voz saliera como de una radio antigua; para ello, utilizaron un filtro electrónico Pultec HLF.