Según los comentarios de Shep Pettibone en el "Diario de Erotica", él probaba algunos instrumentos para la grabación de "Goodbye to Innocence" mientras Madonna se dedicaba a tararear el estribillo de "Fever".