«Bye Bye Baby» fue compuesta por Madonna, Shep Pettibone y Anthony Shimkin y producida por los dos primeros para el álbum "Erotica".