"Milk" fue escrita y grabada por Garbage (Duke Erikson, Shirley Manson, Steve Marker y Butch Vig) en su propio estudio de grabación durante las grabaciones 94-95 del álbum debut.