Elastica ble startet av tidligere Suede-gitarist Justine Frischmann i 1992. Hun hadde spilt med Suede i ca. et år, og hadde også vært kjæreste med Suede-frontmann Brett Anderson. Da forholdet tok slutt, bestemte hun seg for å starte sitt eget band. De andre tre medlemmene i Elastica ble rekruttert via annonser. Bandet spilte punk-inspirert britpop. De første singlene gjorde det godt, selv om to av dem ble anklaget for plagiat (av henholdsvis Wire og The Stranglers).