Laura Jane Grace startet bandet da hun var 17 år gammel. Hun sang og spilte akustisk gitar og noen ganger hadde hun også med bass og trommer. I denne perioden ga hun ut en demokassett som offisielt heter «Aganst Me!», men som nok er mer kjent som «Tom's First Demo», ettersom Tom Gabel er Graces fødselsnavn, og navnet hun brukte på den tiden. Selv om kopier av denne kassetten er ekstremt sjeldne har fremveksten av fildelingsprogram gjort at musikken også er gjort tilgjengelig for nye tilhengere. Året etter kom det ut nok en demokassett, denne gangen på Misanthrope Records kalt «Vivida Vis!».