I løpet av sine tidlige dager som en del av New Yorks musikkscene, dannet Sonic Youth et vennskap med det andre støyrock-bandet fra New York, Swans. Bandene delte et øvingslokale, og Sonic Youth startet sin første turné i november 1982 som oppvarmingsband for Swans. Under en andre turné med Swans måneden etter, oppstod det gnisninger og Moore kritiserte konstant Berts trommespill, som han mente ikke var «in the pocket». Bert ble sparket etter dette og erstattet av Jim Sclavunos, som spilte trommer på bandets første studioalbum, . Dette albumet hadde en høyere og mer dissonant lyd enn deres debut-EP. Sonic Youth booket en turné i Europa for sommeren 1983. Sclavunos forlot imidlertid bandet rundt denne tiden. For å kunne spille, ble derfor Bert om å bli med igjen, og han gikk med på det på betingelse av at han ikke ville bli sparket igjen etter turnéens avslutning. Bert spilte deretter på EP-en senere i 1983.