Rollins ble kjent med punken gjennom sin nære venn Ian MacKaye (som senere spilte i blant annet Minor Threat, Embrace og Fugazi). Det lokale bandet Bad Brains var et av Rollins' favorittband, og vokalisten H.R. inviterte flere ganger Rollins opp på scenen for å synge med dem. Han var også roadie for The Teen Idles før han ble med i State of Alert (S.O.A.), som ga ut en EP før de ble oppløst. Rollins hadde en rekke jobber før han ble daglig leder for en iskremkiosk, og den faste deltakelsen hans i arbeidslivet og den sterke arbeidsmoralen hans bidro til innspillingen og trykkingen av S.O.A.s EP.