Barlow ble født i Dayton i Ohio, men vokste opp i Jackson i Michigan og Westfield i Massachusetts. Han startet musikkarrieren i hardcore punk-bandet Deep Wound med J Mascis. I 1983 startet de to Dinosaur Jr., etter å ha gått lei av hardcore. Men forholdet mellom de to førte til at Barlow forlot bandet etter utgivelsen av Bug i 1989.