La prestigiosa carrera de Baker en el mundo de la música, punk sobre todo, comienza en 1980, cuando los jóvenes Ian MacKaye y Jeff Nelson (fundadores también del sello Dischord) forman la histórica banda Minor Threat junto a Baker y el guitarrista Lyle Preslar.