Butler startet sitt første band, , sammen med Ozzy Osbourne på høsten 1967. Så ble de med i sammen med gitarist Tony Iommi og trommeslager Bill Ward. Etter å ha endret navnet til byttet de så navn til Black Sabbath i 1969, da de fant et annet band med samme navn. Butler spilte gitar i begynnelsen, men Iommi sa at han ikke ville spille sammen med en annen gitarist, så han gikk over til bassgitar.