Ozzy Osbournes gjenforening med bandet, ble imidlertid kortvarig, for i 1979 forlot han bandet etter et ønske fra de øvrige medlemmene på grunn av alle rusproblemene. Ozzy valgte så å satse på en karrière som soloartist, og har i ettertid sagt at han var glad han forlot Black Sabbath og den daglige rusingen. Bill Ward sluttet to år senere, og siden da hadde Black Sabbath en ny besetning for nesten hvert album, med Tony Iommi som eneste faste medlem. Geezer Butler sluttet i 1985, men returnerte i 1992. Blant de mange musikerne som har vært medlem av Black Sabbath på et eller annet tidspunkt er vokalistene Ronnie James Dio (Dio, Rainbow) og Ian Gillan (Deep Purple), og trommeslagerne Vinny Appice og Cozy Powell.