Nicholls ble med i Black Sabbath i 1979, da Ozzy Osbourne fikk sparken, og spilte fra 1980 keyboards på samtlige album fra bandet, og fra 1985 ble Nicholls «oppgradert» til fulltidsmedlem, noe han var, periodevis, fram til 1996, da Ozzy Osbourne returnerte til bandet. Han ble med bandet igjen som assosiert medlem på gjenforeningsturneen med Ozzy Osbourne i 1997, da han i tillegg til keyboards spilte gitar under Tony Iommis gitarsoloer på låten «Snowblind», og på flere låter fra albumene og . Han spilte ikke sammen med Black Sabbath etter 2004.