I 1979 overtok han som vokalist i Black Sabbath etter Ozzy Osbourne. Sabbath hadde stor suksess med platene (1980) og (1982) samt konsertalbumet . Men så sluttet Dio for å starte sitt eget band. Han ble erstattet i Black Sabbath av Ian Gillan. I 1990 var Dio tilbake, og sammen ga de ut albumet i 1992, som er Sabbaths 16. studioalbum. På albumturneen ble Sabbath spurt om å åpne for Ozzy Osbourne i Los Angeles da Ozzy hadde meldt at han ville pensjonere seg som musiker. Bandet sa ja, men Dio var imot. Etter en konsert 13. november 1992 sluttet Dio i Sabbath, og Judas Priest vokalist Rob Halford overtok på de to siste konsertene på turneen.