Da Rhoads var halvannet år gammel forlot faren hans, William Arthur Rhoads, moren Delores Violet Rhoads og de tre barna, men holdt kontakten med Rhoads helt fram til hans død. Rhoads' mor hadde eid og drevet slik at Rhoads begynte å spille et instrument. Da han var seks år gammel begynte han å spille på bestefarens gamle Gibson «Army-Navy» akustiske gitar. Ifølge moren skal Rhoads ha tatt et par timer for å lære «folk»-gitar, men han lente seg mer og mer mot rock/metal-sjangeren, men også med stor inspirasjon fra klassisk musikk.