Hans to første band, The Conglomeration og Freedom's Children spilte blant annet progressiv rock og hard rock. Freedom's Children var et band med tekster som kritiserte Sør-Afrikas regjering og spesielt apartheidpolitikken. I denne perioden ble Rabin også ofte brukt som studiomusiker, og spiller bass og gitar på en del jazz-album med sørafrikanske artister. Under avtjeningen av verneplikten i den sørafrikanske hæren som 19-åring, tjenestegjorde han i underholdningsavdellingen.