Som tenåring møtte Tosh Robert Nesta Marley (Bob Marley) og Bunny Livingstone (Bunny Wailer) gjennom sin musikkveileder Joe Higgs. De tre tenåringene begynte snart å komponere musikk sammen. I 1962 dannet de tre gruppen The Wailing Wailers sammen med Junior Braithwaite og de to korjentene Beverly Kelso og Cherry Smith. På denne tiden dominerte den populære musikksjangeren ska musikklivet på Jamaica. The Wailing Wailers ga ut sin første ska-hit «Simmer Down», med en tekst som oppfordret gjengene og beboerne i Kingston om å roe seg ned og ikke slåss. Singelen ble en suksess. I 1965 brøt de to jentene og Braithwaite med the Wailing Wailers; Peter Tosh, Bunny Wailer og Bob Marley fortsatte som trio.