I 1978 holdt han også konserten som ble kalt «One Love Peace Concert» i Kingston på Jamaica. Formålet med konserten var å stifte fred i Kingstons slumområder og på Jamaica generelt. Mange kjente reggaeartister var invitert til å spille, blant annet Bob Marley and the Wailers, Culture, Jacob Miller and Inner Circle, Beres Hammond, Dennis Brown og ikke minst Peter Tosh and Word Sound and Power. Tosh benyttet seg av muligheten til å spille «Legalize It» og tente en «spliff». Flere måneder etterpå ble Tosh arrestert av politiet for besittelse av marihuana. Han ble banket helseløs på politistasjonen og slapp ut så vidt i live noen måneder etter pågripelsen. Tosh fortsatte samarbeidet med Rolling Stones' platestudio etter fengselsoppholdet. I 1979 ga han ut albumet . To år senere ga han ut sitt femte soloalbum, , som inneholder sangene «Rastafar-I Is» og «Reggaemylites». Senere i 1981 trakk Sly og Robbie seg fra gruppa, og dermed gikk bandet Word, Sound and Power i oppløsning.