Sweet colaboró con uno de los miembros de R.E.M, Michael Stipe, en el grupo Community Trolls, y formó parte de la banda Oh-OK, liderada por Lynda Stipe, hermana de Michael, participando en el segundo EP del grupo, "Furthermore What" (1983), producido por Mitch Easter.