Luego de estas apariciones fugaces, Joe comenzó a colaborar con otras bandas como The Levellers, donde tocó el piano para el tema "Just the One" y Black Grape, con la que contribuyó en el sencillo "England's Irie" de 1996.