Joseph ist auch als Spoken-Word-Sänger tätig. Sein Debütalbum, das mit "The Spasm Band" entstand, "Leggo de Lion" wurde im April 2007 von "Kindred Spirits" veröffentlicht. Es folgte die Veröffentlichung seines Albums "Bird Head Son", das mit den Gästen Keziah Jones, Joseph Bowie und dem Vibraphonisten David Neerman aufgenommen wurde. Sein Album "Rubber Orchestras" wurde im August 2011 veröffentlicht. "Time", sein von Meshell Ndegeocello produziertes erstes Album ohne die "Spasm Band", wurde im Februar 2013 veröffentlicht. Mit dem Album "Caribbean Roots" (2016), das er auch in der Schweiz vorstellte, brachte er die unterschiedlichen Musiktraditionen der Karibikinseln zusammen, ebenso auf "People of the Sun". Auf dem Album "The Rich Are Only Defeated When Running for Their Lives" (2021) legte er „ein kleines Hipster-Who's Who der Londoner Jazz-, Funk- und Soulszene vor“; der Titel (deutsch: „Die Reichen sind nur besiegt, wenn sie um ihr Leben rennen.“) ist zunächst ein Zitat aus dem Buch "Die schwarzen Jakobiner" des Kulturkritikers C. L. R. James über die Haitianische Revolution im späten 18. Jahrhundert und ihre Folgen. Er hat auch auf Alben von Robert Aaron, "Brzzvll", Adam Pierończyk und Ashley Henry mitgewirkt.