En 2004, cofundó el supergrupo Velvet Revolver junto con sus compañeros de Guns N' Roses, Duff McKagan y Matt Sorum, el guitarrista Dave Kushner (ex miembro de Suicidal Tendencies e Infectious Grooves) y el cantante Scott Weiland.