Da Stump ble med i Fall Out Boy, hadde han verken sunget i et band før, eller tatt sangtimer. Han, Joe Trohman, Andy Hurley og Pete Wentz utgjør bandet. Da Stump ble med i bandet spilte han trommer, men etter at resten av bandet fant ut at han kunne synge, overtalte de han til å bli hovedvokalist istedet.