También es el líder y vocalista de Bad Astronaut, banda de indie-punk rock creada por él mismo, y de Me First and the Gimme Gimmes, banda de punk rock y punk pop también creada por el mismo y por Fat Mike en 1995.