Pelissier fue fundador de la banda My Chemical Romance junto con su amigo de secundaria Gerard Way en 2001, justo después de los ataques a las Torres Gemelas. Pelissier ayudó a Way a agregarle ritmos de baterías a su entonces áspera canción «Skylines and turnstiles», inspirada en la tragedia del 11-S. Grabó con la banda los discos "I brought you my bullets, you brought me your love" (2002) y "Three cheers for sweet revenge" (2004). Al lanzamiento del segundo disco, el mánager de la banda, Brian Schechter, le pidió a Pelissier que dejara la banda luego de que el grupo decidiera no querer seguir con él. Pelissier tenía discusiones con el guitarrista Ray Toro, principalmente porque éste rechazó tocar el teclado durante una presentación en vivo. La banda también sostuvo que no estaban satisfechos con las habilidades de Pelissier como baterista.También se le acusa de haber quemado la primera furgoneta de My Chemical Romance, que la abuela de Gerard y Mikey les compró. Matt fue sustituido por Bob Bryar como baterista de My Chemical Romance.