Lavallée a québeci Verchères-ben született, zenészcsalád tagjaként. Apja hangszerkészítő volt, testvére, Charles, pedig karmester. Joseph, a másik fivére harsonán játszott, nővérük, Cordelia pedig énekelt és zongorázott. Első zenei leckéit apjától kapta, 1855-től pedig zongorázni tanult Montréalban. 1857-ben az Egyesült Államokba, a karibi térségbe, Mexikóba és Dél-Amerikába utazott. Részt vett az amerikai polgárháborúban, de miután Antietamnál megsebesült, 1863-ban visszatért Québecbe.1873-tól 1875-ig Párizsban élt és tanult. Montréalba visszatérve sikertelen próbálkozást tett egy konzervatórium felállítására, de a kudarc után az Egyesült Államokba költözött. Itt, Bostonban halt meg 1891-ben, tuberkulózisban.