Matti Bye sin mor er anerkjente svenske skuespillerinnen Birgitta Andersson og hans far den norske dramatikeren Anders Bye. Han vokste opp hos sin mor i Sverige. Han prøvde å spille instrumenter som fiolin, klarinett og kontrabass men det var piano han valgte.