Han var gift med Birgitta Andersson og de har sønnen Matti Bye sammen, Bye var senere i noen år gift med skuespilleren og modellen Julie Ege.