Han giftet seg i 1854 med den jevngamle Oline Margrethe Ørum, men hun døde etter fire år, og Bye var enkemann med to små barn. I 1869 giftet han seg på nytt med Gjertrud Marie Moe fra Skogn. Med henne fikk han fem barn som overlevde ham. Han døde i 1918, 85 år gammel, og ble begravet på Tilfredshet kirkegård.