Bye døde i 1863, 55 år gammel, svekket etter et hjerneslag. Han ble gravlagt på Domkirkegården.