Han er sønn av Herman Bye og pianistinnen Ebba Isene (1919–2009) og ble 16 år gammel ansatt i Den Norske Operas orkester som vikar. Etter studier i Zürich i 1961 fikk han stillingen som solofløytist i Musikkselskapet Harmoniens orkester og ble til 1966. Han var så solofløytist i San Antonio Symphony frem til 1970.