Bye ble født den 23. november 1937, og vokste opp på Høyenhall og Manglerud i Oslo. Hans far var brannformann, og hans mor var renholder. Som maskinreparatørlærling ble Bye engasjert i faglig-politisk arbeid, før han i 1960 ble faglig sekretær i Arbeidernes ungdomsfylking.