Barnevik innledet sin karriere i næringslivet hos det svenske industrikonsernet Sandvik i 1969, hvor han ble værende frem til 1980, i årene 1979-1980 som viseadministrerende direktør. Han jobbet deretter som adm. dir. i ASEA fra 1980 til 1987, og som adm. dir. i ABB fra 1988 til 1996. Barnevik var også styremedlem i Sandvik og Skanska, samt styreleder i General Motors, Astra Zeneca med mer. Han var styreleder for Wallenberggruppens Investor fra 1997 til 2002, da han på grunn av pensjonsaffæren i ABB ble tvunget til å gå av. Han var også i mange år engasjert i Bilderberggruppen.