Fra 1979 var Refsnes administrerende direktør i Høyang-Polaris i Moss. Etter at Høyang Polaris ble en del av Norsk Hydro, fortsatte Refsnes innen aluminiumdivisjonen som direktør i Hydro Aluminium og fra 1991 som administrerende direktør i Hydro Seafood (i 2001 fusjonert inn i Marine Harvest).