Bay ble verkstedslærling ved Akers mekaniske verksted som 15-åring. Han flyttet etter dette, i 1868, til Göteborg og begynte ved Chalmersska slöjdskolan, forløperen til dagens Chalmers tekniska högskola. Han tok eksamen i 1872. Han arbeidet deretter på et dampskip i Bergen og han assisterte siden ved byggingen av Vaxdal møllebruk. Fra 1873 var Bay i tilbake i hovedstaden og arbeidet for havnedirektør Oluf Nicolai Roll.