Etter gymnaset, i 1976, begynte Ohly å arbeide på den svenske jernbanen, SJ. Innen SJ var han aktiv i mange faglige spørsmål.