Kjelsberg var født i Lødingen, der faren Hans Kjelsberg var lensmann. Olaf Kjelsberg tok ingeniørutdannelse i Dresden, og kom til Sveits i 1881, der han fikk jobb på Europas største lokomotivfabrikk, Schweizerische Lokomotiv- und Maschinenfabrik (SLM) i Winterthur. Han ble overingeniør i 1897 og direktør i 1907.