I 1851 fikk den 16-årige Andrew jobb som telegrafist i sin nye hjemby Pittsburgh. Hans lærenemhet gjorde att han snart ble ansatt som telegrafist og sekretær for sjefen for et lokalt jernbaneselskap. Ganske snart hadde han avansert til sjef for selskapets Pittsburgh-kontor. Allerede i 1855 begynte han å investere sine sparepenger i forskjellige aktiviteter i jernbanebransjen, fremst en satsing på sovevogner. Under den amerikanske borgerkrig arbeidet han aktivt ute på feltet for å se til at Nordstatenes tog rullet så friksjonsfritt som mulig.