Armour nacque a Stockbridge da Danforth Armour e Juliana Ann Brooks. Fu uno dei loro otto figli e crebbe nella fattoria di famiglia. Armour discendeva da coloni scozzesi ed inglesi, ed il cognome era originario della Scozia. Fu educato presso la Cazenovia Academy di New York finché la scuola non lo espulse per aver fatto un giro in calesse con una ragazza. Tra i suoi primi lavori ci fu quello di conduttore sul canale Chenango di New York che scorreva nella contea di Madison. All'età di 19 anni Armour partì da New York con altre 30persone diretto in California per cercare fortuna con l'oro. Prima di intraprendere il viaggio Armour "ricevette molte centinaia di dollari dai genitori" che lo resero, per buona parte, "il finanziatore del viaggio" secondo il biografo Edward N. Wentworth. In California Armour fondò una propria attività assumendo minatori disoccupati per costruire delle chiuse che controllavano le acque che scorrevano nei fiumi dragati dai minatori. In pochi anni Armour aveva trasformato la propria attività in incredibile guadagno, guadagnando circa 8000 dollari prima dei 24 anni.