I februar 1834 hadde Baldwin fullført sitt andre lokomotiv som ble overlevert i Sør-Carolina, og flere forbedringer i forhold til «Old Ironsides» var gjort. Lokomotivet som ble døpt hadde to drivhjul, og fire løpehjul på en egen boggi foran (4-2-0). En mindre vellykket modifikasjon var drivhjul av støpt messing. Tanken var at bløtere metall ville gi bedre friksjon mot skinnene, men hjulene viste seg å bli raskt utslitt, og messinghjul ble ikke brukt igjen. Totalt 5 lokomotiver ble bygd i 1834, og i 1835 ble et nytt fabrikksbygg reist. I de seks årene 1835–1840 produserte Baldwin 152 lokomotiver. I 1846 ble de første lokomotivene med sandstrøingssystem og førerkabin levert. I 1847 ble røykrørene i kjelen i økende grad bygd av jern i stedet for kobber - særlig på godstoglokomotiver. Jernrørene hadde noenlunde samme termiske utvidelseskoeffisient som kjelen de var festet i, og var dermed mindre utsatt for lekkasjer enn kobberrør. Baldwin opplevde en kortvarig nedgang i ordrene med 20 nybygg i 1848, men allerede året etter var produksjonen oppe i 30 fulgt av 37 og 50 i henholdsvis 1850 og 1851. I 1852 ba Presidenten i Pennsylvania Railroad (PRR), John Edgar Thomson flere lokomotivfabrikker om utkast til en serie godslokomotiver på 25 tonn med 6 drivhjul og løpehjul foran, og som skulle være tilpasset bruk av steinkull (ikke antrasitt) som brennstoff. Baldwin vant kontrakten og bygde 12 lokomotiver. I 1860 bygde fabrikken 83 lokomotiver, men året etter brøt den amerikanske borgerkrigen ut, og bare 40 lokomotiver ble bygd i 1861. Frykten for at krigen ville føre til en midlertidig stans i lokomotivbygging var ubegrunnet. Nordstatene anså et effektivt jernbanesystem som meget viktig for krigføringen, og regjeringen ble en stor kunde hos lokomotivfabrikantene. Større og tyngre lokomotiver ble vanlige, og produksjonen nådde nye høyder hos Baldwin. miniatyr|Lokomotivet «Consolidation» bygd for Lehigh Valley Railroad i 1866.