Han var konstant på jakt etter forbedringspotesiale og nye tekniske løsninger på maskinene sine. Verkstedet hans fortsatte å bygge stasjonær-maskiner, men etterspørselen etter lokomotiver økte, og i 1835 flyttet han virksomheten sin til nye lokaler ved Broad og Hamilton street. Her skulle fabrikken etterhvert bli et landemerke i Philadelphia. I 1837 fikk han i oppdrag å bygge dampmaskinen til Philadelphias (og verdens) første dampdrevne isbryter . Dampmaskinen var så vellykket at da hjuldamperen «City Ice Boat No. 1» ble erstattet av en ny 30 år senere ble dampmaskinen gjenbrukt. Baldwins oppfinnsomhet og tekniske løsninger bidro til at lokomotiv-fabrikken hans fikk en dominerende stilling i det amerikanske markedet. Også blant jernbaneselskaper i utlandet ble Baldwin et kjent navn, og lokomotivene hans ble solgt over hele verden.