Ved femten års alder begynte Colt å arbeide på sin fars tekstilfabrikk der han hadde tilgang til materiale, verktøy og arbeiderekspertise. Et år hadde han forsøkt å sprenge en treflåte i luften med hjelp av undervannssprengstoff. En brann i år 1830 avsluttet hans skolegang, og han ble sendt til en internatskole.